El desarrollo de Minecraft Earth, el juego móvil de Realidad Aumentada de Xbox del que te platicamos a detalle en este artículo, fue para el equipo de Minecraft y Microsoft un reto sin precedentes que involucró el talento no solo de los desarrolladores de Xbox, sino de los equipos de HoloLens y Microsoft Azure.
En un mesa redonda que tuvo lugar en Redmond, Washington hace dos semanas, en la que participó Unocero, tuvimos la suerte de escuchar a Alex Kipman, la mente maestra detrás de HoloLens. Si alguna vez has visto un streaming de los anuncios de Microsoft, reconocerás a Kipman inmediatamente gracias a su apariencia de rockstar y a la intensidad con la que comunica los esfuerzos de la compañía.
“Hace 18 meses recibí una llamada de Saxs (director creativo de Minecraft) y del equipo de Minecraft. Imaginen la emoción de todos nosotros al participar en esta franquicia. Pero muy pronto nos dimos cuenta de que, por medio de la increíble narrativa y estilo de juego, Minecraft está impulsando las ciencias de la computación”, aseguró el experto de HoloLens.
Los retos de cómputo de Minecraft
- Minecraft Earth quiere romper el dogma del cómputo en el que una sola persona participa con un solo dispositivo para vivir una experiencia aislada. En el juego, el contenido está en el mundo real y los teléfonos son lentes conectados que permiten movernos del cómputo personal al cómputo colaborativo.
- Para esa experiencia colaborativa, la precisión debía de ser de hasta un centímetro. Y a lo mejor pensarán: no es tan difícil crear un holograma que se mantenga en un solo lugar, tienen tecnología de GPS, WiFi fingerprinting y muchas otras soluciones. Pero no al nivel que requería Minecraft Earth.
- Los hologramas no debían ser efímeros, sino que debían tener permanencia en el mundo real. Microsoft y Xbox querían que los usuarios colocaran sus construcciones en un área del planeta y que al día siguiente pudieran volver con sus teléfonos y seguir jugando.
“El GPS y el WiFi fingerprinting son como códigos postales, pero si te veo en el centro comercial y tengo a Burger King en el primer piso y a McDonalds en el segundo, uno encima del otro, el GPS no puede saber eso y la tecnología WiFi no sabrá cuál es cuál”, explicó Kipman.
“Esa idea de tener una precisión no en la escala de una mesa, una habitación o un parque, sino una precisión a nivel mundial, empuja la ciencia de la computación a un grado que requiere computer vision”, afirmó.
¿Cómo lo lograron?
La primera “capa” de ubicación que utiliza Minecraft Earth es la información recopilada en OpenStreetMap, un sistema de mapas alimentado por los usuarios. Dichos datos ayudan a la empresa a tener una idea a gran escala de donde se encuentran los jugadores, obviamente sin compartir información detallada del usuario. Todo es de forma anónima y sólo funciona para ubicarlos en el juego.
Después, Microsoft utiliza las cámaras de los smartphones de los jugadores como si fueran ojos que alimentan el sistema de Minecraft Earth, aprovechando el tracking básico de Realidad Aumentada que utilizan ARKit y ARCore en iOS y Android, respectivamente, para que todos los jugadores tengan una precisión de centímetros.
“Tus ojos son mucho mejores que los de los teléfonos. Lo que intentamos es que los ojos del dispositivos, aún con cambios en el escenario, detecten que se trata del mismo lugar”, destacó el experto de HoloLens.
“No importa que sea día o noche, imagina un parque en el que cambia el clima, donde un día hay nieve, donde no hay hojas en un árbol y luego tiene flores. Esos son ambientes masivamente diferentes y los hologramas deben permanecer en el mismo lugar”
Las soluciones de Azure
A finales de 2017, Jason Cahill, arquitecto de Ingeniería de Minecraft se reunió con Neena Kamath, líder de producto de Azure Mixed Reality para Microsoft y Kevin Gammill gerente general de Gaming Cloud para Microsoft
El nivel de detalle de Minecraft Earth requeriría de mucho talento y fue por medio de la colaboración de distintos ámbitos de Microsoft y del estudio de Minecraft que se llegó a la conclusión de utilizar la solución de tracking y computer vision, Azure Spatial Anchors, y la de multijugador en la Nube, Azure PlayFab.
“Usamos cómputo de visión para entender el espacio en donde estás exactamente. Las imágenes que vemos (con los smartphones) probablemente no significan mucho para ustedes, pero significan mucho para nuestros algoritmos de cómputo de visión. No son almacenadas, en realidad lo que hacemos es generar puntos abstractos que le dicen al algoritmo en dónde estás“, explicó Kamath.
El resultado obtenido con dichas tecnologías no sólo será útil para el desarrollo de juegos con Realidad Aumenta. La visión de Microsoft claramente va mucho más allá, pues en silencio y con mucho esfuerzo están creando herramientas altamente sofisticadas que abren las puertas a nuevas soluciones para el ámbito educativo, el médico o hasta para la construcción, por decir unos ejemplos.
La entrada La increíble tecnología detrás de Minecraft Earth se publicó primero en unocero.
