Se dice que Tom Brady, el quarterback de los Patriotas, debe su éxito a que ha visto por incontables horas cómo los rivales se mueven, todo esto a través de videos. Este entendimiento del movimiento es necesario para todas las especies vivas, pues incluso sirven para sobrevivir en el caso del problema entre el depredador y la presa. Pero hay que reconocer que los videos no nos pueden dar toda la información que necesitamos.
Esto ocurre porque los videos tradicionales -junto con las fotos- nos dan una visión en 2D, dos dimensiones, y no muestran la estructura 3D que se encuentra en la persona que se mueve o en el objeto ce nuestro interés. Sin toda la geometría completa, no podemos inspeccionar los movimientos pequeños y sutiles que pueden ayudarnos eventualmente a movernos más rápido o que nos pudiesen ayudar a tener una forma atlética mucho mejor.
#AI-assisted Image Editing
by @MIT_CSAIL |#ArtificialIntelligence #DeepLearning #DL #DigitalTransformation #Innovation #MachineLearning #ML #BigData #Videos #RTCc: @exagolo @mrdatascience pic.twitter.com/iXyoiGNkCB
— Ronald van Loon (@Ronald_vanLoon) September 23, 2018
Sin embargo, investigadores del CSAIL (Computer Science and Artificial Intelligence Laboratory) en el MIT, han llegado a una solución en donde se puede manejar y entender mejor el movimiento complejo. El nuevo sistema usa un algoritmo que puede tomar videos en 2D y convertirlos en una representación 3D que puede ser impresa, creando así “esculturas en movimiento”, las cuales muestran al cuerpo humano a través del espacio. Además, para hacer más intrigante y estética la visualización de las formas, se inventaron el sistema “MoSculp”, el cual permite un estudio más detallado del movimiento para los atletas profesionales, bailarines o todo aquel que quiere mejorar sus habilidades físicas.
“Imagine tener un video de Roger Federer cuando está haciendo un saque en un partido de tenis y un video de usted aprendiendo a jugar tenis”, dice el estudiante de doctorado Xiuming Zhang, autor líder del artículo sobre este sistema. “Usted puede construir una escultura del movimiento de ambos escenarios para compararlos y hacer un estudio comprensivo de lo que necesita para mejorar”, indica.
Pero ¿cómo trabaja el sistema? Artistas y científicos han padecido para poder entender mejor el movimiento, en donde las cámaras y los lentes es la única herramienta que se ha usado hasta ahora. En trabajos previos se usaban técnicas con luz estroboscópica, que es la que puede verse en las discotecas, en donde una fuente de luz se enciende intermitentemente de forma regular y entonces una cámara, con el obturador abierto, puede consignar todo el movimiento en diversas tomas a lo largo de la película. Pero en este caso, las fotos que se presentan son solamente instantáneas del movimiento y no se puede ver la trayectoria completa del brazo de una persona cuando por ejemplo, golpea con un bastón una pelota de golf. Más aún, estas fotografías requieres de un pre-procesamiento y una serie de condiciones específicas como podría ser el fondo y las cámaras especiales de profundidad, así como luz específica. Por ello el sistema MoSculp puede ser interesante alternativa, porque nada más necesita una secuencia de video.
Así, dado un video como entrada, el sistema automáticamente detecta los puntos claves en 2D en el cuerpo del objeto de interés como la cadera, la rodilla y el tobillo de una bailarina mientras hace una secuencias compleja de baile. Entonces, toma las mejores poses y crea “esqueletos” en 3D. Entonces el sistema “cose” estos esqueletos y se genera una escultura de movimiento que puede ser impresa en 3D, mostrando la trayectoria suave y continua del movimiento, la cual fue trazada por el objeto. Los usuarios pueden definir hacia donde quieren enfocarse en los objetos que estudian y asignar incluso diferentes materiales para distinguir entre las partes, incluso en lo que se refiere a la luz que se muestra en el video.
Los investigadores encontraron que en estudios de los usuarios, el 75% de los sujetos sintieron que MoSculp les dio una visión más detallada para estudiar el movimiento que cuando usaban procedimientos tradicionales de la fotografía estándar.
Actualmente el sistema usa escenarios donde solamente hay una sola persona, pero el equipo de investigación espera expandir esto a muchas personas. Esto podría ser el inicio de trabajos en desórdenes sociales y dinámicas de grupo.
La entrada Creando esculturas impresas en 3D a partir de videos en 2D se publicó primero en unocero.
