Científicos han desarrollado un sistema de Inteligencia Artificial que puede editar las expresiones faciales de los actores para poder hacer doblaje mucho más preciso de las voces, por ejemplo, reduciendo costos y tiempo a la industria de las películas. Puede usarse para un nuevo conjunto de efectos de video y post-producción.
La técnica fue un trabajo de un equipo internacional de científicos, liderada por el grupo del Instituto para la Informática Max Planck, e incluye investigadores de las Universidades de Bath, Technicolor, TU Munich y Stanford. El trabajo, llamado Deep Video Portraits, se presentó en la pasada conferencia especializada en gráficas, llevada a cabo en Vancouver, el 16 de agosto de este año.
A diferencia de otros métodos, en este trabajo se enfocaron en los movimientos de la cara interior solamente. Deep Video Portraits puede de hecho ser usado para animar toda la cara, incluyendo ojos, cejas y la posición de la cabeza en los videos, usando el control ya conocido de las gráficas por computadora para hacer animación de rostros. El sistema también puede sintetizar un fondo estático si la cabeza se mueve alrededor.
Hyeongwoo Kim, del Instituto Planck explicó: “El sistema trabaja usando un modelo 3D del rostro en donde se captura el desempeño para grabar los detalles de los movimientos de la boca, cejas, nariz y la posición de la cabeza. Entonces se trasponen estos movimientos en un actor objetivo en la película que permite por ejemplo, sincronizar labios y los movimientos faciales del nuevo audio”.
La investigación está en pruebas y aún no hay un sistema completo o comercual que trabaje en tiempo real. Sin embargo, los investigadores anticiparon que este enfoque podría ser la diferencia en la industria del entretenimiento.
El Profesor Christian Theobalt, también del Instituto Max Planck, dijo: “Aparte de la manipulación excesiva en la post-producción, el doblar los diálogos a otros idiomas siempre presentan problemas entre lo que dice el actor y lo que se dice en el doblaje. Y agrega: “Con nuestro enfoque, es posible modificar la apariencia del actor objetivo transfiriendo las poses de la cabeza, las expresiones faciales y el movimiento de los ojos con un alto nivel de realismo”, explicó el científico.
Este nuevo enfoque puede usarse además, en otras aplicaciones, las cuales los autores bosquejan en su página del proyecto, por ejemplo, en video y teleconferencias con realidad virtual en donde se pueden corregir las posturas de los interlocutores logrando así una conversación más natural. El software permite muchas aplicaciones creativas en la producción de los medios audiovisuales, pero los autores alertan contra el mal uso de esta tecnología de edición del video.
El Dr. Michael Zollhöfer, de la Universidad de Stanford explica: “la industria de los medios electrónicos ha tenido por mucho tiempo software para editar fotografías, pero con esta nueva tecnología de edición en video, debemos ser más críticos sobre los contenidos de video que consumimos, especialmente cuando no hay una fuente de origen confiable. Creemos que el campo de las artes forenses digitales deberían tomarse más en serio y atención pra poder tener herramientas y probar la autenticidad de las pruebas en video. Esto nos puede permitir nuevos enfoques que puedan ver estas modificaciones incluso su los seres humanos no son capaces de verlas con sus propios ojos”.
La entrada Deep Video Portraits: Un sistema de edición que promete superar al Deepfake se publicó primero en unocero.
