Los investigadores de Meta han dado un salto importante en el campo de la generación de arte mediante IA con la herramienta Make-A-Video, la nueva técnica que permite hacer un vídeo a partir de nada más que una indicación de texto. Los resultados son impresionantes y variados, y todos, sin excepción, ligeramente espeluznantes.
Ya hemos visto modelos de conversión de texto a vídeo, una extensión natural de modelos de conversión de texto a imagen como DALL-E, que produce imágenes fijas a partir de mensajes. Pero aunque el salto conceptual de una imagen fija a una en movimiento es pequeño para una mente humana, es un desafío enorme para implementarlo en un modelo de aprendizaje automático.
En realidad, Make-A-Video no cambia mucho el juego en el fondo: como señalan los investigadores en el artículo que lo describe, “un modelo que sólo ha visto texto describiendo imágenes es sorprendentemente eficaz para generar vídeos cortos”.
La IA utiliza la ya existente y eficaz técnica de difusión para la creación de imágenes, que esencialmente trabaja hacia atrás desde la estática visual pura, el “denoising”, hacia la indicación del objetivo. Lo que se añade aquí es que el modelo también recibió un entrenamiento no supervisado (es decir, examinó los datos por sí mismo sin una fuerte orientación por parte de los humanos) en un montón de contenido de vídeo sin etiquetar.
“En todos los aspectos, resolución espacial y temporal, fidelidad al texto y calidad, Make-A-Video establece el nuevo estado de la técnica en la generación de texto a vídeo, según medidas cualitativas y cuantitativas”, escriben los investigadores.
Es difícil no estar de acuerdo. Los sistemas anteriores de conversión de texto en vídeo utilizaban un enfoque diferente y los resultados eran poco impresionantes pero prometedores. Ahora Make-A-Video los supera, logrando una fidelidad en línea con las imágenes de hace quizá 18 meses en el DALL-E original u otros sistemas de la generación anterior.
Pero hay que decirlo: definitivamente, todavía hay algo que falla en los resultados. No es que debamos esperar un fotorrealismo o un movimiento perfectamente natural, pero los resultados tienen una especie de tono exótico, por no llamarlo “creepy”.
Tienen una calidad horrible que es a la vez onírica y terrible. La calidad del movimiento es extraña, como si se tratara de una película en stop-motion. La corrupción y los artefactos dan a cada pieza una sensación furtiva y surrealista, como si los objetos gotearan. Las personas se funden unas con otras: no se entienden los límites de los objetos ni lo que debe terminar o contactar con ellos.
Make-A-Video también permite transformar imágenes fijas y otros vídeos en variantes o extensiones de los mismos, de la misma manera que los generadores de imágenes también pueden ser impulsados con las propias imágenes. Los resultados son ligeramente menos perturbadores.
Realmente es un gran paso adelante respecto a lo que había antes, y hay que felicitar al equipo. Todavía no está disponible para el público, pero se pueden inscribir aquí para estar en la lista de espera para cualquier forma de acceso que decida la empresa en el futuro.