Así es Lumiere, la nueva IA de Google enfocada en vídeos

10:37 | Viernes 02 de Febrero de 2024 | La Rioja, Argentina | Fenix Multiplataforma

La tecnología de inteligencia artificial generativa llegó a Google con el anuncio de Lumiere, la última innovación del buscador en el campo de vídeo. Otro campo que la gran G está dispuesto a inundar con IA, siguiendo su premisa más fuerte de este año.

Esta avanzada IA tiene la capacidad de transformar texto y fotos en vídeos dinámicos, según lo explicó Google en su blog.

El gigante tecnológico dio a conocer la herramienta a través de un video explicando las capacidades de Lumiere. Con solo unas pocas indicaciones escritas o una imagen estática como punto de referencia, esta IA puede crear vídeos completos, llenos de movimiento o incluso recrear vídeos en estilos específicos.

La función principal de Lumiere es su capacidad para generar vídeos a partir de texto. Utilizando un modelo de difusión de texto a vídeo, esta IA es capaz de interpretar instrucciones escritas y traducirlas en vídeos completamente nuevos a partir de simples descripciones.

Otra función destacada de Lumiere es su capacidad para generar vídeos basados en estilos específicos. Con solo una imagen de referencia, esta IA puede crear vídeos que imiten ciertos estilos visuales.

Lumiere también cuenta con capacidades de inpainting de vídeo, lo que le permite rellenar áreas faltantes en un vídeo de manera realista. Esta función es útil para corregir errores en el metraje o eliminar objetos no deseados de una manera que parezca natural y coherente con el resto del vídeo.

Conversión de imagen a video, pintura de video y generación estilizada

Para lograr esto, Google explica el proceso de desarrollo de esta herramienta. “Al implementar un muestreo descendente y ascendente tanto espacial como (lo más importante) temporal y aprovechar un modelo de difusión de texto a imagen previamente entrenado, nuestro modelo aprende a generar directamente un video de baja resolución y velocidad de cuadros completa procesándolo en múltiples escalas espacio-temporales”, dice Google en su blog.

Según se destaca en el blog oficial de la empresa del buscador más utilizado del mundo, Lumiere “facilita una amplia gama de tareas de creación de contenido y aplicaciones de edición de video, incluida la conversión de imagen a video, pintura de video y generación estilizada”. Hasta el momento, este es un proyecto de investigación de Google por lo que no se ha detallado si su uso estará disponible para el público.

 

 

Las capacidades de Lumiere gracias a la IA generativa

▪️ Crear vídeos a partir de texto: escribes la descripción, y Lumiere lo hace realidad

▪️ Crear vídeos a partir de imágenes: lo que significa que puede convertir imágenes estáticas en vídeos con movimiento.

▪️ Generar vídeos estilizados en base a imágenes: la IA puede usar una imagen como referencia de estilo al crear los vídeos que el usuario le pida.

▪️ Editar vídeos: puede modificar partes de un vídeo existente. Por ejemplo, en un vídeo de una mujer corriendo es posible pedirle “que la mujer esté hecha de flores”, y la IA lo hará realidad.

▪️ Hacer “cinemagraphs”: o dicho de otra forma, animar partes específicas de imágenes