Meta acaba de lanzar su propio Sora antes de OpenAI – Meta Movie Gen
Meta Movie Gen tiene todo lo que tiene Sora, incluida la capacidad de crear videos HD largos con diferentes relaciones de aspecto y soporte para 1080p, 16 segundos y 16 cuadros por segundo.
También hace lo que Sora no hace: generar música de fondo y efectos de sonido, editar vídeos basándose en comandos de texto y generar vídeos personalizados basados en imágenes cargadas por el usuario.
Veamos qué puede hacer meta:
La cámara está detrás de un hombre. El hombre está sin camisa, lleva una tela verde alrededor de la cintura. Está descalzo. Con un objeto en llamas en cada mano, crea amplios movimientos circulares. Un mar en calma se ve de fondo. La atmósfera es hipnótica, con la danza del fuego.
Un oso koala peludo con pelaje gris y blanco y nariz redonda surfea sobre una tabla de surf amarilla. El koala se agarra a la tabla de surf con sus patas y tiene una expresión facial concentrada mientras surfea sobre las olas. El sol brilla.
Un mono de cara roja y pelaje blanco disfruta de un baño en una fuente termal natural. El juguetón mono se entretiene con un velero de madera en miniatura, con una vela blanca y un pequeño timón. La fuente termal está enclavada en medio de una exuberante vegetación, rodeada de rocas y árboles.
En pocas palabras, “poner la luz en las burbujas en el cielo” puede crear hermosos efectos visuales y, al mismo tiempo, mostrar perfectamente los objetos en la escena y, al mismo tiempo, puede reflejar bellamente el cielo, luciendo más expresivo.
El trueno resuena fuerte, acompañado por una pista de música orquestal.
La consistencia del personaje es muy fuerte.
Puedes editar vídeos directamente, simplemente escribiendo el texto.
Crear efectos de sonido y bandas sonoras Solo ingrese texto
Utilice la entrada de video y texto para generar audio para su video. Movie Gen le permite crear y ampliar efectos de sonido, música de fondo o bandas sonoras completas.
Meta dice que es el modelo de Media Foundation más avanzado hasta la fecha.
Algunos dicen que es difícil imaginar cómo se verán los videos largos y cortos en unos años, a medida que una gran cantidad de creadores aprendan a usar herramientas de edición de videos con IA.
Esta vez, a diferencia de Sora, que solo tiene una demo y un blog oficial, Meta ha hecho públicos los detalles de la arquitectura y el entrenamiento en un documento de 92 páginas.
https://arxiv.org/pdf/2410.02746
Pero el modelo en sí aún no es de código abierto, y fue recibido por ingenieros con caras de asombro, levantando sus caras al aire y dejando un enlace a la página de código abierto de Meta directamente en la sección de comentarios:
Aquí esperando por ti ahora.
En su artículo, Meta enfatiza específicamente que la escalabilidad del tamaño de los datos, el tamaño del modelo y la aritmética de entrenamiento es fundamental para entrenar modelos de generación de medios a gran escala. Al mejorar sistemáticamente estas dimensiones, es posible crear un sistema de generación de medios tan poderoso.
Uno de los puntos que más preocupa es que esta vez desecharon por completo el modelo de difusión y la función de pérdida de difusión, utilizando Transformer como red troncal y Flow Matching como objetivo de entrenamiento.
El espacio de generación de videos con inteligencia artificial ha estado repleto de actividad durante los últimos días.
Poco antes de que Meta lanzara Movie Gen, Tim Brooks, uno de los creadores de OpenAI Sora, se pasó a Google DeepMind para continuar su trabajo en generación de vídeos y simuladores mundiales.
Esto hizo pensar a mucha gente, igual que cuando Google tardó en lanzar la aplicación Big Model y los autores de Transformer 8 se marcharon en masa.
Ahora OpenAI ha tardado en lanzar Sora y los autores principales también se han escapado.
Pero otros creen que la decisión de Tim Brooks de irse ahora puede indicar que su trabajo principal en OpenAI ya está hecho, y ha dado lugar a especulaciones:
¿El lanzamiento de Meta obligó a OpenAI a lanzar Sora en respuesta?
(Al momento de escribir este artículo, el otro creador de Sora, Bill Peebles, aún no se ha pronunciado).
Ahora Meta ha lanzado modelos con capacidades de edición de video, además de la actualización Pika 1.5 del 1 de octubre, que se centra en agregar efectos físicos como derretimiento, expansión y compresión a objetos en videos.
No es difícil ver que la segunda mitad de la generación de videos con IA comenzará a avanzar hacia la edición de videos con IA.