ByteDance New Releases AI Video Model - Adiós Sora, tu tiempo ha pasado.

El lanzamiento del motor Volcano de ByteDance ha terminado.
Ahora mismo estoy un poco sobreexcitado.
Aunque el lanzamiento ha terminado, siento que en este momento ha llegado oficialmente un nuevo comienzo para trastornar la industria.


ByteDance ha lanzado oficialmente sus dos nuevos modelos de vídeo AI:


Generación de vídeo Doubao - Modelo PixelDance y modelo Seaweed.
Hablaré más sobre el modelo Seaweed la próxima vez. Esta vez, quiero hablar de este modelo Doubao PixelDance porque es tan dope, tan dope, que literalmente lo miré con asombro todo el tiempo.

En el momento en que anunciaron oficialmente esta cosa, hubo tantos aplausos que sentí que iba a volar el techo de la casa desde la pantalla.
Realmente, si tuviera que resumir este modelo Doubao PixelDance, sería en tres palabras:
Complejo movimiento continuo de personajes, vídeo combinado con varias cámaras y control extremo de la cámara.
Suena un poco difícil de entender, ¿verdad? No hay prisa, se lo explicaré con detalle.

Primero puse unas cajas, para sentir el choque de esta cosa:

Realmente, la industria del cine y la televisión antes, casi no se puede utilizar AI, es porque, el rendimiento del personaje es demasiado basura, y la escena y la coherencia de caracteres es demasiado pobre, el funcionamiento del espejo para ser honesto no es bueno.

Ahora, ByteDance ha dado un paso adelante y ha llevado el vídeo de IA a un nivel completamente nuevo.


La singularidad de la disrupción de la industria ha llegado oficialmente hoy, en este mismo lanzamiento.
Y yo, después de aguantar la respiración durante 4 días enteros, por fin puedo enviar este artículo.
Sí, hace 4 días, fui invitado por ByteDance, medido este modelo Doubao PixelDance por adelantado, en ese momento, me sorprendió más allá de las palabras, ya sabes, como blogger, después de medir una cosa tan arrogante, naturalmente, quiero ser la primera vez para compartirlo, pero debido al acuerdo de confidencialidad, sólo puedo no decir una palabra al respecto.
Así que ya sabéis lo que me ha costado aguantar estos 4 días.
Y ahora todo está encajando. Por fin puedo hablar.
Volvamos a las tres características más importantes:
Complejos movimientos continuos de los personajes, vídeos combinados con varias cámaras y control extremo de la cámara.

Los personajes pueden realizar acciones continuas


En el pasado, los vídeos de IA tenían un punto muy fatal, es decir, parecían animaciones PPT.


Ya se trate de vídeo de Sora, o pasarela, o Keling, etc, la amplitud de movimiento, pero sólo la amplitud de la lente es grande, nunca hay un movimiento complejo de personas.
Lo mejor del día, darse la vuelta, o echar una carrera rápida, o saludar, o abrazarse. Sinceramente, solo el abrazo, no hay muchos vídeos de IA que puedan hacer eso.
¿Y si hicieras que la chica de la foto se quitara las gafas de sol, se pusiera de pie y caminara hacia la estatua?


Todos los vídeos de IA, todos muertos en acción.
Y esta vez el Doubao PixelDance, lo hizo, literalmente.


Aparte de algún leve parpadeo del reloj en la mano, las proporciones de los personajes, los movimientos, las extremidades, la iluminación, etc., eran casi impecables.
Una obra se ve bien, la actuación de la gente, es lo más importante ah.
Por ejemplo, en El rey de la comedia, en la última escena, el Yin Tian Xiu de Stephen Chow, después de gritar la clásica frase "Te apoyaré" a Liu Piao Piao, Liu Piao Piao se sienta en el taxi que parte y llora muy triste, mira el dinero y el reloj que lleva en la mano durante un rato, luego los mete en su bolso y saca el libro "Autocultivo del actor", que considera su fe, y llora muy triste. Autocultivo del Actor", y lo abraza tristemente contra su pecho.
Esta actuación es continua. Es lo que es continuo lo que tiene tensión. Es sólo cuando se puede sentir, esa emoción dolorida.

Y ahora, con la IA, generar interpretaciones de personajes que puedan realizar acciones continuas ya no es palabrería vacía.


Mira otro caso en el que un hombre toma un sorbo de café, lo deja en el suelo y se le acerca una mujer por detrás.

Además, las expresiones de los personajes son geniales, el viejo sonríe y ríe, y luego llora.


Yo también quiero llorar, de verdad.
Cuando hice el tráiler de Tierra Errante 3 el pasado agosto, fantaseé con un millón de posibilidades para que la IA actuara como personaje.
Ahora, sólo un año después, Doubao me ha ayudado a cumplir este gran sueño.

Vídeo combinado multicámara


La capacidad de generar un vídeo multicámara con estilo, escena y personajes coherentes a partir de una sola imagen + Prompt es algo que sólo he visto dentro de la promo de Sora.
Es el famoso vídeo de un lobo aullando a la luna.


En realidad, para ser sincero, este vídeo fue, en su momento, muy chocante de ver, pero en realidad está bien verlo ahora; el estilo, los personajes y las escenas son tan sencillos que se mantiene bien la coherencia, y no hay una historia complicada ni subtramas.
Pero eso es todo, ahora, todavía no hay ningún video AI que puede hacer varias tomas en un solo video y aún así tener una consistencia perfecta.
Ni me hables de lo del estudio LTX, eso está bien para storyboards, pero ¿un largometraje? Lávate el culo, de las escenas ni hablemos, es difícil mantener uniformes a los personajes en panorámicas, medios y primeros planos. Y es realmente feo.
Pero ahora, Doubao PixelDance lo ha conseguido, y la consistencia es sencillamente insuperable, de verdad.
Y sólo se necesita una imagen + Prompt.
Por ejemplo, ésta.

Prompt: la muerte con una guadaña se acerca a la mujer. Primer plano del rostro de la mujer mientras grita aterrorizada.


Control extremo de la cámara


El modelado de Doubao PixelDance es lo más escandaloso e impresionante que he visto nunca.
Ahora el control de la lente de vídeo AI, todavía básicamente se centró en la cámara + cepillo de movimiento combinación de dos funciones, pero para ser honesto, el límite superior es realmente limitado, una gran cantidad de grandes lentes y zoom, simplemente no se puede hacer.
Y Doubao PixelDance, el efecto es realmente escandaloso.
Lo que a vista de pájaro zoom y girar este tipo de manipulación de la base no lo digo, la clave es, en una palabra, una variedad de 360 grados alrededor del tema de sonido envolvente, zoom de vista frontal y trasera, paneo, objetivo siguiente, subir y bajar la lente de cualquier cosa puede ser.
El efecto es sorprendentemente bueno, vi por primera vez, en el video de AI, espejo de transporte puede ser tan impresionante, tan fresco.
Mira directamente el maletín.

Prompt: la mujer sonríe y baja la cabeza, la cámara se aleja y un hombre blanco mira a la mujer.


El zoom es extremadamente natural y suave, invencible, demasiado invencible.
Y luego está éste, un drástico regate envolvente de 360 grados.
Prompt: estilo blanco y negro, la cámara dispara alrededor de la mujer con gafas de sol, moviéndose de su lado al frente, y finalmente enfocando un primer plano de la cara de la mujer.

Esta es una foto, y luego un Prompt, ¿puedes creerlo? Este rango de movimiento, esta estabilidad, que el modelado de mierda fuera de lo escandaloso, estoy realmente convencido.
¿Cómo se puede dejar que los fotógrafos siguen jugando, loco ah ...

Escribe al final


Sora un gigante futuros, desde el 2.16 hasta hoy, tarde para ver cualquier rastro.
Y entonces, 6.6, puede Ling silencio, oficialmente en línea, en nombre de la salida de China Sora.
Y hoy, 9.24, ByteDances nuevo video AI, empujado a un nivel completamente nuevo, es un en el video promocional de Sora, no puede ver la altura.
Hasta ahora, China no necesita a Sora, el modelo Doubao es el cielo.
Doubao PixelDance también no necesita ninguna versión china del apodo de Sora, Doubao PixelDance es Doubao PixelDance, él es ahora los días de vídeo AI.
También a este punto, AI vídeo ya no es un juguete, pero un real, puede entrar en el cine y la televisión, la publicidad, el flujo de trabajo de animación, traer un poco de imaginación nueva.
Este disparo lo hicimos nosotros.
Hoy en día este modelo Doubao PixelDance, dará prioridad a la empresa para abrir la invitación a probar, en pocos días en el volcán arca, en cuanto a cuando en la línea que sueñan con el C-usuario completo abierto, puede tener que esperar por un período de tiempo, después de todo, es demasiado nuevo, dijeron que todavía quieren optimizar la capacidad del modelo, estable, entonces directamente en la línea que sueñan, a la plena abierta.
Realmente, nunca ha habido ningún milagro, todo es la acumulación de muchos años de precipitación, todo es como se prometió.
Hoy también puedo gritar esa frase:

Otro vídeo generado por PixelDance:

Por fin ： ¿Cómo solicitar PixelDance AHORA?

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

Primero Registre su cuenta :

账号登录-火山引擎 (volcengine.com)

Inicia sesión con tu teléfono móvil.

Solicite acceso aquí:

Ahora usted ha hecho, plz esperando respuesta