ByteDance New Releases AI Video Model - Goodbye Sora, Your Time Has Passed.

Neste momento, o lançamento do Volcano Engine da ByteDance está praticamente concluído.
Estou um pouco entusiasmado demais neste momento.
Apesar de o lançamento ter terminado, sinto que um novo começo para perturbar a indústria chegou, neste momento, oficialmente.


A ByteDance lançou oficialmente os seus dois novos modelos de vídeo com IA:


Geração de vídeo Doubao - modelo PixelDance e modelo Seaweed.
Na próxima vez, falarei mais sobre o modelo Seaweed. Desta vez, quero falar sobre este modelo Doubao PixelDance porque é tão fixe, tão fixe, que fiquei literalmente a observá-lo com admiração durante todo o tempo.

No momento em que anunciaram oficialmente esta coisa, houve tantos aplausos que senti que ia rebentar com o telhado da casa a partir do ecrã.
Na verdade, se eu tivesse de resumir este modelo Doubao PixelDance, seria em três palavras:
Movimento contínuo complexo de personagens, vídeo combinado com várias câmaras e controlo extremo da câmara.
Parece um pouco difícil de entender, não é? Não há pressa, eu explico em pormenor.

Primeiro coloquei algumas caixas, para sentir o choque desta coisa:

Na verdade, a indústria cinematográfica e televisiva quase não pode utilizar a IA, porque o desempenho das personagens é demasiado fraco, a consistência das cenas e das personagens é demasiado fraca e o funcionamento do espelho não é bom.

Agora, a ByteDance entrou em ação e levou o vídeo com IA a um nível totalmente novo.


A singularidade da rutura do sector chegou oficialmente hoje, neste mesmo lançamento.
E eu, depois de suster a respiração durante 4 dias inteiros, posso finalmente enviar este artigo.
Sim, há 4 dias, fui convidado pela ByteDance, medi antecipadamente este modelo Doubao PixelDance. Nessa altura, fiquei chocado para além das palavras, sabem, como bloguista, depois de medir uma coisa tão arrogante, quero naturalmente ser o primeiro a partilhá-la, mas devido ao acordo de confidencialidade, não posso dizer uma palavra sobre isso.
Por isso, sabem como foi difícil para mim aguentar estes 4 dias.
E agora está tudo a compor-se. Finalmente posso falar.
Voltemos às três caraterísticas mais importantes:
Movimentos complexos e contínuos das personagens, vídeos com combinações de várias câmaras e controlo extremo da câmara.

As personagens podem realizar acções contínuas


No passado, os vídeos de IA tinham um ponto muito fatal, ou seja, pareciam uma animação PPT.


Quer se trate do vídeo de Sora, ou da passerelle, ou de Keling, etc., a amplitude do movimento, mas apenas a amplitude da lente é grande, nunca há um movimento complexo de pessoas.
O melhor do dia, dar meia volta, dar uma corrida rápida, acenar ou abraçar. Sinceramente, só o abraço, não há muitos vídeos de IA que consigam fazer isso.
E se a rapariga da fotografia tirasse os óculos de sol, se levantasse e caminhasse em direção à estátua?


Todos os vídeos de IA, todos mortos em ação.
E, desta vez, o Doubao PixelDance conseguiu-o, literalmente.


Para além de uma pequena oscilação do relógio no ponteiro, as proporções das personagens, os movimentos, os membros, a iluminação, etc., eram quase perfeitos.
Uma peça tem bom aspeto, o desempenho da ação das pessoas é o mais importante.
Por exemplo, em O Rei da Comédia, na última cena, o Yin Tian Xiu de Stephen Chow, depois de gritar a clássica frase "Eu apoio-te" a Liu Piao Piao, esta senta-se no táxi que parte e chora muito tristemente, olha para o dinheiro e o relógio que tem na mão durante algum tempo, depois guarda-os na mala e tira o livro "Auto-Cultivo dos Actores", que considera ser a sua fé, e chora muito tristemente. O livro "Auto-Cultivo do Ator" e abraça-o tristemente ao peito.
Esta atuação é contínua. É o que é contínuo que tem tensão. Só quando a sentimos, essa emoção dolorosa.

E agora, com a IA, gerar desempenhos de personagens que podem realizar acções contínuas já não é conversa fiada.


Veja-se outro caso em que um homem toma um gole de café, pousa-o e uma mulher aparece por trás.

Além disso, as expressões das personagens são espectaculares: o velho sorri, ri-se e depois chora.


Também me apetece chorar, a sério.
Quando fiz o trailer de Wandering Earth 3, em agosto passado, fantasiei com um milhão de possibilidades para a IA representar personagens.
Agora, apenas um ano depois, Doubao ajudou-me a realizar este grande sonho.

Vídeo combinado com várias câmaras


A capacidade de gerar um vídeo com várias câmaras com um estilo, uma cena e personagens consistentes a partir de uma única imagem + prompt é algo que só vi na promoção de Sora.
É o famoso vídeo de um lobo a uivar para a lua.


Na verdade, para ser honesto, este vídeo foi, na altura, muito chocante de ver, mas não faz mal nenhum vê-lo agora; o estilo, as personagens e as cenas são tão simples que a consistência é bem mantida, e não há uma história complicada ou subtramas.
Mas é só isso, ainda não existe nenhum vídeo com IA que consiga fazer vários disparos num único vídeo e manter uma consistência perfeita.
Nem me falem do estúdio LTX, isso é bom para storyboards, mas para uma longa-metragem? Lava o cu, nem fales das cenas, é difícil manter uniformes as personagens em panorâmicas, médios e grandes planos. E é muito feio.
Mas agora, Doubao PixelDance conseguiu-o, e a consistência é simplesmente imbatível, de facto.
E só é preciso uma imagem + prompt.
Por exemplo, este aqui.

A morte com uma foice aproxima-se da mulher. Grande plano do rosto da mulher enquanto ela grita de terror.


Controlo extremo da câmara


A modelação Doubao PixelDance é a mais escandalosa e espetacular que alguma vez vi.
Agora, o controlo da lente de vídeo AI, ainda basicamente focado na combinação de câmara + escova de movimento de duas funções, mas para ser honesto, o limite superior é realmente limitado, um monte de lentes grandes e zoom, simplesmente não pode ser feito.
E Doubao PixelDance, o efeito é realmente ultrajante.
Não sei qual é o zoom de vista aérea e a rotação deste tipo de manipulação de base, mas a chave é, numa palavra, uma variedade de 360 graus à volta do objeto a rodear, zoom de vista frontal e traseira, panorâmica, seguimento do alvo, levantar e baixar a lente do que quer que seja.
O efeito é surpreendentemente bom, vi pela primeira vez, no vídeo da IA, que o espelho de transporte pode ser tão espetacular, tão fixe.
Olhar diretamente para o caso.

Sugestão: a mulher sorri e baixa a cabeça, a câmara afasta-se e um homem branco olha para a mulher.


O zoom é extremamente natural e suave, invencível, demasiado invencível.
E depois há este, um drible drástico de 360 graus.
Sugestão: ao estilo preto e branco, a câmara filma em torno da mulher que usa óculos de sol, passando de lado para a frente e, finalmente, focando um grande plano do rosto da mulher.

Isto é uma imagem, e depois um Prompt, dá para acreditar? Esta amplitude de movimento, esta estabilidade, que a porra da modelagem fora do ultrajante, estou realmente convencido.
Como é que se pode deixar os fotógrafos ainda a brincar, malucos ah...

Escrever no fim


Sora um futuro gigante, desde o dia 2.16 até hoje, tarde para ver qualquer vestígio.
E depois, 6.6, pode Ling silencioso, oficialmente em linha, em nome da produção da China Sora.
E hoje, dia 24 de setembro, ByteDances voltou a fazer um vídeo sobre a IA, levando-a a um nível totalmente novo, é um vídeo promocional de Sora, não se consegue ver a altura.
Até à data, a China não precisa de Sora, o modelo Doubao é o céu.
Doubao PixelDance também não precisa de uma versão chinesa da alcunha de Sora, Doubao PixelDance é Doubao PixelDance, é agora o dia do vídeo com IA.
Também neste ponto, o vídeo com IA já não é um brinquedo, mas um verdadeiro brinquedo, pode entrar no cinema e na televisão, na publicidade, no fluxo de trabalho de animação, trazer alguma imaginação nova.
Este tiro foi disparado por nós.
Hoje, este modelo Doubao PixelDance, dará prioridade à empresa para abrir o convite para testar, dentro de alguns dias na arca do vulcão, quanto a quando na linha que sonha para o usuário C totalmente aberto, pode ter que esperar por um período de tempo, afinal, é muito novo, eles disseram que ainda querem otimizar otimizar a capacidade do modelo, estável, em seguida, diretamente na linha que sonha, para a abertura completa.
Na verdade, nunca houve nenhum milagre, tudo é a acumulação de muitos anos de precipitação, tudo é como prometido.
Hoje, também posso gritar essa frase:

Outro vídeo gerado por PixelDance:

Finalmente ： Como candidatar-se ao PixelDance NOW?

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

Primeiro, registe a sua conta :

账号登录-火山引擎 (volcengine.com)

Inicie sessão com o seu telemóvel.

Candidatar-se a aceder aqui:

Agora que já o fez, aguarde a resposta