ByteDance představuje nové modely videa s umělou inteligencí – Sbohem, Soro, váš čas uplynul.

Právě nyní je spuštění Volcano Engine od ByteDance v podstatě u konce.
Jsem teď trochu přehnaně vzrušený.
I když uvedení skončilo, mám pocit, že zbrusu nový začátek narušující průmysl v tuto chvíli oficiálně přišel.


ByteDance oficiálně vydal své dva nové modely AI videa:


Doubao Video Generation – model PixelDance a model mořských řas.
O modelu Mořské řasy se více rozepíšu příště. Tentokrát chci mluvit o tomto modelu Doubao PixelDance, protože je tak nafoukaný, tak nabušený, že jsem ho celou dobu doslova s úžasem sledoval.

Ve chvíli, kdy tuto věc oficiálně oznámili, se ozval takový potlesk, že jsem měl pocit, že z obrazovky odstřelím střechu domu.
Opravdu, kdybych měl shrnout tento model Doubao PixelDance, bylo by to třemi slovy:
Komplexní nepřetržitý pohyb postav, video s kombinací více kamer a extrémní ovládání kamery.
Zní to trochu těžko pochopitelné, že? Nespěchejte, vysvětlím podrobně.

Nejprve jsem uvedl několik případů, abych pocítil šok z této věci:

Opravdu, filmový a televizní průmysl dříve, téměř neuměl používat AI, je to proto, že výkon postavy je příliš nesmyslný a scéna a konzistence postavy je příliš špatná, provoz zrcadla, abych byl upřímný, není dobrý.

Nyní do toho vstoupil ByteDance a posunul AI video na zcela novou úroveň.


Jedinečnost narušení průmyslu oficiálně dorazila dnes, právě při tomto zahájení.
A já, po 4 celých dnech zadržování dechu, můžu konečně poslat tento článek.
Ano, před 4 dny jsem byl pozván z ByteDance, předem jsem změřil tento model Doubao PixelDance, tehdy jsem byl beze slov šokován, víte, jako bloger po změření takové namyšlené věci přirozeně chci být poprvé, co se o to podělím, ale kvůli dohodě o mlčenlivosti o tom nemůžu říct ani slovo.
Takže jen víte, jak těžké pro mě bylo udržet to v těchto 4 dnech.
A teď se to všechno dává dohromady. Konečně můžu mluvit.
Zpět k těmto třem nejdůležitějším funkcím:
Složité nepřetržité pohyby postav, kombinovaná videa s více kamerami a extrémní ovládání kamery.

Postavy mohou provádět nepřetržitou akci


V minulosti měla AI videa velmi fatální bod, to znamená, že vypadají jako PPT animace.


Ať už je to Sorovo video, dráha, Keling atd., amplituda pohybu, ale pouze amplituda čočky je velká, nikdy nedochází ke složitému pohybu lidí.
Na vrcholu dne se otočte nebo rychle utečte, zamávejte nebo obejměte. Upřímně, jen samotné objetí, jen málo videí s umělou inteligencí to dokáže.
A co kdybyste měli dívku na obrázku, sundali jí sluneční brýle, postavili se a šli směrem k soše?


Všechna videa AI, všechna mrtvá v akci.
A tentokrát to Doubao PixelDance dokázal doslova.


Až na nějaké drobné blikání hodinek na ruce byly proporce postav, pohyby, končetiny, osvětlení atd. téměř bezchybné.
Hra vypadá dobře, akční výkon lidí, to je nejdůležitější.
Například v Králi komedie v poslední scéně, Yin Tian Xiu Stephena Chowa, poté, co Liu Piao Piao zakřičel klasickou větu „Podpořím tě“, sedí Liu Piao Piao v odjíždějícím taxíku a velmi smutně pláče, chvíli se dívá na peníze a hodinky v ruce, pak je vytahuje do tašky a vytahuje je do tašky. považuje za svou víru a velmi smutně pláče. Sebekultivace herce a smutně si ho přitiskl k hrudi.
Tento výkon, to je kontinuální. To, co je nepřetržité, má napětí. Je to jen tehdy, když to cítíte, tu bolestnou emoci.

A nyní, s umělou inteligencí, generování výkonů postav, které dokážou provádět nepřetržité akce, již nejsou prázdnými řečmi.


Podívejte se na další případ, kdy si muž usrkne kávy, pak ji položí a zezadu přijde žena.

Také výrazy postav jsou drogové, starý muž se usmívá a směje, pak pláče.


Taky se mi chce brečet, vážně.
Když jsem loni v srpnu dělal upoutávku na Wandering Earth 3, snil jsem o milionech možností, jak umělá inteligence může hrát postavy.
Nyní, jen o rok později, mi Doubao pomohl splnit tento největší sen.

Kombinované video s více kamerami


Schopnost generovat video z více kamer s konzistentním stylem, scénou a postavami z jednoho obrázku + Výzva je něco, co jsem viděl pouze v promo akci Sora.
Je to to slavné video vlka vyjícího na měsíc.


Ve skutečnosti, abych byl upřímný, bylo v té době toto video velmi šokující sledovat, ale ve skutečnosti je v pořádku se na něj podívat nyní; styl, postavy a scény jsou tak jednoduché, že je dobře zachována konzistence a není zde žádný složitý příběh nebo podzápletky.
Ale to je vše, nyní stále neexistuje žádné AI video, které by dokázalo udělat více záběrů v jednom videu a stále mělo perfektní konzistenci.
Ani mě nezačínejte s věcmi studia LTX, to se hodí pro storyboardy, ale celovečerní film? Umyjte si prdel, o scénách ani nemluvte, je těžké udržet postavy v panoramatické, střední a detailní uniformě. A je to opravdu ošklivé.
Ale teď to Doubao PixelDance udělal a konzistence je prostě nepřekonatelná, opravdu.
A trvá to pouze jeden obrázek + výzva.
Například tento.

Výzva: smrt s kosou se blíží k ženě. Detailní záběr na ženinu tvář, když křičí hrůzou.


Extrémní ovládání fotoaparátu


Modeling Doubao PixelDance je nejodpornější a nejúžasnější, jaké jsem kdy viděl.
Nyní ovládání AI videoobjektivu, stále v podstatě zaměřené na fotoaparát + pohybový štětec kombinace dvou funkcí, ale upřímně řečeno, horní hranice je opravdu omezená, hodně velký objektiv a zoom, to prostě nejde.
A Doubao PixelDance, efekt je opravdu kurevsky pobuřující.
Neříkám, jaký pohled z ptačí perspektivy zvětšuje a otáčí tento druh manipulace se základnou, klíčové je jedním slovem rozmanitost 360 stupňů kolem předmětu, prostorový, přední a zadní zoom, panorámování, sledování cíle, zvedání a spouštění objektivu čehokoli, co může být.
Efekt je překvapivě dobrý, viděl jsem poprvé ve videu AI, transportní zrcadlo může být tak úžasné, tak cool.
Podívejte se přímo na případ.

Výzva: žena se usměje a skloní hlavu, kamera se odtáhne a bílý muž se na ženu podívá.


Zoom je extrémně přirozený a plynulý, neporazitelný, příliš neporazitelný.
A pak je tu jeden, 360stupňový drastický driblér.
Výzva: černobílý styl, kamera natáčí kolem ženy ve slunečních brýlích, pohybuje se z její strany dopředu a nakonec se zaměřuje na detailní záběr ženské tváře.

Toto je obrázek a poté výzva, můžete tomu věřit? Tento rozsah pohybu, tato stabilita, než zasrané modelování z pobuřujícího, jsem opravdu přesvědčen.
Jak můžeš nechat fotografy, aby si stále hráli, blázen...

Napište na závěr


Sora a obří futures, od 2.16 do současnosti, pozdě na to, aby viděl nějakou stopu.
A pak, 6.6, může Ling mlčet, oficiálně online, jménem výstupu China Sora.
A dnes, 9.24, ByteDances znovu AI video, posunuté na zcela novou úroveň, je v propagačním videu Sora, nevidí výšku.
Čína zatím Sora nepotřebuje, model Doubao je nebe.
Doubao PixelDance také nepotřebuje žádnou čínskou verzi Sorovy přezdívky, Doubao PixelDance je Doubao PixelDance, nyní jsou dny AI videa.
Také do tohoto bodu, AI video již není hračka, ale skutečné, může vstoupit do filmu a televize, reklamy, animace workflow, přinést trochu nové představivosti.
Tuto střelu jsme vypálili my.
Dnes tento model Doubao PixelDance dá přednost podniku, aby otevřel výzvu k testování, za pár dní na arše sopky, protože když na lince, která sní C-uživateli plně otevřena, možná bude muset nějakou dobu čekat, koneckonců, je příliš nová, řekli, že stále chtějí optimalizovat schopnost modelu, stabilní, pak přímo na lince, která sní, do úplného otevření.
Opravdu se nikdy žádný zázrak nestal, vše je nahromaděním mnohaletých srážek, vše je tak, jak bylo slíbeno.
Dnes mohu také křičet tu větu:

Další video generované PixelDance:

Konečně: Jak se TEĎ přihlásit na PixelDance?

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

Nejprve si zaregistrujte svůj účet:

账号登录-火山引擎 (volcengine.com)

Přihlaste se pomocí svého mobilního telefonu.

Požádejte o přístup zde:

Nyní máte hotovo, prosím čekáte na odpověď