ByteDance lansează model video AI – Adio Sora, timpul tău a trecut.

Chiar acum, lansarea Volcano Engine de la ByteDance sa încheiat practic.
Sunt un pic supraemotionat acum.
Chiar dacă lansarea s-a încheiat, simt că un nou început pentru a perturba industria a sosit, în acest moment, oficial.


ByteDance a lansat oficial cele două noi modele video AI:


Doubao Video Generation – model PixelDance și model Seaweed.
Despre modelul Seaweed voi vorbi data viitoare. De data aceasta, vreau să vorbesc despre acest model Doubao PixelDance pentru că este atât de grozav, atât de grozav, încât l-am urmărit cu uimire tot timpul.

În momentul în care au anunțat oficial acest lucru, au fost atât de multe aplauze încât am simțit că voi arunca în aer acoperișul casei de pe ecran.
Într-adevăr, dacă ar fi să rezum acest model Doubao PixelDance, ar fi în trei cuvinte:
Mișcare continuă complexă a personajelor, combinație video cu mai multe camere și control extrem al camerei.
Sună puțin greu de înțeles, nu-i așa? Nu vă grăbiți, vă voi explica în detaliu.

Am pus mai întâi câteva cazuri, ca să simt șocul acestui lucru:

Într-adevăr, industria de film și televiziune înainte, aproape că nu poate folosi AI, se datorează faptului că, performanța personajului este prea gunoi, iar scena și consistența caracterului este prea slabă, funcționarea oglinzii pentru a fi sincer nu este bună.

Acum, ByteDance a intervenit și a dus videoclipurile AI la un nivel cu totul nou.


Singularitatea perturbării industriei a sosit oficial astăzi, chiar la această lansare.
Și eu, după ce îmi țin respirația timp de 4 zile întregi, pot trimite în sfârșit acest articol.
Da, în urmă cu 4 zile, am fost invitat de ByteDance, am măsurat acest model Doubao PixelDance în avans, la acel moment, am fost șocat dincolo de cuvinte, știi, știi, ca blogger, după ce am măsurat un lucru atât de îngâmfat, în mod firesc vreau să fiu prima dată când îl distribui, dar din cauza acordului de confidențialitate, nu pot spune decât un cuvânt despre el.
Deci știi cât de greu mi-a fost să o țin în aceste 4 zile.
Și acum totul se adună. În sfârșit pot vorbi.
Revenind la cele trei caracteristici cele mai importante:
Mișcări complexe continue ale personajelor, videoclipuri combinate cu mai multe camere și control extrem al camerei.

Personajele pot face acțiuni continue


În trecut, videoclipurile AI au un punct foarte fatal, adică arată ca o animație PPT.


Fie că este vorba despre videoclipul Sorei, sau pista, sau Keling, etc., amplitudinea mișcării, dar numai amplitudinea lentilei este mare, nu există niciodată o mișcare complexă a oamenilor.
În partea de sus a zilei, întoarceți-vă sau alergați rapid, sau faceți cu mâna sau îmbrățișați. Sincer, doar îmbrățișarea, nu multe videoclipuri AI pot face asta.
Și dacă ai avea fata din imagine, îți scoți ochelarii de soare, te ridici și mergi spre statuie?


Toate videoclipurile AI, toate morți în acțiune.
Și de data aceasta Doubao PixelDance, a făcut-o, la propriu.


În afară de unele pâlpâiri minore ale ceasului de pe mână, proporțiile caracterelor, mișcările, membrele, iluminarea etc., au fost aproape impecabile.
O piesă arată bine, performanţa oamenilor de acţiune, este cel mai important ah.
De exemplu, în Regele comediei, în ultima scenă, Yin Tian Xiu a lui Stephen Chow, după ce a strigat versul clasic „te susțin” lui Liu Piao Piao, Liu Piao Piao stă în taxiul care pleacă și plânge foarte trist, se uită puțin la bani și la ceasul în mână, apoi le pune în geanta, pe care o scoate în geanta, pe care o scoate. consideră credința ei și plânge foarte trist. Autocultivarea actorului și l-a îmbrățișat cu tristețe la pieptul lui.
Această performanță, este continuă. Este ceea ce este continuu care are tensiune. Doar când o poți simți, acea emoție dureroasă.

Și acum, cu AI, generarea de performanțe de caractere care pot face acțiuni continue nu mai este o vorbă goală.


Uită-te la un alt caz în care un bărbat ia o înghițitură de cafea, apoi o pune jos și o femeie vine din spate.

De asemenea, expresiile caracterului sunt idioate, bătrânul zâmbește și râde, apoi plânge.


Și eu vreau să plâng, chiar.
Când am făcut trailerul pentru Wandering Earth 3 în august anul trecut, am fanteziat cu un milion de posibilități pentru AI să facă actorie de personaje.
Acum, la doar un an mai târziu, Doubao m-a ajutat să-mi îndeplinesc acest cel mai mare vis.

Combinație video cu mai multe camere


Capacitatea de a genera un videoclip cu mai multe camere cu stil, scenă și personaje consistente dintr-o singură imagine + Prompt este ceva ce am văzut doar în promoția lui Sora.
Este acel celebru videoclip cu un lup urlând la lună.


De fapt, pentru a fi sincer, acest videoclip a fost, la acea vreme, foarte șocant de vizionat, dar de fapt este în regulă să îl vizionezi acum; stilul, personajele și scenele sunt atât de simple încât consecvența este bine menținută și nu există o poveste sau subploturi complicate.
Dar asta este, acum, încă nu există niciun videoclip AI care să poată face mai multe fotografii într-un singur videoclip și să aibă totuși o consistență perfectă.
Nici măcar nu mă face să încep cu chestiile de studio LTX, asta e în regulă pentru storyboard-uri, dar un lungmetraj? Spală-te în fund, nici măcar nu vorbi despre scene, e greu să ții personajele în uniformă panoramică, medie și prim-planuri. Și e chiar urât.
Dar acum, Doubao PixelDance a reușit, iar consistența este pur și simplu imbatabilă, într-adevăr.
Și este nevoie de o singură imagine + Prompt.
De exemplu, acesta.

Prompt: moartea cu coasa se apropie de femeie. Prim-plan al feței femeii în timp ce țipă de groază.


Control extrem al camerei


Modelarea Doubao PixelDance este cea mai scandaloasă și minunată pe care am văzut-o vreodată.
Acum, controlul lentilelor video AI, încă axat pe camera + combinație de perie de mișcare a două funcții, dar, pentru a fi sincer, limita superioară este într-adevăr limitată, o mulțime de lentile mari și zoom, pur și simplu nu se poate face.
Și Doubao PixelDance, efectul este al naibii de scandalos.
Ce vedere de pasăre măriți și rotiți acest tip de manipulare de bază, nu spun, cheia este, într-un cuvânt, o varietate de 360 de grade în jurul subiectului de zoom, vedere frontală și spate, panning, urmărire țintă, ridicare și coborâre a lentilei a orice lucru poate fi.
Efectul este surprinzător de bun, am văzut pentru prima dată, în videoclipul AI, oglinda de transport poate fi atât de minunată, atât de cool.
Privește direct cazul.

Prompt: femeia zâmbește și lasă capul în jos, camera se îndepărtează, iar un bărbat alb se uită la femeie.


Zoom-ul este extrem de natural și neted, invincibil, prea invincibil.
Și mai este acesta, un dribling drastic de 360 de grade.
Prompt: stil alb-negru, camera filmează în jurul femeii care poartă ochelari de soare, mișcându-se din partea ei în față și, în final, concentrându-se pe un prim-plan al feței femeii.

Aceasta este o poză, apoi un Prompt, îți vine să crezi? Această gamă de mișcare, această stabilitate, decât modelarea naibii din scandalos, sunt foarte convins.
Cum poți să-i lași pe fotografii să se joace în continuare, nebun ah...

Scrie până la urmă


Sora un viitor gigant, din 2.16 până în zilele noastre, întârzie să vadă orice urmă.
Și apoi, 6.6, poate Ling tăcut, oficial online, în numele producției de China Sora.
Și astăzi, 9.24, ByteDances din nou AI video, împins la un nivel cu totul nou, este un videoclip promoțional al lui Sora, nu se poate vedea înălțimea.
Până acum, China nu are nevoie de Sora, modelul Doubao este cerul.
Doubao PixelDance, de asemenea, nu are nevoie de nici o versiune chineză a poreclei lui Sora, Doubao PixelDance este Doubao PixelDance, el este acum în zilele de video AI.
De asemenea, până în acest punct, video AI nu mai este o jucărie, ci un real, poate intra în film și televiziune, publicitate, flux de lucru de animație, aduce o nouă imaginație.
Acest foc a fost tras de noi.
Astăzi, acest model Doubao PixelDance, va acorda prioritate întreprinderii să deschidă invitația de a testa, în câteva zile pe arca vulcanului, pentru că atunci când pe linia care visează la utilizatorul C complet deschis, ar putea trebui să aștepte o perioadă de timp, la urma urmei, este prea nou, ei au spus că încă mai doresc să optimizeze capacitatea de a optimiza modelul, stabil, apoi direct pe linia care visează.
Într-adevăr, nu a existat niciodată vreo minune, totul este acumularea multor ani de precipitații, totul este așa cum a promis.
Astăzi, pot striga și rândul acela:

Alte videoclipuri generate de PixelDance:

În sfârșit: Cum să aplici pentru PixelDance ACUM?

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

Înregistrați-vă mai întâi contul:

账号登录-火山引擎 (volcengine.com)

Conectați-vă cu telefonul mobil.

Aplicați accesul aici:

Acum ați terminat, vă rugăm să așteptați un răspuns