ByteDance New Releases AI Video Model - Auf Wiedersehen Sora, deine Zeit ist vorbei.
Soeben ist die Einführung der Volcano Engine von ByteDance im Grunde abgeschlossen.
Ich bin im Moment ein bisschen überdreht.
Auch wenn die Markteinführung vorbei ist, habe ich das Gefühl, dass ein brandneuer Anfang, der die Branche umkrempelt, in diesem Moment offiziell gekommen ist.
ByteDance hat seine beiden neuen KI-Videomodelle offiziell veröffentlicht:
Doubao Video Generation - PixelDance-Modell und Seaweed-Modell.
Ich werde das nächste Mal mehr über das Seaweed-Modell sprechen. Dieses Mal möchte ich über dieses Doubao PixelDance Modell sprechen, weil es so toll ist, so toll, dass ich es buchstäblich die ganze Zeit mit Ehrfurcht betrachtet habe.
In dem Moment, in dem sie diese Sache offiziell ankündigten, gab es so viel Applaus, dass ich das Gefühl hatte, ich würde vom Bildschirm aus das Dach des Hauses wegpusten.
Wenn ich dieses Doubao PixelDance-Modell in drei Worten zusammenfassen müsste, würde ich sagen, dass es sich um ein Modell handelt:
Komplexe kontinuierliche Bewegungen von Figuren, Kombinationsvideo mit mehreren Kameras und extreme Kamerasteuerung.
Klingt ein bisschen schwer zu verstehen, nicht wahr? Keine Eile, ich werde es Ihnen ausführlich erklären.
Ich habe zuerst ein paar Kisten hingestellt, um den Schock dieser Sache zu spüren:
Wirklich, die Film- und Fernsehindustrie vor, fast nicht verwenden können AI, ist, weil der Charakter Leistung ist zu Müll, und die Szene und die Zeichen-Konsistenz ist zu schlecht, der Betrieb des Spiegels, um ehrlich zu sein ist nicht gut.
Jetzt ist ByteDance auf den Plan getreten und hat KI-Videos auf ein ganz neues Niveau gebracht.
Die Einzigartigkeit des Umbruchs in der Industrie ist heute offiziell angekommen, und zwar genau an diesem Start.
Und ich kann, nachdem ich 4 volle Tage lang den Atem angehalten habe, endlich diesen Artikel abschicken.
Ja, vor 4 Tagen wurde ich von ByteDance eingeladen, gemessen diese Doubao PixelDance Modell im Voraus, zu dieser Zeit war ich schockiert jenseits aller Worte, wissen Sie, wie ein Blogger, nach der Messung eine solche kühne Sache, natürlich wollen die erste Zeit, um es zu teilen, aber wegen der Vertraulichkeitsvereinbarung, kann ich nur nicht sagen, ein Wort darüber.
Sie wissen also, wie schwer es für mich war, in diesen 4 Tagen durchzuhalten.
Und jetzt fügt sich alles zusammen. Ich kann endlich reden, verdammt.
Zurück zu diesen drei wichtigsten Merkmalen:
Komplexe kontinuierliche Bewegungen der Figuren, Videos mit mehreren Kameras und extreme Kamerasteuerung.
Charaktere können kontinuierliche Aktionen ausführen
In der Vergangenheit haben KI-Videos einen sehr fatalen Punkt, nämlich dass sie wie PPT-Animationen aussehen.
Ob Sora's Video, oder Runway, oder Keling, usw., die Bewegungsamplitude, sondern nur die Linse Amplitude ist groß, gibt es nie eine komplexe Bewegung von Menschen.
Das Beste am Tag: umdrehen, kurz laufen, winken oder umarmen. Ehrlich gesagt, nur die Umarmung allein, nicht viele KI-Videos können das.
Und was wäre, wenn das Mädchen auf dem Bild die Sonnenbrille abnehmen, aufstehen und auf die Statue zugehen würde?
Alle KI-Videos, alle tot in Aktion.
Und dieses Mal hat es der Doubao PixelDance geschafft, im wahrsten Sinne des Wortes.
Abgesehen von einem leichten Flackern der Uhr auf dem Zeiger waren die Proportionen, Bewegungen, Gliedmaßen, Beleuchtung usw. der Figuren nahezu makellos.
Ein Stück sieht gut aus, die Leistung der Menschen ist das Wichtigste.
In "Der König der Komödie" zum Beispiel, in der letzten Szene, nachdem Stephen Chows Yin Tian Xiu Liu Piao Piao den klassischen Satz "Ich werde dich unterstützen" zugerufen hat, sitzt Liu Piao Piao im abfahrenden Taxi und weint sehr traurig, schaut eine Weile auf das Geld und die Uhr in ihrer Hand, steckt sie dann in ihre Tasche und zieht das Buch "Selbstkultivierung des Schauspielers" heraus, das sie als ihren Glauben betrachtet, und weint sehr traurig. Selbstkultivierung des Schauspielers", und drückt es traurig an seine Brust.
Diese Performance ist kontinuierlich. Nur was kontinuierlich ist, hat Spannung. Nur wenn man sie spüren kann, diese schmerzende Emotion.
Und jetzt, mit der KI, ist die Entwicklung von Charakteren, die kontinuierliche Aktionen ausführen können, kein leeres Gerede mehr.
Sehen Sie sich einen anderen Fall an, in dem ein Mann einen Schluck Kaffee trinkt, ihn dann abstellt und eine Frau von hinten kommt.
Auch die Mimik der Charaktere ist klasse, der alte Mann lächelt und lacht, dann weint er.
Ich möchte auch weinen, wirklich.
Als ich im August letzten Jahres den Trailer für Wandering Earth 3 drehte, stellte ich mir eine Million Möglichkeiten für KI als Charakterdarsteller vor.
Jetzt, nur ein Jahr später, hat Doubao mir geholfen, diesen großen Traum zu erfüllen.
Multikamera-Kombinationsvideo
Die Fähigkeit, aus einem einzigen Bild und einer Eingabeaufforderung ein Video mit mehreren Kameras, einem einheitlichen Stil, einer einheitlichen Szene und einheitlichen Charakteren zu erstellen, habe ich bisher nur in Soras Promo gesehen.
Es ist das berühmte Video eines Wolfs, der den Mond anheult.
Um ehrlich zu sein, war dieses Video damals sehr schockierend, aber heute kann man es sich gut ansehen. Der Stil, die Charaktere und die Szenen sind so einfach, dass die Konsistenz gewahrt bleibt, und es gibt keine komplizierte Geschichte oder Nebenhandlungen.
Aber das war's dann auch schon. Es gibt immer noch kein KI-Video, das mehrere Aufnahmen in einem einzigen Video machen kann und trotzdem perfekt konsistent ist.
Lassen Sie mich gar nicht erst mit dem LTX-Studio-Zeug anfangen, das ist gut für Storyboards, aber ein Spielfilm? Waschen Sie sich den Arsch, reden Sie gar nicht erst von den Szenen, es ist schwer, die Figuren in Panorama-, Mittel- und Nahaufnahmen einheitlich zu halten. Und es ist wirklich hässlich.
Aber jetzt hat Doubao PixelDance es geschafft, und die Konsistenz ist einfach unschlagbar, wirklich.
Und es braucht nur ein Bild + Aufforderung.
Zum Beispiel dieses hier.
Aufforderung: Der Tod mit einer Sense nähert sich der Frau. Nahaufnahme des Gesichts der Frau, die vor Angst schreit.
Extreme Kamerasteuerung
Doubao PixelDance Modeling ist das Ungeheuerlichste und Fantastischste, was ich je gesehen habe.
Nun ist die AI-Video-Objektiv-Steuerung, immer noch im Wesentlichen auf die Kamera + Bewegung Pinsel Kombination von zwei Funktionen konzentriert, aber um ehrlich zu sein, ist die obere Grenze wirklich begrenzt, eine Menge von großen Objektiv und Zoom, kann einfach nicht getan werden.
Und Doubao PixelDance, der Effekt ist wirklich unverschämt.
Was Vogelperspektive Zoom und drehen Sie diese Art von Basis Manipulation ich nicht sagen, der Schlüssel ist, in einem Wort, eine Vielzahl von 360 Grad rund um das Thema Surround-, Front-und Heckansicht Zoom, Schwenken, Ziel nach, Heben und Senken der Linse von was auch immer Sache sein kann.
Der Effekt ist überraschend gut, ich habe zum ersten Mal gesehen, in der AI-Video, Transport-Spiegel kann so genial, so cool sein.
Schauen Sie sich das Gehäuse direkt an.
Prompt: Die Frau lächelt und senkt den Kopf, die Kamera schwenkt weg, und ein weißer Mann schaut die Frau an.
Der Zoom ist extrem natürlich und glatt, unbesiegbar, zu unbesiegbar.
Und dann gibt es da noch diesen, einen drastischen 360-Grad-Dribbler mit Umdrehung.
Aufforderung: Schwarz-Weiß-Stil, die Kamera schwenkt um die Frau mit der Sonnenbrille herum, bewegt sich von der Seite nach vorne und fokussiert schließlich auf eine Nahaufnahme des Gesichts der Frau.
Das ist ein Bild, und dann ein Prompt, könnt ihr das glauben? Dieser Bewegungsumfang, diese Stabilität, als die verdammte Modellierung aus dem Unerhörten, ich bin wirklich überzeugt.
Wie kann man die Fotografen noch spielen lassen, verrückte ah...
Schreiben Sie am Ende
Sora eine riesige Zukunft, vom 2.16. bis heute keine Spur zu sehen.
Und dann, 6.6, kann Ling still, offiziell online, im Namen der Ausgabe von China Sora.
Und heute, 9.24, ByteDances wieder AI Video, schob auf eine ganz neue Ebene, ist ein in Sora's Werbe-Video, kann nicht sehen, die Höhe.
Bislang braucht China kein Sora, das Doubao-Modell ist der Himmel.
Doubao PixelDance braucht auch keine chinesische Version von Soras Spitznamen, Doubao PixelDance ist Doubao PixelDance, er ist jetzt die Tage der AI Video.
Auch zu diesem Punkt, AI Video ist nicht mehr ein Spielzeug, sondern eine echte, kann die Film-und Fernseh-, Werbe-, Animations-Workflow geben, bringen einige neue Phantasie.
Dieser Schuss wurde von uns abgefeuert.
Heute ist diese Doubao PixelDance Modell, wird Priorität für das Unternehmen, um die Einladung zu testen, in ein paar Tagen auf dem Vulkan Arche, als für die, wenn auf der Linie, dass Traum, um die C-Benutzer voll offen, kann für einen Zeitraum von Zeit warten müssen, nachdem alle, ist zu neu, sagten sie, dass sie noch optimieren wollen, das Modell Fähigkeit, stabil, dann direkt auf der Linie, dass Traum, um die voll offen.
In Wirklichkeit hat es nie ein Wunder gegeben, alles ist das Ergebnis jahrelanger Niederschläge, alles ist wie versprochen.
Heute kann ich diesen Satz auch schreien:
Andere Videos, die von PixelDance erstellt wurden:
Endlich : Wie bewerbe ich mich für PixelDance NOW?
https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo
Registrieren Sie zunächst Ihr Konto:
Melden Sie sich mit Ihrem Mobiltelefon an.
Zugang hier beantragen:
Jetzt haben Sie es geschafft, bitte warten Sie auf Antwort