Meta hat gerade sein eigenes Sora vor OpenAI auf den Markt gebracht - Meta Movie Gen


Meta Movie Gen hat alles, was Sora hat, einschließlich der Möglichkeit, lange HD-Videos mit verschiedenen Seitenverhältnissen und Unterstützung für 1080p, 16 Sekunden und 16 Bilder pro Sekunde zu erstellen.
Es kann auch das, was Sora nicht kann, nämlich begleitende Hintergrundmusik und Soundeffekte erzeugen, Videos auf der Grundlage von Textbefehlen bearbeiten und personalisierte Videos auf der Grundlage der vom Benutzer hochgeladenen Bilder erstellen.

Lasst uns sehen, was Meta tun kann ：

 Die Kamera befindet sich hinter einem Mann. Der Mann ist hemdsärmelig und trägt ein grünes Tuch um seine Taille. Er ist barfuß. Mit einem feurigen Gegenstand in jeder Hand macht er weite kreisförmige Bewegungen. Im Hintergrund ist ein ruhiges Meer zu sehen. Die Atmosphäre des Feuertanzes ist hypnotisierend.

Ein flauschiger Koala-Bär mit grau-weißem Fell und einer runden Nase surft auf einem gelben Surfbrett. Der Koala hält sich mit seinen Pfoten am Surfbrett fest und hat einen konzentrierten Gesichtsausdruck, während er auf den Wellen reitet. Die Sonne scheint.
Ein rotgesichtiger Affe mit weißem Fell genießt ein Bad in einer natürlichen heißen Quelle. Das verspielte Äffchen vergnügt sich mit einem Miniatur-Segelboot aus Holz mit einem weißen Segel und einem kleinen Ruder. Die heiße Quelle befindet sich inmitten von üppigem Grün, umgeben von Felsen und Bäumen.

Einfach gesagt, "setzen Sie das Licht auf die Blasen in den Himmel" kann schöne visuelle Effekte zu schaffen, und zur gleichen Zeit perfekt zeigen die Objekte in der Szene, und zur gleichen Zeit kann schön reflektieren den Himmel, ausdrucksstark aussehen.

Es donnert laut, begleitet von einem orchestralen Musikstück.

Die Konsistenz der Charaktere ist sehr stark.

Sie können Videos direkt bearbeiten, indem Sie einfach einen Text eintippen.

Soundeffekte und Soundtracks erstellen Einfach Text eingeben

Verwenden Sie Video- und Texteingaben, um Audio für Ihr Video zu erzeugen. Mit Movie Gen können Sie Soundeffekte, Hintergrundmusik oder ganze Soundtracks erstellen und erweitern.


Laut Meta handelt es sich dabei um die bisher fortschrittlichsten Modelle der Media Foundation".



Manche sagen, es sei schwer vorstellbar, wie lange und kurze Videos in ein paar Jahren aussehen werden, wenn eine große Zahl von Kreativen den Umgang mit KI-Videobearbeitungswerkzeugen erlernt.
Im Gegensatz zu Sora, für das es nur eine Demo und ein offizielles Blog gibt, hat Meta diesmal Details zur Architektur und zum Training in einem 92-seitigen Papier veröffentlicht.

https://arxiv.org/pdf/2410.02746


Das Modell selbst ist jedoch noch nicht quelloffen, was dazu führte, dass die Ingenieure ihre Gesichter in die Luft streckten und direkt in den Kommentaren einen Link zur Open-Source-Homepage von Meta einfügten:
Ich warte hier auf Sie.


Meta hebt in seinem Papier besonders hervor, dass die Skalierung der Datengröße, der Modellgröße und der Trainingsarithmetik für das Training groß angelegter Medienerzeugungsmodelle entscheidend ist. Durch die systematische Verbesserung dieser Dimensionen ist es möglich, ein solches leistungsfähiges Medienerzeugungssystem zu entwickeln.
Einer der besorgniserregendsten Punkte ist, dass sie diesmal das Diffusionsmodell und die Diffusionsverlustfunktion komplett weggeworfen haben und Transformer als Backbone-Netzwerk und Flow Matching als Trainingsziel verwenden.




Im Bereich der KI-Videoproduktion herrschte in den letzten Tagen rege Betriebsamkeit.


Kurz bevor Meta Movie Gen veröffentlichte, wechselte Tim Brooks, einer der Schöpfer von OpenAI Sora, zu Google DeepMind, um seine Arbeit an der Videogenerierung und an Weltsimulatoren fortzusetzen.
Das hat viele Leute zum Nachdenken gebracht, genau wie damals, als Google die Big Model-App nur langsam freigab und die Transformer 8-Autoren in Scharen abwanderten.
Jetzt ist OpenAI mit der Veröffentlichung von Sora in Verzug, und die Hauptautoren sind ebenfalls abgehauen.
Andere sind jedoch der Meinung, dass Tim Brooks' Entscheidung, das Unternehmen jetzt zu verlassen, darauf hindeuten könnte, dass seine Hauptarbeit bei OpenAI beendet ist, was zu Spekulationen geführt hat:
Hat die Markteinführung von Meta OpenAI dazu gezwungen, als Reaktion darauf Sora zu veröffentlichen?
(Zu diesem Zeitpunkt hat sich Soras anderer Schöpfer, Bill Peebles, noch nicht geäußert).
Jetzt hat Meta Modelle mit Videobearbeitungsfunktionen sowie das Update Pika 1.5 vom 1. Oktober veröffentlicht, das sich auf das Hinzufügen von Physikeffekten wie Schmelzen, Ausdehnen und Quetschen von Objekten in Videos konzentriert.
Es ist nicht schwer zu erkennen, dass die zweite Hälfte der KI-Videogeneration in Richtung KI-Videobearbeitung gehen wird.