Meta baru saja meluncurkan Sora sendiri sebelum OpenAI - Meta Movie Gen


Meta Movie Gen memiliki semua yang dimiliki Sora, termasuk kemampuan untuk membuat video HD panjang dengan rasio aspek yang berbeda dan dukungan untuk 1080p, 16 detik, dan 16 frame per detik.
Aplikasi ini juga melakukan apa yang tidak dilakukan oleh Sora, yaitu menghasilkan musik latar belakang dan efek suara yang menyertai, mengedit video berdasarkan perintah teks, dan menghasilkan video yang dipersonalisasi berdasarkan gambar yang diunggah oleh pengguna.

Mari kita lihat apa yang bisa dilakukan meta:?

 Kamera berada di belakang seorang pria. Pria itu bertelanjang dada, mengenakan kain hijau di pinggangnya. Dia bertelanjang kaki. Dengan sebuah benda berapi di masing-masing tangan, dia menciptakan gerakan melingkar lebar. Laut yang tenang menjadi latar belakangnya. Suasananya memukau, dengan tarian api.

Seekor beruang koala berbulu halus dengan bulu berwarna abu-abu dan putih serta hidung bulat sedang berselancar di atas papan selancar berwarna kuning. Koala ini memegang papan selancar dengan cakarnya dan memiliki ekspresi wajah yang fokus saat mengendarai ombak. Matahari sedang bersinar.
Seekor monyet berwajah merah dengan bulu putih sedang menikmati berendam di sumber air panas alami. Monyet yang lucu ini sedang menghibur diri dengan miniatur perahu layar kayu, lengkap dengan layar putih dan kemudi kecil. Pemandian air panas ini terletak di tengah-tengah tanaman hijau yang rimbun, dikelilingi bebatuan dan pepohonan.

Sederhananya, "menerpakan cahaya pada gelembung di langit" dapat menciptakan efek visual yang indah, dan pada saat yang sama, secara sempurna menunjukkan benda-benda dalam pemandangan, dan pada waktu yang bersamaan, dapat memantulkan langit secara indah, terlihat lebih ekspresif.

Guntur bergemuruh dengan keras, diiringi oleh alunan musik orkestra.

Konsistensi karakternya sangat kuat.

Anda dapat mengedit video secara langsung, hanya dengan mengetikkan teks.

Membuat efek suara dan soundtrack Cukup masukkan teks

Gunakan input video dan teks untuk menghasilkan audio untuk video Anda. Movie Gen memungkinkan Anda membuat dan memperluas efek suara, musik latar, atau seluruh soundtrack.


Meta mengatakan bahwa ini adalah Model Media Foundation yang paling canggih hingga saat ini'.



Sebagian orang mengatakan bahwa sulit membayangkan seperti apa video panjang dan pendek dalam beberapa tahun ke depan, karena banyaknya kreator yang belajar menggunakan alat penyuntingan video AI.
Kali ini, tidak seperti Sora yang hanya memiliki demo dan blog resmi, Meta telah mempublikasikan arsitektur dan detail pelatihannya dalam sebuah makalah setebal 92 halaman.

https://arxiv.org/pdf/2410.02746


Tetapi model itu sendiri belum open source, dan disambut oleh para insinyur berwajah memeluk wajah mereka dan menjatuhkan tautan ke situs web open source Meta langsung di bagian komentar:
Di sini menunggu Anda sekarang.


Dalam makalahnya, Meta secara khusus menekankan bahwa penskalaan ukuran data, ukuran model, dan aritmatika pelatihan sangat penting untuk melatih model pembuatan media berskala besar. Dengan meningkatkan dimensi-dimensi ini secara sistematis, dimungkinkan untuk membuat sistem pembuatan media yang kuat.
Salah satu hal yang paling memprihatinkan adalah bahwa kali ini mereka benar-benar membuang model difusi dan fungsi kehilangan difusi, menggunakan Transformer sebagai jaringan tulang punggung dan Flow Matching sebagai target pelatihan.




Ruang pembuatan video AI telah ramai dengan aktivitas selama beberapa hari terakhir.


Tak lama sebelum Meta merilis Movie Gen, Tim Brooks, salah satu pencipta OpenAI Sora, pindah ke Google DeepMind untuk melanjutkan karyanya dalam pembuatan video dan simulator dunia.
Hal ini membuat banyak orang berpikir, sama seperti ketika Google lambat dalam merilis aplikasi Big Model dan para penulis Transformer 8 berbondong-bondong pergi.
Sekarang OpenAI terlambat merilis Sora, dan penulis utamanya juga telah melarikan diri.
Namun, ada juga yang percaya bahwa pilihan Tim Brooks untuk pergi sekarang mungkin mengindikasikan bahwa pekerjaan utamanya di OpenAI sudah selesai, dan telah menimbulkan spekulasi:
Apakah peluncuran Meta memaksa OpenAI untuk merilis Sora sebagai tanggapan?
(Saat artikel ini ditulis, pencipta Sora yang lain, Bill Peebles, belum angkat bicara).
Sekarang, Meta telah merilis model dengan kemampuan penyuntingan video, ditambah dengan pembaruan Pika 1.5 pada tanggal 1 Oktober, yang memfokuskan pada penambahan efek fisika, seperti melelehkan, mengembang, dan meremas objek dalam video.
Tidak sulit untuk melihat bahwa paruh kedua pembuatan video AI akan mulai bergulir ke arah pengeditan video AI.