ByteDanceがAIビデオモデルを新リリース – さようならソラ、あなたの時代は終わりました。

ちょうど今、ByteDance の Volcano Engine のリリースは基本的に終了しました。
今はちょっと興奮しすぎています。
ローンチは終わったものの、業界を揺るがす新たな始まりが、この瞬間に正式に到来したと感じています。


ByteDance は、2 つの新しい AI ビデオ モデルを正式にリリースしました。


Doubao ビデオ生成 - PixelDance モデルと Seaweed モデル。
Seaweed モデルについては、次回詳しくお話しします。今回は、この Doubao PixelDance モデルについてお話ししたいと思います。このモデルが本当にすごいので、私は文字通りずっと畏敬の念を抱きながら見ていました。

このことが公式に発表された瞬間、拍手が起こりすぎて、スクリーンから家の屋根が吹き飛ぶのではないかと思ったほどでした。
実際、この Doubao PixelDance モデルを要約すると、次の 3 つの言葉になります。
キャラクターの複雑で連続的な動き、複数のカメラを組み合わせたビデオ、そして極端なカメラ制御。
ちょっとわかりにくいですね。急がなくても大丈夫です。詳しく説明します。

まず、このことの衝撃を感じるために、いくつかの事例を挙げてみました。

本当に、これまでの映画やテレビ業界では、AI をほとんど使用できませんでした。その理由は、登場人物の演技があまりにも下手で、シーンと登場人物の一貫性があまりにも悪く、正直言ってミラーの操作がよくなかったからです。

現在、ByteDance が参入し、AI ビデオをまったく新しいレベルに引き上げました。


業界の混乱の特異点は、まさに今日、このローンチで正式に到来しました。
そして、私は丸4日間息を止めて、ようやくこの記事を送信することができます。
はい、4日前、ByteDanceに招待されて、このDoubao PixelDanceモデルを事前に測定しました。その時、私は言葉にならないほどの衝撃を受けました。ご存知のように、ブロガーとして、このような生意気なものを測定した後は、当然、初めてそれを共有したいのですが、秘密保持契約のため、それについては一言も言えません。
だから、この4日間我慢するのが私にとってどれだけ大変だったか、お分かりでしょう。
そして今、すべてがうまくまとまってきた。ようやく話せるようになった。
最も重要な 3 つの機能に戻ります。
キャラクターの複雑で連続的な動き、複数のカメラを組み合わせたビデオ、そして極端なカメラコントロール。

キャラクターは連続アクションが可能


これまでの AI ビデオには、PPT アニメーションのように見えるという非常に致命的な点がありました。


ソラのビデオでも、ランウェイでも、ケリングでも、動きの振幅は大きいですが、レンズの振幅だけが大きく、人の複雑な動きは決してありません。
一日の終わりに、振り向いたり、ちょっと走ったり、手を振ったり、ハグしたり。正直、ハグだけでも、それをできる AI 動画は多くありません。
そして、写真の女の子にサングラスを外して立ち上がって、像に向かって歩いてもらったらどうなるでしょうか?


すべて AI ビデオ、すべて動作不能です。
そして今回、Doubao PixelDance は文字通りそれを実現しました。


手首の時計がわずかにちらつくことを除けば、キャラクターの比率、動き、手足、照明などはほぼ完璧でした。
芝居は見た目も良く、人のアクション演技も一番大事ですね。
例えば、『喜劇王』の最後のシーンで、チャウ・シンチー演じる陰天秀が劉彪彪に「応援するよ」という定番のセリフを叫んだ後、劉彪彪は出発するタクシーに座ってとても悲しそうに泣き、しばらく手に持ったお金と時計を眺めてから、それらをバッグにしまい、彼女が信念としている本『俳優の修身』を取り出してとても悲しそうに泣きます。『俳優の修身』を手に取り、悲しそうにそれを胸に抱きしめます。
このパフォーマンスは継続的です。継続しているからこそ緊張が生まれるのです。その痛む感情を感じることができるのは、そのときだけです。

そして今、AI によって、連続アクションを実行できるキャラクターのパフォーマンスを生成することは、もはや空論ではありません。


別のケースを見てみましょう。男性がコーヒーを一口飲んで、それを置くと、後ろから女性が近づいてきます。

また、キャラクターの表情もかっこよくて、おじいさんは笑ったり、笑ったり、泣いたりします。


私も本当に泣きたいです。
昨年 8 月に『Wandering Earth 3』の予告編を制作したとき、私は AI がキャラクターを演じる無数の可能性を夢想しました。
それからちょうど1年後、Doubao は私のこの最大の夢を叶える手助けをしてくれました。

マルチカメラコンビネーションビデオ


単一の画像 + プロンプトから一貫したスタイル、シーン、キャラクターを持つマルチカメラ ビデオを生成できる機能は、Sora のプロモーションでしか見たことがありません。
それは、オオカミが月に向かって遠吠えしているあの有名なビデオです。


実は、正直に言うと、このビデオは当時、見ていて非常に衝撃的でしたが、今見ても大丈夫です。スタイル、キャラクター、シーンが非常にシンプルで一貫性が保たれており、複雑なストーリーやサブプロットはありません。
しかし、今のところ、1 つのビデオで複数のショットを撮影し、完璧な一貫性を維持できる AI ビデオはまだ存在しません。
LTX スタジオのことは、話したくもない。ストーリーボードならいいけど、長編映画はどうなの？ 尻を洗って、シーンについては言うまでもない。パノラマ、ミディアム、クローズアップでキャラクターを統一するのは難しい。そして、本当に醜い。
しかし、今では Doubao PixelDance がそれを実現し、その一貫性はまさに無敵です。
必要なのは 1 つの画像とプロンプトだけです。
たとえばこれ。

プロンプト: 鎌を持った死神が女性に近づいています。恐怖で叫ぶ女性の顔のクローズアップ。


究極のカメラコントロール


Doubao PixelDance のモデリングは、私が今まで見た中で最もとんでもなく素晴らしいです。
現在、AI ビデオ レンズ コントロールは、基本的にはカメラ + モーション ブラシの 2 つの機能の組み合わせに重点を置いていますが、正直に言うと、上限は本当に限られており、多くの大型レンズやズームは、単純に実行できません。
そしてDoubao PixelDance、その効果は本当にすごいです。
鳥瞰図、ズームアップ、回転など、このような基本操作が何なのかは言いませんが、ポイントは、一言で言えば、被写体の周囲360度のさまざまなサラウンド、前後のビューのズーム、パン、ターゲットの追従、レンズの上げ下げなど、何でもできるということです。
効果は驚くほど良く、初めて見ましたが、AIビデオでは、トランスポートミラーがこんなにも素晴らしく、とてもクールです。
ケースを直接見てください。

プロンプト: 女性が微笑んで頭を下げ、カメラが離れ、白人男性が女性を見つめます。


ズームは極めて自然でスムーズ、無敵、無敵すぎる。
そして、これは360度大胆にラップアラウンドするドリブラーです。
プロンプト: 白黒スタイルで、カメラはサングラスをかけた女性の周りを撮影し、横から正面へと移動し、最後に女性の顔のクローズアップに焦点を合わせます。

これは写真です、そしてプロンプト、信じられますか？この可動範囲、この安定性、とんでもないモデリングよりも、私は本当に納得しています。
どうしてカメラマンたちにまだ遊んでいられるんだ、クレイジーだ…

最後に書く


ソラの巨大な未来は、2.16日から今日まで、痕跡を見るのに遅れています。
そして、6.6、リンは沈黙し、正式にオンラインになり、中国ソラの出力を代表します。
そして今日9月24日、ByteDanceはまたAIビデオを新たなレベルに押し上げ、ソラのプロモーションビデオでは見られない高さを実現しました。
今のところ、中国は空を必要とせず、豆宝モデルが空です。
Doubao PixelDance も、Sora のニックネームの中国語版は必要ありません。Doubao PixelDance は Doubao PixelDance であり、彼は今や AI ビデオの時代です。
また、この点では、AI ビデオはもはやおもちゃではなく、映画やテレビ、広告、アニメーションのワークフローに参入し、新しい想像力をもたらす本物です。
このショットは私たちが発射したものです。
本日、この豆宝 PixelDance モデルは、企業に優先的にオープンテストへの招待を行い、数日後に火山の方舟で公開されます。この夢のライン上で C ユーザーに完全にオープンする時期については、しばらく待つ必要がある可能性があります。結局のところ、まだ新しいため、モデルの能力を最適化して安定させたいとのことで、その後すぐにこの夢のライン上で完全にオープンします。
本当に、奇跡など一度も起こったことがありません。すべては長年の努力の積み重ねであり、すべては約束どおりなのです。
今日、私はまたこのセリフを叫ぶことができます。

PixelDance によって生成されたその他のビデオ:

最後に： PixelDance に今すぐ申し込むには？

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

まずアカウントを登録してください:

账号登录-火山引擎 (volcengine.com)

携帯電話でログインしてください。

アクセスを申請するには、こちらをクリックしてください:

これで完了です。返信をお待ちください。