
ByteDance представляет новую модель видео на основе искусственного интеллекта — «Прощай, Сора, твое время прошло».
Только что практически завершился запуск движка Volcano Engine от ByteDance.
Я сейчас немного перевозбужден.
Несмотря на то, что запуск уже состоялся, я считаю, что в данный момент официально наступило совершенно новое начало, способное изменить отрасль.
Компания ByteDance официально выпустила две новые модели видео на базе искусственного интеллекта:
Генерация видео Doubao – модель PixelDance и модель Seaweed.
Я расскажу больше о модели Seaweed в следующий раз. На этот раз я хочу поговорить об этой модели Doubao PixelDance, потому что она такая крутая, такая крутая, что я буквально смотрел на нее с благоговением все время.
В тот момент, когда они официально объявили об этом, раздались такие аплодисменты, что мне показалось, будто я сейчас снесу крышу дома, глядя на экран.
На самом деле, если бы мне пришлось описать эту модель Doubao PixelDance, я бы сказал тремя словами:
Сложное непрерывное движение персонажей, многокамерная комбинированная видеосъемка и экстремальный контроль камеры.
Звучит немного сложно для понимания, не так ли? Не торопитесь, я объясню подробно.
Сначала я приведу несколько примеров, чтобы почувствовать шок от этой вещи:
На самом деле, раньше индустрия кино и телевидения почти не могла использовать ИИ, потому что игра персонажей была слишком паршивой, а согласованность сцен и персонажей была слишком слабой, работа зеркала, честно говоря, была не очень хорошей.
Теперь на помощь пришла компания ByteDance, которая вывела видео с использованием искусственного интеллекта на совершенно новый уровень.
Сегодня, на этом самом запуске, официально наступило необычное событие, вызывающее переворот в отрасли.
И вот я, затаив дыхание на целых 4 дня, наконец-то могу опубликовать эту статью.
Да, 4 дня назад меня пригласили ByteDance, я заранее измерил эту модель Doubao PixelDance, в то время я был в шоке, не передать словами. Знаете, как блогер, измерив такую дерзкую вещь, я, естественно, хочу быть первым, кто хочет поделиться ею, но из-за соглашения о конфиденциальности я не могу сказать об этом ни слова.
Так что вы понимаете, как мне было тяжело выдержать эти 4 дня.
И теперь все складывается. Я, наконец, могу, черт возьми, говорить.
Вернемся к трем наиболее важным функциям:
Сложные непрерывные движения персонажей, многокамерные комбинированные видео и экстремальное управление камерой.
Персонажи могут выполнять непрерывные действия
Раньше видеоролики с использованием искусственного интеллекта имели один существенный недостаток: они напоминали анимацию PPT.
Будь то видео Соры, или подиум, или Келинг и т. д., амплитуда движения, но только амплитуда объектива велика, никогда не бывает сложного движения людей.
В конце дня, развернитесь, или быстро пробежитесь, или помашите рукой, или обнимитесь. Честно говоря, только объятия, не многие видео с ИИ могут это сделать.
А что, если бы девушка на фотографии сняла солнцезащитные очки, встала и пошла к статуе?

Все видео с ИИ, все мертвы в действии.
И на этот раз Doubao PixelDance сделал это в буквальном смысле.
За исключением небольшого мерцания часов на руке, пропорции персонажа, движения, конечности, освещение и т. д. были практически безупречны.
Спектакль выглядит хорошо, а вот действия людей — это самое главное.
Например, в «Короле комедии» в последней сцене Инь Тянь Сю Стивена Чоу, после того как крикнул классическую фразу «Я поддержу тебя» Лю Пяопяо, Лю Пяопяо сидит в отъезжающем такси и очень грустно плачет, некоторое время смотрит на деньги и часы в своей руке, затем кладет их в сумку и достает книгу «Самовысовершенствование актеров», которую она считает своей верой, и очень грустно плачет. Самосовершенствование актера, и грустно прижимает ее к груди.
Это представление, оно непрерывно. Это то, что непрерывно, имеет напряжение. Это только тогда, когда вы можете почувствовать это, эту болезненную эмоцию.
И теперь, благодаря ИИ, создание персонажей, способных выполнять непрерывные действия, больше не является пустым звуком.
Рассмотрим другой случай: мужчина делает глоток кофе, затем ставит его на стол, а сзади к нему подходит женщина.
Кроме того, мимика персонажей просто потрясающая: старик улыбается и смеётся, а затем плачет.

Мне тоже хочется плакать, правда.
Когда в августе прошлого года я делал трейлер к «Блуждающей Земле 3», я фантазировал о миллионе возможностей для искусственного интеллекта, исполняющего роли персонажей.
И вот, всего год спустя, Doubao помог мне осуществить эту самую большую мечту.
Комбинированное видео с нескольких камер
Возможность создания многокамерного видео с единым стилем, сценой и персонажами из одного изображения + Prompt — это то, что я видел только в промо-ролике Соры.
Это знаменитое видео, где волк воет на луну.
Честно говоря, в то время это видео было очень шокирующим, но сейчас его вполне можно посмотреть: стиль, персонажи и сцены настолько просты, что последовательность сохраняется, и в нем нет сложной истории или второстепенных сюжетных линий.
Но на этом всё, до сих пор не существует ни одного видео с искусственным интеллектом, которое могло бы делать несколько кадров в одном видео и при этом иметь идеальную согласованность.
Даже не заставляйте меня начинать про студию LTX, это нормально для раскадровок, но художественный фильм? Мойте задницу, даже не говорите о сценах, сложно держать персонажей в единообразии панорамных, средних и крупных планов. И это действительно уродливо.
Но теперь Doubao PixelDance это сделал, и последовательность просто непревзойденная, правда.
И для этого потребуется всего одно изображение + подсказка.
Например, этот.
Подсказка: смерть с косой приближается к женщине. Крупный план лица женщины, которая кричит от ужаса.
Экстремальный контроль камеры
Моделирование Doubao PixelDance — самое возмутительное и потрясающее, что я когда-либо видел.
Теперь управление видеообъективом на основе ИИ по-прежнему в основном сосредоточено на комбинации двух функций камеры и кисти движения, но, честно говоря, верхний предел действительно ограничен, много больших объективов и зумов просто невозможно реализовать.
И Doubao PixelDance, эффект действительно просто охренительный.
Что такое вид с высоты птичьего полета, увеличение и вращение, этот вид базовой манипуляции я не говорю, суть, одним словом, в разнообразии 360 градусов вокруг объекта, объемного, переднего и заднего вида, панорамирования, сопровождения цели, подъема и опускания объектива чего бы то ни было.
Эффект на удивление хорош, я видел это впервые, в видео об ИИ, транспортное зеркало может быть таким потрясающим, таким крутым.
Давайте посмотрим на дело напрямую.
Подсказка: женщина улыбается и опускает голову, камера отъезжает, и на женщину смотрит белый мужчина.
Зум чрезвычайно естественный и плавный, непобедимый, слишком непобедимый.
А вот еще один — резкий обводной дриблер на 360 градусов.
Подсказка: в черно-белом стиле камера снимает вокруг женщины в солнцезащитных очках, перемещаясь сбоку вперед и, наконец, фокусируется на крупном плане лица женщины.
Это фотография, а затем Prompt, вы можете в это поверить? Этот диапазон движения, эта стабильность, чем гребаное моделирование из возмутительного, я действительно убежден.
Как ты можешь позволять фотографам продолжать играть, сумасшедший...
Напишите в конце
Сора гигантское будущее, с 2.16-го по настоящее время, поздно видеть какой-либо след.
И тогда, 6.6, Лин может молчать, официально онлайн, от имени выхода Китая Сора.
И сегодня, 9.24, ByteDances снова видео AI, выведенное на совершенно новый уровень, находится в рекламном ролике Соры, не видно высоты.
Пока что Китаю не нужна модель Sora, Doubao — это небо.
Doubao PixelDance также не нуждается в китайской версии прозвища Соры, Doubao PixelDance — это Doubao PixelDance, он сейчас — эпоха видео с искусственным интеллектом.
На данный момент видео с искусственным интеллектом уже не игрушка, а реальность, способная войти в рабочий процесс кино и телевидения, рекламы, анимации, привнести новое воображение.
Этот выстрел был произведен нами.
Сегодня эта модель Doubao PixelDance, отдаст приоритет предприятию, чтобы открыть приглашение для тестирования, через несколько дней на вулканическом ковчеге, что касается того, когда на линии, которая мечтает о полном открытии для пользователя C, возможно, придется подождать некоторое время, в конце концов, она слишком новая, они сказали, что они все еще хотят оптимизировать способность модели, стабильную, а затем непосредственно на линии, которая мечтает, к полному открытию.
На самом деле, никакого чуда не было, все это результат многолетних осадков, все так, как и было обещано.
Сегодня я тоже могу выкрикнуть эту строчку:
Другое видео, созданное PixelDance:
Наконец : Как подать заявку на PixelDance СЕЙЧАС?
https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo
Сначала зарегистрируйте свой аккаунт:

Войдите в систему с помощью мобильного телефона.
Подать заявку на доступ можно здесь:


Теперь вы сделали это, пожалуйста, ждите ответа.