ByteDance 신규 AI 비디오 모델 출시 – 안녕 소라, 당신의 시대는 지났어요.

방금 ByteDance의 Volcano Engine 출시가 기본적으로 끝났습니다.
나는 지금 좀 지나치게 흥분해 있다.
출시는 끝났지만, 저는 업계를 뒤흔들 새로운 시작이 지금 이 순간 공식적으로 도래했다고 느낍니다.


ByteDance는 공식적으로 두 가지 새로운 AI 비디오 모델을 출시했습니다.


두바오 비디오 생성 – PixelDance 모델과 Seaweed 모델.
다음 시간에는 Seaweed 모델에 대해 더 이야기하겠습니다. 이번에는 이 Doubao PixelDance 모델에 대해 이야기하고 싶습니다. 너무 멋지고 너무 멋지기 때문에 문자 그대로 경외감을 느끼며 계속 지켜보았습니다.

그들이 공식적으로 이것을 발표하는 순간, 엄청난 박수갈채가 터져서 화면에서 집 지붕을 날려버릴 것 같은 기분이 들었습니다.
정말로, 이 Doubao PixelDance 모델을 요약해야 한다면 세 단어로 요약할 수 있을 것 같습니다.
캐릭터의 복잡하고 지속적인 움직임, 멀티 카메라 조합 영상, 극단적인 카메라 컨트롤.
좀 이해하기 어려운 것 같지 않나요? 서두르지 마세요. 자세히 설명해 드릴게요.

나는 먼저 이 일의 충격을 느껴보기 위해 몇 가지 사례를 들어보았습니다.

사실, 예전에는 영화나 텔레비전 산업에서 AI를 거의 쓸 수 없었습니다. 그 이유는 캐릭터의 연기가 너무 형편없고, 장면과 캐릭터의 일관성이 너무 나쁘고, 솔직히 거울의 작동이 좋지 않았기 때문입니다.

이제 ByteDance가 나서서 AI 비디오를 완전히 새로운 수준으로 끌어올렸습니다.


산업 혁신의 특이점이 오늘, 이번 출시를 통해 공식적으로 도래했습니다.
그리고 저는 4일간이나 숨을 참고 기다린 끝에 마침내 이 글을 낼 수 있게 되었습니다.
네, 4일 전, 저는 바이트댄스의 초대를 받아 두바오 픽셀댄스 모델을 미리 측정했습니다. 그 당시 저는 말로 표현할 수 없을 만큼 충격을 받았습니다. 블로거로서 그렇게 건방진 것을 측정한 후 처음으로 공개하고 싶었지만, 비밀 유지 계약 때문에 아무 말도 할 수 없었습니다.
그러니 여러분은 제가 이 4일 동안 그것을 참는 게 얼마나 힘들었는지 아실 겁니다.
그리고 이제 모든 게 잘 맞아떨어지고 있어. 마침내 씨발 말할 수 있게 됐어.
가장 중요한 세 가지 특징으로 돌아가 보겠습니다.
캐릭터의 복잡하고 지속적인 움직임, 멀티 카메라 조합 영상, 극단적인 카메라 컨트롤.

캐릭터는 연속적인 액션을 수행할 수 있습니다.


과거 AI 영상은 PPT 애니메이션처럼 보인다는 매우 치명적인 단점이 있었습니다.


소라의 영상이든, 런웨이든, 켈링이든, 움직임의 진폭은 있지만 렌즈의 진폭만 클 뿐, 사람들의 복잡한 움직임은 나오지 않습니다.
하루의 정점, 돌아서거나, 빨리 달리거나, 손을 흔들거나, 포옹하세요. 솔직히, 포옹만으로는 많은 AI 영상이 그렇게 할 수 없습니다.
그럼 사진 속 소녀의 선글라스를 벗고 일어나서 동상을 향해 걸어가면 어떨까요?


모두 AI 영상이고, 모두 죽은 사람이 액션을 취하는 영상입니다.
그리고 이번에는 두바오 픽셀댄스가 문자 그대로 그것을 해냈습니다.


손목시계가 약간 깜빡거리는 것을 제외하면 캐릭터의 비율, 움직임, 팔다리, 조명 등은 거의 완벽했습니다.
연극이 좋아 보이려면, 사람들의 액션 연기가 가장 중요하죠.
예를 들어 희극의 왕에서 마지막 장면에서 스티븐 초우의 은천수가 류표표에게 고전적인 "내가 응원할게"라는 대사를 외친 후, 류표표는 출발하는 택시에 앉아 매우 슬퍼하며 울고, 손에 든 돈과 시계를 잠시 바라보다가 가방에 넣고, 자신의 신앙으로 여기는 "배우의 자기수양"이라는 책을 꺼내 매우 슬퍼하며 울고, 배우의 자기수양을 가슴에 안고 슬퍼하며 껴안습니다.
이 공연은 계속됩니다. 계속되는 것에 긴장감이 있습니다. 당신이 그것을 느낄 수 있을 때만, 그 아픈 감정이 있습니다.

그리고 이제 AI 덕분에 연속적인 동작을 할 수 있는 캐릭터 퍼포먼스를 만들어내는 것은 더 이상 헛소리가 아닙니다.


또 다른 사례를 살펴보겠습니다. 남자가 커피를 한 모금 마시고 내려놓았는데, 여자가 뒤에서 다가왔습니다.

또한 캐릭터의 표정이 멋지고, 노인이 웃다가 울기도 합니다.


나도 울고 싶어요, 정말.
작년 8월에 Wandering Earth 3의 예고편을 만들었을 때 저는 AI가 캐릭터 연기를 할 수 있는 수많은 가능성을 상상했습니다.
이제 딱 1년이 지났는데, 두바오는 저의 가장 큰 꿈을 이루는 데 도움을 주었습니다.

멀티 카메라 조합 영상


하나의 이미지와 프롬프트에서 일관된 스타일, 장면, 캐릭터로 멀티 카메라 비디오를 생성하는 기능은 소라의 프로모 영상에서만 본 것입니다.
달을 향해 울부짖는 늑대가 나오는 유명한 영상이죠.


사실 솔직히 말해서, 이 영상은 당시에는 보기에 매우 충격적이었지만 지금 봐도 사실 괜찮습니다. 스타일, 캐릭터, 장면이 너무 단순해서 일관성이 잘 유지되었고, 복잡한 스토리나 서브 플롯이 없습니다.
하지만 지금까지 단일 영상에서 여러 샷을 촬영하면서도 완벽한 일관성을 유지할 수 있는 AI 영상은 없었습니다.
LTX 스튜디오에 대한 이야기는 아예 하지도 마세요. 스토리보드에는 괜찮지만, 장편 영화라면요? 엉덩이를 씻고, 장면에 대해선 말도 하지 마세요. 파노라마, 중간, 클로즈업에서 캐릭터를 균일하게 유지하는 건 어렵거든요. 그리고 정말 못생겼어요.
하지만 이제 Doubao PixelDance가 성공했고, 그 일관성은 정말 타의 추종을 불허합니다.
그리고 이미지 한 장과 프롬프트만 있으면 됩니다.
예를 들면 이거요.

프롬프트: 낫을 든 죽음이 여자에게 다가온다. 공포에 질려 비명을 지르는 여자의 얼굴을 클로즈업으로 보여준다.


극한의 카메라 컨트롤


두바오 픽셀댄스의 모델링은 제가 본 것 중 가장 터무니없고 멋진 것 같습니다.
현재 AI 비디오 렌즈 제어는 여전히 기본적으로 카메라 + 모션 브러시 두 가지 기능을 결합한 것에 집중하고 있지만, 솔직히 말해서 상한은 정말 제한적이며, 큰 렌즈와 줌이 많으면 단순히 할 수 없습니다.
그리고 두바오 픽셀댄스는 효과가 진짜 엄청나죠.
어떤 조감도에서 확대하고 이런 종류의 기본 조작을 회전시키는지 말하지 않는다. 핵심은 한마디로 주변을 360도로 돌며, 앞뒤로 확대하고, 팬하고, 대상을 따라가고, 렌즈를 들어올리고 내리는 등 다양한 조작이 가능하다는 것이다.
효과는 놀라울 정도로 좋습니다. AI 영상에서 처음 봤는데, 운송 거울이 이렇게 멋지고 멋질 수 있다는 게 신기하네요.
케이스를 직접 살펴보세요.

프롬프트: 여성이 미소를 지으며 고개를 숙이고, 카메라는 멀어지고, 백인 남성이 여성을 응시합니다.


줌은 매우 자연스럽고 부드러워서 무적, 너무 무적이에요.
그리고 이건 360도로 돌진하는 극적인 랩 어라운드 드리블러예요.
프롬프트: 흑백 스타일로, 카메라는 선글라스를 낀 여성 주위를 촬영하며, 그녀의 옆에서 앞으로 이동한 후, 마지막으로 여성의 얼굴을 클로즈업으로 촬영합니다.

이건 사진이고, 그 다음에 프롬프트가 나오는데, 믿을 수 있나요? 이 동작 범위, 이 안정성, 터무니없는 모델링보다, 정말 확신해요.
어떻게 사진작가들이 아직도 놀게 둘 수 있니, 미친놈아…

마지막에 쓰세요


소라 거대한 선물, 2월 16일부터 오늘날까지, 어떤 흔적도 볼 수 없을 정도로 늦었습니다.
그리고 6.6, 링은 공식적으로 온라인에서 중국 소라의 출력을 대신하여 침묵할 수 있습니다.
그리고 오늘 9시 24분, 바이트댄스가 다시 AI 영상을 공개, 완전히 새로운 차원으로 끌어올린 소라의 홍보 영상인데, 키를 알 수 없다.
지금까지 중국에는 소라가 필요 없었고, 두바오 모델이 하늘이었습니다.
두바오 픽셀댄스도 소라의 별명의 중국어 버전이 필요 없습니다. 두바오 픽셀댄스는 두바오 픽셀댄스일 뿐입니다. 그는 이제 AI 비디오 시대입니다.
또한 이 지점에서 AI 비디오는 더 이상 장난감이 아니라 현실이 되어 영화, 텔레비전, 광고, 애니메이션 워크플로에 적용되어 새로운 상상력을 불러올 수 있습니다.
이 총은 우리가 쏘았습니다.
오늘, 두바오 픽셀댄스 모델은 기업에 우선적으로 초대장을 제공하여 테스트에 참여할 수 있도록 할 것입니다. 며칠 내로 화산 방주에서 C 사용자에게 꿈이 완전히 공개될 때까지 기다려야 할 수도 있습니다. 아직 너무 새롭기 때문에 모델 기능을 최적화하고 안정적으로 최적화한 다음 꿈이 있는 라인에 직접 공개할 것이라고 밝혔습니다.
정말로, 기적은 결코 일어난 적이 없습니다. 모든 것은 오랜 세월에 걸쳐 내린 비가 쌓여서이고, 모든 것이 약속된 대로입니다.
오늘도 나는 이 대사를 외칠 수 있다.

PixelDance에서 생성한 다른 비디오:

마침내 ： 지금 PixelDance에 지원하는 방법?

https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?type=GenVideo

먼저 계정을 등록하세요:

账号登录-화산引擎 (volcengine.com)

휴대폰으로 로그인하세요.

여기에서 접근 권한을 신청하세요:

이제 완료되었습니다. 답변을 기다리겠습니다.