메타는 OpenAI보다 먼저 자체 Sora를 출시했습니다 - Meta Movie Gen


메타 무비 젠은 다양한 화면 비율로 긴 HD 동영상을 제작할 수 있고 1080p, 16초, 초당 16프레임을 지원하는 등 소라가 가진 모든 기능을 갖추고 있습니다.
또한 배경 음악과 음향 효과를 생성하고, 텍스트 명령에 따라 동영상을 편집하고, 사용자가 업로드한 이미지를 기반으로 개인화된 동영상을 생성하는 등 소라가 하지 못하는 기능도 수행합니다.

메타가 무엇을 할 수 있는지 살펴봅시다.

 카메라가 한 남자 뒤에 있습니다. 남자는 셔츠가 없고 허리에 녹색 천을 두르고 있습니다. 그는 맨발입니다. 양손에 불타는 물체를 들고 넓은 원을 그리는 동작을 취합니다. 배경은 잔잔한 바다입니다. 불의 춤과 함께 분위기는 매혹적입니다.

회색과 흰색 털과 동그란 코를 가진 푹신한 코알라 곰이 노란색 서핑보드 위에서 서핑을 하고 있습니다. 코알라는 발로 서핑 보드를 잡고 파도를 타면서 집중하는 표정을 짓고 있습니다. 태양이 비치고 있습니다.
하얀 털을 가진 붉은 얼굴의 원숭이가 천연 온천에서 목욕을 즐기고 있습니다. 장난기 가득한 원숭이는 하얀 돛과 작은 방향타가 달린 미니어처 나무 돛단배를 타고 즐거운 시간을 보내고 있습니다. 온천은 바위와 나무로 둘러싸인 무성한 녹지 속에 자리 잡고 있습니다.

"하늘의 거품에 빛을 비추기"만 하면 아름다운 시각 효과를 만들 수 있으며, 동시에 장면의 물체를 완벽하게 보여주는 동시에 하늘을 아름답게 반사하여 더욱 표현력이 풍부해 보입니다.

오케스트라 음악 트랙과 함께 천둥이 크게 울려 퍼집니다.

캐릭터의 일관성이 매우 강합니다.

텍스트를 입력하는 것만으로 동영상을 바로 편집할 수 있습니다.

음향 효과 및 사운드 트랙 만들기 텍스트만 입력하세요.

동영상 및 텍스트 입력을 사용하여 동영상에 사용할 오디오를 생성하세요. Movie Gen을 사용하면 사운드 효과, 배경 음악 또는 전체 사운드트랙을 만들고 확장할 수 있습니다.


메타는 '현재까지 가장 진보된 미디어 파운데이션 모델'이라고 말합니다.



많은 크리에이터가 AI 동영상 편집 도구를 배우면서 몇 년 후에는 장편과 단편 동영상이 어떤 모습일지 상상하기 어렵다는 의견도 있습니다.
이번에는 데모와 공식 블로그만 있는 소라와 달리 메타는 92페이지 분량의 백서를 통해 아키텍처와 교육에 대한 자세한 내용을 공개했습니다.

https://arxiv.org/pdf/2410.02746


하지만 이 모델 자체는 아직 오픈소스가 아니기 때문에 엔지니어들이 허공에 얼굴을 내밀고 메타의 오픈소스 홈페이지 링크를 댓글 섹션에 직접 남기기도 했습니다:
지금 기다리고 있습니다.


메타는 이 논문에서 대규모 미디어 생성 모델을 훈련하기 위해서는 데이터 크기, 모델 크기, 훈련 연산의 확장이 중요하다고 강조합니다. 이러한 요소를 체계적으로 개선하면 강력한 미디어 생성 시스템을 만들 수 있습니다.
가장 우려되는 점 중 하나는 이번에는 확산 모델과 확산 손실 함수를 완전히 버리고 트랜스포머를 백본 네트워크로, 플로우 매칭을 훈련 대상으로 사용했다는 점입니다.




지난 며칠 동안 AI 동영상 생성 공간은 활기차게 돌아가고 있습니다.


메타가 무비 젠을 출시하기 얼마 전, 오픈AI 소라를 만든 팀 브룩스는 구글 딥마인드로 옮겨 비디오 생성 및 월드 시뮬레이터에 대한 작업을 계속했습니다.
구글이 빅모델 앱을 늦게 출시하고 트랜스포머 8 제작자들이 대거 이탈했을 때와 마찬가지로 많은 사람들이 의아해했습니다.
이제 OpenAI는 소라를 늦게 출시했고, 주요 저자들도 도망쳤습니다.
그러나 일각에서는 팀 브룩스가 지금 퇴사하기로 한 것은 OpenAI에서의 주요 업무가 끝난 것이 아니냐는 추측이 제기되고 있습니다:
메타의 출시로 인해 OpenAI가 소라를 출시하게 되었나요?
(이 글을 쓰는 현재, 소라의 또 다른 크리에이터인 빌 피블스는 아직 입장을 밝히지 않았습니다.)
이제 메타는 동영상 편집 기능을 갖춘 모델을 출시했으며, 10월 1일에는 동영상 속 오브젝트에 녹기, 확장, 압착과 같은 물리 효과를 추가하는 데 중점을 둔 Pika 1.5 업데이트를 실시했습니다.
AI 동영상 제작의 후반부는 AI 동영상 편집으로 향할 것임을 어렵지 않게 알 수 있습니다.