• Wanx 2.1 — это передовая модель ИИ, разработанная Alibaba Cloud, предназначенная для создания высококачественных изображений и видео из текстовых входов. Она представляет собой значительный шаг вперед в создании визуального контента на основе ИИ, превосходя в обработке сложных движений и повышении качества пикселей.
  • Wanx 2.1 отличается точностью выполнения инструкций и достиг высших позиций в рейтинге VBench для моделей генерации видео.
  • Модель поддерживает текстовые эффекты на китайском и английском языках, а ее исходный код будет открыт во втором квартале 2025 года вместе с набором обучающих данных и облегченным набором инструментов.

Основные характеристики Wanx 2.1

  • Технические инновации: Wanx 2.1 использует фирменную структуру VAE (Variational Autoencoder) и DiT (Denoising Diffusion Transformer), улучшая временные и пространственные отношения в генерации видео. Он также использует механизм всевременного внимания и сверхдлинное контекстное обучение для лучшего выравнивания текста и видео
  • Производительность: Он лидирует по временной стабильности и семантическому выравниванию, обеспечивая плавное движение и точное соблюдение текстовых инструкций. Wanx 2.1 набрал 84,7% в таблице лидеров VBench, превосходя в динамической степени, пространственных отношениях и многообъектном взаимодействии
  • Двуязычная поддержка: Это первая модель, поддерживающая текстовые эффекты на китайском и английском языках, что расширяет ее применение в таких отраслях, как реклама и производство коротких видеороликов.

Сравнение с другими моделями

  • MiracleVision V5: Недавно превзошел Wanx 2.1 в некоторых рейтингах, потенциально предлагая превосходную визуальную эстетику. Однако Wanx 2.1 сохраняет свою силу в семантической точности и стабильности движения
  • Гугл Вео 2: Известен своими достижениями в области генерации видео с помощью ИИ, но конкретные сравнения с Wanx 2.1 ограничены. Veo 2 может больше сосредоточиться на различных аспектах создания видео
  • OpenAI Сора: Предлагает конкурентоспособные возможности генерации видео, но подробные сравнения с Wanx 2.1 не широко доступны. Sora может преуспеть в различных измерениях, таких как повествовательная непрерывность или художественный стиль
  • Видео Хуньюань: Еще одна модель в области генерации видео AI, но прямые сравнения с Wanx 2.1 редки. Hunyuan может сосредоточиться на различных сценариях применения или технических подходах

Инициатива с открытым исходным кодом

Предстоящий релиз Wanx 2.1 с открытым исходным кодом сделает доступ к высококачественной генерации видео с помощью ИИ более доступным, что позволит разработчикам использовать его возможности и потенциально способствовать быстрому прогрессу в области мультимодального ИИ и реалистичной генерации человеческих действий.

Подводя итог, можно сказать, что Wanx 2.1 отличается временной стабильностью, семантическим выравниванием и двуязычной поддержкой, что делает его надежным выбором для приложений, требующих точной генерации видео из текстовых входов. В то время как другие модели, такие как MiracleVision V5, могут предложить превосходную эстетику, инициатива Wanx 2.1 с открытым исходным кодом может еще больше усилить свое влияние в области видео с использованием ИИ.