Новая виртуальная камера Stability AI превращает любую фотографию в потрясающее 3D-видео, и я впечатлен его качеством.

Видеоролики со стабилизирующим ИИ уже много лет добавляют движение и жизнь тексту и изображениям, но теперь они буквально добавляют новое измерение, превращая 2D-изображения в 3D-видео. Эта технология является качественным дополнением к области генеративного искусственного интеллекта для видео.

Новый инструмент компании Stable Virtual Camera предназначен для обработки даже одного изображения и превращения его в многоракурсное анимированное видео, что означает, что вы можете вращать видео и просматривать его под любым углом. Этот инструмент упрощает создание инновационного 3D-видеоконтента.

Эта концепция не нова, поскольку виртуальные камеры уже давно стали основным инструментом в кинопроизводстве и анимации, позволяя создателям перемещаться и манипулировать цифровыми сценами. Но Stability AI берет эту концепцию и добавляет к ней значительную долю генеративного ИИ. В результате вместо необходимости детальной реконструкции 3D-сцены или точной калибровки настроек камеры Stable Virtual Camera позволяет пользователям создавать плавное, точное по глубине 3D-движение даже из одного изображения, прилагая при этом минимальные усилия.

Отличие этого инструмента от других инструментов генерации видео на основе ИИ заключается в том, что он не ищет свой путь в анимации и не полагается на огромные наборы данных или покадровую реконструкцию. Stable Virtual Camera использует процесс распространения нескольких проекций для генерации новых углов на основе предоставленного изображения, чтобы результат выглядел как модель, которая действительно могла бы существовать в реальном мире. Такой подход повышает реалистичность получаемых видеороликов.

Инструмент позволяет пользователям управлять траекториями камеры с кинематографической точностью, выбирая такие действия, как масштабирование, орбита или даже спиральная траектория. Полученное видео может быть в портретном формате для мобильных устройств или в широкоэкранном формате. Камера по умолчанию может работать только с одним изображением, но может обрабатывать до 32 изображений.

Stability AI предоставила модель в некоммерческую лицензию для исследовательских целей. Это значит, что если у вас есть определенные технические навыки, вы можете попробовать его, получив код с GitHub. Открытый исходный код, как это обычно бывает в Stability AI, также означает, что сообщество разработчиков ИИ может улучшать и расширять возможности виртуальной камеры без необходимости платить какие-либо деньги компании.

3D ИИ

Конечно, ни одна модель ИИ не идеальна, и Stability AI открыто заявляет о недостатках, над которыми еще ведется работа. Если вы надеетесь создать реалистичных людей и животных или материалы с особенно грязной текстурой (например, воду), у вас может получиться что-то, что можно отнести к малобюджетному фильму ужасов.

Не удивляйтесь, если увидите видеоролики, снятые с его помощью, на которых будет показано, как объекты странно перемещаются по перспективе или как сдвиги перспективы приводят к мерцанию и появлению призрачных эффектов. Пока неизвестно, получит ли этот инструмент широкое распространение или же он станет очередным инструментом искусственного интеллекта, упущенным из виду узкоспециализированными кинематографистами.

Не говоря уже о той конкуренции, которую ему приходится испытывать со стороны таких инструментов для обработки видео на основе искусственного интеллекта, как Sora, Pika, Runway, Pollo от OpenAI и Dream Machine от Luma Labs. Stable Virtual Camera придется проявить себя в реальном мире кинопроизводства, чтобы выйти за рамки просто очередного развлекательного демонстрационного видеоролика.