Нейросеть-режиссер от Alibaba: Теперь каждый может снять кино текстом ( 6 фото )

Китайский технологический гигант Alibaba анонсировал нейросеть Wan2.7-Video, которая переводит инструменты искусственного интеллекта из области создания коротких клипов в разряд полноценных кинорежиссеров. В то время как прежние модели генерировали отдельные кадры, новая система контролирует весь производственный цикл: от разработки раскадровки и подбора актеров до сложного видеомонтажа и синхронизации артикуляции губ под измененный текст.

Эта технология дает возможность обычному пользователю превратиться из простого оператора в режиссера, способного создавать работы продюсерского уровня, используя лишь текстовые инструкции на естественном языке, без необходимости писать код или применять другие сложные методы.

Система Wan2.7-Video интегрирует в себе четыре специализированные модели, отвечающие за создание видео из текста, изображений и других видеоматериалов, а также за глубокое редактирование готового контента. В отличие от более ранних версий ИИ, данная модель решает ключевую проблему нейросетевого кинематографа — отсутствие логической связности между отдельными сценами.

Теперь персонажи сохраняют свою внешность, голос и уникальные черты лица на протяжении всего ролика, а нейросеть способна поддерживать консистентность до пяти разных героев одновременно в рамках сложных сюжетных линий.

Особый акцент разработчики сделали на «интеллектуальной» режиссуре: алгоритм понимает команды по управлению виртуальной камерой, включая сложные полеты от первого лица, круговые панорамные съемки на 360 градусов и работу с динамическим светом.

Пользователь может словесно изменить погодные условия в кадре, переписать диалог (система автоматически скорректирует мимику и движение губ) или задать финальную сцену, к которой нейросеть плавно подведет повествование без резких склеек.

На фоне таких возможностей голливудские знаменитости и многочисленные съемочные группы действительно начинают казаться дорогостоящим анахронизмом, ведь Wan2.7-Video позволяет за несколько минут выполнить работу, на которую ранее уходили месяцы постпродакшена и миллионы долларов бюджета.

Параллельно с видеомоделью Alibaba обновила и генератор изображений Wan2.7-Image, который теперь создает картинки с фотографической детализацией и идеальной цветопередачей в соответствии с фирменными палитрами брендов. Нейросеть научилась детально прорисовывать анатомию, включая структуру костей и форму глаз, а также безошибочно рендерить сложные академические тексты, таблицы и математические формулы на 12 языках.

Сочетание этих инструментов предоставляет создателям контента возможность выпускать высокобюджетные проекты, не выходя из дома, что ставит под сомнение будущее традиционных киностудий.

Снимете свой фильм на нейросети? Да/Нет

Материал взят: Тут