NVIDIA показала альтернативу Photoshop на основе нейросети ( 3 фото + 1 видео )

Графические редакторы часто ассоциируются с мощным железом и продвинутыми навыками рисования. Компания NVIDIA представила собственное приложение для создания реалистичных рисунков на основе нейросети, не требующее мастерского владения виртуальной кистью и собственного сервера.


Новое приложение для рисования GauGAN представляет собой графический редактор с функциями машинного обучения. В отличие от инструмента «кисть» в Photoshop, новинка не требует от пользователя многолетних навыков рисования. Достаточно заполнить своеобразный план будущего наброска, обозначив лишь контуры требуемых объектов. Затем алгоритм нейросети на основе изученных ранее изображений самостоятельно «дорисовывает» нужные детали с высокой степенью реалистичности. Вычисления при этом производятся на стороне облачного сервиса: их скорость не зависит от производительности локального ПК.

«Тренируясь на миллионах изображений, модель глубокого обучения заполняет ландшафт впечатляющими результатами: нарисуйте пруд — и близлежащие элементы, такие как деревья и камни, будут отражаться в воде. Поменяйте метку «трава» на «снег», и ландшафт изменится на зимний, а деревья лишатся листьев», — отмечают разработчики приложения.


Возможности графического редактора NVIDIA не ограничивается созданием пейзажей — приложение способно создавать картины с участием зданий, дорог и даже людей. GauGAN также позволяет создателям контента добавлять специальные фильтры, имитирующие стиль конкретного художника или настраивающие световые эффекты для дневной или ночной сцены.

Алгоритм приложения распределяет нагрузку между двумя нейросетями. Первая выполняет роль генератора изображений, который задаёт «скелет» будущего элемента рисунка. Вторая берёт на себя функции дискриминатора и отвечает за реалистичность итогового рисунка. При этом созданные «картины» по-прежнему считаются оригинальными работами, поскольку приложение не копирует изученные ранее изображения, а создаёт новые.


Часть функций облачного графического редактора уже доступна для ознакомления на официальном сайте разработчика. Проект NVIDIA Imagine InPainting использует возможности искусственного интеллекта для удаления и фонового замещения части контента с готовых изображений. NVIDIA Artistic Style Transfer позволяет применить выбранный фильтр к исходному рисунку — например, превратить обычное фото в картину в стиле Винсента Ван Гога. И наконец, технология синтеза реалистичных изображений позволяет создать «альтер эго» пользователя на основе его фотографии, используя алгоритмы машинного обучения.

О сроках доступности NVIDIA GauGAN для потребительского использования не сообщается. Предположительно, новинка в первую очередь предназначена для специалистов по дизайну и разработчиков игр.