Как нейросети имитируют искусство? Абстракционизм глазами машин ( 11 фото + 2 видео )

Давеча в Музее русского импрессионизма проходила закрытая выставка арт-объектов, созданных не обычными художниками, а искусственным интеллектом на базе технологий Microsoft. Первыми гостями выставки стали журналисты, искусствоведы и учёные. Были на презентации и местные знаменитости — например, музыканты из группы «Альянс», чей хит «На заре» ИИ превратил в картину. Игромания решила тоже приобщиться к прекрасному — и заодно рассказать, как создаётся компьютерная живопись.


В видеоверсии презентации ИИ от Microsoft можно послушать про то, как создатели нейросети вдохновлялись Кандинским, и увидеть ту самую движущуюся картину по мотивам «На заре»

Почти как человек

Как вообще машина научилась имитировать искусство? Если верить авторам выставки, алгоритм ИИ базируется на тех же принципах, что и механизмы выбора в человеческом мозге. Вы когда-нибудь задумывались о том, как мы принимаем решения — и как понимаем, чего именно хотим? При выборе чего угодно (например, следующей песни в плеере, еды в столовой или новой игры в Steam) в полушариях нашего мозга борются две системы. Первой, «генератору», в большинстве своём всё нравится, а ее суждения вытекают из опыта (ассоциаций, каких-то пережитых ситуаций из прошлого) и «шума» — того самого эфемерного вдохновения. Именно генератор отвечает за все наши «взбрело в голову» и «нравится, и всё тут».

Конкурирующая с ней система — «дискриминатор» — критически оценивает всё, что генератор сгенерировал. Она отвечает за отделение «годных» идей от неудачных — а корни её заключений растут из нашего кругозора: что принято обществом или нет, что модно, а что считается дурным вкусом, и т. д. Учёные считают, что в постоянной борьбе этих двух систем и рождаются наши симпатии и антипатии.


По такому же принципу устроены и нейронные сети. Генеративные и дискриминационные модули искусственного интеллекта создают генеративно-состязательную систему (GAN). Первый, как и в мозге, выполняет функцию творца, а второй — функцию оценщика, который умеет отличать хорошие идеи от плохих (на основе той базы картин, текстов или музыки, что выдали машине для обработки). В результате борьбы этих двух сетей, где вторая вечно недовольна результатом первой и отправляет его на улучшение, и рождаются компьютерные музыка, картины и поэзия.

Нейрохудожник Кандинский

Первым делом нейросети научились писать стихи и прозу: обрабатывать текстовые данные было проще всего. Затем их примерно по тому же принципу обучили писать музыку: в конце концов, нотная запись — тоже своего рода текст, в котором можно найти закономерности и попытаться их повторить. Но как с музыки перескочить на живопись? Картины не разложишь на такие простые составляющие, как буквы или ноты. И именно здесь мы вплотную приближаемся к учению Кандинского.


Василий Кандинский — русский художник и абстракционист, заложивший основы принципа синергии музыки и живописи. По его словам, он не просто слышал, а видел музыку как сочетания цветов — и мог запечатлеть конкретную мелодию на холсте. Именно его теории использовали специалисты Microsoft, чтобы научить нейросеть превращать звуки в визуальные образы.


Вот так в глазах Кандинского выглядела опера Рихарда Вагнера «Лоэнгрин», послужившая вдохновением для работы «Москва I»


А вот так — музыка Арнольда Шенберга, отражённая на картине «Импрессия III (концерт)»

Microsoft «натренировали» нейросеть на произведениях Кандинского, а когда она выделила закономерности — предложили ей представить, как выглядела бы недавно набравшая популярность «На заре», если бы художник её услышал.


Песня «Альянса» в виде картины

Сможете ли вы отличить друг от друга творения человека и машины? Нам предложили заняться этим прямо на выставке, и выяснилось, что это не так-то просто. Попробуйте сами угадать в примерах ниже:





Перспективы

Показанные на выставке чудеса искусственного интеллекта — всё же продукт чисто развлекательный. Посетители и спикеры, конечно, с удовольствием поспорили о том, искусство это или нет, а вот про реальный потенциал нейросетей говорили не так много. Машинные стихи, картины и музыка могут казаться фантастикой сами по себе, но подобные эксперименты суть лишь заигрывание с огромным (и, возможно, разрушительным) потенциалом GAN.

Другая нейросесть уже обучилась анимировать лица, превращая статичные картинки в видео, где человек проговаривает конкретные фразы и вертит головой

Кроме этого, в недалёком будущем автомобиль-робот, используя GAN, сможет не только анализировать ситуацию на дороге и быстро реагировать на опасности, но и самостоятельно обучаться и накапливать знания в процессе движения. Это довольно просто, если учесть, что подобные ИИ уже используются в крупнейших ядерных центрах для прогнозирования поведения частиц.

Напоследок хочется вернуться к вопросу выше: считать ли творения машины искусством? И если да, то кто автор? Программист, который загрузил базовый набор информации и дал ИИ команду выполнять задание? Или сама программа, создавшая во время обучения свой уникальный алгоритм? Вопрос, как по мне, довольно философский, поэтому оставляйте свои ответы и мнения в комментариях. Будем обсуждать — и, подобно GAN, искать истину.