Нейросеть может «оживить» изображение по одной фотографии ( 1 фото + 2 гиф )

Специалисты Университета Вашингтона представили нейросеть, которая способна по одной фотографии создавать частичное видео, принуждая «двигаться» отдельные области статичного изображения.

Такая методика использует технологию глубокого машинного обучения и способна привести в движение любые условно подвижные объекты на фотографии. В первую очередь такими объектами выступают вода, дым, туман или облака. После преобразования фрагмента фотоизображения в короткое видео алгоритм зацикливает динамическое движение, в результате чего получается картинка практически неотличимая от реальности.


В основе методики лежит технология машинного обучения, что делает алгоритм достаточно сложным. Для повышения реалистичности созданного видеофрагмента задача разбита на две составляющие: первая часть посвящена прогнозированию нейронной сетью будущего движения объектов, а вторая часть направлена на создание видеообраза из прошлого. В результате, имея всего одну статическую фотографию, ученые смогли создать короткое видео пейзажа.


При обучении нейронной сети были использованы реальные видео, на основе которых алгоритм и прогнозирует предполагаемое движение отдельных областей фотографии. Официальная презентация технологии пройдет 22 июня на Конференции по компьютерному зрению и распознаванию образов.