Ученые посредством нейросетей превратили картины художников в мультфильмы

Москва. 10 мая. INTERFAX.RU - Германские ученые применили нейросети для переноса художественного стиля Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы, сообщает сайт N+1.

Сотрудники Фрайбургского университета воспользовались недавними наработками по переносу стиля художников на статичные иллюстрации. Эти работы показали, что стиль не зависит от содержания картины, и его можно применить к любому изображению. Для этого поверхностные слои сверточной нейронной сети (входит в состав технологий глубинного обучения (англ. deep learning) - ИФ) распознают наиболее общие признаки, такие как цветовая палитра, а с увеличением их глубины детализация возрастает.

Авторы исследования применили известную нейронную сеть VGG. С ее помощью они переносили стиль художника с конкретной картины на каждый кадр видео. Разработанный ими алгоритм анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Чтобы сделать переход от кадра к кадру плавным, эти ограничения учитывали оптический поток оригинального видео и отбраковывали отличия не по кадрам в целом, а по траекториям отдельных точек. Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя. Сначала это занимало около восьми минут на кадр, в процессе оптимизации среднее время снизилось до трех минут на кадр.