Ученые научили нейронную сеть копировать известных художников

Москва. 31 августа. INTERFAX.RU - Коллектив ученых из Германии разработал искусственную нейронную сеть, которая позволяет "синтезировать" изображение из двух независимых источников: одно из них дает только содержание, другое - только стиль и таким образом им удалось перерисовать фотографии в стиле известных художников, сообщает N+1 со ссылкой на arXiv.org.

В основе метода лежит обучение сверточных нейронных сетей на двух различных изображениях и последующее слияние полученных наборов признаков в один. Ученые использовали в работе популярную нейронную сеть VGG-Network. Вначале ее "обучали" на единственной фотографии — пейзаже город Тюбинген, а затем на одной из картин, например, "Звездной ночи". При этом в первом случае набор признаков выбирался с целью распознавания объектов на фотографии, а во-втором — для распознавания текстуры и мелких деталей. Далее при помощи линейной комбинации этих наборов признаков ученые синтезировали новую картинку, по шагам изменяя "исходник" — изображение, где каждый пиксель генерировался при помощи белого шума.

В итоге авторы получали одну и ту же фотографию, искаженную в соответствии с выбранным стилем. При этом ученые показали, что варьируя "вклады" от разных слоев нейронной сети, можно настраивать внешний вид картинке изменять "количество" стилевых элементов на ней. Таким образом можно получить как фотографию, очень близкую к оригиналу, так и изображение с характерной стилевой текстурой, в которой невозможно различить содержание исходного материала.

Новую работу уже опробовал аспирант Стэндфордского университета Андрей Карпатый, который в своем твиттере выложил несколько фотографий, обработанных таким образом. Среди них, например, его портрет в стиле Винсента ван Гога, а также снимок Гэндальфа (Иэна Маккелена) из "Властелина колец" в стиле Пабло Пикассо.