Нейросеть научилась создавать портреты

IT-новости >> 10.08.2018, 09:05

Анимеш Карневар создал нейросеть T2F, генерирующую портреты на основе текстового описания. Разработчику алгоритма было интересно, как герои могли-бы выглядеть в реальной жизни. Лг использовал набор данных Face2Text, содержащий около 400 изображений с текстовым описанием и дополнительной информацией. Например, к некоторым изображениям добавлена пометка «Человек на картинке, вероятно, преступник». В основе набор данных лежит несколько эффективных архитектур, позволяющих синтезировать изображения из текста.

Нейросеть кодирует текстовое описание, создавая суммарный вектор. Часть этого вектора состоит из случайного гауссовского шума. Генеративно-состязательная сеть использует этот шум для постепенного увеличения пространственного изображения. Это происходит в несколько этапов. Результатом становится максимально четкая картинка.

Карневар уверен, что его алгоритм может быть использован правоохранительными органами для создания портретов злоумышленников и их жертв. Он будет продолжать работать над проектом и постарается обучить ее на других наборах данных.