Российские ученые изобрели нейросеть, способную создавать реалистичные анимации, основываясь лишь на нескольких статичных кадрах.

Благодаря искусственному интеллекту алгоритм может самостоятельно дополнять детали, которые отсутствуют или скрыты на снимках. Во время тестов программе иногда хватало даже одной фотографии, чтобы создать анимацию.

Интересно то, что нейросеть испытали на картинах, и алгоритм создал несколько забавных анимаций с Моной Лизой, Девушкой с жемчужной сережкой, портретом Дали и другими известными личностями.

Авторы проекта рассказали, что создать реалистичную анимацию по портрету человека довольно-таки сложно, так как программы не всегда правильно считывают черты лица, а на некоторых фотографиях часть лица может быть скрыта.

Также многие программы используют самостоятельную дорисовку, которая делает конечные изображения неправдоподобными.

Нил Армстронг

Новая нейросеть, получившая название Fewshot learning, способна создать очень реалистичные модели говорящих голов людей и даже портретных картин. Чтобы черты лица получались более реалистичными, алгоритм проводит синтез изображения головы одного и того же человека с линиями лиц, которые есть у него в базе.

Так как до тестов алгоритм прошел обучение на тысячах разных изображений, у него есть большая база лиц. Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений.

«Неизвестная» — картина художника Ивана Крамского

В алгоритме участвует сразу три нейросети. Первая, Embedder, разделяет изображение головы на отдельные части и черты лица, которые содержат основную информацию, например, о форме бровей, цвете глаз и размере носа.

Вторая сеть, Generator, генерирует эти детали и делает так, чтобы при изменении масштаба, положения или света их пропорции и внешний вид не менялись.

«Девушка с жемчужной сережкой», Ян Вермеер

И последняя сеть, Discriminator, используется для оценки качества и подлинности работы двух других сетей. В результате система превращает ориентиры лица человека в реалистично выглядящие персонализированные фотографии.

На видео внизу вы можете посмотреть, как нейросеть оживила некоторых знаменитостей.