Созданный специалистами из Южной Кореи MarioNETte выводит технологию на новый уровень. Удалось преодолеть главное ограничение: нанатуральность преобразования в случае, когда данные оригинала и цели сильно различаются. Нейросети для работы достаточно одной неразмеченной фотографии и любой веб-камеры. Об этом сообщает Хайтек+.
Исследователи из Сеула создали прорывной дипфейк-алгоритм: он натурально накладывает на лицо мимику другого человека, располагая всего одной неразмеченной фотографией оригинала, и обходится для этого изображением с обычной веб-камеры. Препринт работы, итогом которой стало создание MarioNETte, опубликован на сайте ArXiv.
Напомним, цель дипфейка — анимировать лицо-оригинал (драйвер), наложив на него мимику человека перед камерой (цель). MarioNETte улучшает технологию «вклеивания» лиц буквально по всем параметрам, утверждают создатели.
Например, раньше для обучения модели нужны были либо технологии захвата движения для лица-цели, либо хотя бы несколько минут съемки с разных ракурсов. Альтернатива — размеченное изображение лица-драйвера.
MarioNETte обходится без этого: дайте нейросети фотографию, начните кривляться перед веб-камерой — и дипфейк готов.
При этом алгоритм успешно справляется с общей бедой конкурентов, вполне правдоподобно преобразуя даже сильно отличающиеся изображения.
MarioNETte состоит из трех функциональных частей: распознаватель образа, алгоритм привязки и алгоритм преобразования.
Создатели утверждают, что в исследовании с участием 100 волонтеров почти все они назвали созданные MarioNETte образы более правдоподобными и с менее заметными артефактами.
Эксперты прогнозируют, что в течение полугода-года дипфейки станут полностью неотличимыми от оригинальных видео.
Дополнительная проблема в том, что три главные угрозы, которые таит в себе эта технология, лежат в правовой и социальной сферах, и их не удастся устранить никакими «хорошими алгоритмами».
