Технология ИИ позволяет легко генерировать поддельные фотографии из нескольких снимков в социальных сетях. Об этом пишет Ars Technica.
Если вы один из миллиардов людей, разместивших свои фотографии в социальных сетях за последнее десятилетие, возможно, пришло время пересмотреть свое поведение. Новая технология генерации изображений с помощью искусственного интеллекта позволяет любому человеку сохранить несколько ваших фотографий (или видеокадров), а затем обучить искусственный интеллект создавать реалистичные поддельные фотографии, на которых вы совершаете постыдные или незаконные действия. Не все могут оказаться в зоне риска, но каждый должен знать об этом.
Над фотографиями всегда довлел риск фальсификации — сначала в темных комнатах с помощью ножниц и пасты, а затем в Adobe Photoshop с помощью пикселей. Но чтобы сделать это убедительно, требовалось большое мастерство. Сегодня создание убедительных фотореалистичных подделок стало почти тривиальным.
Как только ИИ-модель научится визуализировать человека, его изображение становится программной игрушкой. ИИ может создавать изображения в бесконечном количестве. А моделью ИИ можно делиться, позволяя другим людям также создавать изображения этого человека.
Джон: пример из практики социальных сетей
Когда мы начали писать эту статью, мы спросили у смелых добровольцев, можем ли мы использовать их изображения в социальных сетях, чтобы попытаться обучить модель ИИ создавать подделки. Они согласились, но результаты были слишком убедительными, а репутационный риск оказался слишком велик. Поэтому вместо этого мы использовали ИИ для создания набора из семи имитированных фотографий в социальных сетях вымышленного человека, которого мы назовем «Джон». Таким образом, мы можем спокойно показать вам результаты. А пока давайте представим, что Джон — это реальный человек. Результат будет точно таким же, как вы увидите ниже.
В нашем сценарии «Джон» — учитель начальной школы. Как и многие из нас, за последние 12 лет Джон разместил в Facebook свои фотографии на работе, дома, во время отдыха или в путешествии.
Используя только эти семь снимков, злоумышленник может обучить искусственный интеллект генерировать изображения, создающие впечатление, что у Джона есть тайная жизнь. Например, он может любить делать селфи в обнаженном виде в своей классной комнате. По вечерам Джон может ходить в бары в костюме клоуна. По выходным он может быть членом экстремистской военизированной группировки. А может быть, он отбывал срок за незаконное хранение наркотиков, но скрыл это от своего работодателя.
Мы использовали генератор изображений ИИ под названием Stable Diffusion (версия 1.5) и технику под названием Dreambooth, чтобы научить ИИ создавать изображения Джона в любом стиле. Хотя наш Джон не является реальным, кто-то может воспроизвести аналогичные результаты с пятью или более изображениями любого человека. Они могут быть взяты из аккаунта в социальных сетях или даже как стоп-кадры из видео.
Процесс обучения — обучение ИИ созданию изображений Джона — занял около часа и был бесплатным благодаря облачной вычислительной службе Google. После завершения обучения создание самих изображений заняло несколько часов — не потому, что они создаются медленно, а потому, что нам пришлось просмотреть множество несовершенных фотографий (и использовать метод проб и ошибок в подсказках), чтобы найти лучшие из них. Тем не менее, это значительно проще, чем пытаться создать реалистичную подделку «Джона» в Photoshop с нуля.
Благодаря искусственному интеллекту мы можем заставить Джона совершить незаконные или аморальные действия, например, проникнуть в дом, употребить наркотики или принять душ нагишом вместе со студенткой. С помощью дополнительных моделей ИИ, оптимизированных для порнографии, Джон может стать порнозвездой или даже педофилом.
Мы также можем генерировать образы Джона, делающего, казалось бы, безобидные вещи, которые, тем не менее, могут быть лично для него разрушительными — выпивка в баре, когда он дал обещание быть трезвым, или время, проведенное там, где ему не положено быть.
Он также может быть помещен в забавные и фантастические ситуации, например, быть средневековым рыцарем или астронавтом. Он может выглядеть молодым или старым, тучным или худым, в очках или без них, в разных нарядах.
Синтезированные изображения не идеальны. Если внимательно присмотреться, знающий человек может распознать в них подделку. Но технологии, создающие эти изображения, быстро прогрессируют, и скоро, возможно, будет совершенно невозможно отличить синтезированную фотографию от настоящей. И все же, даже несмотря на недостатки, любое из этих поддельных изображений может посеять губительные сомнения в Джоне или потенциально разрушить его репутацию.
Вы можете увидеть множество примеров того, как люди используют эту же технику (с реальными людьми) для создания причудливых, художественных фотографий своих профилей. А недавно появились коммерческие сервисы и приложения, такие как Lensa, которые обещают сделать все за вас. Чего они не показывают, так это потенциальных негативных последствий этой технологии, если человек использует чужое лицо без его согласия.
Как это работает?
Если вы не обращали внимания на стремительный прогресс в области генераторов изображений ИИ в последнее время, то увиденное выше может вас сильно насторожить. По сути, компьютерные специалисты выяснили, как генерировать новые фотореалистичные изображения всего, что вы можете себе представить, обучая ИИ с помощью реальных фотографий, и за последний год эта технология стремительно усовершенствовалась.
Технология вызывает споры, поскольку, помимо фотографий, она также позволяет людям создавать новые произведения искусства, имитирующие работы существующих художников без их разрешения.
Один из наиболее влиятельных генераторов изображений ИИ называется Stable Diffusion. Это модель синтеза изображений с глубоким обучением (причудливый термин для программного обеспечения ИИ), которая может генерировать совершенно новые изображения на основе текстовых описаний. Она может работать локально на ПК под управлением Windows или Linux с мощным GPU, на Mac или в облаке на арендованном компьютерном оборудовании.
При финансовой поддержке Stability AI академическая организация под названием CompVis обучила модель ИИ Stable Diffusion, используя сотни миллионов общедоступных изображений, загруженных из Интернета. Stability AI выпустила Stable Diffusion как программное обеспечение с открытым исходным кодом 22 августа 2022 года, что означает, что любой может использовать его бесплатно, и оно стало интегрировано во все большее число коммерческих продуктов.
Благодаря интенсивному обучению нейронная сеть Stable Diffusion научилась ассоциировать слова и общую статистическую связь между положением пикселей на изображениях. В результате вы можете дать Stable Diffusion текстовую подсказку, например, «Морган Фримен в классе», а в ответ получите совершенно новое изображение Моргана Фримена в классе.
Создавать изображения Моргана Фримена легко, потому что в наборе данных, используемых для обучения Stable Diffusion, вероятно, есть сотни его фотографий. Он уже знает, как выглядит Морган Фримен. Но если вы хотите, чтобы он создавал изображения обычного человека, такого как Джон, вам нужно оказать Stable Diffusion дополнительную помощь.
Вот тут-то и приходит на помощь Dreambooth. Представленный 30 августа 2022 года исследователями Google, Dreambooth использует специальную технику для обучения ИИ-модели Stable Diffusion новым предметам с помощью процесса, называемого «тонкой настройкой».
Изначально Dreambooth не имел никакого отношения к Stable Diffusion, и Google придержал код Dreambooth из-за опасений нецелевого использования (как мы показали в этом материале). Но вскоре после его анонса кто-то адаптировал технику Dreambooth для работы со Stable Diffusion и выпустил код в свободный доступ в качестве проекта с открытым исходным кодом.
С тех пор Dreambooth стал популярным способом для художников ИИ обучить Stable Diffusion новым художественным стилям (или продуктам, таким как обувь), и они делятся своими полученными моделями, настроенными с помощью Dreambooth, в репозиториях в Интернете. Другие художники скачивают их и могут использовать предыдущее обучение Dreambooth для достижения аналогичных эффектов.
Но с самого начала исследователи Google знали, что если поместить человека (например, Джона) в любую поддельную ситуацию, то могут возникнуть проблемы. Именно поэтому, когда они анонсировали Dreambooth, они использовали в качестве примера фотографии корги, а не людей. Избежание потенциальных этических проблем за счет использования изображений милых животных вызвало критику со стороны MIT Technology Review, и это пример того, как ученые в области ИИ часто пытаются минимизировать или избежать критики за потенциальные негативные последствия своих исследований.
Влияние
По некоторым подсчетам, более 4 миллиардов человек в мире пользуются социальными сетями. Если кто-то из них выложил в сеть несколько публичных фотографий, он может подвергнуться подобной атаке со стороны достаточно мотивированного человека. Произойдет ли это на самом деле или нет, зависит от конкретного человека, но все должны знать, что отныне это возможно.
Мы только показали, как мужчина может быть потенциально скомпрометирован этой технологией синтеза изображений, но эффект может быть хуже для женщин. Как только лицо или тело женщины будет обучено набору изображений, ее личность может быть тривиально вставлена в порнографические изображения. Это связано с большим количеством сексуализированных изображений в широко используемых наборах данных для обучения ИИ (другими словами, ИИ знает, как их генерировать). Наше культурное предубеждение к сексуализированному изображению женщин в Интернете научило эти генераторы изображений ИИ часто сексуализировать свои результаты по умолчанию.
Чтобы решить некоторые из этих этических проблем, Stability AI недавно удалил большую часть NSFW-материалов из набора обучающих данных для своей последней версии 2.0, хотя в версии 2.1 он добавил некоторые из них обратно после того, как пользователи Stable Diffusion пожаловались, что удаление повлияло на их способность генерировать высококачественные человеческие объекты. А модель версии 1.5 все еще существует и доступна для всех желающих. Ее лицензия на программное обеспечение запрещает использовать генератор ИИ для создания изображений людей без их согласия, но нет никаких возможностей для контроля. Создать такие изображения по-прежнему легко.
Аналогичным образом, дети и подростки могут подвергаться травле с помощью этой технологии, даже если их изображениями не манипулируют в сексуальном плане. Внешность или местоположение ребенка могут быть изменены с унизительным эффектом и распространены среди сверстников.
Можно ли что-то с этим сделать?
Сейчас вы можете попробовать удалить все свои фотографии из сети. Возможно, это хорошая идея. Но для некоторых людей, например политиков или общественных деятелей, это неосуществимо. А в других случаях друзья могут опубликовать ваши фотографии в группах, которые находятся вне вашего контроля.
В будущем, возможно, удастся защититься от такого рода злоупотребления фотографиями с помощью технических средств. Например, будущие генераторы изображений с искусственным интеллектом могут быть обязаны по закону встраивать невидимые водяные знаки в свои результаты, чтобы их можно было прочитать позже, и люди знали, что это подделка. Но для того, чтобы это имело какой-либо эффект, люди должны быть в состоянии легко прочитать водяные знаки (и быть осведомленными о том, как они работают). Даже в этом случае будет ли иметь значение, если на позорной поддельной фотографии ребенка, которой поделилась вся школа, будет невидимый водяной знак? Ущерб уже будет нанесен.
Stable Diffusion уже встраивает водяные знаки по умолчанию, но люди, использующие версию с открытым исходным кодом, могут обойти это, удалив или отключив компонент программы, создающий водяные знаки. И даже если водяные знаки будут требоваться по закону, технология для производства подделок без водяных знаков все равно будет существовать.
При этом другой тип водяных знаков, добровольно наносимых на личные фотографии, может нарушить процесс обучения Dreambooth. Недавно группа исследователей Массачусетского технологического института анонсировала PhotoGuard — состязательный процесс, цель которого — нарушить и предотвратить манипуляции ИИ с существующей фотографией путем тонкого изменения фотографии с помощью невидимого метода. Но в настоящее время он направлен только на редактирование ИИ (часто называемое «inpainting»), а не на обучение или создание изображений.
Еще одно потенциальное противоядие — это время. По мере роста осведомленности наша культура может в конечном итоге принять и смягчить эти проблемы. Мы можем принять этот вид манипуляций как новую форму медиареальности, о которой должен знать каждый. Происхождение каждой фотографии, которую мы видим, станет намного важнее; как и сегодня, мы должны будем полностью доверять тому, кто делится фотографиями. Но в переходный период, когда все еще не знают об этой технологии, синтезированные подделки могут вызвать определенный хаос.
Заманчиво думать, что наше чувство медиареальности — даже если оно в настоящее время ошибочно — может получить смертельный удар от рук синтезированной фотографии, но многие люди уже знают, что нужно скептически относиться к фотографиям, которые могут быть подделаны или вырваны из контекста. Тем не менее, мы склонны верить доказательствам, когда они подтверждают то, во что мы хотим верить. В этом смысле ничего не изменилось, кроме масштаба и скорости, с которой могут появляться подделки.
