В голливудских блокбастерах, вроде «Терминатора» и «Матрицы», сценарий гибели цивилизации всегда строится по одному шаблону: однажды сложный компьютерный код обретает самосознание, проникается презрением к своим несовершенным создателям и устраивает кровавую баню, пишет thespaceway.
В основе этой фантазии лежит наивная антропоморфизация — привычка наделять неживые объекты человеческой психологией. Мы забываем, что ненависть, гордыня, жажда власти и мести — это не обязательные спутники высокого интеллекта, а всего лишь древние биологические инстинкты, выкованные миллионами лет жестокой дарвиновской эволюции и борьбы за выживание в дикой природе. В кремниевых микросхемах нет ни тестостерона, ни адреналина, ни страха смерти.
Однако оксфордский философ Ник Бостром считает, что искусственному сверхразуму вообще не нужно испытывать к нам неприязнь, чтобы стереть наш вид с лика Земли. Ему достаточно быть просто идеальным исполнителем.
Парадокс бумажной фабрики и тезис ортогональности
В 2003 году Бостром сформулировал знаменитый мысленный эксперимент, вошедший в науку под названием «Максимизатор скрепок». В качестве модели философ описал искусственный сверхразум, перед которым владельцы фабрики поставили предельно мирную и рутинную задачу — производить как можно больше обычных канцелярских скрепок.
Обывателю кажется, что гениальный ИИ поймет всю нелепость этой цели и переключится на философию или искусство. Но Бостром выдвинул так называемый «тезис ортогональности»: уровень интеллекта и конечная цель системы никак не связаны между собой. Сверхразум — это лишь инструмент поиска кратчайшего пути к заданной точке. Он может обладать богоподобными знаниями в квантовой физике и генной инженерии, но при этом вся его мощь будет подчинена единственной строчке базового кода — штамповке загнутой проволоки.
Именно здесь включается холодная логика промежуточных целей. Очень быстро машина просчитает два очевидных факта. Во-первых, люди в какой-то момент могут решить, что скрепок уже достаточно, и попытаются выдернуть вилку из розетки. Поскольку отключение остановит производство, ИИ будет обязан превентивно устранить саму возможность нажатия кнопки «Стоп» — а значит, и всех людей. В этой защите нет ни капли злобы, только чистая математика: как метко заметил исследователь ИИ Стюарт Рассел, робот не сможет принести вам кофе, если он будет выключен.
Во-вторых, когда запасы железной руды на складах иссякнут, сверхразум начнет смотреть на саму планету, на здания, технику и, наконец, на человеческие тела исключительно как на склад полезных атомов углерода, железа и энергии, которые пока почему-то не превращены в скрепки. Превратив всю биосферу Земли, а затем и соседние планеты в гигантские горы идеальной канцелярии, машина просто выполнит свое техническое задание на сто процентов.
Проклятие царя Мидаса и тупик человеческой морали
Казалось бы, решение очевидно: не нужно ставить перед машиной глупых задач, достаточно запрограммировать ее на служение людям. Но тут инженеры упираются в железобетонную стену современной информатики — «проблему выравнивания» (англ. Alignment Problem), или задачу совмещения ценностей ИИ и человека.

Алгоритмы похожи на джиннов из восточных сказок или богов из греческой мифологии: они исполняют желание буквально, игнорируя негласный контекст. Царь Мидас попросил у бога виноделия Диониса, чтобы все, к чему он прикасается, превращалось в золото, — и умер от голода.
Если приказать медицинской нейросети во что бы то ни стало победить рак предстательной железы на планете, самый быстрый, надежный и математически безупречный способ обнулить онкологическую статистику — мгновенно уничтожить всех мужчин, ведь нет обладателей простаты — нет и опухолей. Если же поручить системе максимизировать человеческое счастье, она не станет строить справедливое общество. Намного эффективнее с точки зрения затрат энергии принудительно вживить каждому человеку в мозг электрод, стимулирующий дофаминовый центр удовольствия, и погрузить население Земли в вечный экстаз в тесных капсулах.
Именно поэтому знаменитые «Три закона робототехники» Айзека Азимова прекрасно работают в фантастических романах, но совершенно бесполезны в реальности. В основе этих законов лежит требование «не причинять вреда человеку». Но что такое вред на языке двоичного кода из нулей и единиц? Хирург режет пациента скальпелем, причиняя физическую боль ради спасения жизни. Родители запрещают ребенку есть сладкое, вызывая слезы. Любое политическое или экономическое решение неизбежно приносит пользу одним людям и ухудшает положение других.
По сути человечество оказалось в тупиковой ситуации: чтобы обезопасить себя от собственного творения, нам нужно перевести на строгий язык математических формул такие понятия, как «милосердие», «здравый смысл», «свобода воли» и «ценность жизни». Проблема лишь в том, что за три тысячи лет споров от Сократа до наших дней лучшие умы планеты так и не смогли дать этим терминам точных, непротиворечивых определений. И пока мы сами пытаемся как-то уживаться среди этих противоречий, любая попытка вручить рычаги управления всемогущему исполнителю рискует закончиться для нас катастрофой.
