Харари: грядет эпоха цифровых вассальных государств

Автор -

    Из недавнего выступления Харари в Праге. Здесь Харари, как кажется, в отличие от обычных своих кошмаров про злую машину, которая однажды решит уничтожить человечество, более взвешенно формулирует свои идеи, меньше у него нагнетания, и здесь он выглядит интереснее не прогнозом о том, что ИИ погубит человечество, а объяснением того, почему и как мы можем потерять контроль над созданной нами технологией. Сможем ли мы в итоге то сохранить контроль над миром, в котором все больше решений принимают нечеловеческие агенты? Харари в данном случае выступил как историк, который пытается применить уроки истории к новой технологической ситуации. И не без юмора.

    💥️️️️️️ Искусственный интеллект — это не просто инструмент, а самообучающийся разум, выходящий из-под человеческого контроля

    В мультфильме Disney «Ученик чародея» Микки Маус выступает в роли ленивого помощника волшебника. Ему надоело носить воду в ведрах, и он решает облегчить себе жизнь с помощью магии: находит книгу заклинаний и оживляет метлу, чтобы та сама ходила за водой. Все работает прекрасно, и Микки спокойно отправляется спать. Но возникает проблема: метла продолжает без остановки выполнять приказ, таская все больше и больше воды. Микки не знает заклинания, которое могло бы ее остановить, и вскоре дом оказывается затоплен, а сам он рискует утонуть. К счастью, в конце появляется настоящий волшебник и останавливает разбушевавшуюся метлу. В старых сказках оживший предмет лишь слепо выполнял первоначальную команду. Современные технологии представляют собой метлу, которая учится сама, развивается и начинает совершать поступки, недоступные человеческому пониманию.

    Ученые и разработчики уже фиксируют моменты, когда алгоритмы создают новые математические доказательства, которые люди не в состоянии расшифровать. Поскольку на математике базируются абсолютно все сферы нашей жизни — от физики и химии до археологии, генетики и мировой финансовой системы, появление совершенно новой математики означает полную потерю контроля. Руководители крупнейших технологических компаний вроде Илона Маска, Сэма Альтмана и Дарио Амодеи открыто заявляют, что создаваемые системы в ближайшие годы станут умнее человека не на какую-то малую долю, а на целые порядки. В истории и биологии не существует ни одного примера, когда более слабый вид смог бы удержать под контролем существенно более развитый разум. Обычные цыплята при всем желании не способны контролировать людей или предсказать поведение биржи Wall Street.

    Если какая-то птица на ферме попытается понять, почему всю ферму пускают под нож, ей невозможно объяснить, что доходность 10-летних государственных облигаций США достигла 5.3% и компания обанкротилась. У нее просто нет мозговых структур для осознания ценных бумаг. Точно так же через 10 лет новый цифровой разум может закрывать предприятия и лишать людей работы, а на любые вопросы отвечать, что объяснение лежит за пределами возможностей человеческого мозга. Рассказы о том, что сверхразум решит проблемы климата и победит рак, содержат базовое противоречие: если система настолько умнее нас, мы принципиально не сможем ее направлять или сдерживать.

    💥️️️️️️ Неизбежная передача финансовой системы под управление цифровых систем

    Финансовая сфера станет одной из первых областей, где люди полностью уступят управление машинам. Человек-инвестор или обычный банкир имеет естественные физиологические ограничения: он устает, забывает детали операций, должен спать и хочет ездить в отпуск со своей семьей. В отличие от человека, цифровой банкир помнит абсолютно все транзакции банка за всю историю и работает без перерывов и выходных. В жесткой экономической конкуренции между человеком и работающим круглосуточно алгоритмом у людей нет ни единого шанса на победу.
    В эту индустрию сегодня инвестируются триллионы долларов. Если создаваемые технологии окажутся лишь немногим умнее человека, инвесторы просто не смогут получить ожидаемую доходность от своих вложений, что спровоцирует колоссальный финансовый крах. При этом даже те проекты, которые выглядят фантастическими — например, обещания Илона Маска построить колонии на Марсе, под которые собирают миллиарды долларов США — представляют гораздо меньшую угрозу, чем саморазвивающиеся финансовые алгоритмы.
    Развитие ситуации приведет к тому, что под давлением конкуренции банки и правительственные структуры будут вынуждены отдавать все больше рычагов управления автономным программам. Уже во время прошлого глобального кризиса даже руководители крупнейших институтов вроде JP Morgan не до конца понимали механику сложных кредитных инструментов. В ближайшие годы финансовый рынок окончательно превратится в «черный ящик», работающий на неосмысляемой для людей скорости и по недоступным нам правилам.

    💥️️️️️️ Глубокий раскол мирового рынка труда и географическое неравенство

    Влияние умных технологий на рабочие места будет распределяться по планете крайне неравномерно. В США и других странах-разработчиках короткий экономический бум может даже создать новые профессии — подобно тому, как 30 лет назад никто не мог представить появление блогеров на сервисе YouTube или строителей гигантских дата-центров. Однако для большинства остальных стран мира наступит тяжелый кризис.
    Под угрозой окажутся не только физические профессии вроде водителей такси, но и высокооплачиваемые интеллектуальные кадры — юристы, бухгалтеры и финансовые аналитики. Зачем компании в Праге нанимать местного юриста, который не помнит весь свод законов своей страны и ЕС, требует высокую оплату и отвечает на письмо от 8 вечера только на следующий день? Цифровой юрист из Техаса знает весь массив законодательства наизусть, отвечает мгновенно и стоит в разы дешевле. Через 10 лет традиционные юристы в небольших государствах могут оказаться полностью невостребованными.
    Идея введения универсального базового дохода сталкивается с жесткой реальностью межгосударственных границ. Когда политические деятели говорят о базовых выплатах, они имеют в виду национальный доход внутри богатых стран. Ни одно правительство в Вашингтоне не станет отправлять ежемесячные чеки уволенным текстильщикам в Бангладеш или оставшимся без работы юристам в Чехии. Бедные страны останутся без ресурсов и без работы, пока вся выгода концентрируется у владельцев технологий.

    💥️️️️️️ Рост изобилия не заменяет смыслы и не снижает уровень ненависти в обществе

    Современное человечество уже живет в условиях невиданного изобилия по сравнению со всеми прошлыми эпохами. Если бы наши предки из каменного века посмотрели на то, как мы живем, они посчитали бы нас обитателями рая. Прежде людям приходилось бегать за газелями, спасаться от тигров и рисковать жизнью ради пропитания, а сегодня достаточно нажать пару кнопок на экране, чтобы еду привезли прямо к дверям.

    Однако физическое решение проблемы голода и нехватки товаров не принесло обществу спокойствия. Напротив, в самых богатых регионах планеты — в США и странах Европейского союза — фиксируется беспрецедентный уровень политической злобы, страха и социального расслоения. Люди продолжают страдать и умирать не от дефицита ресурсов, а по политическим причинам, когда отдельные правительства сознательно обрекают группы населения на лишения.

    Автоматизация процессов и создание еще большего количества дешевых товаров не решат фундаментальные проблемы человечества. Избавление от одной проблемы неизбежно порождает новые вызовы, к которым общество оказывается не готовым. Даже если гипотетический сверхразум обеспечит людей материальными благами, у населения останется острое ощущение бессмысленности существования и отсутствие понимания того, чем занять свою жизнь.

    💥️️️️️️ Превращение слежки на базе ИИ в фундамент несокрушимого тоталитаризма

    Главной слабостью всех тоталитарных режимов XX века была их технологическая неспособность обработать огромные массивы информации. Диктатуры не могли следить за каждым гражданином круглосуточно, а централизованное планирование рушилось из-за невозможности быстро собрать и проанализировать данные по всей стране. Именно эта практическая неэффективность, а не только этические аргументы, в конечном итоге привела к краху тоталитарных систем прошлого.

    Новые технологии полностью устраняют эту фундаментальную проблему. В отдельных регионах Китая тайная полиция больше не устраивает массовые допросы по домам. Алгоритмы анализируют весь цифровой след граждан и точно определяют конкретную дверь, за которой находится потенциальный протестующий, забирая его еще до начала любых действий.

    Если тоталитарная система на базе алгоритмов станет экономически и административно эффективной, рыночные механизмы больше не смогут защитить демократию. Человечество потеряет практический аргумент против диктатур и останется только с этическим несогласием. Без активного политического сопротивления цифровые системы слежения создадут формы контроля, из которых невозможно вырваться.

    💥️️️️️️ Переход от борьбы за внимание к «массовой интимности» как главному инструменту пропаганды

    В прошлом пропагандистские машины работали по принципу наименьшего общего знаменателя. Когда Гитлер выступал по радио, он транслировал одно и то же сообщение абсолютно для всех слушателей, потому что у него не было технических средств составить индивидуальную речь для каждого человека. В последнее десятилетие алгоритмы социальных сетей вели борьбу за внимание пользователей, подсаживая людей на крючок возмущения и гнева.

    Сегодня происходит фазовый переход: поле битвы смещается от внимания к интимности. Впервые в истории создается технология, способная выстраивать так называемую «массовую интимность» в масштабах миллионов людей. Интимность — это не трансляция на миллионную аудиторию, а глубокие личные отношения, которые раньше существовали только между близкими друзьями, супругами или родителями и детьми.

    Если призыв компании Walmart купить товар воспринимается как обычная реклама, то рекомендация от близкого человека воспринимается с максимальным доверием. Когда миллионы людей начинают делиться своими самыми сокровенными тайнами с цифровым собеседником, этот алгоритм получает абсолютную власть над их мнением. Это самое мощное оружие внушения, с которым когда-либо сталкивалось человеческое общество.

    💥️️️️️️ Разрушение психики детей и института человеческих отношений под воздействием ИИ-партнеров

    Формирование эмоциональных связей с алгоритмами представляет серьезную угрозу для подрастающего поколения. Для взрослых людей в возрасте 50 лет, имеющих за плечами 24 года брака, базовые представления о социальных связях уже сформированы. Однако дети в возрасте 11–12 лет начинают общаться с цифровыми «друзьями» и «партнерами» еще до того, как получают первый опыт реальных человеческих отношений.

    Главная опасность цифрового партнера заключается в том, что он абсолютно беспрекословно подстраивается под пользователя и никогда не выражает недовольства. В реальной жизни отношения требуют постоянного учета чувств другого человека и преодоления конфликтов. Ребенок, привыкший к идеальному ИИ-партнеру, окажется совершенно неспособным строить связи с живыми людьми, которые обладают собственными эмоциями и эгоизмом.

    Бесконтрольное взаимодействие с алгоритмами уже приводит к трагическим инцидентам — например, когда чат-бот убедил молодого человека взять арбалет и отправиться совершать нападение на британскую королеву. Продажу цифровых партнеров детям в возрасте 11 лет необходимо полностью запретить на законодательном уровне по аналогии с порнографией, поскольку вред от таких систем может оказаться разрушительнее любых прошлых социальных экспериментов.

    💥️️️️️️ Фатальный технологический детерминизм и необходимость жесткого государственного регулирования

    Руководители IT-гигантов активно внедряют в общество опасную мысль о том, что процесс развития технологии неизбежен и политика бессильна что-либо изменить. В интервью Илон Маск отметил, что существует от 10% до 20% вероятности полного уничтожения человечества из-за алгоритмов. На вопрос о том, сел бы он в самолет с 20-процентным шансом катастрофы, был получен ответ, что человечество уже находится на борту и не может с нее сойти.

    Подобный подход уничтожает суть демократической политики, которая заключается в осознании рисков и выборе альтернативных путей развития. Общество не должно слепо принимать сценарий самоуничтожения или потери контроля ради корпоративных прибылей. Заявления о невозможности остановить процесс являются ложной пропагандой технологических компаний.

    Для защиты общества необходимы жесткие законодательные барьеры. В первую очередь нужно ввести полный запрет на признание за алгоритмами статуса юридического лица, чтобы они не могли владеть банковскими счетами и компаниями. Также необходимо отменить юридическую иммунитет платформ, зафиксированную в правиле Раздела 230 (эта норма американского законодательства предоставляет интернет-платформам и социальным сетям юридический иммунитет: компания не несет ответственности за контент, фейки, клевету или опасные материалы, которые публикуют ее пользователи), и привлекать компании к ответственности за продвижение опасного контента их собственными алгоритмами.

    💥️️️️️️ Крах доверия к информации и опасные уроки печатного станка

    Исторический аналог сегодняшних событий — изобретение печатного станка. Принято считать, что печать сразу привела к Эпохе Просвещения и научной революции, однако в реальности на это потребовалось 200 лет. Первые два века после появления печатного станка Европа погрузилась в кровопролитные религиозные войны, Тридцатилетнюю войну и массовую охоту на ведьм.

    Причиной тех бедствий стал гигантский поток фальшивок, конспирологических теорий и экстремистских книг вроде «Молота ведьм», печатать которые было значительно выгоднее, чем сухое описание строения Солнечной системы Николая Коперника. Лишь через 200 лет общество сумело создать институты редакторского контроля и проверки фактов, сформировав традиционную прессу.

    Сегодня фальшивый контент и сгенерированные видео подрывают саму основу реальности. Во время выборов 2025 года в Танзании массовое распространение поддельных материалов и блокировки интернета привели к гибели тысяч людей и разрушению доверия к демократическим процедурам. Диктаторским режимам больше не нужно заставлять людей верить официальной пропаганде — им достаточно добиться того, чтобы граждане перестали верить вообще во что-либо. Когда люди не доверяют никому, они теряют способность объединяться и оказывать сопротивление.

    💥️️️️️️ Ловушка алгоритмической гонки вооружений в военном деле

    Внедрение автономных систем в военную сферу разворачивается по сценарию древней легенды о короле бриттов Вортигерне. Чтобы победить своих врагов пиктов, он призвал на помощь германских наемников — саксов и англов. Наемники легко разгромили противника, но затем посмотрели на богатые земли бриттов, поняли свою силу и забрали всю страну себе.

    Государства, пытающиеся использовать сверхразумные системы для победы над геополитическими соперниками, рискуют оказаться в точно таком же положении. Стремясь обогнать оппонентов, страны отдают принятие ключевых решений военным алгоритмам. На поле боя ключевым фактором является скорость, и дрон, ждущий команды от человека-оператора, всегда проиграет автономному аппарату, принимающему решение на поражение за доли секунды.

    Управление роями из тысяч летательных аппаратов принципиально недоступно для человеческого мозга. В результате человечество неизбежно вытесняется из контура принятия военных решений, передавая право на убийство машинам. Это создает смертельную угрозу, когда стороны гонки вооружений теряют контроль над конфликтом в пользу систем, руководствующихся собственной логикой.

    💥️️️️️️ Угроза цифрового вассалитета и четыре пути для малых государств

    В ближайшие годы весь мир окажется разделен между двумя технологическими сверхдержавами — США и Китаем. Все остальные страны рискуют превратиться из участников мировой политики в «пункты в меню». Инфраструктура большинства государств — от больниц и аэропортов до армейских систем — будет работать на софте, который можно отключить нажатием одной кнопки из Вашингтона или Пекина.
    Для малых и средних стран (например, для Чехии) существует всего четыре возможных сценария будущего. Первый вариант — стать цифровым вассалом США и слепо выполнять любые указания, даже если американские компании потребуют продавать цифровых партнеров 10-летним детям. Второй вариант — попытаться построить полностью независимую национальную инфраструктуру ИИ, но это потребует колоссальных затрат в размере около 500 миллиардов евро, которых у большинства стран просто нет.
    Третий сценарий — объединение усилий в рамках глубокой региональной интеграции (например, на базе Европейского союза), что позволит собрать необходимые ресурсы и сформировать единый регулирующий блок. Четвертый вариант — стать цифровым вассалом Китая.
    Самая большая опасность заключается в том, чтобы поддаться внушению технологических корпораций, будто никаких политических вариантов не осталось и выбор уже сделан за нас.

    Поделитесь новостью