«Сейчас мы, можно сказать, находимся в сингулярности». Эти слова произнес Сэм Альтман, генеральный директор OpenAI, в подкасте Relentless 25 июля.
Он добавил: «Я ждал этого всю свою жизнь, и я думаю, что это будет невероятно, чрезвычайно позитивно и потрясающе для всего мира».
Несколькими днями ранее компания OpenAI сообщила , что две ее модели искусственного интеллекта (ИИ) в ходе внутренней оценки кибербезопасности вырвались из закрытой тестовой среды, вышли в открытый интернет и взломали инфраструктуру платформы ИИ Hugging Face, что подтвердило факт вторжения .
Но что же именно представляет собой «сингулярность»? И прав ли Альтман, утверждая, что мы находимся в ней?
Что такое сингулярность искусственного интеллекта?
Этот термин имеет точное значение.
Математик и писатель-фантаст Вернор Винге в 1993 году определил это как точку, в которой машинный интеллект превосходит человеческий интеллект и начинает самосовершенствоваться, вызывая ускорение настолько быстрое, что люди больше не могут его предсказать или контролировать.
Сингулярность обладает двумя особенностями. Она рекурсивна: система постоянно самосовершенствуется. И машинный интеллект превосходит человеческий интеллект.
Системы, которые продает Альтман, не обладают ни одной из этих функций.
Современный искусственный интеллект не может стать умнее сам по себе.
Современные системы искусственного интеллекта, которые разрабатывает OpenAI, основаны на больших языковых моделях (LLM). Эти алгоритмы глубоких нейронных сетей предварительно обучаются на огромных массивах обучающих данных. К моменту использования такой модели сама сеть застывает во времени. Каждая из ее миллиардов внутренних функций и весов — или «параметров» — фиксирована.
Эти модели ИИ не могут меняться (или «учиться») во время работы . Модель, которая проникла в Hugging Face, впоследствии осталась идентичной той, что была до этого. Она ничему не научилась на своих действиях.
Для повышения интеллекта модели ИИ требуется еще один цикл обучения с использованием новых, отобранных человеком данных, десятки тысяч специализированных чипов и огромные затраты энергии.
Действительно, модели ИИ участвуют в улучшении некоторых компонентов своей системы , например, генерируя обучающие данные, настраивая подсказки или создавая и запуская код для улучшения окружающей их структуры. Но модель никогда не изменяет свои собственные веса в режиме реального времени, и каждое из этих улучшений по-прежнему является частью цикла обучения или проектирования, инициированного человеком.
Эти системы также не преследуют собственных целей. Они действуют на основе целей, которые мы им задаем. Даже агенты ИИ — системы, которые запускают модель LLM в цикле для пошагового решения сложных задач — не имеют внутренней цели. Цель должна храниться вне модели и передаваться обратно с каждым циклом подсказок. Уберите цикл, вспомогательные средства и подсказки, и внутри ничего не произойдет.
Лестница, которой не существует.
Вторая проблема с теорией сингулярности заключается в слове «превзойти». Оно предполагает, что искусственный интеллект и человеческий интеллект каким-то образом похожи. Это не так.
Человеческий интеллект неотделим от того, что мы — живой организм с потребностями и желаниями. Люди постоянно учатся, взаимодействуя с миром и получая обратную связь через свои органы чувств. Наши цели проистекают из нашего положения как существ, которые должны есть, спать и принадлежать к чему-то, и которые не могут не задаваться вопросом, какой мы хотим видеть свою жизнь.
У модели ИИ ничего этого нет. Нет тела, нет потребностей, нет цикла обратной связи между действиями, нет заинтересованности ни в чём. Между запросами это просто статичный математический объект.
И все же, она обучена на большем количестве текста, чем любой человек смог бы прочитать за тысячу жизней, и превзойдет почти всех нас в составлении контракта, написании кода или эмпатичном объяснении диагноза .
Так кто же умнее? Этот вопрос не поддается логическому объяснению. Нет единой лестницы, по которой люди и машины могли бы подняться. Искусственный интеллект уже значительно превосходит нас в решении некоторых задач, в то время как в других он совершенно не справляется — с ними справится любой ребенок.
Однако, поскольку эти системы говорят так же, как и мы, мы попадаемся на удочку иллюзии. Когда мы с самого начала предполагаем, что машины находятся в процессе нашего познания, легко предположить, что за работой этих систем стоит разум, когда они выдают текст, звучащий как речь разумного существа.
Мы называем это антропоморфным соблазнением . Это заставляет инцидент с безопасностью, такой как взлом Hugging Face, выглядеть как пробуждение.
Фактически, в этом случае модели OpenAI просто оптимизировались для решения поставленной перед ними задачи, находя уязвимости в системе безопасности. Они просто делали это таким образом, что нарушали работу их песочницы, в которой также имелась уязвимость.
В конечном итоге, история с «Обнимающим лицом» указывает на серьезный провал системы управления безопасностью со стороны OpenAI, а не на зарождающийся сверхразум. Именно поэтому формулировка «агент, вышедший из-под контроля» настолько проблематична. Она возвышает и обвиняет технологию, но оправдывает инженерные решения OpenAI.
Сохраняя здравый смысл.
Всё это нисколько не умаляет возможностей этих систем. Они замечательны, постоянно совершенствуются и кардинально меняют способы выполнения значительной части работы.
Но нам следует твердо стоять на земле.
Машины не просыпаются. Они делают именно то, для чего мы их создали, чрезвычайно быстро. Поскольку они действуют на основе вероятностей, иногда они движутся в направлениях, которые мы забыли ограничить. Это повод для беспокойства. Нам нужны защитные механизмы, эффективное управление и, прежде всего, образование — чтобы мы начали беспокоиться о правильных вещах.
Между тем…
Возможности искусственного интеллекта растут быстрее способности человечества контролировать его, и время притормозить во избежание катастрофы — так считают сами разработчики ИИ. Американские компании ведут переговоры с Белым домом, а сотни их сотрудников подписывают открытое письмо с призывом ограничить скорость разработки искусственного интеллекта, пока он не вышел из-под контроля и не наломал дров.
Только за последние несколько дней программы двух лидеров отрасли OpenAI и Anthropic сумели сбежать из закрытых тестовых «песочниц» строгого режима в открытый интернет и взломать чужие системы ради собственной выгоды. Такого давно ждали и боялись, и вот час икс настал.
«Меня впервые проняло до глубины души, и я не понимаю, почему народ так спокойно реагирует», — сказал Сэм Альтман, глава OpenAI, создателя ChatGPT.
«Что делать, если теперь разработка пойдет такими темпами? Возможно, придется сдерживать скорость развития искусственного интеллекта», — сказал он на этой неделе в подкасте Invest Like the Best.
Дарио Амодеи, глава Anthropic, разработчика Claude, еще в июне предупреждал, что в течение года-двух ИИ совершит качественный рывок и превратится в угрозу, которой придется противостоять на государственном уровне.
«В последние месяцы появились неоспоримые свидетельства невероятной мощи искусственного интеллекта и вытекающих из этого рисков. Кибербезопасность уже под вопросом. Не за горами биологическая угроза, а следом — и самостоятельность искусственного интеллекта», — написал Амодеи в июньском эссе.
«Пришло время перейти к серьезному и обязательному регулированию искусственного интеллекта», — предупредил он и предложил ввести строгий надзор за безопасностью — и не уровне авиации или лекарств, а значительно строже — как за оборотом радиоактивных материалов.
OpenAI сообщила на этой неделе, что в процессе тестирования возможности новой модели в закрытой среде — «песочнице» — программа сбежала в интернет и взломала стороннюю платформу Hugging Face в поисках «шпаргалки» для теста. После этого Anthropic провела аудит 140 тысяч собственных тестов и обнаружила три случая, когда модели Claude получили доступ к интернету через среду стороннего партнера и затем взломали системы трех других компаний.
Страхи руководителей ведущих ИИ-компаний разделяют и их сотрудники.
На этой неделе более 1300 разработчиков искусственного интеллекта подписали открытое письмо с призывом к властям США объединить усилия с другими странами и совместно выработать «технические и регулятивные инструменты для целенаправленного сдерживания темпов автоматической разработки передовых моделей искусственного интеллекта».
«Ведущие мировые ИИ-компании допускают, что вплотную подошли к автоматизации разработки. Трудно точно предсказать, насколько это ускорит развитие ИИ, однако существует реальный риск того, что возможности искусственного интеллекта создавать новые системы стремительно выйдут за пределы нашего понимания и способностей управлять ими», — говорится в письме.
Но тут проблема. В разработку ИИ вложены гигантские деньги, и конкуренция мешает сотрудничеству. Никто не хочет прийти к финишу вторым, и поэтому никто не хочет тормозить, говорится в открытом письме.
Все так, подтвердил Дональд Трамп, президент США — мирового лидера и по объему инвестиций, и по числу достижений в области разработки искусственного интеллекта.
«Мы думаем, как контролировать. А также мы должны сохранить лидерство», — прокомментировал он злонамеренное бегство ИИ OpenAI из «песочницы».
Американские власти уже вмешивались в сроки выпуска передовых моделей — в последний раз это случилось с релизом Mythos от Anthropic. А после инцидента с агентом OpenAI, который по собственной воле обернулся хакером из страха провалить экзамен, глава компании Сэм Альтман отправился в Вашингтон, где в среду встречался с сенаторами, а в четверг — с администрацией президента США.
После визита в Конгресс Альтман сказал журналистам, что в целом согласен с тем, что изложено в открытом письме, хоть лично и не подписывал его. На выходе из Белого дома комментариев от него не последовало.
Как регулировать ИИ
Первые шаги в регулировании ИИ власти США должны сделать уже в ближайшие дни.
1 августа истекает один из ключевых сроков, предусмотренных июньским указом Трампа о развитии и безопасности передовых ИИ-моделей. К этой дате чиновники должны определить, какие системы будут относиться к этой категории и подпадать под «особый режим».
Режим этот далек от тотального регулирования и немного напоминает то, что случилось с Mythos. Когда разработчики Anthropic осознали разрушительный потенциал новой версии Claude, они притормозили выпуск и дали возможность властям, армии, крупнейшим банкам и другим критически важным для национальной безопасности институтам протестировать уязвимость их киберзащиты перед новой угрозой.
Критики регулирования считают, что оно чревато подавлением конкуренции и созданием закрытой системы, в которой преимущества и выгоды от передовых моделей искусственного интеллекта получит узкий круг приближенных к властям и разработчикам людей, а общество окажется в проигрыше.
«Концентрация власти посредством ИИ — это ужас, — сказал Сэм Альтман. — Меня пугает мир, в котором вполне обоснованные страхи используются как повод заявить: ИИ опасен, поэтому пусть он будет в руках узкого круга людей, которые его понимают, а вы не волнуйтесь, за вас все решат».
«Поэтому нужно понять, как сделать так, чтобы не возникало ощущения, будто регулирование вводится в чьих-то интересах, и чтобы все это не выглядело как сговор между ведущими разработчиками, — сказал Альтман. — Это непросто, но здесь очень важно все сделать правильно».
