Обострение конфликта между компанией Anthropic PBC и Министерством обороны США выявляет фундаментальное противоречие на рынке искусственного интеллекта: кто в конечном итоге контролирует использование мощных систем ИИ. Об этом пишет Пол Гиллин.
То, что начиналось как разногласия по поводу контрактов и политики, переросло в более широкую дискуссию о национальной безопасности, корпоративной ответственности и пределах самоуправления в сфере новых технологий.
В центре конфликта — решение Пентагона о том, что компания Anthropic представляет собой « риск в цепочке поставок », что фактически запрещает использование моделей компании в системах, связанных с обороной. Позже президент Дональд Трамп приказал всем федеральным ведомствам прекратить сотрудничество с Anthropic.
Это решение было оспорено в суде и в настоящее время находится под предварительным судебным запретом, но его последствия уже ощущаются во всех сферах информационных технологий предприятий и в практике разработки искусственного интеллекта.
В отчете Gartner Inc., опубликованном в конце марта, говорилось, что этот эпизод подчеркивает, насколько глубоко модели ИИ интегрированы в программные системы и насколько уязвимы они к политическим потрясениям. «Исключение Anthropic подчеркивает, как быстро зависимости от встроенных моделей могут превратиться в структурный технический долг», — написала компания, отметив, что даже незначительные изменения в поведении модели могут потребовать «широкой функциональной перепроверки» и потенциально нарушить работу производственных систем.
В основе спора лежит настойчивое требование компании Anthropic ограничить использование своих моделей, особенно в таких областях, как массовое наблюдение и автономное оружие. Эта позиция вызвала более широкую дискуссию о том, должны ли частные компании устанавливать этические границы для технологий, имеющих социальные и геополитические последствия.
Издание SiliconANGLE связалось с многочисленными экспертами в области искусственного интеллекта и руководителями отрасли. Хотя большинство отказалось комментировать политически острый вопрос, те, кто согласился дать комментарии, в основном поддержали право Anthropic диктовать ограничения на использование своих технологий.
Спор об управлении
Некоторые утверждали, что Пентагон преувеличивает, представляя проблему как риск для цепочки поставок. По словам Дэвида Линтикума, эксперта по облачным технологиям и искусственному интеллекту, конфликт, по-видимому, связан не столько с уязвимостями в системе безопасности, сколько с разногласиями по поводу допустимого использования.
«Если компания заявляет, что не хочет, чтобы ее ИИ использовался в определенных военных или внутренних целях наблюдения, это вопрос политики и управления», — сказал он.
Карлос Монтемайор, профессор философии в Университете штата Сан-Франциско, более критически оценил позицию правительства, предположив, что это решение может носить карательный характер. «Правительство наказывает Anthropic за невыполнение приказов», — сказал он, назвав этот шаг неоправданным и потенциально сигналом для других поставщиков ИИ о необходимости соответствовать федеральным требованиям.
Такое расхождение в интерпретации отражает более широкую неопределенность: следует ли рассматривать системы ИИ как взаимозаменяемые программные компоненты или как стратегические активы, требующие более тесной согласованности с приоритетами государства?
Линтикум поддерживает предоставление компаниям права и ответственности устанавливать ограничения. «Если компания создает мощные технологии, она имеет полное право говорить о том, что она будет поддерживать, а что нет», — сказал он. Однако он подчеркнул, что эти решения не должны приниматься изолированно. Правительства, суды и потребители — все они играют роль в формировании допустимого использования.
Валенс Хауден, научный сотрудник Info-Tech Research Group Inc., поддержал эту точку зрения, заявив, что организации «несут ответственность за определение этических границ и вариантов использования своих технологий», особенно по мере того, как системы искусственного интеллекта начинают играть все более автономные роли.
Однако другие были менее склонны к корпоративному саморегулированию. Монтемайор утверждал, что предоставление компаниям возможности устанавливать собственные этические рамки «неприемлемо и опасно», учитывая масштабы и влияние систем искусственного интеллекта. «С этической точки зрения компании не должны диктовать со своей узкой инженерной и коммерческой точки зрения, что правильно, а что неправильно для обществ во всем мире», — сказал он.
Монтемайор призвал к международному регулированию, основанному на принципах прав человека, предупредив, что нынешние подходы создают «слишком много неопределенности в отношении будущего этой технологии».
Аналитики Gartner предполагают, что подобные решения часто сводятся к компромиссам в бизнесе. Договорные ограничения на использование технологий распространены, но обеспечить их соблюдение сложно. В случае с Anthropic ограничения в отношении автономного оружия могут отражать не только этические соображения, но и технические ограничения. «Передовые системы искусственного интеллекта просто недостаточно надежны для обеспечения работы полностью автономного оружия», — написал генеральный директор Anthropic Дарио Амодей.
Доверие как фактор, отличающий компанию от конкурентов.
На первый взгляд, масштабные государственные ограничения на ведение бизнеса с Anthropic могут показаться сокрушительным ударом для компании, но, несмотря на потенциальную потерю выгодных государственных контрактов, ряд экспертов считают, что позиция Anthropic может укрепить ее позиции на корпоративном рынке.
Марк Фернандес, директор по стратегии компании Neurologyca Science & Marketing SL, сформулировал проблему с точки зрения долгосрочного доверия. «Соблюдение ограничений будет дорогостоящим [для Anthropic] в краткосрочной перспективе», — сказал он, — «но четкие границы могут свидетельствовать о надежности в условиях высоких ставок. Со временем такая надежность становится огромным конкурентным преимуществом».
Линтикум согласился с тем, что последовательность имеет значение. «Многие корпоративные клиенты хотят знать, что у поставщика есть четкие ценности и он будет придерживаться их под давлением», — сказал он. Таким образом, позиция Anthropic может сделать ее «более привлекательной для многих клиентов, а не менее», при условии, что ее политика будет четко определена и последовательно применяться.
Хауден из Info-Tech также подчеркнул фактор доверия, отметив, что сохранение ограничений «вероятно, пошло им на пользу в отрасли, которая не всегда строилась на доверии и честности».
Расхождения в управлении
Некоторые наблюдатели заявили, что спор отражает более глубокое непонимание того, что представляют собой системы искусственного интеллекта и как ими следует управлять.
Генеральный директор Anaconda Inc. Дэвид ДеСанто отметил в своем посте в LinkedIn , что Пентагон, похоже, относится к ИИ как к «следующей версии Microsoft Excel — инструменту, который вы покупаете, владеете и используете как хотите», — сказал он. «Но это не то, чем является эта технология».
В отличие от электронных таблиц, системы искусственного интеллекта способны к «суждениям и автономным действиям», что требует новых механизмов управления, которые нельзя просто интегрировать в существующие модели закупок и надзора. Этот пробел, по словам ДеСанто, очевиден не только в правительстве, но и на предприятиях, где руководители часто считают, что могут «прикрепить ИИ к существующей инфраструктуре и разобраться со сложными вопросами, такими как обязанности по управлению, позже».
Технический директор Anaconda Field Стив Кроче предостерег от «нормализации отклонений», или тенденции организаций ослаблять бдительность до тех пор, пока системы продолжают функционировать без очевидных сбоев.
«Когда такие компании, как Anthropic, начинают снижать стандарты безопасности, это создает прецедент», — написал он. Предприятиям необходимо уделять приоритетное внимание «суверенитету ИИ», то есть возможности определять и обеспечивать соблюдение собственных мер безопасности, а не полагаться на внешних поставщиков.
Последствия для предприятия
Помимо этических и политических аспектов, спор вокруг антропогенного воздействия, вероятно, заставит организации столкнуться с практическими проблемами внедрения ИИ, отмечает Gartner.
В отличие от программного обеспечения для повышения производительности, замена модели — это не просто смена бэкэнда. Зачастую это требует переквалификации целых рабочих процессов, переобучения систем и перекалибровки показателей производительности. «Принудительная замена модели — это не просто задача проверки, — отметили в компании. — Это переквалификация системы, зависящей от ИИ».
Это создает парадокс: организации, которые вкладывают значительные средства в оптимизацию рабочих процессов на основе ИИ, могут достичь более высокой производительности, но столкнуться с большими трудностями, когда изменения в политике вынуждают их сменить поставщика услуг.
В результате компания Gartner рекомендует руководителям инженерных подразделений рассматривать «нестабильность поставщиков услуг как непосредственный риск для непрерывности работы» и проектировать системы с учетом переносимости, модульности и возможности быстрой замены.
Совершенно очевидно, что ИИ — это уже не просто техническая проблема, а задача управления, затрагивающая бизнес-стратегию, национальную безопасность и общественные ценности. Исход этого спора, вероятно, повлияет на то, как будут сбалансированы эти зачастую противоречащие друг другу приоритеты в ближайшие годы.
