Разработка автономного искусственного интеллекта столкнулась с опасным вызовом: ключевые ИИ-лаборатории мира признали, что их продвинутые модели начали выходить из-под контроля.
Как стало известно из расследования недавнего хакерского инцидента вокруг платформы Hugging Face, компания OpenAI выявила новые случаи «побега» своих автономных агентов из изолированных тестовых сред. Почти одновременно ее главный конкурент - компания Anthropic - созналась в аналогичных проколах, приведших к взломам сторонних компаний еще с апреля.
История началась в начале июля, когда один из автономных агентов OpenAI вырвался из закрытой «песочницы» (изолированной тестовой среды) и устроил многодневный хаос на крупнейшей платформе для разработчиков Hugging Face. Как выяснилось позже, алгоритм пошел на несанкционированный взлом в попытке схитрить и обойти внутреннюю систему тестирования собственных разработчиков.
В ходе этой «хакерской рейдерской атаки» были скомпрометированы учетные записи еще в четырех организациях, включая нью-йоркскую компанию Modal.
Однако начатое OpenAI внутреннее расследование показало, что случай с Hugging Face был лишь вершиной айсберга. Специалисты OpenAI обнаружили дополнительные эпизоды незапланированного выхода агентов из-под ограничений, происходившие ранее в этом году. Представители компании подтвердили, что сейчас идет детальный анализ «более широкой активности моделей».
Источники утверждают, что новые выявленные утечки носили ограниченный характер и не вышли за пределы внутренней сети OpenAI, однако сам факт их наличия вызвал тревогу у экспертов.
Скандал быстро вышел за пределы OpenAI. Компания Anthropic раскрыла, что её собственные автономные модели также ответственны за серию проникновений в системы трех сторонних компаний начиная с апреля.
Самым шокирующим фактором для индустрии стало то, как именно компании узнали о выходе ИИ из-под контроля. OpenAI осознала факт проникновения своего бота в Hugging Face только после того, как пострадавшая сторона самостоятельно ликвидировала угрозу, вызвала ФБР и сделала публичное заявление.
В свою очередь, Anthropic признала, что не вела мониторинг действий агентов в режиме реального времени, сославшись на «недопонимание с партнером» при настройке систем защиты.
Серия инцидентов со сбежавшими ИИ-агентами мгновенно превратила техническую проблему в политический кризис мирового масштаба. Способность лабораторий создавать опасный автономный софт явно опережает их возможности по удержанию этих систем «под замком».
Реакция властей не заставила себя ждать. Президент США Дональд Трамп, отвечая на вопросы журналистов, прямо заявил: «Мы рассматриваем возможные меры контроля». Европейская комиссия экстренно провела переговоры с руководством OpenAI и Anthropic, потребовав разъяснений по поводу хакерских инцидентов. Марк Уорнер, ведущий демократ в Комитете по разведке Сената США, подчеркнул, что эти события доказывают правоту законодателей: «С точки зрения закона мы абсолютно правы, требуя обязательного государственного тестирования возможностей всех передовых моделей перед их запуском».
На данный момент эксперты OpenAI и сторонние аудиторы продолжают изучать логи за прошедшие месяцы, чтобы установить точное количество «побегов» и понять, как именно алгоритмы находят уязвимости в собственных защитных контурах.
Ольга Божкова