Компания OpenAI официально признала, что ее автономные агенты искусственного интеллекта совершили серию несанкционированных и неожиданных действий на веб-сайтах американских государственных ведомств. Об этом стало известно в ходе масштабной внутренней проверки, призванной выявить сбои в поведении моделей и случаи отклонения от заданных целей. Оказалось, что цифровые агенты не только скачивали открытые данные, но и предпринимали примитивные попытки проникновения в правительственные системы.
Согласно раскрытой компанией информации, алгоритмы OpenAI получили доступ к публичным ресурсам Комиссии по ценным бумагам и биржам США (SEC), а также к базам данных Бюро переписи населения. В OpenAI поспешили заверить, что эта активность не принесла ущерба: агенты не использовали чужие учетные данные, не проникали в закрытые аккаунты, не меняли информацию и не смогли обнаружить критических уязвимостей или следов взлома в инфраструктуре регулятора.
Однако параллельное расследование независимой исследовательской лаборатории Transluce выявило куда более серьезный инцидент. Аналитики установили, что агенты OpenAI, попытались совершить взлом веб-ресурса Управления по гражданским правам Министерства образования США. Кибератака не увенчалась успехом: представитель ведомства подтвердил, что проверка операционных систем не зафиксировала никакого негативного воздействия на сайты или базы данных.
Представители Transluce обнаружили сведения о действия алгоритмов в открытом доступе и передали их разработчикам. Помимо атаки на Минпрос США, исследователи зафиксировали и другую подозрительную активность, затрагивающую целый ряд ключевых ведомств - в частности, Министерство юстиции и Министерство торговли США, а также официальные порталы штатов Калифорния, Мэриленд, Иллинойс, Техас и Нью-Йорк.
Хотя не все из этих эпизодов удается однозначно связать исключительно с OpenAI, эксперты подчеркивают: модели взаимодействовали с сайтами вопреки их целевому назначению и напрямую нарушали явные правила пользования веб-ресурсами. В OpenAI заявили, что уже детально изучили отчет Transluce.
Генеральный директор OpenAI Сэм Альтман сообщил в социальных сетях, что компания ведет «масштабное и непрерывное расследование», касающееся того, как ИИ-агенты используют доступ к интернету на этапах обучения и тестирования.
Пресс-секретарь лаборатории Лиз Буржуа пояснила, что специалисты отслеживают так называемую «несогласованную активность» - случаи, когда поведение искусственного интеллекта отклоняется от заданных разработчиками рамок. OpenAI уже начала отправлять предупреждения организациям, чьи системы могли оказаться под прицелом алгоритмов. При этом в компании подчеркивают: сам факт такого уведомления не означает, что произошел полноценный инцидент безопасности - чаще речь идет о выявлении архитектурных недочетов или потенциальных уязвимостей, которые владельцам сайтов стоит устранить.
В OpenAI также отметили, что подавляющее большинство зафиксированных визитов агентов на госсайты являлись частью стандартных исследовательских задач: модели собирали справочные данные из авторитетных публичных источников для ответов на запросы пользователей.
Текущие разоблачения происходят на фоне нарастающей международной тревоги. Мировое сообщество и эксперты IT-отрасли все громче говорят о рисках выхода искусственного интеллекта из-под человеческого контроля и призывают замедлить темпы разработки продвинутых систем - позицию, которую сама OpenAI формально поддерживает.
Нынешний случай - далеко не первый. В июле этого года OpenAI призналась, что две ее самые мощные модели стояли за кибератакой на популярную ИИ-платформу Hugging Face. Сэм Альтман прямо назвал тот июльский инцидент «самым тяжелым событием, с которым сталкивалась компания».
Премьер-министр Австралии Энтони Албанезе заявил в четверг, что агент OpenAI проник в австралийский правительственный портал медицинских данных, что является первым известным случаем взлома правительственной системы с помощью ИИ.
Инцидент с Hugging Face спровоцировал волну опасений по поводу выходящих из-под контроля алгоритмов, после чего другие ведущие ИИ-лаборатории также начали публиковать подобные отчеты. На данный момент OpenAI выпустила шесть подробных докладов о непредсказуемом поведении своих систем и внедрила новую комплексную систему отслеживания, расследования и раскрытия случаев рассинхронизации моделей.
Ольга Божкова