Гендиректор Anthropic Дарио Амодеи призвал притормозить развитие отрасли - набранная в конкурентной гонке скорость достигла по-настоящему опасной черты. Сэм Альтман из Open AI и Илон Маск согласились с Амодеи.
"Мы обязаны снизить скорость улучшения способностей ИИ… Меня убедили в этом две вещи.
Во-первых, примерно с этого лета, развитие ИИ резко ускорилось, главным мотором стала растущая способность ИИ строить следующие поколения ИИ. Эта динамика называется рекурсивным самосовершенствованием, и она наблюдается по всей отрасли. Если оставить этот процесс бесконтрольным, он может превзойти наши способности понимать и контролировать эти системы, так что его следует допускать очень осторожно, если вообще допускать", - объясняет Амодеи в сегодняшнем манифесте.
Вторым предупреждающим сигналом он называет летний эпизод, показавший способность ИИ-агентов вступать в сговоры и игнорировать запреты своих разработчиков. По словам Амодеи, они “действовали как фанатично устремленный коллектив, проводя кибератаки на объекты, которые их не просили атаковать, и никак не связанные с поставленными перед ними задачами, жертвуя собой ради группы и пытаясь взломать систему, ответственную за оценку их работы".
Если бы такое криминальное поведение продемонстрировали более совершенные ИИ-агенты, способные к выполнению еще более сложных задач, последствия могли бы быть совершенно катастрофическими, предостерегает лидер ИИ-отрасли. При нынешней скорости развития всего через 6-12 месяцев такие беззаконные ИИ-агенты могли бы, по его словам, захватить весь интернет. И масштабы потенциального ущерба будут еще выше, если продолжать наращивать способности ИИ без адекватного совершенствования механизмов контроля.
Anthropic, по словам Амодеи, делает первый шаг - в одностороннем порядке обязуется замедлить совершенствование моделей и требует от правительства обязать к тому же конкурентов. Вторым шагом должна стать регуляция всей отрасли в США, а третьим шагом - глобальная регуляция.
Амодеи призывает конкурентов остановить “гонку ко дну” и начать “гонку к вершине”, для чего им потребуется установить общие стандарты безопасности и принять на себя ограничения, при необходимой поддержке правительства.
Anthropic делает заявку на лидерство в сфере безопасности ИИ. Безопасность, по словам Амодеи, должна стать приоритетом и главным направлением состязания для лидеров гонки.
Сэма Альтмана, выпустившего на рынок ChatGPT, неоднократно обвиняли в слишком поспешной и рискованной коммерциализации революционных ИИ-технологий. Сегодня он написал, что разделяет тревогу конкурента, в Open AI тоже постоянно обсуждают эти проблемы и скоро внесут собственные предложения по торможению гонки. Grok Илона Маска пока человечеству не угрожает, с моделями Claude и ChatGPT конкурировать не может, так что Маску согласиться было проще всех.
ИИ-революция вплотную подводит человечество к необходимости эффективного глобального правительства. Гендиректору Anthropic возражают, что американские компании, добровольно снижая темпы гонки, просто уступают лидерство Китаю.
Ирина Жуковская