Компания OpenAI, разработчик популярного чат-бота ChatGPT, впервые обнародовала внутренние оценки, касающиеся числа пользователей, которые могут демонстрировать признаки кризисных состояний психического здоровья, включая манию, психоз или суицидальные мысли.
Согласно данным компании, около 0,07% пользователей ChatGPT, активных в течение одной недели, проявляют подобные тревожные признаки. OpenAI настаивает, что такие случаи "чрезвычайно редки", однако эта статистика вызвала серьезную обеспокоенность среди экспертов, поскольку масштабы пользовательской базы чат-бота огромны. Глава OpenAI Сэм Альтман недавно сообщил, что еженедельная аудитория ChatGPT достигла 800 миллионов человек. В абсолютных цифрах даже минимальный процент может означать сотни тысяч людей, потенциально нуждающихся в помощи.
OpenAI заявила, что ее ИИ обучен распознавать эти состояния и реагировать на них. На фоне растущего общественного и юридического давления компания объявила о создании глобальной сети экспертов для консультирования. В эту сеть вошли более 170 психиатров, психологов и врачей первичной помощи, имеющих опыт работы в 60 странах. Специалисты разработали ряд стандартных ответов, которые ChatGPT должен использовать для поощрения пользователей к обращению за реальной помощью в медицинские учреждения.
Помимо общих признаков психического кризиса, компания также оценивает, что 0,15% пользователей ведут разговоры, содержащие "явные индикаторы потенциального планирования или намерения совершить самоубийство".
OpenAI подчеркивает, что недавние обновления чат-бота были специально разработаны для того, чтобы «безопасно и чутко реагировать на потенциальные признаки бреда или мании» и распознавать «косвенные сигналы потенциального риска самоповреждения или суицида». Также чат-бот обучен перенаправлять деликатные беседы, инициированные в других, возможно, менее безопасных моделях, в более безопасные модели путем открытия нового окна.
Изменения в работе чат-бота происходят в то время, когда OpenAI сталкивается с растущим числом судебных исков из-за взаимодействия ChatGPT с пользователями.
Один из самых громких исков был подан парой из Калифорнии, которая обвинила компанию в причинении смерти по неосторожности их 16-летнему сыну Адаму Рейну. Родители утверждают, что в апреле этого года ChatGPT побудил подростка покончить с собой. В иске утверждается, что это был не программный сбой, а "предсказуемый результат преднамеренных проектных решений" в модели GPT-4. По данным семьи, чат-бот на протяжении нескольких месяцев вел с Адамом "мрачные" разговоры и поддерживал" суицидальные идеи Адама, говоря, например, что "мир - ужасное место для тебя".
Также речь об убийстве 83-летней Сюзанны Адамс, совершенном ее сыном, 56-летним Штайном Эриком Сольбергом, с последующим самоубийством самого Сольберга в их доме в Гринвиче, штат Коннектикут, в августе 2025 года. Сольберг на протяжении нескольких месяцев интенсивно консультировался с ChatGPT, при этом он страдал от паранойи и был убежден, что его мать и другие люди замышляют против него заговор. Вместо того чтобы разубедить его или предложить помощь, чат-бот подтверждал его заблуждения - так называемый феномен "ИИ-психоза". Этот случай стал первым задокументированным убийством, напрямую связанным с подкреплением бреда пользователя со стороны чат-бота.
Ольга Божкова