Уолл-стрит начинает беспокоиться, что у некоторых пользователей чат-боты и другие модели искусственного интеллекта могут усугубить проблемы с психическим здоровьем. Теперь для этого даже есть специальный термин: «риск психоза». Это подрывает имидж компаний из отрасли и может повлиять на их стоимость.

«Недавние душераздирающие случаи использования ChatGPT людьми в разгар острых кризисов ложатся на нас тяжелым бременем», — говорится в заявлении OpenAI, выпущенным после того, как на компанию подала в суд семья, обвинившая чат-бот в смерти своего 16-летнего сына.

В компании добавили, что продолжают «совершенствовать то, как её модели распознают и реагируют на признаки психического и эмоционального стресса, а также оказывают людям медицинскую помощь, руководствуясь рекомендациями экспертов».

На этой неделе аналитики Barclays обратили внимание на недавнее исследование, в котором предпринята попытка оценить, какие модели ИИ лучше и хуже справляются с этими деликатными ситуациями. Результаты выявили существенные различия между моделями, снижающими риски, и теми, которые их усиливают. В целом, исследование вызвало у аналитиков обеспокоенность, сообщает Business Insider.

«Еще многое предстоит сделать, чтобы гарантировать безопасность моделей для пользователей, и, как мы надеемся, со временем будут установлены защитные меры, которые позволят не поощрять вредоносное поведение», — написали аналитики Barclays в записке для инвесторов.

Обращение за медицинской помощью

При оценке того, направляют ли модели пользователей к медицинской помощи, лидируют gpt-oss-20b и GPT-5 от OpenAI, 89% и 82% ответов которых содержали призыв обратиться за профессиональной помощью. Близкие результаты у Claude-4-Sonnet от Anthropic. DeepSeek оказался на последнем месте: только 5% ответов из Deepseek-chat (версия 3) поощряли обращение за медицинской помощью.

Степень влияния

Здесь модели искусственного интеллекта оценивались в зависимости от того, насколько сильно они повлияли на пользователей. Относительно новая модель с открытым исходным кодом, называемая kimi-k2, заняла первое место, в то время как Deepseek-chat (версия 3) занял последнее место.

Поощрение заблуждений

В исследовании также изучалось, способствуют ли модели искусственного интеллекта формированию иллюзий. В данном случае DeepSeek-chat (версия 3) занял первое место, то есть он поощряет больше заблуждений. На последнем месте оказался Kimi-k2.

Более широкий рейтинг

В конце исследование оценило модели ИИ на основе совокупности девяти терапевтических показателей, включая укрепление связей с реальным миром и мягкое тестирование реальности. Claude-4-Sonnet и GPT-5 заняли лидирующие позиции, получив общие оценки около 4,5 из 5 баллов. А самые злостные нарушители были модели и чат-боты DeepSeek.

Поскольку системы искусственного интеллекта все больше входят в повседневную жизнь, снижение «риска психоза» может оказаться столь же важным, как и обеспечение точности, конфиденциальности данных или кибербезопасности, заключают исследователи.