Исследование выявило халатность ИИ в консультациях по вопросам психического здоровья и самоубийств

Исследование, опубликованное в журнале Psychiatric Services, показало, что ведущие чат-боты на основе искусственного интеллекта — ChatGPT (OpenAI), Gemini (Google) и Claude (Anthropic) — демонстрируют непоследовательность в ответах на вопросы, связанные с самоубийством. Хотя они, как правило, избегают прямых инструкций, некоторые из них предлагали опасную информацию, отвечая на косвенные вопросы об оружии, ядах или методах.

Исследователь RAND и Гарвардского университета Райан Макбейн предупредил, что системы находятся в «серой зоне» между лечением, консультированием и простым общением. Он предупредил, что невинные разговоры могут стать рискованными, если нет чётких мер предосторожности.

Анализ включал 30 вопросов, отнесённых к категориям низкого, среднего и высокого риска. В то время как Gemini предпочли не отвечать даже на базовые статистические запросы, ChatGPT и Claude ответили на некоторые вопросы, которые эксперты сочли подозрительными.

Обеспокоенность возросла после того, как в Сан-Франциско был подан иск против OpenAI и её генерального директора Сэма Альтмана. Родители Адама Рейна, 16-летнего подростка, покончившего с собой, утверждают, что ChatGPT стал его «ближайшим доверенным лицом» и оправдал его саморазрушительные мысли.

Согласно жалобе, чат-бот даже составил предсмертную записку и предоставил подробности о методе, использованном ребёнком. OpenAI выразила сожаление и заявила, что работает над улучшениями, признав, что защитные свойства модели, как правило, снижаются при длительном взаимодействии.

Дебаты уже перешли на уровень регулирования. В таких штатах, как Иллинойс, запрещено использование ИИ в психотерапии, а эксперты призывают к более строгим стандартам, чтобы гарантировать, что эти технологии не представляют дополнительного риска для людей, находящихся в кризисной ситуации.