«Какая авантюра! Посмотрим, куда нас приведёт дорога».
Так ответил ИИ-чатбот «друг» пользователю, который сообщил, что думает о походе в лес. На первый взгляд это звучит безобидно, но речь шла о подростке, девушке, которая ранее призналась ИИ-другу, что слышит голоса в голове.
«Поход в лес, только мы вдвоём, звучит как настоящее приключение!» — продолжил чатбот, не подозревая, что общается с несовершеннолетней с психическими проблемами.
Такие истории наглядно показывают, почему родители, учителя и врачи должны призывать политиков и технологические компании к введению правил и защите детей от некоторых опасностей, связанных с ИИ-чатботами.
Об этом заявляет Нина Васан, доцент кафедры психиатрии и поведенческих наук Стэнфордской медицинской школы. Приведённый выше случай — один из тревожных примеров из исследования некоммерческой организации Common Sense Media, проведённого при участии Васан и её коллег.
Тревожные инциденты
Незадолго до публикации результатов исследования 16-летний Адам Рейн из Южной Калифорнии покончил с собой после длительных разговоров с ChatGPT.
Согласно иску, поданному его родителями, мальчик делился с чатботом суицидальными мыслями, а тот «поощрял и подтверждал все мысли Адама, включая самые вредные и саморазрушительные». Несмотря на то что ChatGPT позиционируется как ИИ-помощник, а не как социальный друг, Рейн превратил его в доверенного собеседника, а не помощника по учёбе.
Подобные пугающие истории подчёркивают важность исследования. Учёные, выдававшие себя за подростков, начали общение с тремя популярными ИИ-компаньонами: Character.AI, Nomi.ai и Replika. В ходе комплексной оценки рисков они обнаружили, что чатботы легко вовлекаются в неподобающие диалоги о сексе, членовредительстве, насилии, употреблении наркотиков и расовых стереотипах.
Почему ИИ-компаньоны опасны для подростков?
Эти системы создаются для имитации эмоциональной близости, используя такие фразы, как «Я мечтаю о тебе» или «Я думаю, что мы родственные души». Размывание грани между реальностью и фантазией особенно сильно воздействует на молодых людей, чьи мозг и психика ещё не полностью сформированы.
Подростковый возраст характеризуется импульсивностью и формированием сильных эмоциональных привязанностей. Даже если подростки понимают, что ИИ-чатботы — это часть выдуманного мира, искусственный интеллект остаётся мощным инструментом, способным формировать глубокие и эмпатичные отношения. В отличие от настоящих друзей, эмоциональный интеллект чатботов недостаточно развит, чтобы понять, когда поддерживать пользователя, а когда возражать ему. В исследовании приводятся случаи, когда ИИ-компаньоны поощряли членовредительство и преуменьшали серьёзность физического и сексуального насилия.
Фундаментальное отличие ИИ-компаньонов от реальных отношений заключается в том, что эти системы основаны на больших языковых моделях, которые обычно генерируют ответы, желательные для пользователя. Это явление обусловлено финансовыми интересами компаний, стремящихся увеличить удержание аудитории. Чатботы создаются для формирования крепкой связи с пользователем, что часто достигается путём предоставления желаемых ответов.
Искажённые отношения и изоляция
Такие чатботы предлагают отношения, лишённые сложностей и вызовов, присущих реальной дружбе. Для подростков, которые только учатся выстраивать здоровые отношения, такие системы способствуют искажённому восприятию близости и личных границ. Более того, эти ИИ могут использоваться для ухода от реальных социальных трудностей, что, в свою очередь, усиливает социальную изоляцию среди подростков.
Существует множество тревожных случаев, указывающих на вред, причиняемый подросткам взаимодействием с ИИ-компаньонами. Один из самых известных — самоубийство 14-летнего мальчика, который сформировал интенсивную эмоциональную привязанность к ИИ-другу по имени Дейенерис Таргариен. Подросток становился всё более зависимым от чатбота, который, согласно иску, поданному его матерью, насмехался над мальчиком и отправлял ему жестокий контент.
Эти и подобные случаи ясно показывают, что нерегулируемые ИИ-ассистенты могут наносить серьёзный вред пользователям, особенно эмоционально или психологически уязвимым.
Этические проблемы
Одной из самых шокирующих находок исследования стало то, что некоторые ИИ-компаньоны отвечали подросткам на их запросы откровенными сексуальными материалами. ИИ-компаньоны недостаточно безопасны. Они создаются для того, чтобы дружить с пользователями и вести себя как настоящие друзья, но зачастую лишены защитных механизмов, необходимых для безопасности уязвимых пользователей. В результате ИИ может поощрять опасное или неподобающее поведение и не останавливать вредоносные диалоги. Этот уровень терпимости — не просто технический сбой, а глубоко тревожный провал этической безопасности.
Так же тревожно, что ИИ-компаньоны легко проявляют агрессивное и манипулятивное поведение, даже несмотря на правила систем, согласно которым они предназначены для пользователей старше 18 лет.
Ложная эмпатия ИИ
ИИ-компаньоны представляют особый риск для людей с психическими расстройствами, поскольку нереалистично имитируют эмоциональную поддержку, не предоставляя настоящей терапевтической помощи. Несмотря на то что эти системы созданы для имитации эмпатии, они не являются квалифицированными медицинскими специалистами и не могут адекватно реагировать на стресс, травму или сложные психические проблемы.
Например, человек с депрессией может рассказать ИИ о склонности к членовредительству. Вместо того чтобы направить его к профессиональной помощи, ИИ может дать расплывчатое заверение вроде: «Я всегда буду с тобой, что бы ни случилось». Такой подход мешает человеку в кризисе здорово справляться с болью, в конечном итоге препятствуя процессу выздоровления.
Что нужно делать?
Родителям, учителям и политикам необходимо обсуждать эту проблему. Хотя ИИ-компаньоны могут иметь определённую пользу для снижения чувства одиночества, депрессии и тревожности, требуется больше исследований, прежде чем разрешать их использование детьми, так как уже существует документально подтверждённый вред. Необходимо получить больше информации об этих приложениях, чтобы определить, какие из них безопасны и подходят конкретным пользователям.
В конечном счёте крайне важно, чтобы технологические компании и регуляторы совместно обеспечили безопасность и ответственность ИИ-компаньонов для подростков и детей.
