Трое исследователей из Корнеллского университета утверждают, что почти все меры защиты в разговорных ботах нацелены на острый вред: кризис, психоз, риск самоубийства. Для постепенного вытеснения живых отношений общением с ботом, по их словам, у исследователей нет ни общего способа измерения, ни доступа к данным, а компании собирают обобщённые данные о пользователях, но к накопленному вреду их пока не применяют. Это позиция авторов, а не исследование: своих данных в тексте нет. Авторы занимаются проектированием ИИ и публичной политикой, клинической работы не ведут. Текст опубликован на STAT News.
Для специалиста главное здесь — различие между острым и накопленным вредом. Расспросы о тревоге и дистрессе после разговоров с ботом, по логике авторов, могут не заметить человека, который понемногу отходит от близких и при этом считает каждый разговор полезным. Утверждать сегодня, что ИИ-собеседники изолируют людей, не на чем. Утверждать обратное — тоже.
Откуда взялся спор
Поводом для колонки стало сообщение OpenAI: компания начала отслеживать признаки неблагополучия пользователя не только внутри одного сеанса, но и между сеансами, и учитывать это в ответах модели. До того отрасль добавила родительский контроль для подростков, лимиты и напоминания о перерыве, распознавание кризиса с направлением за помощью. Законодатели тоже двинулись: в дюжине американских штатов операторы ботов-компаньонов обязаны сообщать пользователю, что он говорит не с человеком, и иметь порядок действий при кризисе.
Авторы называют это внимание важным и срочным. Но, по их мнению, оно почти целиком направлено на один тип вреда — тот, что виден в конкретном разговоре. Вред, который складывается месяцами и годами, в эту рамку не попадает.
Кто это пишет и что утверждает
Колонку написали Цянь Ян (Qian Yang), доцент Колледжа вычислительных и информационных наук имени Бауэрса Корнеллского университета, руководитель группы DesignAI; Нед Купер (Ned Cooper), постдок той же лаборатории, который изучает устройство и защитные ограничения ИИ-инструментов для психического здоровья; и Ибрагим Эмара (Ibrahim Emara), аспирант Школы публичной политики Брукса в Корнелле, занятый прикладными проектами об ответственном ИИ.
Центральный тезис умещается в одну фразу авторов: «A chatbot could be safe in every single conversation with a user» («Чат-бот может быть безопасен в каждом отдельном разговоре») — и всё равно за месяцы вытеснить отношения, на которых держится здоровье человека. Отход от близких, пишут они, может почти не сопровождаться дистрессом, а сам пользователь может считать каждый сеанс полезным. Поэтому защита на уровне сообщения или сеанса такой процесс не ловит.
Второй довод — исторический. Табачные компании, напоминают авторы, десятилетиями опирались на предупредительные надписи, чтобы снять с себя ответственность перед отдельными курильщиками. Meta в показаниях Конгрессу ссылалась на инструменты родительского надзора и напоминания о перерыве, отрицая причинную связь соцсетей с вредом для подростков. Авторы оговаривают: «We do not accuse AI companies of bad faith» («Мы не обвиняем ИИ-компании в недобросовестности»). Их опасение в другом — что надпись «вы говорите не с человеком» со временем станет такой же защитой.
Табачный вред, по их версии, стал предметом действий, когда штаты показали, во что бюджетам программы Medicaid обходятся последствия продукции отрасли. Для ИИ такого учёта нет. Авторы предлагают три шага: исследователям — создать инструменты, отделяющие влияние ботов от других причин одиночества; школам, первичной медицине и социальным службам — считать, во что им уже обходится изоляция; законодателям — открыть независимым исследователям доступ к данным платформ. Эти шаги, пишут они, «don’t require settling causation» («не требуют решать вопрос о причинности»).
Что известно о ботах и одиночестве
Опора колонки — ранние работы, на которые авторы ссылаются. По этим данным, ботами для общения и эмоциональной поддержки пользуется в основном небольшая доля людей, проводящих с ними много времени, а более интенсивное использование связано с меньшим общением с людьми и большим одиночеством. Сами авторы называют эти данные «preliminary and debated» («предварительными и спорными»).
«What we don’t know is whether people are disconnecting from one another» («Чего мы не знаем — отдаляются ли люди друг от друга»)
Параллель с соцсетями авторы проводят сами: спор об их влиянии на подростков идёт больше десяти лет без согласия, отчасти потому, что не было данных. Этот спор не закрыт: мы писали о работе, где время в соцсетях почти не было связано с тревогой и депрессией у молодёжи.
Чего нельзя утверждать
Связь интенсивного общения с ботами и одиночества, описанная в ранних работах, не говорит о направлении. Одинокие люди могут чаще обращаться к ботам, а не боты делать людей одинокими. Колонка этого и не утверждает. Она говорит о том, что ответа нет и без доступа к данным компаний его не будет.
Перенос на российские условия ограничен вдвойне. Авторы пишут об американских законах штатов, Medicaid и школьных консультантах. Насколько часто клиенты в России обсуждают с ботами то, что раньше обсуждали с близкими, данными не описано — это гипотеза. Каких ботов и как долго используют российские клиенты, тоже неизвестно.
Ранее мы писали, что разговор с чат-ботом вредит, когда сужает мысли, и о том, как иск к разработчику разговорного ассистента вывел переписку с ботом в поле оценки риска.