Американские исследователи проанализировали готовый архив из 937 реальных обращений о психических трудностях и сравнили, как на них отвечали терапевты и большая языковая модель. Это анализ текстов, а не эксперимент с участниками: ответы оценивали автоматические метрики и люди вслепую. У ИИ оценки выше за эмпатию и безопасность, у терапевтов — за конкретность и пользу. Общее качество не различалось. Первый автор и руководитель — специалисты по общественному здоровью и информационным системам, а не клиницисты, и оценка текста ничего не говорит о клиническом результате. Работа опубликована в журнале Counselling and Psychotherapy Research.
Если человек до прихода к специалисту писал чат-боту, первый ответ, который он получил, по этим данным мог звучать тепло и содержать явные указания на безопасность. На таком фоне работа терапевта отличается от машинной не тоном, а тем, насколько точно она попадает в ситуацию конкретного человека. Это меняет представление о том, с каким опытом поддержки клиент может прийти на первую встречу.
Разговорный ИИ становится для многих привычным источником поддержки, и авторы исходили именно из этого. Материалом стал набор данных Counsel Chat — обращения о психических трудностях и письменные ответы терапевтов из онлайн-консультирования. Мягкость машинных ответов обсуждают давно: мы уже разбирали, почему угодливость чат-ботов предлагают считать не технической ошибкой.
Первый автор — Шрия Таккар (Shriya Thakkar) с кафедры профилактики и общественного здоровья Школы общественного здравоохранения Милкена Университета Джорджа Вашингтона. Руководитель — Харш Парех (Harsh Parekh) с кафедры информационных систем и статистики Школы бизнеса Зиклина в Барух-колледже Городского университета Нью-Йорка. Третий соавтор — П. Бхатт (P. Bhatt).
Для каждого из 937 обращений модель сгенерировала один стандартизированный ответ. Ответов терапевтов набралось 2749. Тексты сравнили несколькими способами: автоматическими метриками эмпатии и безопасности, а также оценками людей, которые не знали, кто автор ответа, — им дали 120 пар «терапевт — ИИ». Различия проверяли регрессией со смешанными эффектами, случаи расхождения разобрали качественно.
ИИ опередил терапевтов по автоматической эмпатии (β = 0,30; p < 0,001), эмпатии в оценках людей (β = 0,38; p < 0,001), признанию чувств (β = 0,40; p < 0,001) и автоматической безопасности (β = 0,25; p < 0,001). Сильнее всего перевес по безопасности был в обращениях о самоповреждении и суициде. Терапевты выиграли в конкретности (β = −0,62; p < 0,001) и полезности (β = −0,23; p = 0,013).
Counsel Chat — тексты онлайн-консультирования, а не записи сессий. На каждое обращение модель дала один стандартизированный ответ, так что продолжение разговора в анализ не входило. Эмпатию и безопасность во многом мерили автоматически, люди оценили лишь 120 пар. Какая именно модель отвечала и кто были оценщики, аннотация не сообщает. Русскоязычных клиентов работа не затрагивала.
Ранее мы писали, как иск к разработчику разговорного ассистента сделал переписку человека с ботом частью оценки суицидального риска.