Исследователи под руководством Хайи Чжу поручили большой языковой модели разметку психотерапевтических сессий и применили её к примерно двум тысячам часов расшифровок. В репликах, где терапевт проявлял эмпатию или расспрашивал, клиенты чаще говорили о себе и чаще выражали грусть и тревогу. Связь слабая, а оценки ставила модель, а не человек. Это эмпирическое исследование, препринт опубликован в JMIR Mental Health.

Такие системы претендуют на место в супервизии и разборе записей: модель размечает эмпатию и раскрытие клиента быстрее любого кодировщика. Однако по размеру связи поведение терапевта в отдельной реплике объясняет лишь малую часть того, что скажет клиент. Применение упирается и в саму запись: передача расшифровки модели требует согласия клиента на обработку персональных данных.

Исследования процесса терапии давно держатся на ручном кодировании. Обученные люди слушают записи и размечают каждую реплику, поэтому выборки остаются небольшими. Авторы пишут, что взаимодействие терапевта, клиента и их отношений «remains difficult to disentangle at scale» («по-прежнему трудно разделить в больших масштабах»). Автоматическая разметка должна снять это ограничение.

Первый автор работы — Анджела Чен (Angela Chen), руководитель группы — Хайи Чжу (Haiyi Zhu). Всего у статьи семь авторов. Места их работы в доступных сведениях о публикации не приводятся, поэтому профессию группы по ним установить нельзя. Сведений о конфликте интересов и отраслевом финансировании аннотация не содержит. Полный текст статьи на момент подготовки заметки доступен не был.

Авторы сравнили шесть языковых моделей и сверили их оценки с ручной разметкой. Модель оценивала эмпатию и расспросы терапевта, раппорт (контакт и взаимопонимание), самораскрытие клиента, негативные эмоции, направленные на себя и вовне. Её применили к корпусу расшифровок Alexander Street: 119 233 реплики из 1573 сессий 37 клиентов. Анализ шёл через модель структурных уравнений и многоуровневую регрессию.

Согласие модели с людьми составило ICC (коэффициент внутриклассовой корреляции) от 0,60 до 0,81: раппорт 0,81, самораскрытие 0,78, эмпатия 0,60–0,75. Эмпатия и расспросы шли рядом с самораскрытием (β = 0,086, p < 0,001 для обоих). С грустью, тревогой и страхом эмпатия была связана сильнее (β = 0,118), расспросы слабее (β = 0,078). Удовольствие клиенты выражали реже.

Клиентов всего 37. Сто тысяч реплик дают узкие интервалы и значимость даже очень слабым связям, но не делают выводы шире этих людей. Корпус составлен из опубликованных сессий, а такие клиенты нетипичны. Связь внутри сессии не говорит о направлении: раскрывающийся клиент может сам вызывать сочувствие. Как и на скольких фрагментах шла ручная разметка, по аннотации неясно.

Ранее мы писали, как кража учётных данных через ИИ-инструменты вернула вопрос о судьбе расшифровок сессий: та же цепочка из записи, расшифровки и модели, но со стороны того, кто имеет доступ к тексту сессии.