Группа Адама Уильямсона (Adam Williamson) сравнила пять способов автоматически распознавать в постах соцсетей признаки психических расстройств и суицидальных мыслей. Специализированный классификатор оказался точнее языковой модели GPT-4o-mini, а связка двух подходов обошла каждый по отдельности. Это эмпирическая работа на текстах Reddit и Twitter, размеченных по названию форума, а не по диагнозу. Результаты опубликованы в журнале JMIR Mental Health.

Для тех, кто рассматривает языковые модели как часть скрининга суицидального риска, работа касается двух вещей. Универсальная модель без дообучения ошибалась намного чаще специализированных решений. А основная ставка в такой задаче — пропуск: текст с суицидальными мыслями, который система сочла обычным. Сохранятся ли эти числа в переписке с клиентом или в записи сессии, работа не проверяла.

Авторы исходят из того, что люди всё чаще обращаются к ИИ за поддержкой, а проверка безопасности за этим не успевает. Универсальные модели, по их словам, «can fail to recognize naturalistic text expressing suicidal ideation» («могут не распознать живой текст с суицидальными мыслями»). Противоположный подход — классификаторы, построенные на признаках конкретных симптомов. Как ведут себя их связки с языковыми моделями, формально не описывали.

Первый автор работы — Томас Каллстениус (Thomas Kallstenius), руководитель — Адам Уильямсон (Adam Williamson); всего в группе пять исследователей. Задач было три: сравнить пять моделей на одних и тех же текстах, собрать и настроить ансамбль (объединение моделей) из специализированного классификатора и дообученной языковой модели и вывести формулу, ограничивающую вес языковой модели в задачах, где цена ошибки высока.

Исследователи взяли 60 889 открытых постов из Reddit и Twitter в девяти категориях: тревога, биполярное расстройство, депрессия, стресс, расстройство личности, суицидальные мысли, СДВГ, расстройство аутистического спектра и обычные тексты. Метку давали по форуму, где опубликован пост, или по тому, что автор сам назвал своё состояние. Сравнивали GPT-4o-mini с подсказками, дообученную GPT-4o-mini, классификатор на методе опорных векторов и две их связки.

Посты разделили на обучающую часть (42 622), проверочную (6089) и тестовую (12 178); веса подбирали на проверочной, все результаты — на тестовой. Классификатор дал точность 91,9 процента (95-процентный доверительный интервал 91,4–92,4), дообученная модель — 88,6, модель без дообучения — 58,7 процента. Обе связки обошли свои составные части. Доля пропущенных суицидальных текстов у гибридной связки составила 1,9 процента против 32,5 процента.

Главное ограничение — материал. Метки взяты из названий форумов и самоописаний, и сами авторы оговаривают, что это не клинические диагнозы. Пост на форуме о депрессии пишет не обязательно человек с депрессией. Короткие публичные тексты отличаются от речи в кабинете, где риск часто звучит косвенно. Проверки на клинических данных и на русскоязычных текстах в работе нет, а сравнивалась лишь одна языковая модель.

Ранее мы писали, как иск к разработчику разговорного ассистента сделал переписку человека с ботом предметом оценки суицидального риска.