Группа из девяти исследователей построила симулятор собеседников для проверки разговорного ИИ в медицине. Его испытали на ассистенте, который помогает подобрать антидепрессант при большом депрессивном расстройстве. Симулятор провёл 500 диалогов и передал медицинские понятия с точностью 96,6 процента. Это разработка рамки оценки, а не клиническое испытание: живых людей в работе не было. Результаты опубликованы в журнале JMIR AI.
Для специалиста, которому клиенты пересказывают советы чат-ботов или предлагают встроить бота в практику, работа смещает сам вопрос об оценке инструмента: не какой у него общий процент верных ответов, а с кем именно он ошибается. Средняя точность, по логике авторов, ничего не говорит о том, как бот поведёт себя с человеком низкой грамотности или с враждебно настроенным. Такой разрыв можно искать на синтетических собеседниках до того, как инструмент попадёт к людям.
Исходный тезис авторов таков: разговорные системы работают неодинаково с людьми разной грамотности и разного стиля общения, а статичные наборы тестов не ловят, как этот разрыв нарастает от реплики к реплике. В итоге система может «perform well in aggregate while failing disproportionately» («хорошо работать в среднем, непропорционально подводя отдельных»). Подводит она, по словам авторов, как раз тех, кому должна помогать.
Первый автор работы — Мд Танвир Рауф Шавон (Md Tanvir Rouf Shawon), последний, по обычаю руководитель группы, — Кевин Лайбаргер (Kevin Lybarger); места работы обоих источник не приводит. Симулятор привязали к рамке управления рисками ИИ Национального института стандартов и технологий США (NIST AI RMF), к двум её функциям: Map (выявление рисков) и Measure (их измерение). Готовой реализации этих функций для разговорного ИИ в медицине, по оценке авторов, до сих пор не было.
Медицинские профили собрали из электронных карт американской программы All of Us, отбирая признаки по относительному риску. Языковые профили задавали градиент грамотности в вопросах здоровья и манеру говорить о конкретной болезни. Поведенческих было три: сотрудничающий, отвлекающийся и враждебный собеседник. Точность имитаций оценивали люди-разметчики и большая языковая модель в роли судьи, затем смотрели, как профили сказались на поиске понятий ассистентом и на его рекомендациях.
Из 8210 медицинских понятий симулятор верно выразил 96,6 процента. Согласие между людьми-разметчиками составило κ = 0,73, согласие модели-судьи с людьми — κ = 0,78; коэффициент каппа показывает совпадение оценок сверх случайного, где единица означает полное согласие. Поведенческие профили различались почти безошибочно (κ = 0,93). Результаты по языковым профилям и по рекомендациям ассистента в опубликованной аннотации обрываются, цифр по группам собеседников в ней нет.
Ограничения существенны. Собеседники синтетические, и то, как языковая модель изображает человека с низкой грамотностью, не равно поведению такого человека. Модель-судья может разделять искажения симулятора. Проверен один инструмент и одна задача — выбор лекарства, а не психотерапевтический разговор. Профили построены на американских картах и английском языке; перенос на российских клиентов и русскую речь не проверялся.