Группа из одиннадцати исследователей построила ИИ-стандартизованных пациентов (симуляторы больного на больших языковых моделях) и сравнила тренировку с ними и с живыми актёрами. В пробном рандомизированном испытании на 58 участниках прирост на экзамене значимо не различался. Показать равноценность испытание не было призвано, а учили в нём врачебному общению, не психотерапии. Результаты опубликованы в журнале npj Digital Medicine.
Для тех, кто преподаёт консультирование и ведёт обучающие группы, работа очерчивает границу проверенного. Симулятор испытан как тренажёр клинического расспроса, на небольшой группе и на медицинских навыках общения. Психотерапевтические навыки и супервизию (разбор работы с опытным коллегой) здесь никто не проверял. Вывод «не хуже актёра» из работы тоже не следует.
Стандартизованные пациенты — обученные актёры, которые по сценарию играют больного, — давно служат основой обучения клиническому общению. Авторы называют их слабые места прямо: это дорого, плохо масштабируется и держится на подготовленных исполнителях. Языковые модели могли бы снять эти ограничения. Открытым оставалось, учат ли они так же, как живой человек напротив.
Первый автор работы — Пин У (Ping Wu), руководитель группы, судя по последнему месту в списке авторов, — Цинпин Вэнь (Qingping Wen); в число соавторов входят ещё девять человек. Мест работы обоих справка к публикации не приводит. Исследование финансировали Центр развития и планирования школ при Министерстве образования (Center for School Development and Planning) и программа реформы бакалавриата вузов провинции Ляонин.
Симулятор устроен в три слоя: модель решает, сколько сведений о себе раскрыть, в зависимости от того, насколько умело её расспрашивают. Сначала эксперты вслепую оценили 350 смоделированных консультаций на пяти передовых моделях. Затем разобрали 155 живых консультаций студентов. Наконец, 58 участников распределили по трём группам; мерили результат объективного структурированного клинического экзамена (ОСКЭ) и уверенность в своих силах.
На первом этапе уровень навыка собеседника объяснял больше различий в работе симулятора, чем выбор модели (η² = 0,31 против 0,06). Разбор живых консультаций показал, что студенты систематически упускали расспрос о сведениях, важных для безопасности больного. В испытании прирост на экзамене с ИИ и с актёром значимо не различался. Уверенность в себе выросла сильнее всего после ИИ, но после поправки на множественные сравнения эта разница исчезла.
Авторы сами оговаривают, что испытание задумано, чтобы оценить величины для будущего подтверждающего исследования, «not to demonstrate equivalence» («а не чтобы показать равноценность»). Отсутствие значимой разницы при 58 участниках говорит о малой мощности не меньше, чем о сходстве. Роль трёхслойной схемы тоже не установлена: «whether this reflects the architecture itself cannot be determined» («отражает ли это саму архитектуру, определить нельзя»). Русскоязычные модели и российские программы подготовки в работе не участвовали.