Исследователи под руководством Чжихуэя Ли (Zhihui Li) собрали работы о том, как клиницисты реагируют на неверные подсказки автоматических систем, и выяснили, что при ошибочной подсказке врачи отвечают правильно намного реже, чем при верной. Это систематический обзор с метаанализом, а данные в нём взяты из соматической медицины, а не из психотерапии. Результаты опубликованы в журнале npj Digital Medicine.

Для специалиста, который сверяет ИИ-расшифровку сессии, итог скрининга через чат-бот или диагностическую подсказку с собственным суждением, работа ставит под сомнение привычную мысль: будто человеческий взгляд сам по себе отсекает ошибки машины. Психотерапевтических данных в обзоре нет, перенос на кабинет остаётся гипотезой. Но вывод касается устройства надзора вообще: его надёжность измеряют, а не предполагают.

Принцип «человек в контуре» (human in the loop — когда решение машины проходит через специалиста) часто называют главной страховкой при внедрении ИИ в медицину. Авторы исходят из того, что страховка работает при одном условии. Надзор, пишут они, «protective only if clinicians recognize and resist erroneous output» («защищает, только если клиницисты распознают ошибочный ответ и противостоят ему»). Это условие и проверяли.

Первый автор работы — Ди Цзэн (Di Zeng), руководитель — Чжихуэй Ли (Zhihui Li), третий соавтор подписан фамилией Лэй (Lei). Группа отбирала два типа работ: контролируемые эксперименты, где клиницистам намеренно давали верные и неверные подсказки, и наблюдения из реальной практики, где ошибки автоматики случались сами. Сведений о конфликте интересов и финансировании в описании работы нет.

В обзор вошли 46 публикаций. Они описывали 41 независимую группу участников, из них 40 составили основной массив. Главное сравнение строилось так: насколько часто клиницист приходит к правильному ответу, если автоматическая подсказка верна, и насколько — если она ошибочна. Отдельно авторы посчитали долю ошибок компьютерной расшифровки ЭКГ, которые врачи в реальной работе не заметили или не исправили.

В трёх группах, где данные были скорректированы на сопутствующие факторы, шансы ответить правильно при верной подсказке оказались примерно в десять раз выше, чем при неверной (отношение шансов 10,19; 95-процентный доверительный интервал 7,43–13,98; I² = 0). В работах с 2020 года картина была похожей, но менее точной (9,22; 2,06–41,13). В реальных исследованиях ЭКГ без исправления осталось 26,6 процента ошибочных расшифровок (6,4–65,6).

Ограничения значительны. Сводная оценка опирается всего на три группы. Четыре исследования ЭКГ сильно расходятся между собой (I² = 95,8), и интервал от 6 до 66 процентов показывает, насколько неточна цифра «каждая четвёртая». Работы о современном ИИ и больших языковых моделях фиксировали вредное доверие к ним, но объединить их не удалось. Вред для пациентов описан лишь в одной ретроспективной когорте.

Вывод авторов сформулирован как требование к оценке систем: надзор нужно проверять как способность перехватывать ошибки, «rather than assumed to ensure safety» («а не считать гарантией безопасности заранее»). Ранее мы писали, что молодые врачи соглашались с ошибками надёжного ИИ в половине случаев, и о том, что депрессия слабела чуть сильнее, когда врач выбирал то же, что алгоритм.