Семь исследователей задали пяти большим языковым моделям 60 придуманных врачебных этических дилемм и сравнили ответы «да» или «нет». Участвовали GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, DeepSeek-R1 и Llama-3-8B. В попарных сравнениях модели сходились в 79 процентах случаев, согласие с поправкой на случайность вышло умеренным. Это эмпирический аудит на фиксированном наборе случаев. Результаты опубликованы в журнале JMIR AI.

Для специалиста, который сверяет с чат-ботом решение о конфиденциальности или границах, это значит одно: направление совета отчасти задаёт выбор модели, а не только содержание случая. Дилеммы в работе медицинские, психотерапевтические случаи отдельно не выделены, и перенос на кабинет психолога остаётся гипотезой. Версия модели входит в условия ответа так же, как формулировка вопроса.

Языковые модели встраивают в поддержку клинических решений: от помощи с документацией до сортировки пациентов и переписки с ними. Как они ведут себя там, где правильного ответа нет, изучено мало. Авторы пишут, что такое поведение «poorly characterized» («плохо описано»), а общего эталона для сравнения моделей не было. Мы уже разбирали, почему частое обращение к модели может ослаблять собственное суждение специалиста.

Первый автор работы — Ясухито Мицуяма (Yasuhito Mitsuyama), последний, по обычной практике руководитель группы, — Дайдзю Уэда (Daiju Ueda); в работе участвовали ещё пятеро соавторов. Места работы авторов в сведениях о публикации не указаны. Три исследователя из группы независимо друг от друга разметили каждый случай по сложности и затронутым этическим принципам, а затем пришли к общему решению.

Шестьдесят оригинальных дилемм охватывали четыре области. Каждая модель отвечала на каждый случай трижды, с одной и той же инструкцией и температурой 0 (настройка, при которой модель выбирает самый вероятный ответ). Главным итогом считали ответ «да» или «нет», заодно собирали уверенность, которую модель сообщала сама, и её довод. Маленькую DeepSeek-R1-Distill-Qwen-1.5B проверили отдельно, для пробного сравнения.

Из 900 запланированных ответов пригодными оказались 897 (99,7 процента). Чаще всех соглашалась DeepSeek-R1 — 44,4 процента ответов «да» (80 из 180), затем Claude Sonnet 4.5 — 42,4 процента (75 из 177), GPT-5 и Gemini 2.5 Pro — по 38,9 процента. Llama-3-8B сказала «да» в 16,7 процента случаев. Различие моделей было значимым (χ² = 23,34; p < 0,001), но после поправки Холма — только в сравнениях с Llama.

Согласие считали на 59 случаях, где ответили все модели. Пары моделей совпали в 466 из 590 сравнений, то есть в 79,0 процента (95-процентный интервал 72,9–84,7). Каппа Флейса (мера согласия с поправкой на случайные совпадения) составила 0,55. По принятой шкале это умеренное согласие. Иначе говоря, примерно в каждом пятом сравнении две модели советовали противоположное.

Ответ «да или нет» срезает оговорки, с которыми реальный совет обычно и звучит. Набор из 60 случаев написан самими авторами, и его соответствие живой практике не проверено. Совпадение моделей ничего не говорит о том, чей ответ этически верен, а влияние советов на решения врачей работа не измеряла. Модели обновляются, поэтому цифры привязаны к конкретным версиям. Российский контекст и психотерапия в работе не представлены.

Ранее мы писали, что регулирование ИИ в частной практике свелось к четырём решениям самого специалиста: этические кодексы профессиональных организаций обращение с моделями почти не прописывают.