Международная группа исследователей свела в метаанализ 302 работы о ситуационных тестах. В таких заданиях кандидату описывают рабочую ситуацию и просят выбрать лучший и худший вариант действий. Тесты с видео предсказывали успех так же, как текстовые. Выбор из готовых вариантов по точности значимо не превзошёл письменный свободный ответ. Результаты опубликованы в Journal of Applied Psychology.
Для коучей и организационных психологов, которые помогают компаниям строить отбор, находка касается выбора формата. По данным работы, видеосценки прогнозировали успех наравне с текстом, но требовали от кандидата меньше когнитивной нагрузки (умственных усилий, которых требует сам формат задания, а не оцениваемое умение). Готовые варианты не дали значимого преимущества перед письменным ответом, хотя равенство этим не установлено.
Ситуационные тесты давно входят в набор инструментов найма. Классическая версия — текст и список ответов. Со временем появились новые варианты: мультимедийные, с открытым ответом, с одной реакцией на каждую сцену. Их придумывали ради большей точности, меньшей побочной нагрузки на кандидата или удешевления оценки. Сводных данных о новых форматах до сих пор не было.
Работу выполнили семь авторов. Первый автор — Филип Ливенс (Filip Lievens) из Школы бизнеса Ли Кон Чиана Сингапурского университета менеджмента. Последний автор — Мишель Мартин-Рог (Michelle Martin-Raugh) с факультета психологии Техасского университета в Арлингтоне. Задач у группы было две: обновить прежние метаанализы классических тестов и дать первые сводные оценки по новым форматам.
В анализ вошли 457 независимых выборок из 302 исследований, всего 244 257 человек. Валидность по критерию (насколько результат теста совпадает с последующими достижениями) сверяли с четырьмя мерками: качеством работы, учебной успеваемостью, гражданским поведением в организации (помощью сверх обязанностей) и контрпродуктивным, то есть вредным для неё. Отдельно мерили нагрузку. И сравнивали реальный отбор с исследовательскими условиями.
Классические тесты предсказывали все четыре мерки. При настоящем отборе кандидатов их точность оказалась выше, чем в исследовательских условиях, а сами тесты удалось перенести на новое содержание — эмоции и управление в разных культурах. Сравнение форматов авторы подытоживают коротко: «multimedia SJTs had validity equal to text-based ones but lower cognitive load» («мультимедийные тесты валидны наравне с текстовыми, но нагружают меньше»).
Ответы, записанные на веб-камеру, нагружали кандидатов даже меньше остальных форматов. Об их точности аннотация отдельно не говорит. Данные по новым форматам сами авторы называют предварительными, а отсутствие значимой разницы между выбором и письменным ответом — ещё не равенство. Следствия для цены отбора авторы лишь обсуждают. Перенос выводов на российские тесты и рынок труда работа не проверяла.