Как составить тест для сотрудников: 8 правил и ошибки, которые видно сразу

Тест, который все сдают с первого раза на сто процентов, не проверяет знания. Он проверяет умение читать варианты ответа.

Мы столкнулись с этим на своих же данных. Когда разбирали тесты в курсах, собранных на платформе, взяли один набор из 200 тестовых вопросов и посчитали длину вариантов. У 104 вопросов правильный ответ оказался самым длинным из предложенных. У 90 разница между самым коротким и самым длинным вариантом превышала 25 символов. То есть половину теста можно было пройти, вообще не читая вопрос: выбирай самую обстоятельную строку.

Это не чья-то халатность, так получается само собой. Автор знает правильный ответ и пишет его подробно, со всеми оговорками. Неправильные дописывает быстро, лишь бы были. Дальше разберем восемь правил, которые убирают этот эффект, и покажем, как за десять минут проверить готовый тест.

1. Спрашивайте про действие, а не про определение

«Что такое клиентоориентированность?» проверяет, читал ли человек слайд. «Клиент второй раз звонит по той же проблеме. С чего начинаете разговор?» проверяет, что он будет делать в понедельник.

Второй вопрос сложнее составить, но только он показывает готовность к работе. Хороший ориентир: если вопрос можно задать человеку с улицы и он ответит правильно из общей эрудиции, вопрос ничего не измеряет.

Ситуативные вопросы удобно собирать из реальных случаев. Спросите у руководителя отдела, на чем спотыкаются новички в первый месяц, и из его ответов получится готовый тест.

2. Держите варианты одной длины

Самое частое и самое незаметное искажение. Если правильный ответ длиннее остальных, тест решается по форме, а не по содержанию.

Мы держим два простых ограничения, которые легко проверить руками. Разница между самым коротким и самым длинным вариантом до 15 символов. Правильный ответ не длиннее самого длинного неправильного больше чем на 4 символа.

Работает и обратный прием: сначала напишите три правдоподобных неверных варианта, а правильный добавьте последним, подогнав под их длину.

3. Неверный вариант должен быть настоящей ошибкой

Дистракторы вроде «ничего не делать», «уволиться» или «нагрубить клиенту» отсекаются мгновенно, и вопрос из четырех вариантов превращается в вопрос из двух. Шуточные варианты выглядят живо, но снижают точность теста вдвое.

Настоящий дистрактор описывает то, что новичок действительно делает по незнанию. Отказывает клиенту, потому что так проще. Ведет его к администратору, вместо того чтобы решить самому. Применяет правило, которое действует в другой ситуации.

Такие варианты собираются из жизни, а не выдумываются. Спросите наставника, какие ошибки он исправляет чаще всего, и получите список готовых дистракторов.

4. Четыре варианта вместо трех

Чистая арифметика: при трех вариантах угадывание дает 33 процента, при четырех уже 25. На тесте из 20 вопросов это разница между «почти сдал случайно» и «не сдал».

Пять вариантов уже перебор: автор начинает выдумывать пятый, и он получается искусственным, а значит легко отсекается. Четыре правдоподобных лучше пяти, из которых один лишний.

5. Один вопрос про одну вещь

«Как часто проводится инструктаж и кто его подписывает?» нельзя ответить одним вариантом. Сотрудник знает первую половину, не знает вторую, ошибается целиком, и вы не понимаете, что именно он не выучил.

Отдельная беда с двойными отрицаниями. «Что не входит в обязанности продавца, кроме…» заставляет распутывать формулировку вместо того, чтобы вспоминать правило. Проверяйте знания, а не устойчивость к канцеляриту.

6. Уберите подсказки из формулировки

Тесты подсказывают чаще, чем кажется, и почти всегда случайно.

• Грамматика. Вопрос заканчивается словом «какая», а правдоподобно звучит только один вариант женского рода. Остальные отсекаются без знания темы.

• Слова-маркеры. Варианты со словами «всегда», «никогда», «во всех случаях» опытный человек пропускает: жизнь редко бывает такой категоричной. Если эти слова стоят только в неверных вариантах, вы выдали ответ.

• «Все перечисленное». Вариант, который почти всегда оказывается верным, и все об этом знают.

• Повтор из текста. Если правильный вариант дословно повторяет фразу из учебного материала, а остальные написаны своими словами, сработает узнавание, а не понимание.

7. Пояснение к вопросу не место для ответа

На этом мы обожглись сами, и ошибка оказалась массовой.

В конструкторе у вопроса есть поле с пояснением. Автор думает, что текст показывается после ответа, как разбор. На деле пояснение стоит прямо под формулировкой и видно до того, как человек что-то выбрал. В одном из курсов там был записан полный расчет вместе с итоговым числом, которое и требовалось ввести в ответ.

Проверьте свои вопросы: если в поле подсказки лежит объяснение с ответом, его нужно перенести в обратную связь, которая показывается после проверки. В CorpAcademy для этого есть отдельные поля «при правильном ответе» и «при неправильном», и вот туда разбор класть можно и нужно.

8. Перемешивайте варианты и следите за порогом

Пока вы набираете вопросы, правильный ответ по привычке оказывается первым или последним. Человек проходит два-три теста и улавливает закономерность быстрее, чем вы успеваете о ней подумать. Перемешивание вариантов включается одной галочкой и снимает проблему целиком.

Второй момент касается проходного балла. Порог в 100 процентов выглядит строгим, а работает как лотерея: одна случайная опечатка в ответе обнуляет весь модуль, и человек идет проходить курс заново вместо работы. Разумный ориентир для проверки знаний по продукту или регламенту это 70 или 80 процентов. Стопроцентный порог оправдан там, где ошибка стоит здоровья или денег: охрана труда, работа с деньгами, допуск к оборудованию.

Сколько вопросов достаточно

Для мини-теста внутри модуля хватает 5 или 7 вопросов. Итоговый тест по курсу разумно делать на 15 или 20. Больше сорока никто не проходит внимательно: последние ответы люди дают наугад, лишь бы закрыть.

Тест полезнее, когда он не один в конце. Короткая проверка после каждого модуля работает лучше длинного экзамена, и это не вопрос вкуса. В исследовании Редигера и Карпике 2006 года группа, которая после чтения проходила тест, через неделю помнила около 61 процента материала, а группа, которая вместо теста перечитывала текст, около 40 процентов. Проверка знаний сама по себе обучает.

Проверка готового теста за десять минут

Перед публикацией стоит пройтись по короткому списку. На тест из двадцати вопросов уходит минут десять, а ловит он почти все системные ошибки.

Последний пункт самый показательный. Дайте тест коллеге, который не знает материал. Если он набирает проходной балл, тест меряет сообразительность, а не знания, и его нужно переписывать.

Как понять, что тест работает, когда его уже проходят

Дальше начинается самое интересное: живая статистика по вопросам показывает то, чего не видно на этапе составления.

• Вопрос, где ошибаются ноль процентов. Он никого ни от кого не отделяет. Либо ответ очевиден, либо он подсказан. Такой вопрос можно усложнить или убрать.

• Вопрос, где ошибаются почти все. Два варианта: формулировка сломана или тема не объяснена в материале. Прочитайте вопрос глазами новичка, и обычно причина видна сразу.

• Вопрос, где выбирают один и тот же неверный вариант. Самая ценная находка. Это не проблема теста, а реальное заблуждение команды, и его стоит разобрать на планерке.

• Много пересдач у одного человека. Иногда это лень, но чаще человек не понял материал и пытается дожать методом перебора. Здесь помогает не ужесточение порога, а разговор.

Смотреть такую статистику стоит хотя бы раз в квартал. В нашей платформе для этого есть раздел «Ответы»: по каждому вопросу видно долю ошибок и распределение по вариантам, а проблемные вопросы собраны отдельным списком.

Наша личная рекомендация

Не садитесь писать сорок вопросов за один вечер. Возьмите один модуль, напишите к нему пять вопросов по правилам выше, дайте пройти двум-трем сотрудникам и посмотрите на результат. Если все пятеро ответили верно на все, тест слишком легкий. Если половина завалила один и тот же вопрос, начните с него.

В CorpAcademy тест собирается в том же конструкторе, что и курс: вопрос с вариантами добавляется как обычный блок, вес в баллах и проходной балл задаются в настройках, перемешивание вариантов включается галочкой. Обратную связь можно написать отдельно для верного и неверного ответа, чтобы человек понял, где ошибся, прямо на месте. Готовые наборы вопросов и анкет лежат в разделе шаблонов, их можно взять за основу и переписать под себя. Первые 14 дней доступны полностью и без карты.

Если тест нужен не для обучения, а для официальной проверки соответствия должности, посмотрите отдельный разбор про аттестацию персонала: там другие требования к оформлению.

Частые вопросы

Сколько вариантов ответа оптимально? Четыре. Три дают слишком высокий шанс угадать, пять почти всегда означают, что один вариант притянут за уши и легко отсекается.

Нужно ли показывать правильные ответы после теста? Зависит от цели. В обучающем мини-тесте разбор полезен: человек сразу понимает ошибку. В итоговом тесте, который можно пересдавать, показ ответов превращает вторую попытку в переписывание, поэтому там лучше давать только результат и отправлять к материалу.

Какой проходной балл ставить? Для проверки знаний по продукту и регламентам 70 или 80 процентов. Стопроцентный порог оправдан только там, где цена ошибки высока: охрана труда, допуск к оборудованию, работа с деньгами.

Сколько попыток давать? Две или три. Одна попытка нервирует и наказывает за случайность, неограниченное число превращает тест в перебор вариантов, особенно если после проверки видны правильные ответы.

Можно ли брать готовые тесты из интернета? Как заготовку по общим темам вроде охраны труда или деловой переписки, да. Но все, что касается вашего продукта, регламентов и клиентов, придется написать самому: именно эти вопросы и показывают, готов ли человек к работе.