Взаимозаменяемость бланкового и электронного варианта тестирования

Можно ли считать равнозначными результаты тестирования при использовании традиционной бланковой версии тестов и ее электронного аналога? Этот вопрос важен для тех, кто использует одновременно и бланковое, и Интернет-тестирование. В отечественной литературе (как научной, так и практической) много пишут о том, что использование компьютера при тестировании оказывает сильное влияние на поведение тестируемого и его результаты (например, отмечается возможность возникновения таких эффектов, как «психологический барьер» и «сверхдоверие» — см. Тихомиров и др., 1990). Для проверки этого тезиса консультанты компании OnTarget провели сравнительное исследование результатов тестов, выполненных в бланковой и электронной версиях.

С самого начала эпохи online-тестирования неоднократно ставился вопрос о том, насколько психодиагностические методики сохраняют свою надёжность, если проводить их при помощи компьютера.

Исследования, проведённые различными авторами, подтверждают гипотезу о том, что надёжность тестов при сборе данных через Интернет сохраняется. Так, например, в исследованиях Ромека и Сатина было показано сохранение надёжности личностного опросника Айзенка и одного из тестов уверенности в себе (Ромек, Сатин, 2000). По результатам, полученным Рейпсом, также можно говорить о сохранении надёжности многофакторных методик (Reips, 1996).

Накопленные нами результаты тестирования свидетельствуют о том, что значения среднего и стандартного отклонения для бланкового и компьютерного вариантов тестов также практически не различаются (естественно, только если количество вопросов в бумажной и Интернет-версиях совпадает). Имеющиеся у нас данные не позволяют сказать, что он-лайн тестирование труднее или легче обычного бланкового.

В то же время очевидно, что для полноценного доказательства идентичности двух вариантов тестирования необходимо, чтобы одни и те же кандидаты заполнили тесты и с помощью бланков, и в Интернете. На практике, однако, реализовать это достаточно сложно: при повторном заполнении того же теста результаты могут сильно исказиться (как правило речь идет об улучшении результатов, т.к. происходит знакомство с тестовым материалом), а протестировать кандидатов двумя разными тестами нельзя, так как разные тесты измеряют разные способности, и сравнивать их результаты некорректно. Но есть выход — хотя мы и не вправе напрямую сравнить показанные результаты, мы можем сравнить, как изменяются результаты при повторном тестировании в зависимости от выбранного варианта тестирования. Если изменение результатов при повторном заполнении теста не зависит от варианта тестирования, значит, эти варианты можно считать идентичными.

В исследовании приняли участие студенты факультета психологии Университета «Дубна», которые выполнили числовой и вербальный тесты батареи «Интерпретация информации». Они были разделены на 4 группы. Первая группа проходила тесты сначала в Интернете, а затем на бланках. Вторая группа, наоборот, сначала выполнила тесты в бланковой версии, а затем — он-лайн. Одна из двух оставшихся групп выполнила тесты оба раза в бумажном варианте, а другая — в Интернет–варианте.

Для каждого участника исследования были рассчитаны коэффициенты изменения результатов при повторном тестировании. Попутно заметим, что результаты теста «Интерпретация вербальной информации» повышались при повторном тестировании почти на 10% значительней, чем результаты теста «Интерпретация числовой информации». Иными словами, результаты числового теста оказались значительно устойчивей к повторному тестированию. После этого был рассчитан коэффициент Краскала-Уоллиса*:

Тестирование 2
Хи-квадрат 4,389
Степени свободы 3
Уровень значимости 0,222
* Критерий Kruskal-Wallis

Результаты свидетельствуют о том, что значимого различия между четырьмя группами не обнаружено. Таким образом, можно сказать, что изменение результатов кандидатов при повторном тестировании не зависит от выбранного способа заполнения тестов, что является ещё одним весомым аргументом в пользу эквивалентности бланкового и Интернет-тестирования.

Нужно также отметить, что за единичными исключениями коэффициенты изменения результатов при повторном тестировании во всех группах находились в пределах 0.85-1.15 (за 1 принимается результат первого тестирования), что указывает и на высокую ретестовую надёжность батареи «Интерпретация информации» (т.е. на устойчивость результатов во времени).

Дополнительно об Интернет-тестировании можно прочитать в статье Мифы и реальность психологического тестирования.

Источники:

  1. Reips,U.-D.(1996,October).Experimenting in the World Wide Web. Paper presented at the 1996 Society for Computers in Psychology conference, Chicago.
  2. Ромек В.Г., Сатин Д. К. Сохранение надёжности многофакторных тестов при их использовании в сети Интернет. // Психологический журнал, 2000, том 21, № 2.
  3. Тихомиров О. К., Собчик Л. Н., Гурьева Л. П., Гарбер И. Е., Тарковская Н. В., Ремизова А. Л.
  4. Анализ этапов компьютеризированной психодиагностики (на примере ММРI) // Вопросы психологии, 1990, № 2
Киев
(+380 443) 92-84-25
ул. Очаковская, д. 5/6
info.ua@ontarget.ru
Москва
(+7 495) 663-20-62/82
ул. Бутырская, д. 75
info@ontarget.ru