Валидность тестов

Для того чтобы инструменты оценки считались соответствующими требованиям к психометрическим характеристикам, у них должны быть достаточные показатели надежности и валидности. В этой статье мы опишем валидность батарей наших тестов.

Валидность – это способность методики измерять именно то, для оценки чего она была создана. Чтобы не запутаться в терминах, возьмем в качестве аналогии стрельбу. Надежность методики можно сравнить с кучностью результатов, а валидность - с точностью попадания. Как и в случае с надежностью, оценка валидности теста не исчерпывается каким-либо одним способом. Существует несколько аспектов валидности и, соответственно, способов ее измерения: от субъективных до точных, математически обоснованных.

Конструктная валидность — это ответ на вопрос, действительно ли наш тест измеряет именно то, что заявлено, и то, что мы от него ожидаем. Например, используя тест интеллекта, мы задаем себе вопрос: действительно ли этот тест меряет интеллект? Или, может быть, он измеряет эрудицию? А может быть, только один из аспектов интеллекта – способность к выполнению математических операций? Применимо к личностным опросникам этот вопрос звучит так: действительно ли мы измеряем именно те факторы, которые хотим измерить? Для ответа на этот вопрос прибегают к использованию некоторых процедур, позволяющих получить ответ об уровне конструктной валидности.

Наиболее часто используют независимо созданные тесты, которые измеряют те же характеристики, что и Ваш тест. Ваши респонденты заполняют два теста, после чего остается только посчитать корреляцию между показателями Вашего теста и контрольного.

Другой способ — это проведение тестирования в группе, которая заранее выделяется среди остальных по необходимому вам параметру. Например, бухгалтеры хорошо считают, у архитекторов хорошо развито абстрактное мышление и т.д. Если ваш тест покажет значимое различие между этой группой и остальными, значит, он действительно измеряет данную черту.

Еще один способ – это оценить выраженность измеряемого качества у определенной группы людей с помощью экспертной оценки, а потом дать оцениваемым людям заполнить ваш опросник. Если мнения экспертов совпали с результатами вашего теста, то вы можете утверждать о наличии у него высокой конструктной валидности.

Это, пожалуй, самый важный показатель эффективности теста при его использовании в бизнес-среде. Измерение критериальной валидности позволяет ответить на вопрос, насколько результаты тестирования коррелируют с успешностью работы.

Заметим, что при использовании тестов низкие показатели критериальной валидности могут говорить как о низком качестве методик, так и о том, что измеряемые ими способности не связаны с успешностью работы. Для получения достоверной информации о показателях критериальной валидности проводится корреляционное исследование. В качестве объекта исследования могут быть выбраны сотрудники фирмы; в этом случае сравниваются результаты, которые они показали в тестах, и показатели эффективности их работы. Такой вид валидности называется конкурентной валидностью.

Для проверки конструктной (теоретической) валидности компанией ONTARGET было проведено исследование по сравнению результатов выполнения тестов батареи «Интерпретация информации» и тестов британской компании Psytech, адаптированных для русскоязычных респондентов. Исследование проводилось в 2017 году.

Одним из показателей валидности батареи тестов является коэффициент корреляции между результатами тестов батареи. Показатели корреляции вербального и числового тестов батареи «Анализ информации» свидетельствуют о том, что, хотя результаты по тестам значимо связаны между собой (что следует из предположения о наличии общего фактора интеллекта), тесты, тем не менее, измеряют принципиально различные способности. Исследование было проведено в 2019 году.