Центр оценки и инструменты психометрии: параллельные или пересекающиеся плоскости

Приоритетом в работе компании Detech всегда было предлагать клиентам лучшие решения за оптимальную цену. Для этого мы следим за тенденциями спроса и предложения и постоянно проводим исследования, нацеленные на совершенствование наших инструментов в интересах клиентов.

Сегодня на рынке ассесмента в основном наблюдается тренд на минимизацию издержек. При этом экономить на качестве, разумеется, никто не хочет. Поэтому фокус внимания развернулся в сторону инструментов психометрии: они достаточно просты в использовании и малозатратны.

Зачастую жертвой установки на экономию оказываются центры оценки, напротив, требующие значительных ресурсов. Проблема в том, что достоверно смоделировать поведение оцениваемого в условиях, приближенных к реальной профессиональной деятельности вне центров оценки практически невозможно. В то же время, связь между оценками в ЦО и результатами психометрических исследований давно обсуждается в профессиональном сообществе. Результаты исследований, которые компания Detech проводит на протяжении последних десяти лет, значительно приблизили нас к пониманию взаимосвязи личностных качеств и способностей человека с одной стороны, и его компетенций — с другой.

Надо сказать, что данная проблема носит не локальный, а международный характер, и интерес к ней на мировом уровне весьма высок. Это подтвердило выступление управляющего партнера группы компаний Detech Светланы Симоненко на конференции в Индии, посвященной центрам оценки и управлению талантами в условиях развивающегося рынка. Мероприятие, прошедшее в Джамшедпуре 9-10 декабря 2017г. объединило ведущих отраслевых экспертов со всего мира. В выступлении Светланы был представлен путь, проделанный компанией в решении обозначенной проблемы: от стартовых гипотез и исследований до создания уникального рабочего инструмента.

На первом этапе было изучено соотношение между результатами оцениваемых в центрах оценки и по тестам способностей. Ряд проведенных исследований с различной численностью и составом участников выявил общую закономерность: та корреляция, которую мы искали, проявлялась на значимом уровне в группах со средними и ниже среднего показателями по тестам способностей, и исчезала в группах с высокими результатами. Это означало, что связь интеллекта и компетенций носит неравномерный характер: низкие интеллектуальные способности действительно негативно влияют на эффективность менеджера, но начиная со среднего уровня дальнейший рост показателей интеллекта уже не создает преимуществ в результативности на рабочем месте. Интересно, что это противоречило первоначальной гипотезе: предполагалось, что лучше «биться» с компетенциями будет, наоборот, высокий интеллект.

Приведем два наглядных примера. В обоих случаях исследования касались соотношения между лидерскими компетенциями и интеллектуальными способностями менеджера. Статистический анализ в первом исследовании выявил устойчивую, но слабую связь между результатами тестов способностей и оценками по компетенциям, (r=0,2; n=211; p≤0,01). После разделения все выборки на 2 группы по результатам тестов способностей (первая — низкие и средние оценки, вторая — средняя и высокие) замеры были проведены еще раз. В «низком» кластере коэффициент корреляции повысился относительно общей группы до 0,310 при сохранении уровня значимости 0,01 (r=0,310; n=144; p≤0,01). Те же расчеты в «высоком» кластере" не выявили корреляции (r=0,056; n=126; p≤0,5).

Во втором исследовании результат разбивки по кластерам оказался сходным: искомая связь укрепляется в группе со средними и низкими результатами тестов способностей (r=0,51; n=93; p≤0,01), и исчезает в «высокой» группе (r=0,15; n=54; p≤0,28). Отличие здесь было в значительно более высокой корреляции тестов и ЦО по всей группе (r=0,55; n=112; p≤0,01). Это объяснялось тем, что в данной выборке количественно преобладали люди с низкими результатами тестов, что также косвенно подтверждало общие наблюдения.

С точки зрения практического применения, выводы исследования состояли в следующем: тесты способностей можно использовать в оценке кандидатов как «отсекающий» показатель, но не как способ отбора лучших, поскольку высокий интеллект не обязательно будет способствовать профессиональной эффективности.

Что касается личностных опросников, то это в целом достаточно проблемная область и качественных предложений на этом рынке меньше, чем уровень спроса на них. Основная трудность состоит в самом предмете исследования: человеческая личность — сложное, многогранное явление, которое не имеет однозначной методологии исследования. На сегодня существуют два основных подхода: типологический, идущий от Юнга (известный представитель — опросник Майерс-Бриггс), и факторный (опросник Кеттела, т.н. «Большая пятерка»). Недостаток типологической модели — ее схематичность, стремление уложить многообразие личностных проявлений в набор четко ограниченных типов. В результате теряется много нюансов и деталей, которые могут иметь важное значение в прогнозировании успешности человека на рабочем месте. Поэтому компания Detech в качестве основы своих разработок использует Кеттеловский подход, но дополненный с учетом современных исследований и бизнес-практик. Дело в том, что сами заказчики далеко не всегда могут определить результативность оценки по опросникам, поскольку зачастую не имеют внутренних рабочих критериев, с которыми ее можно было бы соотнести.

Двигаясь к решению этой проблемы, мы исходили из того, что компетенция по своей сути — понятие комплексное, многосоставное. Поэтому логично соотносить ее не с отдельными личностными чертами, а с их блоками. Для того, чтобы такую настройку можно было проводить под разные модели компетенций, мы разработали гораздо более детальную, по сравнению со стандартными опросниками, модель оценки, состоящую из 33 качеств, которая легла в основу опросника DEEP. Благодаря этому стало возможно в каждом отдельном случае выделить и сгруппировать именно те черты, которые точно отвечают формулировке компетенции.

Необходимо было также обеспечить максимальную надежность и точность «перевода» личностных качеств в рабочие компетенции. Даже профессиональные эксперты этого гарантировать не могут, в силу неизбежной субъективности своих суждений. Решением Detech стало использование эксклюзивной IT-платформы ONTARGET, которая на основе обработки больших данных и статистического анализа позволяет как бы наложить прогнозы экспертов на всю существующую выборку и проверить надежность измерения по компетенциям до того, как начнется оценка людей и будут делаться управленческие выводы.

На рисунке приведены примеры того, как определённым компетенциям на основе описанной выше методики сопоставляются комбинации личностных черт. Объединение шкал опросника в такие блоки привело к заметному росту уровня и значимости корреляции.

Опросник DEEP, реализованный на базе ONTARGET, изначально разрабатывался как конструктор с гибкими настройками, который мог адаптироваться под различные модели компетенций. Дополнительные исследования подтвердили, что оценка компетенций с помощью DEEP позволяет дифференцировать людей также хорошо, как ЦО. Причем мы получаем не просто статистически значимую, но очевидную разницу в рамках одной организации или даже одного проекта оценки.

Главное достижение, которое было вынесено из всей проделанной работы — подтвержденная математически релевантность инструментов психометрики (правильно настроенных) в прогнозировании профессионального поведения человека. Для потребителя это означает возможность в ряде случаев адекватно заместить трудоемкие процедуры ЦО на тестирование, а для самой методологии центров оценки — наличие инструмента проверки валидности.