Наталия Огурцова, консультант отдела R&D CEB SHL

Психометрические инструменты оценки применяются в разных сферах управления персоналом и для решения различного рода задач. Тесты способностей, личностные и мотивационные опросники используются как при подборе на конкретные должности, так и для снижения текучести персонала, выявления критически важных областей для развития персонала, планирования карьеры и преемственности и т.д. С помощью этих инструментов оценки можно сравнивать людей между собой по определенным критериям (например, по уровню выраженности способности к вербальному анализу), выявляя их сильные стороны и зоны для развития. Вместе с тем, для получения справедливой оценки способностей, личностных характеристик и мотивации сотрудника или кандидата, необходимо не только подобрать подходящий инструмент, но также грамотно выбрать группу сравнения. Зачастую этому критерию уделяется мало внимания, что, в конечном итоге, становится досадным упущением. Ведь во многом именно от правильного определения группы сравнения зависит эффективность проведенного тестирования.

Поиск нормативной группы

Приступая к оценке персонала тем или иным методом, важно четко понимать, что же (а точнее, кто) является группой сравнения, иначе называемой «нормативной группой». Если собрать вместе результаты участников, уже прошедших тестирование, то это и будет показателями нормативной группы. Причем эта группа должна быть максимально близка к респонденту по уровню образования, должности, возрасту и бизнес-функции.

Важно также понимать, что выводы при сравнении результатов участника с группой выпускников или группой менеджеров высшего звена могут получиться совершенно разными, поскольку в этих группах исследуемый фактор может иметь разную степень выраженности. Выпускники и менеджеры высшего звена, в силу своего опыта, по-разному подходят к интерпретации информации и ее анализу. Например, если тестируемый нами кандидат правильно ответил на 20 заданий из 40, то этот результат может оказаться как средним по группе, так и выше среднего. Такое различие напрямую зависит от состава выбранной нами нормативной группы. Причем, согласно статистическим требованиям, размер нормативной группы должен быть не менее 100 человек. Вместе с тем, чем больше выборка, тем точнее она представляет всю генеральную совокупность (например, всех менеджеров среднего звена).

«Золотая середина» срока давности

Есть и другой момент: как быстро устаревает нормативная группа и как часто ее нужно обновлять? Чтобы ответить на этот вопрос, мы провели исследование, сравнив ключевые показатели нормативных групп с 2004 по 2016 годы. В процессе работы мы сравнили среднее и стандартное отклонения – два важных фактора нормативной группы, которые дают представление о том, как распределены результаты участников по тому или иному инструменту оценки. Среднее - это среднее арифметическое значение показателей (то есть ответов участников) в группе. В свою очередь, стандартное отклонение характеризует разброс результатов в группе относительно среднего значения. Перед началом исследования мы предположили, что нормативную группу необходимо менять минимум один раз в три года. Ежегодное обновление данных кажется не совсем целесообразным, но в то же время, если брать промежуток в пять лет, за это время может смениться целое поколение специалистов. Поэтому был выбран отрезок в три года, как «золотая середина».

Для анализа мы взяли вербальные и числовые тесты компании CEB SHL для разных категорий персонала. Вербальные тесты измеряют способность к логическому анализу текстовой информации. Задача состоит в том, чтобы исходя из данных, которые содержатся в тексте, оценить, является ли вывод истинным, ложным или же информации для оценки недостаточно. Вместе с тем, числовые тесты измеряют способность делать верные выводы на основе числовой информации, представленной в виде графиков и таблиц. Для решения заданий не требуется владеть специальными знаниями или умением быстро считать. Выборки, по которым проводилось сравнение, были максимально схожими по возрасту, уровню образования и опыту работы (таблица 1 ).

Таблица 1. Описание нормативных групп по числовым тестам

На графике 1 можно увидеть результаты сравнения средних значений после проведенных числовых тестов способностей. Средний уровень способностей у разных категорий персонала фактически не менялся, оставаясь в пределах одного стандартного отклонения. Вместе с тем, сравнивать результаты участника, прошедшего тестирование в 2016 году, с нормативной группой 2012 не совсем корректно. Это связано с тем, что полученные таким образом результаты могут оказаться заниженными и не отражать в полной мере реальный уровень способностей участника.

Интересно то, что показатели специалистов незначительно выше показателей молодых специалистов и руководителей младшего и среднего звена. Такие результаты могут говорить о том, что именно специалисты в своей работе чаще всего сталкиваются с анализом числовой информации для последующего представления выводов вышестоящему руководству.

График 1. Динамика числовых способностей 2004 – 2016.

Что касается вербальных способностей, то здесь также нет резкого снижения за последние четыре года, что подтверждает предположение о предпочтительной выборке за три предшествующих года. Вместе с тем, за последние двенадцать лет среднее значение для выборки руководителей младшего и среднего звена снизилось на одно стандартное отклонение. Возможно, это говорит о том, что текстовая информация все реже используется руководителями в работе, уступая место числовым данным.

График 2. Динамика вербальных способностей 2004 -2016

По результатам исследования стало ясно, что нормативная группа для тестов способностей остается актуальной как минимум в течение четырех лет. По истечении этого срока требуется ее пересмотр, поскольку результаты могут получиться некорректными.

Географический фактор

Кроме того, в процессе исследования нам удалось проверить еще одну гипотезу - о различии показателей по Москве и остальным субъектам Российской Федерации. В случае с числовыми способностями различия оказались незначительными (что отражено на Графике 3). Это в свою очередь означает, что отдельная нормативная группа для Москвы не требуется. Для вербальных же тестов, напротив, разделение нормативных групп позволяет делать более корректные выводы. Это связано с тем, что средний уровень вербальных способностей по Москве выше, чем по остальным субъектам РФ. Общая нормативная группа не позволит увидеть этих различий, из-за чего результаты московских кандидатов могут получиться завышенными, а результаты участников из других субъектов, наоборот, заниженными.

В то же время, разграничение не только по странам, но и по отдельным географическим регионам напрямую зависит от оцениваемых кандидатов. Например, цель оценки – выбрать подходящего кандидата, и поиск ведется по конкретному региону. Для справедливой оценки рекомендуется использовать локальную нормативную группу, иначе полученные результаты могут оказаться ниже установленного проходного балла, что затруднит выбор кандидата, наиболее подходящего требованиям к должности.

График 3. Сравнение числовых способностей по регионам (2016 год)

График 4. Сравнение вербальных способностей по регионам (2016 год)

Подводя итог, хочется обратить внимание на следующие моменты:

• Уровни способностей участников исследований отличаются в зависимости от категории персонала, но нужно понимать, что повышение категории сотрудников не означает повышение уровня способностей. Кроме того, крайне важно подбирать ту нормативную группу, которая максимально соответствует оцениваемому участнику по уровню образования, должности, возрасту и бизнес-функции;

• Нормативная группа остается релевантной в течение как минимум четырех лет. Это значит, что ее ежегодное обновление не требуется.

Об авторе

Наталия Огурцова, консультант отдела R&D CEB SHL

Окончила факультет психологии МГУ им. М.В. Ломоносова. В 2014 году присоединилась к команде CEB SHL Russia & CIS. В настоящий момент руководит направлением по работе с онлайн-системами оценки, участвует в проектах по оценке персонала, разработке психометрических инструментов и обновлению статистических характеристик к ним.