Тестовые нормы и их проверка

Тестовая норма - это репрезентативные средние показатели по данному тесту, то есть показатели, которые представляют большую совокупность людей, с которыми можно сравнить показатели конкретного индивида, оценивая уровень его психологического развития. Норма теста определяется в результате тестирования большой выборки испытуемых определенного возраста и пола и последующего усреднения полученных оценок и их дифференциации по возрасту, полу и ряду других релевантных показателей.

Виды тестовых норм:

1. Абсолютные – количественные критерии.

2. Критериальные – содержательные (качественные) критерии.

Репрезентативность – свойство выборочной совокупности представлять характеристики генеральной совокупности (количественно и качественно отражать ее).

Репрезентативность означает, что распределение признака в выборочной совокупности соответствует его реальному распределению – генеральной совокупности.

Операции по анализу распределения тестовых баллов, построению тестовых норм и проверке их репрезентативности.

1. Сформировать выборку стандартизации (случайную или стратифицированную по какому-либо параметру) из той популяции, на которой предполагается применять тест.

Провести на каждом испытуемом из выборки тест в сжатые сроки (чтобы устранить иррелевантный разброс, вызываемый внешними событиями).

2. Произвести группировку «сырых» баллов с учетом выбранного интервала квантования (интервала равнозначности).

Интервал определяется величиной: размах, деленный на количество интервалов равнозначности (градаций шкалы).

3. Построить распределение частот тестовых баллов (для заданных интервалов) в виде таблицы и в виде соответствующих графиков гистограммы и кумуляты.

4. Произвести расчет среднего и стандартного отклонений, а также асимметрии и эксцесса с помощью компьютера. Проверить гипотезы значимости асимметрии и эксцесса. Сравнить результаты проверки с визуальным анализом кривых распределения.

5. Произвести проверку нормальности одного из распределений с помощью критерия Колмогорова (при n<200 с помощью более мощных критериев) или произвести процентильную нормализацию с переводом в стандартную шкалу, а также линейную стандартизацию и сравнить их результаты (с точностью до целых значений).

6. Если совпадения не будет – нормальность отвергается, тогда произвести проверку устойчивости распределения расщеплением выборки на 2 случайные половины. При совпадении нормализованных баллов для половины и для целой выборки, можно считать нормализованную шкалу устойчивой.

7. Проверить однородность распределения по отношению к варьированию заданного популяционного признака (пол, профессия и т.п.) с помощью критерия Колмогорова. Построить в совмещенных координатах графики гистограммы и кумуляты для полной и частной выборок. При значимых различиях разбить выборки на разнородные подвыборки.

8. Построить таблицы процентильных и нормализованных тестовых норм (для каждого интервала равнозначности «сырого балла»). При наличии разнородных подвыборок для каждой подвыборки должна быть своя таблица.

9. Определить критические точки (верхнюю и нижнюю) для доверительных интервалов (на уровне значимости < 0,01) с учетом стандартной ошибки в определении среднего значения.

10. Обсудить конфигурацию полученных распределений с учетом предполагаемого механизма решения того или иного теста.

11. В случае негативных результатов – отсутствия устойчивых норм для шкалы с заданным числом градаций (с заданной точностью прогноза критериальной деятельности) – осуществить обследование более широкой выборки или отказаться от плана использования данного теста.

Виды диагностических норм: абсолютные статистические критериальные

Тестовые нормы – такие критические точки на шкале тестовых баллов, которые определяют области значения заданные психодиагностическим выборкам.

Виды тестовых норм:

1. Абсолютные нормы («сырые баллы» по тесту (xi=55) точки на шкале сырых баллов). Используются в тестах достижений, где важен абсолютный норматив.

2. Статистические нормы (перевод сырых баллов в шкалу, на основе таких значений можно принимать сравнительные решения). Разработчик (психометрист) снабжает пользователей таблицами задающими переход от сырого балла к баллу стандартному (такие таблицы называются конверсионными) их нужно пересматривать каждые 3-5 лет в связи с устареванием норм, такая процедура называется РЕСТОРНАТИЗАЦИЯ.

3. Криториальные (жесткие нормы, применяются в профессиональном отборе, т.к. по ним принимается решение о подходе на работу)

Пример: оператор АЭС из 50 задач успешно решил 45 (10 % риска ошибки), а ВТО если из 50 успешно решил 48 (4 % риска ошибки) минимальный критерий прохождения на должность. Важно: критериальной повеени; критериальные показатели (индивидуальные свойства)

19. примеры наиболее распространенных стандартных видов шкал оценивания

Пример шкалы оценивания

Б. Метод альтернативного ранжирования. Другим методом оценивания работающих является их ранжирование от лучшего к худшему по некоторым характеристикам. Поскольку легче различать лучших и худших работников, нежели проранжировать их, метод альтернативного ранжирования особенно популярен. Сначала выпишите всех подчиненных, которых необходимо оценить, и затем вычеркните тех, которых вы недостаточно хорошо знаете. Затем по форме, представленной на Рис. 2.3, обозначьте наилучшего и наихудшего работника по измеренным характеристикам. Далее выберите следующего наилучшего и наихудшего до тех пор, пока все не будут проранжированы таким образом.