Отсутствие ошибок измерения тестовых баллов

3.1. Репрезентативность тестовых норм

Основные
статистические принципы построения
тестов достаточ­но полно освещены в
появившейся в начале 80-х годов на русском
языке литературе по дифференциальной
психометрике (Аванесов В. С., 1982; Анастази
А., 1982; Гайда В. К., Захаров В. П., 1982). Тем
не менее в указанных руководствах
центральная проблема пси­хометрики
тестов — вопрос о тестовых нормах — еще
не получила пос­ледовательного
освещения. Прежде всего это относится
к руковод­ству известной представительницы
американской тестологии А. Ана­стази.

В
руководстве Анастази не получают
достаточного критического обсуждения
две основополагающие предпосылки
традиционной за­падной тестологии:
вопрос о применении статистических
норм (кван­тилей распределения баллов)
в качестве диагностических норм и
воп­рос о сведении всех эмпирических
распределений к нормальной мо­дели.
Ниже эти предпосылки будут проанализированы
в контексте краткой реконструкции
системы основных понятий дифференциаль­ной
психометрики.

Статистическая
природа тестовых шкал. Типичный
измери­тельный тест в психодиагностике
— это последовательность кратких заданий,
или пунктов, дающая в результате ее
выполнения испытуе­мым последовательность
исходов, которая затем подвергается
одно­значной количественной
интерпретации. Примеры интерпретации
в интеллектуальных тестах, состоящих
из отдельных задач: «правиль­ное
решение», «ошибочное решение», «отсутствие
ответа» (пропуск задачи из-за нехватки
времени). Примеры интерпретации в случае
лич­ностных опросников, состоящих из
высказываний, предлагаемых для
подтверждения испытуемым: «подтверждение»
(ответ «верно»), «от­вержение» (ответы
«не согласен», «неверно»).

Суммарный
балл по тесту подсчитывается с помощью
ключа: ключ устанавливает числовое
значение исхода по каждому пункту.
Напри­мер, за правильное решение
задания дается «+1», за неправильное
решение или пропуск — «О». Тогда балл
буквально выражает количе­ство
правильных ответов.

Исход
по отдельному заданию подвержен
воздействию не только со стороны
измеряемого фактора — способности или
черты личности испытуемого, но и побочных
шумовых факторов, которые являются
иррелевантными по отношению к задаче
измерения. Примеры слу­чайных факторов:
колебания внимания, вызванные неожиданными
от­влекающими событиями (шум на улице,
стук в дверь и т. п.), трудно­сти в
понимании смысла задания (вопроса),
вызванные особенностя­ми опыта данного
конкретного испытуемого, и т. п.
Последователь­ность исходов оказывается
последовательностью событий, содержа­щей
постоянный и случайный компоненты. Как
известно, основным приемом, позволяющим
устранить искажающее влияние случайных
факторов на результат (суммарный балл),
Является балансировка это­го влияния
с помощью повторения. При этом фактически
предпола­гается, что повторение
обеспечивает рандомизацию (случайное
варь­ирование) неконтролируемого
фактора, в результате чего при сумми­ровании
исходов Положительные и негативные
эффекты случайных факторов взаимопоглощаются
(о механизме рандомизации см.: Готтсданкер
Р., 1982).

В
оптимальном тесте набор и последовательность
заданий орга­низуются таким образом,
чтобы повысить долю постоянного
компо­нента и сократить долю случайного
в величине суммарного балла. Тем не
менее, несмотря на различные статистические
ухищрения, суммарный балл в психологических
измерениях содержит несравнен­но
большую долю случайного компонента,
чем в обычных физичес­ких измерениях.
В силу этого суммарный балл оказывается
опреде­ленным лишь в известных
пределах, заданных ошибкой измерения.

Для
того чтобы оценить эффективность,
дифференциальную цен­ность всей
процедуры измерения, необходимо соотнести
размеры ошибки измерения с размерами
разброса суммарных баллов, вызван­ных
индивидуальными различиями в измеряемой
характеристике между испытуемыми. В
терминах Статистики речь идет о сравнении
так называемой истинной дисперсии
распределения суммарных баллов с
дисперсией ошибки. Именно этим обусловлен
необходимый интерес психометристов к
распределению суммарных баллов. Поэто­му
анализ распределения необходим не
только при использовании статистических
норм, но и в случае абсолютных и
критериальных норм.

Как
известно, частотное распределение
суммарных баллов имеет удобную графическую
интерпретацию в виде кривых распределений:
гистограммы и кумуляты (см., в частности,
удачное популярное вве­дение в описание
распределений в книге: Кимбл Г., 1982, с.
55-70). В случае гистограммы по оси абсцисс
откладываются «сырые очки» -первичные
показатели суммарных баллов, возможных
для данного теста, по оси ординат —
относительные частоты (или проценты)
встре­чаемости баллов в выборке
стандартизации (Анастази А., 1982, с. 66).
Как известно, для «колоколообразной»
кривой нормального распре­деления
дисперсия визуализируется как параметр,
ответственный за «распластанность»
графика плотности вероятности
(теоретического аналога эмпирической
кумуляты) вдоль оси X.
Чтобы
визуализиро­вать дисперсию ошибки
измерения, нужно было бы многократно
про­вести тест с одним испытуемым и
построить графическое распреде­ление
частот его индивидуальных баллов (рис.
1).

Очевидно,
что дифференцирующая способность теста
сводится к нулю, если кривые, иллюстрирующие
«истинную» и «ошибочную» дисперсии»
совпадают. Как видим, анализ распределения
тестовых баллов необходим уже для
анализа надежности теста (см. раздел
3.2).

Проблема
меры в психометри­ке и свойства пунктов
теста. В
физических измерениях калибров­ка
шкалы производится на основе контроля
за равномерным варьиро­ванием
измеряемого свойства в эта­лонных
объектах. Носителем меры является
эталон- физический объект, стабильно
сохраняющий заданную величину измеряемого
свойства. В дифференциальной психометрике
такие физические эталоны отсутствуют:
мы не располагаем индивидами, которые
были бы постоянными носителями за­данной
величины измеряемого свойства.

Рис.
1.Соотношение индивидуальной и общей
вариации тестовых баллов

Роль
косвенных эталонов в психометрике
выполняют сами тесты: в том смысле, в
каком труд­ность задач можно
рассматривать как величину, прямо
пропорцио­нально сопряженную со
способностью (чем труднее задача, тем
выше должен быть уровень способности,
требуемый для ее решения). Ана­логом
понятия «трудность» для «ли-вопросов»¹
опросника является «сила»: более
«сильные» высказывания (в логическом
смысле) вызы­вают подтверждение
(согласие) у меньшего числа испытуемых.
Ни трудность, ни силу пунктов теста
нельзя выявить иначе, чем с помо­щью
проведения теста. Операциональным
определением трудности оказывается
«процентильная мера»: процент испытуемых,
справив­шихся с заданием теста (или
ответивших «верно» на «ли-вопрос»). Чем
меньше процент, тем выше трудность.

Кривая
распределения тестовых баллов отражает
свойства пунк­тов, из которых составлен
тест. Если кривая имеет правостороннюю
асимметрию, то в тесте преобладают
трудные задания; если кривая имеет
левостороннюю асимметрию, значит,
большинство пунктов в тесте — легкие
(слабые) (рис. 2).

Рис.
2.Асимметрии распределения тестовых
баллов

Тесты
первого типа плохо дифференцируют
испытуемых с низ­ким уровнем
способностей: все эти испытуемые получают
примерно одинаковый низкий балл. Тесты
второго типа, наоборот, хуже диффе­ренцируют
испытуемых с высоким уровнем способностей.

Если
пункты обладают оптимальным уровнем
трудности (силы), то кривая распределения
зависит от того, насколько пункты
однород­ны. Если пункты разнородны
(исход по одному пункту не предопре­деляет
исход по другому), то мы получаем тест
в виде последователь­ности независимых
испытаний Бернулли. Как известно из
математи­ческой статистики, при
достаточно большом количестве независимых
испытаний с двумя разновероятными
исходами кривая биномиально­го
распределения (кривая суммарного балла)
по закону больших чи­сел автоматически
приближается к кривой нормального
распределе­ния (центральная предельная
теорема Муавра — Лапласа). Если тест
содержит разнородные задания примерно
равного уровня трудности (именно такие
задания и подбираются для измерения
интегральных свойств личности), то
нормальность распределения суммарных
бал­лов возникает автоматически — как
артефакт самой процедуры под­счета
суммарных баллов. При этом, конечно,
форма кривой распре­деления баллов
не позволяет говорить о реальной форме
распределе­ния измеряемого свойства,
каким оно является само по себе — в
ши­рокой популяции испытуемых.
Нормальность распределения есть
артефакт, прямое следствие направленного
отбора пунктов с задан­ными свойствами.

Если
подбираются пункты, тесно положительно
коррелирующие между собой (испытания
не являются статистически независимыми),
то в распределении баллов возникает
отрицательный эксцесс (рис. 3,а),
Максимальных значений отрицательный
эксцесс достигает по мере возрастания
вогнутости вершины распределения — до
образования двух вершин -двух мод (с
«провалом» между ними -рис. 3,6). Бимо­дальная
конфигурация распределения баллов
указывает на то, что вы­борка испытуемых
разделилась на две категории (с плавными
пере­ходами между ними): одни справились
с большинством заданий (со­гласились
с большинством «ли-вопросов»), другие
— не справились.

Рис.
3. Отрицательные (а, б) положительный (в)
эксцессы распределения тестовых баллов

Такая
конфигурация распределения свидетельствует
о том, что в ос­нове пунктов лежит
какой-то один общий им всем признак,
соответ­ствующий определенному
свойству испытуемых: если у испытуемых
есть это свойство (способность, умение,
знание), то они справляются с большинством
пунктов, если этого свойства нет — то не
справляют­ся. В некоторых редких
ситуациях пункты могут отрицательно
корре­лировать друг с другом. В этом
случае на кривой возникает положи­тельный
эксцесс (рис. 3, в): вся масса эмпирических
точек собирается вблизи среднего
значения. Такое возможно в двух случаях:
1) когда ключ составлен неверно -объединены
при подсчете отрицательно свя­занные
признаки, которые обусловливают
взаимоуничтожение бал­лов; 2) когда
испытуемые применяют, разгадав
направленность оп­росника, специальную
тактику «медианного балла» — искусственно
балансируют ответы «за» и «против»
одного из полюсов измеряемого качества.

Итак,
когда в качестве единственного эталона
измерения психодиагностами рассматривается
сам тест, то в качестве меры измеряе­мого
свойства выступает положение балла на
кривой распределения. Применяется
процентильная шкала. В качестве
универсальной меры, пригодной для разных
(по своей качественной направленности
и ко­личеству пунктов) тестов,
используется «процентильная мера».
Процентилъ
— процент испытуемых из выборки
стандартизации, кото­рые получили
равный или более низкий балл, чем балл
данного испы­туемого. Таким
образом, в качестве источника данной
меры высту­пает нормативная выборка
(выборка стандартизации), на которой
построено нормативное распределение
тестовых баллов. Процентильные шкалы
лежат в основе всех традиционных шкал,
применяе­мых в тестологии (Т-очки
MMPI,
баллы IQ,
стены 16 PF
и др.).

Подчеркнем,
что с точки зрения теории измерений,
процентильные шкалы относятся к
порядковым шкалам: они дают информацию
о том, у кого из испытуемых сильнее
выражено измеряемое свойство, но не
позволяют говорить о том, во сколько
раз сильнее. Для того чтобы строить на
базе таких шкал количественный прогноз,
нужно повысить уровень измерения
(популярное изложение представлений о
теории измерений см. в книге: Клигер С.
А. и др., 1978). Переход к шкалам интервалов
производят либо на базе эмпирического
распределения, либо на базе произвольной
модели теоретического распределения.
В абсолютном большинстве случаев в роли
такой теоретической модели ока­зывается
модель нормального распределения (хотя
в принципе может быть использована
любая модель).

В
целом кроме статистических, процентильных
шкал следует от­личать нередко
используемые в дифференциальной
психометрике еще 2 вида шкал (и
соответственно 2 вида тестовых норм).
Это, во-пер­вых, то, что можно условно
назвать «абсолютными тестовыми нор­мами»
— в роли шкалы для вынесения диагноза
выступает сама шкала «сырых» очков,
во-вторых, «критериальные» тестовые
нормы. При­менение таких норм можно
считать оправданным в двух случаях: 1)
когда сама тестовая «сырая» шкала имеет
практический смысл (на­пример, студент,
изучающий иностранный язык, должен
знать как можно больше слов этого языка,
и сырой показатель лексического теста
имеет практический смысл); 2) когда сырой
балл по тесту в ре­зультате эмпирических
исследований связывается с заданной
вероят­ностью успешности какой-либо
практической деятельности (вероят­ность
успеха «критериальной» деятельности,
каковой для упомяну­того выше примера
может быть синхронный перевод монолога
в те­чение 30 минут).

Процентильная
нормализация шкалы. Выше
Показано, что нор­мальность распределения
достигается искусственным подбором
пун­ктов теста с заданными статистическими
свойствами: Опишем еще ряд процедур,
которые также широко используются для
искусствен­ной нормализации.

1.
Нормализация пунктов. Ключ для данного
пункта корректиру­ется на базе
нормальной модели. Если среди нормативной
выборки с данным заданием справились
только 16 % испытуемых, то данному пункту
на интервальной шкале «трудности» (при
условии априорно­го принятия нормальной
модели с параметрами М = 0 и а = 1)
соот­ветствует значение +1 (см. график
в книге: Анастазй А., 1982, с. 181). Если
справились 75 % испытуемых, то балл пункта
на сигма-шкале равен-0,67. В результате
суммирования по пунктам баллов,
скоррек­тированных нормализацией,
суммарные баллы лучше приближаются к
нормальному распределению.

2.
Нормализация распределения суммарных
баллов (или интер­вальная нормализация).
В этом случае по таблице нормального
рас­пределения (нормального интеграла)
производится переход от процентильной
шкалы к сиг­ма-шкале: используется
функция, обратная интег­ральной, — от
ординаты производится переход к абсциссе
нормального рас­пределения.

Рис.
4. Преобразование процентильной шкалы
(по оси X)
в нормализованную сигма-шкалу (по оси
Y)

На
рис. 4 дана условная графическая
ил­люстрация этого перехода (кривая,
обратная традици­онной S-образной
интег­ральной кривой нормаль­ного
распределения).

Приведем
пример интервальной нормализации (табл.
3). Пусть строка X
содержит сырые баллы (не нормализованные)
по тесту, по­лученные простым подсчетом
правильных ответов. В строке Р — час­тоты
встречаемости сырых баллов в выборке
из 62 испытуемых. В строке F
— кумулятивные частоты:=.
В строкеF*
— кумулятивные баллы:
.
В строкеPR
— процентильные ранги:
.
В строке σ
даются
нормализованные баллы, по­лученные
из соответствующих процентильных рангов
по таблицам, а -оценки часто называются
в зарубежной литературе также z-оценками.

Таблица
3

Трудность,
с которой сталкиваются начинающие при
использова­нии интервальной
нормализации, состоит в том, что обычные
статис­тические таблицы не приспособлены
для психометрики: нужно отыс­кивать
значение процентильного ранга внутри
таблицы, а соответству­ющую сигма-оценку
– с краю. Для облегчения ориентации
приведем фрагмент таблицы соответствий
PR,
а и стенов (табл. 4):

Таблица
4

В
обычных таблицах из соображений симметрии
даны лишь зна­чения для PR
>
50.
Для PR
< 50 соответствующие значения находят­ся
из тех же таблиц σ = ψ ^-1(1-
PR/100).
Например, для PR
=35 мы находим 1 — PR/100
= 1 — 0,35 = 0,65, затем — по табл. ψ
^-1 =
0,39 и бе­рем это значение с отрицательным
знаком -0,39. Для нормализации удобно
пользоваться графическим методом
(нормальной бумагой, стандартной
5-образной кривой и т. п.).

В
результате нормализации интервалы
между исходными сыры­ми баллами
переоцениваются в соответствии с
нормальной моделью. В отличие от
процентильной шкалы, нормальная шкала
придает боль­ший вес (в дифференциации
испытуемых) краям распределения:
раз­личия между испытуемыми, набравшими
95 и 90 процентилей, оце­ниваются как
более высокие, чем различия между
испытуемыми, набравшими 65 и 60 процентилей.

В
применении к шкалам оценок (рейтинговым
шкалам) метод нормализации интервалов
называется «методом последовательных
интервалов» (Клигер С. А. и др., 1978, с.
75-81).

В
результате применения процедуры
нормализации исследователь-психометрист
получает для нормативной выборки таблицу
перевода сырых баллов в нормализованные
баллы. На основе этих таблиц час­то
строят графики: деления сырых баллов
наносят на числовую ось с неравными
интервалами, так что эмпирическое
распределение час­тот максимально
близко приближается к нормальной форме.
Пример такой графической нормализации
— профильные листы MMPI
(Анастази А., 1982, с. 129).

Так
как нормальное распределение описывается
всего двумя па­раметрами: средним М
(мерой положения) и средним квадратическим
(или стандартным) отклонением а (мерой
рассеяния), то диаг­ностические нормы
в случае нормализованных шкал описываются
в единицах отклонений от среднего по
выборке; например, заключают, что
испытуемый А показал результат,
превышающий средний балл на две сигмы,
испытуемый В -результат, оказавшийся
ниже среднего балла на одну сигму, и т.
п. На процентильной шкале этому
соответ­ствуют процентильные ранги
95 и 16 соответственно.

Переход
к нормальному распределению создает
очень удобные условия для количественных
операций с диагностической шкалой: как
со шкалой интервалов с ней можно
производить операции ли­нейного
преобразования (умножение и сложение),
можно описы­вать диагностические
нормы в компактной форме (в единицах
от­клонений), можно применять линейный
коэффициент корреляции Пирсона, критерии
для проверки статистических гипотез,
постро­енные в применении к нормальному
распределению, т. е. весь ап­парат
традиционной статистики (основанной
на нормальном рас­пределении).
!

Неправомерность
онтологизации нормального закона. В
тради­ционной психометрике нормальное
распределение выступает в роли
инструментального понятия, облегчающего
оперирование с данны­ми. Но это не
означает, что можно забывать об
искусственном проис­хождении
нормального распределения. Традиции
западной тестологии, основанные еще Ф.
Гальтоном, предполагают однородность
тео­ретических представлений
психометрики и биометрики. Точно так
же как происхождение нормального
распределения при исследовании
вариативности биологических характеристик
человеческого организма связывается
с наличием взаимодействия постоянного
фактора гено­типа и изменчивых
случайных факторов фенотипа, — происхождение
межиндивидуальных психологических
различий связывается с гене­тическим
кодом, якобы предопределяющим положение
индивида на оси нормальной кривой. В
действительности же нет никаких оснований
приписывать появление нормальной
кривой, часто получаемой с помощью
специальных статистических непростых
процедур, дей­ствию механизма
наследственности.

В
тех случаях, когда на большой выборке
удается получить нор­мальное
распределение без каких-либо искусственных
способствую­щих этому мер, это
опять-таки не означает вмешательства
генетики. Закон нормального распределения
воспроизводится всякий раз, когда на
измеряемое свойство (на формирование
определенного уровня спо­собностей
индивида) действует множество разных
по силе и направ­ленности факторов,
независимых друг от друга. История
прижизнен­ных средовых воздействий,
которые испытывает на себе субъект,
так­же подобна последовательности
независимых событий: одни факторы
действуют в благоприятном направлении,
другие — в неблагоприятном, а в результате
взаимопогащение их влияний происходит
чаще, чем тен­денциозное однонаправленное
сочетание (большинство благоприятных
или большинство неблагоприятных), т. е.
возникает нормальное рас­пределение.
Массовые исследования показывают, что
введение конт­роля над одним из
средовых популяционных факторов (уровень
обра­зования родителей, например)
приводит к расслоению кривой нормаль­ного
распределения: выборочные кривые
оказываются смещенными относительно
друг друга (Анастази А., 1982, с. 201). Эти
результаты служат ярким подтверждением
социокультурного происхождения
ста­тистических диагностических
норм, что одновременно служит осно­ванием
для серьезных предосторожностей при
переносе норм, полу­ченных на одной
популяции, на другие популяции. Однородными
мож­но считать только те популяции,
по отношению к которым действует
одинаковый механизм выборки: ив ситуации
создания (стандартиза­ции) теста, и в
ситуации его диагностического применения.
Здесь при­ходится учитывать и такие
нюансы выборочного механизма, как
фено­мен нормальных добровольцев.
Если выборку стандартизации форми­ровать
на студентах, добровольно согласившихся
участвовать в тести­ровании, а
применение теста планируется на сплошных
выборках (в административном порядке),
то это грозит определенными ошибками
в диагностических суждениях, так как
психологический портрет «доб­ровольца»
в существенных чертах отличается от
портрета испытуемо­го, соглашающегося
на тестирование только под административным
давлением (Шихирев П.Н, 1979, с. 181).

Подсчет
параметров и оценка типа распределения.
Для
описа­ния выборочного распределения,
как правило, используются следую­щие
известные параметры:

1.
Среднее арифметическое значение:

,
(3.1.1)

где
x_j
– балл i-го
испытуемого;

y_i
-значение
i-го
балла по порядку возрастания;

p_i
— частота
встречающегося i-го
балла;

n
—
количество испытуемых в выборке (объем);

m
—
количество градаций шкалы (количество
баллов).

1. Среднее
   квадратическое (стандартное) отклонение:

, (3.1.2)

где
—
сумма квадратов тестовых баллов для и
испытуемых.

3.
Асимметрия:

(3.1.3)

где

-среднее
арифметическое значение;

S
— стандартное отклонение;

θ
— среднее кубическое значение:
,

С
— среднее квадратическое:

4.
Эксцесс:

,
(3.1.4)

где
Q
— среднее значение четвертой степени:
.

Стандартная
ошибка среднего арифметического значения
(мате­матического ожидания) оценивается
по формуле:

(3.1.5)

На
основе ошибки математического ожидания
строятся довери­тельные интервалы:
)

Если
тестовый балл какого-либо испытуемого
попадает в грани­цы доверительного
интервала, то нельзя считать, что
испытуемый обладает повышенным (или
пониженным) значением измеряемого
свойства с заданным уровнем статистической
значимости.

Асимметрия
и эксцесс нормального распределения
должны быть равны нулю. Если хотя бы
один из двух параметров существенно
от­личается от нуля, то это означает
анормальность полученного эмпи­рического
распределения.

Проверку
значимости асимметрии можно произвести
на основе общего неравенства Чебышева:

(3.1.6)

где
S_a
— дисперсия
эмпирической оценки асимметрии:

, (3.1.7)

где
р
— уровень
значимости или вероятность ошибки
первого рода: ошибки в том, что будет
принят вывод о незначимости асимметрии
при наличии значимой асимметрии (в
формулу подставляют стандар­тные р
= 0,05
или р
=
0,01 и проверяют выполнение неравенства).
Сходным образом оценивается значимость
эксцесса:

(3.1.8)

где
S_е
— эмпирическая дисперсия оценки эксцесса:

.
(3.1.9)

]

Гипотезы
об отсутствии асимметрии и эксцесса
принимаются с вероятностью ошибки р
(пренебрежимо
малой), если выполняются неравенства
(3.1.6) и (3.1.8).

Более
легкий метод проверки нормальности
эмпирического рас­пределения
основывается на универсальном критерии
Колмогорова. Для каждого тестового
балла у.
(для
каждого интервала равнозначно­сти
при дискретизации непрерывной
хронометрической шкалы) вы­числяется
величина D.
—
модуль отклонения эмпирической и
теорети­ческой интегральных функций
распределения:

(3.1.10)

где
F-
эмпирическая
интегральная функция (значение кумуляты
в данной точке у_j);
U
— теоретическая
интегральная функция, взятая из таблиц¹.
Среди D_j
отыскивается
максимальное значение D_max,
и вели­чина
сравнивается
с табличным значениемкритерия Колмогорова.

В
таблице 5 приведены асимптотические
критические значения для распределения
Колмогорова (при
).
Близость эмпиричес­кого значения λ_е
к
левосторонним стандартным квантилям
λ_t
позво­ляет
констатировать близость эмпирического
и предполагаемого тео­ретического
распределения с пренебрежимо малой
вероятностью ошибки р (0,01; 0,05; 0,10 и т,
п.). Близость λ_е
к правосторонним стан­дартным квантилям
λ­­_t
позволяет сделать вывод о статистически
зна­чимом отсутствии согласованности
эмпирического и теоретического
распределений. Надо помнить, что критерий
Колмогорова, очень про­стой в
вычислительном’ отношении, обеспечивает
надежные выводы лишь при
200:
Критерий Колмогорова резко снижает
свою эф­фективность, когда наблюдения
группируются по малому количеству
интервалов равнозначности. Например,
при n
= 200
количество ин­тервалов должно быть
не менее 20 (примерно по 10 наблюдений на
каждый интервал в среднем).

Таблица
5

Если
проверка согласованности эмпирического
распределения с нормальным дает
положительные результаты, то это
означает, что полученное распределение
можно рассматривать как устойчивое
-репрезентативное по отношению к
генеральной совокупности — и, следовательно,
на его основе можно определить
репрезентативные тестовые нормы. Если
проверка не выявляет нормальности на
требу­емом уровне, то это означает,
что либо выборка мала и нерепрезента­тивна
к популяции, либо измеряемые свойство
и устройство теста (спо­соб подсчета)
вообще не дают нормального распределения.

В
принципе отнюдь не обязательно все
нормативные распределе­ния сводить
к нормальным. Можно с равным успехом
пользоваться хорошо разработанными
моделями гамма-распределения,
пуассоновского распределения и т. п.
Критерий Колмогорова позволяет оценить
близость вашего эмпирического
распределения к любому теоретичес­кому
распределению. При этом устойчивым и
репрезентативным мо­жет оказаться
распределение любого типа. Если из
нормальности, как правило, следует
устойчивость, то обратное неверно
-устойчивость вовсе не обязательно
предполагает нормальность распределения.

Наличие
значимой положительной асимметрии (см.
рис. 2,а) сви­детельствует о том, что в
системе факторов, детерминирующих
зна­чение измеряемого показателя,
преобладают факторы, действующие в
одном направлении — в сторону повышения
показателя. Такого рода отклонения
появляются при использовании
хронометрических пока­зателей:
испытуемый не может решить задачу
быстрее определенно­го минимально
необходимого периода, но может существенно
долго задерживаться с ее решением. На
практике распределения такого рода
преобразуют в приближенно нормальное
распределение с помощью логарифмической
трансформации:

(3.1.11)

При
этом говорят, что распределение
хронометрических показа­телей
подчиняется «логнормальному» закону.

Подобную
алгебраическую нормализацию тестовой
шкалы при­меняют и к показателям с
еще более резко выраженной положитель­ной
асимметрией. Например, в процедурах
контент-анализа сам тес­товый показатель
является частотным: он измеряет частоту
появле­ния определенных категорий
событий в текстах. Для редких катего­рий
вероятность появления значительно
меньше 0,5. Формула преобразования

(3.1.12)

позволяет
придать необходимую 5-образную форму
кумуляте.

Стандартизация
шкалы. В
психометрике следует различать две
формы стандартизации. Под стандартизацией
теста понимают преж­де всего
стандартизацию самой процедуры проведения
инструкций, бланков, способа регистрации,
условий и т. п. Без стандартизации теста
невозможно получить нормативное
распределение тестовых баллов и,
следовательно, тестовых норм.

Под
стандартизацией шкалы понимают линейное
преобразование масштаба нормальной
(или искусственно нормализованной)
шкалы. В общем случае формула стандартизации
выглядит так:

,
(3.1.13).

где
x_i
— исходный
балл по «сырой» шкале, для которой
доказана нор­мальность распределения;

—
среднее
арифметическое по «сырому» распределению;
S
— «сырое» стандартное отклонение;

М-
математическое
ожидание по выбранной стандартной
шкале;

σ
— стандартное отклонение по стандартной
шкале.

Если
шкала подвергалась предварительной
искусственной норма­лизации интервалов,
то формула упрощается:

z_j
=σ
z_j
=M
(3.1.14)

Приведем
параметры для наиболее популярных
стандартных шкал:

1)
T
-шкала
Маккола (тест-опросник MMPI
и другие тесты):

М
= 50 и σ = 10,

2)
шкала IQ
: М = 100 и σ = 15,

3)
шкала «стэнайнов» (целые численные
значения от 1 до 9 -стан­дартная девятка):
М = 5,0 и σ = 2,

4)
шкала «стенов» (стандартная десятка,
16PF
Кеттелла):

М
= 5,5 .и σ = 2.

Чтобы
различать стандартные баллы, полученные
с помощью линейной стандартизации и
нелинейной нормализации интервалов,
Р. Кеттелл ввел понятие «S-стенов»
и «n-стенов».
Таблицы «и-стенов», естественно, точнее
отражают квантили эмпирического
нормального распределения. Приведем
образец такой таблицы для фактора А из
тест-опросника 16PF;

Сырые
баллы 0-4 5-6 7 8-9 10-12 13 14-15 16
17-18 19-20 Стены 1 2

3
4
5 6
7
8
9
10

Применение
стандартных шкал позволяет использовать
более грубые, приближенные способы
проверки типа распределения тесто­вых
баллов. Если, например, процентильная
нормализация с перево­дом в стены и
линейная нормализация с переводом в
стены по фор­муле (3.1.13) дают совпадающие
целые значения стенов для каждого Y,
то это означает, что распределение
обладает нормальностью с точ­ностью
до «стандартной десятки».

Применение
стандартных шкал необходимо для
соотнесения ре­зультатов по разным
тестам, для построения «диагностических
про­филей» по батарее тестов и тому
подобных целей.

Проверка
устойчивости распределения. Общая
логика проверки устойчивости распределения
основывается на индуктивном рассуж­дении:
если половинное (полученное по половине
выборки) распре­деление хорошо
моделирует конфигурацию целого
распределения, то можно предположить,
что это целое распределение будет также
хоро­шо моделировать распределение
генеральной совокупности.

Таким
образом, доказательство устойчивости
распределения оз­начает доказательство
репрезентативности тестовых норм.
Традици­онный способ доказательства
устойчивости сводится к наличию хо­рошего
приближения эмпирического распределения
к какому-либо те­оретическому. Но если
эмпирическое распределение не приближается
к теоретическому, несмотря на значительное
увеличение объема выборки, то приходится
прибегать к более общему индуктивному
ме­тоду доказательства.

Простейший
его вариант может быть сведен к получению
таблиц перевода сырых баллов в
нормализованную шкалу по данным всей
выборки и применению этих таблиц для
каждого испытуемого из по­ловины
выборки; если распределение нормализованных
баллов из по­ловины выборки хорошо
приближается к нормальному, то это
значит, что заданные таблицами нормализации
тестовые нормы определены устойчиво.
Близость к нормальному распределению
проверяется с по­мощью критерия
Колмогорова (при n
<200
целесообразно использо­вать более
мощные критерии: «хи-вадрат» или
«омега-квадрат»).

При
этом под «половиной выборки» подразумевается
случайная половина, в которую испытуемые
зачисляются случайным образом -с помощью
двоичной случайной последовательности
(типа подбра­сывания монетки и т. п.).
В более общем случае такой простейший
метод установления однородности двух
эмпирических распределений может быть
применен и при разбиении выборки по
какому-либо сис­тематическому признаку.
Если, в частности, по какому-либо из
популяционно значимых признаков (пол,
возраст, образование, профес­сия)
психолог получает значимую неоднородность
эмпирических распределений; то это
значит, что относительно данных
популяционных категорий тестовые нормы
должны быть специализированы (одна
таблица норм — для мужчин, другая — для
женщин и т. д.).

Более
статистически корректный метод проверки
однородности двух распределений,
полученных при расщеплении выборки на
рав­ные части, опять же связан с
применением критерия Колмогорова. Для
этого с табличным значением сравнивается:

(3.1.15)

где
К_е
—
эмпирическое значение статистики
Колмогорова;

F_j1
— кумулятивная относительная частота
для у-того интервала шкалы по первой
половине выборки;

F_j2
— та
же частота для второй половины;

n
— полный
объем выборки.

Точные
значения квантилей распределения
Колмогорова для опре­деления размеров
выборки можно найти в кн.: Мюллер П. и
др., 1982.

Применение
критерия Колмогорова не зависит от
нормальности целого распределения и
от необходимости производить нормализа­цию
интервалов.

*
* *

Итак,
априорная предпосылка нормальности
распределения тес­товых баллов
основывается скорее на принципах
операционального удобства, чем на
теоретической необходимости.
Психометрически корректные процедуры
получения устойчивых тестовых норм
возмож­ны с помощью специальных
методов непараметрической статистики
(критерий «хи-квадрат» и т. п.) для
распределений произвольной фор­мы.
Выбор статистической модели распределения
— законный произ­вол психометриста,
пока сам тест выступает в качестве
единственно­го эталона измеряемого
свойства. В этом случае остается лишь
тща­тельно следить за соответствием
сферы применения диагностичес­ких
норм той выборке испытуемых, на которой
они были получены. Произвольность в
выборе статистической модели шкалы
исчезает, когда речь заходит о внешних
по отношению к тесту критериях.

Репрезентативность
критериальных тестов. В
таких тестах в качестве реального
эталона применяется критерий, ради
которого со­здается тест, — целевой
критерий. Особое значение такой подход
имеет в тех областях практики, где
высокие результаты могут дать
узкоспеци­ализированные диагностические
методики, нацеленные на очень кон­кретные
и узкие критерии. Такая ситуация имеет
место в обучении: тестирование,
направленное на получение информации
об уровне ус­воения определенных
знаний, умений и навыков (При
профессиональ­ном обучений), должно
точно отражать уровень освоения этих
навы­ков и тем самым давать надежный
прогноз эффективности конкретной
профессиональной деятельности, требующей
применения этих навы­ков. Так возникают
«тесты достижений», по отношению к
которым критериальный подход обнаружил
свою высокую эффективность (Гуревич К.
М, Лубовский В. И,, 1982).

Рассмотрим
операциональную схему шкалирования,
применяе­мую при создании критериального
теста. Пусть имеется некоторый критерий
С, ради прогнозирования которого
психодиагност создает тест X.
Для
простоты представим С
как
дихотомическую перемен­ную с двумя
значениями: 1 и 0. С, = 1 означает, что j-й
субъект достиг критерия (попал в «высокую»
группу по критерию), С_j=0
означает, что i-й
субъект не достиг критерия (попал в
«низкую» группу). Пси­ходиагност
применяет на нормативной выборке тест
X,
и
в ре­зультате каждый индивид получает
тестовый балл X_i.
После
того как для каждого индивида из выборки
становится известным значение С
(иногда
на это требуются месяцы и годы после
момента тестирова­ния), психодиагност
группирует индивидов по порядку
возрастания балла X_i
и
для каждого деления исходной шкалы
сырых тестовых бал­лов подсчитывает
эмпирическую вероятность Р
попадания
в «высо­кую» группу по критерию С. На
рис. 5 показаны распределения веро­ятности
Р
(C_i
=
1) в зависимости от X_i

Рис.
5 Эмпирическая зависимость между
вероятностью критериального события
и тестовым баллом

Очевидно,
что кривая на рис. 5 по своей конфигурации
может со­вершенно не совпадать с
кумулятивной кривой распределения
частот появления различных X_i.
Кривая,
представленная на рис. 5, является
эмпирической линией регрессии С
по
X_i
Теперь
можно сформулиро­вать основное
требование к критериальному тесту:
линия регрессии должна быть монотонной
функцией С
от
X_i
Иными
словами, ни для одного более высокого
значения X.
вероятность
Р
не
должна быть мень­шей, чем для какого-либо
менее высокого значения X_i
Если
это усло­вие выполняется, то открывается
возможность для критериального
шка­лирования сырых баллов X.
Так
же как в случае с интервальной
норма­лизацией», когда применяется
поточечный перевод интервалов Х
в ин­тервалы
Z,
для которых выполняется нормальная
модель распределения, так и при
критериальном шкалировании к делениям
сырой шкалы X
применяется
поточечный перевод прямо в шкалу Р на
основании эмпи­рической линии
регрессии. Например, если испытуемый А
получил по тесту X
18
сырых баллов и этому результату
соответствует Р=0,6, то испытуемому А
ставится в соответствие показатель 60
%.

Конечно,
любая эмпирическая кривая является
лишь приближен­ной моделью той
зависимости, которая могла бы быть
воспроизведе­на на генеральной
совокупности. Обычно предполагается,
что на ге­неральной совокупности
линия регрессии С
по Х
должна иметь более сглаженную форму.
Поэтому обычно предпринимаются попытки
ап­проксимировать эмпирическую линию
регрессии какой-либо функ­циональной
зависимостью, что позволяет затем
производить прогноз с применением
формулы (а не таблицы или графика).

Например,
если линия регрессии имеет вид
приблизительно та­кой, какой изображен
на рис. 6, то применение процентильной
нор­мализации позволяет получить
простую линейную регрессию С
по
нормализованной шкале Z.
Это как раз тот случай, когда имеет
мес­то эквивалентность стратегии,
использующей выборочно-статисти­ческие
тестовые нормы, и стратегии, использующей
критериальные нормы.

Рис.
6. Зависимость вероятности критериального
события Р
от

нормально
распределенного диагностического
параметра X

Операции
по анализу распределения тестовых
баллов, построе­нию тестовых норм и
проверке их репрезентативности. Завершая
этот раздел, кратко перечислим действия,
которые последовательно должен произвести
психолог при построении тестовых норм.

1.
Сформировать выборку стандартизации
(случайную или стра­тифицированную
по какому-либо параметру) из
той популяции, на которой предполагается
применять тест. Провести
на каждом ис­пытуемом из выборки тест
в сжатые сроки (чтобы устранить
иррелевантный разброс, вызванный
внешними событиями, происшедшими за
время обследования).

2.
Произвести группировку сырых баллов
с учетом выбранного интервала квантования
(интервала равнозначности). Интервал
опре­деляется величиной W/m
, где
W=x
_max
— х
_max;
m
—
количество интерва­лов равнозначности
(градаций шкалы).

3.
Построить распределение частот тестовых
баллов (для задан­ных интервалов
равнозначности) в виде таблицы и в виде
соответ­ствующих графиков гистограммы
и кумуляты.

4.
Произвести расчет среднего арифметического
значения и стандар­тного отклонения,
а также асимметрии и эксцесса с помощью
компьюте­ра. Проверить гипотезы о
значимости асимметрии и эксцесса.
Сравнить результаты проверки с визуальным
анализом кривых распределения.

5.
Произвести проверку нормальности одного
из распределений с помощью критерия
Колмогорова (при n
< 200
с помощью более мощ­ных критериев)
или произвести процентильную нормализацию
с пе­реводом в стандартную шкалу, а
также линейную стандартизацию и сравнить
их результаты (с точностью до целых
значений стандарт­ных баллов).

6.
Если совпадения не будет — нормальность
отвергается; в этом случае произвести
проверку устойчивости распределения
расщепле­нием выборки на две случайные
половины. При совпадении норма­лизованных
баллов для половины и для целой выборки
можно счи­тать нормализованную шкалу
устойчивой.

7.
Проверить однородность распределения
по отношению к варь­ированию заданного
популяционного признака (пол, профессия
и т. п.) с помощью критерия Колмогорова.
Построить в совмещенных коор­динатах
графики гистограммы и кумуляты для
полной и частной вы­борок. При значимых
различиях разбить выборку на разнородные
подвыборки.

8.
Построить таблицы процентильных и
нормализованных тесто­вых норм (для
каждого интервала равнозначности сырого
балла). При наличии разнородных подвыборок
для каждой из них должна быть своя
таблица.

9.
Определить критические точки (верхнюю
и нижнюю) для до­верительных интервалов
(на уровне Р
< 0,01)
с учетом стандартной ошибки в определении
среднего значения.

10.
Обсудить конфигурацию полученных
распределений с учетом предполагаемого
механизма выполнения того или иного
теста.

11.
В случае негативного результата:
отсутствия устойчивых норм для шкалы
с заданным числом градаций (с заданной
точнос­тью прогноза критериальной
деятельности) — осуществить обсле­дование
более широкой выборки или отказаться
от использования, данного теста.