Материал: Носс И.Н. Личностно-профессиональная диагностика сотрудников ОВД. Ч. 1
51
г) операционной валидности – степени репрезентативности в конкретных экспериментальных операциях реальных операционных условий психической деятельности;
д) эмпирической валидности – совокупности характеристик валидности теста, полученной сравнительным статистическим способом оценивания. Эмпирическая валидность измеряется при помощи коэффициентов валидности.
К видам эмпирической валидности относятся: аутовалидность, очевидная и критериальная валидности. Аутовалидность представляет собой степень впечатления о дифференцирующей способности методики самого психолога при апробации теста в ходе самооценки. Очевидная валидность – это представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого и другого лица, не располагающего специальными сведениями о характере использования и целях методики. Критериальная валидность – комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев развития измеряемого свойства. Критериальная валидность оценивается величиной связи, корреляции показателя теста с «внешним критерием»1.
Текущая (конкурентная, или диагностическая) валидность есть мера способности теста дифференцировать испытуемых по изучаемому признаку. Текущая валидность теста определяется исходя из его «трудности» и мер изменчивости измеряемого признака. Трудностью теста называется отношение количества решенных к нерешенным заданиям методики2. Уровень трудности характеризуется коэффициентом трудности (Тт), который вычисляется по формулам
(а) и (б).
а) Тт = [Np / Nн] ∙ 100 %;
где Np – количество решенных заданий теста; Nн – количество нерешенных заданий теста.
Оптимальная «трудность теста» должна колебаться в пределах 50 %. Однако достичь такого положения крайне трудно. На практике критериальная «трудность» рассчитывается для всей тестовой
1 «Внешний критерий» – это оценка реального проявления измеряемого свойства или особенности испытуемого в практической деятельности.
2 Анастази А. Психологическое тестирование. В 2-х книгах. М. : Педагоги-
ка. Т. 1. С. 180–182.
52
батареи, и уже ее значение должно колебаться в пределах 50 %, а «трудность» входящих в нее тестов – находиться в пределах «умеренного разброса». Видимо, этот «умеренный разброс» находится в
пределах , т. е. 16 % (следует также учитывать 5 %-ю ошибку вычислений).
б) Тт = 13 + 4 ;
где – стандартное отклонение.
Трудность теста, рассчитанного по формуле (б), находится в пределах от 1 до 25 (цифры 13 и 4 выбраны экспериментально в целях исключения отрицательных и дробных показателей и удобства расчетов). Средняя трудность теста имеет значение 13.
К мерам изменчивости измеряемых признаков, как правило, относят характеристики распределения эмпирических данных (нормальность распределения) и характеристики вариации признаков. Нормальность распределения данных определяет численную характеристику дифференциации испытуемых1.
Ширина полосы разброса данных по шкале измерений – от min до max. Это характеристика вариации признаков. Простейшими измерителями вариации признаков является размах вариации (R) (разность между наибольшим и наименьшим значениями призна-
ков, т. е. R = xmax – xmin) и дискриминативность заданий (субтес-
тов), т. е. способность отдельных пунктов (заданий) методики дифференцировать обследуемых относительно «максимального» или «минимального» результата теста. Мера соответствия успешности выполнения одного субтеста ко всей методике является показателем дискриминативности заданий теста и называется коэффициентом дискриминации (или индексом дискриминации). Индекс дискриминативности теста рассчитывается в процессе разработки методики и тестовой батареи. Он может вычисляться как при помощи точечно-биссериального коэффициента корреляции (Rpb), так и с использованием метода контрастных групп в виде разности между долей лиц, правильно решивших задание из «высокопродуктивной»
и«низкопродуктивной» групп (D)2.
1 Вычисляется при помощи критерия согласия Пирсона (Хи-квадрат), а также с использованием коэффициентов асимметрии и эксцесса распределения переменных.
2 Бурлачук Л. Ф., Морозов С. М. Словарь-справочник по психологической диагностике. Киев, 1989. С. 47–48.
53
D = (Nn max / Nmax) – (Nn min / Nmin).
Наибольший интерес представляет характер группировки значений признака вокруг средней. Мерой ее определения является дисперсия (среднеквадратическое отклонение) и коэффициент ва-
риации (V), который определяется как отношение дисперсии ( х) к среднему (Мх), выраженное в процентах:
V = ( х / Мх) ∙ 100 %.
Характеристики распределения и вариативность переменных функционально связаны и предопределяют оптимальное сочетание формы распределения с вариативностью. Большая вариативность признаков говорит о том, что распределение ненормально, асимметрично и сильно скошено. Малая вариативность показывает, что тест не дифференцирует испытуемых по измеряемому признаку, т. е. испытуемые отвечают или решают задание одинаково. При анализе трудности, нормальности распределения и вариативности показателей тестов необходимо соблюдать меру, которая вырабатывается в процессе накопления опыта диагностической работы и статистической обработки данных.
Прогностическая валидность является элементом содержания достоверности тестов и определяется как степень точности и обоснованности суждения о диагностируемом психическом свойстве по его результату, спустя определенное время после измерения. Показателем прогностичности теста является степень регрессии тестовых данных к объективным критериям. Регрессия представляет собой функцию f (x1, x2 х3, …, xn), описывающую зависимость среднего показателя теста, измеряющего данное свойство от заданных фиксированных значений реального проявления этого свойства (внешнего критерия – y). Эта функция может носить линейный и нелинейный характер. В психодиагностическом моделировании наиболее часто используют модели линейной регрессии y = b + ax, параболической зависимости y = b + ax + cx2, гиперболической зависимости y = b + a/x и показательной функции y = b + ax.
На практике для прогноза развития или проявления измеренного свойства чаще применяют модель линейной или множественной линейной регрессию (y = b + a1 x1 + a2 x2 … + an xn). Физический смысл ее заключается в приравнивании зависимой и независимой переменных. Изменение зависимой переменной прямо определяет изменение независимой переменной. Свободный член «b» сигнализирует о величине влияния случайных неконтролируемых перемен-
54
ных на изменение исследуемого свойства или его признака. Он в уравнение вводится в виде постоянной величины. Коэффициент «а» отражает степень объясняемой дисперсии внешнего критерия показателем методики, примененной для его оценки. Он соответствует квадрату коэффициента корреляции между реальным проявлением качества и показателем теста. Коэффициент корреляции показывает уровень прогностичности функции, а R2 – уровень объясняемой дисперсии «y» за счет изменения «х». При использовании тестовой батареи прогноз измеряемого свойства осуществляется посредством связанных между собой нескольких зависимых переменных (x1, x2, х3, …, xn), которые и формируют множественную линейную регрессию.
Использование множественной линейной функции при прогнозе развития измеряемого свойства повышает уровень прогностичности тестирования и его достоверность за счет «перекрытия» разными методиками различных сторон измеряемого свойства.
2.2. Надежность психологических методов
Надежность – это характеристика психодиагностической методики, отражающая точность психодиагностических измерений, а также устойчивость (стабильность) результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента психологического исследования.
Практика применения психологических методов показала, что наибольшая стабильность результатов наблюдается при применении графических и графологических тестов, показатели которых меняются относительно медленно. Медленно изменяется почерк, а также практически неизменными остаются качество линий рисунков и их композиция. Наибольшая динамичность показателей наблюдается у интеллектуальных тестов, которые напрямую зависят от способности человека накапливать и перерабатывать информацию. На устойчивость и стабильность показателей психологического метода могут влиять состояние и настроение обследуемых, их мотивация, настрой на тестирование, эргономические факторы, характеристика самой деятельности, степень обучаемости или натренированности и др.
Надежность результатов тестирования зависит также от изменчивости инструмента психологического измерения и от факторов
55
стабильности самой процедуры измерения. Таким образом, надежность есть степень согласованности результатов тестирования, получаемых при первом и последующих измерениях.
На практике наиболее широко применяется шесть типов надежности: надежность ретестовая (тест-ретест надежность), надежность параллельных форм, надежность частей теста (надежность как гомогенность тестов), надежность по Кудеру-Ричардсону, надежность интерпретатора («оценщика») и стандартная ошибка измерений1.
Коэффициент надежности в первых двух случаях вычисляется по формулам расчетов коэффициентов корреляции межу первым и последующим измерениями или между параллельными формами теста. Расчет коэффициента надежности при исследовании гомогенности методики осуществляется путем разбиения ее на равные субтесты и расчета корреляции между этими частями. Полученные коэффициенты корреляции вводятся в формулу Спирмена-Брауна:
R xx = 2 R / 1 + R;
где R – корреляция «половин» теста.
Если части методики являются отдельными дихотомическими заданиями (например, пунктами опросника, на которые может быть два ответа («да» или «нет»), или заданиями с оценкой результата (как правильного, так и неправильного), используется формула:
R xx = (K / K – 1) ∙ (1 – (p i ∙ q i) / x2);
где p i – доля 1-го варианта ответа на i-й вопрос; q i – доля 2-го варианта на i-й вопрос.
Надежность частей теста можно также рассчитать по формуле Кудера-Ричардсона:
R xx = (K / K – 1) ∙ (1 – ( x i2) / x2);
где К – количество равных частей теста;
x i2 – дисперсия i-й части теста;
x2 – дисперсия целого теста.
При работе с клиническими опросниками, тестами креативности и проективными технологиями надежность методик определяется путем сравнения интерпретаций результатов двумя или более экс-
1 Подробнее см.: Анастази А., Урбина С. Психологическое тестирование.
СПб., 2001. С. 103–132.