Материал: Т. В. Корнилова Экспериментальная психология

Предварительное тестирование лишь частично решает эту проблему путем учета исходного уровня интересующей исследователя переменной, поскольку неэквивалентность групп может быть скрыта в неизмеренных переменных, но влияющих на изучаемый базисный процесс.

Соответствующий «истинный» экспериментальный план в книге Дж. Кэмпбелла представлен как план с предварительным и итоговым тестированием и контрольной группой. Он имеет вид схемы 9.1 или 9.2.

Схема 9.1. План с предварительным и итоговым тестированием для экспериментальной и контрольной групп.

Схема 9.2. Тот же план, предполагающий два уровня Х-воздействия.

RO₁XO₂

RO₃ O₄

R XO₅

R O₆

Схема 9.3. План Соломона.

RXO΄

R O΄΄

Схема 9.4. План для экспериментальной и контрольной групп, без предварительного тестирования.

При достаточно хорошем контроле угроз внутренней валидности такой план сравнения ЗП – при наличии экспериментальной и контрольной групп – может иметь недостаточную внешнюю валидность.

Например, как отмечалось, при измерении установок тесты содержат столько необычных или «враждебных» утверждений, что само предварительное тестирование (измерение О₁ и О₃) влияет на убеждения личности и изменяет ее сензитивность в отношении социальных проблем, имеющих этнический подтекст.

Р. Соломон – один из авторов, специально анализировавший подобного рода эффекты тестирования [32], показал, например, что предварительное тестирование повышало успешность экспериментального обучения чтению. Эффект вводимого Х-воздействия для группы, не подвергнутой сенсибилизации посредством тестирования, может быть иным или не столь сильным. Таким образом, обобщение зависимости между уровнями экспериментального фактора (X) и показателями ЗП (тестирования О) может быть ошибочным при переносе ее на обычные группы. Цели специального контроля эффекта тестирования служит план Соломона, схема которого включает сравнение четырех групп: двух экспериментальных и двух контрольных, а удвоение их числа связано с введением фактора «наличие или отсутствие предварительного тестирования» (схема 9.3).

Более простым вариантом является план с контрольной группой и измерением показателей ЗП только после Х-воздействия (или путем сравнения действия разных уровней НП), представленный на схеме 9.4. Именно он рассматривается в качестве общей основы межгрупповых схем сравнений основных результатов действия экспериментальных факторов.

9.3.2. Контроль состава групп

Использование определенных стратегий подбора или отбора испытуемых в группы – существенное дополнение к экспериментальному плану при межгрупповом эксперименте. В зависимости от того, имеет ли экспериментатор дело с наличным составом испытуемых, который ограничен не используемой стратегией отбора, а случайными обстоятельствами и испытуемых остается только распределить по экспериментальной и контрольной группам, или он может контролировать отбор испытуемых (или групп) из популяции. Это определяет разную степень контроля состава групп, их эквивалентности и последующих выводов об установленной зависимости.

В рассмотренных схемах обозначение R указывало на то, что использована определенная стратегия отбора испытуемых в группы – рандомизация, или случайный отбор испытуемых из популяции. Этот критерий иногда рассматривается в качестве строгого критерия экспериментирования. Предполагается, что при использовании этой стратегии состав групп хорошо репрезентирует, т.е. представляет популяцию, из которой были отобраны испытуемые. Соответственно исследование с таким способом отбора испытуемых будет обладать высокой популяционной валидностью. Кроме того, поскольку побочные переменные, связанные с индивидуальными различиями людей, предположительно случайно распределятся между испытуемыми контрольной и экспериментальной групп, то возможные с ними смешения будут в равной степени характеризовать состав обеих групп, т.е. эти группы будут эквивалентными, что обеспечит высокую внутреннюю валидность эксперимента. Итак, в случае стратегии рандомизации для отбора из популяции внешняя и внутренняя валидности эксперимента оказываются взаимосвязанными.

Этого нельзя сказать в том случае, когда исследователь не волен выбирать испытуемых из популяции, а должен распределить по группам уже имеющийся (наличный) состав испытуемых. Стратегией случайного подбора в группы достигается цель подбора эквивалентных по составу групп, что контролирует названную угрозу внутренней валидности. При этом может остаться непроконтролированным способ отбора потенциальных испытуемых из популяции. Возможно, они пришли сами (по объявлению), что позволяет о них говорить как об испытуемых-добровольцах. Предполагается, что в ряде случаев мотивация испытуемых-добровольцев такова, что исследуемые зависимости могут оказаться нерепрезентативными для других групп испытуемых. Возможно, участие в психологическом эксперименте выступило для испытуемых условием достижения целей в рамках профессиональной деятельности. В этом случае вновь встает проблема особой мотивационной обусловленности выполнения ими заданий.

Отбор из популяции по заданному критерию может производиться и для выборок испытуемых, и для целых групп. Такими критериями могут выступать пол, возраст, профессиональная принадлежность, образ жизни потенциальных испытуемых и т.д. В ряде случаев именно содержание гипотезы или указание дополнительной переменной прямо определяет критериальные характеристики для отбора испытуемых. Случайная стратегия используется при этом в качестве приема, направленного на обеспечение эквивалентности и репрезентативности групп испытуемых в пределах указанных характеристик.

Другим приемом подбора испытуемых в эквивалентные группы является стратегия попарного уравнивания. Она обычно применяется в случае, если выборка потенциальных испытуемых уже определена и испытуемые могут быть подвергнуты предварительному тестированию. Тестированием условно называется любой способ измерения побочного фактора, который может определить неэквивалентность групп. Соответствующий ему показатель также может быть либо задан критериально, либо являться результатом психологического тестирования. Он измеряется заранее, чтобы потом можно было проранжировать испытуемых либо в соответствии с «сырыми» оценками определить пару испытуемых с наиболее выраженным показателем этой побочной переменной – ПП, затем пару с более низкими показателями и т.д., до тех пор, пока не будут образованы пары между всеми испытуемыми. На следующем этапе испытуемых из каждой пары распределяют между двумя группами, например, согласно случайной стратегии или стратегии «чет–нечет». В результате этого уровень каждой пары в каждой из двух групп представлен одним из «равных» (схожих, эквивалентных) по измеренной ПП-случаев. Если уровни ПП отличались, представляя угрозу внутренней валидности со стороны фактора межиндивидуальных различий, то в результате использованной стратегии подбора испытуемых все уровни этого фактора оказались поровну распределенными между экспериментальным и контрольным условиями. Таким образом, стратегия попарного уравнивания также решает проблему эквивалентности состава групп. Она применяется в основном тогда, когда выборка испытуемых заведомо определена, в ней мало испытуемых и не составляет труда провести предварительное тестирование. Другое основание использования этой стратегии – рассмотрение измеряемой ПП в качестве второго фактора, который наряду с НП существенно определяет изменения ЗП, т.е. имманентно связан с изучаемым базисным процессом.

В случае если для попарного уравнивания используется более чем одна ПП, то число испытуемых в отбираемых таким образом группах существенно уменьшается, даже если потенциальная выборка была большой. Но главное, состав групп при использовании такой стратегии для контроля более чем одной ПП оказывается в результате нерепрезентативным для популяции, в пределах которой измеряемые свойства сочетаются иным образом, чем в отобранных «чистых» группах.

Смешанной по отношению к двум предыдущим является стратегия случайного распределения слоев. На первом этапе ее реализации по заданному критерию или согласно результатам предварительного тестирования составляют группы, соответствующие выделенным характеристикам слоев. В экспериментальной схеме таких групп будет столько, сколько уровней выделено согласно изменениям контролируемой ПП. Состав испытуемых в каждой из отобранных таким образом групп – в каждом слое – уравнивается по всем другим ПП. В результате группы являются однородными, поскольку испытуемые отнесены в группу согласно уровню заданной или измеренной индивидуальной характеристики. На втором этапе случайным образом из каждого слоя отбирают лиц в экспериментальную и контрольную группы. Сравниваемых экспериментальных групп будет столько, сколькими уровнями представлена НП. В результате использования этой стратегии в каждой из отобранных (или подобранных) групп равным образом представлен каждый уровень ПП. Тем самым эта ПП будет считаться проконтролированной, и ее вмешательство не исказит экспериментального эффекта. Случайное распределение слоев имеет преимущество перед стратегией простой рандомизации в том случае, когда различие между слоями связано с изучаемым видом деятельности. Эта стратегия используется часто для контроля переменной, имеющей согласно гипотезе статус дополнительной.

Например, фактор гендерных различий контролируется путем уравнивания состава групп по представленности в них мужчин и женщин. Предполагаемое обобщение исследуемой зависимости на лиц разных возрастов или специальностей будет требовать выделения слоев для обеспечения их равного представительства в составе экспериментальных и контрольных групп.

Случайный отбор групп – четвертая стратегия, обеспечивающая эквивалентность состава групп для экспериментальных и контрольных условий. Она применяется в тех случаях, когда приближение к эксперименту полного соответствия предполагает реализацию Х-воздействий в реальных условиях жизнедеятельности. Например, это сравнение разных методов обучения в средней и высшей школе или изучение изменения систем управления служащими в условиях реально работающих коллективов. Отбор испытуемых в группы означал бы здесь нарушение экологической валидности ситуации. Так, фактор мотивации испытуемых мог бы существенно исказить изучаемые процессы, виды деятельности или личностную включенность испытуемых в выполнение экспериментальных задач.

Таким образом, как содержание проверяемой гипотезы, так и оценка возможностей последующих обобщений создают предпосылки для предпочтения той или иной стратегии.

9.3.3. Интраиндивидуальные схемы

Обеспечение внутренней валидности – основная цель планирования психологического эксперимента при разработке интраиндивидуальных схем сравнений ЗП. Чтобы задать сравниваемые условия, необходимо не менее двух проб, соответствующих уровням НП. Обеспечить идентичность двух проб для одного и того же испытуемого невозможно, так как эти пробы будут следовать в определенном порядке и тем самым будут предъявлены в разное время. Факторы времени и последовательности – основные угрозы смешений (этих ПП) с влиянием экспериментального фактора или базисным процессом, представленным в показателе ЗП. Следует также учесть, что для разных условий НП (активного и пассивного ее уровней) сами задания, выполняемые испытуемым, не могут быть одними и теми же (одну и ту же задачу нельзя решить дважды); они в лучшем случае будут сходными по типу, уровню трудности и т.д. Фактор задач – третий основной источник угроз внутренней валидности при интраиндивидуальных схемах.

Различают три вида смешений, связанных с названными факторами.

1. Несистематическое смешение возникает, когда любой из факторов (или их сочетания) нерегулярно вмешивается в исследуемую зависимость. Источником ПП, связанных с влиянием фактора времени, могут быть как внутренние причины (изменения состояний самого испытуемого, фоновые колебания показателя ЗП), так и внешние (случайное отвлечение на шум в коридоре, окрик коллеги, телефонный звонок и т.п.). Если они неравномерно распределились по сравниваемым условиям НП, то будет иметь место искажение экспериментального эффекта (как разницы в показателях ЗП). Это будет эффект другого вида или другой величины по сравнению с тем, который был бы получен, если бы ПП не влияла на измеренные показатели.

2. Одно из следствий таких нерегулярных влияний ПП – ненадежность данных, т.е. при другом разбросе уровней ПП – по пробам в течение времени – устанавливается другая связь значений ЗП с уровнями НП. Обычно эта угроза выводу об экспериментальной зависимости контролируется в двух противоположных направлениях. С одной стороны, экспериментатор стремится свести число проб в общей экспериментальной последовательности к минимуму, чтобы провести индивидуальный эксперимент в как можно более сжатые сроки, нивелируя фактор времени. С другой стороны, экспериментатор должен обеспечить достаточно большое число проб, т.е. постараться приблизиться к бесконечному эксперименту, чтобы все смешения с колебаниями со стороны ПП случайно – и в этом смысле поровну – распределились между уровнями НП. Аналогично обстоят дела и с контролем фактора задач. Воспроизводимость результатов – тот критерий, который позволит оценить результаты как достаточно надежные.

Есть и другие источники ненадежности данных. Так, может иметь место вариабельность самой НП, когда экспериментатор считает пробы отнесенными к одному и тому же уровню, а на самом деле в одной или части из них произошло что-то, что не позволяет считать условия идентичными. На примере физических стимулов можно предполагать колебания напряжения в сети; на примере принятия испытуемыми проблемных ситуаций – изменения их субъективного понимания или личностного принятия проблемы и т.д. О фоновых изменениях измеряемых показателей уже было сказано. Рассмотрим надежность методик измерения.

Ошибки измерения могут быть связаны как с субъектом, проводящим его, так и с устройством прибора или построением психологической методики. Ненадежность психодиагностических средств, включенных в экспериментальную схему сравнений, приведет к тому, что ненадежным будет и полученный экспериментальный результат. Эти источники ошибок, приводящие к смешениям и тем самым к артефактным результатам, уже не связаны с фактором времени. Количеством проб контролируется, таким образом, не только возможность несистематической изменчивости, т.е. первый из источников смешений, связанных с фактором времени.

3. Систематические смешения – основной вид угроз внутренней валидности. Такое смешение возникает, когда один из уровней НП неразрывно связан с активным уровнем какой-то другой переменной (ПП). Например, если испытуемый знает, в чем заключается различие между пробами, то, оказавшись в условиях одной из них, он может стремиться быть более активным или более осторожным. Именно в экспериментальном условии, расцениваемом как более важное для его индивидуальных результатов, он и будет обеспечивать дополнительные усилия, позволяя себе несколько отдохнуть в контрольной пробе. Однако дело не только в мотивационном факторе.

Задачи, подобранные экспериментатором для контрольного условия, могут оказаться несколько более легкими, чем подобранные для активного уровня НП. В таком случае смешением будет регулярное сочетание более активного уровня НП с более высоким уровнем по фактору задачи. Если эксперимент многодневный и в каждый из дней испытуемый проходит только по двум пробам, то может оказаться, что при получении второй из них он всегда будет более уставшим. В таком случае, если пробы чередуются регулярно – каждый день в последовательности АБ, уровень Б оказывается систематически смешанным с фактором времени (большей усталостью испытуемого).

Отдельная проблема – неидентичность влияния предшествующей пробы на последующую. Симметричным эффектом последовательности называется такое влияние предыдущего условия на последующее, когда эффект влияния этой производной ПП (последовательность условий) остается постоянным при изменении направленности переходов между уровнями экспериментального фактора – от А к Б и от Б к А.