икальная черта на верхушке у каждого столбика соответствует интервалу плюс-минус одна стандартная ошибка среднего (а не стандартное отклонение).

• Если схема эксперимента предполагает большее число групп, воспользуйтесь дисперсионным анализом.

• Если критерий Стьюдента был использован для проверки различий между несколькими группами, то истинный уровень значимости можно получить, умножив уровень значимости, приводимый авторами, на число возможных сравнений.

КРИТЕРИЙ СТЬЮДЕНТА ДЛЯ МНОЖЕСТВЕННЫХ СРАВНЕНИЙ

Только что мы познакомились со злостным вредителем научных исследований — эффектом множественных сравнений. Он состоит в том, что при многократном применении критерия вероятность ошибочно найти различия там, где их нет, возрастает.

Если исследуемых групп больше двух, то следует воспользоваться дисперсионным анализом. Однако дисперсионный ана25

лиз позволяет проверить лишь гипотезу о равенстве всех средних. Но, если гипотеза не подтверждается, нельзя узнать, какая именно группа отличается от других.

Это позволяют сделать методы множественного сравнения. Все они основаны на критерии Стьюдента, но учитывают, что сравнивается более одной пары средних. Сразу поясним, когда, на наш взгляд, следует использовать эти методы. Наш подход состоит в том, чтобы в первую очередь с помощью дисперсионного анализа проверить нулевую гипотезу о равенстве всех средних, а уже затем, если нулевая гипотеза отвергнута, выделить среди них отличные от остальных, используя для этого методы множественного сравнения*. Простейший из методов множественного сравнения — введение поправки Бонферрони.

Как было показано в предыдущем разделе, при трехкратном применении критерия Стьюдента с 5% уровнем значимости вероятность обнаружить различия там, где их нет, составляет не 5%, а почти 3x5 = 15%. Этот результат является частным случаем неравенства Бонферрони: если к раз применить критерий с уровнем значимости а, то вероятность хотя бы в одном случае найти различие там, где его нет, не превышает произведения ^ на а. Неравенство Бонферрони выглядит так:

а' < ка,

где а' — вероятность хотя бы один раз ошибочно выявить различия.

* Некоторые авторы считают этап дисперсионного анализа излишним и предлагают сразу применить методы множественных сравнений. Этот подход изложен в В. W. Broun, Jr., М. Hollander. Statistics: а biomedical introduction. Wiley, New York, 1977, chap. 10. Analysis of K-samples problems.

Можно сказать, что асобственно, и является истинным уровнем значимости многократно примененного критерия. Из неравенства Бонферрони следует, что если мы хотим обеспечить вероятность ошибки а', то в каждом из сравнений мы должны принять уровень значимости а '/к — это и есть поправка Бонферрони. Например, при трехкратном сравнении уровень значимости должен быть 0,05/3 = 1,7%.

Поправка Бонферрони хорошо работает, если число сравнений невелико. Если оно превышает 8, метод становится слишком «строгим» и даже весьма большие различия приходится признавать статистически незначимыми*. Существуют не столь жесткие методы множественного сравнения, например критерий Ньюмена—Кейлса (его мы рассмотрим в следующем разделе). Все методы множественного сравнения схожи с поправкой Бонферрони в том, что, будучи модификацией критерия Стьюдента, учитывают многократность сравнений.

Один из способов смягчить строгость поправки Бонферрони состоит в том, чтобы увеличить число степеней свободы, воспользовавшись знакомой из дисперсионного анализа внутри-групповой оценкой дисперсии. Вспомним, что

X, -X

2

2 2 S S

+

, Я, nz

где s2 — объединенная оценка дисперсии совокупности.

Используя в качестве такой оценки внутригрупповую дисперсию slHy (гл. 3), получим:

Xt -X

2 2

^вну ^вну

__L + —

Если объемы выборок одинаковы, то

t = x{-x2

2s2

< вну

п

* Способность критерия выявлять различия называется чувствительностью, она обсуждается в гл. 6.

Число степеней свободы \ = т(п-\). Если число групп т больше 2, то число степеней свободы при таком расчете будет больше 2{п -1), благодаря чему критическое значение / уменьшится.

Бег и менструации. Продолжение анализа

В предыдущей главе мы выяснили, что различия в ежегодном числе менструальных циклов в группах спортсменок, физкультурниц и в контрольной группе статистически значимы. Однако осталось неясным, отличаются ли от контрольной группы и спортсменки, и физкультурницы — или только спортсменки? Отличаются ли спортсменки от физкультурниц? Способа определить межгрупповые различия у нас не было. Теперь, используя критерий Стьюдента с поправкой Бонферрони, мы можем попарно сравнить все три группы.

Внутригрупповая оценка дисперсии s2BHy =3,95. Число групп т = 3, численность каждой группы п = 26. Следовательно, число степеней свободы v = т(п -1) = 3(26-1) = 75. (Если бы мы оценивали дисперсию по двум группам, число степеней свободы было бы 2(п -1) = 2(26 -1) = 50.) Произведем попарное сравнение трех групп.

При сравнении контрольной группы и группы физкультурниц имеем:

V V 26

при сравнении контрольной группы и группы спортсменок: { = Хф= 91-П.5 =_435j

Т~ V 26

и при сравнении группы физкультурниц и группы спортсменок:

,=^??-=щьЕ=1,81.

V 26

Мы провели 3 сравнения, поэтому уровень значимости в каждом должен быть 0,05/3, то есть примерно 0,017. По таблице 4.1 находим*, что при 75 степенях свободы критическое значение составляет примерно 2,45.

Таким образом, мы можем заключить, что и у спортсменок, и у физкультурниц частота менструаций ниже, чем в контрольной группе, при этом у спортсменок и физкультурниц она не отличается.

КРИТЕРИЙ НЬЮМЕНА-КЕЙЛСА**

При большом числе сравнений поправка Бонферрони делает критерий Стьюдента излишне жестким. Более изощренный критерий Ньюмена—Кейлса дает более точную оценку вероятности а'; чувствительность его выше, чем критерия Стьюдента с поправкой Бонферрони.

В

Сначала нужно с помощью дисперсионного анализа проверить нулевую гипотезу о равенстве всех средних. Если она отвергается, все средние упорядочивают по возрастанию и сравнивают попарно, каждый раз вычисляя значение критерия Ньюмена—Кейлса:

ХА-Х

* Собственно говоря, значения для а = 0,017 в таблице нет. В таких случаях можно либо использовать ближайшее меньшее значение а (в нашем примере это 0,01), либо приблизительно рассчитать нужное критическое значение по соседним. Если нужное нам значение ан находится между а! и а2, которым соответствуют критические значения tl и t2, то

где tH — критическое значение для уровня значимости а н. ** Этот раздел важен для тех, кто использует нашу книгу как руководство по анализу данных. Его можно опустить без ущерба для понимания остального материала.

где ХА и Хв — сравниваемые средние, s2BHy — внутригрупповая дисперсия, апА ипв — численность групп.

Вычисленное значение q сравнивается с критическим значением (табл. 4.3). Критическое значение зависит от а' (вероятность ошибочно обнаружить различия хотя бы в одной из всех сравниваемых пар, то есть истинный уровень значимости), числа степеней свободы v = N -т (где N — сумма численностей всех групп, т — число групп) и величины /, которая называется интервалом сравнения. Интервал сравнения определятся так. Если сравниваются средние, стоящие соответственно на у'-м и/-м месте в упорядоченном ряду, то интервал сравнения l = j-i + \. Например, при сравнении 4-го и 1-го членов этого ряда / = = 4-1 + 1 = 4, при сравнении 2-го и 1-го / =2-1 + 1=2.

Результат применения критерия Ньюмена—Кейлса зависит от очередности сравнений, поэтому их следует проводить в определенном порядке. Этот порядок задается двумя правилами.

1. Если мы расположили средние от меньшего к большему (от 1 до т), то сначала нужно сравнить наибольшее с наименьшим, то естьт-е с 1-м, затем m-t со 2-м, 3-м и так далее, вплоть до т -1-го. Затем предпоследнее (т -1-е) тем же порядком сравниваем с 1-м, 2-м и так далее до т -2-го. Продолжаем эти «стягивающие сравнения», пока не переберем все пары. Например, в случае 4 групп порядок сравнений такой: 4—1, 4—2, 4—3, 3—1, 3—2, 2—1.

2. Перебирать все пары, впрочем, приходится не всегда. Если какие-либо средние не различаются, то все средние, лежащие между ними, тоже не различаются. Например, если не выявлено различий между 3-м и 1-м средним, не нужно сравнивать ни 3-е со 2-м, ни 2-е с 1-м.

Бег и менструации. Продолжение анализа

Воспользуемся критерием Ньюмена—Кейлса для анализа связи частоты менструаций с занятиями физкультурой и спортом. Среднегодовое число менструаций в контрольной группе составило 11,5, у физкультурниц — 10,1 и у спортсменок — 9,1. Упорядочим эти средние по возрастанию: 9,1; 10,1; 11,5 (спортсменки, физкультурницы, контроль) и обозначим их Х{, Х2, Х2 соответственно. Оценка внутригрупповой дисперсии s2BHy = 3,95, число степе

ней свободы v = 75, численность каждой группы 26 человек. Теперь мы можем воспользоваться критерием Ньюмена—Кейлса. СравнимХ3 иХ{. Имеем:

Я =

Хъ-Х

< 1 р

+ —

V«3 я, У

11,5-9,1

'3,95(J_ V\ 26 + 26

= 6,157.

Интервал сравнения в данном случае: / = 3-1 + 1=3. По таблице 4.ЗА находим, что для уровня значимости а' =0,05, числа степеней свободы v = 75 и интервала сравнения 1 = 3 критическое

СРАВНЕНИЕ ДВУХ ГРУПП: КРИТЕРИЙ СТЬЮДЕНТА 111

Таблица 4.3Б. Критические значения д для а' = 0,01

Интервал сравнения /

Harter. Order statistics and their use in testing and estimation. Vol. 1: Tests based on range and studentized range of samples from a normal population. U.S. Government Printing Office. Washington, D.C., 1970.

значение g равно 3,385, то есть меньше, чем получилось у нас. Следовательно, различие статистически значимо. Теперь сравним Хъ иХ2.

11,5-10,1

(1 _п

v26 + 26

= 3,592.

Величины а' и vте же, что и раньше, но теперь / = 3- 2 + 1=2. По таблице 4.3А находим критическое значение # = 2,822. Полученное нами значение снова превосходит критическое. Различие статистически значимо.

X, -X

Для Х2 и Х{ имеем:

= 2,566.

10,1-9,1

Величины а', v и/ =2-1+1=2 те же, что и