in. Clinical biostatistics. Mosby, St. Louis, 1977.

Графиками с рис. 6.10 (и из приложения Б) можно воспользоваться для нахождения чувствительности и объема выборки при работе с таблицами сопряженности**. Сначала нужно решить, какое минимальное различие вы хотели бы обнаружить. В случае таблиц сопряженности это означает, что вам нужно заполнить клетки неЧТО ЗНАЧИТ «НЕЗНАЧИМО»: ЧУВСТВИТЕЛЬНОСТЬ КРИТЕРИЯ 185 Таблица 6.2. Обозначения, используемые при вычислении чувствительности критерия X2

Я. R2

Ri 1,00

которыми долями. В таблице 6.2 приведены обозначения, используемые при вычислении чувствительности таблицы сопряженности, для примера взята таблица 3x2. Здесь рц — доля в /-й строкеу-го столбца, например рх, — доля всех наблюдений в левой верхней клетке, рп — доля наблюдений в правой верхней клетке, и так далее. Сумма всех долей составляет 1. Суммы по строкам обозначаются R;, по столбцам — Су. Параметр нецентральности задается формулой

где г — число строк, с — число столбцов и N — общее число наблюдений. Зная значение ф и число степеней свободы vBHy = оо и

умеж = (г чувствительность можно определить по кривым с рис. 6.10.

N =

Для нахождения объема выборки, при котором достигается требуемая чувствительность, воспользуемся обратной процедурой. Именно, сначала по рис. 6.10 найдем значение параметра нецентральности ф для заданной чувствительности и числа степеней свободы v меж = (г - 1)(с -1) и v вну = оо. А теперь найдем объем выборки, разрешив приведенную выше формулу относительно

Бег и менструации

Дейл и соавт. изучали не только то, как занятия бегом влияют на частоту менструаций, но и то, какая доля женщин обращалась к

врачу. (Этот пример мы подробно рассмотрели в гл. 5, см. табл. 5.5.) Допустим, мы хотим выявить различия не меньшие, чем в табл. 6.3. Уровень значимости а = 0,05, общее число обследованных 7V = 165. Расссчитаем сначала сумму

у(Ри -RjCj )2 _ (0,025-0,250 х0,350)2 ^ RЈ; ~ 0,250x0,350 +

(0,225-0,250х0,650)2 | (0,100-0,300х0,350)2 |

0,250x0,650 0,300x0,350

(0,200-0,300х0,650)2 | (0,225-0,450х0,350)2 [

0,300x0,650 0,450x0,350

= 0,114.

(0,225-0,450 х0,650)2

0,450x0,650 Тогда

ш = — 0,114 =2,50.

\(3-1)(2-1) + 1

По рис 6.10 находим, что для ф =2,50 при умеж = (г —1)(с — 1) = = (3-1)(2 -1) = 2 и vBHy =оо степенях свободы и уровне значимости а = 0,05 чувствительность равна 0,98.

ПРАКТИЧЕСКИЕ ТРУДНОСТИ

Нетрудно рассчитать чувствительность критерия задним числом, когда и стандартное отклонение, и величина эффекта уже известны. К сожалению, мы не знаем эти параметры, когда планируем исследование. Стандартное отклонение можно примерно оценить по литературным данным или проведя предварительное исследование. Величину эффекта узнать заранее невозможно (обычно ее оценка и является целью исследования). Поэтому при расчете чувствительности нужно указать минимальную величину эффекта, которую мы хотим выявить. Немногие решаются поведать миру о том, какова же эта величина, поэтому чувствительность очень редко рассчитывают заранее. Между тем де

лать это совершенно необходимо: иначе мы рискуем проводить исследования, заведомо обреченные на неуспех.

Если после проведения исследования эффект обнаружен, то чувствительность уже неважна. В противном случае — если эффекта не выявлено — она приобретает первостепенное значение. В самом деле, если мы не обнаружили статистически значимых различий при чувствительности 80%, то с высокой вероятностью можно утверждать, что различий действительно нет. Иными словами, мы получили отрицательный результат. Если же чувствительность составляла 25%, то мы просто не получили никакого результата. Обычно данные, необходимые для определения чувствительности, содержатся в статье, поэтому читатель может сам провести расчет.

ЗАЧЕМ ВЫЧИСЛЯТЬ ЧУВСТВИТЕЛЬНОСТЬ?

Ранее, в 4 гл., мы разобрали распространенную ошибку, состоящую в многократном применении критерия Стьюдента. В терминах этой главы можно сказать, что многократное применение критерия Стьюдента увеличивает ошибку I рода. На практике же это означает, что нам сообщают о «статистически значимых различиях» там, где их в действительности нет. Теперь, познакомившись с методами определения чувствительности критерия и убедившись, насколько малой она нередко оказывается, мы можем судить о причинах этого явления. Многие исследования не имели бы никаких шансов на успех, если бы завершались одним единственным сравнением. Конечно, проще сравнить группы по целому ряду лабораторных показателей, чем сделать численность групп достаточной для выявления разницы в летальности. С другой стороны, пренебрежение оценкой чувствительности приводит к тому, что во вполне корректно (в остальном) проведенном исследовании клинически значимый эффект остается невыявленным из-за слишком малой численности групп.

Теперь мы получили достаточное представление о чувствительности, чтобы избежать этих ловушек. Мы узнали о том, как можно оценить чувствительность критерия по данным, приведенным в публикации, и как самому вычислить нужный объем выборок, чтобы обнаружить эффект заданной величины. Результаты таких вычислений часто разочаровывают, поскольку оказывается, что численность групп должна быть огромной (особенно в сравнении с тем обычно небольшим числом больных, которые участвуют в клинических исследованиях)*. Как бы то ни было, мы должны отдавать себе отчет в ограниченности наших возможностей. Однако заведомо несостоятельные исследования все же проводятся. Вряд ли авторы сознательно замалчивают недостаток чувствительности, рассчитывая, что благодаря эффекту множественных сравнений «что-нибудь найдется». На самом деле большинство из них просто никогда ничего не слышали о чувствительности критериев.

Фрейман и соавт.** изучили 71 публикацию*** по результатам контролируемых испытаний, проведенных в 1960—1977 гг., в которых исследуемый метод лечения не дал статистически значимого (Р < 0,05) улучшения исхода. Лишь в 20% работ численность групп была достаточной, чтобы обнаружить снижение частоты неблагоприятных исходов (смерть, осложнение и т. п.) на 25% с

* ПО ДАННЫМ Р. А. И С. У. ФЛЕТЧЕРОВ (R. A. FLETCHER, S. W. FLETCHER. CLINICAL RESEARCH IN GENERAL MEDICAL JOURNALS: A 30-YEAR PERSPECTIVE. N. Engl. J. Med., 301:180—183, 1979), ИЗУЧАВШИХ РАБОТЫ, ОПУБЛИКОВАННЫЕ В JOURNAL OF THE AMERICAN MEDICAL ASSOCIATION, LANCET И NEW ENGLAND JOURNAL OF MEDICINE, В ПЕРИОД С 1946 ПО 1976 Г. МЕДИАНА ЧИСЛЕННОСТИ ГРУППЫ СОСТАВЛЯЛА ОТ 16 ДО 36 ЧЕЛОВЕК. ** J. A. FREIMAN, Т. С. CHALMERS, Н. SMITH JR., R. R. KUEBLER. THE IMPORTANCE OF BETA, THE TYPE II ERROR AND SAMPLE SIZE IN THE DESIGN AND INTERPRETATION OF THE RANDOMIZED CONTROLLED TRIAL. N. Engl. J. Med., 299:690-694, 1978. *** В ЖУРНАЛАХ LANCET, NEW ENGLAND JOURNAL OF MEDICINE, JOURNAL OF THE AMERICAN MEDICAL ASSOCIATION.

вероятностью 50%. Только в одной статье говорилось, что уровень значимости и чувствительность были определены до начала исследования, 14 статей содержали указания на желательность большей численности групп.

Пятнадцать лет спустя аналогичное исследование провели Моэр и соавт., рассмотрев публикации по результатам контролируемых испытаний в тех же журналах за 1990 г. Число публикаций по этой теме по сравнению с 1975 г. возросло вдвое, однако доля отрицательных результатов осталась прежней — около 27%. Доля исследований, обеспечивающих достаточную чувствительность, оказалась примерно той же, что и в работе Фрей-мана и соавт., однако расчет численности групп обнаружен уже в трети статей. Итак, некоторый прогресс налицо, хотя ситуация все же оставляет желать лучшего. Как и во всем, что касается применения статистических методов, полностью полагаться на авторов пока нельзя. Прежде чем принять вывод о неэффективности того или иного метода лечения, читателю следует самостоятельно оценить чувствительность примененного критерия.

* Необходимость заранее определять численность групп ставит исследователей перед нелегким выбором: мириться с высоким риском не получить результат или проводить дорогостоящее широкомасштабное исследование. Эта проблема в значительной мере снимается методами последовательного анализа. При последовательном анализе численность групп не определяется заранее: вместо этого больных включают в исследование по одному. Дождавшись наступления того или иного исхода, выбирают одно из трех: 1) принять гипотезу об отсутствии эффекта, 2) отвергнуть гипотезу либо 3) включить еще одного больного. Последовательный анализ обычно обеспечивает те же величины аир, что и обычные методы, при меньшей численности групп. Применять на каждом шаге критерий Стьюдента было бы неправильно: из-за эффекта множественных сравнений мы получили бы чрезмерно «оптимистическое» значение Р. Последовательный анализ требует применения специальных методов оценки статистической значимости, которые изложены в главе «Sequential analysis* книги W. J. Dixon, F. J. Massey. Introduction to Statistical Analysis, McGraw-Hill, New York, 1969.

Что же все-таки делать с работами, не обнаружившими эффекта из-за недостаточной численности групп*? Нужно ли махнуть рукой на полученные результаты или из них можно извлечь нечто полезное? Оказывается, можно. Для этого следует отказаться от альтернативной логики «эффект есть — эффекта нет» и вместо этого оценить величину эффекта и степень неопределенности этой оценки, то есть рассчитать доверительный интервал, чем мы и займемся в следующей главе.

ЗАДАЧИ

6.1. Используя данные табл. 4.2, вычислите чувствительность критерия Стьюдента, способного обнаружить 50% различие наилучшего сердечного индекса между галотановой и морфиновой анестезией.

6.2. По тем же данным определите, какова должна быть численность групп, чтобы с вероятностью 80% обнаружить 25% различие в наилучшем сердечном индексе.

6.3. Используя данные табл. 4.2, определите чувствительность критерия Стьюдента для выявления изменения среднего артериального давления и общего периферического сосудистого сопротивления на 25%.

6.4. В задаче 3.5 мы не обнаружили влияния внутривенного введения