Множественные сравнения

Статистические выводы исследований имеют ауру особой до­казательности, особенно для неспециалистов. Однако, как справед­ливо замечают скептики, возможна "ложь с помощью статистики", пусть даже неумышленная.

исследование хорошо спланировано, математические методы кор­ректны, а намерения авторов безупречны.

Статистические выводы могут вводить в заблуждение, так как точность статистических критериев зависит от количества рассма­триваемых в работе вопросов и от того, когда эти вопросы постав­лены. Если в большом массиве данных проводятся сравнения меж­ду многими переменными, то величина р для каждого индивиду­ального сравнения недооценивает вероятность случайного резуль­тата этого сравнения. Как это ни удивительно, но интерпретация величины р для статистического критерия зависит от контекста.

Рассмотрим следующий пример. Допустим, что было выпол­нено масштабное исследование с большим количеством подгрупп больных и различными исходами. В частности, это может быть клиническое испытание эффективности лечения ишемической бо­лезни сердца, в которое включено несколько разных групп боль­ных (с поражением одной, двух или трех коронарных артерий; с нарушением и без нарушения функции левого желудочка; с нару­шениями ритма сердца и без них; с различными сочетаниями этих состояний) и рассматривается несколько исходов (смерть, ин­фаркт миокарда, стенокардия). Предположим также, что в дейст­вительности не существует связи между разными видами лечения и исходами в любой из подгрупп. И наконец, предположим, что эф­фекты лечения оцениваются раздельно для каждой подгруппы и для каждого исхода. Это процесс, который включает в себя очень много сравнений. Как указывалось ранее в этой главе, при уровне значимости 0,05 одно из 20 таких сравнений по случайным причи­нам даст статистически значимый результат. В общем случае, если производится 20 сравнений, то в среднем одно покажет статисти­чески значимый результат; если 100 сравнений, то примерно 5 и т.д. Таким образом, при большом числе сравнений некоторые из них просто вследствие случайности превысят уровень статистиче­ской значимости различий, даже если на самом деле истинных свя­зей между переменными не существует.

Этот феномен называется проблемой множественных сравне­ний. Вследствие этой проблемы, доказательность данных клиниче­ских исследований зависит от того, планировалось ли до начала исследования проведение этих сравнений.

К сожалению, из публикуемых результатов исследования не всегда можно узнать, сколько в действительности было сделано сравнений. Часто важные находки отбираются из большого числа несущественных. Выборочное принятие решения о том, что важно

и что неважно в отношении большого объема данных, может при­вести к значительному искажению действительности.

Как учесть статистический эффект множественных сравнений при интерпретации результатов исследования? Хотя с этой целью предлагались методы стандартизации все же лучше всего, пони­мая проблему, с осторожностью относиться к положительным за­ключениям исследований с множественными сравнениями. Один специалист по статистике выразил это следующим образом [13]:

"Если Вы анализируете данные достаточно глубоко и делаете это достаточно часто, Вы наверняка найдете что-нибудь необычное. Многие из этих странных находок связаны со случайностью. Я не имею ввиду, что манипуляции с данными - предосудительное заня­тие, просто находки, которые не были исходно сформулированы в качестве главных задач испытания, следует воспринимать с пре­дельной осторожностью. Когда-нибудь теоретическая статистика научит нас, что делать с подобными результатами. А сейчас, я ду­маю, самая лучшая позиция - это осторожность, соединенная со стремлением подтвердить или отвергнуть находки в дальнейших исследованиях".

Об оценке достоверности статистически значимых различий в подгруппах сообщалось в главе 7.