Как вводят общество в заблуждение внешне убедительными исследованиями?

Многие считают научные исследования по определению надёжными . Читая или слыша выражения вроде «ИССЛЕДОВАНИЕ ПОКАЗЫВАЕТ…» или «НЕДАВНЕЕ ИССЛЕДОВАНИЕ ДОКАЗАЛО…», люди обычно доверяют следующим за ними утверждениям. Но насколько оправдано это доверие к исследованиям и исследователям и на что нам следует обращать внимание?

Традиционная, комплементарная и альтернативная медицина: её ведущий мировой специалист, профессор, доктор Эдзард Эрнств статье ниже на ярких примерах объясняет, что не все научные исследования обладают одинаковой доказательной силой и качеством и как общество обманывают, ссылаясь на научные исследования:

«За 25 лет занятий так называемой альтернативной медициной (so-called alternative medicine — SCAM) я встретил бесчисленные примеры, вызывавшие у меня сомнения. В этой статье я кратко рассмотрю множество способов, которыми потребителей можно вводить в заблуждение убедительными доказательствами», — так доктор Эрнст начинает свою статью…

Примечание: Эдзард Эрнст рассматривает практики «традиционной, комплементарной и альтернативной медицины» под заголовком «так называемая альтернативная медицина (so-called alternative medicine — SCAM)». Однако далее в статье вместо SCAM мы использовали термин «альтернативная медицина».

Отсутствие доказательств

Я только что закончил читать немецкую книгу Heilpraktiker, полностью посвящённую альтернативной медицине. Автор делает сотни утверждений и представляет их как доказательные факты. Уверен, многим обычным людям или потребителям это покажется убедительным. Однако есть смертельный изъян: автор не предоставляет никаких реальных доказательств в поддержку своих заявлений. Приведённые источники — лишь другие книги, столь же бездоказательные . Этот популярный приём неподкреплённых утверждений позволяет автору высказываться без контроля и противовесов. Обычный человек часто не способен или не желает отличать подобные истории от доказательств, поэтому этот способ прост и популярен для введения нас в заблуждение относительно альтернативной медицины.

Ложные доказательства

В моих прежних статьяхмы сталкивались с этим явлением до утомления: комментатор выдвигает утверждение и подкрепляет его некоторыми внешне убедительными доказательствами, зачастую из авторитетных источников. Те немногие из нас, кто трудится прочитать исходные статьи, быстро понимают, что они не говорят того, что утверждает комментатор. Этот метод опирается на то, что читателя легко убедить ложными доказательствами. Большинство потребителей не утруждают себя попыткой заглянуть за дымовую завесу, создаваемую такими заявителями, поэтому метод обычно работает на удивление хорошо.

Пример: Vidatox— гомеопатическое «лечение» рака с Кубы (см. нашу статью о яде голубого скорпиона). Сайт Vidatox утверждает, что он эффективен при большинстве видов рака. Учитывая впечатляющий характер этого заявления, можно ожидать множество опубликованных статей о Vidatox. Однако поиск в Medline дал одну статью на эту тему. Её авторы заключили: «Наши результаты показывают, что концентрация Vidatox, использованная в данном исследовании, не обладает противораковым действием и что при применении Vidatox у пациентов с раком печени следует соблюдать осторожность."

Вопрос, который следует задавать часто: где тонкая грань между вводящим в заблуждение исследованием и мошенничеством ?

Опросы

Нет области здравоохранения, в которой проводилось бы больше опросов, чем в альтернативной медицине!

Ежегодно в этой области публикуют около 500 опросных исследований! У этого «опросного безумия» есть цель: поддержать положительное представление об альтернативной медицине, что редко удаётся экспериментальным исследованиям.

Для типичного опроса по альтернативной медицине группа увлечённых исследователей составляет несколько вопросов, чтобы выяснить, какой процент некоторой группы людей в прошлом пробовал альтернативную медицину. Затем они могут получить сто — двести ответов. Используя простую описательную статистику, исследователи показывают, какой процент пользовался альтернативной медициной. В итоге результат публикуют в одном из преимущественно третьесортных журналов альтернативной медицины.

Вывод таков: если альтернативная медицина столь популярна, она должна быть хорошей; если она хороша, государство должно её оплачивать. Немногие потребители поймут, что этот вывод — немногим больше, чем вводящая в заблуждение апелляция к популярности.

Уклонение от вопроса

Другой популярный способ исследователей альтернативной медицины вводить общество в заблуждение — избегать важных исследовательских вопросов; если не задавать настоящих вопросов, то и неудачником не покажешься!

Например, специалисты по хиропрактике — ручному воздействию на спинной мозг и суставы — будут отрицать, что одним из важнейших побочных эффектов этой практики является риск спинальной манипуляции, то есть повреждения спинного мозга. Поэтому можно ожидать, что значительная часть публикуемых исследований хиропрактики посвящена этому. Но всё наоборот. Medline сейчас содержит более 3000 статей о «хиропрактике», и только 17 — о «хиропрактике и вреде».

Пилотные исследования

Пилотное исследование проводится в малом масштабе до полномасштабного исследовательского проекта, чтобы оценить осуществимость, время, стоимость и побочные эффекты, улучшить дизайн; это предварительное исследование, однако базовые условия не выполнены во множестве публикуемых пилотных исследований альтернативной медицины. Настоящие пилотные исследования здесь очень редки. Причина обилия ложных пилотных исследований очевидна: их легко истолковать как обнадёживающе положительные результаты любой проверяемой альтернативной практики. Затем её сторонники могут обманывать общество, заявляя о множестве положительных исследований и, следовательно, о надёжной доказательной поддержке альтернативных методов.

«Безопасный» дизайн исследований

Существует несколько способов спланировать исследование так, чтобы риск отрицательного результата был минимален:

В исследованиях альтернативной медицины наиболее популярен дизайн «A + B против B». Например, в этом исследованиионкологических пациентов, страдающих усталостью, случайным образом распределили на обычное лечение или обычное лечение плюс регулярную акупунктуру. Затем исследователи отслеживали ощущение усталости у пациентов и обнаружили, что группа акупунктуры чувствовала себя лучше контрольной. Эффект был статистически значим, и редакционный комментарий в журнале публикации назвал эти доказательства «убедительными». Благодаря искусно преувеличенному пресс-релизу новость быстро распространилась, а исследование во всём мире приветствовали как большой прорыв в лечении рака.

Представьте, что у вас есть сумма A, а у вашего друга — такая же сумма плюс B. У кого больше денег? Конечно, у друга: A+B всегда больше A, если B не является отрицательной суммой. По той же причине такие «прагматические» испытания всегда дают положительный результат, если лечение не причиняет реального вреда. Как обычно, лечение плюс акупунктура — это больше, чем одно лечение, а значит, вероятнее даст хороший результат. Это верно, даже если акупунктура — чистое плацебо : ведь плацебо — больше, чем ничего, и эффект плацебо повлияет на результат, особенно при столь субъективном симптоме, как усталость.

Более очевидный способ получить ложноположительные результаты — не включать ослепление в дизайн исследования. Клинические исследования: цель ослепления пациента, специалиста по лечению и оценщика относительно распределения по группам — «убедиться, что ожидание не вносит вклад в результат». Ожидание, возможно, не сдвигает горы, но точно может повлиять на итог клинического исследования. У надеющихся на улучшение пациентов некоторые жалобы могут уменьшиться, даже если регулярно получаемое лечение бесполезно. Кроме того, если врачи и оценщики имеют предвзятые представления об экспериментальном лечении, они склонны смотреть на результаты сквозь розовые очки.

Отсутствие случайного распределения участников по группам исследования— ещё один источник предвзятости, вводящий нас в заблуждение. Если позволить пациентам или исследователям выбирать, кто получит экспериментальное, а кто контрольное лечение, две группы, вероятно, будут отличаться по множеству переменных (см. историю лечения рака высокими дозами витамина C). Некоторые переменные могут влиять на результат. Например, если врачи распределяют пациентов между экспериментальной и контрольной группами, в первую они могут выбрать тех, кто ответит на лечение, а во вторую — тех, кто не ответит. Это может происходить не намеренно, а интуитивно: ответственные медработники хотят назначить лечение тем, у кого, по их опыту, наибольший шанс пользы. При правильно проведённой рандомизации можно быть уверенными, что сравниваются сопоставимые группы пациентов. Неслучайное распределение по группам легко даёт ложноположительные результаты.

Ввести людей в заблуждение можно и исследованиями, которые не проверяют превосходство одного экспериментального лечения над другим (обычно это называют исследованиями превосходства), а оценивают его эквивалентность терапии, общепризнанно эффективной [в медицине это называют гипотезой не меньшей эффективности (non-inferiority) ]. Идея в том, что если оба лечения дают сходные положительные результаты, оба должны быть эффективны. Такие испытания называют исследованиями не меньшей эффективности или эквивалентности, и они предоставляют множество возможностей ввести нас в заблуждение. Например, при недостаточном числе пациентов такое исследование может не показать различия независимо от реальной эффективности. Рассмотрим простой теоретический пример: кто-то предлагает сравнить антибиотики с акупунктурой при бактериальной пневмонии у пожилых. Исследователи лечат по 10 пациентов в каждой группе; в одной умирают 2, в другой — 3. Статистический тест показывает, что разница всего в одного пациента незначима, поэтому авторы заключают, что акупунктура при бактериальных инфекциях столь же хороша, как антибиотики.

Ещё более обманчивый вариант в исследовании эквивалентности — давать контрольной группе недостаточную дозу лечения. В примере выше исследователи могут затем набрать сотни пациентов, чтобы преодолеть критику первого исследования, и решить назначить контрольной группе низкую дозу антибиотика. Результаты будто бы подтвердят первоначальный вывод: акупунктура столь же хороша при пневмонии, как антибиотик. Затем специалисты по акупунктуре смогут утверждать, что эффективность их лечения доказана в очень большом рандомизированном клиническом исследовании. Люди, не знающие правильную дозу антибиотика, легко поддадутся обману.

Если контрольная группа в исследовании эквивалентности получает не просто неэффективное, но и вредное лечение, результат будет явно ещё впечатляющее. При таком сценарии даже самая бесполезная альтернативная терапия будет выглядеть эффективной просто потому, что она менее вредна, чем средство сравнения.

Другая версия этой идеи — сравнение одного недоказанного лечения с другим недоказанным лечением во множестве контролируемых клинических исследований альтернативной медицины. Результаты обычно показывают отсутствие различий в клиническом исходе пациентов двух групп. Увлечённые исследователи склонны заключать, что это доказывает одинаковую эффективность обоих методов. Однако более вероятный вывод — оба одинаково бесполезны.

Ещё один способ ввести общество в заблуждение — делать выводы, не подкреплённые данными . Представьте, что испытание гомеопатии (разведённой медицины) дало явно отрицательные данные. Как сторонник гомеопатии вы далеки от радости по поводу собственных результатов; кроме того, на вас может давить спонсор. Что делать? Решение просто: достаточно выделить в опубликованной статье хотя бы одно положительное сообщение. В случае гомеопатии, например, можно широко развить тему её безопасности и дешевизны: ни один пациент не умер, большинство были очень довольны лечением, которое даже не было очень дорогим.

Умолчание

Ещё один популярный способ обманывать общество — необоснованно замалчивать результаты, не нравящиеся исследователям альтернативной медицины. Если цель — заставить общество верить в миф об отсутствии побочных эффектов у всех альтернативных методов, исследователям достаточно не сообщать о них в клинических испытаниях. Я неоднократно предупреждал читателей об этом распространённом явлении. Мы даже оценили его в систематическом обзоре, включив 60 рандомизированных контролируемых исследований хиропрактики и акупунктуры. В 29 исследованиях побочные эффекты вообще не упоминались. Полная информация о способе регистрации, частоте, продолжительности, тяжести и возникновении нежелательных эффектов имелась лишь в одном исследовании. 

Большинство исследований имеют много показателей исхода. Например, исследование акупунктуры для контроля боли может измерять боль полудюжиной способов, а также длительность лечения до её исчезновения, количество лекарств помимо акупунктуры, дни отсутствия на работе из-за боли, впечатление супруга о здоровье пациента, качество жизни, нарушения сна из-за боли и так далее. Если затем исследователи оценят все результаты, вероятно, один или два изменятся в желаемом направлении, особенно если переменные оцениваются в полудюжине разных временных точек. Это может быть случайной находкой: при обычных статистических тестах один из 20 показателей исхода может дать значимый результат совершенно случайно. Чтобы обмануть нас, исследователям достаточно «забыть» все отрицательные результаты и сосредоточить публикацию на тех, которые случайно оказались желаемыми.

Мошенничество

Когда речь идёт о мошенничестве, примеров для выбора больше, чем хотелось бы. Мы и другие показали, например, что китайские исследования акупунктуры почти никогда не дают отрицательных результатов. Иными словами, статью можно не читать — уже известно, что результат положительный; более того, исследование можно не проводить — результат известен ещё до начала. Это странное явление указывает на неполадки в китайских исследованиях акупунктуры. Подозрение подтвердила даже команда китайских учёных. В этом систематическом обзорекоманда китайских учёных выявила все рандомизированные контролируемые исследования (РКИ), опубликованные в китайских журналах. Найдено 727 РКИ, сравнивающих акупунктуру с современной медициной, 51 РКИ без контроля лечения и 62 РКИ с контролем имитацией акупунктуры, всего 840 РКИ. Среди этих 840 РКИ в 838 исследованиях (% 99,8) первичные исходы были положительными, а в двух испытаниях (% 0,2) — отрицательными. Доли РКИ, скрывавших сведения об отзыве публикации или расчётах размера выборки, составляли соответственно % 43.7, % 5.9, % 4.9, % 9.9 и % 1.7. Авторы заключили, что в РКИ акупунктуры, публикуемых китайскими журналами, может существовать значительная проблема, связанная с высоким риском предвзятости. Мы рекомендуем в дальнейшем проспективно регистрировать все исследования в международных реестрах.

Опрос клинических исследований в Китае выявил масштабное мошенничество. Китайское управление по контролю продуктов питания и лекарств провело годовую проверку клинических испытаний. Оно заключило, что более 80 процентов клинических данных были «сфабрикованы». Проверка оценила данные 1,622 программ клинических исследований новых препаратов, ожидающих разрешения на массовое производство. Власти теперь предупреждают, что могут появиться новые свидетельства нарушений в этом скандале.

Хочу добавить, что мошенничество в исследованиях альтернативной медицины отнюдь не ограничивается Китаем. В нашем разделе комплементарной и альтернативной медицинывы, уверен, найдёте множество доказательств этого утверждения.

Заключение

Если мы хотим получить удовлетворительные ответы на многочисленные вопросы об альтернативной медицине, исследования очевидно необходимы. Но, к сожалению, не все исследования надёжны, а большинство исследований альтернативной медицины вводят в заблуждение. Поэтому нужно всегда сохранять бдительность и применять все доступные нам навыки критической оценки.

*

СВЯЗАННЫЕ ТЕМЫ

• Нет, высокие дозы витамина C не лечат коронавирус! Одобрения FDA нет, кроме лечения цинги
• Эдзард Эрнст — ведущий мировой специалист по традиционной, комплементарной и альтернативной медицине
• В чём различие комплементарных и альтернативных методов лечения?
• Почему неэффективное лечение выглядит эффективным?