Wie wird die Öffentlichkeit mit scheinbar solider Forschung irregeführt?

Viele Menschen glauben, wissenschaftliche Forschung sei schon ihrer Definition nach zuverlässig. Wenn sie Aussagen wie „DIE FORSCHUNG ZEIGT …“ oder „NEUERE FORSCHUNG HAT BEWIESEN …“ lesen oder hören, vertrauen sie meist dem, was folgt. Doch wie berechtigt ist dieses Vertrauen in Forschung und Forscher, und worauf sollten wir achten?

Zur traditionellen, komplementären und alternativen Medizin erläutert deren weltweit wichtigster Vertreter, Prof. Dr. Edzard Ernst, in dem folgenden Beitrag anhand bemerkenswerter Beispiele, dass nicht alle wissenschaftlichen Untersuchungen dieselbe Beweiskraft und Qualität haben und wie Gesellschaften mit dem Hinweis auf wissenschaftliche Forschung getäuscht werden:

Dr. Ernst beginnt seinen Beitrag mit den Worten: „In den 25 Jahren, in denen ich mich mit sogenannter alternativer Medizin (so-called alternative medicine – SCAM) beschäftige, bin ich unzähligen Beispielen begegnet, die mich zweifeln ließen. In diesem Beitrag werde ich kurz die vielen Wege behandeln, auf denen Nutzer mit soliden Belegen irregeführt werden können.“

Hinweis: Edzard Ernst betrachtet Verfahren der „traditionellen, komplementären und alternativen Medizin“ unter der Bezeichnung „sogenannte alternative Medizin (so-called alternative medicine – SCAM)“. Im weiteren Text verwenden wir jedoch statt SCAM den Begriff „alternative Medizin“.

Fehlende Belege

Ich habe gerade ein deutsches Heilpraktikerbuch zu Ende gelesen, das ganz der alternativen Medizin gewidmet ist. Der Autor macht Hunderte Aussagen und stellt sie als evidenzbasierte Tatsachen dar. Ich bin sicher, das erscheint vielen Laien oder Nutzern glaubwürdig. Es gibt jedoch einen entscheidenden Fehler: Der Autor liefert für seine Aussagen keine tatsächlichen Belege. Die angegebenen Quellen sind lediglich andere Bücher, die ebenso unbelegt sind. Diese beliebte Technik unbelegter Behauptungen ermöglicht es dem Autor, ungeprüfte und unausgewogene Aussagen zu machen. Laien sind oft nicht in der Lage oder nicht bereit, solche Geschichten von Belegen zu unterscheiden. Deshalb ist diese Technik ein einfacher und beliebter Weg, uns über alternative Medizin irrezuführen.

Scheinbelege

In meinen früheren Beiträgen sind wir diesem Phänomen bis zum Überdruss begegnet: Ein Kommentator stellt eine Behauptung auf und stützt sie mit scheinbar soliden Belegen, oft aus angesehenen Quellen. Die wenigen von uns, die sich die Mühe machen, die Originalartikel zu lesen, erkennen schnell, dass darin nicht steht, was der Kommentator behauptet. Diese Methode beruht darauf, Leser mit Scheinbelegen leicht zu überzeugen. Da sich die meisten Nutzer nicht die Mühe machen, hinter den Nebelvorhang solcher Anspruchsteller zu blicken, funktioniert die Methode meist überraschend gut.

Ein Beispiel: Vidatox ist eine homöopathische Krebs-„Behandlung“ aus Kuba (siehe unseren Beitrag über blaues Skorpiongift). Die Vidatox-Website behauptet eine Wirksamkeit bei den meisten Krebsarten. Angesichts dieser aufregenden Behauptung wären viele veröffentlichte Artikel über Vidatox zu erwarten. Eine Medline-Suche ergab jedoch nur einen Artikel dazu. Dessen Autoren kamen zu folgendem Schluss: „Unsere Ergebnisse zeigen, dass die in dieser Studie verwendete Vidatox-Konzentration keine krebshemmenden Wirkungen hat und beim Einsatz von Vidatox bei Patienten mit Leberkrebs Vorsicht geboten ist.“

Eine häufig zu stellende Frage lautet: Wo verläuft die feine Grenze zwischen irreführender Forschung und Betrug?

Umfragen

Kein Bereich des Gesundheitswesens produziert mehr Umfragen als die alternative Medizin!

Jedes Jahr werden in diesem Bereich etwa 500 Umfragestudien veröffentlicht! Dieser „Umfragewahn“ verfolgt einen Zweck: eine positive Botschaft über alternative Medizin zu unterstützen, was experimentelle Forschung nur selten tut.

Für eine typische Umfrage zur alternativen Medizin stellt ein Team begeisterter Forscher einige Fragen zusammen, um herauszufinden, welcher Prozentsatz einer Personengruppe früher alternative Medizin ausprobiert hat. Darauf erhalten sie vielleicht hundert bis zweihundert Antworten. Anschließend zeigen sie mit einfacher deskriptiver Statistik, welcher Prozentsatz alternative Medizin verwendet hat. Dieser Befund wird schließlich meist in einer der drittklassigen Fachzeitschriften für alternative Medizin veröffentlicht.

Die Schlussfolgerung lautet: Wenn alternative Medizin so beliebt ist, muss sie gut sein; und wenn sie gut ist, sollte der Staat dafür bezahlen. Nur wenige Nutzer werden erkennen, dass dieser Schluss kaum mehr ist als ein irreführender Appell an ihre Beliebtheit.

Der Frage ausweichen

Ein weiterer beliebter Weg, auf dem Forscher der alternativen Medizin die Öffentlichkeit irreführen, besteht darin, wichtigen Forschungsfragen auszuweichen; wer die eigentlichen Fragen nicht stellt, scheint auch nicht zu scheitern!

Chiropraktiker (Therapeuten, die mit den Händen an Rückenmark und Gelenken arbeiten) werden beispielsweise bestreiten, dass das Risiko spinaler Manipulation (Rückenmarksverletzung) zu den wichtigsten Nebenwirkungen dieses Verfahrens gehört. Daher wäre zu erwarten, dass sich ein Großteil der derzeit veröffentlichten chiropraktischen Forschung damit befasst. Das Gegenteil ist jedoch der Fall. Medline listet derzeit mehr als 3000 Artikel zur „Chiropraktik“, aber nur 17 zu „Chiropraktik und Schaden“.

Pilotstudien

Eine Pilotstudie ist eine kleine Untersuchung, die vor einem umfassenden Forschungsprojekt durchgeführt wird, um Machbarkeit, Zeit, Kosten und Nebenwirkungen zu bewerten und das Studiendesign zu verbessern – eine Vorstudie. Viele der derzeit veröffentlichten Pilotstudien zur alternativen Medizin erfüllen die grundlegenden Voraussetzungen jedoch nicht. Echte Pilotstudien zur alternativen Medizin sind sehr selten. Der Grund für die große Zahl unechter Pilotstudien ist klar: Sie lassen sich leicht so auslegen, dass die jeweils getestete alternative Behandlung ermutigend positive Ergebnisse zeigt. Anbieter alternativer Medizin können die Öffentlichkeit anschließend mit der Behauptung irreführen, es gebe viele positive Studien und ihre Verfahren seien deshalb durch solide Belege gestützt.

„Sichere“ Studiendesigns

Es gibt mehrere Wege, eine Studie so zu gestalten, dass das Risiko eines negativen Ergebnisses minimal ist:

In der Forschung zur alternativen Medizin ist das Design „A + B gegen B“ am beliebtesten. Beispielsweise wurden in dieser Studie an Müdigkeit leidende Krebspatienten zufällig einer üblichen Behandlung oder einer üblichen Behandlung plus regelmäßiger Akupunktur zugeteilt. Die Forscher beobachteten anschließend die Müdigkeit und stellten fest, dass die Akupunkturgruppe besser abschnitt als die Kontrollgruppe. Der Effekt war statistisch signifikant, und ein redaktioneller Kommentar in der veröffentlichenden Zeitschrift nannte diese Belege „überzeugend“. Eine geschickt übertreibende Pressemitteilung verbreitete die Nachricht rasch, und die Studie wurde weltweit als großer Durchbruch in der Krebsbehandlung gefeiert.

Stellen Sie sich vor, Sie besitzen einen Geldbetrag A, und Ihr Freund besitzt denselben Betrag plus einen Betrag B. Wer hat mehr Geld? Ganz einfach Ihr Freund: A+B ist immer größer als A, solange B kein negativer Betrag ist. Aus demselben Grund werden solche „pragmatischen“ Studien stets positive Ergebnisse liefern, sofern die Behandlung keinen wirklichen Schaden anrichtet. Die übliche Behandlung plus Akupunktur ist mehr als die übliche Behandlung allein und wird deshalb mit hoher Wahrscheinlichkeit ein besseres Ergebnis liefern. Das gilt selbst dann, wenn Akupunktur ein reines Placebo ist. Schließlich ist ein Placebo mehr als nichts, und der Placeboeffekt wird das Ergebnis beeinflussen, besonders bei einem so subjektiven Symptom wie Müdigkeit.

Ein noch offensichtlicherer Weg, falsch positive Ergebnisse zu erzeugen, ist, keine Verblindung in das Studiendesign aufzunehmen. Klinische Studien: Patienten, behandelnde Fachleute und Beurteiler hinsichtlich der Gruppenzuteilung zu verblinden soll sicherstellen, dass „Erwartungen“ nicht zum Ergebnis beitragen. Erwartungen versetzen vielleicht keine Berge, können das Ergebnis einer klinischen Studie aber durchaus beeinflussen. Bei Patienten, die auf Besserung hoffen, können manche Beschwerden abnehmen, auch wenn ihre regelmäßige Behandlung nutzlos ist. Haben Ärzte und Ergebnisbeurteiler zudem vorgefasste Ansichten zur experimentellen Therapie, betrachten sie die Ergebnisse eher durch eine rosarote Brille.

Wenn Teilnehmer den Studiengruppen nicht zufällig zugeteilt werden, entsteht eine weitere Quelle von Verzerrungen, die uns irreführen. Wenn Patienten oder Forscher auswählen dürfen, wer die experimentelle und wer die Kontrollbehandlung erhält, unterscheiden sich die Gruppen wahrscheinlich in mehreren Variablen (siehe die Geschichte der hoch dosierten Vitamin-C-Behandlung bei Krebs). Manche dieser Variablen können das Ergebnis beeinflussen. Teilen Ärzte ihre Patienten etwa in Versuchs- und Kontrollgruppen ein, wählen sie für die erste möglicherweise diejenigen aus, die ansprechen werden, und für die zweite solche, die nicht ansprechen. Das muss nicht absichtlich geschehen, sondern kann auf Intuition oder Instinkt beruhen: Verantwortungsvolle Fachleute möchten nach eigener Erfahrung die Patienten mit den besten Aussichten auf einen Nutzen einer bestimmten Behandlung diese auch erhalten lassen. Bei korrekter Zufallszuteilung können wir sicher sein, vergleichbare Patientengruppen zu vergleichen. Eine nicht zufällige Gruppenzuteilung kann leicht falsch positive Befunde erzeugen.

Auch Studien, die nicht prüfen, ob eine experimentelle Behandlung einer anderen überlegen ist (gewöhnlich als Überlegenheitsstudien bezeichnet), sondern ob sie einer allgemein als wirksam anerkannten Therapie gleichwertig ist, können Menschen irreführen [in der Medizin heißt das Nichtunterlegenheitshypothese (non-inferiority)]. Die Idee ist: Wenn beide Behandlungen ähnlich positive Ergebnisse liefern, müssten beide wirksam sein. Solche Studien werden als Nichtüberlegenheits- oder Äquivalenzstudien bezeichnet und bieten vielfältige Möglichkeiten, uns irrezuführen. Hat eine solche Studie beispielsweise nicht genügend Patienten, zeigt sie womöglich unabhängig von der tatsächlichen Wirksamkeit keinen Unterschied. Betrachten wir ein einfaches theoretisches Beispiel: Jemand möchte Antibiotika mit Akupunktur zur Behandlung einer bakteriellen Pneumonie bei älteren Patienten vergleichen. Die Forscher behandeln in jeder Gruppe 10 Patienten; in einer Gruppe sterben 2, in der anderen 3. Statistische Tests zeigen, dass der Unterschied von nur einem Patienten nicht signifikant ist. Die Autoren schließen daher, Akupunktur sei bei bakteriellen Infektionen genauso gut wie Antibiotika.

Noch irreführender ist die Möglichkeit, der Kontrollgruppe einer Äquivalenzstudie eine zu niedrige Behandlungsdosis zu geben. Im genannten Beispiel könnten die Forscher anschließend Hunderte Patienten aufnehmen, um die Kritik an ihrer ersten Studie zu überwinden, und der Kontrollgruppe dann eine niedrige Antibiotikadosis verabreichen. Die Ergebnisse würden ihren ersten Befund scheinbar bestätigen, dass Akupunktur bei Pneumonie genauso gut wie Antibiotika sei. Akupunkteure könnten anschließend behaupten, die Wirksamkeit ihrer Behandlung sei in einer sehr großen randomisierten klinischen Studie bewiesen worden. Menschen, die die richtige Antibiotikadosis nicht kennen, lassen sich dadurch leicht täuschen.

Erhält die Kontrollgruppe einer Äquivalenzstudie eine nicht nur unwirksame, sondern sogar schädliche Behandlung, wirken die Ergebnisse offensichtlich noch eindrucksvoller. In diesem Szenario erscheint selbst die nutzloseste alternative Therapie wirksam, einfach weil sie weniger schädlich ist als die Vergleichsbehandlung.

Eine andere Variante dieser Idee sind die vielen kontrollierten klinischen Studien zur alternativen Medizin, die eine unbewiesene Behandlung mit einer anderen unbewiesenen Behandlung vergleichen. Die Ergebnisse zeigen gewöhnlich keinen Unterschied im klinischen Ergebnis der beiden Patientengruppen. Begeisterte Forscher der alternativen Medizin neigen dazu, darin einen Beweis für die gleiche Wirksamkeit beider Behandlungen zu sehen. Wahrscheinlicher ist jedoch, dass beide gleichermaßen nutzlos sind.

Ein weiterer Weg zur scheinbar berechtigten Irreführung besteht darin, durch die Daten nicht gestützte Schlussfolgerungen zu ziehen. Stellen Sie sich vor, eine Studie zur Homöopathie (Verdünnungsmedizin) liefert eindeutig negative Daten. Als Homöopathiebegeisterter sind Sie mit den eigenen Ergebnissen alles andere als glücklich; vielleicht setzt Sie außerdem ein Sponsor unter Druck. Was können Sie tun? Die Lösung ist einfach: Im veröffentlichten Artikel müssen Sie lediglich mindestens eine positive Botschaft hervorheben. Bei Homöopathie könnten Sie beispielsweise die Tatsache groß herausstellen, dass die Behandlung recht sicher und billig ist: Kein einziger Patient starb, und die meisten waren mit der nicht einmal sehr teuren Behandlung sehr zufrieden.

Auslassungen

Ein weiterer beliebter Weg, die Öffentlichkeit irrezuführen, ist das unbegründete Auslassen von Befunden, die Forschern der alternativen Medizin nicht gefallen. Soll die Öffentlichkeit den Mythos glauben, alternative Verfahren hätten keinerlei Nebenwirkungen, müssen Forscher der alternativen Medizin nur versäumen, diese in klinischen Studien zu berichten. Ich warne meine Leser immer wieder vor diesem verbreiteten Phänomen. Wir haben es sogar in einer systematischen Übersicht untersucht, die 60 randomisierte kontrollierte Studien zu Chiropraktik und Akupunktur einschloss. In 29 davon wurden Nebenwirkungen überhaupt nicht erwähnt. Vollständige Angaben zu Methode, Häufigkeit, Dauer, Schwere und Auftreten unerwünschter Wirkungen fanden sich nur in einer randomisierten kontrollierten Studie. 

Die meisten Studien haben viele Ergebnismaße. Eine Akupunkturstudie zur Schmerzkontrolle kann Schmerzen beispielsweise auf ein halbes Dutzend Arten messen, außerdem die Behandlungsdauer bis zum Nachlassen des Schmerzes, die Menge zusätzlich zur Akupunktur eingenommener Medikamente, die durch Schmerzen bedingten Fehltage bei der Arbeit, den Eindruck des Ehepartners vom Gesundheitszustand des Patienten, dessen Lebensqualität, schmerzbedingt gestörten Schlaf und Ähnliches. Werten die Forscher anschließend alles aus, dürften sich ein oder zwei Ergebnisse in die gewünschte Richtung verändern, besonders wenn diese Variablen zu einem halben Dutzend unterschiedlicher Zeitpunkte bewertet werden. Das kann ein Zufallsbefund sein: Bei üblichen statistischen Tests kann eines von 20 Ergebnismaßen rein zufällig ein signifikantes Ergebnis liefern. Um uns irrezuführen, müssen Forscher nur alle negativen Ergebnisse „vergessen“ und ihre Veröffentlichung auf diejenigen konzentrieren, die zufällig wie erhofft ausfielen.

Betrug

Bei Betrug gibt es mehr Auswahl, als man sich wünschen könnte. Wir und andere haben beispielsweise gezeigt, dass chinesische Akupunkturstudien fast nie einen negativen Befund liefern. Mit anderen Worten: Man muss den Artikel nicht lesen, um zu wissen, dass er positiv ist. Noch extremer: Man muss die Studie nicht durchführen, denn ihr Ergebnis steht schon vorher fest. Dieses seltsame Phänomen zeigt, dass in chinesischen Akupunkturstudien etwas nicht stimmt. Der Verdacht wurde sogar von einem Team chinesischer Wissenschaftler bestätigt. In dieser systematischen Übersicht ermittelte ein chinesisches Wissenschaftlerteam alle in chinesischen Zeitschriften veröffentlichten randomisierten kontrollierten Studien (RCT). Gefunden wurden insgesamt 840 RCT: 727 mit einem Vergleich von Akupunktur und moderner medizinischer Behandlung, 51 ohne Behandlungskontrolle und 62 mit Scheinakupunkturkontrollen. Unter diesen 840 RCT berichteten 838 Studien (99,8%) positive und zwei Studien (0,2%) negative primäre Ergebnisse. Die Prozentsätze der RCT bezüglich Rücknahme der Veröffentlichung oder Verheimlichung von Angaben zur Berechnung der Stichprobengröße betrugen jeweils 43,7%, 5,9%, 4,9%, 9,9% und 1,7%. Die Autoren schlossen, dass bei in chinesischen Zeitschriften berichteten Akupunktur-RCT ein erhebliches Problem mit hohem Verzerrungsrisiko bestehen könnte. Wir empfehlen, alle Studien künftig vorab in internationalen Studienregistern zu registrieren.

Eine Untersuchung klinischer Studien in China deckte Betrugspraktiken in großem Umfang auf. Chinas Behörde für Lebensmittel- und Arzneimittelregulierung überprüfte klinische Studien über ein Jahr. Sie kam zu dem Schluss, dass mehr als 80 Prozent der klinischen Daten „erfunden“ waren. Die Untersuchung bewertete Daten aus 1622 klinischen Forschungsprogrammen zu neuen Arzneimitteln, die auf eine behördliche Zulassung für die Serienproduktion warteten. Die Behörden warnen nun, dass in diesem Skandal weitere Hinweise auf Fehlverhalten auftauchen könnten.

Ich möchte hinzufügen, dass Betrug in der Forschung zur alternativen Medizin keineswegs auf China beschränkt ist. In unserer Rubrik für komplementäre und alternative Medizin finden Sie dafür sicher viele Belege.

Fazit

Um die vielen Fragen zur alternativen Medizin zufriedenstellend zu beantworten, ist Forschung eindeutig nötig. Leider ist aber nicht jede Forschung zuverlässig, und vieles in der Forschung zur alternativen Medizin ist irreführend. Deshalb müssen wir stets wachsam bleiben und alle Fähigkeiten zur kritischen Bewertung einsetzen, die wir aufbringen können.

*

VERWANDTE THEMEN

• Nein, hoch dosiertes Vitamin C behandelt das Coronavirus nicht! Außer bei Skorbut gibt es keine FDA-Zulassung
• Edzard Ernst – der weltweit wichtigste Vertreter der traditionellen, komplementären und alternativen Medizin
• Was ist der Unterschied zwischen komplementären und alternativen Behandlungen?
• Warum erscheinen unwirksame Behandlungen wirksam?