Cum este indus în eroare publicul prin cercetări aparent solide?

Mulți oameni cred că cercetările științifice sunt, prin definiție, fiabile. Când citesc sau aud expresii precum „CERCETAREA ARATĂ…” sau „O CERCETARE RECENTĂ A DEMONSTRAT…”, oamenii au de obicei încredere în afirmațiile care urmează. Dar cât de justificată este această încredere în cercetare și cercetători și la ce trebuie să fim atenți?

Medicina tradițională, complementară și alternativă îl are drept cel mai important nume la nivel mondial pe Prof. Dr. Edzard Ernst, care explică în articolul de mai jos, prin exemple remarcabile, că cercetările științifice nu au toate aceeași forță a dovezilor și aceeași calitate și cum sunt înșelate societățile prin accentul pus pe cercetarea științifică:

Dr. Ernst își începe articolul astfel: „În cei 25 de ani în care am fost implicat în așa-numita medicină alternativă (so-called alternative medicine – SCAM), am întâlnit nenumărate exemple care mi-au provocat îndoieli. În acest articol voi prezenta pe scurt numeroasele moduri în care utilizatorii pot fi induși în eroare prin dovezi solide.”

Notă: Edzard Ernst include practicile de „medicină tradițională, complementară și alternativă” sub denumirea de „așa-numita medicină alternativă (so-called alternative medicine – SCAM)”. Totuși, în continuarea articolului am folosit termenul „medicină alternativă” în loc de SCAM.

Absența dovezilor

Tocmai am terminat de citit o carte germană de Heilpraktiker, dedicată integral medicinei alternative. Autorul face sute de afirmații și le prezintă ca fapte bazate pe dovezi. Sunt sigur că mulți oameni obișnuiți sau utilizatori le vor găsi convingătoare. Există însă un defect fatal: autorul nu reușește să ofere nicio dovadă reală care să susțină afirmațiile. Referințele oferite provin doar din alte cărți la fel de lipsite de dovezi. Această tehnică populară a afirmațiilor nesusținute permite autorului afirmații necontrolate și dezechilibrate. O persoană obișnuită adesea nu poate sau nu dorește să distingă asemenea povești de dovezi; de aceea, tehnica este ușoară și populară pentru a ne induce în eroare despre medicina alternativă.

Dovezi false

În articolele mele anterioare, am întâlnit acest fenomen până la saturație: un comentator face o afirmație și o susține cu unele dovezi, adesea din surse respectabile, aparent solide. Puținii dintre noi care se ostenesc să citească articolele-sursă observă repede că nu spun ceea ce susține comentatorul. Metoda se bazează pe faptul că cititorul poate fi ușor convins prin dovezi false. Cum majoritatea utilizatorilor nu se ostenesc să privească dincolo de perdeaua de fum oferită de cei care fac asemenea afirmații, metoda funcționează adesea surprinzător de bine.

Un exemplu: Vidatox este un „tratament” homeopat pentru cancer din Cuba (vedeți articolul nostru despre veninul de scorpion albastru). Site-ul Vidatox susține că este eficient pentru majoritatea cancerelor. Dat fiind cât de incitantă este afirmația, ne-am aștepta la numeroase articole publicate despre Vidatox. Totuși, o căutare Medline a găsit un singur articol pe această temă. Autorii au concluzionat: „Rezultatele noastre arată că acea concentrație de Vidatox folosită în studiul actual nu are efecte anticancerigene și că trebuie manifestată prudență în utilizarea Vidatox la pacienții cu cancer hepatic."

Întrebarea care trebuie pusă frecvent: unde este linia fină dintre cercetarea înșelătoare și fraudă?

Sondaje

Niciun domeniu al îngrijirii sănătății nu produce mai multe sondaje decât medicina alternativă!

În acest domeniu se publică aproximativ 500 de studii prin sondaj în fiecare an! Această „manie a sondajelor” are un scop: susținerea unui mesaj pozitiv despre medicina alternativă, ceea ce cercetările experimentale fac rareori.

Pentru un sondaj tipic de medicină alternativă, o echipă de cercetători entuziaști adună câteva întrebări și organizează un sondaj pentru a afla ce procent dintr-un grup de persoane a încercat în trecut medicina alternativă. Cercetătorii pot primi apoi o sută – două sute de răspunsuri. Prin statistici descriptive simple arată apoi ce procent a folosit medicina alternativă. Constatarea este publicată în cele din urmă într-una dintre numeroasele reviste de medicină alternativă de mâna a treia.

Concluzia este următoarea: dacă medicina alternativă este atât de populară, trebuie să fie bună; dacă este bună, statul trebuie să o plătească. Puțini utilizatori vor observa că această concluzie este puțin mai mult decât un apel înșelător la popularitate.

Evitarea întrebării

Altă modalitate populară prin care cercetătorii medicinei alternative induc publicul în eroare este evitarea întrebărilor importante de cercetare; dacă nu pui întrebările reale, nici nu vei părea că ai eșuat!

De exemplu, specialiștii în chiropractică (terapie manuală asupra măduvei spinării și articulațiilor) vor nega că unul dintre cele mai importante efecte adverse ale practicii este riscul manipulării spinale (leziune a măduvei spinării). De aceea, ne-am aștepta ca mare parte a cercetărilor chiropractice publicate în prezent să fie dedicate acestui aspect. Dar situația este inversă. Medline listează în prezent peste 3000 de articole despre „chiropractică”, însă doar 17 despre „chiropractică și prejudicii”.

Studii-pilot

Un studiu-pilot este o cercetare de mică amploare, desfășurată înaintea unui proiect complet, pentru a evalua fezabilitatea, timpul, costurile și efectele adverse și pentru a îmbunătăți proiectarea studiului; este un studiu preliminar. Totuși, numeroase studii-pilot de medicină alternativă publicate în prezent nu îndeplinesc condițiile preliminare fundamentale. Studiile-pilot autentice de medicină alternativă sunt foarte rare. Motivul abundenței studiilor-pilot false este clar: indiferent de medicina alternativă testată, ele pot fi ușor interpretate ca arătând rezultate încurajator de pozitive. Susținătorii medicinei alternative pot apoi induce publicul în eroare, afirmând că există multe studii pozitive și că practicile medicinei alternative sunt, astfel, susținute de dovezi solide.

Proiectări „sigure” ale studiilor

Există câteva modalități de a proiecta un studiu astfel încât riscul unui rezultat negativ să fie minim:

Cea mai populară în cercetarea medicinei alternative este proiectarea „A + B față de B”. De exemplu, în acest studiu, pacienții cu cancer care sufereau de oboseală au fost repartizați aleatoriu la tratamentul obișnuit sau la tratamentul obișnuit plus acupunctură regulată. Cercetătorii au urmărit apoi oboseala pacienților și au constatat că grupul cu acupunctură era mai bine decât grupul de control. Efectul era semnificativ statistic, iar un comentariu editorial din revista unde a apărut a numit această dovadă „convingătoare”. Din cauza unui comunicat de presă inteligent exagerat, vestea s-a răspândit repede, iar studiul a fost celebrat în întreaga lume ca un progres major în tratamentul cancerului.

Imaginați-vă că aveți o sumă A, iar prietenul are aceeași sumă plus o sumă B. Cine are mai mulți bani? Simplu, desigur prietenul: A+B este întotdeauna mai mare decât A (dacă B nu este o sumă negativă). Din același motiv, aceste studii „pragmatice” vor da întotdeauna rezultate pozitive (dacă tratamentul nu provoacă un prejudiciu real). Tratamentul obișnuit plus acupunctura înseamnă mai mult decât tratamentul singur și, prin urmare, este foarte probabil să producă un rezultat bun. Aceasta ar fi valabil chiar dacă acupunctura ar fi un simplu placebo – până la urmă, un placebo este mai mult decât nimic, iar efectul placebo va influența rezultatul, mai ales când avem de-a face cu un simptom foarte subiectiv precum oboseala.

O metodă mai evidentă de a produce rezultate fals pozitive este neincluderea orbirii în proiectarea studiului. În studiile clinice, scopul orbirii pacientului, terapeutului și evaluatorului repartizării în grupuri este „să ne asigurăm că așteptarea” nu contribuie la rezultat. Așteptarea poate să nu mute munții, dar cu siguranță poate influența rezultatul unui studiu clinic. Pacienților care speră la ameliorare li se pot reduce unele simptome chiar dacă tratamentul primit regulat nu ajută. În plus, dacă medicii și evaluatorii rezultatelor au idei preconcepute despre tratamentul experimental, tind să privească rezultatele prin ochelari roz.

Eșecul repartizării aleatorii a participanților în grupurile studiului este altă sursă de eroare care ne induce în eroare. Dacă permitem pacienților sau cercetătorilor să aleagă ce pacienți primesc tratamentul experimental și care tratamentul de control, cele două grupuri vor diferi probabil prin mai multe variabile (vedeți istoria tratamentului cu doze mari de vitamina C în cancer). Unele variabile pot influența rezultatul. De exemplu, dacă medicii își împart pacienții în grupurile experimental și de control, îi pot alege pentru primul pe cei care vor răspunde, iar pentru celălalt pe cei care nu vor răspunde. Aceasta se poate întâmpla prin intuiție sau instinct, fără intenție: profesioniștii responsabili doresc ca tratamentul să ajungă la pacienții cu cele mai mari șanse de beneficiu, potrivit experienței lor. Prin randomizare corectă ne putem asigura că comparăm grupuri comparabile de pacienți. Repartizarea nealeatorie poate produce ușor constatări fals pozitive.

Studiile care nu testează dacă un tratament experimental este superior altuia (numite de obicei studii de superioritate), ci evaluează dacă este echivalent unei terapii considerate în general eficiente, pot și ele induce oamenii în eroare [în medicină, aceasta se numește ipoteza de non-inferioritate (non-inferiority) ]. Ideea este că, dacă ambele tratamente dau rezultate pozitive similare, ambele trebuie să fie eficiente. Aceste studii sunt numite studii de non-superioritate sau echivalență și oferă multe posibilități de a ne induce în eroare. De exemplu, dacă studiul nu are suficienți pacienți, poate să nu arate nicio diferență, indiferent de eficacitatea reală. Să luăm un exemplu teoretic simplu: cineva propune compararea antibioticelor cu acupunctura pentru pneumonia bacteriană la vârstnici. Cercetătorii tratează 10 pacienți în fiecare grup, iar rezultatele arată că într-un grup au murit 2 pacienți, iar în celălalt 3. Testele statistice arată că diferența de un singur pacient nu este semnificativă statistic, iar autorii concluzionează că acupunctura este la fel de bună ca antibioticele pentru infecțiile bacteriene.

Mai înșelătoare este, într-un studiu de echivalență, opțiunea administrării unui tratament în doză mică grupului de control. În exemplul de mai sus, cercetătorii pot recruta apoi sute de pacienți pentru a depăși criticile primului studiu, după care decid să administreze grupului de control o doză mică de antibiotic. Rezultatele vor părea apoi să confirme prima constatare: acupunctura este la fel de bună ca antibioticul pentru pneumonie. Specialiștii în acupunctură pot susține apoi că un studiu clinic randomizat foarte amplu a demonstrat eficacitatea tratamentului lor pentru această boală. Oamenii care nu cunosc doza corectă a antibioticului pot fi ușor înșelați, crezându-i.

Dacă grupul de control dintr-un studiu de echivalență primește un tratament nu doar ineficient, ci și dăunător, rezultatele vor fi evident mai impresionante. În acest scenariu, chiar și cel mai inutil tratament alternativ va părea eficient doar fiindcă este mai puțin dăunător decât comparatorul.

Altă versiune a ideii este reprezentată de numeroasele studii clinice controlate din medicina alternativă care compară un tratament nedovedit cu alt tratament nedovedit. Rezultatele arată de obicei că nu există diferență între rezultatele clinice ale pacienților din cele două grupuri. Cercetătorii entuziaști ai medicinei alternative tind să concluzioneze că aceasta dovedește că ambele tratamente sunt la fel de eficiente. Concluzia mai probabilă este însă că ambele sunt la fel de inutile.

Altă metodă de inducere în eroare a publicului este formularea de concluzii nesusținute de date. Imaginați-vă că un studiu de homeopatie (medicină diluată) produce date categoric negative. Ca entuziast al homeopatiei, sunteți departe de a fi mulțumit de propriile constatări; în plus, poate aveți un sponsor care pune presiune. Ce puteți face? Soluția este simplă: trebuie doar să evidențiați cel puțin un mesaj pozitiv în articolul publicat. Pentru homeopatie, de exemplu, puteți exploata mult faptul că tratamentul este destul de sigur și ieftin: nu a murit niciun pacient, iar majoritatea au fost foarte mulțumiți de tratament, care nici nu era foarte scump.

Omitere

Altă metodă populară de inducere în eroare a publicului este omiterea gratuită a constatărilor neplăcute cercetătorilor alternativi. Dacă scopul este ca publicul să creadă mitul că toate practicile medicinei alternative sunt lipsite de efecte adverse, cercetătorilor le este suficient să omită raportarea lor în studiile clinice. Mi-am avertizat repetat cititorii asupra acestui fenomen răspândit. Chiar l-am evaluat într-o analiză sistematică. Au fost incluse 60 de studii randomizate controlate de chiropractică și acupunctură. Am constatat că 29 de studii randomizate controlate nu menționau deloc efectele adverse. Informații complete despre metoda raportării efectelor adverse, frecvența, durata, severitatea și apariția lor au fost găsite într-un singur studiu randomizat controlat. 

Majoritatea studiilor au numeroase criterii de rezultat. De exemplu, un studiu de acupunctură pentru controlul durerii poate măsura durerea în jumătate de duzină de moduri, dar și durata tratamentului până la dispariția durerii, cantitatea de medicamente luate în plus față de acupunctură, zilele de absență de la serviciu din cauza durerii, impresia partenerului asupra sănătății pacientului, calitatea vieții, somnul afectat de durere etc. Dacă cercetătorii evaluează apoi toate rezultatele, probabil unul sau două se vor schimba în direcția dorită (mai ales dacă variabilele sunt evaluate în jumătate de duzină de momente diferite). Poate fi o constatare întâmplătoare: în testele statistice tipice, una din 20 de măsurători poate produce un rezultat semnificativ pur întâmplător. Pentru a ne induce în eroare, cercetătorilor le ajunge să „uite” toate rezultatele negative și să își concentreze publicațiile asupra celor care au ieșit întâmplător cum sperau.

Fraudă

Când vine vorba de fraudă, există mai multe exemple decât ne-am dori. Noi și alții am arătat, de exemplu, că cercetările chineze de acupunctură aproape nu dau niciodată rezultate negative. Altfel spus, nu trebuie să citești articolul, știi deja că este pozitiv; mai mult, nici nu trebuie realizat studiul, rezultatul este cunoscut înainte să înceapă. Fenomenul ciudat arată că ceva este greșit în cercetările chineze de acupunctură. Suspiciunea a fost confirmată chiar de o echipă de cercetători chinezi. În această analiză sistematică, o echipă de cercetători chinezi a identificat toate studiile randomizate controlate (RKA) publicate în reviste chineze. Au fost găsite în total 840 RKA: 727 comparau acupunctura cu tratamentul medical modern, 51 nu aveau control prin tratament și 62 aveau control prin acupunctură simulată. Dintre aceste 840 RKA, 838 de studii (99,8%) au raportat rezultate pozitive pentru criteriile principale, iar două (0,2%), rezultate negative. Procentele privind retragerea publicațiilor RKA sau ascunderea informațiilor despre calculul dimensiunii eșantionului au fost, respectiv, 43,7%, 5,9%, 4,9%, 9,9% și 1,7%. Autorii au concluzionat că RKA despre acupunctură raportate în reviste chineze pot avea o problemă importantă, asociată riscului mare de eroare sistematică. Recomandăm ca toate studiile viitoare să fie înregistrate prospectiv în registre internaționale de cercetare.

Un sondaj despre studiile clinice din China a dezvăluit practici frauduloase la scară mare. Autoritatea de Reglementare a Alimentelor și Medicamentelor din China a realizat o analiză de un an a studiilor clinice. Au concluzionat că peste 80 la sută din datele clinice erau „fabricate”. Analiza a evaluat date din 1622 de programe de cercetare clinică a unor medicamente noi care așteptau aprobarea autorităților pentru producția de serie. Oficialii avertizează acum că în acest scandal pot apărea mai multe dovezi de practici incorecte.

Vreau să adaug că frauda în cercetarea medicinei alternative nu se limitează nicidecum la China. În secțiunea noastră de medicină complementară și alternativă, sunt sigur că veți găsi multe dovezi pentru această afirmație.

Concluzie

Dacă dorim răspunsuri satisfăcătoare la multe întrebări despre medicina alternativă, cercetarea este evident necesară. Din păcate, însă, nu toate cercetările sunt fiabile, iar majoritatea cercetărilor medicinei alternative induc în eroare. De aceea, trebuie să fim permanent vigilenți și să aplicăm toate abilitățile de evaluare critică pe care le putem aduna.

*

SUBIECTE ASOCIATE

• Nu, dozele mari de vitamina C nu tratează coronavirusul! Nu există aprobare FDA în afara scorbutului
• Edzard Ernst – Cel mai important nume mondial al medicinei tradiționale, complementare și alternative
• Care este diferența dintre tratamentele complementare și cele alternative?
• Motive pentru care tratamentele ineficiente par eficiente?