Görünüşte sağlam araştırmalar ile halk nasıl yanıltılır?
Birçok kişi, bilimsel araştırmaların tanımı gereği güvenilir olduğuna inanıyor. İnsanlar “ARAŞTIRMANIN GÖSTERDİĞİ…” ya da “YAKIN ZAMANDA YAPILAN ARAŞTIRMANIN KANITLANDIĞI…” gibi ifadeleri okuduklarında veya duyduklarında devamında gelen ifadelere genellikle güvenirler. Ancak araştırmaya ve araştırmacılara olan bu güven ne kadar doğru ve nelere dikkat etmeliyiz?
Geleneksel, tamamlayıcı ve alternatif tıbbın dünya genelinde en önemli ismi Prof. Dr. Edzard Ernst, tüm bilimsel araştırmaların aynı kanıt gücüne, kaliteye sahip olmadığını ve bilimsel araştırma vurgusu ile toplumların nasıl aldatıldığını, aşağıdaki yazısında dikkat çekici örneklerle anlatıyor:
"Sözde alternatif tıp (so-called alternative medicine – SCAM) ile ilgilendiğim 25 yıl boyunca, beni şüpheye düşüren sayısız örnek ile karşılaştım. Bu yazıda kullanıcıların sağlam kanıtlarla yanıltılabilecekleri birçok yolu kısaca ele alacağım." sözleri ile yazısına başlıyor Dr Ernst...
Not: Edzard Ernst,"geleneksel, tamamlayıcı ve alternatif tıp" uygulamalarını, "sözde alternatif tıp (so-called alternative medicine – SCAM)" başlığı kapsamında değerlendirir. Bununla birlikte yazının devamında SCAM yerine "alternatif tıp" terimini kullandık.
Kanıtın olmayışı
Tamamen alternatif tıbba adanmış olan bir Alman Heilpraktiker kitabını okumayı henüz bitirdim. Kitapta yazar yüzlerce açıklamalar yapmış ve bunları kanıta dayalı gerçekler olarak sunmuş. Bu, pek çok sıradan insan veya kullanıcıya inandırıcı gözükecektir, eminim. Gerçi ölümcül bir kusuru var: yazar ifadelerini destekleyecek herhangi bir gerçek kanıt sunmakta başarısız. Sağlanan kaynaklar yalnızca aynı derecede kanıtsız olan diğer kitaplardan. Desteklenmeyen iddialarda bulunmanın bu popüler tekniği, yazarın kontrolsüz ve dengesiz iddialarda bulunmasını sağlar. Sıradan bir kişi genellikle bu tür hikayeleri kanıtlardan ayırt etmekte yetersiz ya da gönülsüzdür, bu teknik bu yüzden alternatif tıp hakkında bizleri yanıltmak için kolay ve popülerdir.
Sahte kanıt
Daha önceki yazılarımda, bıktıracak derecede bu fenomen ile karşılaştık: bir yorumcu bir iddiada bulunur ve bunu çoğu kez saygın kaynaklardan olan görünüşte sağlam bazı kanıtlar ile destekler. Kaynak makaleleri okumaya zahmet eden birkaçımız hızlı bir şekilde yorumcunun iddia ettiği şeyi söylemediklerini fark ederiz. Bu yöntem okuyucunun bazı sahte kanıtlarla kolayca inandırılmasına dayanır. Çoğu kullanıcı bu tür hak iddia eden kişiler tarafından sağlanan sis perdesinin ötesine bakma zahmetine girmedikleri için bu yöntem genellikle şaşırtıcı derecede iyi işler.
Bir örnek: Vidatox, Küba’dan bir homeopatik kanser “tedavisi”dir (bakınız mavi akrep zehri yazımız). Vidatox web sitesi çoğu kanser için etkili olduğunu iddia eder. Bu iddianın ne kadar heyecan uyandırıcı olduğu düşünüldüğünde, Vidatox üzerine yayımlanmış çok sayıda makale bulmak beklenir. Ancak, bir Medline araştırması bu konu üzerine bir makale ile sonuçlanmıştır. Yazarları ise şu sonucu çıkarmıştır: "Sonuçlarımız, mevcut çalışmada kullanılan Vidatox konsantrasyonunun anti-kanser etkilere sahip olmadığını ve karaciğer kanserli hastalarda Vidatox’u kullanma konusunda dikkatli olunması gerektiğini gösterir."
Sıklıkla sorulması gereken soru: yanıltıcı araştırma ile dolandırıcılık arasındaki ince çizgi nerede?
Anketler
Sağlık hizmetinde alternatif tıptan daha çok anket üreten alan yoktur!
Bu alanda her yıl yaklaşık 500 anket çalışması yayımlanıyor! Bu “anket çılgınlığı” bir amaca sahip: deneysel araştırmaların nadiren yaptığı alternatif tıp hakkında olumlu bir mesajı desteklemek.
Tipik bir alternatif tıp anketi için meraklı araştırmacılardan oluşan bir ekip geçmişte bir grup bireyin yüzde kaçının alternatif tıbbı denediğini bulmak için birkaç soruyu bir araya getirir ve bir anket düzenler. Daha sonra araştırmacılar yüz – iki yüz sonuç alabilir. Daha sonra basit tanımlayıcı istatistikler ile yüzde kaçının alternatif tıp kullandığını gösterirler. Bu bulgu nihayetinde çoğu üçüncü sınıf alternatif tıp dergilerinden birinde yayınlanır.
Bu çıkarım da şudur: alternatif tıp eğer bu kadar popülerse iyi olmalı, eğer iyiyse devlet bunu ödemeli. Çok az kullanıcı bu sonucun popülerliğine yönelik yanıltıcı bir çekicilikten biraz daha fazlası olduğunun farkına varacaktır.
Sorudan kaçınma
Alternatif tıp araştırmacılarının halkı yanıltmada bir başka popüler yol ise önemli araştırma sorularından kaçınmaktır; gerçek soruları sormazsanız başarısız da gözükmezsiniz!
Örneğin, karyopraktik (el ile omurilik ve eklemler üzerine terapi) uzmanları, bu uygulamanın en önemli yan etkilerinden birinin spinal manipülasyon (omurilik yaralanması) riski olduğunu reddedecektir. Bu nedenle, mevcut durumda yayımlanan karyopraktik araştırmalarının büyük bir kısmının ona adanmış olması beklenir. Ancak durum tam tersidir. Medline halihazırda “kayropraktik” üzerine 3000’den fazla makale listeliyor, fakat sadece 17’si “karyopraktik ve zarar” üzerine.
Pilot çalışmalar
Pilot çalışma, tam ölçekli bir araştırma projesinin gerçekleştirilmesinden önce geçeklik, zaman, maliyet, yan etkileri değerlendirmek ve çalışma tasarımının geliştirmek için yürütülen küçük ölçekli bir ön çalışmadır. Ancak, temel ön koşullar, halihazırda yayımlanmakta olan çok sayıda alternatif tıp pilot çalışması tarafından yerine getirilmemiştir. Gerçek alternatif tıp pilot çalışmaları, çok nadirdir. Sahte pilot çalışmaların çokluğunun nedeni açıktır: test ediliyor olan alternatif tıp her ne olursa olsun cesaret verici bir şekilde olumlu sonuçlar gösterdikleri şeklinde kolayca yorumlanabilirler. Daha sonra alternatif tıp öneren kişiler çok sayıda olumlu çalışma olduğunu ve bu yüzden alternatif tıp uygulamalarının sağlam kanıtlarla desteklendiğini iddia ederek halkı yanıltabilirler.
"Güvenli" çalışma tasarımları
Olumsuz bir sonuç üretme riskinin minimum olacağı şekilde bir çalışma tasarlamanın birkaç yolu vardır:
Alternatif tıp araştırmasından en popüler olanı “A + B’ye karşı B” tasarımıdır. Örneğin bu çalışmada, yorgunluktan muzdarip kanser hastaları normal tedavi almak için ya da normal tedavi artı düzenli akupuntur almak için rastgele seçildi. Araştırmacılar daha sonra hastaların yorgunluk deneyimlerini izlediler ve akupuntur grubunun kontrol grubundan daha iyi olduğunu buldular. Etki istatistiksel olarak anlamlıydı ve yayımlandığı dergideki bir editör yorumu bu kanıtı “zorlayıcı” olarak adlandırdı. Akıllıca aşırı ifade edilen bir basın açıklaması nedeniyle haberler hızla yayıldı ve çalışma, kanser tedavisinde büyük bir atılım olarak dünya çapında kutlandı.
A miktarda paranız olduğunu hayal edin ve arkadaşınızın da aynı miktarda parası ve artı B miktarda parası var. Kim daha fazla paraya sahip? Basit, tabii ki arkadaşınız: A+B her zaman A’dan daha büyüktür (B negatif bir miktar olmadığı sürece). Aynı sebepten dolayı, bu tür "pragmatik" denemeler her zaman olumlu sonuçlar verecektir (tedavi gerçek bir zarar vermedikçe). Her zaman olduğu gibi tedavi artı akupunktur tek başına tedaviden daha fazladır ve bu nedenle büyük ihtimalle iyi bir sonuç vermekten daha fazlasıdır. Akupunktur saf bir plasebo olsa bile bu doğru olacaktır – sonuç olarak bir plasebo hiçbir şeyden daha fazladır ve plasebo etkisi, özellikle yorgunluk gibi oldukça öznel bir semptomla uğraşıyorsak, sonucu etkileyecektir.
Yanlış pozitif sonuçlar üretmenin daha açık bir yöntemi, çalışma tasarımına kötlerştimeyi dahil etmemektir. Klinik araştırmalarda hastayı, tedavi uzmanını ve grup dağılımının değerlendiricisini körleştirmenin amacı, "beklentinin", sonuca katkıda bulunmadığından emin olmaktır. Beklenti dağları yerinden oynatmayabilir, ancak kesinlikle bir klinik araştırmanın sonucunu etkileyebilir. İyileşmeyi umut eden hastaların, düzenli olarak aldıkları tedavi faydasız olsa bile bazı yakınmaları azalabilir. Ayrıca doktorlar ile sonuç değerlendiricilerin deneysel tedavi hakkında önyargılı fikirleri varsa, sonuçlara toz pembe gözlüklerle bakma eğilimindedir.
Katılımcıları çalışma gruplarına rastgele atamadaki başarısızlık, bizi yanıltacak başka bir önyargı kaynağıdır. Hastaların veya araştırmacıların hangi hastaların deneysel ve hangilerinin kontrol tedavisi alacağını seçmesine izin verirsek, iki grubun çeşitli sayıda değişkenlerde farklılık göstermesi muhtemeldir (bakınız kanserde yüskek doz C vitamini tedavisinin öyküsü). Bu değişkenlerden bazıları, sonuç üzerinde etkili olabilir. Örneğin, eğer doktorlar hastalarını deney ve kontrol gruplarına ayırırsa, ilkine yanıt verecekleri ve sonrasında yanıt vermeyenleri seçebilirler. Bu kasıtlı olarak değil, sezgi veya içgüdü yoluyla olabilir: Sorumlu sağlık uzmanları, kendi deneyimlerine göre belirli bir tedaviden yararlanma şansı en iyi olan hastaları o tedaviyi almak için ister. Rastgelelik, doğru şekilde yapıldığında, karşılaştırılabilir hasta gruplarını karşılaştırdığımızdan emin olabiliriz. Hastaların gruplara ayrılması rastgele bir şekilde yapılmaması, kolaylıkla yanlış pozitif bulgular üretebilir.
Deneysel bir tedavinin diğerinden daha üstün olup olmadığını test etmeyen (genellikle üstünlük araştırmaları olarak adlandırılır), ancak genel olarak etkili olduğu kabul edilen bir terapiye eşdeğer olup olmadığını değerlendiren çalışmalarla insanları yanlış yönlendirmek de mümkündür [tıpta buna aşağı olmama hipotezi (non-inferiority) denir]. Buradaki fikir, her iki tedavi de benzer şekilde olumlu sonuçlar verirse, her ikisinin de etkili olması gerektiğidir. Bu tür denemeler üstün olmama veya denklik denemeleri olarak adlandırılır ve bizi yanıltmak için çok çeşitli olanaklar sunarlar. Örneğin, böyle bir araştırma yeterli hastaya sahip değilse, gerçekte ne kadar etkili olduğu konusunda hiçbir fark göstermeyebilir. Basit, kuramsal bir örneği de düşünelim: yaşlı hastalarda bakteriyel pnömoninin tedavisi olarak birisi antibiyotikleri akupunkturla karşılaştırma fikrini ortaya atıyor. Araştırmacılar her grup için 10 hasta tedavi ediyor ve sonuçlar, bir grupta 2 hastanın öldüğünü, diğerinde ise sayının 3 olduğunu ortaya koyuyor. İstatistiksel testler, sadece bir hastanın farkının istatistiksel olarak anlamlı olmadığını göstermektedir ve bu nedenle de yazarlar akupunkturun bakteriyel enfeksiyonlar için antibiyotikler kadar iyi olduğu sonucuna varmışlardır.
Daha da yanıltıcı olan, bir eşdeğerlik araştırmasında kontrol grubuna az doz tedavi verme seçeneğidir. Yukarıdaki örnekte, araştırmacılar daha sonra ilk çalışmalarının eleştirisinin üstünden gelmek için yüzlerce hastayı toplayabilirler; daha sonra kontrol grubuna düşük bir antibiyotik dozu uygulamaya karar verirler. Sonuçlar daha sonra araştırmacıların ilk bulgusunu, yani akupunkturun pnömoni için antibiyotik kadar iyi olduğunu görünürde doğrulayacak. Akupunktur uzmanları daha sonra tedavilerinin çok geniş çapta bir rastgele klinik çalışmada bu durumu tedavi etmede etkili olduğunun kanıtlandığını iddia edebilirler. Antibiyotiğin doğru dozunu bilmeyen insanlar bunlara inanarak kolayca kandırılabilirler.
Eğer bir eşdeğer araştırmadaki kontrol grubu sadece etkisiz değil, aynı zamanda zararlı da olan bir tedavi alırsa, sonuçlar açık bir şekilde daha etkileyici olacaktır. Böyle bir senaryoda, en kullanışsız alternatif tedavi bile basitçe karşılaştırıcıdan daha az zararlı olduğu için etkili görünecektir.
Bu fikrin bir başka versiyonu, kanıtlanmamış bir tedaviyi başka bir kanıtlanmamış tedaviyle karşılaştıran alternatif tıp alanındaki çok sayıda kontrollü klinik araştırmadır. Sonuçlar genellikle iki gruptaki hastalar tarafından deneyimlenen klinik sonuçta bir fark olmadığını gösterir. Meraklı alternatif tıp araştırmacıları, bunun her iki tedavinin de eşit derecede etkili olduğunu kanıtladığı sonucuna varma eğilimindedir. Ancak daha muhtemel sonuç, her ikisinin de eşit derecede yararsız olduğudur.
Haklı yanıltmanın bir başka yöntemi de veriler ile desteklemeyen sonuçlar çıkarmaktır. Bir homeopati (sulandırılmış tıp) denemesi ile doğrudan negatif veriler ürettiğinizi hayal edin. Bir homeopati meraklısı olarak, kendi bulgularınız ile mutlu olmaktan çok uzaktasınız; ek olarak size baskı uygulayan bir sponsorunuz olabilir. Ne yapabilirsiniz? Çözüm basit: sadece yayınlanan makalede en az bir olumlu mesajı vurgulamanız gerekir. Homeopati durumunda, örneğin, tedavinin oldukça güvenli ve ucuz olduğu gerçeği hakkında büyük bir potansiyel ortaya koyabilirsiniz: tek bir hasta ölmedi, çoğu çok pahalı bile olmayan bu tedaviden çok memnun kalındı.
İhmal
Halkı yanıltmanın bir başka popüler yöntemi de alternat araştırmacılarının sevmediği karşılıksız ihmal bulgularıdır. Eğer amaç halkın tüm alternatif tıp uygulamalarının yan etkilerinin olmadığı efsanesine inanması ise, alternatif tıp araştırmacılarının yalnızca bunları klinik araştırmalarda bildirmeyi ihmal etmeleri yeterlidir. Okuyucularımı bu yaygın fenomene karşı defalarca kez uyarmaktayım. Hatta sistematik bir incelemede değerlendirdik. Rastgele kontrollü 60 kayropraktik ve akupunktur araştırmaları dahil edildi. 29 rastgele kontrollü araştırmada, uygulama yan etkilerine hiç değinilmediğini gördük. Olumsuz etkilerin raporlanmasının yöntemi, sıklığı, süresi, şiddeti ve rastlantısı üzerine tam bilgi yalnızca bir rastgele kontrollü araştırmada görüldü.
Çoğu araştırmanın birçok sonuç ölçütü vardır. Örneğin, ağrı kontrolü için yapılan bir akupunktur çalışması ağrıyı yarım düzine farklı şekilde ölçebilir, ayrıca ağrı geçene kadar tedavinin uzunluğunu, hastaların akupunktur almalarına ek olarak aldığı ilaç miktarını, ağrı nedeniyle işe izin verilmeyen günleri, hastanın eşinin hastanın sağlık durumu hakkındaki izlenimini, hastanın yaşam kalitesini, ağrı nedeniyle bozulan uyku düzenini vb. durumları da ölçebilir. Eğer araştırmacılar daha sonra tüm sonuçları değerlendirirse, bir veya ikisinin istedikleri yönde değiştiği muhtemeldir (özellikle, bu değişkenlerin derecelendirildiği noktalar yarım düzine farklı zaman içeriyorlarsa). Bu şans eseri bir bulgu olabilir: Tipik istatistiksel testlerde, 20 sonuç ölçümlerden biri tamamen şans eseri önemli bir sonuç verebilecektir. Bizi yanıltmak için, araştırmacıların yalnızca tüm olumsuz sonuçları “unutmaları” ve yayınlarını, şans eseri umdukları gibi ortaya çıkanlara odaklamaları gerekir.
Dolandırıcılık
Dolandırıcılık söz konusu olduğunda, birinin isteyebileceğinden çok daha fazlasını seçmek vardır. Biz ve diğerleri örneğin Çin akupunktur araştırmalarının neredeyse hiç olumsuz bir bulgu vermediğini gösterdik. Başka bir deyişle, kişinin makaleyi okumasına gerek yoktur, kişi zaten olumlu olduğunu bilir - daha da aşırısı: kişinin çalışmayı yürütmesi gerekmez, araştırma başlamadan önce sonucunu zaten biliyordur. Bu garip fenomen, Çin akupunktur araştırmalarında bazı şeylerin hatalı olduğunu gösterir. Bu şüphe, Çinli bilim insanlarından oluşan bir ekip tarafından bile doğrulandı. Bu sistematik incelemede, Çin dergilerinde yayınlanan tüm rastgele kontrollü araştırmalar (RKA) Çinli bilim insanlarından oluşan bir ekip tarafından belirlendi. Akupunkturu, modern tıbbi tedavi ile karşılaştıran 727 RKA, tedavi kontrolü olmayan 51 RKA ve sahte akupunktur kontrolleri olan 62 RKA dahil olmak üzere toplam 840 RKA bulundu. Bu 840 RKA arasında, 838 çalışma (% 99,8) birincil sonuçlardan pozitif sonuçlar ve iki deneme (% 0,2) negatif sonuçlar bildirdi. RKA'ların yayını geri çekme veya örneklem büyüklüğü hesaplamaları hakkındaki bilgileri gizleme yüzdeleri sırasıyla % 43.7, % 5.9, % 4.9, % 9.9 ve % 1.7 idi. Yazarlar, Çin dergilerinde bildirilen akupunktur yayınları üzerine RKA'larda önemli bir sorun olabileceği sonucuna vardı, ki bu yüksek önyargı riski ile alakalıdır. Tüm çalışmaların gelecekte uluslararası araştırma kayıtlarına ileriye dönük olarak kaydedilmesini öneriyoruz.
Çin’deki klinik çalışmalarla ilgili bir anket büyük ölçekte dolandırıcılık uygulamalarını ortaya çıkardı. Çin’in Gıda ve İlaç Düzenleme Kurulu, klinik deneylerin bir yıllık incelemesini yürüttü. Klinik verilerin yüzde 80'inden fazlasının "uydurma" olduğunun sonucuna vardılar. İnceleme, seri üretim için düzenleyici onayı bekleyen yeni ilaçların 1,622 klinik araştırma programından elde edilen verileri değerlendirdi. Yetkililer şimdi bu skandalda daha fazla yanlış uygulama kanıtı doğabileceği konusunda uyarıyorlar.
Alternatif tıp araştırmasındaki dolandırıcılığın kesinlikle Çin ile sınırlı olmadığını eklemek istiyorum. Tamamlayıcı ve alternatif tıp bölümümüzde, bu ifade için pek çok kanıt bulacaksınız, eminim.
Sonuç
Eğer alternatif tıp hakkında birçok soruya tatmin edici yanıtlar vermek istiyorsak, açık bir şekilde araştırma gereklidir. Ancak ne yazık ki, tüm araştırmalar güvenilir değildir ve alternatif tıp araştırmalarının çoğu yanıltıcıdır. Bu nedenle, her zaman tetikte olmak ve toplayabileceğimiz kadar tüm kritik değerlendirme yeteneklerini uygulamak gerekir.
*
İLGİLİ KONULAR
How to mislead the public with seemingly solid research. https://edzardernst.com/2020/12/how-to-mislead-the-public-with-seemingly-solid-research/ 5 December 2020
