1 Ocak 2020’de Nature dergisinde; Google Health, DeepMind ve Imperial College London tarafından hazırlanan ve 31 araştırmacının isminin bulunduğu bir çalışma yayınlandı. Meme kanserinin erken tanısı üzerine yapılan çalışma, sosyal medya ve haber kanallarında çok konuşulan haberler arasında yerini buldu. Başlıklar genelde "Google’ın geliştirdiği yeni derin öğrenme algoritması radyologların yerini alıyor" veya bu metodun doktorlardan nasıl daha iyi oldukları şeklindeydi.
Yapay Zeka
Yapay zekanın, radyologlardan daha iyi olabileceğini ve onların yerine geçilebileceğini düşündüren faktörler nelerdir?
Verilen 10 sorudan, makinelerin sekizini doğru yapması ve ikisinde hatalı olması ile radyologların aynı sorularda üç soruda hata yapması; makineleri radyologlardan daha mı iyi yapar? İnsan karar mekanizması / beynin bilişsel işlevleri çok karmaşık bir yapıdadır ve hala keşfedilmeyen detayları vardır. Bir radyoloğun, mamografi görüntüleri üzerinden kişinin kanser olup olmadığına karar vermesi ve şüphelendiği ancak emin olamadığı durumlarda başvurabileceği biyopsi gibi ilave klinik testler bulunmaktadır ve bir radyolog bu kararları verebilmek için tüm hayatını bunun eğitimine harcamaktadır.
- İlgili konu: Mamografi sonucu negatif olduğu halde meme kanseri riski var mıdır?
Bununla birlikte sağlıkta sıklıkla duyduğumuz derin öğrenme algoritmaları kullanılarak geliştirilen bilgisayarlı görüntü işleme teknolojisinde görüntülerdeki pikseller kullanılarak anlamlı veriler elde edilmeye çalışılır. Eğitilen algoritma, daha önce hiç gösterilmeyen test görüntüleri ile değerlendirmeye alınır.
Algoritma bir problemin çözümüne ulaşmak için oluşturulmuş olan çözüm yoludur. “Problem + Algoritma = Çözüm” gibi düşünülebilir. Tıbba özel değildir, fakat algoritmalar en yoğun şekilde tıp ve mühendislikte kullanılır. Sağlığa hizmet edecek yapay zekalar, binlerce – hatta sınırsız sayıda – algoritmayı bilecek şekilde tasarlanmaktadır.
Yapay zeka teknolojilerinin değerlendirmeleri yapılırken sadece doğruluk oranlarına bakılmaz
% 95 doğruluk oranı ile tahminde bulunabilen bir derin öğrenme algoritması, %5 oranında yaptığı hata payında çok kritik bilgiler içerebilir. Bunun için derin öğrenme algoritmalarının değerlendirilmesinde mutlaka hata matrislerine de önem verilir. Hata matrisi, dört farklı kombinasyonlu bir tablodur. Bu tablo sırasıyla; doğru pozitif, doğru negatif, yanlış pozitif ve yanlış negatif sonuçlarını içerir.
Doğru değerler adından da anlaşılacağı üzere modelin doğru şekilde tahmin ettiği sonuçlardır. Ancak yanlış değerler, modelin yanıldığı sonuçlardır. Örnek ile açıklamak gerekirse, hamilelik testi üzerine geliştirilen bir algoritma ile açıklayabiliriz. Yanlış pozitif değerler, modelin kişiyi hamile olarak tahmin etmesi ancak gerçekte hamile olmamasını iken yanlış negatif değerler, tam aksine kişi hamile değil ancak hamile gibi tahmin edilmesi gibi ifade edilmesidir.
Görüldüğü üzere yüksek hassasiyet oranlarına sahip derin öğrenme algoritmalarının yaptıkları hata oranları çok önemli bilgiler içerebilir. Yani aslında kanserli olmayan birisine kanser pozitif sonucu vermek, psikolojik olarak o kişinin ciddi sıkıntılarına sebep olacaktır.
İşte çok sayıda araştırmacının yer aldığı son araştırma da bu sonuçlar üzerinden makineler ile radyologlar üzerinde bir karşılaştırma yapıyor.
Nature çalışmasının detayları
Çalışma esnasında derin öğrenme modelinin eğitilmesi için İngiltere’deki çeşitli hastanelerden 2012 ve 2015 yılları arasında meme kanseri için kontrol edilen yaklaşık 25 bin kadının mamografi görüntüsü ve test edilmesi için de Amerika Birleşik Devletlerinden yaklaşık 3 bin kadının mamografi görüntüsü kullanıldı. Modelin mimarisinde ise üç farklı yapay sinir ağları kullanıldı. Bunlar; Facebook’un geliştirdiği RetinaNet, Google’ın geliştirdiği MobileNetV2 ve Microsoft’un geliştirdiği ResNet V-1 50 sinir ağları. Model dokuların kanserli olup olmadığını belirli bir eşik değerine göre karar veriyor. Bu sebeple modelin eğitilmesi esnasında eşik değerinin belirlenmesinde, yanlış pozitif ve yanlış negatif değerlerinin azaltılması amaçlandı.
Model eğitildikten sonra radyologlar ile karşılaştırma yapılabilmesi amacıyla 500 farklı mamografi görüntüsü üzerinde test edildi ve özellikle Amerika’daki radyologlara göre daha az oranda yanlış pozitif (%9.4 daha az) ve yanlış negatif (%5.4 daha az) oranlarına ulaştı. Bu sonuçlar yapay zeka modellerinin, her seferinde bir radyoloğun kararı ile karşılaştırılması sonucu elde edilmiştir. İki farklı radyoloğun karşılıklı fikir alışverişi yaparak aldığı kararlara karşı, yapay zeka önemli bir başarı gösterememiştir.
Bu çalışma ile yapay zeka teknolojisinin, özellikle Birleşik Krallık’da uygulanan iki radyologlu kontrol gerekliliğinin ortadan kalkmasına ve hem zaman hem de maliyet azaltılmasını sağlayabileceği düşünülebilir. Bu sayede bir radyolog, yapay zeka desteğinde daha sağlıklı ve hızlı karar verebilir. Fakat görüldüğü üzere henüz radyologların yerine geçebileceği yorumunu yapmak şimdilik çok gerçekçi olmayacaktır. Yapay zeka alanında MIT Technology Review dergisinde uzman editör olan Will Knight, hiç kimsenin en gelişmiş algoritmaların yapabildiklerini nasıl yapabildiklerini tam olarak bilmemesinin problem olabileceğini söylüyor.
Yapay sinir ağları, kara kutu modelleri olarak bilinmekte ve tahminlerinin nasıl elde edildiğine dair çok net açıklamalar yapılamamakta. Dolayısıyla çok emin olamadığı durumlarda radyologlar, ilave testler ile daha sağlıklı kararlar almaya çalışmakta ancak şu anda geliştirilen yapay zeka çözümleri sadece görüntü üzerinden tahminler vermektedir.
Ulusal Sağlık Servisi için çalışan Profesör Ken Young, bu çalışmanın gerçek hayat senaryolarıyla uyumlu olmasına ve normalde bu alanda yapılan önceki çalışmalarda daha hazırlıklı veri setlerinin kullanılması ve bunun da ilgili çalışmaların yanlı (biased) olma ihtimallerinin olduğunu söylüyor.
Sonuç Akademik ve teknolojik altyapı anlamında çok güçlü olan bu çalışmanın sonuçları, sağlıkta yapay zeka kullanımının önünü açacaktır. Ancak haber başlıklarında gördüğümüz gibi henüz radyologların yerini alabilecek seviyeleri yakalayabilmiş değildirler. Bununla birlikte yakın bir gelecekte tanı alanında makineler, insan uzmanlara olan ihtiyacı belirgin bir şekilde azaltacak gözükmektedir. Tedavi kararlarında ise yapay zekanın alması gereken daha çok yolu var.
*
Aşağıdaki şekilde, çok kullanılan ve birbirine yakın 3 yeni bilişim terimi yapay zeka, makine öğrenimi ve derin öğrenmenin tanımlarını ve farklılıklarını görebilirsiniz.
