Kanser Hakkında Soruları Cevaplamakta Chatbotlar En İyi Onkologlardan Daha İyi
Kanser hastalarının sorularına doğru, empatik ve anlaşılır yanıtlar vermek, tedavi sürecinde büyük önem taşır. Bu bağlamda, JAMA Oncology'de yayınlanan bir çalışma, yapay zeka chatbotlarının bu alanda onkologlardan daha iyi performans gösterdiğini ortaya koydu. Çalışma, bu chatbotların yanıtlarının genel kalitesi, empati düzeyi ve okunabilirlik açısından onkologların yanıtlarından daha yüksek puan aldığını gösteriyor.
JAMA Oncology Çalışması
16 Mayıs 2024'te JAMA Oncology dergisinde yayımlanan çalışmada, üç farklı AI chatbot – ChatGPT-3.5, ChatGPT-4 ve Claude AI – hasta sorularını nasıl cevapladıklarını değerlendirmek için test edildi. Araştırmacılar, bu chatbotların 200 hasta sorusuna verdikleri yanıtları, altı onkoloğun yanıtları ile karşılaştırdı. Yanıtlar, iki ayrı onkoloji uzmanı ekip tarafından kalite, empati ve okunabilirlik açısından 1 (çok kötü) ile 5 (çok iyi) arasında puanlandı.
Bulgular
Sonuçlar, tüm chatbotların yanıtlarının genel kalitesinin onkologların yanıtlarından anlamlı derecede daha yüksek olduğunu gösterdi (P < .05). Bu genel kalite metriği, tıbbi doğruluk, tamlık ve odaklanmayı kapsıyordu.
Ayrıca, Claude AI ve ChatGPT-4'ün yanıtlarının tıbbi doğruluk açısından onkologların yanıtlarından anlamlı derecede daha yüksek olduğu bulundu (P < .05). Üç chatbotun da yanıtları, tamlık ve odaklanma açısından onkologların yanıtlarından daha iyiydi (P < .05).
Chatbotların yanıtları ayrıca empati ve okunabilirlik açısından da onkologların yanıtlarından daha yüksek puan aldı (P < .05). Aşağıdaki tablo, bu bulguları ayrıntılı bir şekilde göstermektedir.
Yukarıdaki grafik, onkologların ve üç farklı chatbotun (ChatGPT-3.5, ChatGPT-4 ve Claude AI) hasta sorularına verdikleri yanıtların çeşitli skor kategorilerinde karşılaştırmalı olarak sunulmaktadır. Grafik, genel kalite, tıbbi doğruluk, tamlık, odaklanma, empati ve okunabilirlik puanlarını içermektedir.
Grafikte görüldüğü üzere, chatbotlar genellikle onkologlara göre daha yüksek puanlar almışlardır. Özellikle Claude AI, çoğu kategoride en yüksek puanları elde etmiştir. Bu sonuçlar, yapay zeka chatbotlarının hasta sorularına yönelik daha kaliteli, empatik ve okunabilir yanıtlar üretebileceğini göstermektedir.
Sonuç ve Gelecekteki Araştırmalar
Araştırmacılar, bu bulguların, chatbotların hasta sorularına yönelik kaliteli, empatik ve okunabilir yanıtlar üretebileceğini ve bu yanıtların çevrimiçi forumlardan kaynaklanan hekim yanıtlarıyla karşılaştırılabilir olduğunu öne sürdü. Ancak, chatbot destekli etkileşimlerin kapsamını, süreç entegrasyonunu ve hasta ile hekim sonuçlarını değerlendirmek için daha fazla araştırmaya ihtiyaç vardır.
Chen D, Parsa R, Hope A, et al. Physician and artificial intelligence chatbot responses to cancer questions from social media. JAMA Oncol. Published online May 16, 2024. doi:10.1001/jamaoncol.2024.0836
