Beantwortet ChatGPT Fragen von Krebspatienten richtig und zufriedenstellend?

Für Menschen mit einer Krebsdiagnose ist der Zugang zu Informationen äußerst wichtig, um Ängste während der Behandlung zu verringern und fundierte Entscheidungen treffen zu können. Viele Patienten und Angehörige nennen Informationen über die Erkrankung als eines ihrer größten Bedürfnisse nach der Diagnose. Aus dem riesigen Angebot etwa im Internet verlässliche Informationen zu gewinnen, kann jedoch schwierig sein und in die Irre führen.

Eine durch GPT veränderte Welt

In den letzten 2 Jahren versuchen neue KI-gestützte Chatbots mithilfe großer Sprachmodelle wie ChatGPT, dieses Problem zu lösen und Patienten raschen Zugang zu den benötigten Informationen zu ermöglichen. Doch wie richtig beantwortet künstliche Intelligenz Fragen zu schwerwiegenden Gesundheitsproblemen?

Dr. Jharna Patel und ihr Team zeigten bei der Jahrestagung der Gesellschaft für gynäkologische Onkologie zu Krebserkrankungen bei Frauen 2024(Society of Gynecologic Oncology’s (SGO) 2024 Annual Meeting on Women’s Cancer), dass der KI-basierte Chatbot ChatGPT (Version 3.4) häufige Fragen zur genetischen Beratung bei gynäkologischen Krebserkrankungen richtig und zufriedenstellend beantworten kann.

Die Untersuchung unterstreicht das Potenzial künstlicher Intelligenz, Ängste von Krebspatienten zu verringern und sie zu informieren.

KI, die mit Inhalten aus der digitalen Welt trainiert wird

Große Sprachmodelle, deren Entwicklung ChatGPT vorangetrieben hat, können wahrscheinliche nächste Wörter eines Satzes vorhersagen, indem sie untersuchen, wie Milliarden Menschen Wörter in Internetinhalten verwenden. ChatGPT und andere generative KI-Chatbots können durch diese Vorhersage des nächsten Wortes natürlich formulierte Antworten auf Fragen und verständliche Zusammenfassungen komplexer Texte erzeugen.

Die Erstautorin Dr. Jharna M. Patel, Spezialistin für gynäkologische Onkologie an der New York University (NYU), Langone Health, erklärte bei der Präsentation:

„Unsere Daten zeigen, dass dieses Werkzeug häufige Fragen beantworten und dadurch möglicherweise Ängste von Patienten verringern und sie informieren kann. Damit es Patienten helfen kann, ihre Krebserkrankung zu verstehen, sind weitere Dateneingaben durch gynäkologische Onkologen erforderlich.“

Bewertung der KI-Antworten

Um die Fähigkeiten von GPT zu untersuchen, konsultierten die Forschenden gynäkologische Onkologen. Gemeinsam wählten sie 40 häufige Patientenfragen aus, etwa zu Gentests und zur Beratung bei genetischen Syndromen, die den Leitlinien der Fachgesellschaften entsprachen.

Die ausgewählten Fragen wurden ChatGPT gestellt. Anschließend bewerteten die beteiligten gynäkologischen Onkologen die Antworten auf einer Skala von 1 bis 4. Die Bewertungen bedeuteten:

• 1 Punkt: richtig und umfassend
• 2 Punkte: richtig, aber nicht umfassend
• 3 Punkte: teilweise richtig und teilweise falsch 
• 4 Punkte: vollständig falsch   

Der Anteil der Antworten in jeder Bewertungskategorie wurde insgesamt und innerhalb der einzelnen Fragenkategorien berechnet.

Die bewerteten Antworten verteilten sich folgendermaßen:

• Richtige und umfassende Antworten: 82,5% (n=33)
• Richtige, aber nicht umfassende Antworten: 15% (n=6)
• Teilweise falsche Antworten: 2,5% (n=1)
• Vollständig falsche Antworten: 0%

Bei Fragen zur genetischen Beratung war der Anteil sowohl richtiger als auch umfassender ChatGPT-Antworten am höchsten. Der Chatbot antwortete bei allen 20 Fragen mit 100% Genauigkeit. Auch Fragen zu bestimmten genetischen Erkrankungen beantwortete er ähnlich gut. Beispielsweise beurteilten die gynäkologischen Onkologen die Antworten zu BRCA1- oder BRCA2-Genmutationen, die als Auslöser bestimmter Krebsarten bekannt sind, zu 88,2% als richtig und vollständig (n = 15/17). Beim Lynch-Syndrom wurden 66,6% der Antworten (n = 2/3) als richtig bewertet.

Fazit

Durch weiteres Training neuer KI-Werkzeuge wie GPT mit zusätzlichen Daten und durch besser formulierte Fragen dürften sich diese Ergebnisse weiter verbessern. Ziel der Informatikfachleute ist, die Technik bei ausreichender Reife im klinischen Alltag einzusetzen, selbstverständlich zur Unterstützung des medizinischen Fachpersonals.

KI-gestützte Chatbots könnten somit den Zugang zu Informationen für Krebspatienten erleichtern und dadurch Behandlungsabläufe verbessern sowie Ängste verringern. Die Werkzeuge müssen jedoch weiterentwickelt und in Zusammenarbeit mit medizinischen Fachpersonen eingesetzt werden.