Auf welchem Gebiet ist künstliche Intelligenz BESSER ALS ÄRZTE geworden?

Am 1. Januar 2020 veröffentlichte Nature eine von Google Health, DeepMind und dem Imperial College London erstellte Untersuchung, an der 31 Forscher namentlich beteiligt waren. Die Untersuchung zur Früherkennung von Brustkrebs gehörte zu den viel diskutierten Nachrichten in sozialen Medien und Nachrichtenkanälen. Die Schlagzeilen lauteten meist „Googles neuer Deep-Learning-Algorithmus ersetzt Radiologen“ oder beschrieben, inwiefern diese Methode besser als Ärzte sei.

Künstliche Intelligenz

Welche Faktoren lassen vermuten, dass künstliche Intelligenz besser als Radiologen sein und diese ersetzen könnte?

Wenn Maschinen von 10 gestellten Fragen acht richtig und zwei falsch beantworten, Radiologen aber bei denselben Fragen drei Fehler machen, sind die Maschinen dann besser? Die menschliche Entscheidungsfindung und die kognitiven Funktionen des Gehirns sind äußerst komplex und weisen weiterhin unerforschte Einzelheiten auf. Ein Radiologe entscheidet anhand von Mammografie- Bildern, ob eine Person Krebs hat, und kann bei einem Verdacht, bei dem er nicht sicher ist, zusätzliche klinische Tests wie eine Biopsie heranziehen. Um solche Entscheidungen treffen zu können, widmet ein Radiologe sein gesamtes Leben der entsprechenden Ausbildung.

- Verwandtes Thema: Besteht trotz negativem Mammografiebefund ein Brustkrebsrisiko?

Bei der im Gesundheitswesen häufig erwähnten computergestützten Bildverarbeitung mit Deep-Learning-Algorithmen versucht man hingegen, aus den Bildpixeln aussagekräftige Daten zu gewinnen. Der trainierte Algorithmus wird anhand zuvor nie gezeigter Testbilder bewertet.

Ein Algorithmus ist ein festgelegter Lösungsweg zur Lösung eines Problems. Man kann sich dies als „Problem + Algorithmus = Lösung“ vorstellen. Algorithmen sind nicht auf die Medizin beschränkt, werden jedoch besonders intensiv in Medizin und Technik eingesetzt. Für das Gesundheitswesen bestimmte künstliche Intelligenzenwerden so gestaltet, dass sie Tausende, sogar unbegrenzt viele Algorithmen kennen.

Bei der Bewertung künstlicher Intelligenz zählt nicht nur die Trefferquote

Ein Deep-Learning-Algorithmus, der Vorhersagen mit % 95 Genauigkeit trifft, kann in seinem Fehleranteil von %5 äußerst entscheidende Informationen verbergen. Deshalb werden bei der Bewertung solcher Algorithmen unbedingt auch Fehlermatrizen berücksichtigt. Eine Fehlermatrix ist eine Tabelle mit vier unterschiedlichen Kombinationen. Sie enthält nacheinander richtig positive, richtig negative, falsch positive und falsch negative Ergebnisse.

Richtige Werte sind, wie der Name sagt, Ergebnisse, die das Modell korrekt vorhergesagt hat. Falsche Werte sind dagegen Ergebnisse, bei denen es sich irrt. Zur Erklärung dient ein Algorithmus für Schwangerschaftstests: Falsch positiv bedeutet, dass das Modell eine Person als schwanger einschätzt, obwohl sie tatsächlich nicht schwanger ist. Falsch negativ wird dagegen hier umgekehrt als eine nicht schwangere Person beschrieben, die als schwanger eingeschätzt wird.

Wie ersichtlich, können die Fehlerquoten von Deep-Learning-Algorithmen mit hoher Empfindlichkeit sehr wichtige Informationen enthalten. Einer tatsächlich nicht an Krebs erkrankten Person ein positives Krebsergebnis mitzuteilen, wird sie psychisch erheblich belasten.

Auch die jüngste Untersuchung mit zahlreichen Forschern vergleicht Maschinen und Radiologen anhand solcher Ergebnisse.

Einzelheiten der Nature-Untersuchung

Zum Training des Deep-Learning-Modells wurden Mammografiebilder von Frauen aus verschiedenen britischen Krankenhäusern verwendet, die zwischen 2012 und 2015 auf Brustkrebs untersucht worden waren, insgesamt etwa 25 Tausend Frauen. Für die Prüfung dienten Mammografiebilder von etwa 3 Tausend Frauen aus den USA. Die Architektur umfasste drei verschiedene künstliche neuronale Netze: RetinaNet von Facebook, MobileNetV2 von Google und ResNet V-1 50 von Microsoft. Das Modell entscheidet anhand eines bestimmten Schwellenwerts, ob Gewebe krebsbefallen ist. Deshalb sollte die Festlegung dieses Schwellenwerts während des Trainings falsch positive und falsch negative Ergebnisse vermindern.

Nach dem Training wurde das Modell zum Vergleich mit Radiologen an 500 unterschiedlichen Mammografiebildern geprüft. Besonders gegenüber US-amerikanischen Radiologen erreichte es niedrigere Raten falsch positiver Ergebnisse, %9.4 weniger, und falsch negativer Ergebnisse, %5.4 weniger. Diese Resultate ergaben sich jeweils aus dem Vergleich des Modells mit der Entscheidung eines einzelnen Radiologen. Gegenüber Entscheidungen, die zwei verschiedene Radiologen nach gegenseitigem Austausch trafen, zeigte die künstliche Intelligenz keinen wesentlichen Erfolg.

Die Untersuchung lässt vermuten, dass künstliche Intelligenz die insbesondere im Vereinigten Königreich vorgeschriebene Kontrolle durch zwei Radiologen entbehrlich machen und Zeit sowie Kosten einsparen könnte. Ein Radiologe könnte dadurch mit KI-Unterstützung fundiertere und schnellere Entscheidungen treffen. Wie jedoch erkennbar, wäre die Aussage, Radiologen könnten bereits ersetzt werden, derzeit nicht realistisch. Will Knight, Fachredakteur für künstliche Intelligenz beim MIT Technology Review, hält es für möglicherweise problematisch, dass niemand genau weiß, wie die fortschrittlichsten Algorithmen ihre Leistungen erbringen.

Künstliche neuronale Netze gelten als Blackbox-Modelle; wie ihre Vorhersagen zustande kommen, lässt sich nicht eindeutig erklären. Wenn Radiologen nicht sicher sind, versuchen sie daher, durch zusätzliche Tests fundiertere Entscheidungen zu treffen. Die derzeit entwickelten KI-Lösungen liefern dagegen nur Vorhersagen anhand der Bilder.

Professor Ken Young, der für den National Health Service arbeitet, sagt, diese Untersuchung entspreche realen Alltagsszenarien. Frühere Untersuchungen auf diesem Gebiet hätten dagegen gewöhnlich stärker vorbereitete Datensätze verwendet, wodurch eine Verzerrung, bias, möglich sei.

Fazit Die Ergebnisse dieser hinsichtlich wissenschaftlicher und technologischer Grundlagen sehr starken Untersuchung werden den Einsatz künstlicher Intelligenz im Gesundheitswesen voranbringen. Anders als manche Schlagzeilen nahelegen, ist jedoch noch nicht das Niveau erreicht, auf dem Radiologen ersetzt werden könnten. In naher Zukunft scheinen Maschinen allerdings im Bereich der Diagnostik den Bedarf an menschlichen Fachleuten deutlich vermindern zu können. Bei Behandlungsentscheidungen hat künstliche Intelligenz dagegen noch einen weiten Weg vor sich.

*

In der folgenden Abbildungsehen Sie die Definitionen und Unterschiede von 3 häufig verwendeten und eng verwandten neuen Informatikbegriffen: künstliche Intelligenz, maschinelles Lernen und Deep Learning.