Warum manche Ärzte künstlicher Intelligenz zu sehr vertrauen, ohne es zu bemerken

Künstliche Intelligenz verändert die Medizin

Künstliche Intelligenz (KI) kann viele Bereiche der Medizin grundlegend verändern. Diese Innovationen bergen jedoch auch das Risiko, dass Ärzte, Patienten und Angehörige der Technologie übermäßig vertrauen.

Besonders der sogenannte Automation Bias, also die Neigung, Entscheidungen von KI-Systemen ungeprüft zu übernehmen, kann sowohl Lernprozesse als auch die Patientensicherheit beeinträchtigen. Dieser Beitrag beleuchtet Nutzen und Risiken von KI bei medizinischen Entscheidungen und zeigt Möglichkeiten für eine wirksamere Einbindung auf.

Nutzen und Risiken KI-gestützter Entscheidungen

Die Erfahrung von Dr. Stephen Belmustakov verdeutlicht, wie KI in der Medizin zu einem „Sicherheitspolster“ werden kann. Er arbeitete in einem New Yorker Krankenhaus mit KI-gestützten Radiologiesystemen. Als diese Technik an seiner neuen Arbeitsstelle fehlte, fühlte er sich nach eigener Aussage „unsicher“. KI bietet Ärzten gewissermaßen ein zweites Paar Augen, kann zugleich aber eine übermäßige Abhängigkeit fördern.

Automation Bias: erkennbare Gefahren

Automation Bias kann dazu führen, dass Ärzte Empfehlungen einer KI ungeprüft übernehmen. Eine Untersuchung unter Leitung von Dr. Paul Yi analysiert, wie Ärzte auf KI-Entscheidungen reagieren. Die 220 teilnehmenden Radiologen und Ärzte anderer Fachrichtungen bewerteten den Nutzen der KI-Befunde unterschiedlich. Bei falschen Befunden hielten Radiologen das System nicht für hilfreich, während fachfremde Ärzte ihm eher vertrauten. Dies zeigt, dass das Vertrauen in KI vom jeweiligen Fachwissen abhängen kann.

KI in Ausbildung und klinischem Alltag

Die zunehmende Verbreitung von KI könnte auch die medizinische Ausbildung verändern. Eine von der KI sofort bereitgestellte „zweite Meinung“ kann die Lerndynamik beeinflussen. Dr. Belmustakov weist darauf hin, dass eine vorzeitige Markierung radiologischer Auffälligkeiten durch KI die Produktivität des Lernens verringert. Er erklärt: „Wenn ein Werkzeug sofort auf einen positiven Befund hinweist, verändert das die eigene Art, die Bilder zu betrachten,“ so Belmustakov.

Mögliche Folgen falscher Entscheidungen

Falsche KI-Entscheidungen können die Patientensicherheit ernsthaft gefährden. Richtige Empfehlungen steigern zwar die Effizienz. Unter Müdigkeit oder Zeitdruck können unzutreffende Empfehlungen jedoch zu irreversiblen Fehlern führen. In einem in Paul Yis Untersuchung beschriebenen Szenario könnte ein Radiologe dazu neigen, einfach zuzustimmen und weiterzumachen, was medizinische Fehler begünstigt.

Den Umgang mit KI gestalten: Lösungsansätze

Benutzerorientierte KI-Gestaltung

Wie KI-Systeme mit Ärzten kommunizieren, ist entscheidend. Manche markieren Befunde lediglich mit Kästchen, andere geben durch den Vergleich ähnlicher Fälle ausführlichere Erklärungen. Diese unterschiedlichen Ansätze können das Vertrauen erheblich beeinflussen. Einfache Erklärungen ermöglichen zwar schnellere Entscheidungen, können aber zu einer unzureichenden Bewertung führen.

Schulung und Zertifizierung

Für den wirksamen Einsatz von KI könnten Schulungs- und Zertifizierungsprogramme entwickelt werden. Dr. Paul Yi spricht sich für ein bestimmtes Kompetenzniveau bei Radiologen aus, die solche Systeme nutzen. Dies könnte die Patientensicherheit verbessern und zu einem bewussteren Vertrauen in die Systeme beitragen.

ZUSAMMENFASSUNG

Warum vertrauen wir künstlicher Intelligenz zu stark?

1. Automation Bias
   KI-Werkzeuge werden häufig mit hohen Genauigkeitsraten beworben. Das kann Ärzte dazu verleiten, automatische Entscheidungen ungeprüft zu übernehmen. Menschen können dazu neigen, der Technologie zu viel zuzutrauen.

2. Zeitdruck und Stress
   Bei hoher Arbeitsbelastung und Entscheidungsdruck erscheinen KI-Werkzeuge als zeitsparende Helfer, die rasch eine zweite Meinung liefern. Diese Bequemlichkeit birgt das Risiko, fehlerhafte Ergebnisse nicht mehr zu hinterfragen.

3. Wahrgenommene Neutralität
   Die Vorstellung, KI-Algorithmen seien frei von menschlichen Fehlern, kann zur falschen Annahme führen, sie seien grundsätzlich neutral und verlässlich. Tatsächlich können sie die Verzerrungen ihrer Trainingsdaten übernehmen.

4. Fehlende Schulung und Sensibilisierung
   Ärzte ohne ausreichende Ausbildung im sachgerechten Einsatz und in der kritischen Bewertung von KI können die Grenzen der Systeme schwerer erkennen. So kann unbemerkt übermäßiges Vertrauen entstehen.

Fallstricke beim Einsatz von KI durch Ärzte

1. Falsch positive und falsch negative Ergebnisse
   KI-Systeme können falsch positive oder falsch negative Befunde liefern. Falsch positive Ergebnisse können unnötige Eingriffe auslösen; falsch negative können dazu führen, dass kritische Probleme übersehen werden.

2. Unklare Verantwortung
   Bei einem Fehler kann übermäßiges Vertrauen in KI dazu führen, dass sich die Verantwortung zwischen Arzt und System nicht klar zuordnen lässt. Daraus können ethische und rechtliche Probleme entstehen.

3. Übermäßige Abhängigkeit von Technik
   Wenn sich Ärzte bei klinischen Entscheidungen vollständig auf KI statt auf eigenes Wissen und Erfahrung stützen, kann ihr menschliches Urteilsvermögen mit der Zeit nachlassen. Besonders bei hoher Fehleranfälligkeit eines Systems ist das gefährlich.

4. Algorithmische Verzerrungen
   KI-Werkzeuge können Verzerrungen aus ihren Trainingsdatensätzen widerspiegeln. Für bestimmte Patientengruppen oder Situationen können dadurch ungleiche Ergebnisse entstehen, die die Patientensicherheit gefährden.

Wie lässt sich übermäßiges Vertrauen in KI vermeiden?

1. Umfassende Schulungsprogramme
   Ärzte benötigen Schulungen, um Funktionsweise, Grenzen und mögliche Verzerrungen von KI zu verstehen. Diese sollten vermitteln, wie Algorithmen arbeiten, wie ihre Ergebnisse angemessen bewertet werden und wie Fehlentscheidungen erkannt werden können.

2. Transparenz und Erklärbarkeit
   KI-Werkzeuge sollten die Kriterien ihrer Entscheidungsfindung erläutern können. Systeme müssen transparenter und verständlicher werden, damit Ärzte nachvollziehen können, warum ein Algorithmus zu einem bestimmten Ergebnis gelangt.

3. Ausgewogene Zusammenarbeit zwischen Mensch und Technik
   KI sollte klinische Entscheidungen unterstützen; die endgültige Entscheidung muss stets dem professionellen Urteil des Arztes überlassen bleiben. Die Werkzeuge sollen ärztliche Fähigkeiten ergänzen, statt Ärzte zu ersetzen.

4. Regulatorische Standards und Zulassungsverfahren
   Für medizinische KI-Werkzeuge müssen strenge Regeln und Standards festgelegt werden. Dazu gehören gründliche Tests und regelmäßige Aktualisierungen, um Verlässlichkeit, Unvoreingenommenheit und Genauigkeit der Algorithmen sicherzustellen.

Fazit: Technologie und menschlicher Faktor im Gleichgewicht

KI bietet große Chancen für die Medizin. Die Risiken, die durch übermäßiges ärztliches Vertrauen in diese Systeme entstehen können, dürfen jedoch nicht übersehen werden. Um Automation Bias zu reduzieren, sind besser gestaltete Systeme, umfassende Schulungen und sorgfältig entwickelte regulatorische Rahmenbedingungen erforderlich. Im ausgewogenen Zusammenspiel mit dem menschlichen Faktor werden KI-Technologien die medizinische Praxis positiv beeinflussen.