Muttermal oder Krebs? Wie sehr können wir welchen KI-Anwendungen vertrauen?

Der Einsatz künstlicher Intelligenz (KI) in speziellen Diagnosegeräten oder Smartphone-Apps zur Hautkrebsdiagnose ist seit einigen Jahren sehr beliebt. Bei diesen Geräten und Anwendungen gibt es jedoch Bedenken hinsichtlich der diagnostischen Genauigkeit.

Bislang hatte die FDA zwei computergestützte Geräte zur Klassifizierung von Hautläsionen zugelassen, die Ärzten bei der Beurteilung verdächtiger Melanome helfen sollen. Nur eines wird weiterhin unterstützt: Nevisense von SciBase AB. Dagegen ist keine Smartphone-App zur Klassifizierung von Hautläsionen von der FDA oder einer anderen anerkannten Gesundheitsbehörde zugelassen. 

Das schwedische Unternehmen SciBase AB hatte im Mai 2020 die FDA-Zulassung seines KI-basierten Nevisense 3.0 angekündigt. Es soll ohne Biopsie beurteilen, ob unregelmäßige beziehungsweise verdächtige Muttermale krebsartig sind. Das andere Gerät, MelaFind, wurde von Stara Skin Sciences übernommen. Das Unternehmen erklärte jedoch, Forschung, Entwicklung, Verkauf und Unterstützung dafür 2017 eingestellt zu haben.

Unten sehen Sie das Nevisense-Gerät:

Immer mehr KI-Anwendungen

In den vergangenen Jahren nahm die Zahl der Veröffentlichungen zu KI und maschinellem Lernen zu, die zu neuen Werkzeugen für die Unterstützung der Diagnose von Hautkrankheiten einschließlich Krebs führen könnten. Auch Google gehört zu den beteiligten Unternehmen. Deshalb bat die FDA ein Fachgremium, Fragen zur Bewertung der Risiken computergestützter Geräte für die Melanomdiagnose zu erörtern. Außerdem wurden Rückmeldungen und Empfehlungen dazu erbeten, wie sich diese Risiken beherrschen lassen.

Eine Sitzung am 29. Juli 2022 befasste sich besonders mit der möglichen Neueinstufung der derzeitigen Klasse-III-Geräte. Ein zentraler Punkt war außerdem, ob die FDA Anforderungen und Beschränkungen für Sicherheit und Wirksamkeit computergestützter Geräte zur Unterstützung der dermatologischen Beurteilung verdächtiger Melanomläsionen festlegen sollte. Denkbare besondere Kontrollen wären klinische Leistungstests zur Sensitivität, der Richtig-positiv-Rate, und Spezifität, der Richtig-negativ-Rate. Auch Softwarevalidierung und Cybersicherheitstests könnten zur Risikominderung verlangt werden.

Die Fachleute betonten außerdem den Bedarf an Studien, die zeigen, wie genau neue Werkzeuge die betreffenden Läsionen erkennen.

Binita Ashar vom Center for Devices and Radiological Health der FDA sagte zu künftigen Produkten: „Die Innovation geht weiter. Die Entwickler von Medizinprodukten fragen sich, wie sie die Evidenz schaffen können, die Ihren Erwartungen entspricht.“

Einstufung von Medizinprodukten

Simon Grant, Geschäftsführer von SciBase, dem Hersteller des derzeit einzigen Hautkrebsdiagnosegeräts auf dem US-Markt, Nevisense, erklärte, die Vorschriften der Klasse III müssten bestehen bleiben. Er werde in dieser Sache klagen. Vorgeschlagen worden war, das bisher als Klasse III eingestufte Nevisense in die weniger streng regulierte Klasse II aufzunehmen.

Grant sagte, ein Übergang zu Klasse II würde die Standards zur Freigabe von Produkten zur Hautläsionsanalyse aufweichen und Patienten gefährden.

1. Nach den FDA-Regeln werden Geräte mit möglichem Erkrankungs- oder Verletzungsrisiko der Klasse III zugeordnet. Etwa 10% aller Medizinprodukte gehören dazu, darunter implantierbare Herzschrittmacher, Brustimplantate und Nevisense.
2. Etwa 43% der Medizinprodukte, beispielsweise elektrische Rollstühle und bestimmte Schwangerschaftstests, gehören zur Klasse II.
3. Klasse-I-Medizinprodukte bergen dagegen nur ein geringes Schadenspotenzial und sind einfach konstruiert. Dazu zählen Einlaufsets und elastische Bandagen.

Grant warnte vor unbeabsichtigten Folgen einer solchen Änderung. „Kleine Änderungen an KI-Systemen können große und nichtlineare, sogar zufällige Auswirkungen haben. Ist das Produkt aber bereits auf dem Markt und ein Schaden eingetreten, ist es zu spät.“

Auch die amerikanische Gesellschaft für dermatologische Chirurgie (ADCD) protestierte gegen eine Neueinstufung zugelassener computergestützter Klasse-III-Geräte zur Unterstützung der Melanomdiagnose. Sie äußerte Bedenken gegen erweiterte Einsatzbereiche, auch bei Produkten, die direkt an Verbraucher vermarktet werden.

„Algorithmen und Geräte, mit denen Patienten Hautläsionen selbst beurteilen sollen, sind zwar bereits weit verbreitet. Es sind aber keine Diagnosegeräte, und sie sind weder von Dermatologen noch von anerkannten medizinischen Regulierungsbehörden zugelassen. Sie sollten einen ausführlichen Haftungsausschluss enthalten, der auf ihren überwiegenden Unterhaltungs- und Bildungszweck hinweist. Die Geräte und Algorithmen solcher Screening-Werkzeuge sind nicht streng reguliert und nicht hinreichend belegt. Sie können zu falschen, übersehenen oder unvollständigen Diagnosen führen. Menschen mit niedrigem wie hohem Risiko sind besser beraten, eine persönliche Untersuchung bei einer zertifizierten dermatologischen Fachperson zu vereinbaren, die einen passenden Hautscreeningplan festlegen kann.“

Verbraucher wünschen Diagnose-Apps als Zwischenschritt

Viele Menschen stoßen außerdem auf Hindernisse beim Zugang zur Dermatologie. Lily Peng aus Googles Team für KI im Gesundheitswesen sagte: „Google-Untersuchungen zeigen, dass Verbraucher einen Zwischenschritt zwischen leicht verfügbaren Online-Informationen und der Auskunft einer medizinischen Fachperson suchen“.

„Oft wünschen Menschen mehr Informationen über häufige Beschwerden wie Akne und haben manchmal Schwierigkeiten, ärztliche Hilfe zu erreichen. Bei Hautproblemen bestehen viele ungedeckte Bedürfnisse, meist bei weniger akuten Beschwerden. Verbraucher sagen uns, dass sie ein Hilfsmittel für nicht schwerwiegende Erkrankungen und für die Entscheidung wünschen, wann sie medizinische Hilfe suchen sollten.“

Google-Forschende veröffentlichten in den vergangenen Jahren mehrere Studien zum Einsatz von KI zur Verbesserung der dermatologischen Diagnostik.

Ein 2020 veröffentlichter Artikel berichtete über die Prüfung eines Deep-Learning-Systems von Google zur Differenzialdiagnose von Hautkrankheiten. Laut Zusammenfassung war das System bei 963 Validierungsfällen, die von einem Gremium aus drei zertifizierten Dermatologen bewertet wurden, 6 Dermatologen, sechs hausärztlichen Fachpersonen und 6 Pflegekräften überlegen.

Die Bildqualität ist dabei entscheidend. Professionelle Aufnahmen lassen sich nicht ohne Weiteres mit Smartphone-Bildern unterschiedlicher Qualität vergleichen. Im Alltag werden Diagnoseanwendungen jedoch mit nicht standardisierten Bildern konfrontiert.

Wir sind noch nicht bereit

Maral Skelsey, Hautkrebsspezialistin aus Chevy Chase in Maryland und Mitglied des Gremiums, erklärte, sie verwende seit Jahren Nevisense und MelaFind. Für den eigentlichen Einsatz sei man jedoch noch nicht bereit. Besonders MelaFind sei wegen seiner hohen Fehldiagnoserate noch nicht einsatzreif. Auch die Beschränkung auf bestimmte Körperregionen sei problematisch.

Sie freue sich allerdings auf bessere Geräte zur Beurteilung von Hautläsionen. „Wir stehen hier an einer Schwelle und brauchen solche Geräte wirklich. Patienten müssen sich selbst untersuchen und auch Menschen ohne dermatologische Fachausbildung Läsionen beurteilen können.“

Skelsey warnte außerdem vor möglichen Schäden durch eine rasche Lockerung der Zulassungsstandards. Renata Block, Dermatologin aus Chicago und ebenfalls im Gremium, stimmte zu und bestand auf der Einstufung als Klasse III. Karla V. Ballman von Weill Cornell Medicine erklärte, vor einer Entscheidung über die Geräteklasse müsse ein klarer Standard für die klinische Leistung bestehen. „Meiner Ansicht nach sind wir für den ersten Einsatz noch nicht bereit. Die Geräte sollten in Klasse III bleiben.“

Es gab auch Gegenpositionen. Katalin Roth hielt die Risiken für beherrschbar und meinte, künftige Werkzeuge könnten mehr Menschen helfen, den Weg zu entscheidenden Diagnosen zu finden. „Als Palliativmedizinerin betreue ich viele Menschen mit Krebs. Ich glaube, wir übersehen hier den Faktor Zeit. Ein Melanom ist eine schreckliche Krankheit, und eine späte Diagnose ist schlimm. Ich denke aber, besondere Kontrollen könnten die Bedenken meiner Kollegen im Ausschuss ausräumen.“

Schließlich sprach Veronica Rotember vom Memorial Sloan Kettering Cancer Center in New York. Rotemberg erforscht seit vielen Jahren die Entwicklung von KI und anderen computergestützten Werkzeugen zur Erkennung und Diagnose des Melanoms, der aggressivsten Hautkrebsform. Sie äußerte Zweifel an der Leistung kommerzieller Apps, die Muttermale und andere Läsionen scannen und erkennen wollen, welche krebsartig sind. British Journal of Dermatology veröffentlichte eine Übersichtsarbeit unter Mitwirkung Rotembergs, der zufolge diese Apps nur zu 59% richtig lagen. Rotemberg betonte auch die Notwendigkeit, die Algorithmen vermarkteter Werkzeuge zur Hautkrebserkennung regelmäßig zu überprüfen. „Wir brauchen ein Verfahren für Stichproben. Die meisten Daten liegen bereits elektronisch vor. Es sollte deshalb nicht allzu schwer sein, einen Algorithmus und seine Leistung mit Biopsiebefunden zu vergleichen.“