Größere und besser durch Anweisungen steuerbare KI-Sprachmodelle werden unzuverlässiger

Künstliche Intelligenz und große Sprachmodelle (Large Language Models, LLMs), allen voran ChatGPT, sind zunehmend Teil unseres Lebens geworden. Sie werden in vielen Bereichen von Bildung und Gesundheit über Wissenschaft bis hin zur Verwaltung eingesetzt und entwickeln sich hinsichtlich Größe und Komplexität rasch weiter. Mit zunehmender Größe und besserer Steuerbarkeit durch Anweisungen wird jedoch ihre Zuverlässigkeit infrage gestellt.

Eine bessere Steuerbarkeit durch Anweisungen bedeutet, dass KI-Modelle auf bestimmte Befehle oder Anweisungen der Nutzer besser reagieren können. Dazu gehören Verbesserungen durch menschliches Feedback beim Training und verschiedene Anpassungen, damit die Modelle Anweisungen genauer verstehen und passendere Antworten auf Nutzerbedürfnisse geben. Solche Modelle können direkte Befehle und Fragen flexibler und verständlicher beantworten. Dieser Prozess kann jedoch mitunter auch zu falschen oder irreführenden Antworten führen. Ist das also etwas Schlechtes?

Besser auf Anweisungen abgestimmte Modelle können gelegentlich Antworten liefern, die wie vom Nutzer gewünscht „sinnvoll“ erscheinen, tatsächlich aber falsch sind. Dies entsteht durch die Neigung des Modells, „immer eine Antwort zu geben“, und erschwert es den Nutzern, den Fehler zu erkennen. Besonders in kritischen Bereichen wie Medizin und Wissenschaft können solche irreführenden Antworten schwere Fehler und falsche Entscheidungen verursachen.

Die am 25. September 2024 in Nature veröffentlichte Studie von Lexin Zhou und seinem Team ordnet diese Bedenken wissenschaftlich ein. Sie zeigt, dass mit zunehmender Leistungsfähigkeit von KI-Systemen unerwartete Einbußen bei der Zuverlässigkeit auftreten können.

In diesem Beitrag untersuchen wir, wie die derzeitigen Strategien zur Skalierung und zum Training großer Sprachmodelle Zuverlässigkeitsprobleme verursachen können. Wir betrachten, warum größere und besser durch Anweisungen steuerbare KI-Modelle irreführende Ergebnisse liefern können und welche Risiken dies insbesondere in kritischen Bereichen birgt.

Warum werden große Sprachmodelle unzuverlässiger?

Größere Trainingsdatensätze, mehr Parameter und Verfahren wie menschliches Feedback machen KI-Modelle leistungsfähiger. Nach den Ergebnissen von Zhou und Kollegen garantieren diese Verbesserungen jedoch entgegen den Erwartungen keine Zuverlässigkeit. Die wichtigsten Erkenntnisse lassen sich unter folgenden Punkten zusammenfassen:

1. Übereinstimmung beim Schwierigkeitsgrad und Fehleranfälligkeit: Aufgaben, die für Menschen einfach sind, sind meist auch für große Sprachmodelle einfach. Mit zunehmender Modellgröße können jedoch selbst bei geringem Schwierigkeitsgrad unerwartete Fehler auftreten. Bei einfachen Rechenaufgaben oder Wortspielen, die Menschen leicht lösen können, machen Modelle häufig Fehler. Dies schwächt das Vertrauen der Nutzer in ihre Zuverlässigkeit. Insbesondere Analysen von Modellen wie GPT und LLaMA zeigten, dass die Fehlerraten selbst bei Beispielen mit geringem Schwierigkeitsgrad anstiegen.

2. Aufgabenvermeidung und irreführende Antworten: Frühere Sprachmodelle ließen Nutzerfragen häufig unbeantwortet oder wählten einen vorsichtigen Ansatz wie „Dazu kann ich keine Antwort geben“. Besser auf Anweisungen abgestimmte Modelle neigen dagegen stärker dazu, plausibel wirkende Antworten zu liefern, auch wenn sie falsch sind, statt eine Frage unbeantwortet zu lassen. Dies kann insbesondere bei komplexen und kritischen Themen schwerwiegende Folgen haben. Die Untersuchung zeigte, dass fortgeschrittene Modelle wie GPT-4 und LLaMA-2 bei Schwierigkeiten mit einer Antwort Fehler machten, anstatt sich einer Antwort zu enthalten.

3. Antwortstabilität und trügerisches Vertrauen: Obwohl sich die Antwortstabilität gegenüber unterschiedlichen Frageformulierungen verbessert hat, weisen Zhou und sein Team darauf hin, dass dies ein irreführendes Gefühl von Sicherheit erzeugt. Wird dieselbe Frage unterschiedlich formuliert, kann das Modell einmal richtig und ein anderes Mal falsch antworten. Dies kann besonders für Nutzer gefährlich sein, die das Modell für zuverlässig halten. Beispielsweise kann es eine einfache Rechenaufgabe einmal korrekt beantworten und ein anderes Mal einen Fehler machen.

Sinkende Modellzuverlässigkeit: Ursachen und Folgen

Das Training großer Sprachmodelle mit mehr Daten und Parametern verbessert meist ihre Fähigkeit, komplexere Probleme zu lösen. Wenn jedoch zugleich die Wahrscheinlichkeit falscher Antworten selbst bei einfachen Problemen steigt, entstehen erhebliche Schwierigkeiten für die Nutzer. Zhou und sein Team argumentieren, dass die Skalierung dieser Modelle Fehler nicht vollständig beseitigt, sondern mehr Fehler unsichtbar macht. Dadurch können Nutzer aufgrund unerkannter Fehler zu falschen Ergebnissen gelangen und darauf beruhende Fehlentscheidungen treffen.

Reicht menschliche Kontrolle aus?

Menschliche Kontrolle ist eine wichtige Strategie zur Verbesserung der Zuverlässigkeit von KI-Systemen. Die Untersuchung zeigt jedoch, dass sie nicht immer ausreicht und Menschen insbesondere bei komplexen Aufgaben die Modellfehler nicht erkennen. Dass Fehler bei hohem Schwierigkeitsgrad unentdeckt bleiben, birgt für Nutzer in kritischen Bereichen große Risiken. Besonders bedeutsam ist dies in Bereichen wie Gesundheit und Wissenschaft. Eine falsche Diagnose oder fehlerhafte wissenschaftliche Daten können unumkehrbare Folgen haben.

Fazit und Zukunftsperspektiven

In einer Welt, in der KI zunehmend genutzt wird, ist die Zuverlässigkeit großer Sprachmodelle von erheblicher Bedeutung. Die Arbeit von Zhou und seinem Team betont, dass die bisherigen Strategien zur Verbesserung der Zuverlässigkeit nicht ausreichen und grundlegendere Änderungen des Designs erforderlich sind. Insbesondere in risikoreichen Bereichen müssen Nutzer und Entwickler beim Einsatz dieser Modelle vorsichtiger vorgehen.

Diese Erkenntnisse werden wichtige Orientierung für künftige Bemühungen zur Verbesserung der Zuverlässigkeit von KI-Systemen bieten. Damit große Sprachmodelle einen bestimmten Zuverlässigkeitsstandard erreichen, sind grundlegende Änderungen sowohl der Skalierungs- als auch der Trainingsstrategien erforderlich.