Plausibel ist nicht wahr
Ein Sprachmodell, technisch betrachtet, sagt nicht, was wahr ist. Es sagt, was klingt, als wäre es wahr. Das ist keine vereinfachende Formulierung, sondern eine präzise Beschreibung: Das Modell wählt das nächste Wort danach aus, mit welcher Wahrscheinlichkeit es in einem Korpus aus Milliarden Wörtern auf die vorhergehenden gefolgt wäre. Plausibilität ist die Zielfunktion. Wahrheit ist eine Eigenschaft, die manchmal mit Plausibilität zusammenfällt und manchmal nicht, das System weiß den Unterschied nicht.
Diese Unterscheidung klingt akademisch, bis man sie an einem konkreten Output durchgehen lässt. Wer eine juristische Argumentation generiert, eine medizinische Zusammenfassung, eine Marktbeurteilung, eine technische Spezifikation, bekommt jedes Mal etwas, das im Tonfall, in der Struktur und im Wortschatz aussieht wie eine Antwort, die ein Fachmensch gegeben hätte. Ob es das ist, was ein Fachmensch tatsächlich gesagt hätte, ist eine andere Frage. Die Form ist die Form von Korrektheit. Die Substanz wird nicht garantiert.
Das wäre nur halb so brisant, wenn Menschen unempfindlich für Form wären. Sind sie nicht. Wer in einem Dokument, das nach einer Wettbewerbsanalyse aussieht, vier richtige Fakten und eine erfundene Statistik liest, ohne den Unterschied zu bemerken, ist nicht naiv. Er folgt einer kognitiven Routine, die bisher gut funktioniert hat: Was wie eine seriöse Quelle aussieht, wird wahrscheinlich auch seriös sein. In einer Welt, in der das Aussehen von Seriosität fälschungssicherer war als heute, war diese Routine effizient. Sie ist es nicht mehr.
Warum bessere Modelle das Problem nicht lösen
Eine intuitive Annahme lautet: Die Fehlerhaftigkeit der frühen Modelle wird mit den nächsten Versionen verschwinden. Stimmt für viele Fehlerklassen, Grammatik, offene Widersprüche, krasse Inkonsistenzen sind in einem GPT-4-Level-System seltener als in einem GPT-3-Level-System. Was sich aber nicht erledigt, sondern verschärft, ist genau das Plausibilitätsproblem. Je besser das Modell, desto besser klingt jeder Output. Je besser jeder Output klingt, desto schwerer wird die Unterscheidung zwischen einem, der inhaltlich trifft, und einem, der inhaltlich danebenliegt. Bessere Modelle produzieren plausiblere Fehler, nicht weniger, sondern subtilere. Die Form der falschen Antwort wird ununterscheidbarer von der Form der richtigen.
Das ist kein Bug, der mit dem nächsten Update behoben wird. Es ist ein strukturelles Merkmal eines Mechanismus, der auf statistischer Wahrscheinlichkeit operiert. Ein Modell, das stochastisch das Wahrscheinlichste vorhersagt, produziert dann am wenigsten markierte Fehler, wenn der Fehler selbst wahrscheinlich aussieht. Eine erfundene juristische Entscheidung mit korrektem Aktenzeichen-Format, einem realistisch klingenden Gericht und einem plausiblen Sachverhalt ist genau das, was ein gut trainiertes Sprachmodell als Output erzeugt, weil sie genau dem entspricht, was in seinen Trainingsdaten häufig vorkam.
Ein Fall, der Schule machte
Im Frühjahr 2023 reichte ein New Yorker Anwalt im Verfahren Mata gegen Avianca einen Schriftsatz ein, der mehrere Präzedenzfälle zitierte. Das Gericht prüfte sie. Sechs der zitierten Fälle existierten nicht. Sie waren nicht falsch zitiert, sondern komplett erfunden, vom Sprachmodell, mit dem der Anwalt gearbeitet hatte. Das Bemerkenswerte am Vorfall war nicht, dass das Modell halluziniert hatte. Das war bekannt. Bemerkenswert war, dass der Anwalt die Zitate nicht überprüft hatte, weil sie wie echte Zitate aussahen. Aktenzeichen im richtigen Format, Gerichte mit korrekten Namen, Sachverhalte, die für die Argumentation passten. Wer eine Stunde damit verbracht hatte, die Zitate zu lesen, hätte keinen Grund gefunden, an ihrer Echtheit zu zweifeln. Erst wer sie in einer Datenbank suchen ließ, fand: leer.
Der Fall hat seitdem Schule gemacht. Eine wachsende Datenbank, die solche Fälle dokumentiert, listet inzwischen über tausend gerichtliche Verfahren, in denen erfundene KI-Zitate als echt durchgegangen sind oder, häufiger, beinahe durchgegangen wären, bis sie im Verfahren entdeckt wurden. Es trifft nicht nur Anwaltskanzleien. Es trifft wissenschaftliche Verlage, deren Autoren Quellenangaben aus KI-Systemen übernehmen, ohne sie zu prüfen. Es trifft medizinische Praxen, deren Transkriptionssoftware vermeintlich vom Patienten gesagte Sätze produziert, die nie gesagt wurden. Es trifft Marketing-Abteilungen, die Statistiken weiterleiten, deren Quelle bei näherer Prüfung nicht existiert.
In allen diesen Fällen liegt der Fehler nicht beim Modell. Das Modell hat genau das getan, wofür es entworfen wurde: etwas produziert, das wie eine Antwort klingt. Der Fehler liegt bei der menschlichen Routine, das Klingen für die Antwort zu halten.
Der kognitive Mechanismus
Die Forschung kennt den Effekt seit Jahrzehnten unter dem Namen Automation Bias: die Neigung, automatisierten Empfehlungen mehr zu vertrauen als der eigenen Beurteilung, gerade dann, wenn die Empfehlung im richtigen Format kommt und mit überzeugendem Auftreten. Studien aus der Luftfahrt zeigten ihn an Piloten, die einem Bordcomputer in Situationen folgten, in denen ein Blick aus dem Fenster genügt hätte, um den Fehler zu sehen. Studien aus der Medizin zeigen ihn an Ärztinnen, die eine algorithmische Diagnosehilfe übernehmen, auch wenn klinische Symptome dagegen sprechen.
Generative KI bringt diesen Effekt in eine neue Größenordnung, aus drei Gründen. Erstens ist die formale Qualität ihrer Outputs höher als bei früheren Entscheidungshilfen, was die Empfänglichkeit für die Empfehlung steigert. Zweitens ist die Häufigkeit der Outputs höher; wo früher ein Algorithmus ein Ergebnis pro Patient produzierte, produziert ein Sprachmodell Dutzende Absätze pro Tag und Nutzer, was die individuelle Prüfung jedes einzelnen mühsam macht. Drittens ist der Bereich, in dem die Outputs Anwendung finden, breiter; früher betraf der Effekt eng definierte Entscheidungsdomänen, heute betrifft er jeden Berufstätigen, der schreibt, recherchiert, analysiert oder formuliert.
Wer den Effekt einmal an sich selbst bemerkt hat, etwa indem er ein KI-Ergebnis als Endprodukt weitergegeben hat und es erst später, in einem anderen Kontext, als unrichtig erkannte, versteht, dass es keine Frage der Intelligenz oder Erfahrung ist. Es ist eine Frage der Routine. Routinen lassen sich ändern, aber nicht durch den Vorsatz, „kritischer zu lesen". Sie ändern sich durch konkrete Prüfschritte, die zwischen Output und Übernahme eingebaut werden.
Was Beurteilungskompetenz heißt
Die Kompetenz, die hier gebraucht wird, ist nicht Fachwissen. Niemand kann Experte in jeder Domäne sein, in der er ein KI-System einsetzt. Was gebraucht wird, ist eine andere Fähigkeit: zu erkennen, an welchen Stellen ein Output verifiziert werden muss, und die Disziplin, diese Verifikation tatsächlich durchzuführen. Wer ein juristisches Zitat übernimmt, muss es in einer Datenbank prüfen. Wer eine Statistik übernimmt, muss die Quelle aufrufen. Wer eine medizinische Aussage übernimmt, muss sie in einer Leitlinie nachschlagen. Das klingt selbstverständlich. Es wird in der Praxis durchgängig nicht getan.
Der zweite Teil dieser Kompetenz ist subtiler. Es geht darum, das, was zurückkommt, gegen die eigene Absicht zu prüfen, nicht nur gegen die Welt. Wer eine Marktanalyse beauftragt hat, muss prüfen, ob das, was die Analyse beantwortet, das ist, was er gefragt hat, und nicht eine plausible Variante seiner Frage, die das System gestellt hat, ohne ihn zu konsultieren. Genau hier liegt der Punkt, an dem Formulierungskompetenz und Beurteilungskompetenz aneinander hängen. Wer seinen eigenen Auftrag nicht klar formuliert hat, kann den Output nicht gegen ihn prüfen, weil es keinen klaren Auftrag gibt, gegen den zu prüfen wäre. Er prüft den Output dann gegen seinen Eindruck, und Plausibilität sorgt zuverlässig für einen guten Eindruck.
Praktisch
Wer nur eine Konsequenz aus diesem Argument zieht, sollte es diese sein: Vor jeder substantiellen Übernahme eines KI-Outputs gehört ein einziger, ausgesprochener Satz. „Das klingt gut. Stimmt es auch?" Nicht als rhetorische Frage. Als Aufforderung, drei konkrete Stellen im Output zu identifizieren, die nachprüfbar sind, und sie nachzuprüfen. Eine Zahl, eine Quelle, eine Behauptung. Nicht alles, das wäre Lähmung. Aber drei. Wer das routiniert tut, findet im Schnitt nach einer Woche die erste Halluzination an sich selbst, und nach einem Monat hat er eine Sensibilität entwickelt, die ihm an anderen Outputs Dinge auffallen lässt, die ihm vorher nicht aufgefallen wären.
Das ist keine Garantie. Plausible Fehler werden weiterhin durchkommen. Aber die Häufigkeit fällt, und die Größenordnung der Fehler, die durchgehen, fällt mit. Das ist das Maximum, das auf der Anwenderseite zu holen ist, solange die Modelle stochastisch operieren, was sie auf absehbare Zeit tun werden.
Die Pointe lautet einfach. KI-Systeme produzieren keine Wahrheit, sondern Wahrscheinlichkeitsschätzungen über das, was Wahrheit oft begleitet hat. Wer das vergisst, liest in Outputs eine Substanz, die nie versprochen wurde. Wer es nicht vergisst, behält etwas, das KI-Systeme nicht haben können: die Fähigkeit, das Klingen vom Sein zu unterscheiden.
Anmerkung. Dieser Text ist eine erste Fassung, die im Längenverhältnis und in der Tonlage geplanter Essays gehalten ist. Die endgültige Version erscheint, wenn das Argument an dieser Stelle hinreichend Druck gewonnen hat, um eigenständig zu stehen.
Zurück zur Texteübersicht oder zur Startseite.