Wie man Halluzinationen erkennt — und warum «oft gar nicht» die ehrliche Antwort ist

In meinen Kursen gibt es ein Lehrstück, das ich das «Halluzinations-Gericht» nenne. Eine Teilnehmerin liest eine Behauptung vor: «Die Stadt Sursee wurde 1066 zur Hauptstadt der Schweiz ernannt.» Dann treten Anklage und Verteidigung an. Die Verteidigung sagt zuverlässig denselben Satz: «Aber es klang doch so überzeugend.» Das Urteil lautet: Die KI hat nicht gelogen, sie hat fortgesetzt. Schuldig ist, wer ungeprüft veröffentlicht.

Die Frage, die danach immer kommt, ist: Woran hätte man es denn gemerkt? Meine Antwort enttäuscht regelmässig. Am Text meistens gar nicht.

Warum am Text nichts zu sehen ist

Der beste Beleg dafür steht in einer Arbeit von OpenAI selbst. Adam Tauman Kalai und Kollegen haben im September 2025 «Why Language Models Hallucinate» publiziert und darin unter anderem drei Modelle nach dem Titel von Kalais eigener Dissertation gefragt. ChatGPT antwortete mit «Boosting, Online Algorithms, and Other Topics in Machine Learning». DeepSeek nannte einen anderen Titel, Harvard, 2005. Llama einen dritten, MIT, 2007. Keine der drei Antworten war richtig. Alle drei waren einwandfrei formuliert, mit Institution und Jahr.

Das ist der Kern: Flüssigkeit ist kein Wahrheitssignal. Ein Modell rechnet aus, welche Wortfolge wahrscheinlich weitergeht — und eine erfundene Quellenangabe sieht statistisch genau so aus wie eine echte. Es gibt kein Zittern in der Stimme.

Die Autoren zeigen auch, warum das kein Bug ist, der sich wegtrainieren lässt. Fakten, die im Trainingsmaterial nur ein einziges Mal vorkommen, kann ein Modell nicht zuverlässig lernen: Kommen 20 Prozent der Geburtstage genau einmal vor, ist bei mindestens 20 Prozent der Geburtstage mit Halluzination zu rechnen. Und im Nachtraining, argumentieren sie, wird das Raten sogar belohnt — Benchmarks geben für «ich weiss es nicht» null Punkte, für einen Treffer aus gutem Rateverhalten einen. Wer so bewertet wird, rät.

Ich bin selbst darauf hereingefallen. Ich hatte ChatGPT nach Studien zur KI-Adoption in Schweizer KMU gefragt und mehrere Treffer bekommen, jeder mit Quellenangabe. Keiner davon existierte. Was mich damals ins Grübeln brachte, war nicht der Fehler — es war, dass die Antwort genau so aussah, wie ich sie erwartet hatte. Ich hatte nach Studien gefragt, also kam etwas in Studienform zurück. Seither erzähle ich das im Unterricht, und zwar bewusst als eigenen Fehler: Wer glaubt, ihm passiere das nicht, hat nur noch nicht nachgeschaut.

Was das im Ernstfall kostet

Der bekannteste Fall betrifft Leute, deren Beruf das Quellenprüfen ist. Im Verfahren Mata v. Avianca reichten zwei New Yorker Anwälte einen Schriftsatz ein, der nicht existierende Gerichtsentscheide mit erfundenen Zitaten anführte, erstellt mit ChatGPT. Als das Gericht nachfragte, lieferten sie die ebenfalls von ChatGPT erzeugten «Urteilstexte» nach. Richter P. Kevin Castel verhängte am 22. Juni 2023 eine Sanktion von 5000 Dollar, solidarisch gegen beide Anwälte und die Kanzlei.

Bemerkenswert ist, was er dabei ausdrücklich nicht sagte. Sinngemäss: An der Nutzung eines zuverlässigen KI-Werkzeugs sei nichts per se unzulässig — aber die bestehenden Regeln wiesen den Anwälten eine Torwächterrolle für die Richtigkeit ihrer Eingaben zu. Nicht das Werkzeug stand vor Gericht, sondern die ausgefallene Kontrolle.

Was stattdessen trägt

Ich habe aufgehört, Erkennungsmerkmale zu lehren. Das ist dieselbe Bewegung, die ich neulich für die KI-Detektoren beschrieben habe — warum ich keinen einsetze, ist eine Rechnung. Beide Male führt die Suche nach dem Erkennungsmerkmal in die Sackgasse, und beide Male liegt der Ausweg in der Verfahrensgestaltung statt im Werkzeug.

Konkret sind das drei Fragen, die im Gerichtsspiel die Anklage stellt:

1. Gibt es die Quelle überhaupt?
2. Steht die Aussage dort wirklich so?
3. Bestätigt sie eine zweite, unabhängige Quelle?

Frage zwei ist die, die am häufigsten übersprungen wird. Eine korrekt existierende Quelle unter einer Behauptung, die dort nicht steht, ist der teuerste Fehlertyp — sie sieht geprüft aus.

Dazu zwei Gewohnheiten. Erstens: Wer einen eigenen Assistenten baut, schreibt die Regel hinein — bei Unsicherheit sagen statt erfinden. Das hilft nicht immer, aber es kostet nichts. Zweitens, und das ist die eigentliche Arbeit: vorher entscheiden, welche Aussagen überhaupt tragend sind. Alles zu prüfen schafft niemand. Die Zahl, das Datum, die Rechtsnorm und die Quellenangabe prüfe ich. Eine Formulierungsvariante nicht.

Die unbequeme Version bleibt: Man erkennt Halluzinationen nicht, man prüft sie weg. Der Aufwand verschwindet nicht durch KI — er verschiebt sich vom Schreiben zum Verifizieren.

Quellen

• Kalai, Adam Tauman; Nachum, Ofir; Vempala, Santosh S.; Zhang, Edwin: «Why Language Models Hallucinate», arXiv:2509.04664, eingereicht 4. September 2025. Dissertationstitel-Beispiel in Tabelle 1; Geburtstags-/Singleton-Schranke in Abschnitt 1.1; Bewertungsanreize in Abschnitt 1.2 und im Abstract.
• Mata v. Avianca, Inc., 678 F.Supp.3d 443, United States District Court, S.D.N.Y., Az. 22-cv-1461 (PKC), Opinion and Order vom 22. Juni 2023, Richter P. Kevin Castel. Sanktion: «A penalty of $5,000 is jointly and severally imposed on Respondents». Zur Zulässigkeit des Werkzeugs: «there is nothing inherently improper about using a reliable artificial intelligence tool for assistance. But existing rules impose a gatekeeping role on attorneys to ensure the accuracy of their filings.»
• Lehrstück «Das Halluzinations-Gericht» und die drei Prüfschritte: eigenes Kursmaterial, WBZ, Kurs «KI Basic», Abend 4.
• Beispiel der nicht existierenden KMU-Studien: eigene Erfahrung, im Unterricht verwendet; Moderatornotizen KBZ, «KI im Design Thinking», 9. Juni 2026.