Wer schreibt, darf nicht benoten

Die häufigste Frage in meinen Kursen, wenn die erste Begeisterung verflogen ist, lautet: Woran erkenne ich, ob das Ergebnis brauchbar ist? Der naheliegende Reflex ist, das Modell zu fragen. «Prüfe deine Antwort auf Fehler.» Das fühlt sich nach Qualitätssicherung an und ist keine.

Zwei Arbeiten belegen, warum. Panickssery, Bowman und Feng zeigten 2024, dass GPT-4 und Llama 2 ihre eigenen Ausgaben mit deutlich überzufälliger Treffsicherheit von fremden unterscheiden können — und dass die Stärke dieser Selbsterkennung linear mit der Stärke der Selbstbevorzugung zusammenhängt. Je besser ein Modell merkt, dass ein Text von ihm stammt, desto höher benotet es ihn, gemessen gegen menschliche Bewertungen. Zheng und Kollegen hatten diese Verzerrung ein Jahr zuvor als «self-enhancement bias» neben Positions- und Längenverzerrung dokumentiert, in derselben Arbeit, die dem Verfahren «LLM-as-a-Judge» überhaupt zu seinem Namen verhalf.

Die praktische Folge ist unbequem einfach: Das erzeugende Modell darf nie das bewertende sein. In der Werkstatt heisst das Prinzip Generator ≠ Judge.

Wie das in gebauten Systemen aussieht

Zwei öffentliche Projekte machen das Muster gut lesbar. Shubham Saboos «advisor-orchestrator-worker» trennt drei Rollen scharf: Ein Orchestrator plant, verteilt und prüft, austauschbare Arbeiter erledigen je eine abgeschlossene Teilaufgabe ohne Kenntnis voneinander, und ein Advisor ist ausdrücklich «a critic, not an executor» — er darf kritisieren, aber nichts ausführen. Jedes Ergebnis endet in genau einem von drei Zuständen: bestanden, zur Korrektur zurück mit benanntem Fehler, oder eskaliert. Stille Teilerfolge sind nicht vorgesehen.

Mads Lorentzens «ai-job-search» macht es kleiner und dadurch nachbaubar: Ein Agent schreibt den Entwurf, ein zweiter wird mit frischem Kontext gestartet, recherchiert unabhängig und kritisiert. Erst danach überarbeitet der erste. Der frische Kontext ist nicht Zierde, er ist der ganze Trick — ein Prüfer, der die Entstehung des Textes miterlebt hat, prüft nicht, er verteidigt.

Wo ich selbst hereingefallen bin

In meinem Bewertungsrahmen für KI-Ausgaben steht dieser Schutz als Code: Eine Funktion ordnet jedes Modell einer Familie zu und verweigert die Bewertung, wenn Erzeuger und Prüfer aus derselben Familie kommen. Für lokal laufende, offene Modelle gab es eine Ausnahme, weil das architektonisch tatsächlich verschiedene Systeme sind. Die Ausnahme galt jedoch pro Familie statt pro Modell. Damit durfte ein Modell seine eigene Ausgabe benoten, solange beide Seiten lokal liefen — und genau diese Konstellation war produktiv erreichbar, weil der voreingestellte Prüfer und der Ersatz-Prüfer dasselbe Modell waren. Der Wächter feuerte nie in dem einen Fall, für den er existiert.

Der Fehler war nicht die Logik, sondern die Auflösung: Ich hatte gelesen, dass die Regel existiert, statt zu prüfen, welchen Wert sie zur Laufzeit sieht. Behoben ist es seit dem 21. Juli 2026, die Ausnahme greift jetzt pro Modell.

Beim zweiten Fund derselben Art ging es um die Kalibrierung. Ich vergleiche die Urteile der Prüfmodelle gegen eigene Bewertungen und rechne die Übereinstimmung aus. Bis zum 20. Juli 2026 lief diese Rechnung über einen schmaleren Prüf-Prompt als den, den das System im Betrieb tatsächlich verschickt. Die Übereinstimmungswerte waren nicht gefälscht, sie beschrieben bloss einen Ablauf, den nichts ausführte. Nach der Umstellung fielen sie deutlich. Der Satz, der seither an der Stelle klebt: auf dem Produktivpfad messen oder gar nicht.

Was ich daraus im Unterricht mache

Die Übung braucht kein Framework. Man formuliert die Annahmekriterien für eine Aufgabe vor dem ersten Prompt, lässt ein Modell schreiben, öffnet ein zweites Gespräch mit einem anderen Modell, gibt dort nur Aufgabe, Kriterien und Ergebnis hinein — nicht den Entstehungsverlauf — und vergleicht das Urteil mit dem, was das erste Modell über sich selbst gesagt hätte. Der Unterschied ist der Lerngewinn.

Und die Grenze gehört dazu: Meine Prüfmodelle bewerten mittelmässige Antworten systematisch zu gut, gute und schlechte treffen sie zuverlässig. Von fünf Bewertungsdimensionen haben nur zwei überhaupt eine menschliche Referenz, während die drei übrigen zusammen 60 Prozent des Gesamtwerts tragen. Und es gibt genau einen menschlichen Bewerter — mich —, weshalb die Übereinstimmung unter Menschen gar nicht berechenbar ist. Ein unabhängiger Prüfer beseitigt die Selbstbevorzugung. Er ersetzt nicht das Urteil darüber, was gut wäre.

Quellen

• Arjun Panickssery, Samuel R. Bowman, Shi Feng: «LLM Evaluators Recognize and Favor Their Own Generations», arXiv:2404.13076, eingereicht 15.04.2024.
• Lianmin Zheng et al.: «Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena», arXiv:2306.05685, NeurIPS 2023 Datasets and Benchmarks Track.
• github.com/Shubhamsaboo/awesome-llm-apps, Verzeichnis agent_skills/advisor-orchestrator-worker (SKILL.md, README.md, references/), abgerufen 17.08.2026.
• github.com/MadsLorentzen/ai-job-search, README-Abschnitt zum Prüfer-Agenten mit eigenem Kontext, abgerufen 17.08.2026.
• Eigenes Bewertungsrahmenwerk, nicht öffentlich: Kalibrierungslauf vom 20.07.2026 und Korrektur der Familien-Ausnahme vom 21.07.2026.