Prompt-Frameworks: welches wann — und wann keins

Für einen KI-Kurs an der WBZ habe ich ein Cheat Sheet gebaut, das gut zwanzig Prompting-Frameworks auflistet: Basistechniken wie Few-Shot und Chain-of-Thought, Rahmen für wiederkehrende Aufgaben, Strategie-Werkzeuge wie SCQA oder MECE, dazu eine Seite Entscheidungslogik — welche Aufgabe führt zu welchem Rahmen. Das Material ist nützlich, und ich gebe es weiter. Aber es beantwortet die falsche Frage.

Die richtige Frage lautet: Welche dieser Techniken verändert messbar, was das Modell ausgibt — und welche strukturiert bloss den Menschen, der den Prompt schreibt?

Die eine Technik mit einer harten Zahl

Für genau eine gibt es eine Messung, die jeder kennt, ohne die Quelle zu kennen. Kojima und Kollegen zeigten 2022, dass der blosse Zusatz «Let's think step by step» vor der Antwort die Trefferquote von GPT-3 (text-davinci-002) auf dem Rechenbenchmark MultiArith von 17,7 auf 78,7 Prozent hob, auf GSM8K von 10,4 auf 40,7 Prozent. Ohne ein einziges Beispiel, mit einem Satz. Aus diesem Befund stammt praktisch jeder Prompting-Ratgeber, der «denke Schritt für Schritt» empfiehlt.

Nur wird dabei selten mitgelesen, worauf gemessen wurde: Arithmetik und symbolisches Schliessen.

Was die Nachfolgestudie fand

Sprague und Kollegen haben 2024 eine quantitative Metaanalyse über mehr als 100 CoT-Arbeiten gelegt und zusätzlich 20 Datensätze auf 14 Modellen selbst nachgemessen. Ihr Ergebnis: Der Gewinn liegt überwiegend bei Aufgaben mit Mathematik oder Logik, bei anderen Aufgabentypen ist er deutlich kleiner. Auf MMLU ist die direkte Antwort ohne Chain-of-Thought praktisch gleich genau — es sei denn, in der Frage oder in der Antwort kommt ein Gleichheitszeichen vor.

Das ist eine unangenehm konkrete Grenze. Die Technik, die als universeller Qualitätshebel gehandelt wird, wirkt vor allem dort, wo gerechnet wird.

Und die Hersteller selbst

Dazu kommt eine Entwicklung, die viele Kursunterlagen — meine eingeschlossen — noch nicht abbilden: Die Modelle haben sich das Verfahren einverleibt. OpenAI schreibt in der eigenen Anleitung für die Reasoning-Modelle: «Avoid chain-of-thought prompts: Since these models perform reasoning internally, prompting them to 'think step by step' or 'explain your reasoning' is unnecessary.» Anthropic formuliert es in den Prompting-Empfehlungen für die aktuellen Claude-Modelle noch schärfer: «Prefer general instructions over prescriptive steps. A prompt like 'think thoroughly' often produces better reasoning than a hand-written step-by-step plan.»

Ein handgeschriebener Denkweg ist dort also nicht bloss überflüssig, sondern kann das Ergebnis verschlechtern. Wer heute noch die Technik von 2022 in jeden Prompt kopiert, optimiert für ein Modell, das es so nicht mehr gibt.

Was bleibt — und was das für die Frameworks heisst

Nichts davon macht die Frameworks wertlos. Es verschiebt nur, wo sie wirken. SCQA, ERE, SKAPE und der Rest sind keine Hebel am Modell, sondern Checklisten am Menschen: Sie erzwingen, dass Rolle, Ziel, Randbedingungen, Format und ein bis zwei Beispiele überhaupt im Prompt stehen. Das ist der ganze Trick — und es ist ein guter Trick, weil die häufigste Ursache für eine schlechte Antwort eine unvollständige Frage ist.

Daraus folgt eine schlichtere Regel als jede Entscheidungsmatrix: Nimm das Framework, das dich zwingt, das aufzuschreiben, was in deiner Aufgabenbeschreibung fehlt. Fehlt nichts — die Aufgabe ist kurz, das Ziel klar, das Format offensichtlich —, dann nimm keins. Ein aufgeblähter Prompt für eine einfache Aufgabe ist kein Qualitätsmerkmal.

Am nützlichsten an meinem Kursmaterial ist deshalb nicht das Cheat Sheet mit den zwanzig Einträgen. Es ist die eine Seite Entscheidungslogik dahinter. Die Sammlung war Vollständigkeit; die Entscheidungsseite ist die Arbeit.

Quellen

• Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa: «Large Language Models are Zero-Shot Reasoners», arXiv:2205.11916, eingereicht 24.05.2022. Zahlen aus dem Abstract: MultiArith 17,7 % → 78,7 %, GSM8K 10,4 % → 40,7 % mit text-davinci-002.
• Zayne Sprague, Fangcong Yin, Juan Diego Rodriguez, Dongwei Jiang, Manya Wadhwa, Prasann Singhal, Xinyu Zhao, Xi Ye, Kyle Mahowald, Greg Durrett: «To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning», arXiv:2409.12183, v1 18.09.2024, v3 07.05.2025. Metaanalyse über 100+ Arbeiten, eigene Auswertung auf 20 Datensätzen und 14 Modellen.
• OpenAI, Entwicklerdokumentation «Reasoning best practices», developers.openai.com (abgerufen im August 2026).
• Anthropic, «Prompting best practices», platform.claude.com (abgerufen im August 2026), Abschnitt zu Thinking.
• Eigenes Kursmaterial WBZ 2025: «Cheat Sheet: Prompting-Frameworks» und «Entscheidungslogik: Welches Framework wähle ich?».