Von der Idee zum KI-Produkt: drei Dinge, die ich verworfen habe

Wenn ich über eigene Produkte spreche, kommt fast immer die Frage, was funktioniert hat. Die lehrreicheren Stellen sind die anderen. Drei davon aus den Monaten April bis September 2026, alle mit Messwerten, weil ich es sonst selbst nicht glauben würde.

1. Ein Modell, das ich nach dem Datenblatt gewählt hatte

Mingly hat eine lokale Privacy-Schicht: Sie schwärzt personenbezogene Angaben, bevor Text an ein Sprachmodell geht. Die Namenserkennung lag bei piiranha-v1. Gewählt hatte ich es nach dem Modellblatt — dort stehen 98,27 % Recall und 99,44 % Genauigkeit, für Vornamen 93 % und für Nachnamen 78 % Recall.

Auf meiner eigenen Prüfbatterie — 20 Namensstellen, Deutsch und Englisch — erkannte das Modell zwei davon. Es war kein Schwellenwertproblem: Pro Token vergibt es «keine Personenangabe» mit 0,998 und mehr, es ist sich also sicher. Im selben Durchlauf klassifiziert es «Boston» korrekt als Stadt. Das Ersatzmodell erkennt 19 von 20.

Die Zahl im Modellblatt war nicht gelogen. Sie gilt für die Testverteilung der Autoren; meine ist eine andere. Seither liegt die Batterie im Repository, und kein Modell wird mehr ohne sie getauscht. Gratis war der Wechsel nicht: Ein blosses Geburtsjahr ohne Signalwort fällt heute durch.

Das Unangenehme daran ist nicht der Fehlgriff. Es ist, dass die Oberfläche monatelang Schutz versprach, den sie nicht lieferte, und niemand es gemerkt hätte, solange niemand misst.

2. Eine Architekturentscheidung, die nie Code wurde

In meinem RAG-System steht eine Architekturentscheidung mit Status «Akzeptiert», datiert auf den 19. April 2026: eine kuratierte Wissensschicht über dem Retrieval, weil Synthese über Dokumentgrenzen hinweg bei chunk-basierter Suche verloren geht. Datenschema geschrieben, Endpunkte laufen.

Am 16. September 2026 enthält das Verzeichnis für diese Schicht eine README und zwei leere Platzhalter. Null Seiten.

Ein Audit Ende Juli hat gezeigt, woran es liegt, und es lag nicht an der Zeit. Der teure Teil ist nicht die Wissensschicht, sondern das, was davor kommt: Personen und Organisationen sauber zu einer Identität zusammenzuführen. In meinen Daten stehen «Holger» und «Holger von Ellerts» als zwei verschiedene Dinge. In einer Statistik über gemeinsames Vorkommen fällt das kaum auf. In einer kuratierten Schicht vererbt sich der Fehler in jede Abfrage, die darauf aufsetzt.

Verworfen habe ich also nicht die Idee, sondern die Reihenfolge. Und ich habe gelernt: Eine akzeptierte Architekturentscheidung ohne Umsetzungsplan ist eine Absichtserklärung, kein Entscheid.

3. Ein Framework, das ich nie eingeführt habe

Agenten sollen sich erinnern. Dafür gibt es fertige Systeme — Mem0, Zep, Cognee. Ich war nahe dran, eines einzuführen.

In der Auswertung von MemoryAgentBench (ICLR 2026) erreicht schlichte Volltextsuche mit BM25 in der Disziplin «genaues Wiederfinden» 60,5 Punkte. Zep kommt auf 37,5, Mem0 auf 32,6, Cognee auf 28,3.

Zur Ehrlichkeit gehört die Gegenprobe: Über alle vier gemessenen Kompetenzen kommt BM25 auf 41,5. Das liegt noch immer vor den drei Frameworks (21 bis 24), aber hinter Modellen, die den ganzen Kontext auf einmal lesen. Bei Aufgaben, die ein Gesamtbild verlangen, etwa beim Zusammenfassen ganzer Texte, fällt BM25 deutlich ab. Für meinen Fall, eine Notiz von vor drei Wochen wiederzufinden, ist aber genau die erste Spalte die relevante. Geblieben ist Markdown plus ein von Hand gepflegter Index.

Was die drei gemeinsam haben

In allen drei Fällen stand die Entscheidung fest, bevor gemessen wurde — einmal nach Datenblatt, einmal nach Architekturidee, einmal nach Werkzeugkategorie. Das Verwerfen selbst war billig; beim Modelltausch war es ein Tag Arbeit.

Teuer ist die Zeit davor. Nicht der Irrtum kostet, sondern wie lange er ungemessen weiterläuft.

Quellen

• Modellblatt iiiorg/piiranha-v1-detect-personal-information, Hugging Face (abgerufen 16.09.2026) — Recall 98,27 %, Genauigkeit 99,44 %, Klassenliste inkl. GIVENNAME/SURNAME
• Eigene Prüfbatterie im Mingly-Repository (scripts/ner-eval/), Messung vom 05.08.2026 — 20 Namensstellen DE/EN
• Eigene Architekturentscheidung ADR-006 «Hybrid Synthesis Wiki Layer», Status «Akzeptiert», 19.04.2026; Zustand des Wiki-Verzeichnisses geprüft am 16.09.2026
• Eigener Audit der Graph-Schicht vom 31.07.2026 (Stichprobe n = 2000 Textabschnitte)
• Yuanzhe Hu, Yu Wang, Julian McAuley: «Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions», arXiv:2507.05257v4, publiziert als Konferenzbeitrag auf der ICLR 2026 — Tabelle 3, Spalte «AR Avg.» und «Overall Scores»