Warum ich keinen KI-Detektor einsetze — eine Rechnung

Die häufigste Frage, die mir Dozierende nach einem Kurstag stellen, lautet nicht «Wie setze ich KI ein?», sondern «Wie erkenne ich, ob die Arbeit von einer KI stammt?». Die ehrliche Antwort ist unbequem: gar nicht zuverlässig. Und die Werkzeuge, die das versprechen, sind gefährlicher als ihr Nichtgebrauch.

Die Rechnung, die alles dreht

Nehmen wir einen Detektor, der mit «90 Prozent Genauigkeit» wirbt, und eine Klasse mit 100 Studierenden. Ich setze bewusst detektorfreundliche Annahmen an: Der Detektor erkennt 90 Prozent der echten Fälle, und er stuft 10 Prozent der redlichen Arbeiten fälschlich als «KI» ein. Für die Grundrate — wie viele in dieser Klasse tatsächlich unredlich arbeiten — nehme ich 8 von 100 an. Diese Zahl ist eine Annahme, keine Messung; sie ist der Punkt, an dem jede Detektor-Diskussion hängt.

Dann rechnet sich das so: Von den 8 echten Fällen erkennt der Detektor 7. Von den 92 redlichen Arbeiten schlägt er bei 9 fälschlich Alarm. Insgesamt also 16 Alarme — davon 9 falsch.

Das heisst: Von den vom Detektor «überführten» Studierenden sind rund 56 Prozent unschuldig. Wer einen einzelnen Alarm auf dem Tisch hat, hat wahrscheinlicher eine redliche Person vor sich als eine unredliche. Nicht, weil der Detektor schlecht wäre — sondern weil die Grundrate niedrig ist. Bei seltenen Ereignissen erzeugt auch ein guter Test mehr Fehlalarme als Treffer. Das ist keine Meinung, das ist Arithmetik.

Ist meine 10-Prozent-Annahme zu hart? Der beste verfügbare Anhaltspunkt kommt vom Hersteller mit dem meisten Grund zur Zuversicht. OpenAI hat 2023 einen eigenen Klassifikator publiziert und dessen Leistung selbst so beziffert: Er erkannte 26 Prozent der KI-Texte korrekt und stufte 9 Prozent der menschlichen Texte fälschlich als KI-generiert ein. Am 20. Juli 2023 hat OpenAI das Werkzeug abgeschaltet — wegen «its low rate of accuracy», wie es im Nachtrag zum eigenen Beitrag heisst. Wer KI-Texte am besten kennen sollte, hat aufgegeben.

Was daraus folgt — und was nicht

Daraus folgt nicht, dass undeklarierter KI-Einsatz egal wäre. Es folgt, dass die technische Erkennung der falsche Hebel ist. Der richtige liegt in der Gestaltung der Aufgabe und in der Offenlegung.

Diese Verschiebung ist keine private Marotte. swissuniversities hält in seinem Positionspapier vom 13. März 2024 fest, dass viele Hochschulen entschieden haben, KI-basierte Technologien «nicht strikt und umfassend zu verbieten, sondern sie vielmehr dort zu integrieren, wo dies sinnvoll sein könnte». Und weiter: Die Verwendung KI-generierter Inhalte «ohne Deklaration oder Zitierung» könne gegen die wissenschaftliche Integrität verstossen. Der Verstoss liegt in der fehlenden Deklaration, nicht in der Nutzung.

Diese Unterscheidung ist auch verfahrensrechtlich die tragfähigere. Eine Sanktion auf «hat die geforderte Offenlegung unterlassen» zu stützen, ist belegbar. Eine Sanktion auf «ein Detektor sagt 92 Prozent» zu stützen, ist es nicht.

Ehrlichkeitshalber: swissuniversities spricht für die Universitäten, Fachhochschulen und Pädagogischen Hochschulen. Die Höheren Fachschulen, an denen ich hauptsächlich unterrichte, sind dort nicht Mitglied — das Papier ist für sie kein verbindlicher Rahmen. Ich halte die Logik trotzdem für übertragbar, und die HF hat dabei einen Strukturvorteil, den viele nicht als solchen sehen: Sie prüft ohnehin Handlungskompetenz statt Textprodukte. Eine Handlung, die jemand vor mir ausführt und vertreten muss, kann keine KI stellvertretend erbringen. Es gibt dort schlicht weniger zu detektieren.

Das Wirksamste gegen verschleierten KI-Einsatz ist deshalb kein Werkzeug, sondern zehn Minuten Gespräch. Wer seinen eigenen Text durchdacht hat, merkt man in fünf Fragen. Wer nicht, auch.

Das ist die Landkarte, nicht das Gutachten. Für die konkrete Ausgestaltung eines Prüfungsreglements führt kein Weg an der eigenen Studiengangsleitung vorbei.

Quellen

• swissuniversities: «Die Schweizer Hochschulen und künstliche Intelligenz. Positionspapier von swissuniversities für eine pragmatische und dynamische Integration von auf künstlicher Intelligenz basierenden Technologien in die Lehre und die Leistungskontrollen der Hochschulen», Dokument datiert 13.03.2024, Bern. Abschnitte «Lehre» und «Leistungskontrollen».
• swissuniversities, Mitgliederverzeichnis — Mitglieder sind Universitäten, Fachhochschulen und Pädagogische Hochschulen; Höhere Fachschulen sind nicht aufgeführt.
• OpenAI: «New AI classifier for indicating AI-written text», 31. Januar 2023, mit Nachtrag: «As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy.» Leistungsangaben im Originalbeitrag: 26 % True Positives, 9 % False Positives auf einem englischsprachigen «challenge set».
• Grundraten-Rechnung: eigene Berechnung mit offengelegten Annahmen (Grundrate 8 %, Sensitivität 90 %, Falsch-Positiv-Rate 10 %).