Wie genau sind KI-Detektoren? Fehlalarme und übersehene KI-Texte
Kurze Antwort
KI-Detektoren können zwei Arten von Fehlern machen: Text von Menschen als KI markieren (Fehlalarm) und KI-Text übersehen. Der Schwellenwert wägt das eine gegen das andere ab, deshalb sagt eine einzelne Genauigkeitszahl wenig. In unseren veröffentlichten Tests wurden 96,9 % des unbearbeiteten KI-Textes von 2026 als „Wahrscheinlich KI-generiert“ eingestuft, aber auch 1 % der akademischen Texte von Menschen, und die Ergebnisse werden bei kurzen Texten, neuen Modellen und umgeschriebenem Text schwächer.
Wichtigste Punkte
- Es gibt zwei Fehler, nach denen du fragen solltest: Fehlalarme bei Texten von Menschen und übersehene KI-Texte. Eine einzelne Genauigkeitszahl verbirgt beides.
- Ein Schwellenwert entscheidet über den Kompromiss. Ein strengerer Schwellenwert schützt ehrliche Autoren, übersieht aber mehr KI-Text.
- Unser Detektor ist so kalibriert, dass er bei akademischen Texten von Menschen wenige Fehlalarme liefert: 1 % und 0,7 % bei zwei zurückgehaltenen Sets.
- Die Erkennung ist schwächer bei kurzen Texten, umgeschriebenen oder humanisierten Texten, den neuesten Modellen und Textsorten außerhalb des akademischen Schreibens.
- Kein Detektor ist perfekt. Sieh einen Wert als Schätzung und suche nach weiteren Belegen, bevor du Schlüsse ziehst.
Zwei Arten von Fehlern
Wenn Menschen fragen, wie genau ein Detektor ist, meinen sie meist eine einzige Zahl. Ein Detektor kann aber auf zwei verschiedene Arten versagen, und sie betreffen unterschiedliche Menschen.
Ein Fehlalarm stuft Text von Menschen als KI ein. Das trifft Studierende, denen womöglich ein Vorwurf für ehrlich geleistete Arbeit droht. Ein übersehener Treffer stuft KI-Text als menschlich ein. Das betrifft Lehrende, die wissen wollen, wann eine KI eine Abgabe geschrieben hat. Die Angabe „99 % genau“ sagt dir nichts, solange du nicht weißt, welchen dieser Fehler sie misst und an welcher Art von Text.
Schwellenwerte tauschen einen Fehler gegen den anderen
Ein Detektor erzeugt einen Wert, und ein Schwellenwert macht daraus ein Label. Hebst du den Schwellenwert an, werden weniger Texte von Menschen markiert, aber mehr KI-Text rutscht durch. Senkst du ihn, passiert das Gegenteil. Es gibt keine Einstellung, die beide Fehler beseitigt.
Weil eine falsche Beschuldigung teuer ist, setzen wir unseren Schwellenwert so, dass bei akademischen Texten von Menschen wenige Fehlalarme entstehen. Die Skala hat drei Ergebnisse, „Wahrscheinlich von Menschen geschrieben“, „Unsicher“ und „Wahrscheinlich KI-generiert“, und das Band „Unsicher“ gibt es, damit Grenzfälle nicht in ein selbstsicheres Label gezwungen werden.
Was unsere veröffentlichten Zahlen zeigen
Wir haben an 583 von Menschen verfassten akademischen Texten kalibriert und getestet und berichten die Ergebnisse nach Gruppen. Das sind Messungen unseres Detektors an bestimmten Testsets, keine Versprechen für jeden Text.
Bei Texten von Menschen lag der Anteil mit „Wahrscheinlich KI-generiert“ bei 1 % und 0,7 % in zwei zurückgehaltenen Sets. Nach Gruppen waren es 1 % bei studentischen Essays, 0,5 % bei Preprint-Abstracts, 1,1 % bei Arbeiten von Autoren, die nicht Englisch als Muttersprache haben, und 2,6 % bei Enzyklopädietexten, die vor 2022 geschrieben wurden. Bei KI-Text wurden 96,9 % des unbearbeiteten KI-Textes von 2026 als „Wahrscheinlich KI-generiert“ eingestuft und 96,5 % bei einem öffentlichen Benchmark.
Wo die Genauigkeit sinkt
Jeder Detektor hat Bedingungen, unter denen er weniger zuverlässig ist, und es ist ehrlicher, sie aufzuzählen, als sie zu verstecken.
- Kurze Texte: In wenigen Sätzen steckt zu wenig Evidenz. Unser Detektor gibt unter 50 Wörtern kein Ergebnis aus.
- Neuere Modelle: Detektoren werden mit früheren Ausgaben trainiert, neue Systeme können daher schwerer zu erkennen sein, bis der Detektor aktualisiert wird.
- Umgeschriebener KI-Text: Paraphrasierter KI-Text wurde bei einem öffentlichen Benchmark in 84 % der Fälle trotzdem als „Wahrscheinlich KI-generiert“ eingestuft, aber nur in 50,5 %, wenn ein anderes KI-Modell ihn paraphrasiert hatte, und in 59,5 % nach Humanizer-Tools. Sobald Text umgeschrieben wurde, ist die Erkennung schwächer.
- Textsorten außerhalb des akademischen Schreibens: Bei allgemeinen Webtexten von Menschen wie Werbung und Pressemitteilungen wurden 32,7 % als „Wahrscheinlich KI-generiert“ eingestuft, weil der Detektor auf akademisches Schreiben kalibriert ist.
- Andere Sprachen: Unser Detektor verarbeitet nur Englisch.
Warum ein Fehlalarm kein seltener Ausreißer ist
Eine Quote von etwa 1 zu 100 klingt klein, aber bei Tausenden von Abgaben bedeutet sie, dass echte Studierende markiert werden. Deshalb sollte ein Detektor-Ergebnis ein Gespräch beginnen und nicht beenden, und deshalb verdient eine markierte Person die Chance, ihre Entwürfe zu zeigen und ihre Arbeit zu erklären.
Das Umgekehrte gilt ebenso. Ein unauffälliges Ergebnis beweist nicht, dass keine KI genutzt wurde, denn umgeschriebener oder leicht überarbeiteter KI-Text kann niedriger bewertet werden.
Wie du einen Detektor sinnvoll nutzt
Richtig eingesetzt ist ein Detektor ein Werkzeug zur Vorauswahl. Er zeigt auf Passagen, die einen zweiten Blick lohnen, den eine schreibende Person zur Überarbeitung nutzen oder eine lehrende Person besprechen kann.
Achte auf die Markierungen auf Satzebene und nicht nur auf die Gesamtzahl. Beachte Textlänge und Textsorte. Vergleiche mit anderen Arbeiten der Person und frage nach dem Prozess. Du kannst das kostenlos ausprobieren: AITurnitin prüft ohne Konto bis zu 1.000 Wörter, und Texte werden innerhalb von 24 Stunden gelöscht.
Häufige Fragen
Welche Genauigkeit ist für einen KI-Detektor gut?
Frage nach beiden Zahlen: wie oft er Text von Menschen markiert und wie oft er KI-Text erkennt, gemessen an realistischen Testsets. Unser Detektor stuft 1 % der akademischen Texte von Menschen und 96,9 % des unbearbeiteten KI-Textes von 2026 als „Wahrscheinlich KI-generiert“ ein.
Können KI-Detektoren bei Texten von Menschen falsch liegen?
Ja. Jeder Detektor liefert einige Fehlalarme, und sie sind wahrscheinlicher bei formelhaftem Text, sehr kurzen Proben und Textsorten außerhalb dessen, womit der Detektor trainiert wurde. Deshalb sollte ein Wert nie als Beweis gelten.
Erkennen Detektoren Text, der paraphrasiert oder humanisiert wurde?
Teilweise. In unseren Tests wurden 84 % des paraphrasierten KI-Textes bei einem öffentlichen Benchmark weiterhin als „Wahrscheinlich KI-generiert“ eingestuft, 50,5 % nachdem ein anderes KI-Modell ihn paraphrasiert hatte, und 59,5 % nach Humanizer-Tools. Die Erkennung ist schwächer, aber nicht null, und diese Tools können Sinn und Quellenangaben beschädigen.
Werden Detektoren besser oder schlechter, während KI besser wird?
Beide Entwicklungen gibt es. Modelle ändern sich, deshalb brauchen Detektoren regelmäßige Aktualisierungen und Tests an neuen Ausgaben. Jede Behauptung dauerhafter Genauigkeit ist mit Vorsicht zu behandeln.
Warum liefern verschiedene Detektoren für denselben Text unterschiedliche Ergebnisse?
Sie nutzen unterschiedliche Trainingsdaten, Bewertungsverfahren und Schwellenwerte, deshalb ist der Wert eines Tools nicht mit dem eines anderen vergleichbar. Vergleiche Ergebnisse und markierte Sätze, nicht rohe Prozentzahlen.