Wie genau ist der Detektor?
Wir veröffentlichen, wie wir den Detektor gemessen haben und wo er versagt. Lies dies, bevor du dich auf ein Ergebnis verlässt.
Modell
Wir betreiben den Open-Source-Detektor desklib AI-text detector (DeBERTa-v3-large, MIT-Lizenz) auf unseren eigenen Servern. Der Text wird in Fenster aufgeteilt; der Dokumentwert ist der tokengewichtete Mittelwert, Satzwerte stammen aus überlappenden Fenstern.
Kalibrierung an echten akademischen Texten
Die Schwellenwerte wurden an 583 von Menschen verfassten akademischen Texten festgelegt (arXiv-Abstracts, PubMed-Central-Artikel von Nicht-Muttersprachlern und studentische Essays). „Wahrscheinlich KI“ ist so eingestellt, dass etwa 1 % dieser menschlichen Texte darüber liegt; „Unsicher“ deckt den Bereich zwischen 1 % und 5 % ab.
Fehlalarme bei zurückgehaltenen menschlichen Texten
In einer zweifachen Aufteilung lag der Anteil zurückgehaltener menschlicher akademischer Texte mit „Wahrscheinlich KI“ bei 1 % und 0,7 %.
Ergebnisse nach Textgruppe
| Gruppe | Texte | Als „Wahrscheinlich KI“ eingestuft | Als „Wahrscheinlich KI“ oder „Unsicher“ eingestuft |
|---|---|---|---|
| Mensch: arXiv-Abstracts | 200 | 0,5 % | 3,5 % |
| Mensch: PubMed Central, Nicht-Muttersprachler | 183 | 1,1 % | 6 % |
| Mensch: studentische Essays | 200 | 1 % | 5,5 % |
| Mensch: Wikipedia (vor 2022) | 155 | 2,6 % | 8,4 % |
| Mensch: allgemeine Webtexte | 150 | 32,7 % | 36,7 % |
| KI: Modelle von 2026, unbearbeitet | 195 | 96,9 % | 99 % |
| KI: RAID-Benchmark, unbearbeitet | 200 | 96,5 % | 99 % |
| KI: RAID-Benchmark, paraphrasiert | 200 | 84 % | 92 % |
| KI: von Humanizer-Tools umgeschrieben | 200 | 59,5 % | 74,5 % |
acad583-2026-10-22
Bekannte Grenzen
- Texte der neuesten Modelle, besonders wenn sie angewiesen werden, menschlich zu schreiben, werden oft übersehen.
- Paraphrasierung und „Humanizer“-Tools senken den Wert deutlich.
- Kurze Texte sind unzuverlässig; unter 50 Wörtern geben wir kein Ergebnis aus.
- Stark überarbeitete, formelhafte oder übersetzte menschliche Texte können markiert werden.
- Die Schwellenwerte sind auf akademische Texte kalibriert. Bei allgemeinen Webtexten wurden 32,7 % der menschlichen Proben als „Wahrscheinlich KI“ eingestuft.
Ein Ergebnis ist eine Schätzung, kein Beweis für Fehlverhalten. Nutze es nie als einzige Grundlage für eine Anschuldigung.