Seberapa akurat detektornya?
Kami memublikasikan cara kami mengukur detektor dan kapan ia gagal. Baca ini sebelum mengandalkan sebuah hasil.
Model
Kami menjalankan detektor teks AI open-source desklib (DeBERTa-v3-large, lisensi MIT) di server kami sendiri. Teks dibagi menjadi jendela; skor dokumen adalah rata-rata berbobot token dan skor kalimat berasal dari jendela yang saling tumpang tindih.
Kalibrasi pada tulisan akademik nyata
Ambang ditetapkan pada 583 teks akademik tulisan manusia (abstrak arXiv, makalah PubMed Central oleh penulis non-penutur asli, dan esai mahasiswa). "Kemungkinan AI" diatur agar sekitar 1% teks manusia tersebut melewatinya; "Belum pasti" mencakup rentang antara 1% dan 5%.
Salah deteksi pada teks manusia yang disisihkan
Dalam pembagian dua lipatan, proporsi teks akademik manusia yang disisihkan dan diberi label "Kemungkinan AI" adalah 1% dan 0,7%.
Hasil per kelompok teks
| Kelompok | Teks | Berlabel "Kemungkinan AI" | Berlabel "Kemungkinan AI" atau "Belum pasti" |
|---|---|---|---|
| Manusia: abstrak arXiv | 200 | 0,5% | 3,5% |
| Manusia: PubMed Central, penulis non-penutur asli | 183 | 1,1% | 6% |
| Manusia: esai mahasiswa | 200 | 1% | 5,5% |
| Manusia: Wikipedia (sebelum 2022) | 155 | 2,6% | 8,4% |
| Manusia: teks web umum | 150 | 32,7% | 36,7% |
| AI: model 2026, tanpa suntingan | 195 | 96,9% | 99% |
| AI: benchmark RAID, tanpa suntingan | 200 | 96,5% | 99% |
| AI: benchmark RAID, diparafrasekan | 200 | 84% | 92% |
| AI: ditulis ulang dengan alat humanizer | 200 | 59,5% | 74,5% |
acad583-2026-10-22
Keterbatasan yang diketahui
- Teks dari model terbaru, terutama saat diminta menulis seperti manusia, sering lolos.
- Parafrase dan alat "humanizer" menurunkan skor secara signifikan.
- Teks pendek tidak dapat diandalkan; di bawah 50 kata kami tidak memberikan hasil.
- Tulisan manusia yang banyak disunting, berpola baku, atau hasil terjemahan bisa ditandai.
- Ambang dikalibrasi pada tulisan akademik. Pada teks web umum, 32,7% sampel tulisan manusia diberi label "Kemungkinan AI".
Hasil adalah estimasi, bukan bukti pelanggaran. Jangan pernah menjadikannya satu-satunya dasar tuduhan.