Sejauh mana ketepatan pengesan ini?
Kami menerbitkan cara kami mengukur pengesan dan di mana ia gagal. Baca ini sebelum bergantung pada sesuatu keputusan.
Model
Kami menjalankan pengesan teks AI sumber terbuka desklib (DeBERTa-v3-large, lesen MIT) pada pelayan kami sendiri. Teks dibahagikan kepada tetingkap; skor dokumen ialah purata berwajaran token dan skor ayat diperoleh daripada tetingkap yang bertindih.
Kalibrasi pada penulisan akademik sebenar
Ambang ditetapkan pada 583 teks akademik tulisan manusia (abstrak arXiv, kertas PubMed Central oleh penulis bukan penutur asli dan esei pelajar). "Mungkin AI" ditetapkan supaya kira-kira 1% teks manusia tersebut melepasinya; "Tidak pasti" meliputi julat antara 1% dan 5%.
Penggera palsu pada teks manusia yang diasingkan
Dalam pembahagian dua lipatan, bahagian teks akademik manusia yang diasingkan dan dilabel "Mungkin AI" ialah 1% dan 0.7%.
Keputusan mengikut kumpulan teks
| Kumpulan | Teks | Dilabel "Mungkin AI" | Dilabel "Mungkin AI" atau "Tidak pasti" |
|---|---|---|---|
| Manusia: abstrak arXiv | 200 | 0.5% | 3.5% |
| Manusia: PubMed Central, penulis bukan penutur asli | 183 | 1.1% | 6% |
| Manusia: esei pelajar | 200 | 1% | 5.5% |
| Manusia: Wikipedia (sebelum 2022) | 155 | 2.6% | 8.4% |
| Manusia: teks web umum | 150 | 32.7% | 36.7% |
| AI: model 2026, tidak disunting | 195 | 96.9% | 99% |
| AI: penanda aras RAID, tidak disunting | 200 | 96.5% | 99% |
| AI: penanda aras RAID, diparafrasa | 200 | 84% | 92% |
| AI: ditulis semula oleh alat humanizer | 200 | 59.5% | 74.5% |
acad583-2026-10-22
Had yang diketahui
- Teks daripada model terbaharu, terutamanya apabila diminta menulis seperti manusia, sering terlepas.
- Parafrasa dan alat "humanizer" menurunkan skor dengan ketara.
- Teks pendek tidak boleh dipercayai; bawah 50 perkataan kami tidak memberikan keputusan.
- Penulisan manusia yang banyak disunting, berformula atau diterjemah boleh ditanda.
- Ambang dikalibrasi pada penulisan akademik. Pada teks web umum, 32.7% sampel tulisan manusia dilabel "Mungkin AI".
Keputusan ialah anggaran, bukan bukti salah laku. Jangan sekali-kali menggunakannya sebagai satu-satunya asas tuduhan.