Seberapa Akurat Detektor AI? Salah Deteksi dan Teks AI yang Lolos
Jawaban singkat
Detektor AI bisa membuat dua jenis kesalahan: menandai tulisan manusia sebagai AI (salah deteksi) dan melewatkan teks AI (lolos). Letak ambang batas menukar satu dengan yang lain, sehingga satu angka akurasi saja tidak banyak bercerita. Dalam pengujian yang kami publikasikan, 96,9% teks AI 2026 tanpa suntingan diberi label Kemungkinan ditulis AI, sementara pada teks akademik tulisan manusia angkanya 1%, dan hasilnya melemah pada teks pendek, model baru, dan teks yang ditulis ulang.
Poin utama
- Ada dua kesalahan yang perlu ditanyakan: salah deteksi pada tulisan manusia dan teks AI yang lolos. Satu angka akurasi menyembunyikan keduanya.
- Ambang batas menentukan pertukarannya. Ambang yang lebih ketat melindungi penulis jujur tetapi meloloskan lebih banyak teks AI.
- Detektor kami dikalibrasi agar alarm palsu tetap rendah pada teks akademik tulisan manusia: 1% dan 0,7% pada dua set yang disisihkan.
- Deteksi lebih lemah pada teks pendek, teks yang ditulis ulang atau diproses humanizer, model terbaru, dan genre di luar tulisan akademik.
- Tidak ada detektor yang sempurna. Anggap skor sebagai perkiraan dan cari bukti lain sebelum menarik kesimpulan.
Dua jenis kesalahan
Ketika orang bertanya seberapa akurat sebuah detektor, biasanya yang dimaksud satu angka. Padahal detektor bisa gagal dengan dua cara berbeda, dan keduanya penting bagi pihak yang berbeda.
Salah deteksi memberi label AI pada tulisan manusia. Ini merugikan mahasiswa, yang bisa menghadapi tuduhan atas karya yang dikerjakan dengan jujur. Teks AI yang lolos diberi label manusia. Ini penting bagi dosen yang ingin tahu kapan AI menulis sebuah tugas. Klaim “akurat 99%” tidak berarti apa-apa kecuali Anda tahu mana dari keduanya yang diukur dan pada jenis teks apa.
Ambang batas menukar satu kesalahan dengan yang lain
Detektor menghasilkan skor, dan ambang batas mengubah skor itu menjadi label. Naikkan ambangnya dan lebih sedikit teks manusia yang ditandai, tetapi lebih banyak teks AI yang lolos. Turunkan dan yang terjadi sebaliknya. Tidak ada pengaturan yang menghilangkan kedua kesalahan.
Karena tuduhan palsu itu mahal akibatnya, kami menetapkan ambang agar alarm palsu tetap rendah pada tulisan akademik manusia. Skalanya punya tiga hasil, Kemungkinan ditulis manusia, Belum pasti, dan Kemungkinan ditulis AI, dan rentang Belum pasti ada agar teks yang berada di batas tidak dipaksa masuk ke label yang terlalu yakin.
Apa yang ditunjukkan angka yang kami publikasikan
Kami mengalibrasi dan menguji pada 583 teks akademik tulisan manusia dan melaporkan hasilnya per kelompok. Ini adalah pengukuran detektor kami pada set uji tertentu, bukan janji untuk setiap teks.
Pada tulisan manusia, porsi yang diberi label Kemungkinan ditulis AI adalah 1% dan 0,7% pada dua set yang disisihkan. Menurut kelompok, angkanya 1% untuk esai mahasiswa, 0,5% untuk abstrak preprint, 1,1% untuk makalah penulis bahasa Inggris non-native, dan 2,6% untuk teks ensiklopedia yang ditulis sebelum 2022. Pada teks AI, 96,9% teks AI 2026 tanpa suntingan diberi label Kemungkinan ditulis AI, dan 96,5% pada tolok ukur publik.
Di mana akurasi menurun
Setiap detektor punya kondisi di mana ia kurang andal, dan lebih jujur menyebutkannya daripada menyembunyikannya.
- Teks pendek: bukti dalam beberapa kalimat terlalu sedikit. Detektor kami tidak memberi hasil di bawah 50 kata.
- Model yang lebih baru: detektor dilatih dengan keluaran sebelumnya, sehingga sistem baru bisa lebih sulit dikenali sampai detektor diperbarui.
- Teks AI yang ditulis ulang: teks AI yang diparafrase masih diberi label Kemungkinan ditulis AI sebanyak 84% pada tolok ukur publik, tetapi hanya 50,5% bila diparafrase oleh model AI lain, dan 59,5% setelah diproses alat humanizer. Deteksi lebih lemah begitu teks ditulis ulang.
- Genre di luar tulisan akademik: pada teks web umum tulisan manusia seperti iklan dan siaran pers, 32,7% diberi label Kemungkinan ditulis AI, karena detektor dikalibrasi untuk tulisan akademik.
- Bahasa lain: detektor kami hanya untuk bahasa Inggris.
Mengapa salah deteksi bukan kejadian langka yang aneh
Angka sekitar 1 dari 100 terdengar kecil, tetapi pada ribuan tugas yang dikumpulkan, itu berarti ada mahasiswa nyata yang akan ditandai. Karena itu hasil detektor seharusnya memulai percakapan, bukan mengakhirinya, dan mahasiswa yang ditandai berhak menunjukkan drafnya dan menjelaskan karyanya.
Kebalikannya juga benar. Hasil yang bersih tidak membuktikan bahwa AI tidak dipakai, karena teks AI yang ditulis ulang atau disunting ringan bisa mendapat skor lebih rendah.
Cara memakai detektor dengan bijak
Jika dipakai dengan baik, detektor adalah alat penyaring. Ia menunjuk bagian yang layak ditelaah kembali, yang bisa direvisi penulis atau dibahas dosen.
Lihat sorotan per kalimat, bukan hanya angka utamanya. Perhatikan panjang teks dan genrenya. Bandingkan dengan karya lain penulis itu dan tanyakan tentang prosesnya. Anda bisa mencobanya gratis: AITurnitin mengecek hingga 1.000 kata tanpa akun, dan teks dihapus dalam 24 jam.
Pertanyaan yang sering diajukan
Berapa akurasi yang baik untuk detektor AI?
Tanyakan kedua angka: seberapa sering ia menandai tulisan manusia dan seberapa sering ia menangkap teks AI, diukur pada set uji yang realistis. Detektor kami memberi label Kemungkinan ditulis AI pada 1% teks akademik tulisan manusia dan 96,9% teks AI 2026 tanpa suntingan.
Bisakah detektor AI salah menilai tulisan manusia?
Bisa. Setiap detektor menghasilkan sejumlah salah deteksi, dan peluangnya lebih besar pada teks berpola baku, sampel yang sangat pendek, dan genre di luar data latih detektor. Karena itu skor tidak boleh diperlakukan sebagai bukti.
Apakah detektor menangkap teks yang diparafrase atau diproses humanizer?
Sebagian. Dalam pengujian kami, 84% teks AI yang diparafrase pada tolok ukur publik masih diberi label Kemungkinan ditulis AI, 50,5% setelah diparafrase model AI lain, dan 59,5% setelah diproses alat humanizer. Deteksi lebih lemah, tetapi tidak nol, dan alat-alat ini bisa merusak makna dan sitasi.
Apakah detektor makin baik atau makin buruk seiring AI berkembang?
Kedua tekanan itu ada. Model berubah, jadi detektor perlu diperbarui secara berkala dan diuji pada keluaran baru. Klaim akurasi yang permanen sebaiknya disikapi dengan hati-hati.
Mengapa detektor yang berbeda memberi hasil berbeda pada teks yang sama?
Mereka memakai data latih, metode penilaian, dan ambang batas yang berbeda, sehingga skor dari satu alat tidak sebanding dengan alat lain. Bandingkan hasil akhir dan kalimat yang disorot, bukan persentase mentah.