Sejauh Mana Tepatnya Pengesan AI? Penggera Palsu dan Teks yang Terlepas
Jawapan ringkas
Pengesan AI boleh melakukan dua jenis kesilapan: menanda tulisan manusia sebagai AI (positif palsu) dan terlepas teks AI. Kedudukan ambang mengimbangi satu terhadap yang lain, jadi satu angka ketepatan tidak banyak bermakna. Dalam ujian kami yang diterbitkan, 96.9% teks AI 2026 tanpa suntingan dilabel Mungkin ditulis AI, manakala 1% teks akademik manusia turut dilabel sedemikian, dan keputusan menjadi lebih lemah pada teks pendek, model baharu dan teks yang ditulis semula.
Perkara utama
- Ada dua kesilapan yang perlu ditanya: positif palsu pada tulisan manusia dan teks AI yang terlepas. Satu angka ketepatan menyembunyikan kedua-duanya.
- Ambang menentukan pertukaran itu. Ambang yang lebih ketat melindungi penulis yang jujur tetapi terlepas lebih banyak teks AI.
- Pengesan kami dikalibrasi supaya penggera palsu kekal rendah pada teks akademik manusia: 1% dan 0.7% pada dua set yang diasingkan.
- Pengesanan lebih lemah pada teks pendek, teks yang ditulis semula atau dihumanisasi, model terbaharu dan genre di luar penulisan akademik.
- Tiada pengesan yang sempurna. Anggap skor sebagai anggaran dan cari bukti lain sebelum membuat kesimpulan.
Dua jenis kesilapan
Apabila orang bertanya sejauh mana tepatnya sesuatu pengesan, mereka biasanya maksudkan satu angka. Tetapi pengesan boleh gagal dalam dua cara yang berbeza, dan keduanya penting kepada orang yang berbeza.
Positif palsu melabel tulisan manusia sebagai AI. Ini merugikan pelajar, yang mungkin menghadapi tuduhan atas kerja yang dibuat dengan jujur. Teks yang terlepas melabel teks AI sebagai manusia. Ini penting kepada pensyarah yang mahu tahu bila AI menulis sesuatu penghantaran. Dakwaan "99% tepat" tidak memberitahu apa-apa melainkan anda tahu yang mana satu daripada ini diukur dan pada jenis teks apa.
Ambang menukar satu kesilapan dengan yang lain
Pengesan menghasilkan skor, dan ambang menukar skor kepada label. Naikkan ambang dan lebih sedikit teks manusia ditanda, tetapi lebih banyak teks AI terlepas. Turunkan dan keadaan sebaliknya berlaku. Tiada tetapan yang menghapuskan kedua-dua kesilapan.
Oleh kerana tuduhan palsu mahal kosnya, kami menetapkan ambang untuk memastikan penggera palsu rendah pada penulisan akademik manusia. Skalanya mempunyai tiga keputusan, Mungkin ditulis manusia, Tidak pasti dan Mungkin ditulis AI, dan jalur Tidak pasti wujud supaya teks yang berada di sempadan tidak dipaksa menerima label yang yakin.
Apa yang ditunjukkan oleh angka kami yang diterbitkan
Kami mengalibrasi dan menguji pada 583 teks akademik tulisan manusia dan melaporkan keputusan mengikut kumpulan. Ini ialah ukuran pengesan kami pada set ujian tertentu, bukan janji tentang setiap teks.
Pada tulisan manusia, bahagian yang dilabel Mungkin ditulis AI ialah 1% dan 0.7% pada dua set yang diasingkan. Mengikut kumpulan, ia ialah 1% untuk esei pelajar, 0.5% untuk abstrak pracetak, 1.1% untuk kertas oleh penulis bahasa Inggeris bukan penutur asli dan 2.6% untuk teks ensiklopedia yang ditulis sebelum 2022. Pada teks AI, 96.9% teks AI 2026 tanpa suntingan dilabel Mungkin ditulis AI, dan 96.5% pada penanda aras awam.
Di mana ketepatan menurun
Setiap pengesan mempunyai keadaan di mana ia kurang boleh dipercayai, dan lebih jujur untuk menyenaraikannya daripada menyembunyikannya.
- Teks pendek: bukti terlalu sedikit dalam beberapa ayat. Pengesan kami tidak memberi keputusan bagi teks kurang 50 perkataan.
- Model yang lebih baharu: pengesan dilatih pada keluaran terdahulu, jadi sistem baharu boleh lebih sukar dikenali sehingga pengesan dikemas kini.
- Teks AI yang ditulis semula: teks AI yang diparafrasa masih dilabel Mungkin ditulis AI sebanyak 84% pada penanda aras awam, tetapi hanya 50.5% apabila model AI lain memparafrasanya, dan 59.5% selepas alat humanizer. Pengesanan lebih lemah setelah teks ditulis semula.
- Genre di luar penulisan akademik: pada teks web umum tulisan manusia seperti iklan dan siaran akhbar, 32.7% dilabel Mungkin ditulis AI, kerana pengesan dikalibrasi untuk penulisan akademik.
- Bahasa lain: pengesan kami hanya untuk bahasa Inggeris.
Mengapa positif palsu bukan kejadian ganjil yang jarang berlaku
Kadar kira-kira 1 daripada 100 kedengaran kecil, tetapi merentasi beribu-ribu penghantaran ia bermakna pelajar sebenar akan ditanda. Itulah sebabnya keputusan pengesan harus memulakan perbualan dan bukan menamatkannya, dan mengapa pelajar yang ditanda berhak mendapat peluang menunjukkan draf dan menerangkan kerja mereka.
Sebaliknya juga benar. Keputusan yang bersih tidak membuktikan bahawa AI tidak digunakan, kerana teks AI yang ditulis semula atau disunting ringan boleh mendapat skor lebih rendah.
Cara menggunakan pengesan dengan bijak
Apabila digunakan dengan baik, pengesan ialah alat saringan. Ia menunjukkan petikan yang patut dilihat sekali lagi, yang boleh disemak oleh penulis atau dibincangkan oleh pensyarah.
Lihat serlahan peringkat ayat dan bukan sekadar nombor utama. Semak panjang dan genre teks. Bandingkan dengan kerja lain penulis itu dan tanya tentang prosesnya. Anda boleh mencubanya secara percuma: AITurnitin menyemak sehingga 1,000 perkataan tanpa akaun, dan teks dipadam dalam masa 24 jam.
Soalan lazim
Apakah ketepatan yang baik untuk pengesan AI?
Minta kedua-dua angka: berapa kerap ia menanda tulisan manusia dan berapa kerap ia menangkap teks AI, diukur pada set ujian yang realistik. Pengesan kami melabel 1% teks akademik manusia dan 96.9% teks AI 2026 tanpa suntingan sebagai Mungkin ditulis AI.
Bolehkah pengesan AI tersilap tentang tulisan manusia?
Boleh. Setiap pengesan menghasilkan sedikit positif palsu, dan ia lebih berkemungkinan pada teks berformula, sampel yang sangat pendek dan genre di luar latihan pengesan. Itulah sebabnya skor tidak boleh dianggap sebagai bukti.
Adakah pengesan menangkap teks yang diparafrasa atau dihumanisasi?
Sebahagiannya. Dalam ujian kami, 84% teks AI yang diparafrasa pada penanda aras awam masih dilabel Mungkin ditulis AI, 50.5% selepas model AI lain memparafrasanya, dan 59.5% selepas alat humanizer. Pengesanan lebih lemah, tetapi bukan sifar, dan alat ini boleh merosakkan maksud dan petikan.
Adakah pengesan menjadi lebih baik atau lebih buruk apabila AI bertambah baik?
Kedua-dua tekanan wujud. Model berubah, jadi pengesan memerlukan kemas kini berkala dan ujian pada keluaran baharu. Sebarang dakwaan ketepatan yang kekal patut dilayan dengan berhati-hati.
Mengapa pengesan yang berbeza memberi keputusan berbeza pada teks yang sama?
Ia menggunakan data latihan, kaedah pemarkahan dan ambang yang berbeza, jadi skor daripada satu alat tidak setara dengan yang lain. Bandingkan keputusan dan ayat yang diserlahkan, bukan peratusan mentah.