Dedektör ne kadar doğru?
Dedektörü nasıl ölçtüğümüzü ve nerede yanıldığını yayımlıyoruz. Bir sonuca güvenmeden önce bunu oku.
Model
Açık kaynaklı desklib AI-text detector’ı (DeBERTa-v3-large, MIT lisansı) kendi sunucularımızda çalıştırıyoruz. Metin pencerelere bölünür; belge puanı token ağırlıklı ortalamadır, cümle puanları ise örtüşen pencerelerden gelir.
Gerçek akademik yazılar üzerinde kalibrasyon
Eşikler, insan tarafından yazılmış 583 akademik metin üzerinde belirlendi (arXiv özetleri, ana dili İngilizce olmayan yazarların PubMed Central makaleleri ve öğrenci ödevleri). “Muhtemelen yapay zekâ” eşiği bu insan metinlerinin yaklaşık %1’i onu aşacak şekilde ayarlandı; “Belirsiz” %1 ile %5 arasındaki aralığı kapsar.
Ayrılmış insan metinlerinde yanlış alarmlar
İki katlı bir bölmede, ayrılmış insan akademik metinlerinden “Muhtemelen yapay zekâ” olarak etiketlenenlerin oranı %1 ve %0,7 oldu.
Metin grubuna göre sonuçlar
| Grup | Metin | “Muhtemelen yapay zekâ” etiketli | “Muhtemelen yapay zekâ” veya “Belirsiz” etiketli |
|---|---|---|---|
| İnsan: arXiv özetleri | 200 | %0,5 | %3,5 |
| İnsan: PubMed Central, ana dili İngilizce olmayan yazarlar | 183 | %1,1 | %6 |
| İnsan: öğrenci ödevleri | 200 | %1 | %5,5 |
| İnsan: Vikipedi (2022 öncesi) | 155 | %2,6 | %8,4 |
| İnsan: genel web metni | 150 | %32,7 | %36,7 |
| Yapay zekâ: 2026 modelleri, düzenlenmemiş | 195 | %96,9 | %99 |
| Yapay zekâ: RAID karşılaştırması, düzenlenmemiş | 200 | %96,5 | %99 |
| Yapay zekâ: RAID karşılaştırması, yeniden ifade edilmiş | 200 | %84 | %92 |
| Yapay zekâ: insanlaştırıcı araçlarla yeniden yazılmış | 200 | %59,5 | %74,5 |
acad583-2026-10-22
Bilinen sınırlamalar
- En yeni modellerin metinleri, özellikle insan gibi yazmaları istendiğinde, çoğu zaman gözden kaçar.
- Yeniden ifade etme ve “insanlaştırıcı” araçlar puanı önemli ölçüde düşürür.
- Kısa metinler güvenilir değildir; 50 kelimenin altında sonuç vermeyiz.
- Yoğun şekilde düzenlenmiş, kalıplaşmış veya çevrilmiş insan yazısı işaretlenebilir.
- Eşikler akademik yazıya göre kalibre edilmiştir. Genel web metinlerinde insan yazısı örneklerin %32,7 kadarı “Muhtemelen yapay zekâ” olarak etiketlendi.
Bir sonuç tahmindir, usulsüzlük kanıtı değildir. Bir suçlamanın tek dayanağı olarak asla kullanma.