Yapay Zekâ Dedektörleri Ne Kadar Doğru? Yanlış Alarmlar ve Kaçırmalar
Kısa yanıt
Yapay zekâ dedektörleri iki tür hata yapabilir: insan yazısını yapay zekâ diye işaretlemek (yanlış pozitif) ve yapay zekâ metnini kaçırmak. Eşiğin yeri biri lehine diğerinden ödün verdirir; bu yüzden tek bir doğruluk rakamı pek az şey söyler. Yayımlanmış testlerimizde düzenlenmemiş 2026 yapay zekâ metninin %96,9 oranı “Muhtemelen yapay zekâ yazmış” olarak etiketlenirken, insan yazımı akademik metinde bu oran %1 idi; sonuçlar kısa metinlerde, yeni modellerde ve yeniden yazılmış metinlerde zayıflar.
Önemli noktalar
- Sorulması gereken iki hata var: insan yazısındaki yanlış pozitifler ve yapay zekâ metnindeki kaçırmalar. Tek bir doğruluk rakamı ikisini de gizler.
- Ödünleşimi bir eşik belirler. Daha sıkı bir eşik dürüst yazarları korur ama daha fazla yapay zekâ metnini kaçırır.
- Dedektörümüz, insan yazımı akademik metinlerde yanlış alarmı düşük tutacak şekilde kalibre edilmiştir: iki ayrılmış kümede %1 ve %0,7.
- Tespit kısa metinlerde, yeniden yazılmış ya da insanlaştırılmış metinlerde, en yeni modellerde ve akademik yazı dışındaki türlerde daha zayıftır.
- Hiçbir dedektör kusursuz değildir. Puanı bir tahmin olarak görün ve sonuç çıkarmadan önce başka kanıt arayın.
İki tür hata
İnsanlar bir dedektörün ne kadar doğru olduğunu sorduğunda genellikle tek bir sayıyı kastederler. Oysa bir dedektör iki farklı biçimde başarısız olabilir ve bunlar farklı kişileri ilgilendirir.
Yanlış pozitif, insan yazısını yapay zekâ diye etiketler. Bu, dürüstçe yaptığı bir çalışma için suçlamayla karşılaşabilecek öğrencilere zarar verir. Kaçırma ise yapay zekâ metnini insan yazımı diye etiketler. Bu, bir ödevi yapay zekânın ne zaman yazdığını bilmek isteyen öğretim elemanları için önemlidir. “Yüzde 99 doğru” iddiası, bunlardan hangisini ve hangi tür metin üzerinde ölçtüğünü bilmedikçe size bir şey söylemez.
Eşikler bir hatayı diğeriyle takas eder
Bir dedektör bir puan üretir ve bir eşik puanı etikete çevirir. Eşiği yukarı çekerseniz daha az insan metni işaretlenir, ama daha çok yapay zekâ metni gözden kaçar. Aşağı çekerseniz tersi olur. İki hatayı da ortadan kaldıran bir ayar yoktur.
Yanlış bir suçlama pahalı olduğu için, eşiğimizi insan yazımı akademik metinlerde yanlış alarmı düşük tutacak şekilde belirledik. Ölçeğin üç sonucu vardır: “Muhtemelen insan yazmış”, “Belirsiz” ve “Muhtemelen yapay zekâ yazmış”; “Belirsiz” aralığı da sınırdaki metnin kesin bir etikete zorlanmaması için vardır.
Yayımlanmış rakamlarımız ne gösteriyor
583 insan yazımı akademik metin üzerinde kalibre ettik ve test ettik, sonuçları gruba göre bildiriyoruz. Bunlar dedektörümüzün belirli test kümeleri üzerindeki ölçümleridir; her metin için verilmiş söz değildir.
İnsan yazısında “Muhtemelen yapay zekâ yazmış” etiketi alanların oranı iki ayrılmış kümede %1 ve %0,7 idi. Gruba göre öğrenci ödevlerinde %1, ön baskı özetlerinde %0,5, anadili İngilizce olmayan yazarların makalelerinde %1,1 ve 2022 öncesinde yazılmış ansiklopedi metninde %2,6 idi. Yapay zekâ metninde ise düzenlenmemiş 2026 yapay zekâ metninin %96,9 oranı, herkese açık bir karşılaştırma testinde %96,5 oranı “Muhtemelen yapay zekâ yazmış” olarak etiketlendi.
Doğruluğun düştüğü yerler
Her dedektörün daha az güvenilir olduğu koşullar vardır ve bunları gizlemektense sıralamak daha dürüsttür.
- Kısa metinler: birkaç cümlede kanıt çok azdır. Dedektörümüz 50 kelimenin altında sonuç vermez.
- Daha yeni modeller: dedektörler önceki çıktılarla eğitilir; bu yüzden yeni sistemleri, dedektör güncellenene kadar tanımak daha zor olabilir.
- Yeniden yazılmış yapay zekâ metni: yeniden ifade edilmiş yapay zekâ metni, herkese açık bir karşılaştırma testinde yine de %84 oranında “Muhtemelen yapay zekâ yazmış” etiketi aldı; başka bir yapay zekâ modeli yeniden ifade ettiğinde bu oran yalnızca %50,5, insanlaştırıcı araçlardan sonra ise %59,5 oldu. Metin yeniden yazıldıktan sonra tespit zayıflar.
- Akademik yazı dışındaki türler: reklam ve basın bülteni gibi insan yazımı genel web metninde %32,7 oranında “Muhtemelen yapay zekâ yazmış” etiketi verildi; çünkü dedektör akademik yazıya göre kalibre edilmiştir.
- Diğer diller: dedektörümüz yalnızca İngilizce çalışır.
Yanlış pozitif neden nadir bir istisna değildir
Yüzde bir dolayında bir oran küçük görünür, ama binlerce teslim içinde gerçek öğrencilerin işaretleneceği anlamına gelir. Bu yüzden bir dedektör sonucu bir konuşmayı bitirmek yerine başlatmalıdır ve işaretlenen bir öğrenci taslaklarını göstermeyi ve çalışmasını açıklamayı hak eder.
Tersi de doğrudur. Temiz bir sonuç hiç yapay zekâ kullanılmadığını kanıtlamaz; çünkü yeniden yazılmış ya da hafifçe düzenlenmiş yapay zekâ metni daha düşük puan alabilir.
Bir dedektör mantıklı biçimde nasıl kullanılır
İyi kullanıldığında dedektör bir eleme aracıdır. Bir yazarın düzeltebileceği ya da bir öğretim elemanının konuşabileceği, ikinci kez bakmaya değer bölümleri gösterir.
Yalnızca başlıktaki sayıya değil, cümle düzeyindeki vurgulara bakın. Metin uzunluğunu ve türünü kontrol edin. Yazarın diğer çalışmalarıyla karşılaştırın ve sürecini sorun. Bunu ücretsiz deneyebilirsiniz: AITurnitin hesapsız 1.000 kelimeye kadar kontrol eder ve metinler 24 saat içinde silinir.
Sık sorulan sorular
Bir yapay zekâ dedektörü için iyi doğruluk nedir?
Her iki sayıyı da isteyin: insan yazısını ne sıklıkla işaretlediği ve yapay zekâ metnini ne sıklıkla yakaladığı; gerçekçi test kümelerinde ölçülmüş olarak. Bizimki insan yazımı akademik metnin %1 oranını, düzenlenmemiş 2026 yapay zekâ metninin ise %96,9 oranını “Muhtemelen yapay zekâ yazmış” olarak etiketliyor.
Yapay zekâ dedektörleri insan yazısı konusunda yanılabilir mi?
Evet. Her dedektör bir miktar yanlış pozitif üretir ve bunlar kalıplı metinde, çok kısa örneklerde ve dedektörün eğitiminin dışındaki türlerde daha olasıdır. Bu yüzden bir puan hiçbir zaman kanıt sayılmamalıdır.
Dedektörler yeniden ifade edilmiş ya da insanlaştırılmış metni yakalar mı?
Kısmen. Testlerimizde herkese açık bir karşılaştırma testinde yeniden ifade edilmiş yapay zekâ metninin %84 oranı yine “Muhtemelen yapay zekâ yazmış” etiketi aldı; başka bir yapay zekâ modeli yeniden ifade ettikten sonra %50,5, insanlaştırıcı araçlardan sonra %59,5. Tespit zayıflar ama sıfıra inmez ve bu araçlar anlama ve kaynaklara zarar verebilir.
Yapay zekâ geliştikçe dedektörler daha mı iyi yoksa daha mı kötü oluyor?
İki baskı da var. Modeller değişir, bu yüzden dedektörlerin düzenli güncellenmesi ve yeni çıktılar üzerinde test edilmesi gerekir. Kalıcı doğruluk iddiasına temkinli yaklaşılmalıdır.
Farklı dedektörler aynı metinde neden farklı sonuç verir?
Farklı eğitim verisi, puanlama yöntemi ve eşik kullanırlar; bu yüzden bir aracın puanı bir diğeriyle karşılaştırılamaz. Ham yüzdeleri değil, sonuçları ve vurgulanan cümleleri karşılaştırın.