डिटेक्टर कति सटीक छ?
हामीले डिटेक्टर कसरी मापन गर्यौं र यो कहाँ चुक्छ भनेर प्रकाशित गर्छौं। कुनै नतिजामा भर पर्नुअघि यो पढ्नुहोस्।
मोडेल
हामी खुला स्रोतको desklib AI-text डिटेक्टर (DeBERTa-v3-large, MIT लाइसेन्स) आफ्नै सर्भरमा चलाउँछौं। पाठलाई विन्डोहरूमा बाँडिन्छ; कागजातको स्कोर टोकन-भारित औसत हो र वाक्यका स्कोर ओभरल्याप हुने विन्डोहरूबाट आउँछन्।
वास्तविक शैक्षिक लेखनमा क्यालिब्रेसन
सीमाहरू 583 मानवले लेखेका शैक्षिक पाठ (arXiv सारांश, गैर-मातृभाषी लेखकका PubMed Central लेख र विद्यार्थी निबन्ध) मा सेट गरिएका थिए। "सम्भवतः AI" यसरी सेट गरिएको छ कि ती मानव पाठमध्ये करिब 1% ले यो नाघ्छन्; "अनिश्चित" ले 1% र 5% बीचको दायरा समेट्छ।
छुट्याइएका मानव पाठमा गलत अलार्म
दुई भागको विभाजनमा, "सम्भवतः AI" लेबल गरिएका छुट्याइएका मानव शैक्षिक पाठको अनुपात १% र ०.७% थियो।
पाठ समूहअनुसार नतिजा
| समूह | पाठ | "सम्भवतः AI" लेबल गरिएको | "सम्भवतः AI" वा "अनिश्चित" लेबल गरिएको |
|---|---|---|---|
| मानव: arXiv सारांश | 200 | ०.५% | ३.५% |
| मानव: PubMed Central, गैर-मातृभाषी लेखक | 183 | १.१% | ६% |
| मानव: विद्यार्थी निबन्ध | 200 | १% | ५.५% |
| मानव: विकिपिडिया (2022 अघि) | 155 | २.६% | ८.४% |
| मानव: सामान्य वेब पाठ | 150 | ३२.७% | ३६.७% |
| AI: 2026 का मोडेल, असम्पादित | 195 | ९६.९% | ९९% |
| AI: RAID बेन्चमार्क, असम्पादित | 200 | ९६.५% | ९९% |
| AI: RAID बेन्चमार्क, पुनर्शब्दित | 200 | ८४% | ९२% |
| AI: ह्युमनाइजर उपकरणले पुनर्लेखन गरेको | 200 | ५९.५% | ७४.५% |
acad583-2026-10-22
ज्ञात सीमाहरू
- नयाँ मोडेलका पाठ, विशेष गरी मानवजस्तो लेख्न भनिएका, प्रायः छुट्छन्।
- पुनर्शब्दन र "ह्युमनाइजर" उपकरणले स्कोर निकै घटाउँछन्।
- छोटा पाठ भरपर्दो हुँदैनन्; 50 शब्दभन्दा कममा हामी नतिजा दिँदैनौं।
- धेरै सम्पादित, ढाँचाबद्ध वा अनुवादित मानव लेखन चिन्हित हुन सक्छ।
- सीमाहरू शैक्षिक लेखनमा क्यालिब्रेट गरिएका छन्। सामान्य वेब पाठमा, मानवले लेखेका ३२.७% नमुनालाई "सम्भवतः AI" लेबल गरियो।
नतिजा अनुमान हो, दुराचारको प्रमाण होइन। कुनै आरोपको एकमात्र आधारका रूपमा यसलाई कहिल्यै प्रयोग नगर्नुहोस्।