डिटेक्टर कितना सटीक है?
हम प्रकाशित करते हैं कि डिटेक्टर को कैसे मापा गया और यह कहाँ विफल होता है। किसी परिणाम पर भरोसा करने से पहले इसे पढ़ें।
मॉडल
हम अपने सर्वरों पर ओपन-सोर्स desklib AI-टेक्स्ट डिटेक्टर (DeBERTa-v3-large, MIT लाइसेंस) चलाते हैं। पाठ को विंडो में बाँटा जाता है; दस्तावेज़ का स्कोर टोकन-भारित औसत होता है और वाक्यों के स्कोर परस्पर-व्याप्त विंडो से आते हैं।
वास्तविक अकादमिक लेखन पर कैलिब्रेशन
थ्रेशोल्ड 583 मनुष्य-लिखित अकादमिक पाठों (arXiv सार, गैर-मूल लेखकों के PubMed Central शोधपत्र और छात्र निबंध) पर तय किए गए थे। “संभवतः AI” इस तरह तय है कि उन मानव पाठों में से लगभग 1% इसे पार करें; “अनिश्चित” 1% से 5% के बीच की पट्टी को कवर करता है।
होल्ड-आउट मानव पाठों पर ग़लत अलार्म
दो-भाग विभाजन में, होल्ड-आउट मानव अकादमिक पाठों में से “संभवतः AI” चिह्नित पाठों का अनुपात 1% और 0.7% रहा।
पाठ समूह के अनुसार परिणाम
| समूह | पाठ | “संभवतः AI” चिह्नित | “संभवतः AI” या “अनिश्चित” चिह्नित |
|---|---|---|---|
| मनुष्य: arXiv सार | 200 | 0.5% | 3.5% |
| मनुष्य: PubMed Central, गैर-मूल लेखक | 183 | 1.1% | 6% |
| मनुष्य: छात्र निबंध | 200 | 1% | 5.5% |
| मनुष्य: विकिपीडिया (2022 से पहले) | 155 | 2.6% | 8.4% |
| मनुष्य: सामान्य वेब पाठ | 150 | 32.7% | 36.7% |
| AI: 2026 के मॉडल, असंपादित | 195 | 96.9% | 99% |
| AI: RAID बेंचमार्क, असंपादित | 200 | 96.5% | 99% |
| AI: RAID बेंचमार्क, पैराफ़्रेज़ किया हुआ | 200 | 84% | 92% |
| AI: “ह्यूमनाइज़र” टूल से दोबारा लिखा गया | 200 | 59.5% | 74.5% |
acad583-2026-10-22
ज्ञात सीमाएँ
- नवीनतम मॉडलों का पाठ, ख़ासकर जब उन्हें मनुष्य की तरह लिखने को कहा गया हो, अक्सर पकड़ में नहीं आता।
- पैराफ़्रेज़िंग और “ह्यूमनाइज़र” टूल स्कोर को काफ़ी घटा देते हैं।
- छोटे पाठ भरोसेमंद नहीं होते; 50 शब्दों से कम पर हम परिणाम नहीं देते।
- भारी संपादित, साँचेबद्ध या अनूदित मानव लेखन को चिह्नित किया जा सकता है।
- सीमाएँ (थ्रेशोल्ड) अकादमिक लेखन पर कैलिब्रेट की गई हैं। सामान्य वेब पाठ पर मनुष्यों द्वारा लिखे गए 32.7% नमूनों को “संभवतः AI” चिह्नित किया गया।
परिणाम एक अनुमान है, कदाचार का प्रमाण नहीं। इसे कभी भी आरोप का एकमात्र आधार न बनाएँ।