AI डिटेक्टर कितने सटीक हैं? ग़लत अलार्म और चूकें
संक्षिप्त उत्तर
AI डिटेक्टर दो तरह की गलती कर सकते हैं: मनुष्य के लेखन को AI बता देना (ग़लत-सकारात्मक) और AI पाठ को पकड़ न पाना (चूक)। थ्रेशोल्ड कहाँ रखा गया है, यह एक को दूसरे के बदले तौलता है, इसलिए अकेली सटीकता संख्या बहुत कम बताती है। हमारे प्रकाशित परीक्षणों में बिना संपादित 2026 के AI पाठ का 96.9% “संभवतः AI” चिह्नित हुआ, जबकि मनुष्य-लिखित अकादमिक पाठ का 1%; और छोटे पाठों, नए मॉडलों और दोबारा लिखे पाठ पर नतीजे कमज़ोर पड़ जाते हैं।
मुख्य बातें
- दो गलतियों के बारे में पूछें: मनुष्य के लेखन पर ग़लत-सकारात्मक और AI पाठ पर चूक। एक सटीकता संख्या दोनों को छिपा देती है।
- थ्रेशोल्ड तय करता है कि संतुलन किस ओर जाए। ज़्यादा सख़्त थ्रेशोल्ड ईमानदार लेखकों को बचाता है पर ज़्यादा AI पाठ छोड़ देता है।
- हमारा डिटेक्टर इस तरह कैलिब्रेट है कि मनुष्य-लिखित अकादमिक पाठ पर ग़लत अलार्म कम रहें: दो होल्ड-आउट सेटों पर 1% और 0.7%।
- डिटेक्शन छोटे पाठों, दोबारा लिखे या ह्यूमनाइज़ किए पाठों, सबसे नए मॉडलों और अकादमिक लेखन से बाहर की विधाओं पर कमज़ोर होता है।
- कोई डिटेक्टर परिपूर्ण नहीं है। स्कोर को अनुमान मानें और निष्कर्ष निकालने से पहले दूसरे प्रमाण देखें।
दो तरह की गलती
जब लोग पूछते हैं कि डिटेक्टर कितना सटीक है, तो वे आमतौर पर एक संख्या का मतलब रखते हैं। पर डिटेक्टर दो अलग तरीक़ों से विफल हो सकता है, और वे अलग-अलग लोगों के लिए मायने रखते हैं।
ग़लत-सकारात्मक मनुष्य के लेखन को AI बता देता है। इससे छात्रों को चोट पहुँचती है, जिन पर ईमानदारी से किए गए काम के लिए आरोप लग सकता है। चूक AI पाठ को मनुष्य-लिखित बता देती है। यह उन शिक्षकों के लिए मायने रखती है जो जानना चाहते हैं कि जमा किया काम कब AI ने लिखा। “99% सटीक” जैसा दावा कुछ नहीं बताता जब तक आप न जानें कि वह इनमें से क्या मापता है और किस तरह के पाठ पर।
थ्रेशोल्ड एक गलती को दूसरी से बदलता है
डिटेक्टर एक स्कोर देता है, और थ्रेशोल्ड उस स्कोर को लेबल में बदलता है। थ्रेशोल्ड ऊपर करें तो कम मनुष्य-लिखित पाठ फ़्लैग होते हैं, पर ज़्यादा AI पाठ निकल जाता है। नीचे करें तो उलटा होता है। ऐसी कोई सेटिंग नहीं जो दोनों गलतियाँ हटा दे।
चूँकि झूठा आरोप महँगा पड़ता है, हमने अपना थ्रेशोल्ड ऐसे रखा है कि मनुष्य-लिखित अकादमिक लेखन पर ग़लत अलार्म कम रहें। पैमाने में तीन नतीजे हैं, “संभवतः मनुष्य”, “अनिश्चित” और “संभवतः AI”, और “अनिश्चित” पट्टी इसलिए है कि सीमा-रेखा वाले पाठ को ज़बरदस्ती किसी आत्मविश्वासी लेबल में न धकेला जाए।
हमारे प्रकाशित आँकड़े क्या दिखाते हैं
हमने 583 मनुष्य-लिखित अकादमिक पाठों पर कैलिब्रेट और परीक्षण किया और नतीजे समूह के अनुसार बताते हैं। ये ख़ास परीक्षण-सेटों पर हमारे डिटेक्टर के माप हैं, हर पाठ के बारे में वादे नहीं।
मनुष्य के लेखन पर “संभवतः AI” लेबल पाने वालों का हिस्सा दो होल्ड-आउट सेटों पर 1% और 0.7% रहा। समूह के अनुसार यह छात्र निबंधों के लिए 1%, प्रीप्रिंट सार के लिए 0.5%, गैर-मूल अंग्रेज़ी लेखकों के शोधपत्रों के लिए 1.1% और 2022 से पहले लिखे विश्वकोश-पाठ के लिए 2.6% रहा। AI पाठ पर बिना संपादित 2026 के AI पाठ का 96.9% “संभवतः AI” चिह्नित हुआ, और एक सार्वजनिक बेंचमार्क पर 96.5%।
सटीकता कहाँ गिरती है
हर डिटेक्टर की कुछ ऐसी परिस्थितियाँ होती हैं जिनमें वह कम भरोसेमंद होता है, और उन्हें छिपाने से ज़्यादा ईमानदारी उन्हें गिनाने में है।
- छोटे पाठ: कुछ वाक्यों में प्रमाण बहुत कम होता है। 50 शब्दों से कम पर हमारा डिटेक्टर कोई नतीजा नहीं देता।
- नए मॉडल: डिटेक्टर पहले के आउटपुट पर प्रशिक्षित होते हैं, इसलिए डिटेक्टर के अपडेट होने तक नई प्रणालियाँ पहचानना कठिन हो सकता है।
- दोबारा लिखा AI पाठ: पैराफ़्रेज़ किया गया AI पाठ एक सार्वजनिक बेंचमार्क पर फिर भी 84% मामलों में “संभवतः AI” चिह्नित हुआ, पर जब उसे किसी दूसरे AI मॉडल ने पैराफ़्रेज़ किया तो केवल 50.5%, और ह्यूमनाइज़र टूल के बाद 59.5%। पाठ दोबारा लिखे जाने के बाद डिटेक्शन कमज़ोर पड़ता है।
- अकादमिक लेखन से बाहर की विधाएँ: विज्ञापन और प्रेस विज्ञप्ति जैसे मनुष्य-लिखित सामान्य वेब पाठ का 32.7% “संभवतः AI” चिह्नित हुआ, क्योंकि डिटेक्टर अकादमिक लेखन के लिए कैलिब्रेट है।
- दूसरी भाषाएँ: हमारा डिटेक्टर केवल अंग्रेज़ी के लिए है।
ग़लत-सकारात्मक कोई दुर्लभ सनक क्यों नहीं है
लगभग 100 में 1 की दर छोटी लगती है, पर हज़ारों जमा किए गए कामों में इसका मतलब है कि असली छात्र फ़्लैग होंगे। इसीलिए डिटेक्टर का नतीजा बातचीत ख़त्म करने के बजाय शुरू करना चाहिए, और फ़्लैग हुए छात्र को अपने ड्राफ़्ट दिखाने और अपना काम समझाने का मौक़ा मिलना चाहिए।
उलटी बात भी सच है। साफ़ नतीजा यह साबित नहीं करता कि AI इस्तेमाल नहीं हुआ, क्योंकि दोबारा लिखा या हल्का संपादित AI पाठ कम स्कोर पा सकता है।
डिटेक्टर का समझदारी से इस्तेमाल कैसे करें
ठीक से इस्तेमाल हो तो डिटेक्टर एक छँटाई का औज़ार है। वह ऐसे अंशों की ओर इशारा करता है जिन्हें दूसरी नज़र की ज़रूरत है, जिन्हें लेखक संशोधित कर सकता है या शिक्षक चर्चा में ला सकता है।
सिर्फ़ मुख्य संख्या के बजाय वाक्य-स्तर की हाइलाइट देखें। पाठ की लंबाई और विधा जाँचें। लेखक के दूसरे काम से तुलना करें और उनकी प्रक्रिया के बारे में पूछें। आप इसे मुफ़्त आज़मा सकते हैं: AITurnitin बिना खाते के 1,000 शब्द तक जाँचता है, और पाठ 24 घंटे के भीतर हटा दिए जाते हैं।
अक्सर पूछे जाने वाले प्रश्न
AI डिटेक्टर के लिए अच्छी सटीकता क्या है?
दोनों संख्याएँ माँगें: वह कितनी बार मनुष्य के लेखन को फ़्लैग करता है और कितनी बार AI पाठ पकड़ता है, यथार्थवादी परीक्षण-सेटों पर मापी हुई। हमारा डिटेक्टर मनुष्य-लिखित अकादमिक पाठ के 1% को और बिना संपादित 2026 के AI पाठ के 96.9% को “संभवतः AI” लेबल करता है।
क्या AI डिटेक्टर मनुष्य के लेखन के बारे में गलत हो सकते हैं?
हाँ। हर डिटेक्टर कुछ ग़लत-सकारात्मक देता है, और साँचेबद्ध पाठ, बहुत छोटे नमूनों और डिटेक्टर के प्रशिक्षण से बाहर की विधाओं पर इसकी संभावना ज़्यादा होती है। इसीलिए स्कोर को कभी प्रमाण नहीं मानना चाहिए।
क्या डिटेक्टर पैराफ़्रेज़ या ह्यूमनाइज़ किया पाठ पकड़ लेते हैं?
आंशिक रूप से। हमारे परीक्षणों में एक सार्वजनिक बेंचमार्क पर पैराफ़्रेज़ किए AI पाठ का 84% फिर भी “संभवतः AI” चिह्नित हुआ, किसी दूसरे AI मॉडल से पैराफ़्रेज़ करने के बाद 50.5%, और ह्यूमनाइज़र टूल के बाद 59.5%। डिटेक्शन कमज़ोर होता है, शून्य नहीं, और ये टूल अर्थ व उद्धरण बिगाड़ सकते हैं।
जैसे-जैसे AI सुधर रहा है, क्या डिटेक्टर बेहतर हो रहे हैं या बदतर?
दोनों तरह के दबाव मौजूद हैं। मॉडल बदलते रहते हैं, इसलिए डिटेक्टरों को नियमित अपडेट और नए आउटपुट पर परीक्षण चाहिए। स्थायी सटीकता का कोई भी दावा सावधानी से लेना चाहिए।
एक ही पाठ पर अलग-अलग डिटेक्टर अलग नतीजे क्यों देते हैं?
उनका प्रशिक्षण डेटा, स्कोर करने के तरीक़े और थ्रेशोल्ड अलग होते हैं, इसलिए एक टूल का स्कोर दूसरे से तुलनीय नहीं है। कच्चे प्रतिशत की नहीं, नतीजों और हाइलाइट हुए वाक्यों की तुलना करें।