AI डिटेक्टर कति सटीक छन्? गलत-पोजिटिभ र छुटाइएका पाठ

दुई प्रकारका गल्ती

डिटेक्टर कति सटीक छ भनेर सोध्दा मानिसहरूले प्रायः एउटै अंक भन्न खोजेका हुन्छन्। तर डिटेक्टर दुई फरक तरिकाले असफल हुन सक्छ, र तिनले फरक मानिसलाई असर गर्छन्।

गलत-पोजिटिभले मानवले लेखेको पाठलाई AI भनेर लेबल गर्छ। यसले विद्यार्थीलाई दुख दिन्छ, जसले इमानदारीपूर्वक गरेको कामको आरोप खेप्न सक्छन्। छुट्नुले AI पाठलाई मानव भनेर लेबल गर्छ। यो कुनै बुझाइ AI ले लेखेको हो कि भनेर जान्न चाहने शिक्षकका लागि महत्त्वपूर्ण हुन्छ। "99% सटीक" भन्ने दाबीले यी दुईमध्ये कुन नाप्छ र कस्तो पाठमा नाप्छ भन्ने नजानेसम्म केही बताउँदैन।

सीमाले एउटा गल्तीलाई अर्कोसँग साट्छ

डिटेक्टरले स्कोर उत्पादन गर्छ, र सीमाले स्कोरलाई लेबलमा बदल्छ। सीमा माथि सारे कम मानव पाठ फ्ल्याग हुन्छन्, तर बढी AI पाठ चुहिन्छ। तल सारे उल्टो हुन्छ। दुवै गल्ती हटाउने कुनै सेटिङ छैन।

गलत आरोप महँगो हुने भएकाले हामीले मानवले लेखेका शैक्षिक पाठमा गलत अलार्म कम राख्ने गरी सीमा तोकेका छौं। स्केलमा तीन निर्णय छन्: “सम्भवतः मानवले लेखेको”, “अनिश्चित” र “सम्भवतः AI ले लेखेको”, र “अनिश्चित” दायरा यसकारण छ कि सीमारेखाको पाठ बलजफ्ती आत्मविश्वासी लेबलमा नपरोस्।

हाम्रा प्रकाशित अंकले के देखाउँछन्

हामीले 583 मानवले लेखेका शैक्षिक पाठमा क्यालिब्रेट र परीक्षण गर्‍यौं र नतिजा समूहअनुसार जनाउँछौं। यी खास परीक्षण सेटमा हाम्रो डिटेक्टरको मापन हुन्, हरेक पाठबारे वाचा होइनन्।

मानव लेखनमा “सम्भवतः AI ले लेखेको” चिह्नित अनुपात दुई होल्ड-आउट सेटमा १% र ०.७% थियो। समूहअनुसार विद्यार्थी निबन्धमा १%, प्रिप्रिन्ट सारांशमा ०.५%, गैर-मातृभाषी अंग्रेजी लेखकका शोधपत्रमा १.१% र 2022 अघि लेखिएका विश्वकोश पाठमा २.६% थियो। AI पाठमा सम्पादन नगरिएका 2026 का AI पाठ ९६.९% “सम्भवतः AI ले लेखेको” चिह्नित भए, र सार्वजनिक बेन्चमार्कमा ९६.५%।

सटीकता कहाँ घट्छ

हरेक डिटेक्टरका यस्ता अवस्था हुन्छन् जहाँ ऊ कम भरपर्दो हुन्छ, र तिनलाई लुकाउनुभन्दा सूचीबद्ध गर्नु बढी इमानदार हो।

• छोटा पाठ: केही वाक्यमा प्रमाण धेरै कम हुन्छ। हाम्रो डिटेक्टरले 50 शब्दभन्दा कममा कुनै निर्णय दिँदैन।
• नयाँ मोडल: डिटेक्टर अघिल्ला आउटपुटमा तालिम पाएका हुन्छन्, त्यसैले डिटेक्टर अद्यावधिक नभएसम्म नयाँ प्रणाली चिन्न गाह्रो हुन सक्छ।
• पुनर्लेखित AI पाठ: सार्वजनिक बेन्चमार्कमा पुनर्शब्दन गरिएका AI पाठ ८४% पटक अझै “सम्भवतः AI ले लेखेको” चिह्नित भए, तर अर्को AI मोडलले पुनर्शब्दन गर्दा ५०.५% मात्र, र ह्युम्यानाइजर टुलपछि ५९.५%। पाठ पुनर्लेखन भएपछि पहिचान कमजोर हुन्छ।
• शैक्षिक लेखनबाहिरका विधा: विज्ञापन र प्रेस विज्ञप्ति जस्ता मानवले लेखेका सामान्य वेब पाठमा ३२.७% “सम्भवतः AI ले लेखेको” चिह्नित भए, किनभने डिटेक्टर शैक्षिक लेखनका लागि क्यालिब्रेट गरिएको हो।
• अन्य भाषा: हाम्रो डिटेक्टर अंग्रेजी मात्र हो।

गलत-पोजिटिभ किन विरल अनौठो घटना होइन

करिब 100 मा 1 को दर सानो सुनिन्छ, तर हजारौं बुझाइमा यसको अर्थ वास्तविक विद्यार्थी फ्ल्याग हुनेछन् भन्ने हो। त्यसैले डिटेक्टरको नतिजाले कुराकानी अन्त्य होइन, सुरु गर्नुपर्छ, र फ्ल्याग भएको विद्यार्थीलाई मस्यौदा देखाउने र आफ्नो काम व्याख्या गर्ने मौका पाउनुपर्छ।

उल्टो पनि सत्य हो। सफा नतिजाले AI प्रयोग भएको छैन भन्ने प्रमाणित गर्दैन, किनभने पुनर्लेखित वा हल्का सम्पादित AI पाठले कम स्कोर पाउन सक्छ।

डिटेक्टर समझदारीपूर्वक कसरी प्रयोग गर्ने

राम्ररी प्रयोग गर्दा डिटेक्टर एउटा छनोट गर्ने टुल हो। यसले दोस्रो पटक हेर्न लायक अनुच्छेद देखाउँछ, जसलाई लेखकले सुधार्न वा शिक्षकले छलफल गर्न सक्छन्।

केवल मुख्य अंक होइन, वाक्य-स्तरका हाइलाइट हेर्नुहोस्। पाठको लम्बाइ र विधा जाँच्नुहोस्। लेखकको अन्य कामसँग तुलना गर्नुहोस् र उनको प्रक्रियाबारे सोध्नुहोस्। तपाईं यो निःशुल्क प्रयास गर्न सक्नुहुन्छ: AITurnitin ले खाता बिना 1,000 शब्दसम्म जाँच्छ, र पाठ 24 घण्टाभित्र मेटिन्छ।

बारम्बार सोधिने प्रश्न