ตัวตรวจจับ AI แม่นยำแค่ไหน การแจ้งเตือนผิดและการตรวจไม่พบ

ความผิดพลาดสองแบบ

เมื่อคนถามว่าตัวตรวจจับแม่นยำแค่ไหน มักหมายถึงตัวเลขเดียว แต่ตัวตรวจจับพลาดได้สองแบบที่ต่างกัน และสำคัญกับคนต่างกลุ่ม

การแจ้งเตือนผิดคือการระบุงานเขียนของมนุษย์ว่าเป็น AI ซึ่งทำร้ายนักศึกษาที่อาจถูกกล่าวหาในงานที่ทำอย่างซื่อสัตย์ ส่วนการตรวจไม่พบคือการระบุข้อความ AI ว่าเป็นของมนุษย์ ซึ่งสำคัญสำหรับอาจารย์ที่อยากรู้ว่าเมื่อใดที่ AI เขียนงานที่ส่งมา คำกล่าวอ้างว่า “แม่นยำ 99%” ไม่บอกอะไรเลย เว้นแต่คุณรู้ว่ามันวัดแบบไหนและกับข้อความประเภทใด

เกณฑ์ทำให้ความผิดพลาดสองแบบแลกกัน

ตัวตรวจจับให้คะแนน และเกณฑ์เปลี่ยนคะแนนเป็นป้าย ถ้าเลื่อนเกณฑ์ขึ้น ข้อความของมนุษย์ถูกติดธงน้อยลง แต่ข้อความ AI หลุดผ่านมากขึ้น ถ้าเลื่อนลงก็เป็นตรงข้าม ไม่มีค่าตั้งที่กำจัดความผิดพลาดทั้งสองแบบได้

เพราะการกล่าวหาผิดมีราคาที่ต้องจ่าย เราตั้งเกณฑ์ให้การแจ้งเตือนผิดต่ำกับงานเขียนวิชาการของมนุษย์ มาตรวัดมีผลสามแบบ คือ “น่าจะเขียนโดยมนุษย์” “ไม่แน่ใจ” และ “น่าจะเขียนโดย AI” โดยช่วง “ไม่แน่ใจ” มีไว้เพื่อไม่บังคับให้ข้อความก้ำกึ่งต้องได้ป้ายที่มั่นใจ

ตัวเลขที่เราเผยแพร่แสดงอะไร

เราปรับเทียบและทดสอบด้วยข้อความวิชาการที่มนุษย์เขียน 583 ข้อความ และรายงานผลแยกตามกลุ่ม นี่คือการวัดตัวตรวจจับของเราบนชุดทดสอบเฉพาะ ไม่ใช่คำสัญญาสำหรับทุกข้อความ

กับงานเขียนของมนุษย์ สัดส่วนที่ถูกระบุว่า “น่าจะเขียนโดย AI” คือ 1% และ 0.7% ในสองชุดที่กันไว้ทดสอบ แยกตามกลุ่มคือ 1% สำหรับเรียงความนักศึกษา 0.5% สำหรับบทคัดย่อพรีพรินต์ 1.1% สำหรับบทความของผู้เขียนภาษาอังกฤษที่ไม่ใช่เจ้าของภาษา และ 2.6% สำหรับข้อความสารานุกรมที่เขียนก่อนปี 2022 กับข้อความ AI ข้อความ AI ปี 2026 ที่ไม่ได้แก้ไขถูกระบุว่า “น่าจะเขียนโดย AI” ถึง 96.9% และ 96.5% ในเบนช์มาร์กสาธารณะ

ความแม่นยำลดลงตรงไหน

ตัวตรวจจับทุกตัวมีเงื่อนไขที่เชื่อถือได้น้อยลง และการบอกเงื่อนไขเหล่านี้ตรงไปตรงมากว่าการซ่อนไว้

• ข้อความสั้น: หลักฐานในไม่กี่ประโยคน้อยเกินไป ตัวตรวจจับของเราไม่ให้ผลสรุปเมื่อต่ำกว่า 50 คำ
• โมเดลใหม่: ตัวตรวจจับถูกฝึกด้วยผลลัพธ์ก่อนหน้า ระบบใหม่จึงอาจรู้จักยากขึ้นจนกว่าตัวตรวจจับจะถูกอัปเดต
• ข้อความ AI ที่เขียนใหม่: ข้อความ AI ที่เรียบเรียงใหม่ยังถูกระบุว่า “น่าจะเขียนโดย AI” ถึง 84% ในเบนช์มาร์กสาธารณะ แต่เหลือเพียง 50.5% เมื่อโมเดล AI อีกตัวเรียบเรียงใหม่ และ 59.5% หลังผ่านเครื่องมือ humanizer การตรวจจับอ่อนลงเมื่อข้อความถูกเขียนใหม่
• ประเภทงานนอกงานเขียนวิชาการ: กับข้อความทั่วไปบนเว็บที่มนุษย์เขียน เช่น โฆษณาและข่าวประชาสัมพันธ์ มี 32.7% ที่ถูกระบุว่า “น่าจะเขียนโดย AI” เพราะตัวตรวจจับถูกปรับเทียบสำหรับงานเขียนวิชาการ
• ภาษาอื่น: ตัวตรวจจับของเรารองรับเฉพาะภาษาอังกฤษ

ทำไมการแจ้งเตือนผิดจึงไม่ใช่เหตุการณ์ประหลาดที่หาได้ยาก

อัตราราว 1 ใน 100 ฟังดูเล็ก แต่ในงานที่ส่งนับพัน หมายความว่านักศึกษาตัวจริงจะถูกติดธง นั่นคือเหตุผลที่ผลจากตัวตรวจจับควรเริ่มการสนทนา ไม่ใช่ปิดมัน และนักศึกษาที่ถูกติดธงควรมีโอกาสแสดงฉบับร่างและอธิบายงานของตน

ตรงข้ามก็จริงเช่นกัน ผลที่ผ่านไม่ได้พิสูจน์ว่าไม่มีการใช้ AI เพราะข้อความ AI ที่เขียนใหม่หรือแก้เล็กน้อยอาจได้คะแนนต่ำลง

วิธีใช้ตัวตรวจจับอย่างสมเหตุสมผล

ถ้าใช้ดี ตัวตรวจจับเป็นเครื่องมือคัดกรอง ชี้ไปที่ตอนที่ควรดูอีกครั้ง ซึ่งผู้เขียนแก้ไขได้หรืออาจารย์นำไปพูดคุยได้

ดูไฮไลต์ระดับประโยค ไม่ใช่แค่ตัวเลขหลัก ตรวจความยาวและประเภทของข้อความ เทียบกับงานอื่นของผู้เขียน และถามถึงกระบวนการเขียน คุณลองฟรีได้ AITurnitin ตรวจได้สูงสุด 1,000 คำโดยไม่ต้องมีบัญชี และข้อความจะถูกลบภายใน 24 ชั่วโมง

คำถามที่พบบ่อย