ตัวตรวจจับแม่นยำแค่ไหน

โมเดล

เราใช้ตัวตรวจจับข้อความ AI แบบโอเพนซอร์ส desklib (DeBERTa-v3-large, สัญญาอนุญาต MIT) บนเซิร์ฟเวอร์ของเราเอง ข้อความจะถูกแบ่งเป็นหน้าต่าง คะแนนของเอกสารคือค่าเฉลี่ยถ่วงน้ำหนักตามโทเคน และคะแนนรายประโยคมาจากหน้าต่างที่ซ้อนทับกัน

การปรับเทียบด้วยงานเขียนวิชาการจริง

เกณฑ์ถูกกำหนดจากข้อความวิชาการที่มนุษย์เขียน 583 ข้อความ (บทคัดย่อ arXiv บทความ PubMed Central โดยผู้เขียนที่ไม่ใช่เจ้าของภาษา และเรียงความของนักศึกษา) "น่าจะเป็น AI" ถูกตั้งไว้ให้ข้อความมนุษย์เหล่านั้นราว 1% เกินเกณฑ์นี้ ส่วน "ไม่แน่ใจ" ครอบคลุมช่วงระหว่าง 1% ถึง 5%

ผลแจ้งเตือนผิดพลาดกับข้อความมนุษย์ที่กันไว้ทดสอบ

จากการแบ่งข้อมูลแบบสองส่วน สัดส่วนของข้อความวิชาการที่มนุษย์เขียนซึ่งกันไว้ทดสอบและถูกระบุว่า "น่าจะเป็น AI" คือ 1% และ 0.7%

ผลลัพธ์ตามกลุ่มข้อความ

acad583-2026-10-22

ข้อจำกัดที่ทราบ

• ข้อความจากโมเดลรุ่นใหม่ล่าสุด โดยเฉพาะเมื่อสั่งให้เขียนให้เหมือนมนุษย์ มักตรวจไม่พบ
• การเรียบเรียงใหม่และเครื่องมือ "ทำให้เหมือนมนุษย์" ลดคะแนนลงอย่างมาก
• ข้อความสั้นไม่น่าเชื่อถือ หากต่ำกว่า 50 คำเราจะไม่ให้ผลลัพธ์
• งานเขียนของมนุษย์ที่ผ่านการแก้ไขมาก เป็นสูตรตายตัว หรือแปลมา อาจถูกทำเครื่องหมายได้
• เกณฑ์ถูกปรับเทียบกับงานเขียนเชิงวิชาการ สำหรับข้อความทั่วไปบนเว็บ ตัวอย่างที่มนุษย์เขียน 32.7% ถูกระบุว่า "น่าจะเป็น AI"

ผลลัพธ์เป็นเพียงค่าประมาณ ไม่ใช่หลักฐานการประพฤติมิชอบ ห้ามใช้เป็นเหตุผลเดียวในการกล่าวหา