Công cụ phát hiện AI chính xác đến mức nào? Báo nhầm và bỏ sót
Trả lời ngắn
Công cụ phát hiện AI có thể mắc hai loại lỗi: đánh dấu bài do người viết là AI (báo nhầm) và bỏ sót văn bản AI. Vị trí của ngưỡng đánh đổi giữa hai loại lỗi này, nên một con số độ chính xác duy nhất nói được rất ít. Trong các thử nghiệm đã công bố của chúng tôi, 96,9% văn bản AI năm 2026 chưa chỉnh sửa bị gắn nhãn “Có thể do AI”, trong khi văn bản học thuật do người viết bị gắn nhãn này ở mức 1%, và kết quả yếu đi với văn bản ngắn, mô hình mới và văn bản đã viết lại.
Điểm chính
- Có hai loại lỗi cần hỏi: báo nhầm trên bài do người viết và bỏ sót trên văn bản AI. Một con số độ chính xác che cả hai.
- Ngưỡng quyết định sự đánh đổi. Ngưỡng chặt hơn bảo vệ người viết trung thực nhưng bỏ sót nhiều văn bản AI hơn.
- Công cụ của chúng tôi được hiệu chỉnh để giữ báo nhầm ở mức thấp trên văn bản học thuật do người viết: 1% và 0,7% trên hai tập giữ lại để kiểm thử.
- Khả năng phát hiện yếu hơn với văn bản ngắn, văn bản đã viết lại hoặc qua humanizer, các mô hình mới nhất và những thể loại ngoài văn học thuật.
- Không có công cụ phát hiện nào hoàn hảo. Hãy coi điểm số là ước tính và tìm thêm bằng chứng khác trước khi kết luận.
Hai loại lỗi
Khi mọi người hỏi một công cụ phát hiện chính xác đến đâu, họ thường muốn nói đến một con số. Nhưng công cụ có thể sai theo hai cách khác nhau, và chúng quan trọng với những người khác nhau.
Báo nhầm là gắn nhãn AI cho bài do người viết. Điều này gây hại cho sinh viên, những người có thể bị cáo buộc oan cho bài làm trung thực. Bỏ sót là gắn nhãn người viết cho văn bản AI. Điều này quan trọng với giảng viên muốn biết khi nào AI viết một bài nộp. Tuyên bố “chính xác 99%” không cho bạn biết gì nếu bạn không biết nó đo loại lỗi nào và trên loại văn bản nào.
Ngưỡng đánh đổi lỗi này lấy lỗi kia
Công cụ phát hiện cho ra một điểm số, và một ngưỡng biến điểm số đó thành nhãn. Nâng ngưỡng lên thì ít bài của người viết bị đánh dấu hơn, nhưng nhiều văn bản AI lọt qua hơn. Hạ xuống thì ngược lại. Không có mức cài đặt nào loại bỏ được cả hai loại lỗi.
Vì cáo buộc oan gây hại lớn, chúng tôi đặt ngưỡng để giữ báo nhầm ở mức thấp trên văn học thuật do người viết. Thang đo có ba kết luận: Có thể do người viết, Chưa chắc chắn và Có thể do AI, và khoảng Chưa chắc chắn tồn tại để văn bản ở ranh giới không bị ép vào một nhãn chắc chắn.
Số liệu đã công bố của chúng tôi cho thấy gì
Chúng tôi hiệu chỉnh và thử nghiệm trên 583 văn bản học thuật do người viết và báo cáo kết quả theo từng nhóm. Đây là số đo của công cụ trên các tập thử nghiệm cụ thể, không phải lời hứa cho mọi văn bản.
Với bài do người viết, tỷ lệ bị gắn nhãn “Có thể do AI” là 1% và 0,7% trên hai tập giữ lại để kiểm thử. Theo nhóm là 1% với bài luận sinh viên, 0,5% với tóm tắt bản thảo, 1,1% với bài của tác giả không phải bản ngữ tiếng Anh và 2,6% với văn bản bách khoa viết trước năm 2022. Với văn bản AI, 96,9% văn bản AI năm 2026 chưa chỉnh sửa bị gắn nhãn “Có thể do AI”, và 96,5% trên một bộ đánh giá công khai.
Độ chính xác giảm ở đâu
Công cụ phát hiện nào cũng có những điều kiện khiến nó kém tin cậy hơn, và liệt kê chúng ra trung thực hơn là giấu đi.
- Văn bản ngắn: vài câu thì quá ít bằng chứng. Công cụ của chúng tôi không đưa kết luận khi dưới 50 từ.
- Mô hình mới hơn: công cụ phát hiện được huấn luyện trên đầu ra trước đó, nên hệ thống mới có thể khó nhận ra hơn cho đến khi công cụ được cập nhật.
- Văn bản AI đã viết lại: văn bản AI được diễn đạt lại vẫn bị gắn nhãn “Có thể do AI” ở mức 84% trên một bộ đánh giá công khai, nhưng chỉ còn 50,5% khi một mô hình AI khác diễn đạt lại, và 59,5% sau khi qua công cụ humanizer. Khả năng phát hiện yếu hơn khi văn bản đã bị viết lại.
- Thể loại ngoài văn học thuật: với văn bản web thông thường do người viết như quảng cáo và thông cáo báo chí, 32,7% bị gắn nhãn “Có thể do AI”, vì công cụ được hiệu chỉnh cho văn học thuật.
- Ngôn ngữ khác: công cụ của chúng tôi chỉ dành cho tiếng Anh.
Vì sao báo nhầm không phải sự cố hiếm gặp
Tỷ lệ khoảng 1 trên 100 nghe có vẻ nhỏ, nhưng trên hàng nghìn bài nộp thì có nghĩa là sẽ có sinh viên thật bị đánh dấu. Vì vậy kết quả của công cụ phát hiện nên mở đầu một cuộc trao đổi chứ không kết thúc nó, và sinh viên bị đánh dấu xứng đáng có cơ hội đưa ra bản nháp và giải thích bài làm.
Điều ngược lại cũng đúng. Kết quả sạch không chứng minh rằng không dùng AI, vì văn bản AI đã viết lại hoặc chỉnh nhẹ có thể có điểm thấp hơn.
Cách dùng công cụ phát hiện một cách hợp lý
Dùng tốt, công cụ phát hiện là một công cụ sàng lọc. Nó chỉ ra các đoạn đáng xem lại, để người viết chỉnh sửa hoặc giảng viên trao đổi.
Hãy xem phần đánh dấu theo câu thay vì chỉ con số tổng. Kiểm tra độ dài và thể loại văn bản. So sánh với các bài khác của người viết và hỏi về quá trình viết. Bạn có thể thử miễn phí: AITurnitin kiểm tra đến 1.000 từ mà không cần tài khoản, và văn bản bị xóa trong vòng 24 giờ.
Câu hỏi thường gặp
Độ chính xác bao nhiêu thì tốt với một công cụ phát hiện AI?
Hãy hỏi cả hai con số: nó đánh dấu bài của người viết bao nhiêu lần và bắt được văn bản AI bao nhiêu lần, đo trên các tập thử nghiệm thực tế. Công cụ của chúng tôi gắn nhãn “Có thể do AI” cho 1% văn bản học thuật do người viết và 96,9% văn bản AI năm 2026 chưa chỉnh sửa.
Công cụ phát hiện AI có thể sai với bài do người viết không?
Có. Công cụ nào cũng báo nhầm đôi chút, và dễ xảy ra hơn với văn bản theo khuôn mẫu, mẫu rất ngắn và thể loại ngoài dữ liệu huấn luyện của công cụ. Vì vậy không bao giờ nên coi điểm số là bằng chứng.
Công cụ phát hiện có bắt được văn bản đã diễn đạt lại hoặc qua humanizer không?
Một phần. Trong các thử nghiệm của chúng tôi, 84% văn bản AI diễn đạt lại trên một bộ đánh giá công khai vẫn bị gắn nhãn “Có thể do AI”, 50,5% sau khi một mô hình AI khác diễn đạt lại, và 59,5% sau khi qua công cụ humanizer. Khả năng phát hiện yếu hơn nhưng không bằng không, và các công cụ này có thể làm hỏng ý nghĩa và trích dẫn.
Khi AI tiến bộ, công cụ phát hiện tốt lên hay tệ đi?
Cả hai áp lực đều có. Mô hình thay đổi, nên công cụ phát hiện cần được cập nhật và thử trên đầu ra mới thường xuyên. Mọi tuyên bố về độ chính xác vĩnh viễn nên được xem xét thận trọng.
Vì sao các công cụ phát hiện khác nhau cho kết quả khác nhau trên cùng một văn bản?
Chúng dùng dữ liệu huấn luyện, phương pháp chấm điểm và ngưỡng khác nhau, nên điểm của công cụ này không so sánh được với công cụ khác. Hãy so sánh kết luận và các câu được đánh dấu, đừng so phần trăm thô.