Công cụ phát hiện chính xác đến mức nào?
Chúng tôi công bố cách đo lường công cụ phát hiện và những chỗ nó sai. Hãy đọc trước khi dựa vào một kết quả.
Mô hình
Chúng tôi chạy mô hình phát hiện văn bản AI mã nguồn mở desklib (DeBERTa-v3-large, giấy phép MIT) trên máy chủ của riêng mình. Văn bản được chia thành các cửa sổ; điểm của tài liệu là trung bình có trọng số theo token, còn điểm từng câu lấy từ các cửa sổ chồng lấn.
Hiệu chỉnh trên văn bản học thuật thật
Các ngưỡng được đặt dựa trên 583 văn bản học thuật do người viết (tóm tắt arXiv, bài báo PubMed Central của tác giả không phải bản ngữ và bài luận sinh viên). "Có thể do AI" được đặt sao cho khoảng 1% số văn bản người viết đó vượt qua; "Chưa chắc chắn" bao phủ khoảng từ 1% đến 5%.
Báo nhầm trên văn bản người viết giữ lại để kiểm thử
Trong phép chia hai phần, tỷ lệ văn bản học thuật do người viết (giữ lại để kiểm thử) bị gắn nhãn "Có thể do AI" là 1% và 0,7%.
Kết quả theo nhóm văn bản
| Nhóm | Văn bản | Gắn nhãn "Có thể do AI" | Gắn nhãn "Có thể do AI" hoặc "Chưa chắc chắn" |
|---|---|---|---|
| Người viết: tóm tắt arXiv | 200 | 0,5% | 3,5% |
| Người viết: PubMed Central, tác giả không phải bản ngữ | 183 | 1,1% | 6% |
| Người viết: bài luận sinh viên | 200 | 1% | 5,5% |
| Người viết: Wikipedia (trước 2022) | 155 | 2,6% | 8,4% |
| Người viết: văn bản web thông thường | 150 | 32,7% | 36,7% |
| AI: mô hình 2026, chưa chỉnh sửa | 195 | 96,9% | 99% |
| AI: bộ đánh giá RAID, chưa chỉnh sửa | 200 | 96,5% | 99% |
| AI: bộ đánh giá RAID, đã diễn đạt lại | 200 | 84% | 92% |
| AI: viết lại bằng công cụ humanizer | 200 | 59,5% | 74,5% |
acad583-2026-10-22
Hạn chế đã biết
- Văn bản từ các mô hình mới nhất, đặc biệt khi được yêu cầu viết giống người, thường bị bỏ sót.
- Diễn đạt lại và công cụ "humanizer" làm giảm điểm đáng kể.
- Văn bản ngắn không đáng tin cậy; dưới 50 từ chúng tôi không đưa ra kết quả.
- Văn người viết đã chỉnh sửa nhiều, theo khuôn mẫu hoặc dịch lại có thể bị đánh dấu.
- Các ngưỡng được hiệu chỉnh trên văn bản học thuật. Với văn bản web thông thường, 32,7% mẫu do người viết bị gắn nhãn "Có thể do AI".
Kết quả là ước tính, không phải bằng chứng gian lận. Đừng bao giờ dùng nó làm căn cứ duy nhất để buộc tội.