AI 偵測器準確嗎？AI 檢測的誤判率與漏判
簡短回答
AI 偵測器會犯兩種錯：把人類寫作標為 AI（誤判），以及漏掉 AI 文字（漏判）。門檻的位置會在兩者之間取捨，所以單一的準確率數字說明不了什麼。在我們公開的測試中，未經編輯的 2026 年 AI 文字有 96.9% 被標為「很可能是 AI 寫的」，而人類學術文字為 1%；對於短文、新模型和經過改寫的文字，結果會變差。
重點
- 需要問清楚的有兩種錯誤：對人類寫作的誤判，以及對 AI 文字的漏判。單一的準確率數字會把兩者都藏起來。
- 門檻決定取捨。較嚴格的門檻能保護誠實的寫作者，但會漏掉更多 AI 文字。
- 我們的偵測器經過校準，讓人類學術文字的誤判維持在低水準：兩組保留測試集分別為 1% 與 0.7%。
- 偵測在短文、改寫或人性化處理過的文字、最新的模型，以及學術寫作之外的文體上表現較差。
- 沒有任何偵測器是完美的。請把分數視為估計，並在下結論前尋找其他證據。
兩種錯誤
人們問偵測器有多準時，通常指的是一個數字。但偵測器可能以兩種不同方式出錯，而它們對不同的人意義不同。
誤判是把人類寫作標為 AI，這會傷害學生，他們可能因為自己誠實完成的作業而被指控。漏判是把 AI 文字標為人寫的，這對想知道繳交的作業是否由 AI 寫成的老師很重要。像 "99% accurate" 這樣的宣稱，除非你知道它衡量的是哪一種、用的是哪一類文字，否則什麼也說明不了。
門檻是在兩種錯誤之間取捨
偵測器會產生一個分數，而門檻把分數轉成標籤。把門檻調高，被標記的人類文字會變少，但會有更多 AI 文字漏網。把門檻調低，情況則相反。沒有任何設定能同時消除兩種錯誤。
由於冤枉別人的代價很高，我們把門檻設定為讓人類學術寫作的誤判維持在低水準。這個量表有三種結論：「很可能是人寫的」、「不確定」和「很可能是 AI 寫的」，設置「不確定」區間，是為了不把處於邊界的文字硬塞進一個過於肯定的標籤。
我們公開的數據顯示什麼
我們以 583 篇人類學術文字進行校準和測試，並依類別公布結果。這些是我們的偵測器在特定測試集上的測量值，並不是對每一篇文字的保證。
在人類寫作上，被標為「很可能是 AI 寫的」的比例，在兩組保留測試集上分別為 1% 與 0.7%。按類別來看，學生報告為 1%，預印本摘要為 0.5%，非英語母語作者的論文為 1.1%，2022 年以前撰寫的百科文字為 2.6%。在 AI 文字上，未經編輯的 2026 年 AI 文字有 96.9% 被標為「很可能是 AI 寫的」，在公開基準上則為 96.5%。
準確度在哪些情況下會下降
每個偵測器都有可靠度較低的條件，把這些列出來比隱瞞更誠實。
- 短文：幾個句子裡的證據太少。我們的偵測器在少於 50 字時不提供結論。
- 較新的模型：偵測器是用較早的輸出訓練的，所以新系統在偵測器更新前可能更難辨認。
- 經過改寫的 AI 文字：在公開基準上，改寫過的 AI 文字仍有 84% 被標為「很可能是 AI 寫的」，但由另一個 AI 模型改寫時只剩 50.5%，經「人性化」工具處理後則為 59.5%。文字一旦被改寫，偵測就變弱了。
- 學術寫作以外的文體：在廣告、新聞稿這類人類撰寫的一般網頁文字上，有 32.7% 被標為「很可能是 AI 寫的」，因為偵測器是針對學術寫作校準的。
- 其他語言：我們的偵測器只支援英文。
為什麼誤判不是罕見的意外
大約百分之一的比率聽起來很小，但放在數千份作業裡，就代表確實會有學生被標記。這就是為什麼偵測結果應該是對話的開始，而不是結束，也是為什麼被標記的學生應有機會出示草稿並說明自己的作品。
反過來也一樣。結果乾淨並不能證明沒有使用 AI，因為經過改寫或輕度編輯的 AI 文字分數可能更低。
如何合理地使用偵測器
用得好的話，偵測器是一種篩選工具。它指出值得再看一眼的段落，寫作者可以修改，老師也可以討論。
請看逐句標示，而不只是總分。檢查文字的長度和文體。與寫作者的其他作品比較，並詢問他們的寫作過程。你可以免費試試：AITurnitin 不需註冊帳號即可檢查最多 1,000 字，文字會在 24 小時內刪除。
常見問題
AI 偵測器的準確度要多少才算好？
兩個數字都要問：它多常標記人類寫作，又多常抓到 AI 文字，而且要在貼近實際的測試集上測量。我們的偵測器把 1% 的人類學術文字、以及 96.9% 的未經編輯 2026 年 AI 文字標為「很可能是 AI 寫的」。
AI 偵測器會誤判人類寫作嗎？
會。每個偵測器都會產生一些誤判，在制式的文字、非常短的樣本，以及偵測器訓練範圍之外的文體上更容易發生。這就是為什麼分數絕不能被當作證據。
偵測器能抓到被改寫或人性化處理過的文字嗎？
部分可以。在我們的測試中，公開基準上改寫過的 AI 文字仍有 84% 被標為「很可能是 AI 寫的」，經另一個 AI 模型改寫後為 50.5%，經「人性化」工具處理後為 59.5%。偵測會變弱，但不是零，而且這些工具可能破壞原意與引用。
隨著 AI 進步，偵測器會變好還是變差？
兩種壓力都存在。模型在變，所以偵測器需要定期更新，並用新的輸出重新測試。任何宣稱永遠準確的說法都應該謹慎看待。
為什麼不同的偵測器對同一篇文字給出不同的結果？
它們使用不同的訓練資料、評分方法和門檻，所以一個工具的分數無法與另一個直接比較。請比較結論和被標示的句子，而不是原始的百分比。