AI 偵測器對非母語英文寫作者不公平嗎?會誤判嗎
簡短回答
對非英語母語的寫作者,偵測器可能比較不可靠,因為謹慎、簡單或制式的英文更容易預測,而可預測性正是偵測器衡量的東西。這項風險確實存在,並取決於偵測器如何建置與測試。我們的校準刻意納入非母語作者的論文,其中有 1.1% 被標為「很可能是 AI 寫的」。
重點
- 偵測器衡量的是措辭的可預測性,而英語學習者常用安全、規律的句型,更容易被預測。
- 偵測器是否有偏誤,取決於它的訓練與測試方式。請問清楚它有沒有在非母語作者的文字上測試過。
- 我們的校準納入了非母語作者撰寫的人類文字:有 1.1% 被標為「很可能是 AI 寫的」,與母語者學術寫作的比率相近。
- 分數永遠不是證據,非母語寫作者應該保留草稿和筆記,以便說明自己的作品。
- 寫得具體、加入自己的例子和資料來源,對論點和結果都有幫助。
直白地說明這項疑慮
把英文當作第二外語學習的學生擔心,偵測器會把他們的寫作誤認為 AI。這個擔心是合理的。偵測器的原理是估計文字有多容易預測,而用第二外語寫作往往更謹慎、更規律,也更貼近你學過的範本。
如果偵測器只用流暢的母語寫作訓練,可能會把這種謹慎視為機器的特徵。實際上是否如此,取決於偵測器如何建置以及用什麼測試。
為什麼簡單的英文看起來容易預測
用還在精進的語言寫作時,你會選擇有把握的字詞、偏好練習過的句型,並避開有風險的慣用語。這是好的寫作習慣,但也會讓你使用的字詞和結構範圍變窄。
語言模型在每一步也偏好最可預期的字詞。因此,狹窄而規律的措辭在統計上可能與模型輸出相似,儘管背後的原因完全不同。
- 在各段落中重複使用常見的連接詞,例如 Moreover、Furthermore 和 In addition。
- 長度相近、都是主詞—動詞—受詞結構的句子。
- 從教科書、範本或片語庫背下來的片語。
- 從另一種語言翻譯過來後,謹慎而字面化的用字。
公平的測試應該是什麼樣子
要知道偵測器是否有偏誤,方法是拿非母語作者的人類寫作去測試,並計算誤判次數。如果這個群體的誤判率明顯偏高,不管整體準確度如何,這個偵測器對他們就是不公平的。
我們刻意把這個群體納入校準。取自公開研究資料庫、由非英語母語作者撰寫的人類學術文字,有 1.1% 被標為「很可能是 AI 寫的」;相比之下,我們兩組保留測試集(共 583 篇人類學術文字)整體的比率為 1% 與 0.7%。差距很小,但這是以已發表的研究論文為基礎,這些論文經過編輯與審稿,因此並不涵蓋所有類型的學習者寫作。
風險仍然存在的地方
我們的數字描述的是達到專業水準的作者所寫的學術文章。對於還在培養流暢度的大一學生、非常短的文字,或非學術類文體,不保證會得到相同的結果。少於 50 字時,我們的偵測器完全不給出結論。只支援英文的工具,在主要是其他語言的文字上也可能給出奇怪的結果。
更廣泛地說,其他偵測器的測試方式可能不同。如果某個機構依賴某項工具,詢問有什麼證據顯示它適用於非母語寫作者,是合理的。
如果你用英文作為第二外語寫作,實用的建議
你不需要為了避免被標記而寫得更差或更不仔細。你需要的是在文字中放進更多的自己,這同時也會讓文章更有力。
- 加入只有你才知道的具體細節:你的資料、案例、閱讀筆記或課堂討論。
- 表達你自己的推理和立場,而不是籠統地總結。
- 讓句子有變化。把簡短直接的陳述和較長的句子搭配,不要重複使用同一個連接詞。
- 使用課程中的術語,而不是同義詞辭典裡的同義詞。
- 對 AI 工具的整句改寫要小心。輕微的修正沒問題,但整句採用 AI 改寫會讓你的文字變成機器寫的。
讀起來像 AIMoreover, the use of mobile phones has many advantages for students. Furthermore, it also has some disadvantages.
讀起來像你Phones helped me most in the library, where I could photograph whiteboard notes. They hurt me in the dorm, where I checked messages every few minutes while studying.
用證據保護自己
萬一分數被用來對付你,寫作過程的紀錄比一個數字更有分量。保留版本紀錄、草稿、筆記和資料來源,並準備好口頭說明你的論點;如果比較容易,用簡單的英文也可以。偵測器分數只是估計,不是證據,你可以禮貌地這樣表達,並要求依照校方的程序進行覆核。
你也可以先自己檢查草稿。AITurnitin 不需註冊帳號,每次最多可檢查 1,000 字,並標示出最像 AI 的句子,讓你知道該在哪裡補充細節。
常見問題
AI 偵測器會歧視非英語母語者嗎?
如果只用母語寫作訓練或測試,就可能會,因為簡單而規律的英文更容易預測。特定偵測器是否如此,取決於它如何測試。我們的校準納入了非母語作者,並公布有 1.1% 被標為「很可能是 AI 寫的」。
寫簡單的英文會被標記嗎?
單憑這一點不會。清楚、簡單的英文是好的寫作。真正提高風險的,是泛泛、節奏平均又制式的文字。具體的例子和你自己的推理,比字詞的複雜度重要得多。
我應該先用文法工具修正英文嗎?
多數課程允許輕微的拼字和文法修正,但請先確認你的課程規定。整句採用 AI 工具的改寫,會讓你的文字讀起來像機器寫的,所以能自己改正的錯誤就自己改。
如果我英文不是母語,卻被指控使用 AI 怎麼辦?
保持冷靜,詢問證據是什麼,提供你的草稿和版本紀錄,並表示願意當面說明你的作品。提醒對方偵測器只是估計,並請求依照校方的正式程序處理你的案件。
非母語寫作者可以相信你們的數字嗎?
這些數字來自一組真實、已發表的非母語作者學術論文測試集,我們也公開了比率。但這不代表不會有學習者被標記,所以請保留寫作過程的紀錄,並把任何結果都視為估計。