AI 检测器会误判非英语母语者吗?英语学习者被标记 AI 的原因
简短回答
对非英语母语的写作者,检测器可能不够可靠:认真、简单或套路化的英语更容易被预测,而检测器衡量的正是可预测性。这种风险是真实存在的,取决于检测器如何构建和测试。我们的校准刻意纳入了非英语母语作者的论文,其中有 1.1% 被标为“很可能由 AI 撰写”。
要点
- 检测器衡量的是用词的可预测性,而英语学习者常常使用安全、规整的表达,这样的文字更容易被预测。
- 检测器是否存在偏见,取决于它的训练和测试方式。要问清楚它有没有在非母语作者的文本上测试过。
- 我们的校准包含非母语作者撰写的人类文本:其中 1.1% 被标为“很可能由 AI 撰写”,与母语者学术写作的比例接近。
- 分数从来不是证据。非母语写作者应保留草稿和笔记,以便说明自己的写作过程。
- 写得具体,加入你自己的例子和资料来源,既有助于论证,也有助于检测结果。
把担忧直接说清楚
把英语作为外语学习的学生担心,检测器会把自己的文字当成 AI 写的。这种担心是合理的。检测器的工作方式是估计一段文字有多可预测,而用第二语言写作往往更谨慎、更规整,也更贴近你学过的范文。
如果检测器只用流利的母语写作训练过,它可能会把这种谨慎当成机器的特征。实际是否如此,取决于检测器是如何构建的,以及用什么测试过。
为什么简单的英语会显得可预测
用一门还没完全掌握的语言写作时,你会选择自己有把握的词,偏爱练习过的句型,避开有风险的习语。这是好的写作习惯,但也会让你使用的词汇和结构范围变窄。
语言模型同样会在每一步选择最符合预期的词。因此,从统计意义上看,狭窄而规整的用词范围可能与模型输出相似,尽管原因完全不同。
- 在各段中反复使用的常见连接词,比如 Moreover、Furthermore 和 In addition。
- 句子长度相近,句型都是同样的主谓宾结构。
- 从教科书、模板或短语库里背下来的短语。
- 从母语翻译过来之后,谨慎而偏直译的用词。
公平的测试应该是什么样
要判断检测器有没有偏见,办法是在非母语作者的人类写作上测试它,并统计误报。如果这一群体的误报率明显更高,那么无论总体准确率如何,这个检测器对他们就是不公平的。
我们有意把这个群体纳入校准。取自公开研究档案、由非英语母语作者撰写的人类学术文本,有 1.1% 被标为“很可能由 AI 撰写”;在我们两组留出的、共 583 篇人类学术文本上,总体比例分别为 1% 和 0.7%。差距很小,但这些数据来自已发表的研究论文,经过编辑和审阅,所以并不涵盖所有类型的学习者写作。
风险依然存在的地方
我们的数据描述的是专业水平作者的学术写作。对于仍在提升流利度的大一学生、极短的文本或非学术文体,它们并不保证同样的结果。不足 50 词时,我们的检测器完全不给出结论。仅支持英文的工具,对主要由其他语言写成的文本也可能给出奇怪的结果。
更一般地说,其他检测器的测试方式可能不同。如果某所院校依赖一款工具,要求对方拿出它对非母语写作者同样有效的证据,是合理的。
如果你用英语作为外语写作,实用建议
你不需要为了避免被标记而写得更差、更草率。你需要做的是把更多的自己放进文字里,这同时也会让文章更有分量。
- 加入只有你才知道的具体细节:你的数据、案例、阅读笔记或课堂讨论。
- 写出你自己的推理和立场,而不是笼统地概括。
- 让句子有变化。把简短直接的陈述和较长的句子搭配使用,不要重复同一个连接词。
- 使用课程里的术语,而不是从同义词词典里挑来的词。
- 对 AI 工具的整句改写要谨慎。轻微的修正没问题,但采纳整句改写会让你的文字变成机器写的。
读起来像 AIMoreover, the use of mobile phones has many advantages for students. Furthermore, it also has some disadvantages.
读起来像你Phones helped me most in the library, where I could photograph whiteboard notes. They hurt me in the dorm, where I checked messages every few minutes while studying.
用证据保护自己
如果分数被拿来对付你,写作过程的记录比一个数字更有分量。请保留版本历史、草稿、笔记和资料来源,并准备好口头解释你的论点,用简单的英语就可以。检测分数只是估计,不是证据,你可以礼貌地说明这一点,并要求按所在院校的流程复核。
你也可以先自己检查草稿。AITurnitin 无需注册,每次最多检测 1,000 词,并高亮读起来最像 AI 的句子,让你知道该在哪里补充细节。
常见问题
AI 检测器会歧视非英语母语者吗?
如果只用母语写作训练或测试过,就可能出现歧视,因为简单而规整的英语更容易被预测。某个检测器是否如此,取决于它是怎么测试的。我们的校准包含非母语作者,其中有 1.1% 被标为“很可能由 AI 撰写”。
写简单的英语会让我被标记吗?
单凭这一点不会。清晰、简单的英语是好的写作。真正增加风险的是空泛、节奏均匀、套路化的文字。具体的例子和你自己的推理,比词汇是否复杂重要得多。
我应该先用语法工具改一遍英语吗?
大多数课程允许对拼写和语法做轻微修正,但请确认你所在课程的规定。采纳 AI 工具的整句改写,会让你的文字读起来像机器写的,所以能自己改的错误尽量自己改。
如果我被指控使用了 AI,而英语不是我的母语,该怎么办?
保持冷静,询问对方的证据是什么,出示你的草稿和版本历史,并主动提出当面解释你的作业。说明检测器给出的只是估计,并要求按所在院校的正式流程处理。
我可以相信你们给出的非母语写作者数据吗?
它们来自一个真实、已发表的非母语作者学术论文测试集,我们也公开了这个比例。但这并不能证明不会有任何学习者被标记,所以请保留写作过程的记录,并把任何结果都当作估计。