AI 检测器准确吗？误报率、漏检与数据解读
简短回答
AI 检测器会犯两种错：把人写的文字标为 AI（误报），以及漏掉 AI 文本（漏检）。阈值的位置决定了两者的取舍，所以单一的准确率数字说明不了什么。在我们公布的测试中，未经编辑的 2026 年 AI 文本有 96.9% 被标为“很可能由 AI 撰写”，而人类学术文本的这一比例为 1%；对于短文本、新模型和被改写过的文本，结果会变弱。
要点
- 要问清楚两种错误：对人类写作的误报，和对 AI 文本的漏检。一个准确率数字会把两者都藏起来。
- 阈值决定取舍。更严格的阈值保护诚实的写作者，但会漏掉更多 AI 文本。
- 我们的检测器经过校准，使人类学术文本上的误报保持在低位：两组留出数据上分别为 1% 和 0.7%。
- 检测在短文本、被改写或“人性化”处理过的文本、最新的模型，以及学术写作以外的文体上较弱。
- 没有哪个检测器是完美的。把分数当作估计，在下结论之前先找其他证据。
两种错误
人们问检测器有多准时，通常指的是一个数字。但检测器可能以两种不同的方式出错，而这两种错对不同的人影响不同。
误报是把人写的文字标为 AI。这会伤害学生，他们可能因为自己诚实完成的作业而面临指控。漏检是把 AI 文本标为人写的。这对想知道提交的作业是否由 AI 完成的老师有影响。如果不知道所说的“准确率 99%”衡量的是哪一种错误、测试的是哪类文本，这样的说法就什么也说明不了。
阈值是在两种错误之间取舍
检测器会给出一个分数，阈值把分数转换为标签。把阈值调高，被标记的人类文本变少，但更多的 AI 文本会漏过去；调低则相反。没有哪种设置能同时消除两种错误。
因为冤枉他人的代价很高，我们把阈值设在使人类学术写作上的误报保持在低位。这套量表有三种结论：很可能由人撰写、不确定、很可能由 AI 撰写，“不确定”区间的存在，就是为了避免把处于边界的文字强行归入一个确定的标签。
我们公布的数据说明了什么
我们在 583 篇人类学术文本上进行了校准和测试，并按组别报告结果。这些是我们的检测器在特定测试集上的测量结果，并不是对每一篇文字的保证。
在人类写作上，被标为“很可能由 AI 撰写”的比例在两组留出数据上分别为 1% 和 0.7%。按组别看，学生论文为 1%，预印本摘要为 0.5%，非英语母语作者的论文为 1.1%，2022 年之前撰写的百科文本为 2.6%。在 AI 文本上，未经编辑的 2026 年 AI 文本有 96.9% 被标为“很可能由 AI 撰写”，在一个公开基准上为 96.5%。
准确度在哪些情况下会下降
每个检测器都有可靠性较低的情形，把它们列出来比藏起来更诚实。
- 短文本：几句话里的证据太少。我们的检测器在不足 50 词时不给出结论。
- 较新的模型：检测器是用早期的输出训练的，所以新系统在检测器更新之前可能更难识别。
- 被改写的 AI 文本：在一个公开基准上，经改写的 AI 文本仍有 84% 被标为“很可能由 AI 撰写”，但被另一款 AI 模型改写后只有 50.5%，经“人性化”工具处理后为 59.5%。文本一旦被改写，检测就会变弱。
- 学术写作以外的文体：在广告和新闻稿这类人类撰写的一般网页文本上，有 32.7% 被标为“很可能由 AI 撰写”，因为检测器是针对学术写作校准的。
- 其他语言：我们的检测器只支持英文。
为什么误报不是罕见的偶然事件
约百分之一的比例听起来很小，但放到成千上万份提交的作业里，就意味着确实会有学生被标记。这正是检测结果应当引发一次沟通、而不是结束一次沟通的原因，也是被标记的学生应该有机会出示草稿、解释自己作业的原因。
反过来也成立。结果干净并不能证明没有使用 AI，因为被改写或略作编辑的 AI 文本，得分可能更低。
如何合理使用检测器
用得好的话，检测器是一种筛查工具。它指出值得再看一眼的段落，写作者可以据此修改，老师也可以据此交流。
请看逐句高亮，而不是只看总的数字。留意文本的长度和文体。与写作者的其他作业对照，并询问他们的写作过程。你可以免费试一试：AITurnitin 无需注册即可检测最多 1,000 词，文本会在 24 小时内删除。
常见问题
AI 检测器的准确率多高才算好？
两个数字都要问：它把人类写作标记的频率有多高，以及它识别出 AI 文本的频率有多高，并且是在贴近真实的测试集上测量的。我们的检测器把人类学术文本的 1% 和未经编辑的 2026 年 AI 文本的 96.9% 标为“很可能由 AI 撰写”。
AI 检测器会判错人写的文字吗？
会。每个检测器都有一些误报，在套路化的文字、极短的样本和检测器训练范围之外的文体上更容易出现。所以分数永远不应被当作证据。
检测器能识别被改写或“人性化”处理过的文本吗？
部分可以。在我们的测试中，在一个公开基准上被改写的 AI 文本仍有 84% 被标为“很可能由 AI 撰写”，被另一款 AI 模型改写后为 50.5%，经“人性化”工具处理后为 59.5%。检测会变弱，但不会降为零，而且这类工具可能损害原意和引用。
随着 AI 的进步，检测器是变好了还是变差了？
两种压力同时存在。模型在变化，所以检测器需要定期更新，并用新的输出做测试。任何声称永远准确的说法都应当谨慎对待。
为什么不同的检测器对同一段文字给出不同的结果？
它们使用不同的训练数据、评分方法和阈值，所以一个工具的分数无法与另一个直接比较。请比较结论和被高亮的句子，而不是原始的百分比。