判定の精度は？
判定ツールをどのように評価したか、そしてどこで誤るかを公開しています。結果を頼りにする前にお読みください。
モデル
オープンソースのdesklib AIテキスト判定モデル（DeBERTa-v3-large、MITライセンス）を自社サーバーで実行しています。テキストはウィンドウに分割され、文書スコアはトークン数で重み付けした平均、文のスコアは重なり合うウィンドウから算出します。
実際の学術文章での較正
しきい値は、人間が書いた学術テキスト583件（arXivの要旨、非ネイティブ著者によるPubMed Centralの論文、学生のエッセイ）を用いて設定しました。「AIが書いた可能性が高い」は、これらの人間のテキストのうち約1%が超える水準に設定し、「判断不能」は1%から5%の間の範囲に当たります。
保留した人間のテキストでの誤検出
2分割の検証で、保留した人間の学術テキストのうち「AIが書いた可能性が高い」と判定された割合は、1%と0.7%でした。
テキストグループ別の結果
| グループ | テキスト数 | 「AIが書いた可能性が高い」と判定 | 「AIが書いた可能性が高い」または「判断不能」と判定 |
|---|---|---|---|
| 人間：arXivの要旨 | 200 | 0.5% | 3.5% |
| 人間：PubMed Central、非ネイティブ著者 | 183 | 1.1% | 6% |
| 人間：学生のエッセイ | 200 | 1% | 5.5% |
| 人間：Wikipedia（2022年以前） | 155 | 2.6% | 8.4% |
| 人間：一般的なウェブ文章 | 150 | 32.7% | 36.7% |
| AI：2026年のモデル、無編集 | 195 | 96.9% | 99% |
| AI：RAIDベンチマーク、無編集 | 200 | 96.5% | 99% |
| AI：RAIDベンチマーク、言い換えあり | 200 | 84% | 92% |
| AI：「ヒューマナイザー」ツールで書き換え | 200 | 59.5% | 74.5% |
acad583-2026-10-22
既知の限界
- 最新モデルが書いたテキスト、特に人間らしく書くよう指示されたものは、見逃されることがよくあります。
- 言い換えや「ヒューマナイザー」ツールを使うと、スコアは大きく下がります。
- 短いテキストは信頼できません。50語未満では結果を表示しません。
- 大幅に編集された文章、定型的な文章、翻訳された人間の文章は、AIと判定されることがあります。
- しきい値は学術的な文章で調整しています。一般的なウェブ文章では、人間が書いたサンプルの32.7%が「AIが書いた可能性が高い」と判定されました。
結果は推定であり、不正行為の証拠ではありません。非難の唯一の根拠として使わないでください。