AI判定ツールの精度は？誤検出と見逃しの実態をわかりやすく解説
結論
AI判定ツールには2種類の誤りがあります。人間の文章をAIと判定する誤検出と、AIのテキストを見逃すことです。しきい値の位置によって一方がもう一方とトレードオフになるため、精度を示す数字が1つだけでは、ほとんど何も言えません。当サイトが公開しているテストでは、2026年のAIが書いた無編集のテキストの96.9%が「AIが書いた可能性が高い」と判定され、人間の学術テキストでは1%でした。短いテキスト、新しいモデル、書き換えられたテキストでは結果が弱くなります。
ポイント
- 確認すべき誤りは2つあります。人間の文章に対する誤検出と、AIのテキストの見逃しです。1つの精度の数字では、両方が隠れてしまいます。
- トレードオフを決めるのはしきい値です。しきい値を厳しくすると、誠実な書き手を守れますが、AIのテキストの見逃しが増えます。
- 当サイトの判定ツールは、人間の学術テキストでの誤検出を低く保つよう較正しています。保留した2つのセットで1%と0.7%です。
- 判定は、短いテキスト、書き換えられたりヒューマナイズされたりしたテキスト、最新のモデル、学術以外のジャンルで弱くなります。
- 完璧な判定ツールはありません。スコアは推定として扱い、結論を出す前にほかの証拠も探してください。
2種類の誤り
判定ツールがどのくらい正確かと尋ねるとき、多くの人は1つの数字を思い浮かべます。しかし、判定ツールには2通りの失敗があり、それぞれ影響を受ける人が違います。
誤検出は、人間の文章をAIと判定することです。誠実に書いた課題で疑いをかけられるおそれがあるので、学生にとって痛手になります。見逃しは、AIのテキストを人間のものと判定することです。提出物をAIが書いたかを知りたい教員にとって問題です。「99%正確」という主張は、そのうちどちらを、どんな種類のテキストで測ったのかがわからなければ、何も教えてくれません。
しきい値は一方の誤りと他方の誤りのトレードオフ
判定ツールはスコアを出し、しきい値がそのスコアをラベルに変えます。しきい値を上げると、判定される人間のテキストは減りますが、すり抜けるAIのテキストが増えます。下げればその逆になります。両方の誤りをなくせる設定はありません。
誤って疑うことの代償は大きいので、当サイトは人間の学術文章での誤検出を低く保つようにしきい値を設定しています。判定は「人間が書いた可能性が高い」「どちらとも言えない」「AIが書いた可能性が高い」の3段階で、「どちらとも言えない」の範囲は、ぎりぎりのテキストを無理に断定的なラベルに押し込まないために設けています。
当サイトが公開している数字が示すこと
当サイトは、人間の学術テキスト583件で較正とテストを行い、結果をグループ別に公開しています。これは特定のテストセットでの当サイトの判定ツールの測定結果であり、あらゆるテキストについての約束ではありません。
人間の文章で「AIが書いた可能性が高い」と判定された割合は、保留した2つのセットで1%と0.7%でした。グループ別では、学生のエッセイが1%、プレプリントの要旨が0.5%、非ネイティブ英語著者の論文が1.1%、2022年より前に書かれた百科事典のテキストが2.6%でした。AIのテキストでは、2026年のAIが書いた無編集のテキストの96.9%、公開ベンチマークでは96.5%が「AIが書いた可能性が高い」と判定されました。
精度が下がる場面
どの判定ツールにも、信頼性が下がる条件があります。それを隠すより、一覧にして示すほうが誠実です。
- 短いテキスト：数文では証拠が少なすぎます。当サイトの判定ツールは50語未満では判定を出しません。
- 新しいモデル：判定ツールは以前の出力で学習しているため、新しいシステムは、判定ツールが更新されるまで見分けにくいことがあります。
- 書き換えられたAIテキスト：公開ベンチマークでは、言い換えられたAIテキストも84%が「AIが書いた可能性が高い」と判定されましたが、別のAIモデルで言い換えると50.5%、ヒューマナイザーツールを通すと59.5%でした。書き換えられると、判定は弱くなります。
- 学術以外のジャンル：広告やプレスリリースなど、人間が書いた一般的なウェブ文章では、判定ツールが学術文章向けに較正されているため、32.7%が「AIが書いた可能性が高い」と判定されました。
- ほかの言語：当サイトの判定ツールは英語専用です。
誤検出は、まれな異常事態ではない
約100件に1件という割合は小さく聞こえますが、数千件の提出物があれば、実際の学生が判定されることを意味します。だからこそ、判定ツールの結果は、会話の終わりではなく始まりにすべきであり、判定された学生には、下書きを見せて自分の課題を説明する機会が与えられるべきです。
逆もまた真です。問題なしという結果は、AIが使われていないことの証明にはなりません。書き換えたり軽く編集したりしたAIテキストは、スコアが低くなることがあるからです。
判定ツールを賢く使うには
うまく使えば、判定ツールはスクリーニングのためのツールです。もう一度見直す価値のある箇所を示してくれるので、書き手は書き直し、教員は話し合うことができます。
見出しの数字だけでなく、文単位のハイライトを見ましょう。テキストの長さとジャンルも確認します。書き手のほかの作品と比べ、執筆の過程について尋ねます。無料で試すこともできます。AITurnitinは、アカウントなしで1,000語までチェックでき、テキストは24時間以内に削除されます。
よくある質問
AI判定ツールの精度は、どのくらいあれば良いと言えますか？
2つの数字を確認してください。人間の文章をどのくらいの頻度で判定するか、AIのテキストをどのくらいの頻度で捉えるかを、現実的なテストセットで測ったものです。当サイトでは、人間の学術テキストの1%、2026年のAIが書いた無編集のテキストの96.9%が、「AIが書いた可能性が高い」と判定されます。
AI判定ツールは、人間の文章を誤ることがありますか？
はい。どの判定ツールにも誤検出はあり、型にはまった文章、ごく短いサンプル、判定ツールの学習範囲外のジャンルでは起こりやすくなります。だからこそ、スコアを証拠として扱ってはいけません。
言い換えられたりヒューマナイズされたりしたテキストも検出できますか？
部分的にできます。当サイトのテストでは、公開ベンチマークで言い換えられたAIテキストの84%、別のAIモデルで言い換えたものの50.5%、ヒューマナイザーツールを通したものの59.5%が、それでも「AIが書いた可能性が高い」と判定されました。検出は弱くなりますがゼロにはならず、これらのツールは意味や引用を壊すおそれもあります。
AIが進化するにつれて、判定ツールは良くなっていますか、悪くなっていますか？
両方の圧力があります。モデルが変わるため、判定ツールは定期的な更新と、新しい出力でのテストが必要です。永久に正確だという主張には、慎重になるべきです。
同じテキストでも、判定ツールによって結果が違うのはなぜですか？
学習データ、スコアの付け方、しきい値が違うため、あるツールのスコアをほかのツールと比べることはできません。生のパーセンテージではなく、判定とハイライトされた文を比べましょう。