AI判定ツールの仕組みをやさしく解説：なぜ確率でしか出せないのか

基本の考え方：例から学ぶ

AIのテキストがどう見えるかについて、規則のリストを書いた人はいません。その代わりに、開発者は人間が書いたと確認できるテキストの大きなセットと、AIモデルが書いたと確認できる別のセットを集めます。分類器と呼ばれる機械学習モデルは、2つのセットを分けるパターンを見つけることで、両者を見分けられるように学習します。

学習後、分類器は新しいテキストを受け取り、AIの例と人間の例のどちらにどのくらい似ているかを数値で返します。当サイトの判定ツールは、自社サーバーで動くオープンソースのモデルで、英語にのみ対応しています。

予測しやすさが中心的な手がかりである理由

言語モデルは、直前の内容を踏まえて、次に来そうな語を繰り返し選ぶことで文章を書きます。人間の選び方はもっと予測しにくいものです。文の途中で考えを変えたり、珍しい語を使ったり、脱線したり、強調のためにリズムを崩したりします。

その結果、機械のテキストは、語彙も文の長さもよりなめらかで均一になり、内容もより一般的になりがちです。判定ツールはこれを捉えています。また、非常に慎重で型にはまった人間の文章が機械の文章に似てしまうのも、このためです。

ウィンドウ、文、スコア

長いテキストは、ひとかたまりでスコア化されるわけではありません。判定ツールは、テキストの一定の範囲であるウィンドウと、個々の文を見て、結果を組み合わせます。これにより文単位のハイライトが可能になり、テキストのどの部分が全体の結果を押し上げているのかがわかります。

ハイライトは、書き直しに役立ちます。高い結果は、たいていエッセイ全体ではなく、少数のありきたりな箇所から出ているからです。それでも推定であることに変わりありません。ハイライトされた文は、統計的にAIの語の使い方に似て見える文であって、機械が書いたと証明された文ではありません。

• 50語未満では証拠が少なすぎるため、当サイトの判定ツールは判定を出しません。
• 長いテキストのほうが、平均する対象が多いので、結果が安定します。
• 一部は人間、一部はAIという混在したテキストでは、ハイライトが出る場所と出ない場所ができることがあります。

しきい値と較正

生のスコアはラベルに変換される必要があり、その役目を担うのがしきい値です。しきい値が低いと、より多くのテキストが判定され、AIをより多く捉える代わりに、人間の文章も多く判定されます。しきい値が高いと、判定されるテキストが減り、誠実な書き手には優しい一方、AIのテキストの見逃しが増えます。

較正は、測定結果からしきい値を選ぶ作業です。当サイトは、人間の学術テキスト583件を使って、誤検出がまれになるように設定しています。保留した2つのセットで、人間の学術テキストのうち「AIが書いた可能性が高い」と判定されたのは1%と0.7%でした。「人間が書いた可能性が高い」と「AIが書いた可能性が高い」の間には、ぎりぎりの結果のための「どちらとも言えない」の範囲があります。

答えが常に確率になる理由

判定ツールは、執筆の過程を見ることはありません。見るのは完成した語だけで、人間のテキストと機械のテキストには重なる部分があります。非常に機械的な書き方をする人もいれば、人間らしく見えるまで編集されたAIのテキストもあります。重なり合うパターンに基づくものは、可能性しか示せません。

だからこそ、結果だけを根拠に誰かを疑ってはいけません。結果は1つのシグナルであり、下書き、編集履歴、書き手のほかの作品、実際の対話と合わせて読むべきものです。

判定ツールに見えるもの、見えないもの

判定ツールは、学習した種類のモデルが出力した無編集のテキストを見つけるのが得意です。当サイトのテストでは、2026年のAIが書いた無編集のテキストの96.9%が「AIが書いた可能性が高い」と判定されました。書き換えられたテキストには弱く、別のAIモデルで言い換えたあとでも50.5%、ヒューマナイザーツールを通したあとでも59.5%が判定されます。非常に短いテキストや、広告文のように学習範囲外のジャンルにはさらに弱く、人間が書いた一般的なウェブ文章では32.7%が「AIが書いた可能性が高い」と判定されました。

これらは実際に試して確認できます。AITurnitinは、アカウントなしで1,000語まで無料でチェックでき、文単位のハイライトを表示し、テキストは24時間以内に削除して、学習には使いません。

よくある質問