AI判定ツールは英語が母語でない人に不利？誤判定の理由と対策

懸念をはっきり言うと

英語を第二言語として学んだ学生は、自分の文章がAIと間違われるのではないかと心配します。この心配はもっともです。判定ツールはテキストの予測しやすさを推定して動いており、第二言語での文章は、より慎重で、より規則的で、習ったお手本に近くなりがちです。

ネイティブの流暢な文章だけで学習した判定ツールは、その慎重さを機械らしさと受け取るかもしれません。実際にそうなるかどうかは、そのツールの作り方と、何でテストされたかによります。

やさしい英語が予測しやすく見える理由

まだ習得中の言語で書くときは、確実に知っている語を選び、練習した文型を多用し、リスクのある慣用句を避けます。これは良い執筆習慣です。ただ同時に、使う語や構造の幅も狭くなります。

言語モデルも、各ステップで最も予想されやすい語を選びます。そのため、狭くて規則的な語の使い方は、理由がまったく違っていても、統計的にはモデルの出力に似て見えることがあります。

• Moreover、Furthermore、In additionなど、よく使われる接続表現が段落ごとに繰り返される。
• 長さが似通っていて、主語・動詞・目的語の形が同じ文が続く。
• 教科書、テンプレート、例文集から覚えたフレーズを使っている。
• 母語から訳すときの、慎重で直訳的な語の選び方。

公平なテストとは

判定ツールに偏りがあるかを調べるには、非ネイティブ著者が書いた人間の文章でテストして、誤検出を数えます。そのグループで誤検出率がはるかに高いなら、全体の精度にかかわらず、そのツールはそのグループに不公平です。

当サイトは、このグループを意図的に較正に含めています。公開されている研究論文アーカイブから取った、非ネイティブ英語著者による人間の学術テキストは、1.1%が「AIが書いた可能性が高い」と判定されました。人間の学術テキスト583件全体での、保留した2つのセットの誤検出率は1%と0.7%でした。差は小さいのですが、これは編集と査読を経た公刊論文に基づくものであり、あらゆる種類の学習者の文章を網羅しているわけではありません。

それでもリスクが残る場面

当サイトの数字は、専門的な水準で書く著者による学術論文についてのものです。流暢さをまだ身につけている途中の1年生、とても短いテキスト、学術以外のジャンルで同じ結果になるとは限りません。50語未満では、当サイトの判定ツールはそもそも判定を出しません。英語専用のツールは、大部分が別の言語のテキストでは奇妙な結果を出すこともあります。

より一般的には、ほかの判定ツールは別の方法でテストされている可能性があります。所属機関があるツールに頼っているなら、非ネイティブの書き手に有効だという根拠があるのか尋ねるのは正当なことです。

英語を第二言語として書く人への実践的なアドバイス

判定されないために、わざと下手に、あるいは雑に書く必要はありません。必要なのは、文章にもっと自分自身を込めることです。それは、より良いレポートにもつながります。

• 自分だけが知っている具体的な内容を加えます。自分のデータ、事例、読書メモ、授業での議論などです。
• 一般的にまとめるのではなく、自分の考えと立場を述べます。
• 文に変化をつけます。短くて率直な文と長めの文を混ぜ、同じ接続表現を繰り返さないようにします。
• 類語辞典から選んだ類義語ではなく、授業で使われている用語を使います。
• AIツールによる文全体の書き換えには注意しましょう。軽い修正なら問題ありませんが、書き換えを受け入れた箇所は機械が書いた文になります。

証拠で自分を守る

万一スコアが自分に不利に使われたとき、数字より重みを持つのは過程の記録です。編集履歴、下書き、メモ、出典を残し、自分の主張を口頭で説明できるようにしておきましょう。そのほうが楽なら、やさしい英語で構いません。判定ツールのスコアは推定であり証拠ではありません。そのことを丁寧に伝え、所属機関の手続きに沿った再審査を求めることができます。

先に自分で下書きをチェックすることもできます。AITurnitinは、アカウントなしで1回1,000語まで判定でき、最もAIらしく読める文をハイライトするので、どこに具体的な内容を足せばよいかがわかります。

よくある質問