AI スコアとは、ある文章が AI によって生成された可能性を検出ツールが推定したもので、通常はパーセンテージや「人が書いた可能性が高い」「AI の可能性が高い」といったラベルで表示されます。これは文章のパターンに基づく確率であり、チャットボットが書いた単語の数を測ったものでも、何かの証拠でもありません。下書きや状況と合わせて、詳しく見るための出発点として読みましょう。
数字が実際に表しているもの
AI 検出ツールは分類器です。人が書いた文章と機械が生成した文章を大量に学習し、両者の統計的な違いを覚えています。文書を貼り付けると、検出ツールはそのパターンを学習内容と比較し、確信度を出力します。
ツールによって、大きく表示される数字の意味は異なります。
| 表示 | 通常の意味 |
|---|---|
| 「82% AI」 | 多くの場合、文章が AI の出力に似ているという確信度の推定。フラグが付いた文章の割合を指すツールもある |
| 「18% 人間」 | 同じ推定を逆の側から表したもの |
| 「34% の文にフラグ」 | 約3分の1の文が、それぞれ AI らしく見えた |
| 「AI の可能性が高い／混在／人の可能性が高い」 | スコアを決められたしきい値で区分に変換したもの |
| ハイライトされた文 | 全体の結果のもとになる文単位の推定 |
最もよくある誤解は、「82% AI」を「この文章の82%は AI が書いた」と読んでしまうことです。多くのツールでは、そういう意味ではありません。確実に知りたいときは、ツールのドキュメントやヘルプを確認してください。
スコアを左右する要素
検出ツールは、次のようなシグナルに頼っています。
- 予測しやすさ。 言語モデルは、次に来る可能性が高い単語を選びがちです。どの単語も「予想どおり」の文章はスコアが高くなりやすくなります。
- ばらつき。 人の文章は文の長さ、構造、リズムがより変化しがちです。ただし、とても均一に書く人もたくさんいます。
- フレーズのパターン。 一部のつなぎ言葉や決まり文句は、AI の出力によく現れます。
- 文章全体の一貫性。 途中で急に文体が変わると、文単位の結果に影響することがあります。
どのシグナルも AI だけに特有のものではないため、スコアはどちらの方向にも間違うことがあります。コンテンツの種類ごとの影響については種類別の AI 検出で解説しています。
AI スコアからわからないこと
スコアは次のことを教えてくれません。
- 誰が書いたのか。 パターンへの類似度を推定しているだけです。
- ルール違反があったかどうか。 ブレインストーミングや文法の提案など、ある程度の AI の利用を認めている授業も多くあります。
- 内容が正確かどうか。 人の文章も AI の文章も間違うことがあります。
- 盗用かどうか。 情報源からのコピーは別の問題で、盗用チェッカーが扱います。
- どのように書かれたのか。 編集ツールで磨いた人の下書きと、人が大幅に手を入れた AI の下書きが、同じようなスコアになることもあります。
ツールによってスコアが違う理由
同じ段落を3つの検出ツールに貼り付けると、3つの異なる数字が出るかもしれません。それは想定どおりのことです。ツールごとに、学習データ、モデルの設計、「AI の可能性が高い」などのラベルのしきい値が違うからです。
同じツールでも、段落を追加したり削除したりするとスコアが変わることがあります。文章が長いほどモデルが判断に使える材料が増えるためです。結果が重要な場合は、大きく表示される数字にこだわるより、文単位のハイライトを見ましょう。
結果を読む手順
- 長さを確認する。 数文しかない場合、スコアは信頼できないものとして扱います。
- ラベルと説明を読む。 その数字が可能性なのか、文の割合なのかを確認します。
- ハイライトを見る。 どの文が結果を左右したのか。定義、箇条書き、定型文、引用ではないか。
- ジャンルを考える。 技術レポート、テンプレートに沿った課題、改まったメールは、もともと予測しやすく読めます。
- わかっていることと照らし合わせる。 書き手に下書きはあるか。文体はほかの作品と一致しているか。
- 取るべき行動があるかを決める。 自分の下書きなら、ありきたりな箇所の修正かもしれません。他人の作品なら、話し合いかもしれません。
自分の文章をチェックする場合
自分の下書きを検出ツールにかけるのは、正しく使えば役に立ちます。
良い使い方：
- ありきたりな段落や水増しされた段落を見つけて、具体例や自分の考えを加える
- 授業で自分の言葉での執筆が求められている場合に、AI を使ったブレインストーミングが最終的な表現に紛れ込んでいないか確認する
- レビューする人に自分の文章がどう見えるかを理解し、話し合いに備える
避けたい使い方：
- 数字を下げるために何度も書き直すこと。文章が良くなることはまれで、本当の執筆過程を示す力を損なうおそれもあります。
- スコアが低いことを、授業の方針に反する作品を提出してよい理由とみなすこと。大事なのは方針であって、数字ではありません。
自分で書いた文章のスコアが高く出た場合は、AI 検出の誤検出のガイドで次にすべきことを確認してください。
ヒント
他人の作品をレビューする場合
教員、編集者、管理職にとって、スコアに基づく判断を公平に保つための原則がいくつかあります。
- スコアだけで行動しない。 下書き、バージョン履歴、過去の作品、話し合いと組み合わせましょう。
- ツールの限界を知る。 精度、誤検出、最低文字数についてプロバイダーが何と言っているかを読みましょう。
- 誤検出のリスクが高いグループに注意する。 第二言語で書く人や、厳格なテンプレートに沿って書く学生などです。
- 透明性を保つ。 授業や組織で検出ツールを使っているなら、そのことと結果の扱い方を説明しましょう。
- 学びに焦点を当てる。 教育の目的は、学生をつかまえることではなく、学生が自分で考えたかどうかを理解することです。
同じスコアでも意味が違う2つの例
スコアは文脈の中でしか意味を持ちません。どちらもほぼ同じ高い AI の可能性という結果が出た2つの文書を考えてみましょう。
文書Aは1,200語の論証型エッセイです。ハイライトはほとんどの段落に散らばっており、個人的な例がなく、すべての段落が同じ構成で、学生には以前の下書きがありません。このスコアは、エッセイがどう書かれたかについて話し合うきっかけとして妥当です。
文書Bは150語の実験手順書です。学科のテンプレートに1行ずつ従い、標準的な用語と受動態を使っており、学生の実験ノートからは授業中に作業したことがわかります。この場合、スコアは主にジャンルを反映しているだけです。レビューする人にはほとんど何も教えてくれません。
数字は同じでも、意味はまったく違います。だからこそ、経験豊富なレビュー担当者はページ上部のパーセンテージよりも、ハイライト、ジャンル、書き手の執筆過程に時間をかけるのです。
文章が変わればスコアも変わる
スコアが文章に固定された性質ではないことも知っておくと役立ちます。個人的な振り返りの段落を加える、ブロック引用を削除する、文書をセクションに分けるといったことで、結果が動くことがあります。これは悪用すべき欠陥ではありません。スコアは特定のモデルが、特定の時点で、特定の入力を測ったものにすぎない、ということを思い出させてくれるものです。ほかの単一の測定値と同じように慎重に扱いましょう。
よくあるスコア帯と妥当な対応
検出ツールによって異なるため、ルールではなく一般的な目安として扱ってください。
| 結果 | 妥当な対応 |
|---|---|
| AI の可能性が低い | スコアに基づく対応は不要。内容の質はいつもどおり確認する |
| 混在または中程度 | ハイライトされた文を確認する。定型的な箇所や引用であることが多い |
| 長い文章で AI の可能性が高い | 結論を出す前に、執筆過程の証拠を確認し、書き手と話す |
| 短い文章で AI の可能性が高い | 判断できないものとして扱う。文章量が足りない |
まとめ
- AI スコアは文章が AI の文章にどれだけ似ているかの推定値で、AI が書いた語数でも証拠でもありません。
- ツールや文章の長さによってスコアは変わるため、文のハイライトと文脈を見ましょう。
- 短い文章、定型的な文章、第二言語での文章は、誤解を招くスコアが出やすくなります。
- スコアは自分の文章を良くするため、あるいは公平な話し合いを始めるために使い、判断の唯一の根拠にはしないでください。
