ZeroTell の AI 検出ツールはどれくらい正確ですか？

ZeroTell の AI 検出ツールは、文章の一文一文を独自のスコアリング指示とともに Google の Gemini 3.8 Flash モデルに送ります。スコアが 50% 以上の文は AI らしい文としてハイライトされ、文書のスコアは、ハイライトされた文が文章全体に占める割合です。2026年10月28日 に、サイトで実際に使っているのとまったく同じモデルと設定を用い、ラベル付きの 3 つのテストセットで測定しました。以下の数値はすべて、テストスクリプトが出力した評価レポートからそのまま引用しています。引用するのは、文書または文が 200 件以上あるグループのみです。

特に重要な結果は 2 つです。人間の文章が AI と判定されることはまれで、ホールドアウトセットの人間の文書では 0.6%、英語を母語としない学生が書いたエッセイでは 0.9% でした。しかし、別のモデルで言い換えられた AI 文章は、自社のデータでははるかに多く見逃されており、そうした文書のうちホールドアウトセットで検出できたのはわずか 71.1% でした。公開ベンチマークの MAGE では、同じ種類の文章がはるかに高い割合で検出されており（96.9%）、結果は文章によって大きく変わります。

ホールドアウトテストセット（文書 1,827 件、23,635 文）：自社でラベル付けしたデータのうち、検出ツールの開発には一切使わない一定の割合を取り分けたものです。文書は出典グループ単位で割り当てているため、開発用データの元のテキストも、その AI による書き換え版も、ここには含まれません。人間の文章は公開済みの出典から集めたもので、その多くは AI 文章作成ツールが普及する前に書かれています（ニュース、百科事典や Web の記事、質問への人間による回答）。AI の文章には、未編集のモデル出力、2 つ目のモデルで言い換えたテキスト、ヒューマナイズした下書き、混在した文書が含まれ、10 言語にわたります。このセットの AI 文書の大半は Gemini と GPT のモデルが書いたものです。

学生のエッセイ（文書 555 件）：ELLIPSE コーパスに収録された、英語を母語としない学生のエッセイに、同じ課題で AI が書いたエッセイと、それをさらに言い換えたりヒューマナイズしたりした AI エッセイを組み合わせたものです。このセットは評価専用で、検出ツールの開発には一切使っていません。

MAGE ベンチマーク（文書 1,600 件）：機械生成テキストを対象とした公開の研究用ベンチマークで、検出ツールの開発には使っていません。自社のデータに含まれないモデルファミリーによる AI 文章や、言い換えられた AI 文章が多く含まれています。このベンチマークは公開されているため、基盤となる Gemini モデルが自身の学習の過程でその一部を目にしている可能性があります。そのため、この結果は楽観的なケースとして読んでください。

これらはあくまで当社のテストセットでの結果であり、特定の文章について何かを保証するものではありません。短い文章、大幅に編集された下書き、言い換えられた AI 文章、テストしていないモデルによる文章は、いずれもスコアが異なる可能性があります。

偽陽性率が低くても、ゼロではありません。AI と判定された場合は、スコアを証拠ではなく、詳しく確認するきっかけとして扱ってください。どうすればよいかは学術的誠実性のページをご覧ください。

これらの数値は、1 つのモデルと、そのモデルへのテキストの送り方の 1 つのバージョンに結びついています。どちらかを変更したときは、評価をやり直してこのレポートを差し替えます。

評価スクリプトがすべてのテスト文書をサイトと同じ検出ツールに通し、各文書・各文のスコアを既知のラベルと比較します。結果は 2 つのしきい値（サイトで使っている 50% と、比較用の 70%）で言語・ジャンル・出典ごとに報告され、項目数が 200 未満のグループは引用するには小さすぎるとしてマークされます。このページでは、それより大きいグループのみを掲載しています。Google のコンテンツフィルターが処理を拒否した文書はスコアがないため、数値から除外しています。その数はホールドアウトセットで 1 件、学生のエッセイで 0 件、MAGE で 1 件です。それ以外の文書にはすべてスコアを付けました。