ZeroTell AI 检测器有多准确？
在我们包含 10 种语言、共 1,826 篇文档的留出测试集上，检测器在 671 篇人类撰写的文档中将 4 篇标记为 AI（0.6%），并识别出 90.6% 的 AI 撰写文档。对于经其他模型改写的文本，它的表现要差得多；而且任何分数都不能证明文本出自谁手。
简短回答
ZeroTell 的 AI 检测器会把文本中的每个句子连同我们自己编写的评分指令一起发送给 Google 的 Gemini 3.8 Flash 模型。得分达到 50% 或以上的句子会被高亮为像 AI 的句子，文档的分数则是高亮句子在全文中所占的比例。我们于 2026年10月28日 使用网站实际采用的同一模型和设置，在三个带标注的测试集上进行了测量。下面的每个数字都直接来自我们测试脚本生成的评估报告；我们只引用至少包含 200 篇文档或 200 个句子的分组。
最重要的结果有两个。人类写作很少被标记：留出测试集中人类文档被标记的比例为 0.6%，英语非母语学生所写论文为 0.9%。但在我们自己的数据中，经其他模型改写的 AI 文本被漏检的情况要多得多：在留出测试集中，这类文档只有 71.1% 被识别出来。在公开的 MAGE 基准上，同类文本的检出率要高得多（96.9%），因此结果在很大程度上取决于文本本身。
各测试集结果（文档级）
文档得分达到 50% 或以上，即至少一半文本位于高亮句子中，就视为 AI 撰写。人机混写的测试文档在至少一半文本由 AI 撰写时视为 AI 撰写。误报率 = 人类文档被误判为 AI 的比例。检出率 = AI 文档被正确标记的比例。AUROC（0.5 = 随机猜测，1.0 = 完全区分）不取决于阈值。
| 测试集 | 文档数 | 被标记为 AI 的人类文档 | 检出的 AI 文档 | AUROC |
|---|---|---|---|---|
| 留出测试集（10 种语言） | 1,826 | 0.6%（671 篇中的 4 篇） | 90.6% | 0.954 |
| 学生论文（英语非母语写作者） | 555 | 0.9%（222 篇中的 2 篇） | 98.2% | 0.992 |
| MAGE 公开基准（分布外） | 1,599 | 0.3%（399 篇中的 1 篇） | 96.6% | 0.990 |
哪类 AI 文本会被漏检
50% 阈值下的检出率，按 AI 文本的生成方式划分。少于 200 篇文档的分组未列出。
| 测试集 | 未经编辑的 AI 文本 | 经其他模型改写的 AI 文本 |
|---|---|---|
| 留出测试集 | 97.3% | 71.1% |
| MAGE 公开基准 | 96% | 96.9% |
各语言的句子级结果
句子得分达到 50% 或以上时，检测器会将其高亮。数据来自留出测试集；下列每种语言都至少有 200 个句子。
| 语言 | 句子数 | 被高亮的人类句子 | 被高亮的 AI 句子 | AUROC |
|---|---|---|---|---|
| 英语 | 8,485 | 0.6% | 91.1% | 0.986 |
| 中文 | 5,762 | 0.1% | 92.3% | 0.980 |
| 日语 | 1,588 | 1.6% | 97.7% | 0.996 |
| 韩语 | 877 | 0% | 87.4% | 0.987 |
| 西班牙语 | 1,166 | 0% | 96.2% | 0.984 |
| 德语 | 1,109 | 1.5% | 73.5% | 0.901 |
| 意大利语 | 1,038 | 0% | 99.1% | 1.000 |
| 葡萄牙语 | 980 | 0% | 91.4% | 0.993 |
| 马来语 | 1,205 | 0% | 81.6% | 0.982 |
| 土耳其语 | 1,413 | 1.6% | 88.6% | 0.986 |
三个测试集
留出测试集（1,827 篇文档，23,635 个句子）：从我们自有标注数据中固定划出的一部分，从不用于开发检测器。文档按来源分组划分，因此我们开发数据中的任何源文本及其 AI 改写版本都不会出现在这里。人类文本来自已发表的来源，其中大多写于 AI 写作工具普及之前（新闻、百科和网络文章，以及人类对问题的回答）；AI 文本包括未经编辑的模型输出、经第二个模型改写的文本、经过人性化处理的草稿以及混合文档，涵盖 10 种语言。该测试集中的大多数 AI 文档由 Gemini 和 GPT 模型撰写。
学生论文（555 篇文档）：来自 ELLIPSE 语料库、英语非母语学生撰写的论文，搭配由 AI 按相同题目撰写的论文，以及随后经过改写或人性化处理的 AI 论文。该测试集仅用于评估，从不用于开发检测器。
MAGE 基准（1,600 篇文档）：一个面向机器生成文本的公开研究基准，我们没有用它来开发检测器。它包含来自我们自有数据中没有的模型家族的 AI 文本，以及大量经过改写的 AI 文本。由于该基准是公开的，底层的 Gemini 模型在自身训练中可能见过其中部分内容，因此请把它的结果看作偏乐观的情况。
你需要了解的局限
这些是在我们测试集上的结果，并不是对任何具体文本的保证。短文本、大幅编辑过的草稿、经过改写的 AI 文本，以及来自我们未测试过的模型的文字，得分都可能不同。
误报率低不等于零。如果你的文本被标记，请把分数当作进一步核查的理由，而不是证据——具体怎么做，请参阅我们的学术诚信页面。
这些数字只对应一个模型，以及一个版本的文本发送方式。两者中任何一个有变动，我们都会重新运行评估并替换这份报告。
我们如何测量
评估脚本会把每篇测试文档发送给网站所用的同一个检测器，然后将每篇文档和每个句子的得分与其已知标签进行比较。它在两个阈值（网站采用的 50%，以及用于对比的 70%）下按语言、体裁和来源报告结果，并把少于 200 项的分组标记为样本过小、不宜引用。本页只展示那些较大的分组。被 Google 内容过滤器拒绝处理的文档没有得分，不计入各项数字：留出测试集中有 1 篇，学生论文中有 0 篇，MAGE 中有 1 篇。其余文档均已评分。
检测器准确率常见问题
在我们包含 1,826 篇文档的留出测试集上，它把 0.6% 的人类文档标记为 AI，并检出了 90.6% 的 AI 文档（AUROC 0.954）。结果因测试集而异，经过改写的 AI 文本被识别出来的频率要低得多。
在我们的测试集上很少：留出测试集中人类文档为 0.6%，英语非母语学生的论文为 0.9%。这并不是零，所以分数本身永远不能作为证据。
可靠性较低。在我们的留出测试集中，经其他模型改写的 AI 文本检出率为 71.1%，而未经编辑的 AI 文本为 97.3%。在公开的 MAGE 基准上，改写文本的检出率为 96.9%，因此结果会因文本不同而差异很大。
不是。我们在自己的测试集和一个公开基准上自行运行了测试。我们公开方法、测试集和局限，方便你自行判断这些数字；每当模型变更，我们都会重新运行。
不能。检测是基于概率的。请把分数当作其中一个信号，并结合草稿、版本历史以及与作者的沟通来判断，正如我们的学术诚信页面所说明的那样。