ZeroTell AI 탐지기는 얼마나 정확할까요?

ZeroTell의 AI 탐지기는 텍스트의 모든 문장을 저희가 직접 만든 채점 지침과 함께 Google의 Gemini 3.8 Flash 모델로 보내요. 점수가 50% 이상인 문장은 AI 같은 문장으로 하이라이트되고, 문서 점수는 텍스트 중 하이라이트된 문장이 차지하는 비율이에요. 저희는 2026년 10월 28일에 사이트에서 실제로 쓰는 것과 똑같은 모델과 설정으로, 라벨링된 세 가지 테스트 세트에서 측정했어요. 아래 숫자는 모두 테스트 스크립트가 만든 평가 보고서에서 그대로 가져왔고, 문서나 문장이 200개 이상인 그룹만 인용해요.

가장 중요한 결과는 두 가지예요. 사람이 쓴 글은 AI로 판정되는 경우가 드물어요. 홀드아웃 세트의 사람 문서에서는 0.6%, 영어가 모국어가 아닌 학생들이 쓴 에세이에서는 0.9%였어요. 하지만 다른 모델이 패러프레이즈한 AI 텍스트는 저희 데이터에서 훨씬 더 자주 놓쳐요. 이런 문서는 홀드아웃 세트에서 71.1%만 탐지됐어요. 공개 벤치마크인 MAGE에서는 같은 종류의 텍스트가 훨씬 더 자주 탐지됐어요(96.9%). 그러니 결과는 텍스트에 따라 크게 달라져요.

홀드아웃 테스트 세트(문서 1,827개, 문장 23,635개): 저희가 직접 라벨링한 데이터 중 고정된 일부로, 탐지기 개발에는 절대 쓰지 않아요. 문서는 출처 그룹 단위로 배정하기 때문에, 개발용 데이터의 원문도, 그 원문을 AI로 다시 쓴 버전도 여기에는 하나도 들어 있지 않아요. 사람이 쓴 텍스트는 공개된 출처에서 가져왔고, 대부분 AI 글쓰기 도구가 널리 쓰이기 전에 작성됐어요(뉴스, 백과사전·웹 기사, 질문에 대한 사람의 답변). AI 텍스트에는 편집하지 않은 모델 출력, 두 번째 모델이 패러프레이즈한 텍스트, 휴머나이즈한 초안, 혼합 문서가 포함되며, 10개 언어로 되어 있어요. 이 세트의 AI 문서는 대부분 Gemini와 GPT 모델이 작성했어요.

학생 에세이(문서 555개): ELLIPSE 코퍼스에 있는, 영어가 모국어가 아닌 학생들의 에세이를 같은 주제로 AI가 쓴 에세이, 그리고 이후 패러프레이즈하거나 휴머나이즈한 AI 에세이와 짝지은 세트예요. 이 세트는 평가에만 쓰고 탐지기 개발에는 절대 쓰지 않아요.

MAGE 벤치마크(문서 1,600개): 기계 생성 텍스트를 위한 공개 연구 벤치마크로, 탐지기 개발에는 쓰지 않았어요. 저희 데이터에는 없는 모델 계열의 AI 텍스트와 패러프레이즈된 AI 텍스트가 많이 들어 있어요. 이 벤치마크는 공개되어 있어서 바탕이 되는 Gemini 모델이 자체 학습 과정에서 그 일부를 봤을 수도 있어요. 그러니 이 결과는 낙관적인 경우로 읽어 주세요.

이 결과는 저희 테스트 세트에서 나온 것이며, 특정 텍스트에 대한 보장이 아니에요. 짧은 텍스트, 많이 고친 초안, 패러프레이즈된 AI 텍스트, 저희가 테스트하지 않은 모델이 쓴 글은 모두 점수가 다르게 나올 수 있어요.

오탐률이 낮다고 해서 0은 아니에요. AI로 판정됐다면 점수를 증거가 아니라 더 자세히 살펴볼 이유로 받아들이세요. 어떻게 해야 하는지는 학업 윤리 페이지를 참고하세요.

이 숫자들은 하나의 모델, 그리고 그 모델에 텍스트를 보내는 방식의 한 가지 버전에 묶여 있어요. 둘 중 하나라도 바꾸면 평가를 다시 실행하고 이 보고서를 교체해요.

평가 스크립트가 모든 테스트 문서를 사이트에서 쓰는 것과 같은 탐지기에 보낸 뒤, 각 문서와 각 문장의 점수를 이미 알고 있는 라벨과 비교해요. 결과는 두 가지 임계값(사이트에서 쓰는 50%와 비교용 70%)에서 언어, 장르, 출처별로 보고되고, 항목이 200개 미만인 그룹은 인용하기에 너무 작다고 표시돼요. 이 페이지에는 그보다 큰 그룹만 실었어요. Google의 콘텐츠 필터가 처리를 거부한 문서는 점수가 없어서 수치에서 빠져요. 홀드아웃 세트에서 1개, 학생 에세이에서 0개, MAGE에서 1개였어요. 나머지 문서는 모두 점수를 매겼어요.