Công cụ phát hiện AI của ZeroTell chính xác đến mức nào?

Công cụ phát hiện AI của ZeroTell gửi từng câu của văn bản đến mô hình Gemini 3.8 Flash của Google kèm theo hướng dẫn chấm điểm của riêng chúng tôi. Câu nào đạt 50% trở lên sẽ được đánh dấu là giống AI, và điểm của tài liệu là tỷ lệ phần văn bản nằm trong các câu được đánh dấu. Vào ngày 28 tháng 10, 2026, chúng tôi đã đo đúng mô hình và cấu hình mà trang web đang dùng trên ba bộ kiểm thử có gắn nhãn. Mỗi con số dưới đây đều lấy trực tiếp từ báo cáo đánh giá do script kiểm thử của chúng tôi tạo ra; chúng tôi chỉ trích dẫn những nhóm có ít nhất 200 tài liệu hoặc câu.

Hai kết quả quan trọng nhất. Văn bản do người viết hiếm khi bị gắn cờ: 0,6% tài liệu do người viết trong bộ giữ riêng và 0,9% bài luận do sinh viên không phải người bản ngữ tiếng Anh viết. Nhưng văn bản AI đã được một mô hình khác diễn giải lại thì bị bỏ sót thường xuyên hơn nhiều trong dữ liệu của chính chúng tôi: chỉ 71,1% số tài liệu đó bị phát hiện trong bộ giữ riêng. Trên bộ chuẩn công khai MAGE, loại văn bản tương tự được phát hiện thường xuyên hơn nhiều (96,9%), nên kết quả phụ thuộc rất nhiều vào văn bản.

Bộ kiểm thử giữ riêng (1.827 tài liệu, 23.635 câu): một phần cố định trong dữ liệu gán nhãn của chính chúng tôi mà chúng tôi không bao giờ dùng để phát triển công cụ phát hiện. Tài liệu được gán theo nhóm nguồn, nên không có văn bản nguồn nào từ dữ liệu phát triển của chúng tôi, và cũng không có bản viết lại bằng AI nào của chúng, xuất hiện ở đây. Văn bản của con người đến từ các nguồn đã xuất bản, phần lớn được viết trước khi công cụ viết bằng AI trở nên phổ biến (tin tức, bài viết bách khoa toàn thư và trên web, câu trả lời của con người cho các câu hỏi); văn bản AI bao gồm đầu ra mô hình chưa chỉnh sửa, văn bản được một mô hình thứ hai diễn giải, bản nháp đã được humanize và tài liệu hỗn hợp, bằng 10 ngôn ngữ. Hầu hết tài liệu AI trong bộ này được viết bởi các mô hình Gemini và GPT.

Bài luận của sinh viên (555 tài liệu): bài luận của sinh viên không nói tiếng Anh bản ngữ từ kho ngữ liệu ELLIPSE, được ghép cặp với bài luận AI viết trên cùng đề bài và bài luận AI sau đó được diễn giải hoặc humanize. Bộ này chỉ dùng để đánh giá, không bao giờ dùng để phát triển công cụ phát hiện.

Bộ đánh giá MAGE (1.600 tài liệu): một bộ đánh giá nghiên cứu công khai cho văn bản do máy tạo ra mà chúng tôi không dùng để phát triển công cụ phát hiện. Bộ này bao gồm văn bản AI từ những họ mô hình không có trong dữ liệu của chúng tôi và một tỷ lệ lớn văn bản AI đã được diễn giải. Vì bộ đánh giá là công khai, mô hình Gemini nền tảng có thể đã thấy một phần của nó trong quá trình huấn luyện, nên hãy đọc kết quả của nó như một trường hợp lạc quan.

Đây là kết quả trên các bộ kiểm thử của chúng tôi, không phải bảo đảm cho bất kỳ văn bản cụ thể nào. Văn bản ngắn, bản nháp bị chỉnh sửa nhiều, văn bản AI đã được diễn giải và văn phong từ những mô hình chúng tôi chưa kiểm thử đều có thể cho điểm khác.

Tỷ lệ dương tính giả thấp không phải là bằng không. Nếu bạn bị gắn cờ, hãy coi điểm số là lý do để xem xét kỹ hơn, chứ không phải bằng chứng — xem trang Liêm chính học thuật của chúng tôi để biết nên làm gì.

Các con số gắn với một mô hình và một phiên bản của cách văn bản được gửi tới mô hình đó. Khi chúng tôi thay đổi một trong hai, chúng tôi chạy lại đánh giá và thay thế báo cáo này.

Một script đánh giá gửi mọi tài liệu kiểm thử qua đúng công cụ phát hiện mà trang web sử dụng, rồi so sánh điểm của từng tài liệu và từng câu với nhãn đã biết. Nó báo cáo kết quả ở hai ngưỡng (50%, ngưỡng trang web dùng, và 70% để so sánh), theo ngôn ngữ, thể loại và nguồn, và đánh dấu bất kỳ nhóm nào có dưới 200 mục là quá nhỏ để trích dẫn. Trang này chỉ hiển thị những nhóm lớn hơn đó. Những tài liệu mà bộ lọc nội dung của Google từ chối xử lý không có điểm và bị loại khỏi các con số: 1 trong bộ giữ riêng, 0 trong số bài luận sinh viên và 1 trong MAGE. Mọi tài liệu khác đều được chấm điểm.