Seberapa akurat Detektor AI ZeroTell?
Pada set uji held-out kami yang terdiri dari 1.826 dokumen dalam 10 bahasa, detektor menandai 4 dari 671 dokumen tulisan manusia sebagai AI (0,6%) dan mengenali 90,6% dari dokumen tulisan AI. Pada teks yang diparafrasekan oleh model lain, hasilnya jauh lebih buruk, dan tidak ada skor yang menjadi bukti siapa yang menulisnya.
Jawaban singkat
Detektor AI ZeroTell mengirim setiap kalimat dalam teks ke model Gemini 3.8 Flash milik Google dengan instruksi penilaian kami sendiri. Kalimat yang mendapat skor 50% atau lebih akan ditandai sebagai mirip AI, dan skor dokumen adalah proporsi teksnya yang berada dalam kalimat yang ditandai. Pada 28 Oktober 2026 kami mengukur model dan pengaturan persis yang digunakan situs ini pada tiga set uji berlabel. Setiap angka di bawah ini berasal langsung dari laporan evaluasi yang dihasilkan skrip pengujian kami; kami hanya mengutip kelompok dengan setidaknya 200 dokumen atau kalimat.
Dua hasil paling penting. Tulisan manusia jarang ditandai: 0,6% dokumen manusia di set held-out dan 0,9% esai yang ditulis oleh siswa penutur non-asli bahasa Inggris. Namun teks AI yang diparafrasekan oleh model lain jauh lebih sering terlewat dalam data kami sendiri: hanya 71,1% dokumen semacam itu yang tertangkap di set held-out. Pada tolok ukur publik MAGE, jenis teks yang sama jauh lebih sering tertangkap (96,9%), jadi hasilnya sangat bergantung pada teksnya.
Hasil menurut set uji (tingkat dokumen)
Sebuah dokumen dihitung sebagai tulisan AI ketika skornya 50% atau lebih, yaitu ketika setidaknya separuh teksnya berada dalam kalimat yang ditandai. Dokumen uji campuran dihitung sebagai tulisan AI ketika setidaknya separuh teksnya ditulis oleh AI. Tingkat positif palsu = dokumen manusia yang salah ditandai sebagai AI. Tingkat deteksi = dokumen AI yang benar ditandai. AUROC (0,5 = menebak, 1,0 = pemisahan sempurna) tidak bergantung pada ambang batas.
| Set uji | Dokumen | Dokumen manusia yang ditandai sebagai AI | Dokumen AI yang terdeteksi | AUROC |
|---|---|---|---|---|
| Set uji held-out (10 bahasa) | 1.826 | 0,6% (4 dari 671) | 90,6% | 0,954 |
| Esai siswa (penulis non-asli bahasa Inggris) | 555 | 0,9% (2 dari 222) | 98,2% | 0,992 |
| Tolok ukur publik MAGE (di luar distribusi) | 1.599 | 0,3% (1 dari 399) | 96,6% | 0,990 |
Jenis teks AI apa yang terlewat
Tingkat deteksi pada ambang batas 50%, dipecah menurut cara teks AI dihasilkan. Kelompok dengan kurang dari 200 dokumen tidak disertakan.
| Set uji | Teks AI, tanpa diedit | Teks AI yang diparafrasekan oleh model lain |
|---|---|---|
| Set uji held-out | 97,3% | 71,1% |
| Tolok ukur publik MAGE | 96% | 96,9% |
Hasil tingkat kalimat menurut bahasa
Detektor menandai sebuah kalimat ketika skornya 50% atau lebih. Set uji held-out; setiap bahasa di bawah ini memiliki setidaknya 200 kalimat.
| Bahasa | Kalimat | Kalimat manusia yang ditandai | Kalimat AI yang ditandai | AUROC |
|---|---|---|---|---|
| Bahasa Inggris | 8.485 | 0,6% | 91,1% | 0,986 |
| Bahasa Mandarin | 5.762 | 0,1% | 92,3% | 0,980 |
| Bahasa Jepang | 1.588 | 1,6% | 97,7% | 0,996 |
| Korea | 877 | 0% | 87,4% | 0,987 |
| Spanyol | 1.166 | 0% | 96,2% | 0,984 |
| Jerman | 1.109 | 1,5% | 73,5% | 0,901 |
| Italia | 1.038 | 0% | 99,1% | 1,000 |
| Portugis | 980 | 0% | 91,4% | 0,993 |
| Melayu | 1.205 | 0% | 81,6% | 0,982 |
| Turki | 1.413 | 1,6% | 88,6% | 0,986 |
Tiga set pengujian
Set pengujian held-out (1.827 dokumen, 23.635 kalimat): sebagian tetap dari data berlabel milik kami sendiri yang tidak pernah kami gunakan untuk mengembangkan detektor. Dokumen dikelompokkan berdasarkan grup sumber, sehingga tidak ada teks sumber dari data pengembangan kami, dan tidak ada hasil tulis ulang AI-nya, yang muncul di sini. Teks manusia berasal dari sumber terbitan, sebagian besar ditulis sebelum alat tulis AI umum digunakan (berita, artikel ensiklopedia dan web, jawaban manusia atas pertanyaan); teks AI mencakup keluaran model tanpa penyuntingan, teks yang diparafrase oleh model kedua, draf hasil humanisasi, dan dokumen campuran, dalam 10 bahasa. Sebagian besar dokumen AI dalam set ini ditulis oleh model Gemini dan GPT.
Esai siswa (555 dokumen): esai oleh siswa non-penutur asli bahasa Inggris dari korpus ELLIPSE, dipasangkan dengan esai AI yang ditulis dengan prompt yang sama dan esai AI yang kemudian diparafrase atau dihumanisasi. Set ini hanya digunakan untuk evaluasi, tidak pernah untuk mengembangkan detektor.
Tolok ukur MAGE (1.600 dokumen): tolok ukur penelitian publik untuk teks yang dihasilkan mesin yang tidak kami gunakan untuk mengembangkan detektor. Di dalamnya terdapat teks AI dari keluarga model yang tidak ada dalam data kami dan sebagian besar berupa teks AI yang diparafrase. Karena tolok ukur ini publik, model Gemini yang mendasarinya mungkin telah melihat sebagiannya selama pelatihannya sendiri, jadi bacalah hasilnya sebagai kasus optimistis.
Batasan yang perlu Anda ketahui
Ini adalah hasil pada set pengujian kami, bukan jaminan untuk teks tertentu. Teks pendek, draf yang banyak disunting, teks AI yang diparafrase, dan tulisan dari model yang tidak kami uji semuanya dapat menghasilkan skor yang berbeda.
Tingkat positif palsu yang rendah bukan berarti nol. Jika Anda ditandai, anggap skor itu sebagai alasan untuk memeriksa lebih teliti, bukan sebagai bukti — lihat halaman Integritas Akademik kami untuk mengetahui apa yang harus dilakukan.
Angka-angka ini terikat pada satu model dan satu versi cara teks dikirim kepadanya. Jika salah satunya kami ubah, kami menjalankan evaluasi lagi dan mengganti laporan ini.
Cara kami mengukur
Skrip evaluasi mengirim setiap dokumen uji melalui detektor yang sama dengan yang digunakan situs, lalu membandingkan skor setiap dokumen dan setiap kalimat dengan label yang diketahui. Skrip ini melaporkan hasil pada dua ambang batas (50%, yang digunakan situs, dan 70% untuk perbandingan), per bahasa, genre, dan sumber, serta menandai kelompok mana pun dengan kurang dari 200 item sebagai terlalu kecil untuk dikutip. Halaman ini hanya menampilkan kelompok yang lebih besar. Dokumen yang ditolak untuk diproses oleh filter konten Google tidak memiliki skor dan dikeluarkan dari angka: 1 pada set held-out, 0 di antara esai siswa, dan 1 di MAGE. Setiap dokumen lainnya diberi skor.
FAQ akurasi detektor
Pada set pengujian held-out kami yang berisi 1.826 dokumen, detektor ini menandai 0,6% dokumen manusia sebagai AI dan mendeteksi 90,6% dokumen AI (AUROC 0,954). Hasilnya berbeda-beda menurut set pengujian, dan teks AI yang diparafrase jauh lebih jarang terdeteksi.
Jarang pada set pengujian kami: 0,6% dokumen manusia pada set held-out dan 0,9% esai oleh siswa non-penutur asli bahasa Inggris. Angka itu bukan nol, jadi skor tidak pernah menjadi bukti dengan sendirinya.
Kurang dapat diandalkan. Pada set held-out kami, teks AI yang diparafrase oleh model lain terdeteksi 71,1% dari waktu ke waktu, dibandingkan dengan 97,3% untuk teks AI tanpa penyuntingan. Pada tolok ukur publik MAGE, tingkat untuk teks yang diparafrase adalah 96,9%, jadi hasilnya sangat bervariasi tergantung teksnya.
Tidak. Kami menjalankannya sendiri pada set pengujian kami sendiri dan sebuah tolok ukur publik. Kami menerbitkan metode, set, dan batasannya agar Anda dapat menilai angkanya, dan kami menjalankannya ulang setiap kali model berubah.
Tidak. Deteksi bersifat probabilistik. Gunakan skor sebagai salah satu sinyal bersama draf, riwayat versi, dan percakapan dengan penulisnya, seperti yang dijelaskan di halaman Integritas Akademik kami.
Periksa teks dengan Detektor AI ZeroTell
Lihat kalimat mana yang tampak ditulis AI dan mengapa — lalu nilailah sendiri.
Buka Detektor AI