Sejauh manakah ketepatan Pengesan AI ZeroTell?
Pada set ujian berasingan kami yang mengandungi 1,826 dokumen dalam 10 bahasa, pengesan menanda 4 daripada 671 dokumen tulisan manusia sebagai AI (0.6%) dan mengenal pasti 90.6% daripada dokumen tulisan AI. Pada teks yang diparafrasa oleh model lain, prestasinya jauh lebih teruk, dan tiada skor yang membuktikan siapa yang menulis sesuatu.
Jawapan ringkas
Pengesan AI ZeroTell menghantar setiap ayat dalam teks kepada model Gemini 3.8 Flash milik Google bersama arahan pemarkahan kami sendiri. Ayat yang mendapat skor 50% atau lebih diserlahkan sebagai menyerupai AI, dan skor dokumen ialah bahagian teksnya yang berada dalam ayat yang diserlahkan. Pada 28 Oktober 2026, kami mengukur model dan tetapan yang sama seperti yang digunakan oleh laman ini pada tiga set ujian berlabel. Setiap angka di bawah diambil terus daripada laporan penilaian yang dihasilkan oleh skrip ujian kami; kami hanya memetik kumpulan yang mempunyai sekurang-kurangnya 200 dokumen atau ayat.
Dua keputusan paling penting. Tulisan manusia jarang ditanda: 0.6% daripada dokumen manusia dalam set berasingan dan 0.9% daripada esei yang ditulis oleh pelajar bukan penutur asli bahasa Inggeris. Tetapi dalam data kami sendiri, teks AI yang diparafrasa oleh model lain jauh lebih kerap terlepas: hanya 71.1% daripada dokumen sedemikian dikesan dalam set berasingan. Pada penanda aras awam MAGE, teks jenis yang sama dikesan jauh lebih kerap (96.9%), jadi keputusan sangat bergantung pada teks.
Keputusan mengikut set ujian (peringkat dokumen)
Sesuatu dokumen dikira sebagai tulisan AI apabila skornya 50% atau lebih, iaitu apabila sekurang-kurangnya separuh daripada teksnya berada dalam ayat yang diserlahkan. Dokumen ujian bercampur dikira sebagai tulisan AI apabila sekurang-kurangnya separuh daripada teksnya ditulis oleh AI. Kadar positif palsu = dokumen manusia yang tersilap ditanda sebagai AI. Kadar pengesanan = dokumen AI yang ditanda dengan betul. AUROC (0.5 = meneka, 1.0 = pemisahan sempurna) tidak bergantung pada ambang.
| Set ujian | Dokumen | Dokumen manusia yang ditanda sebagai AI | Dokumen AI yang dikesan | AUROC |
|---|---|---|---|---|
| Set ujian berasingan (10 bahasa) | 1,826 | 0.6% (4 daripada 671) | 90.6% | 0.954 |
| Esei pelajar (penulis bukan penutur asli bahasa Inggeris) | 555 | 0.9% (2 daripada 222) | 98.2% | 0.992 |
| Penanda aras awam MAGE (di luar taburan) | 1,599 | 0.3% (1 daripada 399) | 96.6% | 0.990 |
Jenis teks AI yang terlepas
Kadar pengesanan pada ambang 50%, dipecahkan mengikut cara teks AI dihasilkan. Kumpulan dengan kurang daripada 200 dokumen tidak disertakan.
| Set ujian | Teks AI, tidak disunting | Teks AI yang diparafrasa oleh model lain |
|---|---|---|
| Set ujian berasingan | 97.3% | 71.1% |
| Penanda aras awam MAGE | 96% | 96.9% |
Keputusan peringkat ayat mengikut bahasa
Pengesan menyerlahkan sesuatu ayat apabila skornya 50% atau lebih. Set ujian berasingan; setiap bahasa di bawah mempunyai sekurang-kurangnya 200 ayat.
| Bahasa | Ayat | Ayat manusia yang diserlahkan | Ayat AI yang diserlahkan | AUROC |
|---|---|---|---|---|
| Inggeris | 8,485 | 0.6% | 91.1% | 0.986 |
| Cina | 5,762 | 0.1% | 92.3% | 0.980 |
| Jepun | 1,588 | 1.6% | 97.7% | 0.996 |
| Korea | 877 | 0% | 87.4% | 0.987 |
| Sepanyol | 1,166 | 0% | 96.2% | 0.984 |
| Jerman | 1,109 | 1.5% | 73.5% | 0.901 |
| Itali | 1,038 | 0% | 99.1% | 1.000 |
| Portugis | 980 | 0% | 91.4% | 0.993 |
| Melayu | 1,205 | 0% | 81.6% | 0.982 |
| Turki | 1,413 | 1.6% | 88.6% | 0.986 |
Tiga set ujian
Set ujian berasingan (1,827 dokumen, 23,635 ayat): bahagian tetap daripada data berlabel kami sendiri yang tidak pernah kami gunakan untuk membangunkan pengesan. Dokumen diagihkan mengikut kumpulan sumber, jadi tiada teks sumber daripada data pembangunan kami, mahupun mana-mana versi tulis semula AI daripadanya, yang muncul di sini. Teks manusia datang daripada sumber yang diterbitkan, kebanyakannya ditulis sebelum alat penulisan AI menjadi biasa (berita, artikel ensiklopedia dan web, jawapan manusia kepada soalan); teks AI merangkumi output model yang tidak disunting, teks yang diparafrasa oleh model kedua, draf yang dihumaniskan dan dokumen campuran, dalam 10 bahasa. Kebanyakan dokumen AI dalam set ini ditulis oleh model Gemini dan GPT.
Esei pelajar (555 dokumen): esei oleh pelajar bukan penutur asli bahasa Inggeris daripada korpus ELLIPSE, dipadankan dengan esei AI yang ditulis berdasarkan soalan yang sama dan esei AI yang kemudiannya diparafrasa atau dihumaniskan. Set ini hanya digunakan untuk penilaian, tidak pernah untuk membangunkan pengesan.
Penanda aras MAGE (1,600 dokumen): penanda aras penyelidikan awam untuk teks janaan mesin yang tidak kami gunakan untuk membangunkan pengesan. Ia merangkumi teks AI daripada keluarga model yang tiada dalam data kami sendiri dan sebahagian besar teks AI yang diparafrasa. Oleh sebab penanda aras ini awam, model Gemini yang mendasarinya mungkin telah melihat sebahagian daripadanya semasa latihannya sendiri, jadi anggap keputusannya sebagai gambaran yang optimistik.
Had yang perlu anda ketahui
Ini ialah keputusan pada set ujian kami, bukan jaminan untuk mana-mana teks tertentu. Teks pendek, draf yang banyak disunting, teks AI yang diparafrasa dan tulisan daripada model yang tidak kami uji semuanya boleh mendapat skor yang berbeza.
Kadar positif palsu yang rendah bukan sifar. Jika teks anda ditanda, anggap skor itu sebagai sebab untuk meneliti dengan lebih dekat, bukan sebagai bukti — lihat halaman Integriti Akademik kami untuk perkara yang perlu dilakukan.
Angka-angka ini terikat pada satu model dan satu versi cara teks dihantar kepadanya. Apabila kami menukar salah satu daripadanya, kami menjalankan penilaian sekali lagi dan menggantikan laporan ini.
Cara kami mengukur
Skrip penilaian menghantar setiap dokumen ujian melalui pengesan yang sama yang digunakan oleh laman ini, kemudian membandingkan skor setiap dokumen dan setiap ayat dengan labelnya yang diketahui. Ia melaporkan keputusan pada dua ambang (50%, yang digunakan oleh laman ini, dan 70% sebagai perbandingan), mengikut bahasa, genre dan sumber, serta menandakan mana-mana kumpulan yang mempunyai kurang daripada 200 item sebagai terlalu kecil untuk dipetik. Halaman ini hanya menunjukkan kumpulan yang lebih besar itu. Dokumen yang ditolak oleh penapis kandungan Google untuk diproses tidak mempunyai skor dan dikecualikan daripada angka: 1 dalam set berasingan, 0 dalam esei pelajar dan 1 dalam MAGE. Semua dokumen lain telah diberi skor.
Soalan lazim tentang ketepatan pengesan
Pada set ujian berasingan kami yang mengandungi 1,826 dokumen, ia menanda 0.6% daripada dokumen manusia sebagai AI dan mengesan 90.6% daripada dokumen AI (AUROC 0.954). Keputusan berbeza mengikut set ujian, dan teks AI yang diparafrasa jauh lebih jarang dikesan.
Jarang pada set ujian kami: 0.6% daripada dokumen manusia dalam set berasingan dan 0.9% daripada esei pelajar bukan penutur asli bahasa Inggeris. Itu bukan sifar, jadi skor tidak pernah menjadi bukti dengan sendirinya.
Kurang boleh dipercayai. Dalam set berasingan kami, teks AI yang diparafrasa oleh model lain dikesan pada kadar 71.1%, berbanding 97.3% bagi teks AI yang tidak disunting. Pada penanda aras awam MAGE, kadar bagi teks yang diparafrasa ialah 96.9%, jadi ia sangat berbeza mengikut teks.
Tidak. Kami sendiri yang menjalankannya pada set ujian kami dan satu penanda aras awam. Kami menerbitkan kaedah, set ujian dan hadnya supaya anda boleh menilai angka-angka ini, dan kami menjalankannya semula setiap kali model berubah.
Tidak. Pengesanan adalah berasaskan kebarangkalian. Gunakan skor sebagai satu isyarat bersama draf, sejarah versi dan perbualan dengan penulis, seperti yang diterangkan dalam halaman Integriti Akademik kami.
Semak teks dengan Pengesan AI ZeroTell
Lihat ayat mana yang kelihatan seperti ditulis oleh AI dan sebabnya — kemudian nilai sendiri.
Buka Pengesan AI