ZeroTell AI Dedektörü ne kadar doğru?

ZeroTell'in AI Dedektörü, bir metnin her cümlesini kendi puanlama talimatlarımızla birlikte Google'ın Gemini 3.8 Flash modeline gönderir. Puanı %50 veya üzerinde olan bir cümle AI benzeri olarak vurgulanır ve belgenin puanı, metninin vurgulanan cümlelerde yer alan payıdır. Sitenin kullandığı modelin ve ayarların birebir aynısını 28 Ekim 2026 tarihinde etiketli üç test setinde ölçtük. Aşağıdaki her sayı, test betiğimizin ürettiği değerlendirme raporundan doğrudan alınmıştır; yalnızca en az 200 belge veya cümle içeren grupları aktarıyoruz.

En önemli iki sonuç var. İnsan yazısı nadiren işaretleniyor: işaretlenme oranı ayrılmış test setindeki insan belgelerinde %0,6, anadili İngilizce olmayan öğrencilerin yazdığı denemelerde %0,9. Ancak başka bir modelin parafraz yaptığı AI metni, kendi verilerimizde çok daha sık gözden kaçıyor: bu tür belgelerin yakalanma oranı ayrılmış test setinde yalnızca %71,1. Herkese açık MAGE kıyaslama setinde ise aynı tür metin çok daha sık yakalandı (%96,9); yani sonuçlar büyük ölçüde metne bağlı.

Ayrılmış test seti (1.827 belge, 23.635 cümle): kendi etiketli verilerimizin, dedektörü geliştirirken asla kullanmadığımız sabit bir bölümü. Belgeler kaynak grubuna göre atanır; bu yüzden geliştirme verilerimizden hiçbir kaynak metin ve onun AI ile yeniden yazılmış hiçbir sürümü burada yer almaz. İnsan metinleri yayımlanmış kaynaklardan gelir ve çoğu, AI yazma araçları yaygınlaşmadan önce yazılmıştır (haberler, ansiklopedi ve web makaleleri, sorulara verilen insan yanıtları); AI metinleri ise 10 dilde düzenlenmemiş model çıktısını, ikinci bir modelin parafraz yaptığı metinleri, insansılaştırılmış taslakları ve karma belgeleri içerir. Bu setteki AI belgelerinin çoğu Gemini ve GPT modelleri tarafından yazılmıştır.

Öğrenci denemeleri (555 belge): ELLIPSE derlemindeki, anadili İngilizce olmayan öğrencilerin yazdığı denemeler; aynı konular üzerine AI tarafından yazılmış denemelerle ve ardından parafraz yapılmış ya da insansılaştırılmış AI denemeleriyle eşleştirilmiştir. Bu set yalnızca değerlendirme için kullanılır, asla dedektörü geliştirmek için kullanılmaz.

MAGE kıyaslama seti (1.600 belge): makine tarafından üretilmiş metinler için herkese açık bir araştırma kıyaslama seti; dedektörü geliştirirken bu seti kullanmadık. Kendi verilerimizde bulunmayan model ailelerinden AI metinleri ve büyük oranda parafraz yapılmış AI metni içerir. Kıyaslama seti herkese açık olduğu için, temeldeki Gemini modeli kendi eğitimi sırasında bu setin bazı kısımlarını görmüş olabilir; bu yüzden sonuçlarını iyimser bir senaryo olarak okuyun.

Bunlar test setlerimizdeki sonuçlardır, herhangi bir metin için garanti değildir. Kısa metinler, çok düzenlenmiş taslaklar, parafraz yapılmış AI metni ve test etmediğimiz modellerin yazdığı metinler farklı puanlar alabilir.

Düşük bir yanlış pozitif oranı sıfır demek değildir. Metniniz işaretlenirse puanı kanıt olarak değil, daha yakından bakmak için bir neden olarak değerlendirin; ne yapmanız gerektiğini öğrenmek için Akademik Dürüstlük sayfamıza bakın.

Bu sayılar tek bir modele ve metnin bu modele nasıl gönderildiğinin tek bir sürümüne bağlıdır. Bunlardan birini değiştirdiğimizde değerlendirmeyi yeniden çalıştırır ve bu raporu yenisiyle değiştiririz.

Bir değerlendirme betiği her test belgesini sitenin kullandığı dedektörün aynısından geçirir, ardından her belgenin ve her cümlenin puanını bilinen etiketiyle karşılaştırır. Sonuçları iki eşikte (sitenin kullandığı %50 ve karşılaştırma için %70) dile, türe ve kaynağa göre raporlar ve 200'den az öğe içeren her grubu aktarılamayacak kadar küçük olarak işaretler. Bu sayfa yalnızca bu daha büyük grupları gösterir. Google'ın içerik filtresinin işlemeyi reddettiği belgelerin puanı yoktur ve bu belgeler sayılara dahil edilmez: ayrılmış test setinde 1, öğrenci denemelerinde 0 ve MAGE kıyaslama setinde 1 belge. Diğer tüm belgeler puanlandı.