Πόσο ακριβής είναι ο Ανιχνευτής AI του ZeroTell;
Στο δικό μας σύνολο δοκιμών εκτός εκπαίδευσης με 1.826 έγγραφα σε 10 γλώσσες, ο ανιχνευτής επισήμανε 4 από 671 ανθρώπινα γραμμένα έγγραφα ως AI (0,6%) και αναγνώρισε 90,6% από τα έγγραφα που γράφτηκαν από AI. Σε κείμενο που παραφράστηκε από άλλο μοντέλο τα πάει πολύ χειρότερα, και κανένα σκορ δεν αποτελεί απόδειξη για το ποιος έγραψε κάτι.
Η σύντομη απάντηση
Ο ανιχνευτής AI του ZeroTell στέλνει κάθε πρόταση ενός κειμένου στο μοντέλο Gemini 3.8 Flash της Google με τις δικές μας οδηγίες βαθμολόγησης. Μια πρόταση που βαθμολογείται 50% ή υψηλότερα επισημαίνεται ως πιθανό AI, και το σκορ του εγγράφου είναι το ποσοστό του κειμένου του που βρίσκεται σε επισημασμένες προτάσεις. Στις 28 Οκτωβρίου 2026 μετρήσαμε το ακριβές μοντέλο και τις ρυθμίσεις που χρησιμοποιεί ο ιστότοπος σε τρία σύνολα δοκιμών με ετικέτες. Κάθε αριθμός παρακάτω προέρχεται απευθείας από την αναφορά αξιολόγησης που παρήγαγε το σενάριο δοκιμών μας· παραθέτουμε μόνο ομάδες με τουλάχιστον 200 έγγραφα ή προτάσεις.
Δύο αποτελέσματα έχουν τη μεγαλύτερη σημασία. Το ανθρώπινο κείμενο σπάνια επισημαίνεται: 0,6% των ανθρώπινων εγγράφων στο σύνολο εκτός εκπαίδευσης και 0,9% των δοκιμίων που έγραψαν φοιτητές που δεν είναι φυσικοί ομιλητές των αγγλικών. Ωστόσο, το κείμενο AI που παραφράστηκε από άλλο μοντέλο διαφεύγει πολύ πιο συχνά στα δικά μας δεδομένα: μόνο 71,1% τέτοιων εγγράφων εντοπίστηκαν στο σύνολο εκτός εκπαίδευσης. Στο δημόσιο benchmark MAGE το ίδιο είδος κειμένου εντοπίστηκε πολύ πιο συχνά (96,9%), οπότε τα αποτελέσματα εξαρτώνται σε μεγάλο βαθμό από το κείμενο.
Αποτελέσματα ανά σύνολο δοκιμών (επίπεδο εγγράφου)
Ένα έγγραφο θεωρείται γραμμένο από AI όταν το σκορ του είναι 50% ή υψηλότερο, δηλαδή όταν τουλάχιστον το μισό του κειμένου του βρίσκεται σε επισημασμένες προτάσεις. Ένα μικτό έγγραφο δοκιμής θεωρείται γραμμένο από AI όταν τουλάχιστον το μισό του κειμένου του γράφτηκε από AI. Ποσοστό ψευδώς θετικών = ανθρώπινα έγγραφα που επισημάνθηκαν λανθασμένα ως AI. Ποσοστό εντοπισμού = έγγραφα AI που επισημάνθηκαν σωστά. Το AUROC (0,5 = τυχαία εικασία, 1,0 = τέλειος διαχωρισμός) δεν εξαρτάται από το κατώφλι.
| Σύνολο δοκιμών | Έγγραφα | Ανθρώπινα έγγραφα που επισημάνθηκαν ως AI | Έγγραφα AI που εντοπίστηκαν | AUROC |
|---|---|---|---|---|
| Σύνολο εκτός εκπαίδευσης (10 γλώσσες) | 1.826 | 0,6% (4 από 671) | 90,6% | 0,954 |
| Δοκίμια φοιτητών (μη φυσικοί ομιλητές αγγλικών) | 555 | 0,9% (2 από 222) | 98,2% | 0,992 |
| Δημόσιο benchmark MAGE (εκτός κατανομής) | 1.599 | 0,3% (1 από 399) | 96,6% | 0,990 |
Τι είδους κείμενο AI διαφεύγει
Ποσοστό εντοπισμού στο κατώφλι 50%, ανά τρόπο παραγωγής του κειμένου AI. Ομάδες με λιγότερα από 200 έγγραφα παραλείπονται.
| Σύνολο δοκιμών | Κείμενο AI, χωρίς επεξεργασία | Κείμενο AI παραφρασμένο από άλλο μοντέλο |
|---|---|---|
| Σύνολο εκτός εκπαίδευσης | 97,3% | 71,1% |
| Δημόσιο benchmark MAGE | 96% | 96,9% |
Αποτελέσματα σε επίπεδο πρότασης ανά γλώσσα
Ο ανιχνευτής επισημαίνει μια πρόταση όταν το σκορ της είναι 50% ή υψηλότερο. Σύνολο εκτός εκπαίδευσης· κάθε γλώσσα παρακάτω έχει τουλάχιστον 200 προτάσεις.
| Γλώσσα | Προτάσεις | Ανθρώπινες προτάσεις που επισημάνθηκαν | Προτάσεις AI που επισημάνθηκαν | AUROC |
|---|---|---|---|---|
| Αγγλικά | 8.485 | 0,6% | 91,1% | 0,986 |
| Κινεζικά | 5.762 | 0,1% | 92,3% | 0,980 |
| Ιαπωνικά | 1.588 | 1,6% | 97,7% | 0,996 |
| Κορεατικά | 877 | 0% | 87,4% | 0,987 |
| Ισπανικά | 1.166 | 0% | 96,2% | 0,984 |
| Γερμανικά | 1.109 | 1,5% | 73,5% | 0,901 |
| Ιταλικά | 1.038 | 0% | 99,1% | 1,000 |
| Πορτογαλικά | 980 | 0% | 91,4% | 0,993 |
| Μαλαισιανά | 1.205 | 0% | 81,6% | 0,982 |
| Τουρκικά | 1.413 | 1,6% | 88,6% | 0,986 |
Τα τρία σύνολα δοκιμών
Σύνολο δοκιμών εκτός ανάπτυξης (1.827 έγγραφα, 23.635 προτάσεις): ένα σταθερό μερίδιο των δικών μας επισημασμένων δεδομένων που δεν χρησιμοποιούμε ποτέ για την ανάπτυξη του ανιχνευτή. Τα έγγραφα κατανέμονται ανά ομάδα πηγής, ώστε να μην εμφανίζεται εδώ ούτε κείμενο πηγής από τα δεδομένα ανάπτυξής μας ούτε καμία από τις AI επανεκδόσεις του. Τα ανθρώπινα κείμενα προέρχονται από δημοσιευμένες πηγές, οι περισσότερες γραμμένες πριν γίνουν κοινά τα εργαλεία συγγραφής AI (ειδήσεις, εγκυκλοπαίδειες και άρθρα ιστού, ανθρώπινες απαντήσεις σε ερωτήσεις)· τα κείμενα AI περιλαμβάνουν ανεπεξέργαστη έξοδο μοντέλων, κείμενο παραφρασμένο από δεύτερο μοντέλο, ανθρωποποιημένα προσχέδια και μικτά έγγραφα, σε 10 γλώσσες. Τα περισσότερα έγγραφα AI σε αυτό το σύνολο γράφτηκαν από μοντέλα Gemini και GPT.
Δοκίμια φοιτητών (555 έγγραφα): δοκίμια φοιτητών που δεν έχουν ως μητρική γλώσσα τα αγγλικά, από το σώμα κειμένων ELLIPSE, σε ζεύγη με δοκίμια AI γραμμένα στις ίδιες εκφωνήσεις και με δοκίμια AI που στη συνέχεια παραφράστηκαν ή ανθρωποποιήθηκαν. Αυτό το σύνολο χρησιμοποιείται μόνο για αξιολόγηση, ποτέ για την ανάπτυξη του ανιχνευτή.
Σημείο αναφοράς MAGE (1.600 έγγραφα): ένα δημόσιο ερευνητικό σημείο αναφοράς για κείμενο παραγόμενο από μηχανή, το οποίο δεν χρησιμοποιήσαμε για την ανάπτυξη του ανιχνευτή. Περιλαμβάνει κείμενο AI από οικογένειες μοντέλων που δεν υπάρχουν στα δικά μας δεδομένα και μεγάλο μερίδιο παραφρασμένου κειμένου AI. Επειδή το σημείο αναφοράς είναι δημόσιο, το υποκείμενο μοντέλο Gemini μπορεί να έχει δει μέρη του κατά τη δική του εκπαίδευση, οπότε διαβάστε τα αποτελέσματά του ως αισιόδοξη περίπτωση.
Όρια που πρέπει να γνωρίζετε
Αυτά είναι αποτελέσματα στα δικά μας σύνολα δοκιμών, όχι εγγύηση για κάποιο συγκεκριμένο κείμενο. Σύντομα κείμενα, προσχέδια με βαριά επεξεργασία, παραφρασμένο κείμενο AI και γραφή από μοντέλα που δεν δοκιμάσαμε μπορούν όλα να βαθμολογηθούν διαφορετικά.
Ένα χαμηλό ποσοστό ψευδώς θετικών δεν είναι μηδέν. Αν επισημανθείτε, αντιμετωπίστε τη βαθμολογία ως λόγο για πιο προσεκτική ματιά, όχι ως απόδειξη — δείτε τη σελίδα Ακαδημαϊκή Ακεραιότητα για το τι να κάνετε.
Οι αριθμοί συνδέονται με ένα μοντέλο και μία εκδοχή του τρόπου αποστολής του κειμένου σε αυτό. Όταν αλλάζουμε οποιοδήποτε από τα δύο, εκτελούμε ξανά την αξιολόγηση και αντικαθιστούμε αυτή την αναφορά.
Πώς μετρήσαμε
Ένα σενάριο αξιολόγησης περνά κάθε έγγραφο δοκιμής από τον ίδιο ανιχνευτή που χρησιμοποιεί ο ιστότοπος και στη συνέχεια συγκρίνει τη βαθμολογία κάθε εγγράφου και κάθε πρότασης με τη γνωστή ετικέτα του. Αναφέρει αποτελέσματα σε δύο κατώφλια (50%, αυτό που χρησιμοποιεί ο ιστότοπος, και 70% για σύγκριση), ανά γλώσσα, είδος και πηγή, και χαρακτηρίζει κάθε ομάδα με λιγότερα από 200 στοιχεία ως πολύ μικρή για να αναφερθεί. Αυτή η σελίδα δείχνει μόνο τις μεγαλύτερες ομάδες. Τα έγγραφα που το φίλτρο περιεχομένου της Google αρνήθηκε να επεξεργαστεί δεν έχουν βαθμολογία και εξαιρούνται από τους αριθμούς: 1 στο σύνολο εκτός ανάπτυξης, 0 στα δοκίμια φοιτητών και 1 στο MAGE. Κάθε άλλο έγγραφο βαθμολογήθηκε.
Συχνές ερωτήσεις για την ακρίβεια του ανιχνευτή
Στο σύνολο δοκιμών εκτός ανάπτυξης με 1.826 έγγραφα, επισήμανε ως AI το 0,6% των ανθρώπινων εγγράφων και εντόπισε το 90,6% των εγγράφων AI (AUROC 0,954). Τα αποτελέσματα διαφέρουν ανά σύνολο δοκιμών και το παραφρασμένο κείμενο AI εντοπίζεται πολύ σπανιότερα.
Σπάνια στα δικά μας σύνολα δοκιμών: 0,6% των ανθρώπινων εγγράφων στο σύνολο εκτός ανάπτυξης και 0,9% των δοκιμίων φοιτητών που δεν έχουν ως μητρική γλώσσα τα αγγλικά. Αυτό δεν είναι μηδέν, οπότε μια βαθμολογία δεν αποτελεί ποτέ απόδειξη από μόνη της.
Λιγότερο αξιόπιστα. Στο σύνολο εκτός ανάπτυξης, κείμενο AI παραφρασμένο από άλλο μοντέλο εντοπίστηκε το 71,1% των φορών, έναντι 97,3% για ανεπεξέργαστο κείμενο AI. Στο δημόσιο σημείο αναφοράς MAGE το ποσοστό για παραφρασμένο κείμενο ήταν 96,9%, οπότε ποικίλλει πολύ ανάλογα με το κείμενο.
Όχι. Τη εκτελέσαμε εμείς οι ίδιοι στα δικά μας σύνολα δοκιμών και σε ένα δημόσιο σημείο αναφοράς. Δημοσιεύουμε τη μέθοδο, τα σύνολα και τα όρια ώστε να μπορείτε να κρίνετε τους αριθμούς, και την επαναλαμβάνουμε κάθε φορά που αλλάζει το μοντέλο.
Όχι. Η ανίχνευση είναι πιθανοτική. Χρησιμοποιήστε τη βαθμολογία ως ένα σήμα μαζί με προσχέδια, ιστορικό εκδόσεων και μια συζήτηση με τον συγγραφέα, όπως εξηγεί η σελίδα Ακαδημαϊκή Ακεραιότητα.
Ελέγξτε ένα κείμενο με τον Ανιχνευτή AI του ZeroTell
Δείτε ποιες προτάσεις φαίνονται γραμμένες από AI και γιατί — και μετά κρίνετε μόνοι σας.
Άνοιγμα του Ανιχνευτή AI