Hvor nøyaktig er AI-detektoren fra ZeroTell?

ZeroTells AI-detektor sender hver setning i en tekst til Googles Gemini 3.8 Flash-modell med våre egne scoringsinstruksjoner. En setning som scorer 50 % eller mer, markeres som AI-lignende, og dokumentets score er andelen av teksten som ligger i markerte setninger. Den 28. oktober 2026 målte vi den nøyaktige modellen og de innstillingene nettstedet bruker, på tre merkede testsett. Hvert tall nedenfor kommer direkte fra evalueringsrapporten testskriptet vårt produserte; vi oppgir bare grupper med minst 200 dokumenter eller setninger.

To resultater betyr mest. Menneskelig tekst blir sjelden flagget: 0,6 % av menneskelige dokumenter i held-out-settet og 0,9 % av essayene skrevet av studenter med engelsk som andrespråk. Men AI-tekst som er parafrasert av en annen modell, blir langt oftere oversett i våre egne data: bare 71,1 % av slike dokumenter ble fanget opp i held-out-settet. På den offentlige MAGE-referansetesten ble samme type tekst fanget opp mye oftere (96,9 %), så resultatene avhenger sterkt av teksten.

Holdt-ute-testsett (1 827 dokumenter, 23 635 setninger): en fast andel av våre egne merkede data som vi aldri bruker til å utvikle detektoren. Dokumentene fordeles etter kildegruppe, så ingen kildetekst fra utviklingsdataene våre, og ingen av AI-omskrivingene av dem, forekommer her. Menneskelige tekster kommer fra publiserte kilder, de fleste skrevet før AI-skriveverktøy ble vanlige (nyheter, leksikon- og nettartikler, menneskelige svar på spørsmål); AI-tekstene omfatter uredigert modelloutput, tekst parafrasert av en annen modell, humaniserte utkast og blandede dokumenter, på 10 språk. De fleste AI-dokumentene i dette settet ble skrevet av Gemini- og GPT-modeller.

Studentoppgaver (555 dokumenter): oppgaver skrevet av studenter med engelsk som andrespråk fra ELLIPSE-korpuset, paret med AI-oppgaver skrevet på de samme instruksene og AI-oppgaver som deretter ble parafrasert eller humanisert. Dette settet brukes bare til evaluering, aldri til å utvikle detektoren.

MAGE-referansesett (1 600 dokumenter): et offentlig forskningsreferansesett for maskingenerert tekst som vi ikke brukte til å utvikle detektoren. Det inneholder AI-tekst fra modellfamilier som ikke finnes i våre egne data, og en stor andel parafrasert AI-tekst. Siden referansesettet er offentlig, kan den underliggende Gemini-modellen ha sett deler av det under sin egen trening, så les resultatene som et optimistisk tilfelle.

Dette er resultater på våre testsett, ikke en garanti for en bestemt tekst. Korte tekster, tungt redigerte utkast, parafrasert AI-tekst og tekst fra modeller vi ikke har testet, kan gi helt andre scorer.

En lav andel falske positive er ikke null. Hvis du blir flagget, bør du behandle scoren som en grunn til å se nærmere på saken, ikke som bevis – se siden vår om akademisk integritet for hva du kan gjøre.

Tallene er knyttet til én modell og én versjon av hvordan tekst sendes til den. Når vi endrer en av delene, kjører vi evalueringen på nytt og erstatter denne rapporten.

Et evalueringsskript sender hvert testdokument gjennom den samme detektoren som nettstedet bruker, og sammenligner deretter hvert dokuments og hver setnings score med den kjente etiketten. Det rapporterer resultater ved to terskler (50 %, den nettstedet bruker, og 70 % for sammenligning), per språk, sjanger og kilde, og markerer enhver gruppe med færre enn 200 elementer som for liten til å sitere. Denne siden viser bare de større gruppene. Dokumenter som Googles innholdsfilter nektet å behandle, har ingen score og er utelatt fra tallene: 1 i holdt-ute-settet, 0 blant studentoppgavene og 1 i MAGE. Alle andre dokumenter ble scoret.