Hvor præcis er ZeroTells AI-detektor?

ZeroTells AI-detektor sender hver sætning i en tekst til Googles Gemini 3.8 Flash-model med vores egne scoringsinstruktioner. En sætning, der scorer 50 % eller mere, markeres som AI-agtig, og dokumentets score er andelen af teksten, der ligger i markerede sætninger. Den 28. oktober 2026 målte vi den præcise model og de indstillinger, som siden bruger, på tre mærkede testsæt. Hvert tal nedenfor kommer direkte fra evalueringsrapporten, som vores testscript producerede; vi citerer kun grupper med mindst 200 dokumenter eller sætninger.

To resultater betyder mest. Menneskelig tekst bliver sjældent markeret: 0,6 % af de menneskeskrevne dokumenter i holdout-sættet og 0,9 % af de essays, som studerende med engelsk som andetsprog har skrevet. Men AI-tekst, der er parafraseret af en anden model, bliver langt oftere overset i vores egne data: kun 71,1 % af sådanne dokumenter blev fanget i holdout-sættet. På den offentlige MAGE-benchmark blev samme slags tekst fanget langt oftere (96,9 %), så resultaterne afhænger stærkt af teksten.

Held-out-testsæt (1.827 dokumenter, 23.635 sætninger): en fast andel af vores egne mærkede data, som vi aldrig bruger til at udvikle detektoren. Dokumenter tildeles efter kildegruppe, så ingen kildetekst fra vores udviklingsdata og ingen af dens AI-omskrivninger optræder her. Menneskelige tekster kommer fra offentliggjorte kilder, de fleste skrevet før AI-skriveværktøjer blev almindelige (nyheder, encyklopædi- og webartikler, menneskelige svar på spørgsmål); AI-tekster omfatter uredigerede modeloutput, tekst parafraseret af en anden model, humaniserede udkast og blandede dokumenter på 10 sprog. De fleste AI-dokumenter i dette sæt blev skrevet af Gemini- og GPT-modeller.

Studentopgaver (555 dokumenter): opgaver skrevet af studerende med engelsk som andetsprog fra ELLIPSE-korpuset, parret med AI-opgaver skrevet på samme prompts og AI-opgaver, der derefter blev parafraseret eller humaniseret. Dette sæt bruges kun til evaluering, aldrig til at udvikle detektoren.

MAGE-benchmark (1.600 dokumenter): et offentligt forskningsbenchmark for maskingenereret tekst, som vi ikke brugte til at udvikle detektoren. Det indeholder AI-tekst fra modelfamilier, der ikke findes i vores egne data, og en stor andel parafraseret AI-tekst. Fordi benchmarken er offentlig, kan den underliggende Gemini-model have set dele af den under sin egen træning, så læs resultaterne som et optimistisk tilfælde.

Dette er resultater på vores testsæt, ikke en garanti for en bestemt tekst. Korte tekster, stærkt redigerede udkast, parafraseret AI-tekst og tekster fra modeller, vi ikke har testet, kan alle score forskelligt.

En lav falsk-positiv-rate er ikke nul. Hvis du bliver markeret, skal du behandle scoren som en grund til at se nærmere på det, ikke som bevis — se vores side om akademisk integritet for at få at vide, hvad du kan gøre.

Tallene er knyttet til én model og én version af, hvordan tekst sendes til den. Når vi ændrer en af delene, kører vi evalueringen igen og erstatter denne rapport.

Et evalueringsscript sender hvert testdokument gennem den samme detektor, som siden bruger, og sammenligner derefter hvert dokuments og hver sætnings score med dens kendte label. Det rapporterer resultater ved to tærskler (50 %, den siden bruger, og 70 % til sammenligning), fordelt på sprog, genre og kilde, og markerer enhver gruppe med færre end 200 elementer som for lille til at citere. Denne side viser kun de større grupper. Dokumenter, som Googles indholdsfilter afviste at behandle, har ingen score og er udeladt af tallene: 1 i held-out-sættet, 0 blandt studentopgaverne og 1 i MAGE. Alle andre dokumenter blev scoret.