Wie genau ist der KI-Detektor von ZeroTell?
Auf unserem zurückgehaltenen Testset aus 1.826 Dokumenten in 10 Sprachen hat der Detektor 4 von 671 von Menschen geschriebenen Dokumenten als KI markiert (0,6 %) und 90,6 % der KI-geschriebenen erkannt. Bei Text, den ein anderes Modell paraphrasiert hat, schneidet er deutlich schlechter ab, und kein Score beweist, wer etwas geschrieben hat.
Die kurze Antwort
Der KI-Detektor von ZeroTell schickt jeden Satz eines Textes mit unseren eigenen Bewertungsanweisungen an das Modell Gemini 3.8 Flash von Google. Ein Satz mit einem Score von 50 % oder höher wird als KI-typisch hervorgehoben, und der Score des Dokuments ist der Anteil seines Textes, der in hervorgehobenen Sätzen steht. Am 28. Oktober 2026 haben wir genau das Modell und die Einstellungen, die die Website verwendet, auf drei gelabelten Testsets gemessen. Jede Zahl unten stammt direkt aus dem Evaluierungsbericht, den unser Testskript erstellt hat; wir zitieren nur Gruppen mit mindestens 200 Dokumenten oder Sätzen.
Zwei Ergebnisse zählen am meisten. Menschliche Texte werden selten markiert: 0,6 % der menschlichen Dokumente im zurückgehaltenen Testset und 0,9 % der Essays von Lernenden, deren Muttersprache nicht Englisch ist. KI-Text, den ein anderes Modell paraphrasiert hat, wird in unseren eigenen Daten dagegen deutlich häufiger übersehen: Im zurückgehaltenen Testset wurden nur 71,1 % solcher Dokumente erkannt. Im öffentlichen MAGE-Benchmark wurde dieselbe Art von Text deutlich häufiger erkannt (96,9 %) – die Ergebnisse hängen also stark vom Text ab.
Ergebnisse nach Testset (Dokumentebene)
Ein Dokument gilt als KI-geschrieben, wenn sein Score bei 50 % oder höher liegt, also wenn mindestens die Hälfte seines Textes in hervorgehobenen Sätzen steht. Ein gemischtes Testdokument gilt als KI-geschrieben, wenn mindestens die Hälfte seines Textes von KI geschrieben wurde. Falsch-Positiv-Rate = menschliche Dokumente, die fälschlich als KI markiert wurden. Erkennungsrate = KI-Dokumente, die korrekt markiert wurden. Die AUROC (0,5 = Raten, 1,0 = perfekte Trennung) hängt nicht vom Schwellenwert ab.
| Testset | Dokumente | Als KI markierte menschliche Dokumente | Erkannte KI-Dokumente | AUROC |
|---|---|---|---|---|
| Zurückgehaltenes Testset (10 Sprachen) | 1.826 | 0,6 % (4 von 671) | 90,6 % | 0,954 |
| Essays von Lernenden (Muttersprache nicht Englisch) | 555 | 0,9 % (2 von 222) | 98,2 % | 0,992 |
| Öffentlicher MAGE-Benchmark (Out-of-Distribution) | 1.599 | 0,3 % (1 von 399) | 96,6 % | 0,990 |
Welche Art von KI-Text übersehen wird
Erkennungsrate beim Schwellenwert von 50 %, aufgeschlüsselt danach, wie der KI-Text entstanden ist. Gruppen mit weniger als 200 Dokumenten sind ausgelassen.
| Testset | KI-Text, unbearbeitet | KI-Text, von einem anderen Modell paraphrasiert |
|---|---|---|
| Zurückgehaltenes Testset | 97,3 % | 71,1 % |
| Öffentlicher MAGE-Benchmark | 96 % | 96,9 % |
Ergebnisse auf Satzebene nach Sprache
Der Detektor hebt einen Satz hervor, wenn sein Score bei 50 % oder höher liegt. Zurückgehaltenes Testset; jede Sprache unten hat mindestens 200 Sätze.
| Sprache | Sätze | Hervorgehobene menschliche Sätze | Hervorgehobene KI-Sätze | AUROC |
|---|---|---|---|---|
| Englisch | 8.485 | 0,6 % | 91,1 % | 0,986 |
| Chinesisch | 5.762 | 0,1 % | 92,3 % | 0,980 |
| Japanisch | 1.588 | 1,6 % | 97,7 % | 0,996 |
| Koreanisch | 877 | 0 % | 87,4 % | 0,987 |
| Spanisch | 1.166 | 0 % | 96,2 % | 0,984 |
| Deutsch | 1.109 | 1,5 % | 73,5 % | 0,901 |
| Italienisch | 1.038 | 0 % | 99,1 % | 1,000 |
| Portugiesisch | 980 | 0 % | 91,4 % | 0,993 |
| Malaiisch | 1.205 | 0 % | 81,6 % | 0,982 |
| Türkisch | 1.413 | 1,6 % | 88,6 % | 0,986 |
Die drei Testsets
Zurückgehaltenes Testset (1.827 Dokumente, 23.635 Sätze): ein fester Anteil unserer eigenen gelabelten Daten, den wir nie zur Entwicklung des Detektors verwenden. Dokumente werden nach Quellgruppe zugeordnet, sodass hier kein Quelltext aus unseren Entwicklungsdaten und keine seiner KI-Umschreibungen vorkommt. Menschliche Texte stammen aus veröffentlichten Quellen, die meisten davon geschrieben, bevor KI-Schreibtools verbreitet waren (Nachrichten, Enzyklopädie- und Webartikel, menschliche Antworten auf Fragen); KI-Texte umfassen unbearbeitete Modellausgaben, von einem zweiten Modell paraphrasierten Text, humanisierte Entwürfe und gemischte Dokumente, in 10 Sprachen. Die meisten KI-Dokumente in diesem Set wurden von Gemini- und GPT-Modellen geschrieben.
Essays von Lernenden (555 Dokumente): Essays von Lernenden mit einer anderen Muttersprache als Englisch aus dem ELLIPSE-Korpus, gepaart mit KI-Essays zu denselben Aufgabenstellungen und mit KI-Essays, die anschließend paraphrasiert oder humanisiert wurden. Dieses Set dient nur der Evaluierung, nie der Entwicklung des Detektors.
MAGE-Benchmark (1.600 Dokumente): ein öffentlicher Forschungsbenchmark für maschinell erzeugten Text, den wir nicht zur Entwicklung des Detektors verwendet haben. Er enthält KI-Text von Modellfamilien, die in unseren eigenen Daten nicht vorkommen, und einen großen Anteil paraphrasierten KI-Texts. Weil der Benchmark öffentlich ist, kann das zugrunde liegende Gemini-Modell Teile davon in seinem eigenen Training gesehen haben; lies seine Ergebnisse daher als optimistischen Fall.
Grenzen, die du kennen solltest
Das sind Ergebnisse auf unseren Testsets, keine Garantie für einen bestimmten Text. Kurze Texte, stark bearbeitete Entwürfe, paraphrasierter KI-Text und Texte von Modellen, die wir nicht getestet haben, können alle anders abschneiden.
Eine niedrige Falsch-Positiv-Rate ist nicht null. Wenn dein Text markiert wird, sieh den Score als Anlass, genauer hinzuschauen, nicht als Beweis – was du tun kannst, steht auf unserer Seite zur akademischen Integrität.
Die Zahlen gelten für ein bestimmtes Modell und eine bestimmte Version der Art, wie Text an dieses Modell gesendet wird. Ändern wir eins von beidem, führen wir die Evaluierung erneut durch und ersetzen diesen Bericht.
Wie wir gemessen haben
Ein Evaluierungsskript schickt jedes Testdokument durch denselben Detektor, den die Website nutzt, und vergleicht dann den Score jedes Dokuments und jedes Satzes mit seinem bekannten Label. Es meldet Ergebnisse bei zwei Schwellenwerten (50 %, den Schwellenwert der Website, und 70 % zum Vergleich), nach Sprache, Genre und Quelle, und kennzeichnet jede Gruppe mit weniger als 200 Elementen als zu klein zum Zitieren. Diese Seite zeigt nur diese größeren Gruppen. Dokumente, deren Verarbeitung der Inhaltsfilter von Google abgelehnt hat, haben keinen Score und fließen nicht in die Zahlen ein: 1 im zurückgehaltenen Testset, 0 bei den Essays von Lernenden und 1 in MAGE. Alle anderen Dokumente wurden bewertet.
Häufige Fragen zur Genauigkeit des Detektors
Auf unserem zurückgehaltenen Testset aus 1.826 Dokumenten hat er 0,6 % der menschlichen Dokumente als KI markiert und 90,6 % der KI-Dokumente erkannt (AUROC 0,954). Die Ergebnisse unterscheiden sich je nach Testset, und paraphrasierter KI-Text wird deutlich seltener erkannt.
Auf unseren Testsets selten: 0,6 % der menschlichen Dokumente im zurückgehaltenen Testset und 0,9 % der Essays von Lernenden mit einer anderen Muttersprache als Englisch. Das ist nicht null, ein Score allein ist also nie ein Beweis.
Weniger zuverlässig. In unserem zurückgehaltenen Testset wurde KI-Text, den ein anderes Modell paraphrasiert hat, in 71,1 % der Fälle erkannt, gegenüber 97,3 % bei unbearbeitetem KI-Text. Im öffentlichen MAGE-Benchmark lag die Rate für paraphrasierten Text bei 96,9 % – sie schwankt also stark je nach Text.
Nein. Wir haben ihn selbst durchgeführt, auf unseren eigenen Testsets und einem öffentlichen Benchmark. Wir veröffentlichen Methode, Testsets und Grenzen, damit du die Zahlen beurteilen kannst, und wiederholen den Test bei jeder Modelländerung.
Nein. Erkennung ist probabilistisch. Nutze den Score als ein Signal neben Entwürfen, Versionsverlauf und einem Gespräch mit der Person, die den Text geschrieben hat – so wie es unsere Seite zur akademischen Integrität erklärt.
Prüfe einen Text mit dem KI-Detektor von ZeroTell
Sieh, welche Sätze nach KI aussehen und warum – und urteile dann selbst.
KI-Detektor öffnen