Jak dokładny jest Detektor AI ZeroTell?

Detektor AI ZeroTell wysyła każde zdanie tekstu do modelu Gemini 3.8 Flash firmy Google wraz z naszymi własnymi instrukcjami oceniania. Zdanie, które otrzyma 50% lub więcej, jest wyróżniane jako tekst podobny do AI, a wynik dokumentu to udział jego tekstu w wyróżnionych zdaniach. W dniu 28 października 2026 zmierzyliśmy dokładny model i ustawienia, których używa strona, na trzech oznaczonych zbiorach testowych. Każda liczba poniżej pochodzi wprost z raportu z oceny wygenerowanego przez nasz skrypt testowy; podajemy tylko grupy liczące co najmniej 200 dokumentów lub zdań.

Najważniejsze są dwa wyniki. Teksty pisane przez ludzi rzadko są oznaczane: 0,6% dokumentów ludzkich w odłożonym zbiorze i 0,9% esejów napisanych przez studentów, dla których angielski nie jest językiem ojczystym. Jednak tekst AI sparafrazowany przez inny model jest znacznie częściej pomijany w naszych własnych danych: w odłożonym zbiorze wykryto tylko 71,1% takich dokumentów. W publicznym benchmarku MAGE ten sam rodzaj tekstu był wykrywany znacznie częściej (96,9%), więc wyniki silnie zależą od tekstu.

Zbiór testowy odłożony (1827 dokumentów, 23 635 zdań): stała część naszych własnych oznaczonych danych, której nigdy nie używamy do tworzenia detektora. Dokumenty są przypisywane według grup źródłowych, więc nie pojawia się tu żaden tekst źródłowy z naszych danych rozwojowych ani żadna jego parafraza AI. Teksty ludzkie pochodzą z publikowanych źródeł, w większości napisanych, zanim narzędzia AI do pisania stały się powszechne (artykuły informacyjne, encyklopedyczne i internetowe, ludzkie odpowiedzi na pytania); teksty AI obejmują nieedytowane wyniki modeli, tekst sparafrazowany przez drugi model, humanizowane wersje robocze i dokumenty mieszane, w 10 językach. Większość dokumentów AI w tym zbiorze napisały modele Gemini i GPT.

Wypracowania uczniów (555 dokumentów): wypracowania uczniów, dla których angielski nie jest językiem ojczystym, z korpusu ELLIPSE, w zestawieniu z esejami AI napisanymi na te same tematy oraz esejami AI, które następnie sparafrazowano lub shumanizowano. Ten zbiór służy wyłącznie do ewaluacji, nigdy do tworzenia detektora.

Benchmark MAGE (1600 dokumentów): publiczny benchmark badawczy dla tekstów generowanych maszynowo, którego nie używaliśmy do tworzenia detektora. Zawiera teksty AI z rodzin modeli, których nie ma w naszych danych, oraz duży udział sparafrazowanych tekstów AI. Ponieważ benchmark jest publiczny, bazowy model Gemini mógł widzieć jego fragmenty podczas własnego trenowania, więc traktuj jego wyniki jako optymistyczny scenariusz.

To wyniki na naszych zbiorach testowych, a nie gwarancja dla konkretnego tekstu. Krótkie teksty, mocno edytowane wersje robocze, sparafrazowany tekst AI i teksty z modeli, których nie testowaliśmy, mogą wypadać inaczej.

Niski odsetek fałszywych trafień to nie zero. Jeśli Twój tekst zostanie oznaczony, potraktuj wynik jako powód, by przyjrzeć się bliżej, a nie jako dowód — zobacz naszą stronę Uczciwość akademicka, gdzie wyjaśniamy, co zrobić.

Liczby dotyczą jednego modelu i jednej wersji sposobu przekazywania mu tekstu. Gdy zmieniamy jedno lub drugie, ponownie przeprowadzamy ewaluację i zastępujemy ten raport.

Skrypt ewaluacyjny przepuszcza każdy dokument testowy przez ten sam detektor, którego używa strona, a następnie porównuje wynik każdego dokumentu i każdego zdania z jego znaną etykietą. Raportuje wyniki przy dwóch progach (50%, czyli tym używanym na stronie, i 70% dla porównania), według języka, gatunku i źródła, a każdą grupę mniejszą niż 200 elementów oznacza jako zbyt małą, by ją przytaczać. Ta strona pokazuje tylko większe grupy. Dokumenty, których filtr treści Google odmówił przetworzenia, nie mają wyniku i są pomijane w liczbach: 1 w zbiorze odłożonym, 0 wśród wypracowań uczniów i 1 w MAGE. Każdy inny dokument został oceniony.