Kuinka tarkka ZeroTell AI-tunnistin on?
Erillisellä testiaineistollamme, jossa oli 1 826 asiakirjaa 10 kielellä, tunnistin merkitsi AI:ksi 4 671:sta ihmisen kirjoittamasta asiakirjasta (0,6 %) ja tunnisti 90,6 % AI:n kirjoittamista. Tekstissä, jonka toinen malli on parafraseerannut, tulos on paljon huonompi, eikä mikään pistemäärä todista, kuka jotain kirjoitti.
Lyhyt vastaus
ZeroTellin AI-tunnistin lähettää jokaisen tekstin lauseen Googlen Gemini 3.8 Flash -mallille omien pisteytysohjeidemme kanssa. Lause, joka saa 50 % tai enemmän, korostetaan AI-tyylisenä, ja asiakirjan pistemäärä on sen tekstin osuus, joka on korostetuissa lauseissa. 28. lokakuuta 2026 mittasimme täsmälleen sitä mallia ja niitä asetuksia, joita sivusto käyttää, kolmella merkityllä testiaineistolla. Jokainen alla oleva luku tulee suoraan testiskriptimme tuottamasta arviointiraportista; lainaamme vain ryhmiä, joissa on vähintään 200 asiakirjaa tai lausetta.
Kaksi tulosta merkitsee eniten. Ihmisen kirjoittamaa tekstiä merkitään harvoin: 0,6 % erillisen aineiston ihmisasiakirjoista ja 0,9 % sellaisten opiskelijoiden esseistä, joille englanti ei ole äidinkieli. Mutta toisen mallin parafraseeraama AI-teksti jää omassa aineistossamme paljon useammin huomaamatta: vain 71,1 % tällaisista asiakirjoista tunnistettiin erillisessä aineistossa. Julkisessa MAGE-vertailuaineistossa samanlaista tekstiä tunnistettiin paljon useammin (96,9 %), joten tulokset riippuvat voimakkaasti tekstistä.
Tulokset testiaineistoittain (asiakirjatasolla)
Asiakirja lasketaan AI:n kirjoittamaksi, kun sen pistemäärä on 50 % tai enemmän, eli kun vähintään puolet sen tekstistä on korostetuissa lauseissa. Sekamuotoinen testiasiakirja lasketaan AI:n kirjoittamaksi, kun vähintään puolet sen tekstistä on AI:n kirjoittamaa. Väärän positiivisen osuus = ihmisasiakirjat, jotka on virheellisesti merkitty AI:ksi. Tunnistusaste = oikein merkityt AI-asiakirjat. AUROC (0,5 = arvaus, 1,0 = täydellinen erottelu) ei riipu kynnyksestä.
| Testiaineisto | Asiakirjat | AI:ksi merkityt ihmisasiakirjat | Tunnistetut AI-asiakirjat | AUROC |
|---|---|---|---|---|
| Erillinen testiaineisto (10 kieltä) | 1 826 | 0,6 % (4 / 671) | 90,6 % | 0,954 |
| Opiskelijaesseet (kirjoittajat, joille englanti ei ole äidinkieli) | 555 | 0,9 % (2 / 222) | 98,2 % | 0,992 |
| MAGE-julkinen vertailuaineisto (jakauman ulkopuolelta) | 1 599 | 0,3 % (1 / 399) | 96,6 % | 0,990 |
Millainen AI-teksti jää huomaamatta
Tunnistusaste 50 %:n kynnyksellä jaettuna sen mukaan, miten AI-teksti on tuotettu. Ryhmät, joissa on alle 200 asiakirjaa, jätetään pois.
| Testiaineisto | AI-teksti, muokkaamaton | Toisen mallin parafraseeraama AI-teksti |
|---|---|---|
| Erillinen testiaineisto | 97,3 % | 71,1 % |
| MAGE-julkinen vertailuaineisto | 96 % | 96,9 % |
Lausetason tulokset kielittäin
Tunnistin korostaa lauseen, kun sen pistemäärä on 50 % tai enemmän. Erillinen testiaineisto; jokaisessa alla olevassa kielessä on vähintään 200 lausetta.
| Kieli | Lauseet | Korostetut ihmislauseet | Korostetut AI-lauseet | AUROC |
|---|---|---|---|---|
| Englanti | 8 485 | 0,6 % | 91,1 % | 0,986 |
| Kiina | 5 762 | 0,1 % | 92,3 % | 0,980 |
| Japani | 1 588 | 1,6 % | 97,7 % | 0,996 |
| korea | 877 | 0 % | 87,4 % | 0,987 |
| espanja | 1 166 | 0 % | 96,2 % | 0,984 |
| saksa | 1 109 | 1,5 % | 73,5 % | 0,901 |
| italia | 1 038 | 0 % | 99,1 % | 1,000 |
| portugali | 980 | 0 % | 91,4 % | 0,993 |
| malaiji | 1 205 | 0 % | 81,6 % | 0,982 |
| turkki | 1 413 | 1,6 % | 88,6 % | 0,986 |
Kolme testiaineistoa
Erillinen testiaineisto (1 827 asiakirjaa, 23 635 lausetta): kiinteä osuus omasta merkitystä datastamme, jota emme koskaan käytä tunnistimen kehittämiseen. Asiakirjat jaetaan lähderyhmittäin, joten täällä ei ole yhtään kehitysdatamme lähdetekstiä eikä sen AI-uudelleenkirjoituksia. Ihmisten tekstit tulevat julkaistuista lähteistä, joista useimmat on kirjoitettu ennen kuin AI-kirjoitustyökalut yleistyivät (uutiset, tietosanakirja- ja verkkoartikkelit, ihmisten vastaukset kysymyksiin); AI-tekstit sisältävät muokkaamatonta mallin tuottamaa tekstiä, toisen mallin parafrasoimaa tekstiä, humanisoituja luonnoksia ja sekalaisia asiakirjoja 10 kielellä. Useimmat tämän aineiston AI-asiakirjat ovat Gemini- ja GPT-mallien kirjoittamia.
Opiskelijoiden esseet (555 asiakirjaa): ELLIPSE-korpuksen esseet opiskelijoilta, joiden äidinkieli ei ole englanti, sekä niihin liitetyt AI-esseet samoista tehtävänannoista ja AI-esseet, jotka on myöhemmin parafrasoitu tai humanisoitu. Tätä aineistoa käytetään vain arviointiin, ei koskaan tunnistimen kehittämiseen.
MAGE-vertailuaineisto (1 600 asiakirjaa): julkinen tutkimusvertailuaineisto koneellisesti tuotetulle tekstille, jota emme käyttäneet tunnistimen kehittämiseen. Se sisältää AI-tekstiä malliperheistä, jotka eivät ole omassa datassamme, ja suuren osuuden parafrasoitua AI-tekstiä. Koska vertailuaineisto on julkinen, taustalla oleva Gemini-malli on voinut nähdä osia siitä omassa koulutuksessaan, joten sen tuloksia kannattaa lukea optimistisena tapauksena.
Rajoitukset, jotka sinun on hyvä tietää
Nämä ovat tuloksia testiaineistoillamme, eivät tae mistään yksittäisestä tekstistä. Lyhyet tekstit, voimakkaasti muokatut luonnokset, parafrasoitu AI-teksti ja sellaisten mallien kirjoitukset, joita emme testanneet, voivat kaikki saada erilaisia tuloksia.
Matala väärän positiivisen osuus ei ole nolla. Jos sinut merkitään, pidä pisteytystä syynä katsoa tarkemmin, ei todisteena — katso Akateeminen rehellisyys -sivultamme, mitä tehdä.
Luvut liittyvät yhteen malliin ja yhteen versioon siitä, miten teksti sille lähetetään. Kun muutamme jompaakumpaa, teemme arvioinnin uudelleen ja korvaamme tämän raportin.
Näin mittasimme
Arviointiskripti lähettää jokaisen testiasiakirjan saman tunnistimen läpi, jota sivusto käyttää, ja vertaa sitten jokaisen asiakirjan ja lauseen pisteytystä sen tunnettuun luokkaan. Se raportoi tulokset kahdella kynnysarvolla (50 %, jota sivusto käyttää, ja 70 % vertailua varten) kielittäin, lajityypeittäin ja lähteittäin ja merkitsee jokaisen ryhmän, jossa on alle 200 kohdetta, liian pieneksi lainattavaksi. Tämä sivu näyttää vain suuremmat ryhmät. Asiakirjoilla, joita Googlen sisältösuodatin kieltäytyi käsittelemästä, ei ole pisteytystä, ja ne jätetään lukujen ulkopuolelle: 1 erillisessä aineistossa, 0 opiskelijaesseissä ja 1 MAGE-aineistossa. Kaikki muut asiakirjat pisteytettiin.
Tunnistimen tarkkuus – usein kysytyt kysymykset
Erillisessä testiaineistossamme, jossa on 1 826 asiakirjaa, se merkitsi 0,6 % ihmisten asiakirjoista AI:ksi ja tunnisti 90,6 % AI-asiakirjoista (AUROC 0,954). Tulokset vaihtelevat testiaineistoittain, ja parafrasoitu AI-teksti jää paljon useammin havaitsematta.
Harvoin testiaineistoissamme: 0,6 % ihmisten asiakirjoista erillisessä aineistossa ja 0,9 % sellaisten opiskelijoiden esseistä, joiden äidinkieli ei ole englanti. Se ei ole nolla, joten pisteytys ei koskaan yksinään ole todiste.
Vähemmän luotettavasti. Erillisessä aineistossamme toisen mallin parafrasoima AI-teksti tunnistettiin 71,1 % tapauksista, kun taas muokkaamaton AI-teksti tunnistettiin 97,3 % tapauksista. Julkisessa MAGE-vertailuaineistossa parafrasoidun tekstin osuus oli 96,9 %, joten se vaihtelee paljon tekstistä riippuen.
Ei. Teimme sen itse omilla testiaineistoillamme ja julkisella vertailuaineistolla. Julkaisemme menetelmän, aineistot ja rajoitukset, jotta voit arvioida lukuja, ja teemme sen uudelleen aina, kun malli muuttuu.
Ei. Tunnistus on todennäköisyyspohjaista. Käytä pisteytystä yhtenä signaalina luonnosten, versiohistorian ja kirjoittajan kanssa käydyn keskustelun rinnalla, kuten Akateeminen rehellisyys -sivullamme selitetään.
Tarkista teksti ZeroTell AI-tunnistimella
Katso, mitkä lauseet näyttävät AI:n kirjoittamilta ja miksi — ja arvioi sitten itse.
Avaa AI-tunnistin