ข้ามไปที่เนื้อหา
ลองใช้ ZeroTell

เครื่องตรวจจับข้อความ AI ของ ZeroTell แม่นยำแค่ไหน

จากชุดทดสอบที่แยกเก็บไว้ (held-out) ของเราจำนวน 1,826 เอกสารใน 10 ภาษา เครื่องตรวจจับระบุว่า 4 จาก 671 เอกสารที่มนุษย์เขียนเป็นข้อความ AI (0.6%) และตรวจจับข้อความที่ AI เขียนได้ 90.6% แต่กับข้อความที่ถูกโมเดลอื่นถอดความใหม่ เครื่องตรวจจับทำได้แย่ลงมาก และไม่มีคะแนนใดพิสูจน์ได้ว่าใครเป็นคนเขียน

คำตอบสั้น ๆ

เครื่องตรวจจับข้อความ AI ของ ZeroTell ส่งทุกประโยคของข้อความไปยังโมเดล Gemini 3.8 Flash ของ Google พร้อมคำสั่งให้คะแนนของเราเอง ประโยคที่ได้คะแนน 50% ขึ้นไปจะถูกไฮไลต์ว่าเป็นข้อความคล้าย AI และคะแนนของเอกสารคือสัดส่วนของข้อความที่อยู่ในประโยคที่ถูกไฮไลต์ เมื่อ 28 ตุลาคม 2569 เราได้วัดโมเดลและการตั้งค่าที่เว็บไซต์ใช้จริงบนชุดทดสอบที่มีป้ายกำกับสามชุด ทุกตัวเลขด้านล่างมาจากรายงานการประเมินที่สคริปต์ทดสอบของเราสร้างขึ้นโดยตรง เราแสดงเฉพาะกลุ่มที่มีเอกสารหรือประโยคอย่างน้อย 200 รายการ

ผลลัพธ์สองข้อสำคัญที่สุด งานเขียนของมนุษย์แทบไม่ถูกระบุผิด: 0.6% ของเอกสารที่มนุษย์เขียนในชุดที่แยกเก็บไว้ และ 0.9% ของเรียงความที่เขียนโดยนักศึกษาที่ไม่ใช่เจ้าของภาษาอังกฤษ แต่ข้อความ AI ที่ถูกโมเดลอื่นถอดความใหม่กลับถูกมองข้ามบ่อยกว่ามากในข้อมูลของเราเอง: มีเพียง 71.1% ของเอกสารประเภทนี้ที่ถูกจับได้ในชุดที่แยกเก็บไว้ บนชุดทดสอบสาธารณะ MAGE ข้อความประเภทเดียวกันถูกจับได้บ่อยกว่ามาก (96.9%) ดังนั้นผลลัพธ์จึงขึ้นอยู่กับข้อความอย่างมาก

ผลลัพธ์แยกตามชุดทดสอบ (ระดับเอกสาร)

เอกสถารถือเป็นข้อความที่ AI เขียนเมื่อมีคะแนน 50% ขึ้นไป นั่นคือเมื่อข้อความอย่างน้อยครึ่งหนึ่งอยู่ในประโยคที่ถูกไฮไลต์ เอกสารทดสอบแบบผสมถือว่า AI เขียนเมื่อข้อความอย่างน้อยครึ่งหนึ่งเขียนโดย AI อัตราการระบุผิด (false positive) = เอกสารที่มนุษย์เขียนแต่ถูกระบุว่าเป็น AI อย่างผิดพลาด อัตราการตรวจจับ = เอกสาร AI ที่ถูกระบุอย่างถูกต้อง AUROC (0.5 = เดาสุ่ม, 1.0 = แยกได้สมบูรณ์) ไม่ขึ้นอยู่กับเกณฑ์ตัดสิน

ชุดทดสอบเอกสารเอกสารที่มนุษย์เขียนแต่ถูกระบุว่าเป็น AIเอกสาร AI ที่ตรวจจับได้AUROC
ชุดทดสอบที่แยกเก็บไว้ (10 ภาษา)1,8260.6% (4 จาก 671)90.6%0.954
เรียงความของนักศึกษา (ผู้เขียนที่ไม่ใช่เจ้าของภาษาอังกฤษ)5550.9% (2 จาก 222)98.2%0.992
ชุดทดสอบสาธารณะ MAGE (นอกการกระจายของข้อมูล)1,5990.3% (1 จาก 399)96.6%0.990

ข้อความ AI แบบไหนที่ถูกมองข้าม

อัตราการตรวจจับที่เกณฑ์ 50% แยกตามวิธีที่ข้อความ AI ถูกสร้างขึ้น กลุ่มที่มีเอกสารน้อยกว่า 200 รายการจะไม่แสดง

ชุดทดสอบข้อความ AI ที่ไม่ได้แก้ไขข้อความ AI ที่ถูกโมเดลอื่นถอดความใหม่
ชุดทดสอบที่แยกเก็บไว้97.3%71.1%
ชุดทดสอบสาธารณะ MAGE96%96.9%

ผลลัพธ์ระดับประโยคแยกตามภาษา

เครื่องตรวจจับจะไฮไลต์ประโยคเมื่อคะแนน 50% ขึ้นไป ใช้ชุดทดสอบที่แยกเก็บไว้ ทุกภาษาด้านล่างมีอย่างน้อย 200 ประโยค

ภาษาประโยคประโยคที่มนุษย์เขียนแต่ถูกไฮไลต์ประโยค AI ที่ถูกไฮไลต์AUROC
อังกฤษ8,4850.6%91.1%0.986
จีน5,7620.1%92.3%0.980
ญี่ปุ่น1,5881.6%97.7%0.996
เกาหลี8770%87.4%0.987
สเปน1,1660%96.2%0.984
เยอรมัน1,1091.5%73.5%0.901
อิตาลี1,0380%99.1%1.000
โปรตุเกส9800%91.4%0.993
มาเลย์1,2050%81.6%0.982
ตุรกี1,4131.6%88.6%0.986

ชุดทดสอบทั้งสามชุด

ชุดทดสอบแบบ held-out (1,827 เอกสาร, 23,635 ประโยค): สัดส่วนคงที่ของข้อมูลที่เราติดป้ายกำกับเอง ซึ่งเราไม่เคยใช้ในการพัฒนาเครื่องตรวจจับเลย เอกสารถูกแบ่งตามกลุ่มแหล่งที่มา ดังนั้นจะไม่มีข้อความต้นฉบับจากข้อมูลที่ใช้พัฒนาหรือฉบับที่ AI เขียนใหม่ปรากฏอยู่ที่นี่ ข้อความของมนุษย์มาจากแหล่งที่เผยแพร่แล้ว ส่วนใหญ่เขียนขึ้นก่อนที่เครื่องมือเขียนด้วย AI จะเป็นที่นิยม (ข่าว บทความสารานุกรมและบทความบนเว็บ คำตอบจากมนุษย์) ส่วนข้อความ AI รวมถึงผลลัพธ์จากโมเดลที่ยังไม่ได้แก้ไข ข้อความที่ถูกถอดความโดยโมเดลตัวที่สอง ฉบับที่ผ่านการทำให้เป็นมนุษย์ และเอกสารแบบผสม ใน 10 ภาษา เอกสาร AI ส่วนใหญ่ในชุดนี้เขียนโดยโมเดล Gemini และ GPT

เรียงความของนักเรียน (555 เอกสาร): เรียงความของนักเรียนที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่จากคลังข้อมูล ELLIPSE จับคู่กับเรียงความที่ AI เขียนจากโจทย์เดียวกัน และเรียงความ AI ที่ถูกถอดความหรือทำให้เป็นมนุษย์ในภายหลัง ชุดนี้ใช้เพื่อการประเมินเท่านั้น ไม่เคยใช้พัฒนาเครื่องตรวจจับ

เกณฑ์มาตรฐาน MAGE (1,600 เอกสาร): เกณฑ์มาตรฐานงานวิจัยสาธารณะสำหรับข้อความที่สร้างโดยเครื่อง ซึ่งเราไม่ได้ใช้พัฒนาเครื่องตรวจจับ ประกอบด้วยข้อความ AI จากตระกูลโมเดลที่ไม่มีอยู่ในข้อมูลของเรา และข้อความ AI ที่ถูกถอดความในสัดส่วนสูง เนื่องจากเกณฑ์มาตรฐานนี้เป็นสาธารณะ โมเดล Gemini ที่เป็นฐานอาจเคยเห็นบางส่วนระหว่างการฝึกของมันเอง จึงควรอ่านผลลัพธ์เป็นกรณีที่ดีที่สุด

ข้อจำกัดที่คุณควรรู้

นี่คือผลลัพธ์บนชุดทดสอบของเรา ไม่ใช่การรับประกันสำหรับข้อความใดข้อความหนึ่ง ข้อความสั้น ฉบับที่ถูกแก้ไขอย่างหนัก ข้อความ AI ที่ถูกถอดความ และงานเขียนจากโมเดลที่เราไม่ได้ทดสอบ ล้วนให้คะแนนที่แตกต่างกันได้

อัตราการตรวจจับผิดว่าเป็น AI ที่ต่ำไม่ใช่ศูนย์ หากคุณถูกflagged ให้ถือว่าคะแนนเป็นเหตุผลให้ตรวจสอบให้ละเอียดขึ้น ไม่ใช่หลักฐาน — ดูหน้า ความซื่อสัตย์ทางวิชาการ ของเราเพื่อดูว่าควรทำอย่างไร

ตัวเลขเหล่านี้ผูกกับโมเดลหนึ่งและวิธีการส่งข้อความเข้าโมเดลหนึ่งรูปแบบ เมื่อเราเปลี่ยนอย่างใดอย่างหนึ่ง เราจะรันการประเมินใหม่และแทนที่รายงานนี้

วิธีที่เราวัดผล

สคริปต์ประเมินจะส่งเอกสารทดสอบทุกฉบับผ่านเครื่องตรวจจับตัวเดียวกับที่เว็บไซต์ใช้ จากนั้นเปรียบเทียบคะแนนของแต่ละเอกสารและแต่ละประโยคกับป้ายกำกับที่ทราบอยู่แล้ว รายงานผลที่สองเกณฑ์ (50% ซึ่งเป็นเกณฑ์ที่เว็บไซต์ใช้ และ 70% เพื่อการเปรียบเทียบ) แยกตามภาษา ประเภท และแหล่งที่มา และจะทำเครื่องหมายกลุ่มที่มีรายการน้อยกว่า 200 รายการว่าเล็กเกินกว่าจะอ้างอิง หน้านี้แสดงเฉพาะกลุ่มที่ใหญ่กว่านั้น เอกสารที่ตัวกรองเนื้อหาของ Google ปฏิเสธที่จะประมวลผลจะไม่มีคะแนนและถูกตัดออกจากตัวเลข: 1 ในชุด held-out, 0 ในกลุ่มเรียงความของนักเรียน และ 1 ใน MAGE เอกสารอื่นทั้งหมดได้รับการให้คะแนนแล้ว

คำถามที่พบบ่อยเกี่ยวกับความแม่นยำของเครื่องตรวจจับ

บนชุดทดสอบ held-out ของเราที่มี 1,826 เอกสาร เครื่องตรวจจับระบุว่าเอกสารของมนุษย์เป็น AI คิดเป็น 0.6% และตรวจจับเอกสาร AI ได้ 90.6% (AUROC 0.954) ผลลัพธ์แตกต่างกันไปตามชุดทดสอบ และข้อความ AI ที่ถูกถอดความถูกจับได้น้อยกว่ามาก

แทบไม่เกิดขึ้นบนชุดทดสอบของเรา: 0.6% ของเอกสารมนุษย์ในชุด held-out และ 0.9% ของเรียงความจากนักเรียนที่ไม่ได้ใช้ภาษาอังกฤษเป็นภาษาแม่ แต่นั่นก็ไม่ใช่ศูนย์ คะแนนจึงไม่เคยเป็นหลักฐานในตัวเอง

ได้น้อยกว่า ในชุด held-out ของเรา ข้อความ AI ที่ถูกโมเดลอื่นถอดความถูกตรวจจับได้ 71.1% ของเวลา เทียบกับ 97.3% สำหรับข้อความ AI ที่ยังไม่ได้แก้ไข บนเกณฑ์มาตรฐานสาธารณะ MAGE อัตราของข้อความที่ถูกถอดความอยู่ที่ 96.9% จึงแตกต่างกันมากตามข้อความ

ไม่ใช่ เรารันการทดสอบเองบนชุดทดสอบของเราเองและเกณฑ์มาตรฐานสาธารณะ เราเผยแพร่วิธีการ ชุดข้อมูล และข้อจำกัด เพื่อให้คุณตัดสินตัวเลขได้ด้วยตัวเอง และเราจะรันใหม่ทุกครั้งที่โมเดลเปลี่ยน

ไม่ได้ การตรวจจับเป็นเรื่องของความน่าจะเป็น ให้ใช้คะแนนเป็นสัญญาณหนึ่งร่วมกับฉบับร่าง ประวัติเวอร์ชัน และการพูดคุยกับผู้เขียน ตามที่อธิบายไว้ในหน้า ความซื่อสัตย์ทางวิชาการ ของเรา

ตรวจข้อความด้วยเครื่องตรวจจับข้อความ AI ของ ZeroTell

ดูว่าประโยคใดดูเหมือนเขียนโดย AI และเพราะอะไร — แล้วตัดสินด้วยตัวคุณเอง

เปิดเครื่องตรวจจับข้อความ AI