AI 탐지기는 얼마나 정확할까? 오탐과 미탐 총정리

두 가지 종류의 실수

탐지기가 얼마나 정확하냐고 물을 때 사람들은 보통 숫자 하나를 떠올립니다. 하지만 탐지기는 서로 다른 두 방식으로 실패할 수 있고, 두 방식은 서로 다른 사람에게 중요합니다.

오탐은 사람이 쓴 글을 AI로 표시하는 것입니다. 정직하게 한 과제로 의심을 받을 수 있는 학생에게 피해가 갑니다. 미탐은 AI 텍스트를 사람의 글로 표시하는 것입니다. 제출물을 AI가 썼는지 알고 싶은 교수자에게 중요합니다. "정확도 99%"라는 주장은 둘 중 무엇을, 어떤 종류의 글로 측정했는지 모르면 아무것도 알려 주지 않습니다.

임계값은 한 오류를 다른 오류와 맞바꿉니다

탐지기는 점수를 내고, 임계값이 그 점수를 라벨로 바꿉니다. 임계값을 올리면 표시되는 사람 글은 줄지만 빠져나가는 AI 텍스트는 늘어납니다. 내리면 반대가 됩니다. 두 오류를 모두 없애는 설정은 없습니다.

억울한 의심은 대가가 크므로, 저희는 사람이 쓴 학술 글의 오탐이 적도록 임계값을 정했습니다. 척도에는 "사람 작성 가능성 높음", "불확실", "AI 가능성 높음"의 세 판정이 있으며, 경계에 있는 글을 억지로 확정적인 라벨에 넣지 않도록 "불확실" 구간을 두었습니다.

저희가 공개한 수치가 보여 주는 것

사람이 쓴 학술 텍스트 583건으로 보정하고 테스트했으며, 결과를 그룹별로 공개합니다. 이것은 특정 테스트 집합에서 저희 탐지기를 측정한 값이지, 모든 글에 대한 약속이 아닙니다.

사람이 쓴 글 중 "AI 가능성 높음"으로 판정된 비율은 별도로 보관한 두 집합에서 1%와 0.7%였습니다. 그룹별로는 학생 에세이 1%, 프리프린트 초록 0.5%, 비원어민 저자의 논문 1.1%, 2022년 이전에 쓰인 백과사전 텍스트 2.6%였습니다. AI 텍스트는 편집 없는 2026년 AI 텍스트의 96.9%가 "AI 가능성 높음"으로 판정되었고, 공개 벤치마크에서는 96.5%였습니다.

정확도가 떨어지는 곳

모든 탐지기에는 신뢰도가 떨어지는 조건이 있고, 그것을 숨기기보다 나열하는 편이 정직합니다.

• 짧은 글: 몇 문장으로는 증거가 너무 부족합니다. 저희 탐지기는 50단어 미만에는 판정을 내지 않습니다.
• 새로운 모델: 탐지기는 이전 출력으로 학습하므로, 탐지기가 업데이트되기 전까지는 새 시스템을 알아보기 어려울 수 있습니다.
• 다시 쓴 AI 텍스트: 공개 벤치마크에서 패러프레이징한 AI 텍스트의 84%가 여전히 "AI 가능성 높음"으로 판정되었지만, 다른 AI 모델이 패러프레이징한 경우는 50.5%, 휴머나이저 도구를 거친 경우는 59.5%였습니다. 글을 다시 쓰고 나면 탐지가 약해집니다.
• 학술 글 밖의 장르: 광고나 보도자료 같은 일반 웹 텍스트에서는 사람이 쓴 글의 32.7%가 "AI 가능성 높음"으로 판정되었습니다. 탐지기가 학술 글에 맞춰 보정되어 있기 때문입니다.
• 다른 언어: 저희 탐지기는 영어 전용입니다.

오탐이 드문 이상 현상이 아닌 이유

약 100건 중 1건이라는 비율은 작게 들리지만, 수천 건의 제출물에서는 실제 학생이 표시된다는 뜻입니다. 그래서 탐지기 결과는 대화를 끝내는 것이 아니라 시작하는 것이어야 하고, 표시된 학생에게는 초안을 보여 주고 자기 글을 설명할 기회가 주어져야 합니다.

반대도 마찬가지입니다. 깨끗한 결과가 AI가 전혀 쓰이지 않았음을 증명하지는 않습니다. 다시 쓰거나 가볍게 편집한 AI 텍스트는 점수가 더 낮게 나올 수 있기 때문입니다.

탐지기를 현명하게 쓰는 방법

잘 쓰면 탐지기는 선별 도구입니다. 한 번 더 볼 만한 대목을 짚어 주고, 작성자는 그것을 고쳐 쓰거나 교수자는 그것을 두고 이야기할 수 있습니다.

대표 숫자만 보지 말고 문장 단위 강조 표시를 보세요. 글의 길이와 장르를 확인하세요. 작성자의 다른 글과 비교하고 작성 과정을 물어보세요. 무료로 시도해 볼 수 있습니다. AITurnitin은 계정 없이 1,000단어까지 검사하며, 텍스트는 24시간 이내에 삭제됩니다.

자주 묻는 질문