탐지기는 얼마나 정확한가요?
탐지기를 어떻게 측정했는지, 어디에서 실패하는지 공개합니다. 결과에 의존하기 전에 꼭 읽어 보세요.
모델
오픈소스 desklib AI 텍스트 탐지기(DeBERTa-v3-large, MIT 라이선스)를 자체 서버에서 실행합니다. 텍스트를 윈도우 단위로 나누며, 문서 점수는 토큰 가중 평균이고 문장 점수는 겹치는 윈도우에서 산출합니다.
실제 학술 글 기반 보정
임계값은 사람이 작성한 학술 텍스트 583건(arXiv 초록, 비원어민 저자의 PubMed Central 논문, 학생 에세이)을 기준으로 설정했습니다. "AI 가능성 높음"은 해당 사람 작성 텍스트의 약 1%가 이 기준을 넘도록 설정했으며, "불확실"은 1%에서 5% 사이 구간입니다.
별도 보관한 사람 작성 텍스트에서의 오탐
2-폴드 분할에서, 별도 보관한 사람 작성 학술 텍스트 중 "AI 가능성 높음"으로 판정된 비율은 1%와 0.7%였습니다.
텍스트 그룹별 결과
| 그룹 | 텍스트 수 | "AI 가능성 높음"으로 판정 | "AI 가능성 높음" 또는 "불확실"로 판정 |
|---|---|---|---|
| 사람: arXiv 초록 | 200 | 0.5% | 3.5% |
| 사람: PubMed Central, 비원어민 저자 | 183 | 1.1% | 6% |
| 사람: 학생 에세이 | 200 | 1% | 5.5% |
| 사람: 위키백과(2022년 이전) | 155 | 2.6% | 8.4% |
| 사람: 일반 웹 텍스트 | 150 | 32.7% | 36.7% |
| AI: 2026년 모델, 편집 없음 | 195 | 96.9% | 99% |
| AI: RAID 벤치마크, 편집 없음 | 200 | 96.5% | 99% |
| AI: RAID 벤치마크, 패러프레이징됨 | 200 | 84% | 92% |
| AI: "휴머나이저" 도구로 다시 쓴 글 | 200 | 59.5% | 74.5% |
acad583-2026-10-22
알려진 한계
- 최신 모델이 쓴 텍스트, 특히 사람처럼 쓰도록 지시한 경우에는 탐지되지 않는 일이 많습니다.
- 패러프레이징 및 "휴머나이저" 도구는 점수를 크게 낮춥니다.
- 짧은 텍스트는 신뢰하기 어려우며, 50단어 미만에는 결과를 제공하지 않습니다.
- 크게 편집되었거나 정형화되었거나 번역된 사람의 글이 AI로 표시될 수 있습니다.
- 임계값은 학술 글쓰기를 기준으로 보정되었습니다. 일반 웹 텍스트에서는 사람이 쓴 샘플의 32.7%가 "AI 가능성 높음"으로 판정되었습니다.
결과는 추정치이며 부정행위의 증거가 아닙니다. 이를 비난의 유일한 근거로 삼아서는 안 됩니다.