Qual é a precisão do detector?
Publicamos como medimos o detector e onde ele falha. Leia isto antes de confiar em um resultado.
Modelo
Executamos o detector de texto de IA de código aberto desklib (DeBERTa-v3-large, licença MIT) em nossos próprios servidores. O texto é dividido em janelas; a pontuação do documento é a média ponderada por tokens, e as pontuações das frases vêm de janelas sobrepostas.
Calibração em textos acadêmicos reais
Os limites foram definidos com 583 textos acadêmicos escritos por humanos (resumos do arXiv, artigos do PubMed Central de autores não nativos e redações de estudantes). "Provavelmente IA" é definido para que cerca de 1% desses textos humanos ultrapasse o limite; "Incerto" cobre a faixa entre 1% e 5%.
Alarmes falsos em textos humanos de teste
Em uma divisão em duas partes, a proporção de textos acadêmicos humanos de teste classificados como "Provavelmente IA" foi de 1% e 0,7%.
Resultados por grupo de textos
| Grupo | Textos | Classificados como "Provavelmente IA" | Classificados como "Provavelmente IA" ou "Incerto" |
|---|---|---|---|
| Humano: resumos do arXiv | 200 | 0,5% | 3,5% |
| Humano: PubMed Central, autores não nativos | 183 | 1,1% | 6% |
| Humano: redações de estudantes | 200 | 1% | 5,5% |
| Humano: Wikipédia (antes de 2022) | 155 | 2,6% | 8,4% |
| Humano: textos gerais da web | 150 | 32,7% | 36,7% |
| IA: modelos de 2026, sem edição | 195 | 96,9% | 99% |
| IA: benchmark RAID, sem edição | 200 | 96,5% | 99% |
| IA: benchmark RAID, parafraseado | 200 | 84% | 92% |
| IA: reescrito por ferramentas humanizadoras | 200 | 59,5% | 74,5% |
acad583-2026-10-22
Limitações conhecidas
- Textos dos modelos mais recentes, especialmente quando instruídos a escrever como humanos, muitas vezes passam despercebidos.
- Paráfrases e ferramentas "humanizadoras" reduzem bastante a pontuação.
- Textos curtos não são confiáveis; abaixo de 50 palavras não damos resultado.
- Textos humanos muito editados, formulaicos ou traduzidos podem ser sinalizados.
- Os limites são calibrados em textos acadêmicos. Em textos gerais da web, 32,7% das amostras escritas por humanos foram classificadas como "Provavelmente IA".
Um resultado é uma estimativa, não evidência de má conduta. Nunca o use como única base para uma acusação.