Las herramientas para detectar texto generado por IA fallan constantemente al analizar grandes obras literarias. El Génesis bíblico, la Constitución estadounidense, ‘Harry Potter’ o ‘Cien años de soledad’ son identificados por estos detectores como creaciones de máquinas. La razón tiene una lógica perversa: lo que los algoritmos interpretan como escritura de IA es en realidad buena escritura.

Biblia robótica. Las herramientas para detectar texto generado por IA llevan meses acumulando veredictos absurdos. Sólo tienes que enviar’Cien años de soledad’ de Gabriel García Márquez a uno de estos sistemas y conseguirás que el 100% de la novela tenga origen artificial. El Génesis bíblico o la Constitución norteamericana no salen mejor parados: la herramienta ZeroGPT valora el primer texto con una 88,2% de posibilidades de escribir con IA y el segundo, redactado por AI con un 96,21%. Experimentos con ‘Harry Potter’ o la letra de ‘Bohemian Rhapsody’ mostrar resultados similares. El patrón es tan consistente que va más allá de la anécdota: estas herramientas tienen un problema subyacente.

Bien mal. La ironía es que los detectores de texto generados por IA fueron diseñados para identificar la escritura realizada por máquinas. Sin embargo, terminan señalando exactamente lo contrario: se considera poco probable que los textos que exhiben un mayor cuidado estilístico, una mayor coherencia interna y un mayor dominio del ritmo narrativo hayan sido realizados por humanos. Es decir, escribir bien, en términos técnicos, es similar a escribir como modelo de lenguaje.

Cómo funciona. Para entender por qué sucede esto También hay que entender cómo funcionan estas herramientas.. La mayoría se basan en dos indicadores principales. La primera es la perplejidad (perplejidad): qué tan predecible es la elección de palabras en un texto. Si cada palabra sigue a la anterior de la forma esperada, la perplejidad es baja. Si el texto salta de manera impredecible entre registros, vocabulario y estructuras sintácticas, la perplejidad es alta. El segundo indicador es la ráfaga (estallido): la variación en la longitud de las frases. Los humanos alternan párrafos largos con oraciones muy cortas, mientras que los modelos de lenguaje tienden a producir oraciones de longitud más uniforme.

Un texto bien construido (vocabulario preciso, estructura clara, ritmo uniforme) tiene poca perplejidad por diseño. Como García Márquez, que elige las palabras exactas en sus textos, con una precisión casi quirúrgica. El Génesis tiene una cadencia narrativa casi hipnótica, deliberada, sin ruido, como una canción con métrica equilibrada. “Escribir bien” es un concepto muy complejo, pero puede significar, entre otras cosas, ser predecible en el sentido más virtuoso: que el lector comprenda el texto sin esfuerzo. Y eso, para un detector entrenado en distinguir «lo que haría un modelo de lenguaje», hace saltar las alarmas.

Es lo mismo. Lo que complica el problema es que los modelos de IA generativa han sido entrenados, precisamente, con escritura humana de calidad. ChatGPT, Claude o Gemini producen textos fluidos, coherentes y sin perplejidad porque aprendieron de millones de textos humanos que también tenían esas características. Detectar la escritura realizada por una IA y diferenciarla de la buena escritura humana es una tarea casi imposible para estos algoritmos.

Otra forma de fracasar. Estos criterios pueden adoptar múltiples formas. Por ejemplo: un estudio sobre el desempeño de siete detectores populares al analizar ensayos periodísticos. TOEFL (examen oficial de inglés para personas que no hablan inglés) frente a ensayos de estudiantes de secundaria estadounidenses. Los resultados: El 61,22% de los ensayos escritos por estudiantes no nativos fueron calificados como generados por IA. En el 20% de los casos, los siete detectores coincidieron en el diagnóstico erróneo. Los textos de los estudiantes nativos aprobaron sin problemas.

La explicación es la misma mecánica de perplejidad: alguien que escribe en su segunda lengua utiliza un vocabulario más limitado, estructuras más simples y menos variaciones gramaticales. No escribe mal, pero sus herramientas son más limitadas y los detectores de IA penalizan sistemáticamente a los escritores con menos dominio del idioma. El equipo que realizó el estudio recomendó evitar el uso de estas herramientas en contextos de evaluación, especialmente cuando se trata de estudiantes internacionales. En España se produjo un episodio de este tipo: en 2024, la Universidad Católica Australiana abrió expedientes a cerca de 6.000 estudiantes utilizando Turnitin, la plataforma de detección más extendida en las universidades. Muchos de ellos no habían utilizado la IA en ningún momento.

Fuerza la máquina. Edward Tian, ​​CEO de GPTZero (uno de los detectores de referencia, con más de ocho millones de usuarios) reconoció abiertamente que muchas herramientas del sector ajustan sus umbrales generar intencionalmente más falsos positivoscon el objetivo de no pasar por textos generados por IA aunque eso signifique señalar erróneamente un texto humano. Tian habla de cómo GPTZero lucha para evitar esta proliferación de falsos positivos, pero la adulteración de los resultados está ahí como un problema claro.

El último caso. La editorial Hachette acaba de cancelar la publicación en el Reino Unido y Estados Unidos de ‘chica tímida‘, una novela que la herramienta Pangram ha detectado como generada en un 78% por IA. El autor niega haber utilizado la herramienta. Cualquiera que sea la verdad en ese caso específico, el episodio ilustra el poder fáctico que están adquiriendo estas herramientas: pueden destruir contratos de publicación y poner a los seres humanos bajo sospecha antes de que haya pruebas definitivas al respecto.

En | OpenAI tiene un detector de texto escrito por IA que funciona casi a la perfección. Y no quiere ponerlo en el mercado.