Hace unos días os contamos que la marca de agua de la IA no se puede leer todavía y que la única vía real para saber si un texto salió de una máquina es medir cómo de predecible es. Nos quedaba la parte difícil: comprobar si eso funciona de verdad, con datos, y no de oídas.
Lo hemos hecho. Construimos un detector, lo calibramos con textos reales en español y en inglés, y lo hemos dejado gratis en la pestaña AI check de aiwatermarkscan.com. Este artículo cuenta qué encontramos por el camino, incluidas las partes que salieron mal, porque ahí está lo más útil.
La idea de partida
Un modelo de lenguaje escribe eligiendo, palabra a palabra, entre las opciones más probables. Eso deja el texto demasiado liso. Una persona alterna: mete una palabra rara, corta una frase en seco, se alarga en otra. Esa variación se puede medir con un modelo pequeño corriendo en un servidor normal, sin tarjeta gráfica.
De todas las señales que probamos, la ganadora fue la más simple: cuánto varía la sorpresa del modelo palabra a palabra. En la literatura la llaman burstiness. Los métodos famosos con nombre propio, que también implementamos y medimos, quedaron por detrás en nuestras pruebas.
Cómo se prueba esto sin hacerse trampas
El error típico es comparar peras con manzanas: coger artículos humanos de un sitio y textos de IA de otro, y presumir de acierto. Así cualquier detector parece perfecto, porque está detectando la diferencia de tema o de formato, no la autoría.
Nosotros lo hicimos por pares. Cogimos un texto escrito por una persona y le pedimos a la IA que escribiera exactamente el mismo contenido, con la misma longitud. Mismo tema, mismo formato: lo único que cambia es quién eligió las palabras. Si la señal separa ahí, es de verdad.
En español, con prensa real como base, el resultado fue rotundo: el texto humano puntuó más alto que su gemelo de IA en todos los pares, sin excepción. Y cuando probamos el caso más habitual, el de pedirle a la IA que escriba un artículo desde cero, la separación fue total: catorce de catorce detectados, con cero humanos señalados por error.
Los tres errores que casi nadie cuenta
Lo interesante llegó al calibrar el inglés, porque fallamos dos veces antes de acertar, y cada fallo enseña algo.
Wikipedia no sirve para calibrar
Nuestro primer corpus humano en inglés fue Wikipedia. Resultado: el detector no distinguía nada, puro azar. El motivo es que todos los modelos de lenguaje se han entrenado con Wikipedia y se la saben de memoria. Su texto les resulta tan predecible como el de una IA, así que la señal se anula. Cualquier detector calibrado contra Wikipedia está mal calibrado.
La escritura formal parece de máquina
Segundo intento: resúmenes científicos escritos por personas antes de 2020. También falló. La prosa académica y la enciclopédica son la escritura humana más uniforme que existe, con frases medidas y vocabulario controlado. Ya se parecen a una máquina. Lo mismo pasa, en menor medida, con las crónicas judiciales o los textos legales. La lección es incómoda pero clara: este tipo de detección funciona con prosa natural y pierde fuelle con el registro formal, en cualquier idioma.
 (1).jpg)
Reescribir no es lo mismo que escribir
El tercer hallazgo es el que más nos cambió el producto. Cuando la IA escribe un artículo desde cero, se detecta casi perfecto en ambos idiomas. Pero cuando la IA reescribe un texto humano existente, hereda su estructura, sus frases largas y cortas, su ritmo. Y queda a medio camino: en inglés, ese caso cae casi siempre en zona ambigua.
En vez de esconder esa debilidad, la convertimos en diseño: la zona ambigua del detector existe precisamente para eso, y lo dice con esas palabras cuando un texto cae ahí.
El dato que nos obligó a cambiar el lenguaje
Hicimos una prueba más, pensando en el caso real de cualquier redacción: cogimos textos humanos y le pedimos a la IA que corrigiera solo la puntuación y alguna tilde, sin reescribir. Un retoque mínimo, lo que hace cualquiera con un corrector.
La mitad de esos textos humanos pulidos cayeron a la banda de IA.
Por eso el detector no dice nunca escrito por IA. Dice compatible con generación o pulido asistido. Y por eso da tres estados en vez de un porcentaje: compatible con humano, zona ambigua y compatible con generación. Un 87 por ciento de IA en pantalla queda muy vistoso y no se puede defender; una banda honesta, sí.
Los números que publicamos
- En español, con generación desde cero: separación total en nuestras pruebas, cero falsos positivos.
- En inglés, con generación desde cero: 44 artículos humanos contra 20 generados, cero falsos positivos y 16 de 20 detectados con el umbral prudente.
- En reescrituras, la fiabilidad baja, sobre todo en inglés, y el propio detector lo muestra junto al resultado.
- Mínimo 300 palabras. Por debajo, ningún método del mundo es fiable, y el detector lo dice en vez de inventar.
Todos estos números salen de nuestras propias mediciones y están a la vista en la herramienta, con lo bueno y lo malo. Es la diferencia con la mayoría de este mercado, que publica porcentajes redondos que nadie ha auditado.
Para qué sirve y para qué no
Sirve como semáforo. Si gestionáis cientos de textos de redactores, proveedores o invitados, os dice cuáles revisar primero. Para eso es excelente y os ahorra horas.
No sirve para acusar a nadie. Un texto humano pulido con un corrector puede caer en la banda de IA, y quien no escribe en su lengua materna tiene más papeletas de salir señalado por error, como muestra toda la literatura sobre estos sistemas. Usadlo para priorizar, nunca como prueba.
Podéis probarlo gratis, sin registro, en la pestaña AI check de aiwatermarkscan.com. El texto se analiza y se descarta, no guardamos nada.
Preguntas frecuentes
¿Cómo detecta la herramienta si un texto es de IA?
Mide cuán predecible es el texto para un modelo de lenguaje. La IA elige casi siempre la palabra más probable y su texto sale uniforme; una persona varía más. La señal concreta es cuánto oscila la sorpresa del modelo palabra a palabra, lo que la literatura llama burstiness.
¿Qué fiabilidad tiene el detector?
Con texto generado desde cero por la IA, en nuestras pruebas separó con cero falsos positivos en español y en inglés, detectando el cien por cien y el ochenta por ciento respectivamente con umbrales prudentes. Con texto humano reescrito por IA la fiabilidad baja y el resultado suele caer en la zona ambigua, y la herramienta lo indica.
¿Puedo usar el resultado para acusar a un redactor o alumno?
No. En nuestras propias pruebas, la mitad de los textos humanos retocados levemente con IA cayeron en la banda de generación asistida. El detector sirve para decidir qué revisar primero, no como prueba contra una persona.
¿Por qué da tres estados en vez de un porcentaje?
Porque un porcentaje transmite una precisión que ningún detector puede defender. Damos tres bandas medidas con datos propios: compatible con humano, zona ambigua y compatible con generación o pulido asistido, junto a las cifras de calibración para que cada cual juzgue.
¿Funciona con cualquier tipo de texto?
Funciona con prosa natural de al menos 300 palabras, en español o inglés. En escritura muy formal, como papers, documentación técnica o textos legales, la señal se pierde porque esa prosa humana ya es tan uniforme como la de una máquina, y con menos de 300 palabras la herramienta responde que no puede medir con garantías.