Alex Amigo
SEO Técnico

Cómo los bots de IA están consumiendo tu crawl budget de Googlebot (y cómo auditarlo)

Alex Amigo6 min de lectura

Si tienes URLs marcadas como 'crawled-not-indexed' y el contenido es bueno, una de las causas que menos se revisa es el consumo de crawl budget por parte de bots de IA. Te explico cómo detectarlo y qué hacer según lo que encuentres.

Tienes URLs marcadas como crawled-not-indexed en Search Console y el contenido no es el problema: está bien escrito, cubre la intención, tiene enlaces internos razonables. La primera sospecha suele ir hacia los datos estructurados o el canonical, pero hay una causa que casi nadie revisa en webs pequeñas y medianas: el presupuesto de rastreo se está repartiendo entre Googlebot y una cantidad creciente de bots de IA que llegan a tu servidor y consumen recursos. Este artículo es sobre eso, sobre cómo medir el impacto y cómo actuar; los bots falsos que se hacen pasar por agentes legítimos son una cuestión de higiene de tráfico distinta, y no voy a mezclarlos aquí.

Cuánto rastreo consumen los bots IA en la práctica

El volumen de peticiones de bots de IA ha crecido de forma bastante llamativa en los dos últimos años. Según los datos publicados por The SEO Framework, en un sitio web de tráfico medio se registraron 57 bots de IA únicos realizando más de 180.000 peticiones en un período de seis meses; GPTBot, el rastreador de OpenAI, creció un 305% interanual en volumen de peticiones. Son cifras de un entorno concreto, pero el orden de magnitud encaja con lo que veo en los logs de los proyectos que audito.

El punto que Google no menciona en sus guías oficiales —o lo menciona con demasiados matices— es que el argumento de "los bots bien configurados no deberían afectar al crawl budget si el servidor responde correctamente" asume una infraestructura con recursos elásticos. En un hosting compartido o de gama media, donde la mayoría de pymes y negocios locales tienen sus webs, el servidor sí tiene un techo de peticiones concurrentes y de CPU disponible. Cuando ese techo se alcanza, las respuestas se ralentizan, los tiempos de carga suben y Googlebot, que tiene sus propios mecanismos para no sobrecargar servidores lentos, reduce la frecuencia de rastreo de forma automática.

El resultado práctico es que Googlebot puede estar viendo menos URLs de las que debería, y eso se traduce en ese patrón de crawled-not-indexed que ves en Search Console: Google ha descubierto la URL pero no ha tenido capacidad para procesarla con suficiente profundidad como para tomar una decisión de indexación. ¿Te suena familiar?

Cómo leer tus logs para saber si los bots IA están comiendo presupuesto de Googlebot

El diagnóstico correcto empieza en los logs del servidor, no en Search Console. GSC te dice qué URLs están en ese estado, pero no te dice por qué ni qué bots están llegando a tu servidor en paralelo a Googlebot. Para eso necesitas el archivo de log de acceso, que en Apache suele estar en /var/log/apache2/access.log y en Nginx en /var/log/nginx/access.log; en hostings compartidos normalmente está disponible desde el panel de control de la cuenta.

Una vez tienes el log, los pasos son concretos. Primero, filtra por user-agent para ver qué rastreadores están llegando y en qué volumen; los más habituales ahora mismo son GPTBot, ClaudeBot, Google-Extended, OAI-SearchBot, PerplexityBot y CCBot. Un grep básico del tipo grep -i "gptbot\|claudebot\|google-extended" access.log | wc -l te da el volumen de peticiones de cada uno en el período del log. Segundo, cruza esas peticiones con las marcas de tiempo de los intervalos en que Googlebot también estuvo activo; si los bots de IA concentran un volumen alto de peticiones en las mismas franjas horarias que Googlebot, la presión sobre el servidor en esos momentos es la que te interesa medir. Tercero, revisa los tiempos de respuesta del servidor (request_time o el equivalente en tu formato de log) durante esas franjas; si el percentil 95 de respuesta sube por encima de los 500ms cuando hay mucho tráfico de bots concurrentes, tienes un problema real de capacidad que está afectando a cómo Googlebot experimenta tu site.

Con esa foto ya puedes cuantificar si el problema existe y qué magnitud tiene. Lo que no conviene es asumir que todos los bots de IA tienen el mismo perfil de impacto, porque no lo tienen, y confundirlos es el error más frecuente cuando se intenta tomar una decisión de bloqueo.

Qué hacer según lo que ves, sin confundir bots de entrenamiento con bots de recuperación

La distinción que más importa para decidir qué hacer es la siguiente: hay bots de entrenamiento que rastrean tu contenido para construir o actualizar los datos de un modelo de lenguaje —GPTBot, ClaudeBot y Google-Extended son los ejemplos más claros— y hay bots de recuperación en tiempo real que rastrean para incluir tu contenido en una respuesta concreta que un usuario está generando ahora mismo, como OAI-SearchBot o PerplexityBot. Los primeros consumen recursos de tu servidor sin aportar ningún tipo de tráfico de retorno ni indexación en Google; los segundos pueden enviarte visitas reales si tu contenido aparece en la respuesta de una búsqueda.

Esa diferencia cambia completamente la ecuación cuando tienes que decidir qué bots gestionar. Si el análisis de logs te muestra que GPTBot o ClaudeBot concentran un volumen de peticiones que está presionando tu servidor en las franjas de actividad de Googlebot, bloquearlos en robots.txt o mediante llms.txt tiene sentido técnico y no tiene ningún coste de visibilidad orgánica. En cambio, bloquear OAI-SearchBot o PerplexityBot sí tiene un coste: eliminas la posibilidad de que tu contenido aparezca en las respuestas de esas plataformas cuando un usuario hace una búsqueda relacionada con lo que publicas.

Si después de revisar los logs y valorar el impacto de cada tipo de bot quieres ir más allá en la toma de decisiones sobre qué bloquear y qué dejar pasar, el estudio sobre el rastreo de la IA en 5.381 dominios entra en ese análisis con más detalle. Lo que aquí no voy a recomendar es una respuesta genérica de «bloquea todo» o «deja todo», porque esa decisión depende de tu tipo de hosting, del volumen de tráfico de bots que estés viendo y de si tienes presencia o quieres tenerla en los resultados de plataformas de IA. El diagnóstico que acabas de hacer en los logs es el que debe guiar esa decisión.

Preguntas frecuentes

¿Puedo diagnosticar el problema sin acceso a los logs del servidor?

Parcialmente. Search Console te muestra el número de URLs rastreadas por día en las Estadísticas de rastreo, lo que te permite detectar tendencias. Si la frecuencia de rastreo de Googlebot baja sin cambios estructurales de por medio, apunta a un problema de capacidad o tiempos de respuesta. Para confirmar la causa y ver qué otros bots estaban activos al mismo tiempo, los logs son imprescindibles.

¿Google-Extended es un bot de IA o de búsqueda?

Es un bot de entrenamiento. Según la documentación oficial de Google, Google-Extended es el user-agent que usa Google para recopilar datos para Gemini y Google AI. Bloquearlo en robots.txt no afecta al rastreo de Googlebot ni a la indexación en Google Search; son rastreadores independientes.

¿Con qué frecuencia debería revisar los logs para monitorizar bots de IA?

En proyectos en hosting compartido con crawl budget ajustado, lo reviso cada vez que hay un cambio relevante en el sitio o cuando Search Console muestra deterioro en las estadísticas de rastreo. En proyectos más grandes, una revisión trimestral dentro de la auditoría técnica habitual es suficiente para detectar si el perfil de bots está cambiando.

Alex Amigo
Alex Amigo

Desarrollo, SEO, GEO y tecnología con una visión de negocio.