¿Pueden las IAs leer mi web?
Sí, si les dejas entrar y si el texto está en el HTML. Cada empresa de IA tiene sus rastreadores, que piden tu página como lo haría un navegador y leen lo que devuelve el servidor. Hay cuatro cosas que lo pueden impedir:
- robots.txt. Una regla
Disallow: /para su nombre, o para todos (User-agent: *), les dice que no entren. Los rastreadores de búsqueda de OpenAI, Anthropic y Perplexity la respetan. - El cortafuegos o la CDN. Algunos tienen una opción para bloquear a los bots de IA. Si está activada, da igual lo que diga tu robots.txt: el rastreador recibe un error.
- JavaScript. Si tu web pinta el texto en el navegador (una aplicación de React o parecida sin prerenderizar), el rastreador puede recibir una página casi vacía. Muchos rastreadores de IA no ejecutan JavaScript.
- noindex. Una página con noindex no entra en el índice de Google, y Google solo usa en AI Overviews páginas indexadas.
El escáner gratis pide tu portada con los rastreadores de la tabla de abajo, cuenta las palabras que ve cada uno y hace 12 comprobaciones: si hay texto sin JavaScript, el h1, el título y la descripción, los datos estructurados, la URL canónica, robots.txt, llms.txt, el sitemap, el FAQPage, la imagen para compartir, el idioma y si la página se puede indexar.
Los rastreadores que comprueba el escáner
| Rastreador | De quién y para qué | User agent que usa el escáner |
|---|---|---|
| Googlebot | Google. Rastrea para la búsqueda, también para AI Overviews y el modo IA. | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| GPTBot | OpenAI. Recoge contenido que puede usarse para entrenar sus modelos. | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot |
| OAI-SearchBot | OpenAI. El de la búsqueda de ChatGPT: si lo bloqueas, no sales en sus respuestas con búsqueda. | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot |
| ClaudeBot | Anthropic. Recoge contenido que puede usarse para entrenar Claude. | Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com) |
| PerplexityBot | Perplexity. Muestra y enlaza webs en sus respuestas; no se usa para entrenar modelos. | Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
Hay más. OpenAI tiene ChatGPT-User para las visitas que pide un usuario; Anthropic, Claude-SearchBot para su búsqueda y Claude-User para las visitas que pide un usuario; Perplexity, Perplexity-User. Están en la documentación de OpenAI, Anthropic y Perplexity.
Cualquiera puede escribir «GPTBot» en su user agent, así que una visita que dice serlo no tiene por qué venir de OpenAI. Por eso OpenAI y Perplexity publican las direcciones IP de sus rastreadores: si filtras por IP en tu cortafuegos, usa esas listas para dejar pasar a los de verdad y no a quien se hace pasar por ellos.
¿Cómo sé si GPTBot o ClaudeBot pueden entrar en mi web?
Mira tu robots.txt y pide tu página con su user agent. Las dos cosas: robots.txt dice lo que permites y la prueba dice lo que pasa de verdad.
- Abre tudominio.com/robots.txt y busca un grupo
User-agent: GPTBotoUser-agent: ClaudeBotconDisallow: /. Si no tienen grupo propio, se les aplica el deUser-agent: *. - Pide tu página con su user agent desde una terminal, por ejemplo
curl -I -A "GPTBot/1.2" https://tudominio.com. Si devuelve 403 o 429, algo en tu servidor o en tu CDN los bloquea aunque robots.txt los deje pasar. - Mira los registros de tu servidor o de tu CDN: si ves visitas de GPTBot, OAI-SearchBot o ClaudeBot con código 200, están entrando.
- O pasa el escáner, que hace las dos pruebas por ti.
Un robots.txt que deja pasar a la búsqueda de cada IA y bloquea el entrenamiento:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Bloquear a GPTBot y a ClaudeBot no te saca de la búsqueda de ChatGPT ni de la de Claude: para eso están OAI-SearchBot y Claude-SearchBot. Anthropic avisa en su documentación de que bloquear a Claude-SearchBot puede hacer que tu web salga menos en sus respuestas. Lo que decidas sobre el entrenamiento va aparte.
Google-Extended no es un rastreador: es un nombre que se pone en robots.txt para decir si Google puede usar tu contenido para entrenar Gemini. Google lo rastrea con sus user agents de siempre, y según su lista de rastreadores, Google-Extended no cambia tu presencia en la búsqueda.
¿Qué es llms.txt y me hace falta?
Es un fichero en Markdown que se pone en la raíz de una web (/llms.txt) para contar a los modelos de lenguaje qué hay en ella y enlazar sus páginas principales. Es una propuesta abierta de llmstxt.org, no un estándar, así que no basta por sí solo: antes importa que los rastreadores puedan entrar y leer tu web.
El formato es sencillo: un título con el nombre del sitio, una línea de resumen, unas notas y listas de enlaces con una frase cada uno. Una sección llamada «Optional» marca lo que se puede saltar si falta espacio. Algunas webs publican además llms-full.txt, con el texto de todas las páginas.
¿Te hace falta? Ponerlo cuesta poco y no quita nada, pero no esperes que cambie solo tus respuestas: ningún buscador de IA dice en su documentación que lo use para decidir a quién nombrar. Sirve sobre todo a los agentes y herramientas que leen una web para trabajar con ella.
Esta web tiene el suyo, en español en /llms.txt y en inglés en /llms-en.txt, y cada página tiene su versión en Markdown en la misma dirección terminada en .md. El escáner comprueba si tu web tiene llms.txt.