--- title: "Qué rastreadores de IA pueden leer tu web · PolarJay" description: "GPTBot, ClaudeBot y el resto de rastreadores de IA leen tu web si tu robots.txt les deja entrar. Aquí se ve cómo comprobarlo." url: https://polarjay.com/guias/rastreadores-de-ia lang: es alternate: https://polarjay.com/en/guides/ai-crawlers published: 2026-10-23 author: PolarJay updated: 2026-10-23 publisher: POLARGATE S.L. (CIF B24895005) --- Guía # Qué rastreadores de IA pueden leer tu web Los asistentes de IA leen tu web con sus propios rastreadores, y a cada uno se le deja entrar o se le bloquea por separado en tu robots.txt. Publicado el 23 de octubre de 2026 por PolarJay Última actualización: 23 de octubre de 2026 ## ¿Pueden las IAs leer mi web? Sí, si les dejas entrar y si el texto está en el HTML. Cada empresa de IA tiene sus rastreadores, que piden tu página como lo haría un navegador y leen lo que devuelve el servidor. Hay cuatro cosas que lo pueden impedir: - **robots.txt.** Una regla `Disallow: /` para su nombre, o para todos (`User-agent: *`), les dice que no entren. Los rastreadores de búsqueda de OpenAI, Anthropic y Perplexity la respetan. - **El cortafuegos o la CDN.** Algunos tienen una opción para bloquear a los bots de IA. Si está activada, da igual lo que diga tu robots.txt: el rastreador recibe un error. - **JavaScript.** Si tu web pinta el texto en el navegador (una aplicación de React o parecida sin prerenderizar), el rastreador puede recibir una página casi vacía. Muchos rastreadores de IA no ejecutan JavaScript. - **noindex.** Una página con noindex no entra en el índice de Google, y Google solo usa en AI Overviews páginas indexadas. El [escáner gratis](https://polarjay.com/escaner) pide tu portada con los rastreadores de la tabla de abajo, cuenta las palabras que ve cada uno y hace 12 comprobaciones: si hay texto sin JavaScript, el h1, el título y la descripción, los datos estructurados, la URL canónica, robots.txt, llms.txt, el sitemap, el FAQPage, la imagen para compartir, el idioma y si la página se puede indexar. ## Los rastreadores que comprueba el escáner | Rastreador | De quién y para qué | User agent que usa el escáner | | --- | --- | --- | | Googlebot | Google. Rastrea para la búsqueda, también para AI Overviews y el modo IA. | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | | GPTBot | OpenAI. Recoge contenido que puede usarse para entrenar sus modelos. | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.2; +https://openai.com/gptbot | | OAI-SearchBot | OpenAI. El de la búsqueda de ChatGPT: si lo bloqueas, no sales en sus respuestas con búsqueda. | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot | | ClaudeBot | Anthropic. Recoge contenido que puede usarse para entrenar Claude. | Mozilla/5.0 (compatible; ClaudeBot/1.0; +claudebot@anthropic.com) | | PerplexityBot | Perplexity. Muestra y enlaza webs en sus respuestas; no se usa para entrenar modelos. | Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) | Hay más. OpenAI tiene ChatGPT-User para las visitas que pide un usuario; Anthropic, Claude-SearchBot para su búsqueda y Claude-User para las visitas que pide un usuario; Perplexity, Perplexity-User. Están en la documentación de [OpenAI](https://developers.openai.com/api/docs/bots), [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) y [Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers). Cualquiera puede escribir «GPTBot» en su user agent, así que una visita que dice serlo no tiene por qué venir de OpenAI. Por eso OpenAI y Perplexity publican las direcciones IP de sus rastreadores: si filtras por IP en tu cortafuegos, usa esas listas para dejar pasar a los de verdad y no a quien se hace pasar por ellos. ## ¿Cómo sé si GPTBot o ClaudeBot pueden entrar en mi web? Mira tu robots.txt y pide tu página con su user agent. Las dos cosas: robots.txt dice lo que permites y la prueba dice lo que pasa de verdad. 1. Abre tudominio.com/robots.txt y busca un grupo `User-agent: GPTBot` o `User-agent: ClaudeBot` con `Disallow: /`. Si no tienen grupo propio, se les aplica el de `User-agent: *`. 2. Pide tu página con su user agent desde una terminal, por ejemplo `curl -I -A "GPTBot/1.2" https://tudominio.com`. Si devuelve 403 o 429, algo en tu servidor o en tu CDN los bloquea aunque robots.txt los deje pasar. 3. Mira los registros de tu servidor o de tu CDN: si ves visitas de GPTBot, OAI-SearchBot o ClaudeBot con código 200, están entrando. 4. O pasa el [escáner](https://polarjay.com/escaner), que hace las dos pruebas por ti. Un robots.txt que deja pasar a la búsqueda de cada IA y bloquea el entrenamiento: ``` User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / ``` Bloquear a GPTBot y a ClaudeBot no te saca de la búsqueda de ChatGPT ni de la de Claude: para eso están OAI-SearchBot y Claude-SearchBot. Anthropic avisa en su [documentación](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) de que bloquear a Claude-SearchBot puede hacer que tu web salga menos en sus respuestas. Lo que decidas sobre el entrenamiento va aparte. Google-Extended no es un rastreador: es un nombre que se pone en robots.txt para decir si Google puede usar tu contenido para entrenar Gemini. Google lo rastrea con sus user agents de siempre, y según su [lista de rastreadores](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), Google-Extended no cambia tu presencia en la búsqueda. ## ¿Qué es llms.txt y me hace falta? Es un fichero en Markdown que se pone en la raíz de una web (/llms.txt) para contar a los modelos de lenguaje qué hay en ella y enlazar sus páginas principales. Es una [propuesta abierta de llmstxt.org](https://llmstxt.org/), no un estándar, así que no basta por sí solo: antes importa que los rastreadores puedan entrar y leer tu web. El formato es sencillo: un título con el nombre del sitio, una línea de resumen, unas notas y listas de enlaces con una frase cada uno. Una sección llamada «Optional» marca lo que se puede saltar si falta espacio. Algunas webs publican además llms-full.txt, con el texto de todas las páginas. ¿Te hace falta? Ponerlo cuesta poco y no quita nada, pero no esperes que cambie solo tus respuestas: ningún buscador de IA dice en su documentación que lo use para decidir a quién nombrar. Sirve sobre todo a los agentes y herramientas que leen una web para trabajar con ella. Esta web tiene el suyo, en español en [/llms.txt](https://polarjay.com/llms.txt) y en inglés en [/llms-en.txt](https://polarjay.com/llms-en.txt), y cada página tiene su versión en Markdown en la misma dirección terminada en .md. El escáner comprueba si tu web tiene llms.txt. ## Fuentes - [OpenAI, rastreadores de OpenAI](https://developers.openai.com/api/docs/bots) - [Anthropic, rastreadores de Anthropic y cómo bloquearlos](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) - [Perplexity, rastreadores de Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) - [Google, introducción a robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) - [Google, rastreadores comunes (Google-Extended)](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) - [llmstxt.org, la propuesta de llms.txt](https://llmstxt.org/) ## Sigue leyendo - [Por qué ChatGPT no menciona tu empresa](https://polarjay.com/guias/por-que-chatgpt-no-menciona-mi-empresa): Las causas habituales por las que ChatGPT no nombra a una empresa y qué cambiar. - [Qué es la visibilidad en IA](https://polarjay.com/que-es-la-visibilidad-en-ia): La visibilidad en IA es si los asistentes nombran a tu empresa cuando alguien pregunta por lo que vendes. Su optimización se llama GEO. - [Cómo medir la visibilidad en IA](https://polarjay.com/guias/medir-visibilidad-en-ia): Para saber si ChatGPT y Claude te recomiendan hay que hacerles las preguntas de tu comprador sin tu nombre y contar a quién nombran. ## ¿Te nombra ChatGPT? Compruébalo ahora Un minuto, sin registro. [Escanear mi web gratis](https://polarjay.com/escaner) [Pedir la prueba gratis](https://polarjay.com/prueba)