--- title: "Bots de IA y robots.txt: cuáles permitir y cuáles bloquear" description: "Qué bots de IA permitir o bloquear en tu robots.txt: los de búsqueda, los de entrenamiento y los que actúan a pedido del usuario, con fuentes oficiales." canonical: https://plinda.com/bots-de-ia-robots-txt/ published: 2026-11-02 updated: 2026-11-02 author: "Manu Arraya" language: es --- # Bots de IA y robots.txt: cuáles permitir y cuáles bloquear Cada empresa de IA tiene varios bots, y cada uno hace algo distinto. Bloquear el equivocado te puede sacar de las respuestas. Esta guía junta lo que documenta cada empresa, para que decidas bot por bot. Por [Manu Arraya](https://plinda.com/nosotros/), fundador de Plinda · Actualizado el 2 de noviembre de 2026 ## Respuesta corta Si querés aparecer en las respuestas de la IA, dejá pasar a los bots de búsqueda: Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot y PerplexityBot. Los de entrenamiento, como GPTBot o ClaudeBot, son otra decisión: bloquearlos no te saca de la búsqueda de ChatGPT ni de Claude. Y revisá también el firewall y el CDN, porque el robots.txt puede decir que sí y tu servidor, que no. ## Los tres tipos de bot - **De búsqueda o índice.** Rastrean la web para poder mostrarte y enlazarte en las respuestas. Si los bloqueás, lo más probable es que dejes de aparecer en ese motor. - **De entrenamiento.** Juntan contenido que puede usarse para entrenar modelos. Bloquearlos es una decisión sobre el uso de tu contenido, y no afecta a los de búsqueda de la misma empresa cuando esta los separa. - **A pedido del usuario.** Visitan una página puntual porque alguien hizo una pregunta. No rastrean la web por su cuenta, y en varios casos el robots.txt puede no aplicarles (más abajo está el detalle). ## Qué bot hace qué, empresa por empresa | Empresa | Búsqueda o índice | Entrenamiento | A pedido del usuario | |---|---|---|---| | OpenAI | `OAI-SearchBot` | `GPTBot` | `ChatGPT-User` | | Anthropic | `Claude-SearchBot` | `ClaudeBot` | `Claude-User` | | Perplexity | `PerplexityBot` | — | `Perplexity-User` | | Google | `Googlebot` | `Google-Extended` | — | | Microsoft | `Bingbot` | — | — | | Apple | `Applebot` | `Applebot-Extended` | — | | Meta | `meta-webindexer` | `meta-externalagent` | `meta-externalfetcher` | | Mistral AI | `MistralAI-Index` | `MistralAI-Training` | `MistralAI-User` | | Amazon | `Amzn-SearchBot` | `Amazonbot` | `Amzn-User` | | DuckDuckGo | `DuckAssistBot` | — | — | El guion quiere decir que no encontramos un bot para ese uso en la documentación que leímos, no que seguro no exista. Es un resumen: Google-Extended, Applebot, Amazonbot y meta-externalagent tienen matices, y están en la sección siguiente. Fuentes: [OpenAI](https://platform.openai.com/docs/bots), [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web), [Perplexity](https://docs.perplexity.ai/guides/bots), [Google](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers), [Bing](https://blogs.bing.com/webmaster/2022/4/Announcing-user-agent-change-for-Bing-crawler-bingbot/), [Apple](https://support.apple.com/en-us/119829), [Meta](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/), [Mistral AI](https://docs.mistral.ai/robots/), [Amazon](https://developer.amazon.com/amazonbot) y [DuckDuckGo](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot). ## Los casos que no son lo que parecen - **AI Overviews y AI Mode no tienen bot propio.** Google dice que la IA está integrada en Search y que las directivas de robots.txt para Googlebot son el control de cómo se rastrea tu sitio para Search. Para limitar lo que se muestra, se usan nosnippet, data-nosnippet, max-snippet o noindex ([Google](https://developers.google.com/search/docs/appearance/ai-features)). - **Google-Extended no es solo entrenamiento.** No es un rastreador con identidad propia: es una señal en el robots.txt. Controla si el contenido se usa para entrenar modelos Gemini y también para el grounding en las apps de Gemini y en Vertex AI. Google aclara que no afecta tu inclusión ni tu ranking en Search ([Google](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)). O sea: bloquearlo no te saca de AI Overviews, pero puede pesar en la app de Gemini. Más en [cómo aparecer en Gemini](https://plinda.com/como-aparecer-en-gemini/). - **Applebot hace varias cosas.** Alimenta la búsqueda de Spotlight, Siri y Safari, y también puede ayudar a entrenar modelos de Apple. Applebot-Extended no rastrea nada: solo indica cómo se puede usar lo que ya rastreó Applebot, y bloquearlo no te saca de los resultados de búsqueda ([Apple](https://support.apple.com/en-us/119829)). - **Bingbot es la puerta de Copilot.** Cuando Copilot busca en la web, le pide los resultados al servicio de búsqueda de Bing ([Microsoft](https://learn.microsoft.com/en-us/copilot/microsoft-365/manage-public-web-access)), así que bloquear a Bingbot te cierra las dos cosas. Para limitar el uso en respuestas, Bing anunció en 2023 las etiquetas NOCACHE y NOARCHIVE, sin que eso te saque de sus resultados; ese anuncio habla de Bing Chat y no menciona a Copilot ([Bing](https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat)). El producto está explicado en [qué es Microsoft Copilot](https://plinda.com/blog/que-es-microsoft-copilot/). - **Los bots a pedido del usuario pueden no respetar el robots.txt.** OpenAI dice que sus reglas pueden no aplicar a ChatGPT-User, porque la acción la inicia una persona ([OpenAI](https://platform.openai.com/docs/bots)). Perplexity dice que Perplexity-User en general las ignora ([Perplexity](https://docs.perplexity.ai/guides/bots)). Meta y Amazon avisan algo parecido sobre meta-externalfetcher y Amzn-User ([Meta](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/), [Amazon](https://developer.amazon.com/amazonbot)). Anthropic, en cambio, dice que bloquear Claude-User impide que Claude traiga tu contenido cuando alguien pregunta ([Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web)). - **Amazonbot y meta-externalagent mezclan usos.** Amazon dice que Amazonbot mejora sus productos y puede entrenar modelos; para las experiencias de búsqueda, como Alexa, usa Amzn-SearchBot ([Amazon](https://developer.amazon.com/amazonbot)). Meta dice que meta-externalagent sirve para entrenar modelos o para indexar contenido directamente ([Meta](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/)). - **CCBot no es de un modelo en particular.** Es el rastreador de Common Crawl, una fundación que mantiene un repositorio abierto de la web al que puede acceder cualquiera ([Common Crawl](https://commoncrawl.org/ccbot)). ## Cómo se escribe, según lo que quieras Abierto a todos, que es lo que hacemos en Plinda: ``` User-agent: * Allow: / Sitemap: https://tusitio.com/sitemap.xml ``` Aparecer en las respuestas, pero indicando que no querés que tu contenido se use para entrenar. Es un ejemplo, y cada línea es una decisión tuya: ``` User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: MistralAI-Training Disallow: / User-agent: CCBot Disallow: / User-agent: * Allow: / ``` Dejamos afuera a Google-Extended a propósito: como también controla el grounding en Gemini, conviene decidirlo aparte. OpenAI confirma que los ajustes son independientes: podés permitir OAI-SearchBot y bloquear GPTBot ([OpenAI](https://platform.openai.com/docs/bots)). Si un bot te carga demasiado el servidor, Anthropic acepta la directiva Crawl-delay ([Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web)), pero Amazon aclara que sus bots no la soportan ([Amazon](https://developer.amazon.com/amazonbot)). ## Errores que te dejan afuera sin que te des cuenta - **Nombrar un bot anula las reglas generales para ese bot.** Un rastreador sigue el grupo que lo nombra y usa el grupo `*` solo si no hay ninguno para él ([RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)). Google lo dice directo: los grupos específicos y el global no se combinan ([Google](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt)). Si tenés `Disallow: /admin/` bajo `*` y agregás un grupo para GPTBot con `Allow: /`, GPTBot ya no tiene esa restricción. - **El firewall o el CDN bloquean lo que el robots.txt permite.** Google incluye entre sus buenas prácticas que el rastreo esté permitido en el robots.txt y también en el CDN o el hosting ([Google](https://developers.google.com/search/docs/appearance/ai-features)). Perplexity avisa que el Bot Fight Mode de Cloudflare puede seguir desafiando a sus bots aunque tengas una regla que los deje pasar ([Perplexity](https://docs.perplexity.ai/guides/bots)). Y Cloudflare anunció nuevos valores por defecto para dominios nuevos desde el 15 de septiembre de 2026: los bots de entrenamiento y los agentes se bloquean en páginas con anuncios, los de búsqueda siguen permitidos, y los mixtos caen con cualquier bloqueo de entrenamiento. Si usás Cloudflare, miralo en Security Settings, en la configuración de bots de IA ([Cloudflare](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)). - **Tu robots.txt devuelve un error de servidor.** Si responde con un error 5xx, el estándar dice que el rastreador tiene que asumir que todo está bloqueado; con un 4xx, en cambio, puede entrar a todo ([RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)). Google deja de rastrear el sitio durante las primeras 12 horas de ese error ([Google](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt)). - **Te olvidás de un subdominio.** Anthropic pide la regla en cada subdominio que quieras excluir ([Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web)): el archivo de tu dominio principal no cubre a los demás. - **Bloqueás por IP en vez de por robots.txt.** Anthropic avisa que bloquear sus IP puede no funcionar bien como exclusión, porque le impide leer tu robots.txt ([Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web)). ## Lo que el robots.txt no hace - **No protege nada.** Sus reglas no son una autorización de acceso, y listar una ruta la hace pública ([RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html)). Lo privado va con contraseña. - **No saca una página de Google.** Google dice que una URL bloqueada puede seguir apareciendo en los resultados, sin descripción. Para que no aparezca, usá noindex o contraseña ([Google](https://developers.google.com/search/docs/crawling-indexing/robots/intro)). - **No cambia al instante.** Google suele guardar el archivo hasta 24 horas ([Google](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt)). OpenAI y Perplexity hablan de unas 24 horas ([OpenAI](https://platform.openai.com/docs/bots), [Perplexity](https://docs.perplexity.ai/guides/bots)), y DuckDuckGo, de 72 horas para DuckAssistBot ([DuckDuckGo](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot)). - **No te hace aparecer.** Dejar pasar a un bot es la condición para que te puedan leer, no una razón para que te citen. Lo que define eso está en [qué es GEO](https://plinda.com/que-es-geo/) y en las guías de cada motor, como [ChatGPT](https://plinda.com/como-aparecer-en-chatgpt/), [Claude](https://plinda.com/como-aparecer-en-claude/) y [Perplexity](https://plinda.com/como-aparecer-en-perplexity/). ## Cómo comprobar qué está pasando - **Abrí tu robots.txt.** Entrá a tusitio.com/robots.txt y buscá un `Disallow: /` bajo `*` o bajo el nombre de un bot. - **Mirá los logs del servidor.** Buscá los nombres de la tabla y el código con el que respondés. Si le devolvés un 403 a un bot que tu robots.txt permite, el bloqueo no está en ese archivo: buscalo en el servidor, el firewall o el CDN. - **Confirmá que el bot sea real.** El nombre se puede falsificar: Common Crawl avisa que hay rastreadores que se hacen pasar por CCBot ([Common Crawl](https://commoncrawl.org/ccbot)). Varias empresas publican sus IP: [OAI-SearchBot](https://openai.com/searchbot.json), [Anthropic](https://claude.com/crawling/bots.json) y [PerplexityBot](https://www.perplexity.ai/perplexitybot.json). ## Qué hacemos en Plinda Nuestro [robots.txt](https://plinda.com/robots.txt) deja pasar a todos, también a los de entrenamiento. Nombramos a los principales para que quede explícito, aunque el grupo general ya los cubre. Es una decisión nuestra, porque queremos que los modelos lean lo que publicamos; a un medio o a alguien que vive de su contenido le puede convenir otra cosa. Qué permitimos y cómo pedimos que nos citen está en la [política de IA](https://plinda.com/ai-policy/). Si querés saber qué responde la IA sobre tu categoría y si tu sitio está entre las fuentes, eso es lo que revisamos en el [diagnóstico gratis](https://plinda.com/diagnostico/). ## Fuentes - [OpenAI: Overview of OpenAI crawlers (GPTBot, OAI-SearchBot, ChatGPT-User)](https://platform.openai.com/docs/bots) - [Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-the-web) - [Perplexity: Perplexity Crawlers (PerplexityBot y Perplexity-User)](https://docs.perplexity.ai/guides/bots) - [Google Search Central: Google's common crawlers (Googlebot y Google-Extended)](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) - [Google Search Central: AI features and your website](https://developers.google.com/search/docs/appearance/ai-features) - [Google Search Central: How Google interprets the robots.txt specification](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt) - [Google Search Central: Introduction to robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro) - [IETF: RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html) - [Bing Webmaster Blog: Announcing user-agent change for Bing crawler bingbot (abril de 2022)](https://blogs.bing.com/webmaster/2022/4/Announcing-user-agent-change-for-Bing-crawler-bingbot/) - [Bing Webmaster Blog: opciones para controlar el uso de tu contenido en Bing Chat (septiembre de 2023)](https://blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat) - [Microsoft Learn: Data, privacy, and security for web search in Microsoft Copilot](https://learn.microsoft.com/en-us/copilot/microsoft-365/manage-public-web-access) - [Apple: About Applebot](https://support.apple.com/en-us/119829) - [Meta: Web crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/) - [Mistral AI: Robots](https://docs.mistral.ai/robots/) - [Amazon: Amazonbot](https://developer.amazon.com/amazonbot) - [DuckDuckGo: DuckAssistBot](https://duckduckgo.com/duckduckgo-help-pages/results/duckassistbot) - [Common Crawl: CCBot](https://commoncrawl.org/ccbot) - [Cloudflare: Block AI bots](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/) ## Preguntas frecuentes ### Qué bots de IA tengo que permitir en el robots.txt? Para aparecer en respuestas con búsqueda: Googlebot y Bingbot, OAI-SearchBot y ChatGPT-User (OpenAI), PerplexityBot y Perplexity-User, y Claude-SearchBot y Claude-User (Anthropic). Los bots de entrenamiento, como GPTBot, ClaudeBot o Google-Extended, se controlan aparte. ### Si bloqueo GPTBot, dejo de aparecer en ChatGPT? No necesariamente. OpenAI dice que cada ajuste es independiente: podés permitir OAI-SearchBot para aparecer en la búsqueda de ChatGPT y bloquear GPTBot para indicar que no querés que tu contenido se use para entrenar. Lo que te saca de las respuestas de búsqueda es bloquear OAI-SearchBot. ### Hay un bot especial para AI Overviews? No. Google dice que las directivas de robots.txt para Googlebot son el control para Search, y que para limitar lo que se muestra se usan nosnippet, data-nosnippet, max-snippet o noindex. Google-Extended no afecta tu inclusión en Search. ### El robots.txt bloquea de verdad a un bot? No lo impide técnicamente: es un pedido que los rastreadores deciden respetar, y el estándar aclara que no es una autorización de acceso. Además, varias empresas avisan que sus bots a pedido del usuario pueden no seguirlo. Para frenar un acceso de verdad hace falta el servidor, el firewall o una contraseña. ### Cuánto tarda en aplicarse un cambio en el robots.txt? Depende de la empresa. Google suele guardar el archivo hasta 24 horas, OpenAI y Perplexity hablan de unas 24 horas, y DuckDuckGo, de 72 horas para DuckAssistBot. Contacto: [hola@plinda.com](mailto:hola@plinda.com) · [Diagnóstico gratis](https://plinda.com/diagnostico/) · Versión HTML: https://plinda.com/bots-de-ia-robots-txt/