Guía técnica

Qué bots de IA permitir en tu robots.txt.

Cada empresa de IA tiene varios bots, y cada uno hace algo distinto. Bloquear el equivocado te puede sacar de las respuestas. Esta guía junta lo que documenta cada empresa, para que decidas bot por bot.

Por Manu Arraya, fundador de Plinda · Actualizado el 2 de noviembre de 2026

Respuesta corta

Si querés aparecer en las respuestas de la IA, dejá pasar a los bots de búsqueda: Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot y PerplexityBot. Los de entrenamiento, como GPTBot o ClaudeBot, son otra decisión: bloquearlos no te saca de la búsqueda de ChatGPT ni de Claude. Y revisá también el firewall y el CDN, porque el robots.txt puede decir que sí y tu servidor, que no.

Los tres tipos de bot

De búsqueda o índice. Rastrean la web para poder mostrarte y enlazarte en las respuestas. Si los bloqueás, lo más probable es que dejes de aparecer en ese motor.
De entrenamiento. Juntan contenido que puede usarse para entrenar modelos. Bloquearlos es una decisión sobre el uso de tu contenido, y no afecta a los de búsqueda de la misma empresa cuando esta los separa.
A pedido del usuario. Visitan una página puntual porque alguien hizo una pregunta. No rastrean la web por su cuenta, y en varios casos el robots.txt puede no aplicarles (más abajo está el detalle).

Qué bot hace qué, empresa por empresa

Bots de IA por empresa y por uso
Empresa	Búsqueda o índice	Entrenamiento	A pedido del usuario
OpenAI	`OAI-SearchBot`	`GPTBot`	`ChatGPT-User`
Anthropic	`Claude-SearchBot`	`ClaudeBot`	`Claude-User`
Perplexity	`PerplexityBot`	—	`Perplexity-User`
Google	`Googlebot`	`Google-Extended`	—
Microsoft	`Bingbot`	—	—
Apple	`Applebot`	`Applebot-Extended`	—
Meta	`meta-webindexer`	`meta-externalagent`	`meta-externalfetcher`
Mistral AI	`MistralAI-Index`	`MistralAI-Training`	`MistralAI-User`
Amazon	`Amzn-SearchBot`	`Amazonbot`	`Amzn-User`
DuckDuckGo	`DuckAssistBot`	—	—

El guion quiere decir que no encontramos un bot para ese uso en la documentación que leímos, no que seguro no exista. Es un resumen: Google-Extended, Applebot, Amazonbot y meta-externalagent tienen matices, y están en la sección siguiente.

Fuentes: OpenAI, Anthropic, Perplexity, Google, Bing, Apple, Meta, Mistral AI, Amazon y DuckDuckGo.

Los casos que no son lo que parecen

AI Overviews y AI Mode no tienen bot propio. Google dice que la IA está integrada en Search y que las directivas de robots.txt para Googlebot son el control de cómo se rastrea tu sitio para Search. Para limitar lo que se muestra, se usan nosnippet, data-nosnippet, max-snippet o noindex (Google).
Google-Extended no es solo entrenamiento. No es un rastreador con identidad propia: es una señal en el robots.txt. Controla si el contenido se usa para entrenar modelos Gemini y también para el grounding en las apps de Gemini y en Vertex AI. Google aclara que no afecta tu inclusión ni tu ranking en Search (Google). O sea: bloquearlo no te saca de AI Overviews, pero puede pesar en la app de Gemini. Más en cómo aparecer en Gemini.
Applebot hace varias cosas. Alimenta la búsqueda de Spotlight, Siri y Safari, y también puede ayudar a entrenar modelos de Apple. Applebot-Extended no rastrea nada: solo indica cómo se puede usar lo que ya rastreó Applebot, y bloquearlo no te saca de los resultados de búsqueda (Apple).
Bingbot es la puerta de Copilot. Cuando Copilot busca en la web, le pide los resultados al servicio de búsqueda de Bing (Microsoft), así que bloquear a Bingbot te cierra las dos cosas. Para limitar el uso en respuestas, Bing anunció en 2023 las etiquetas NOCACHE y NOARCHIVE, sin que eso te saque de sus resultados; ese anuncio habla de Bing Chat y no menciona a Copilot (Bing). El producto está explicado en qué es Microsoft Copilot.
Los bots a pedido del usuario pueden no respetar el robots.txt. OpenAI dice que sus reglas pueden no aplicar a ChatGPT-User, porque la acción la inicia una persona (OpenAI). Perplexity dice que Perplexity-User en general las ignora (Perplexity). Meta y Amazon avisan algo parecido sobre meta-externalfetcher y Amzn-User (Meta, Amazon). Anthropic, en cambio, dice que bloquear Claude-User impide que Claude traiga tu contenido cuando alguien pregunta (Anthropic).
Amazonbot y meta-externalagent mezclan usos. Amazon dice que Amazonbot mejora sus productos y puede entrenar modelos; para las experiencias de búsqueda, como Alexa, usa Amzn-SearchBot (Amazon). Meta dice que meta-externalagent sirve para entrenar modelos o para indexar contenido directamente (Meta).
CCBot no es de un modelo en particular. Es el rastreador de Common Crawl, una fundación que mantiene un repositorio abierto de la web al que puede acceder cualquiera (Common Crawl).

Cómo se escribe, según lo que quieras

Abierto a todos, que es lo que hacemos en Plinda:

User-agent: *
Allow: /

Sitemap: https://tusitio.com/sitemap.xml

Aparecer en las respuestas, pero indicando que no querés que tu contenido se use para entrenar. Es un ejemplo, y cada línea es una decisión tuya:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: MistralAI-Training
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

Dejamos afuera a Google-Extended a propósito: como también controla el grounding en Gemini, conviene decidirlo aparte. OpenAI confirma que los ajustes son independientes: podés permitir OAI-SearchBot y bloquear GPTBot (OpenAI). Si un bot te carga demasiado el servidor, Anthropic acepta la directiva Crawl-delay (Anthropic), pero Amazon aclara que sus bots no la soportan (Amazon).

Errores que te dejan afuera sin que te des cuenta

Nombrar un bot anula las reglas generales para ese bot. Un rastreador sigue el grupo que lo nombra y usa el grupo * solo si no hay ninguno para él (RFC 9309). Google lo dice directo: los grupos específicos y el global no se combinan (Google). Si tenés Disallow: /admin/ bajo * y agregás un grupo para GPTBot con Allow: /, GPTBot ya no tiene esa restricción.
El firewall o el CDN bloquean lo que el robots.txt permite. Google incluye entre sus buenas prácticas que el rastreo esté permitido en el robots.txt y también en el CDN o el hosting (Google). Perplexity avisa que el Bot Fight Mode de Cloudflare puede seguir desafiando a sus bots aunque tengas una regla que los deje pasar (Perplexity). Y Cloudflare anunció nuevos valores por defecto para dominios nuevos desde el 15 de septiembre de 2026: los bots de entrenamiento y los agentes se bloquean en páginas con anuncios, los de búsqueda siguen permitidos, y los mixtos caen con cualquier bloqueo de entrenamiento. Si usás Cloudflare, miralo en Security Settings, en la configuración de bots de IA (Cloudflare).
Tu robots.txt devuelve un error de servidor. Si responde con un error 5xx, el estándar dice que el rastreador tiene que asumir que todo está bloqueado; con un 4xx, en cambio, puede entrar a todo (RFC 9309). Google deja de rastrear el sitio durante las primeras 12 horas de ese error (Google).
Te olvidás de un subdominio. Anthropic pide la regla en cada subdominio que quieras excluir (Anthropic): el archivo de tu dominio principal no cubre a los demás.
Bloqueás por IP en vez de por robots.txt. Anthropic avisa que bloquear sus IP puede no funcionar bien como exclusión, porque le impide leer tu robots.txt (Anthropic).

Lo que el robots.txt no hace

No protege nada. Sus reglas no son una autorización de acceso, y listar una ruta la hace pública (RFC 9309). Lo privado va con contraseña.
No saca una página de Google. Google dice que una URL bloqueada puede seguir apareciendo en los resultados, sin descripción. Para que no aparezca, usá noindex o contraseña (Google).
No cambia al instante. Google suele guardar el archivo hasta 24 horas (Google). OpenAI y Perplexity hablan de unas 24 horas (OpenAI, Perplexity), y DuckDuckGo, de 72 horas para DuckAssistBot (DuckDuckGo).
No te hace aparecer. Dejar pasar a un bot es la condición para que te puedan leer, no una razón para que te citen. Lo que define eso está en qué es GEO y en las guías de cada motor, como ChatGPT, Claude y Perplexity.

Cómo comprobar qué está pasando

Abrí tu robots.txt. Entrá a tusitio.com/robots.txt y buscá un Disallow: / bajo * o bajo el nombre de un bot.
Mirá los logs del servidor. Buscá los nombres de la tabla y el código con el que respondés. Si le devolvés un 403 a un bot que tu robots.txt permite, el bloqueo no está en ese archivo: buscalo en el servidor, el firewall o el CDN.
Confirmá que el bot sea real. El nombre se puede falsificar: Common Crawl avisa que hay rastreadores que se hacen pasar por CCBot (Common Crawl). Varias empresas publican sus IP: OAI-SearchBot, Anthropic y PerplexityBot.

Qué hacemos en Plinda

Nuestro robots.txt deja pasar a todos, también a los de entrenamiento. Nombramos a los principales para que quede explícito, aunque el grupo general ya los cubre. Es una decisión nuestra, porque queremos que los modelos lean lo que publicamos; a un medio o a alguien que vive de su contenido le puede convenir otra cosa. Qué permitimos y cómo pedimos que nos citen está en la política de IA.

Si querés saber qué responde la IA sobre tu categoría y si tu sitio está entre las fuentes, eso es lo que revisamos en el diagnóstico gratis.

Fuentes

Preguntas frecuentes

Qué bots de IA tengo que permitir en el robots.txt?

Para aparecer en respuestas con búsqueda: Googlebot y Bingbot, OAI-SearchBot y ChatGPT-User (OpenAI), PerplexityBot y Perplexity-User, y Claude-SearchBot y Claude-User (Anthropic). Los bots de entrenamiento, como GPTBot, ClaudeBot o Google-Extended, se controlan aparte.

Si bloqueo GPTBot, dejo de aparecer en ChatGPT?

No necesariamente. OpenAI dice que cada ajuste es independiente: podés permitir OAI-SearchBot para aparecer en la búsqueda de ChatGPT y bloquear GPTBot para indicar que no querés que tu contenido se use para entrenar. Lo que te saca de las respuestas de búsqueda es bloquear OAI-SearchBot.

Hay un bot especial para AI Overviews?

No. Google dice que las directivas de robots.txt para Googlebot son el control para Search, y que para limitar lo que se muestra se usan nosnippet, data-nosnippet, max-snippet o noindex. Google-Extended no afecta tu inclusión en Search.

El robots.txt bloquea de verdad a un bot?

No lo impide técnicamente: es un pedido que los rastreadores deciden respetar, y el estándar aclara que no es una autorización de acceso. Además, varias empresas avisan que sus bots a pedido del usuario pueden no seguirlo. Para frenar un acceso de verdad hace falta el servidor, el firewall o una contraseña.

Cuánto tarda en aplicarse un cambio en el robots.txt?

Depende de la empresa. Google suele guardar el archivo hasta 24 horas, OpenAI y Perplexity hablan de unas 24 horas, y DuckDuckGo, de 72 horas para DuckAssistBot.

Querés saber qué dice la IA de tu marca?

Completá un formulario corto y en 7 días hábiles te mandamos el diagnóstico: qué responde la IA sobre tu categoría y quién aparece en tu lugar. Sin compromiso.

Quiero mi diagnóstico gratis o agendá una llamada