robots.txt · AI crawlers

Checker de robots.txt para IA

Introduce tu dominio. Leemos tu robots.txt y te mostramos, crawler por crawler, qué bots de IA permites y cuáles bloqueas — para que no te vuelvas invisible por accidente.

Gratis · sin registro · lee tu robots.txt en vivo

Por qué robots.txt importa para la IA

robots.txt es lo primero que consulta un crawler de IA antes de leerte. Muchas plantillas y CDNs bloquean por defecto a GPTBot, ClaudeBot o PerplexityBot — así que cuando un asistente busca en vivo, tu contenido queda fuera y responde sin ti. Este checker te muestra si tu política es de verdad la que crees. Lee la guía completa →

FAQ

¿Qué hace este checker?

Descarga tu /robots.txt e informa, para cada crawler de IA documentado (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot y más), si tus reglas lo permiten o lo bloquean. Gratis y sin registro.

¿Si bloqueo GPTBot desaparezco de ChatGPT?

No del todo: bloquear GPTBot frena el entrenamiento/indexación, pero la navegación en vivo (ChatGPT-User) usa otro user-agent. Aun así, bloquear el crawler reduce lo que el asistente sabe de ti. Decídelo a conciencia.

¿Y si no tengo robots.txt?

Entonces los bots de IA entran por defecto: no bloqueas a ninguno, pero tampoco declaras política ni sitemap. El checker te sugiere un robots.txt explícito listo para publicar.

¿Bloquear a los bots de IA ayuda a mi SEO en Google?

No. Los crawlers de IA son distintos de Googlebot. Bloquearlos no cambia tu posición en Google — solo tu visibilidad ante los asistentes de IA.