Lee robots.txt, tokens documentados, archivos de descubrimiento, respuestas técnicas y señales de indexación. El resultado describe la URL probada en un momento concreto.
¿Puedo permitir la búsqueda IA y bloquear el entrenamiento?
A menudo sí. Búsqueda, entrenamiento y recuperación pueden usar user-agents distintos. Comprueba la documentación vigente y evita una regla global para todos los bots.
¿robots.txt protege el contenido privado?
No. robots.txt comunica preferencias a bots cooperativos. Usa autenticación y autorización para contenido sensible.
¿El auditor necesita una clave API?
No. El comprobador público utiliza evidencias accesibles sin clave y complementa, sin sustituir, tus logs y Search Console.
