Vue d’ensemble
Finalité
Collects data for Semrush SEO products.
User-agent exact
SemrushBot
robots.txt
Exemple pour autoriser
User-agent: SemrushBot Allow: /
Exemple pour bloquer
User-agent: SemrushBot Disallow: /
Limite importante
Le verdict robots.txt décrit la règle publiée pour le chemin testé. Il ne prouve ni l’exploration, ni l’indexation, ni l’entraînement, ni une citation.
Question fréquente
Cette règle contrôle-t-elle tous les produits du même opérateur ?
Non. Un opérateur peut publier des user-agents distincts pour l’entraînement, la recherche et la récupération demandée par un utilisateur.
Source officielle
Consult the operator’s current documentation before publishing a policy change.