Visão geral
Finalidade
Google web search crawler.
User-agent exato
Googlebot
robots.txt
Exemplo para permitir
User-agent: Googlebot Allow: /
Exemplo para bloquear
User-agent: Googlebot Disallow: /
Limitação importante
O resultado do robots.txt descreve a regra publicada para o caminho testado. Não prova rastreamento, indexação, treino, citações ou tráfego.
Pergunta frequente
Esta regra controla todos os produtos do mesmo operador?
Não. Os operadores podem publicar user-agents distintos para treino, pesquisa e recuperação iniciada pelo utilizador.