Permitir pesquisa com IA e bloquear o treino de modelos
Pesquisa, treino e recuperação são finalidades diferentes. Uma política pode decidir por user-agent em vez de aplicar um wildcard a todos os produtos.
Associe cada user-agent documentado à pesquisa, ao treino ou à recuperação pedida pelo utilizador.
Comece pela finalidade
Associe cada user-agent documentado à pesquisa, ao treino ou à recuperação pedida pelo utilizador.
Pode permitir um token de pesquisa, bloquear um token de treino e avaliar separadamente um fetcher iniciado pelo utilizador. Verifique a documentação e date a revisão.
Use grupos explícitos
Escreva grupos específicos, recupere o ficheiro publicado e teste caminhos representativos.
Um exemplo pode permitir OAI-SearchBot e bloquear GPTBot, mas a política real depende dos direitos, contratos e aconselhamento aplicável.
Explique os limites
robots.txt não é autenticação, licença nem garantia de citação.
Proteja dados privados com controlo de acesso, analise os registos separadamente e reveja a política quando os tokens mudarem.
Checklist prático
Estes passos transformam o princípio do artigo num hábito editorial e de medição reproduzível.
- Registe o URL exato, o token e a data antes de alterar uma regra.
- Separe a diretiva publicada, a resposta HTTP observada e a visibilidade na pesquisa.
- Ligue à documentação oficial e explique o que o teste não pode provar.
Perguntas frequentes
Bloquear GPTBot bloqueia a pesquisa com IA?
Não necessariamente quando os tokens são separados; confirme a documentação e as respostas atuais.
Isto é aconselhamento jurídico?
Não. Peça uma revisão profissional de direitos e contratos.