🔒 100% privado — funciona no seu navegador, nada é enviado

Gerador e testador de robots.txt

Monte um robots.txt limpo ou cole o seu e verifique se há erros — inclusive testando qual rastreador pode baixar qual URL.

O robots.txt é o primeiro arquivo que a maioria dos rastreadores pede a um site: uma lista em texto puro de regras de acesso, agrupadas por user-agent. É uma convenção, não um mecanismo de segurança: o que realmente precisa ficar privado tem de estar atrás de um login, porque uma linha Disallow, na prática, anuncia que aquele caminho existe.

Respostas rápidas

O que é o robots.txt e para que serve?

O robots.txt é um arquivo de texto puro na raiz do domínio que diz a cada rastreador quais caminhos ele pode baixar e quais não pode, com regras agrupadas por user-agent.

É a primeira coisa que Googlebot, Bingbot ou os rastreadores de IA pedem ao chegar a um site. Não é segurança nem uma ordem com força de lei: é uma convenção que os rastreadores corretos respeitam e os abusivos podem ignorar.

Um Disallow tira uma página dos resultados do Google?

Não de forma confiável: o Disallow impede o download da página, não a indexação. Se outros sites linkarem essa URL, o Google pode listá-la sem descrição, porque sabe que ela existe.

Para retirar uma página dos resultados, você precisa de uma tag noindex ou de proteção por senha. O robots.txt é a ferramenta errada para isso, e usá-lo assim é um dos erros mais comuns.

Rastreadores de IA respeitam o robots.txt?

Os dos principais laboratórios, que se identificam pelo nome — GPTBot, ClaudeBot, CCBot —, declaram que sim, e bloqueá-los é criar um grupo User-agent próprio com Disallow: / para cada um.

Raspadores que não se identificam com honestidade são outra história: trate o robots.txt como a expressão da sua preferência, não como um mecanismo de imposição.

Como usar

  1. Comece por um modelo rápido ou digite um user-agent e os caminhos que ele não pode baixar: o arquivo se monta enquanto você digita.
  2. Copie ou baixe o resultado e coloque na raiz do seu domínio: seudominio.com.br/robots.txt precisa devolver exatamente esse texto.
  3. Antes de publicar um arquivo editado na mão, cole-o no testador abaixo: ele aponta linhas malformadas, regras colocadas antes de qualquer User-agent e diretivas desconhecidas.
  4. Use o veredito do testador para conferir os casos que importam para você — seu caminho de homologação como Googlebot, o site inteiro como um rastreador de IA —, porque vence a regra correspondente mais longa, e um Disallow amplo pode anular em silêncio tudo o que está abaixo dele.

Sobre esta ferramenta

As regras têm duas sutilezas que causam quase todos os erros do mundo real. Os grupos são escolhidos pelo user-agent correspondente mais específico, então um grupo para o Googlebot substitui o grupo * por completo, em vez de se somar a ele. E, quando várias regras correspondem a uma URL, vence o caminho mais longo, com o Allow desempatando — é assim que um único Allow para um arquivo pode reabrir uma pasta que, de resto, está fechada. O testador desta página implementa as duas regras, além da sintaxe de padrões padrão — o * corresponde a qualquer sequência de caracteres e um $ no final ancora o padrão ao fim do caminho (assim /*.pdf$ bloqueia todos os PDFs) —, de modo que os vereditos combinam com a forma como os grandes rastreadores decidem de verdade.

Nada do que você cola aqui sai do seu navegador: a análise, a verificação e o veredito rodam em JavaScript no seu aparelho. Dá para testar sem preocupação o robots.txt de um ambiente de homologação ou de um site interno, sem o arquivo viajar para servidor nenhum, e o download gera o arquivo robots.txt pronto para subir para a raiz do domínio.

Perguntas frequentes

O robots.txt mantém uma página fora dos resultados do Google?

Não de forma confiável. Ele interrompe o download, não a indexação: se outros sites linkarem uma URL bloqueada, o Google pode continuar listando-a (sem descrição), porque sabe que ela existe. Para retirar uma página dos resultados, use uma tag noindex ou uma senha; o robots.txt sozinho é a ferramenta errada.

O robots.txt pode proteger arquivos privados?

Não. É um arquivo público que qualquer pessoa pode ler, e uma linha Disallow nomeia justamente os caminhos que você está tentando esconder. Rastreadores que ignoram instruções — raspadores, scanners de malware — vão ler o arquivo e ir direto a esses caminhos. Conteúdo privado precisa de autenticação.

E se o grupo * e o do Googlebot disserem coisas diferentes?

O Googlebot segue apenas o grupo dele: quando existe um grupo específico para um rastreador, esse grupo substitui o grupo * por completo, não se soma a ele. Se um caminho também precisa ficar bloqueado para o Google, repita a regra dentro do grupo do Googlebot.

Alguma coisa é enviada quando testo meu arquivo aqui?

Não. A análise, a verificação e o veredito de URL rodam em JavaScript no seu navegador: cole o robots.txt de um ambiente de homologação ou interno sem ele sair do seu aparelho.

Mais ferramentas em português