Gerador e testador de robots.txt
Monte um robots.txt limpo ou cole o seu e verifique se há erros — inclusive testando qual rastreador pode baixar qual URL.
O robots.txt é o primeiro arquivo que a maioria dos rastreadores pede a um site: uma lista em texto puro de regras de acesso, agrupadas por user-agent. É uma convenção, não um mecanismo de segurança: o que realmente precisa ficar privado tem de estar atrás de um login, porque uma linha Disallow, na prática, anuncia que aquele caminho existe.
Respostas rápidas
O que é o robots.txt e para que serve?
O robots.txt é um arquivo de texto puro na raiz do domínio que diz a cada rastreador quais caminhos ele pode baixar e quais não pode, com regras agrupadas por user-agent.
É a primeira coisa que Googlebot, Bingbot ou os rastreadores de IA pedem ao chegar a um site. Não é segurança nem uma ordem com força de lei: é uma convenção que os rastreadores corretos respeitam e os abusivos podem ignorar.
Um Disallow tira uma página dos resultados do Google?
Não de forma confiável: o Disallow impede o download da página, não a indexação. Se outros sites linkarem essa URL, o Google pode listá-la sem descrição, porque sabe que ela existe.
Para retirar uma página dos resultados, você precisa de uma tag noindex ou de proteção por senha. O robots.txt é a ferramenta errada para isso, e usá-lo assim é um dos erros mais comuns.
Rastreadores de IA respeitam o robots.txt?
Os dos principais laboratórios, que se identificam pelo nome — GPTBot, ClaudeBot, CCBot —, declaram que sim, e bloqueá-los é criar um grupo User-agent próprio com Disallow: / para cada um.
Raspadores que não se identificam com honestidade são outra história: trate o robots.txt como a expressão da sua preferência, não como um mecanismo de imposição.
Como usar
- Comece por um modelo rápido ou digite um user-agent e os caminhos que ele não pode baixar: o arquivo se monta enquanto você digita.
- Copie ou baixe o resultado e coloque na raiz do seu domínio: seudominio.com.br/robots.txt precisa devolver exatamente esse texto.
- Antes de publicar um arquivo editado na mão, cole-o no testador abaixo: ele aponta linhas malformadas, regras colocadas antes de qualquer User-agent e diretivas desconhecidas.
- Use o veredito do testador para conferir os casos que importam para você — seu caminho de homologação como Googlebot, o site inteiro como um rastreador de IA —, porque vence a regra correspondente mais longa, e um Disallow amplo pode anular em silêncio tudo o que está abaixo dele.
Sobre esta ferramenta
As regras têm duas sutilezas que causam quase todos os erros do mundo real. Os grupos são escolhidos pelo user-agent correspondente mais específico, então um grupo para o Googlebot substitui o grupo * por completo, em vez de se somar a ele. E, quando várias regras correspondem a uma URL, vence o caminho mais longo, com o Allow desempatando — é assim que um único Allow para um arquivo pode reabrir uma pasta que, de resto, está fechada. O testador desta página implementa as duas regras, além da sintaxe de padrões padrão — o * corresponde a qualquer sequência de caracteres e um $ no final ancora o padrão ao fim do caminho (assim /*.pdf$ bloqueia todos os PDFs) —, de modo que os vereditos combinam com a forma como os grandes rastreadores decidem de verdade.
Nada do que você cola aqui sai do seu navegador: a análise, a verificação e o veredito rodam em JavaScript no seu aparelho. Dá para testar sem preocupação o robots.txt de um ambiente de homologação ou de um site interno, sem o arquivo viajar para servidor nenhum, e o download gera o arquivo robots.txt pronto para subir para a raiz do domínio.
Perguntas frequentes
O robots.txt mantém uma página fora dos resultados do Google?
Não de forma confiável. Ele interrompe o download, não a indexação: se outros sites linkarem uma URL bloqueada, o Google pode continuar listando-a (sem descrição), porque sabe que ela existe. Para retirar uma página dos resultados, use uma tag noindex ou uma senha; o robots.txt sozinho é a ferramenta errada.
O robots.txt pode proteger arquivos privados?
Não. É um arquivo público que qualquer pessoa pode ler, e uma linha Disallow nomeia justamente os caminhos que você está tentando esconder. Rastreadores que ignoram instruções — raspadores, scanners de malware — vão ler o arquivo e ir direto a esses caminhos. Conteúdo privado precisa de autenticação.
E se o grupo * e o do Googlebot disserem coisas diferentes?
O Googlebot segue apenas o grupo dele: quando existe um grupo específico para um rastreador, esse grupo substitui o grupo * por completo, não se soma a ele. Se um caminho também precisa ficar bloqueado para o Google, repita a regra dentro do grupo do Googlebot.
Alguma coisa é enviada quando testo meu arquivo aqui?
Não. A análise, a verificação e o veredito de URL rodam em JavaScript no seu navegador: cole o robots.txt de um ambiente de homologação ou interno sem ele sair do seu aparelho.
Mais ferramentas em português
Prévia de meta tags
Veja como sua página aparece no Google, no X e no Facebook — e leve as meta tags que fazem ela aparecer do jeito certo.
Gerador de código QR
Transforme qualquer link ou texto em um código QR escaneável em segundos — inclusive um código de Wi-Fi para as visitas.
Contador de palavras
Conte palavras, caracteres, frases e tempo de leitura enquanto digita.
Gerador de senhas
Crie senhas fortes e aleatórias — geradas só no seu aparelho, nunca enviadas a ninguém.
Teste de teclado
Pressione qualquer tecla e veja ela acender: confira se todas as teclas do seu teclado funcionam, no layout ABNT2, com a tecla Ç.
Robots.txt Generator & Tester
Build a clean robots.txt, or paste yours in and check it for mistakes — including testing which crawler can fetch which URL.