🤖Gerador de robots.txt
Monte o arquivo robots.txt com regras Allow e Disallow por user-agent, indique o sitemap e comece por modelos prontos para WordPress, lojas virtuais ou bloqueio total. Baixe o arquivo pronto para subir na raiz do site.
Comece por um modelo:
🔒 Cálculo 100% local — os dados que você digita não saem do seu navegador, nada é enviado a servidores.
Fonte: RFC 9309: Robots Exclusion Protocol — Padrão do protocolo de exclusão de robôs; o Google documenta o suporte às diretivas user-agent, allow, disallow e sitemap · Última verificação em 24/09/2026
O robots.txt é um arquivo de texto na raiz do site que orienta rastreadores sobre quais caminhos podem ou não ser visitados. Ele não é uma medida de segurança e não remove páginas do Google: uma URL bloqueada ainda pode aparecer no índice. Para tirar uma página dos resultados, use a tag noindex.
Como usar o gerador
- Comece por um modeloOs botões carregam configurações comuns: WordPress, loja virtual, bloqueio de robôs de IA, liberar tudo e bloquear tudo. Depois edite os caminhos para o seu site.
- Ajuste grupos, regras e sitemapCada grupo tem um ou mais user-agents e uma lista de regras Allow e Disallow, uma por linha. Informe o sitemap com URL completa. O Crawl-delay é opcional.
- Publique na raiz do domínioBaixe ou copie o resultado e salve como robots.txt na raiz, de forma que fique acessível em seusite.com.br/robots.txt. Cada subdomínio precisa do seu próprio arquivo.
Como funciona o arquivo
O robots.txt é lido pelos rastreadores antes de visitar as páginas de um site. Ele é dividido em grupos: cada grupo começa com uma ou mais linhas User-agent, que dizem a quais robôs as regras se aplicam, seguidas de linhas Disallow (caminhos que não devem ser rastreados) e Allow (exceções). O asterisco vale para qualquer robô. Quando duas regras conflitam, o Google usa a mais específica, isto é, a de caminho mais longo. A linha Sitemap indica onde está o mapa do site e não pertence a nenhum grupo.
O caractere * funciona como curinga e o cifrão ao final marca o fim da URL: Disallow: /*.pdf$ bloqueia os arquivos terminados em .pdf. Um Disallow vazio significa que nada é bloqueado.
O Crawl-delay pede um intervalo entre requisições, mas o Google ignora essa diretiva; o Bing e alguns outros rastreadores a respeitam. O arquivo é público: qualquer pessoa pode lê-lo, inclusive para descobrir caminhos que você quis esconder.
Exemplo resolvido
Em um site WordPress, o modelo gera: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, mais o bloqueio das buscas internas (/?s= e /search/) e a linha Sitemap. O Allow do admin-ajax.php é necessário porque muitos temas e plugins usam esse arquivo no front-end. Já a pasta wp-content não é bloqueada, pois ali ficam imagens, CSS e scripts de que o Google precisa para renderizar a página.
Para uma loja virtual, o modelo bloqueia carrinho, checkout, área da conta e endereços com parâmetros de ordenação e de adicionar ao carrinho, que geram milhares de URLs sem valor para busca. Já o modelo de robôs de IA cria um grupo com GPTBot, CCBot, ClaudeBot, PerplexityBot e Google-Extended com Disallow: /, enquanto os demais robôs seguem livres. Isso depende da boa-fé de cada operador do robô.
Suposições e limitações
- O robots.txt não é segurança: é um arquivo público e só orienta robôs que o respeitam; conteúdo privado deve ter senha ou controle de acesso no servidor
- Bloquear uma URL no robots.txt não a remove do Google: ela pode continuar no índice, sem descrição; para remover, use a tag noindex e deixe a página rastreável
- Se uma página estiver bloqueada, o Google não consegue ler a tag noindex dela, então não combine os dois mecanismos
- O Google ignora Crawl-delay; para ajustar a velocidade de rastreio dele, use os recursos do Search Console e a resposta do servidor
- Processamento 100% local: nada sai do navegador e nenhum site é acessado
Dicas para tirar o melhor proveito
Use o robots.txt para controlar o que é rastreado, principalmente áreas sem valor para busca: buscas internas, carrinho, filtros e parâmetros infinitos. Nunca bloqueie CSS, JavaScript e imagens usados para exibir a página. Sempre inclua a linha Sitemap com URL absoluta.
Teste o arquivo antes de publicar e, depois, confira no Search Console o relatório de estatísticas de rastreamento e a inspeção de URLs para verificar se páginas importantes não foram bloqueadas por engano. Em ambientes de homologação, prefira proteger com senha em vez de contar apenas com Disallow: /, pois o robots.txt não impede acesso. Ao migrar um site, revise o arquivo, porque é comum o Disallow: / do ambiente de testes ir parar em produção.
Se o seu objetivo é reduzir o rastreamento de páginas de filtro, pense antes no que elas fazem: se geram conteúdo duplicado, a tag canonical ou uma estrutura de links mais limpa costuma resolver melhor do que bloquear. O robots.txt entra bem quando o volume de URLs inúteis é grande e você quer poupar o orçamento de rastreamento do site. Mantenha um comentário no arquivo, com o caractere #, explicando o motivo de cada regra importante, para que a próxima pessoa que mexer nele não remova algo essencial sem querer.
Erros comuns a evitar
O erro mais grave é publicar Disallow: / em produção, derrubando o rastreamento do site inteiro. Outro é achar que o robots.txt esconde páginas: ele pode até divulgar o caminho das áreas sensíveis. Também é frequente bloquear a URL de uma página que já está no Google esperando que ela saia do índice, o que não acontece.
Outros deslizes: caminhos sem barra inicial, uma URL relativa na linha Sitemap, arquivo salvo em codificação errada ou fora da raiz do domínio, e regras conflitantes entre grupos. Lembre que o nome do arquivo deve ser exatamente robots.txt, em minúsculas.
Veja também
Se esta ferramenta foi útil, você também pode precisar destas relacionadas: Prévia de resultado do Google, Gerador de sitemap XML, Gerador de schema markup (JSON-LD), Gerador de redirecionamento 301.
Ferramentas relacionadas
🔎Prévia de resultado do Google
Veja como título e description aparecem no Google, com aviso de corte.
Abrir ferramenta →🗺️Gerador de sitemap XML
Transforme uma lista de URLs em sitemap.xml válido, pronto para baixar.
Abrir ferramenta →🏷️Gerador de schema markup (JSON-LD)
Gere JSON-LD para Article, LocalBusiness, Product, FAQ e mais.
Abrir ferramenta →↪️Gerador de redirecionamento 301
Gere regras 301 para .htaccess, Nginx e Netlify, com aviso de loops.
Abrir ferramenta →Perguntas frequentes
O que é o arquivo robots.txt?
É um arquivo de texto na raiz do site que informa a rastreadores, como o Googlebot, quais caminhos podem ou não ser visitados. É um pedido de boa conduta, não um bloqueio técnico.
O robots.txt remove uma página do Google?
Não. Uma URL bloqueada pode continuar aparecendo no índice, sem descrição, se houver links para ela. Para remover, use a meta tag noindex e deixe a página acessível ao rastreador.
O robots.txt protege conteúdo privado?
Não. Ele é público e só orienta robôs que o respeitam. Para conteúdo privado, use senha, login ou controle de acesso no servidor.
Qual a diferença entre Allow e Disallow?
Disallow pede que o caminho não seja rastreado; Allow abre uma exceção dentro de um caminho bloqueado. Quando há conflito, o Google segue a regra mais específica.
O Google respeita o Crawl-delay?
Não, o Google ignora essa diretiva. O Bing e alguns outros rastreadores a respeitam, então ela ainda pode ser útil para outros robôs.
Onde devo colocar o arquivo robots.txt?
Na raiz do domínio, acessível em seusite.com.br/robots.txt. Cada subdomínio e protocolo precisa do seu próprio arquivo.
Explore mais ferramentas gratuitas
Dezenas de calculadoras, conversores e geradores — todos funcionam no navegador, sem cadastro e sem instalar nada.