Gerador de robots.txt gratuito online

O gerador de robots.txt da Twaino permite que você crie visualmente um arquivo robots.txt completo e válido para seu site. Este arquivo é essencial para controlar como os mecanismos de busca exploram e indexam seu site. Com nossa interface intuitiva, você pode adicionar regras de User-Agent, diretivas Allow e Disallow, e especificar a URL do seu sitemap sem escrever uma única linha de código manualmente.

O arquivo robots.txt é colocado na raiz do seu site e é a primeira coisa que os robôs dos mecanismos de busca consultam antes de explorar suas páginas. Um robots.txt mal configurado pode bloquear a indexação de páginas importantes ou, inversamente, permitir que os bots acessem recursos que você deseja manter privados.

Como usar o gerador de robots.txt?

A ferramenta começa com uma regra padrão para o User-Agent « * » (todos os robôs). Você pode adicionar diretivas Allow ou Disallow para cada User-Agent clicando em « + Diretiva ». Para direcionar um robô específico como Googlebot ou Bingbot, clique em « + Adicionar um User-Agent » e digite seu nome. Preencha a URL do seu sitemap no campo fornecido e a visualização se atualiza em tempo real à direita. Copie o resultado com um clique e cole-o em seu arquivo robots.txt.

O que é o arquivo robots.txt?

O arquivo robots.txt é um arquivo de texto que segue o Robots Exclusion Protocol. Ele indica aos robôs dos mecanismos de busca quais partes do seu site eles podem ou não explorar. Cada conjunto de regras começa com uma diretiva User-agent que identifica o robô em questão, seguida de diretivas Allow (permitir) e Disallow (proibir) que especificam os caminhos acessíveis ou bloqueados.

A diretiva Sitemap no final do arquivo indica aos mecanismos de busca onde encontrar seu mapa do site XML, facilitando a descoberta e indexação de todas as suas páginas.

Boas práticas para robots.txt

Aqui estão algumas recomendações essenciais para um robots.txt eficaz. Nunca bloqueie seus arquivos CSS e JavaScript, pois o Google precisa deles para renderizar corretamente suas páginas. Use o robots.txt para bloquear páginas de baixo valor SEO, como páginas de resultados de busca interna, páginas de classificação ou arquivos de tags pouco relevantes. Sempre indique a URL do seu sitemap XML para facilitar o rastreamento.

Não use o robots.txt para ocultar páginas sensíveis, pois é público e legível por todos. Para proteger conteúdo confidencial, use autenticação ou a meta tag noindex.

Exemplos comuns de diretivas

Para um site WordPress, é comum bloquear o acesso à pasta wp-admin enquanto autoriza wp-admin/admin-ajax.php, que é necessário para o funcionamento do site. Também bloqueamos geralmente as páginas de busca com Disallow: /?s= e as páginas de tags duplicadas. Para um site de e-commerce, você pode bloquear páginas de filtros e classificação que criam conteúdo duplicado.

FAQ

O robots.txt impede a indexação de minhas páginas?

O robots.txt impede o rastreamento (crawl) mas não necessariamente a indexação. Se outros sites fazem links para uma página bloqueada, o Google ainda pode indexá-la sem visitá-la. Para impedir a indexação, use a meta tag noindex.

O que significa User-agent: *?

O asterisco significa « todos os robôs ». As regras sob este User-agent se aplicam a todos os mecanismos de busca, exceto aqueles que têm regras específicas definidas anteriormente no arquivo.

Posso bloquear apenas o Google sem afetar o Bing?

Sim, crie um grupo específico com User-agent: Googlebot e adicione suas diretivas Disallow. Os outros mecanismos seguirão as regras do User-agent: * que não contêm essas restrições.

Como testar meu robots.txt?

Use a ferramenta de teste do robots.txt no Google Search Console. Ela permite que você verifique se uma URL específica é bloqueada ou permitida por suas regras.

Com que frequência os robôs consultam o robots.txt?

O Googlebot armazena em cache o robots.txt e o consulta aproximadamente uma vez por dia. As alterações não são levadas em conta instantaneamente.