Robots.txt Generator

Crie arquivos robots.txt SEO-friendly para controlar o acesso do rastreador

🌐 Informações do site

URL do site

Sitemap URL (optional)

🤖 Controle do Crawler

Selecione quais rastreadores configurar:

🚫 Regras do caminho

Ainda não foram adicionadas regras. Clique em "Adicionar Regra" para começar.

⏱️ Crawl Delay (Optional)

Defina o atraso de rastreamento para bots específicos (segundos entre solicitações):

Googlebot segundos

Bingbot segundos

Yandex segundos

📄 robots.txt Previsão

⚠️ Important: Coloque seu arquivo robots.txt no diretório raiz do seu domínio (por exemplo, https://example.com/robots.txt)

O que é um arquivo Robots.txt?

A robots.txt O arquivo de texto é um arquivo de texto localizado no diretório raiz do seu site que diz aos rastreadores de mecanismos de busca quais páginas ou arquivos podem ou não solicitar do seu site.

É parte do Protocolo de Exclusão de Robôs (REP)Um grupo de padrões da web que regulam como os robôs rastream e indexam a web.

While robots.txt is not a security measure (savvy users can still access disallowed pages), it's essential for:

Evitar problemas de conteúdo duplicado
Gerenciamento do orçamento do crawl
Mantenha suas páginas internas privadas
Direcionando crawlers para o seu sitemap

Sintaxe Básica

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Robots.txt Melhores Práticas

✅

Do

Localização no diretório root
Use uma caixa consistente
Referência do seu sitemap
Teste com o Google Search Console

❌

Não

Bloquear arquivos CSS ou JS
Use o noindex como substituto
Desmarcar todo o site
Bloquear páginas de resultados de pesquisa

💡

Pro Tipos

* Wildcards () são suportados
Use $para o fim da URL
O crawl-delay é apenas uma sugestão
Verifique logs para atividade de bot