Robots.txt Generator
Создайте SEO-дружественные файлы robots.txt для управления доступом к сканерам
🌐 Информация о веб-сайте
🤖 Управление Crawler Control
Выберите, какие сканеры настроить:
🚫 Правила пути
⏱ ️ Задержка сканирования (необязательно)
Задание сканирования для конкретных ботов (секунд между запросами):
📄 robots.txt Просмотр
⚠ ️ Важно: Разместите ваш файл robots.txt в корневую директорию вашего домена (например, https://example.com/robots.txt)
Что такое файл robots.txt?
A robots.txt Файл - это текстовый файл, расположенный в корневой каталоге вашего сайта, который сообщает сканерам поисковых систем, какие страницы или файлы они могут или не могут запросить с вашего сайта.
It 's part of the Протокол по исключению роботов (REP)Это группа веб-стандартов, которые регулируют, как роботы сканируют и индексируют веб.
Несмотря на то, что robots.txt не является мерой безопасности (опытные пользователи все еще могут получить доступ к запрещенным страницам), он необходим для:
- Предотвращение дублирования контента
- Управление бюджетом crawl
- Сохранение внутренних страниц частными
- Направление сканеров к вашей карте сайта
Основный синтаксис
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt Лучшие методы
Do
- Место в корневом каталоге
- Использование последовательного корпуса
- Ссылка на карту сайта
- Тест с Google Search Console
Don 't
- Блокировать CSS или JS файлы
- Используйте noindex в качестве замены
- Отключить весь сайт
- Блокировать страницы результатов поиска
Про советы
- * Поддерживаются Wildcards ()
- Используйте $в конце URL
- Crawl-delay - это только предложение
- Проверка журналов на предмет активности ботов