Robots.txt 생성기
SEO 친화적 인 robots.txt 파일을 만들어 크롤러 액세스를 제어합니다.
🌐 웹사이트 정보
🤖 크롤러 제어
어떤 크롤러를 구성하는지 선택하십시오:
🚫 경로 규칙
아직 규칙이 추가되지 않았습니다.시작하기 위해 "규칙 추가"를 클릭합니다.
⏱ ️ 크롤 지연 (선택)
특정 특정 특정 특특정 특특정 특특정 특특정 특특정 특특정 특정 특정 특정 특정 특특정 특정 특정 특정 특정 특정 특정 특정
Googlebot의
초
Bingbot는
초
Yandex는
초
📄 robots.txt 미리보기
⚠ ️ 중요한 사항: robots.txt 파일을 도메인의 루트 디렉토리에 (예를 들어,https://example.com/robots.txt)
Robots.txt 파일은 무엇입니까?
A 로봇.txt 파일은 웹사이트의 루트 디렉토리에 위치한 텍스트 파일이며 검색 엔진 크롤러에게 사이트에서 요청할 수 있는 페이지나 파일을 알려줍니다.
그것은 로봇 제외 프로토콜 (REP)로봇이 웹을 크롤하고 인로로로로로로봇이 어떻게 인로로로봇이 웹을 크롤하고 인로로로로로로로로로봇이 웹을 크롤하고 인로로로로로로로로그룹의 웹 표준
robots.txt는 보안 조치가 아닙니다 (능숙한 사용자는 여전히 허용되지 않은 페이지에 액세스할 수 있지만):
- 복제 콘텐츠 문제 방지
- 크롤 예산 관리
- 내부 페이지를 개인 유지
- 크롤러를 사이트사이트사이트사이트지도로 이동
기본 구문
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
Robots.txt 최고의 사례
✅
Do
- 루트 디렉토리에 위치
- 일관된 케이싱 사용
- 사이트지도 참조
- Google 검색 콘솔 테스트
❌
하지 마세요
- CSS 또는 JS 파일 차단
- noindex 대체로 사용
- 전체 사이트를 허용하지 않습니다
- 검색 결과 페이지 차단
💡
프로 팁
- * 와일드 카드 ()가 지원됩니다.
- URL의 끝에 $ 를 사용하십시오.
- 크롤 지연은 제안만
- bot 활동 로그를 확인