robots.txt 생성기 및 검증기

사용 사례

• 새 사이트 준비User-agent 그룹을 생성하고, 크롤링에 불필요한 공간을 차단하며, 절대 sitemap을 선언합니다.
• 기존 파일 감사내용을 붙여넣어 잘못된 지침, 중복, 잘못된 경로, 우연한 HTML 또는 500 Kio를 초과하는 크기를 찾아보세요.
• 차단된 URL 진단특정 제품 토큰으로 URL을 테스트하여 선택된 그룹과 가장 구체적인 Allow 또는 Disallow 규칙을 식별합니다.

권장 방법

먼저 사이트의 정확한 출처를 정의합니다. HTTPS로 제공되는 파일은 HTTP, 다른 서브도메인 또는 다른 포트를 제어하지 않습니다. /robots.txt 위치에서 접근 가능해야 합니다.

적은 수의 규칙과 명시적인 경로로 시작합니다. 여러 규칙이 일치할 경우, 가장 구체적인 규칙이 우선하며, 동등한 구체성에서는 Allow가 Disallow보다 우선합니다.

중요한 로봇과 몇 개의 대표적인 URL을 테스트하고, 파일을 UTF-8로 text/plain 유형으로 게시한 후 외부에서 HTTP 응답을 확인합니다.

알아야 할 한계

• 크롤링을 차단한다고 해서 URL이 검색 결과에 나타나지 않는 것은 아닙니다. 링크로 알려진 URL은 인덱스에 남아 있을 수 있습니다.
• robots.txt는 공개적이며 어떤 데이터도 보호하지 않습니다. 민감한 콘텐츠에는 인증 및 서버 권한을 사용하세요.
• 표준은 공통 기반을 정의하지만, 각 로봇은 추가 지침을 지원할 수 있습니다. Google은 특히 Crawl-delay를 무시합니다.

자주 묻는 질문

경로를 차단하기 전에