robots.txt 검사기

가장 긴 규칙이 이깁니다. 쓴 순서는 상관없습니다. /private/를 막고 /private/public/을 열어 두면 더 긴 쪽이 이겨 하위 폴더만 열립니다. 길이가 정확히 같을 때만 Allow가 우선합니다. 길이는 옥텟(바이트) 수로 재므로 한글 경로는 글자 수와 다릅니다.

정확히 맞는 그룹이 있으면 * 그룹을 아예 보지 않기 때문입니다. User-agent: Googlebot 그룹을 만드는 순간 그 크롤러에게는 * 그룹의 규칙이 적용되지 않습니다. 필요한 규칙을 그 그룹 안에 다시 적어야 합니다. 가장 흔한 실수입니다.

*는 아무 문자 0개 이상, $는 무늬의 끝을 뜻합니다. Disallow: /*.pdf$ 는 .pdf로 끝나는 주소만 막으므로 /a.pdf는 막히지만 /a.pdf?v=1은 막히지 않습니다. 원래는 표준 밖의 확장이었으나 RFC 9309에 정식으로 들어갔습니다.

아무것도 막지 않는다는 뜻입니다. 길이가 0이라 어떤 규칙보다도 약하게 맞아 사실상 무시됩니다. 모든 것을 막으려면 Disallow: / 처럼 슬래시를 적어야 합니다.

없습니다. 크롤러에게 하는 부탁일 뿐 강제력이 없고, 지키지 않는 크롤러도 있습니다. 게다가 막아 둔 주소가 파일에 그대로 적혀 있어 오히려 위치를 알려주는 셈입니다. 정말 숨겨야 하는 곳은 로그인이나 인증을 걸어야 합니다.

RFC 9309(Robots Exclusion Protocol, 2022년 표준화)입니다. 오래 관행으로만 굴러가던 것이 표준이 되면서 그룹 선택과 규칙 우선순위가 명확해졌습니다. 다만 크롤러마다 해석이 조금씩 다를 수 있습니다.