문제
크롤링을 막은 페이지에서 검색엔진이 noindex 지시문을 읽을 것으로 기대하는 상태입니다.
발생 원인
robots.txt는 크롤러 접근을 제어하고 noindex는 페이지 수준의 색인 지시문입니다. 가져오기가 막히면 noindex를 읽지 못할 수 있습니다.
진단 방법
robots.txt 응답과 정확한 경로 규칙, meta robots 또는 X-Robots-Tag, 리디렉션 후 최종 URL을 확인합니다.
수정 방법
색인 제외가 목적이면 크롤링을 허용하고 noindex를 제공하거나 인증으로 보호합니다. robots.txt를 개인정보 보호 수단으로 사용하지 마세요.
검증 방법
robots.txt와 페이지를 다시 가져와 지시문이 보이는지 확인하고 소유 사이트의 색인 상태를 점검합니다.