問題
クロールを禁止したページで、noindex 指示が読まれることを期待している状態です。
発生する理由
robots.txt はクロールを制御し、noindex はページ単位のインデックス指示です。取得前に遮断されると noindex は読まれないことがあります。
診断方法
robots.txt の応答、対象パスの規則、meta robots または X-Robots-Tag とリダイレクト後の URL を確認します。
修正方法
インデックス除外が目的ならクロールを許可して noindex を返すか、認証で保護します。robots.txt を非公開手段として使わないでください。
確認方法
robots.txt とページを再取得し、意図した指示が見えることを確認してから、所有サイトのインデックス状態を調べます。