noindexチェッカー

調べる場所は2つあります。1つはHTMLの head にある <meta name="robots" content="noindex">、もう1つはサーバーが返すHTTPヘッダーの X-Robots-Tag です。ブラウザの「ページのソースを表示」では前者しか見えず、後者は見えません。このツールは両方を同時に読み取ります。

HTTPヘッダーの X-Robots-Tag で noindex が指定されている可能性があります。PDFや画像のほか、サーバー・CDN・ホスティングの設定でサイト全体に付いていることもあります。このツールで X-Robots-Tag の欄に noindex が出ていれば、HTMLを直しても消えません。ヘッダーが原因でなければ、robots.txt のブロック、canonical が別URLを指している、ページが重複・低品質と判断された、まだクロールされていない、などの可能性があります。Search Console の URL 検査で理由を確認してください。

Google は、複数の指定がある場合はより制限の厳しいほうを採用します。片方が index、もう片方が noindex なら noindex として扱われます。

robots.txt の Disallow は「巡回しないで」、noindex は「検索結果に載せないで」という別の指示です。Disallow したページは中身を読めないため、そのページに書いた noindex も読まれません。検索結果から消したいときは、robots.txt でブロックせず noindex を読める状態にしておく必要があります。

再クロールされるまで反映されません。外したあとは Search Console の URL 検査から「インデックス登録をリクエスト」を送ると再取得を促せますが、戻る時期の保証はありません。