【noindexが邪魔をする】正しいrobots.txtの書き方【対処法】

Google Search Console（通称サチコ）のカバレッジでエラーが出る
robots.txtテスターでrobots.txtをテストする
robots.txtの例

Google Search Console（通称サチコ）のカバレッジでエラーが出る

問題はここから起きました。

カバレッジの部分で、エラーが1つ出ていたのです。

リンク先は、「https://shirakawaroom.com/author/rabit/」でした。

これは、「白川秋が書いた記事」の一覧を表示するページで、ここのURLがブロックされているよと言った内容になります。

今、Google AdSenseに申し込んでいるところなので、リンクの不手際があっては大きなマイナス点となると思い、早急な対処をしなくてはと思いました。

robots.txtテスターでrobots.txtをテストする

robots.txtとは？

robots.txtとは、検索エンジンに収集されたくないコンテンツをクロールさせないようにするための制御ファイルのことを指します。

これによって、検索エンジンのクローラーに自分のサイトにとって重要であるコンテンツを中心としてクロールさせることができます。

※クローラーとは・・・ロボット型の検索エンジンがWeb上のファイルを収集するために作られたプログラムのことです。

robots.txtをテストする

このリンクの不手際を修正するには、調べた結果、robots.txtというものを修正してやる必要があることがわかりました。

こちらのサイトをご覧ください。

robots.txt レポート - Search Console ヘルプ

Google が robots.txt ファイルを処理できるかどうかを確認するrobots.txt レポートには、サイトの上位 20 個のホストに対して Google が検出した robots.txt ファイル、前回のクロール日、発生した警...

ここの、

「robots.txtテスターを開く」をクリックしてください。robots.txtを編集できるサイトへと飛びます。

画面に飛んだら、プロパティ（URL）を選択してください。すると、そのプロパティ（URL）のrobots.txtファイルが読み込まれます。

現在の、robots.txtファイルの状況がでますので、これをダウンロードすべく、「送信」ボタンをクリックします。

この画面が出ましたら、１の更新されたコードをダウンロードから、robots.txtファイルをダウンロードします。

それを、ローカルファイルのWordpressのフォルダの一番上の階層にコピー、または、移動させます。

そして、このrobots.txtファイルを編集します。

# XML Sitemap & Google News version 5.3.3 - https://status301.net/wordpress-plugins/xml-sitemap-feed/
Sitemap: https://shirakawaroom.com/sitemap.xml

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

僕の場合は、「https://shirakawaroom.com/author/rabit/」がブロックされていましたので、これを回避するため、「Allow /author/rabit/」の一文を加えます。

# XML Sitemap & Google News version 5.3.3 - https://status301.net/wordpress-plugins/xml-sitemap-feed/
Sitemap: https://shirakawaroom.com/sitemap.xml

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /author/rabit/

変更したら、サーバーにアップロードします。

次に、

この３番めを実行します。Googleに更新をリクエストするため、「送信」ボタンをクリックします。

これで、Googleの各種クローラーが、最新の情報を読み込んで、ブロックを外した状態のファイルを読み込んでくれるはずです。

読み込んでくれない場合も、翌日には反映されるので、少し気長に待ちましょう。

この他、プラグインの「All in One SEO」や「SEO SIMPLE PACK」などで、noindexの設定がされていることもありますので、都度、外して対応していきましょう。

また、

WordPressの「設定」の「表示設定」をクリックすると、「検索エンジンでの表示」という項目があります。ここでインデックスしないようにというところにチェックが入っている場合も、チェックを外してあげてください。チェックが入っていると「noindex」の対象となってしまいます。

インデックスの可否は、なるべくrobots.txtで行うようにしましょう。

robots.txtの例

Google：https://www.google.com/robots.txt
Facebook：https://www.facebook.com/robots.txt
ヤフオク：https://auctions.yahoo.co.jp/robots.txt
アマナイメージーズ：https://amanaimages.com/robots.txt

大手サイトの書き方は、参考になります。もっといじりたくなったときは、参考にすると良いでしょう。

白川秋

最後までお読みいただき誠に有り難うございました。

応援いただけると励みになります。