何かと思えば、またか～。Wordpressのアドセンスエラーが出てた。特別な事はしていない。記事を久しぶりに４つ投稿しただけなのに…。
この、robots.txtは、GooglebotやAdsensebotがサイトを巡回して、こんな記事（サイト）があるぞ～ってウェブに登録するためのtxtファイル。
よく、「クローラーが巡回し、インデックス登録されます。」とか言われる動作を誘導する目的のもの。
つまり、このrobots.txtにアクセスできない＝ウェブに紹介されない＝誰も見ない＝収益性が失われるってこと。
アドセンスにログインしてみると、
「広告クローラーのエラーが生じており、収益性の損失が発生する可能性があります。」
と警告が出てた。
警告文の右端にある「操作」をクリックすると、影響が発生しているページURLが並んでる。その右側に、
「robots.txtファイルにアクセスできません。」
とある。
自分の場合、違反的なエラーではなく、クローラーに問題が起きてエラーになってるので、クローラー巡回のヘルプページを参照。
どうやら、wordpressは記事アップの都度、仮想でrobots.txtファイルを作成し送信なので、ファイルがサーバー内に無いようだ。
対策は、ファイルを作ってドメイン（サブドメイン）直下にFTPを使って保存するということらしい。
例えば、独自ドメインhttps://aiue.com/の直下、サブドメインならhttps://www.aiue.com/の直下にrobots.txtファイルを保存するわけだ。
ファイルの作成方法は簡単だ。
まずPCでメモ帳を開いて、次のコードをコピペ。(aioeo.comの部分は、自分のドメイン名に変える。）
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://aiueo.com/sitemap.xml
そして、名前をrobots.txtに変えて任意の場所に保存。
保存したファイルを、使用するサーバーのFTP機能を使い、先ほどのドメイン（サブドメイン）直下にアップロード（設置）する。
これだけ。
次の作業もやっておくといいかも。正確な根拠は特に…無いけど。
「robots.txtテスター」というサーチコンソールの機能を使い、前述のrobots.txtのコードを書き込み（コピペでOK）、サーチコンソールに送信。
次に、wordpressの「XML-Sitemap」プラグインで、最新サイトマップXMLをサーチコンソールに追加送信。
サイトマップは、状況によっては「成功」にならず「取得できませんでした。」の場合もある。
その場合、数日待つと「成功」になってた。送信したら、ある程度の期間は様子をみてみる必要あり？
さて、結果としては、
実施した作業が効果的か否かは不明。とは言え、サイトマップ送信は、数日後にサーチコンソールで確認したら全て成功。
アドセンスエラーになっていた３ページが、数日経過し２ページに減り、更に数日経つと１ページのみになった。
Googleによると、アドセンスのクローラーは最短週単位で巡回するようなので、このように徐々にエラーが回復していくのではないか、と。
エラー解除されたページには、様々なアドセンス広告が貼られるようになったことからも、クローラーが巡回している証拠だろう、と。
WordPressでアドセンスのエラー、「robots.txtファイルにアクセスできません。」は、解消しておくべき。
なぜ起きるかは不明。Wordpressサイトの対策としては、これまで説明した作業で復帰できる場合もあると思う。
ドメインサーバー、wordpressのバージョン、プラグインのバージョン、セキュリティープログラム…エラーの要因はたくさんあるので…。
2022.3.8 追記
robot.txtクロールエラーの表示は全て消えてる。作業が功を喫したかどうかは、断定するものではないけど、とりあえず、警告表示はもう無い。
試してみる価値は、あるのかもしれないヨ。