作成した robots.txt の中身。シンプル！最低限♪
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: https://oki2a24.com/sitemap.xml.gz
robots.txt の置き場所
- WordPress のルートディレクトリ
- /var/www/html/oki2a24.com/robots.txt
robots.txt のファイルを作成した理由
https://oki2a24.com/robots.txt へアクセスしましたら、404 not found と、ファイルが見つからないエラーとなったためですの。
Apache から nginx へウェブサーバを変更して、パーマリンク設定が変わりましたのが大きいのではないかと考えております。
WordPress は Apache で動くことをメインに作られているはずですから、nginx に変更しますといくつかの部分で同じ動きができないのだと思いますの。
おわりに
WordPress の robots.txt について理解が深まる、おもしろい、と感じたページをご紹介いたします。
- WordPress › フォーラム » virtual(?)なrobots.txtが、Allowになってくれません。
もっとも興味深いページでしたの！WordPress 開発の歴史を感じましたわ♪また、フォーラムの活発さも！WordPress 有識者が WordPress の仮想 robots.txt はおまけのようなものと発言されていたのが印象的でしたの♪静的な robots.txt を置いてみようという気持ちになりましたわ♪ - WordPressの仮想robots.txtの仕組み
WordPress の仕組みにまで踏み込んで説明されており、大変説得力がございます。こちらはどのページも深く、丁寧に解説されており、信じるに足るサイトですの♪ - WordPress初心者に贈る！robots.txtの書き方と設定方法全手順
広く解説されたページで、全体的なことを復習するのに役立ちました♪
以上です。