ポイント
- Google は HTML だけでなく、JavaScript や CSS の内容も加味して検索結果を作っている。
- JavaScript や CSS でコンテンツの表示順番などを変更できることから、人間が見る状態のページから検索順位を決めるためと思われる。
- bot によるクロールについて、WordPress のサイトで、コアとなるプログラムが入った /wp-includes/ ディレクトリは外していたが、/wp-includes/js/ だけは許可するようにした。
タグ: robots.txt
作成した robots.txt の中身。シンプル！最低限♪
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: https://oki2a24.com/sitemap.xml.gz
robots.txt の置き場所
- WordPress のルートディレクトリ
- /var/www/html/oki2a24.com/robots.txt