ポイント
- Google は HTML だけでなく、JavaScript や CSS の内容も加味して検索結果を作っている。
- JavaScript や CSS でコンテンツの表示順番などを変更できることから、人間が見る状態のページから検索順位を決めるためと思われる。
- bot によるクロールについて、WordPress のサイトで、コアとなるプログラムが入った /wp-includes/ ディレクトリは外していたが、/wp-includes/js/ だけは許可するようにした。
タグ: robots.txt
作成した robots.txt の中身。シンプル！最低限♪
1 2 3 4 5 | User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Sitemap: https://oki2a24.com/sitemap.xml.gz |
robots.txt の置き場所
- WordPress のルートディレクトリ
- /var/www/html/oki2a24.com/robots.txt