クローラーとは？

クローラーとは、Webページを自動的に巡回し、情報を収集するプログラムのことです。検索エンジンは、クローラーを用いて情報を集め、データベースに登録します。クローラーにはいくつか種類があり、Googleの「Googlebot」やマイクロソフトの「Bingbot」などが有名です。クローラーは、別名スパイダーロボット、あるいはクロールボットとも呼ばれます。

ページ数が多く膨大なURL数があるWebサイトを評価するには、クローラーの存在が欠かせません。このロボットが集める情報は複数あり、Googleのクローラーを例に挙げると以下の通りです。

• HTML
• 画像
• 動画
• PDF
• Javascript
• 音声
• CSS

  など

Googleのクローラーは、これらのデータを取得します。

クローラーとSEOの関係

Webページの検索結果は、クローラーが集めた情報が蓄積されているデータベースをもとにして、ユーザーが求めていると考えられる情報が掲載されているページが上位に表示されます。そのため、SEOとクローラーは密接な関係があるといえます。

なお、クローラーは、一度の訪問でサイトの全情報を解析しているわけではありません。

複数回訪れて、その都度最新の情報やテキスト、画像など、異なる情報を収集しています。こまめにSEO対策を行い、ページの品質の維持・向上を図ることで、クローラーが訪れたときにに検索エンジンから適切な評価が得られ、順位向上も期待できます。

※SEOについてはこちらのページでくわしく解説していますので、参考にしてみてください。

クローラー対策（クローラビリティを高めるには）

クローラー対策を行うことで、クローラーがサイトの情報を適切に収集（クローラービリティが向上）しやすくなります。対策方法の例としては、以下をご覧ください。

XMLサイトマップを作成する

XMLサイトマップ（エックスエムエルサイトマップ）は、Webサイト内の各情報を、検索エンジンに素早く・正確に伝えるために用いられるファイルのことです。

このファイルがなくとも基本的にクローラーは、ほとんどのページをクロールします。しかし100％ではありません。リンクがないページはクロールできません。

XMLサイトマップを作成しクローラーに伝えたいURLをすべて記載し、検索エンジンに送信することで、全てのページのURLをクローラーに伝えられ、クロールができるようになります。

※サイトマップについてはこちらのページでくわしく解説していますので、参考にしてみてください。

内部リンクを最適化する

内部リンクが設置されていないと、クローラーが巡回するルートが増えず、クローラービリティの向上につながりません。クロールの重要性が高いページに向けた内部リンクを多数設置し、クローラーが巡回しやすい環境を用意することが大切です。

※内部リンクについてはこちらのページでくわしく解説していますので、参考にしてみてください。