本日はスクレイピングについて解説していきます。 スクレイピングを知らない方もこれを機に知識を身につけていただけると嬉しいです！
スクレイピングについて
英語で”scrape”とは「削ること」という意味です。 ネットの世界では他人のサイトのコンテンツを第三者が無断でコピーすることを“スクレイピング”(Scraping)と呼びます。 他人のサイトの文章などを丸ごとコピーして自分のサイトで使用する行為です。
スクレイピングは良くない？
スクレイピングが検索エンジンに見つかると重複コンテンツ扱いされて検索結果での順位を大きく下げたり、除外されてしまう場合があります。
重複コンテンツはどうして良くないの？
検索エンジンは「検索結果」にコピーの様な同じサイトが表示されないようにつとめてます。
検索結果の1位から10位までが全く同じ内容のページだったらユーザーが驚いてしまうからです。
その為、一つだけ代表を選んで検索結果に表示されるようになっています。
スクレイピング対策方法
1.他のサイトからのコピーをしない
2.他のサイトにコピーされないようにする
1については対策可能ですが2については対策が難しいですよね。 ここがスクレイピングのやっかいなところです。
最悪なのは自分のサイトが第三者の別のサイトに勝手にコピーされたのに、コピーした方が順位が上がり自分のサイトが下げられる場合があるのです。
スクレイピングされた場合の対処方法
自分がスクレイピングされてないか調べる方法
地道な作業になりますが、スクレイピングされそうな文章の一部をコピーし、検索エンジンで検索します。
ポイントは商品の詳細ページでスクレイピングが発生しやすいです。 商品詳細ページでスクレイピングされそうなものをランダムにピックアップして検索エンジンで検索してこつこつと探します。
まとめ
他のサイトと内容が被らないように努める事がSEO対策にとって重要となっております。
まずはコピーをしない。そしてオリジナルコンテンツの作成をする事をこころがけましょう。
逆にコピーされた場合「スクレイプ報告フォーム」で報告して対策しましょう。
