この記事では、クローキングについて解説します。クローキングはGoogleのウェブマスター向けガイドラインで違反とされるスパム行為です。一般の方には無関係ですが、サイトの設定ミスやハッキングによってクローキングと同じ状況になる可能性もあります。
自社サイトがクローキングと判定されてペナルティを受けると、検索経由の流入者が激減。業績への悪影響は避けられません。企業サイトの運営管理を担当している方はぜひこの記事をお読みになり、意図せずに起こるクローキングの予防対策にお役立てください。
クローキングの基礎知識
クローキングはGoogleのガイドライン違反に指定されていますが、一般にはあまり知られていません。そこでこの記事ではクローキングの基礎知識を中心にくわしく解説します。
クローキングとは？
クローキングとは、Webページのアクセス者が人間のユーザーか検索エンジンのクローラーかを判別して、クローラーをSEO対策専用ページに誘導すること。「ステルス」や「ファントム」とも呼ばれるスパム行為の一種です。
クローラー（crawler）とは、世界中のアクセス可能なWebサイトを定期的に巡回して検索用データベースを構築するプログラムをいいます。
サイト訪問者の多くは検索エンジンを利用します。そこで検索上位のキーワードを詰め込んだテキスト中心のページを作成してクローラーを誘導。検索順位を引き上げるのがクローキングです。このような不正によるSEO対策をブラックハットSEOと呼びます。
クローキングが悪質とされる理由
クローキングの手口が悪質とされるのは、検索エンジンで公平公正な検索結果が得られなくなり、ユーザーの不利益に通じるからです。逆に言えばユーザーに有益な手法であればSEOが目的の偽装や不正行為とはみなされません。
たとえばサイトレイアウトをユーザーデバイスに最適化するためにスマートフォン用とPC用のページに振り分けたり、ユーザーの国や所在地によって適切なページに誘導したり、時間帯によって表示コンテンツを変えたりする場合はペナルティ対象になりません。
意図せず起こるクローキングの例と対策
サイトの運営管理を行う上で見落とされがちなのが、意図せずにクローキングと同じ状況が起きてしまうこと。検索エンジンのペナルティーを受けると検索結果から除外されたり、検索順位を下げられたりするのでコーポレートサイトでは特に注意が必要です。
意図せず起こるクローキングの主な例
PCとスマートフォンで表示されるページを別々に作成する場合、一般的なレスポンシブデザインの範囲内では問題ありませんが、デザインの最適化を意識するあまりレイアウトや構成を大きく変えたりするとクローキングと判断されるリスクが発生します。
また会員制のECサイトでログインしないと商品情報にアクセスできない場合、検索エンジンにスルーされると検索ユーザーに商品情報が伝わりません。そこでクローラーをログイン後の会員専用画面へ誘導するように設定することがあります。
そのようなケースでもSEOを意識して検索エンジンをシンプルなHTMLページへ誘導し、会員は Flashや画像中心の見栄えの良いページへ誘導したりするとクローキングを疑われる危険性があります。
最もやっかいな手口がハッキングです。ハッカーがセキュリティの脆弱なサイトをハッキングして他のページへリダイレクトしたり、IPアドレスをスパムメールの送信元にしたり、隠しコンテンツを挿入したりする悪質なクローキング手法も多用されています。
Googleは、ユーザー保護の観点からハッキングされたサイトをペナルティの対象にしています。しかしながらハッキングによる改ざんは経験の浅いサイト管理者には見破れません。サイトがアクセス制限されて、ようやくハッキングに気づくこともあります。
クローキングをチェックする方法と対策
・主なチェック方法
サイト管理者の立場でクローキングかどうかをチェックしたい場合は以下のような方法があります。
まずブラウザの拡張機能で、ユーザーエージェントを「Googlebot」に変更。次にクッキーとJavaScripを無効にして該当サイトを閲覧しましょう。このとき通常とは異なるページが表示されたらクローキングの可能性があります。
さらに簡単な方法は、検索エンジンのキャッシュを確認すること。検索エンジンはクローラーが過去に取得したデータをキャッシュ保存しています。Googleの場合、検索結果のサイト URL の右端に小さな逆三角形のキャッシュボタンがあります。
それをクリックして表示されたページが現行サイトと異なる場合はクローキングの可能性が高いと考えて良いでしょう。
クローキングが発覚したときの主な対策
意図せずクローキングが起こった場合は、問題のページを削除するのが最も簡単ですが、何らかの事情で削除できない場合は、該当ページのHTMLに「noindex」を記述すると検索エンジンのインデックス登録を拒否することができます。
クローキング防止に役立つSEO内部対策チェックツール6選
SEO内部対策チェックツールといえば、Googleが無料で提供するGoogle Search Console（グーグル・サーチコンソール）やGoogle Analytics(グーグルアナリティクス)が有名ですが、それらを使いこなすにはある程度の知識が必要です。
そこで初心者でも簡単に使うことができてクローキング防止にも役立つおすすめのSEO内部対策チェックツールを6つ厳選して紹介します。
SEO Pack（エスイーオーパック）/株式会社ディーボ
「SEO Pack」は、株式会社ディーボが提供するSEO対策サービスです。
Googleなどの検索結果でサイトを上位表示させるために最適なSEOの内部対策とコンテンツ対策、外部リンク対策の3つを実施。検索順位の上昇を支援します。料金は月額定価7,980円。キャンペーンや契約期間の割引もあります。
高評価/GMOソリューションパートナー株式会社
「高評価」はGMOソリューションパートナー株式会社が提供するSEOツールです。
利用方法は、「高評価」のサイトで対象コンテンツのURLとキーワードを入力するだけ。対象ページの重要な箇所に主題のキーワードがしっかり入っているかどうかを評価します。料金は無料です。
SEARCH WRITE（サーチライト）/株式会社PLAN-B
「SEARCH WRITE（サーチライト）」は、株式会社PLAN-Bが提供するSEOツールです。
Webマーケティングにおけるコンテンツの課題抽出から観測・分析・施策立案などのワークフローをひとつのツールで完結。SEO業務の効率改善をサポートします。料金はベーシックコースで月額50,000円から、ニーズに合わせたオプションメニューの組み合わせも可能です。
アナトミー/株式会社シンメトリック
アナトミーは株式会社シンメトリックが提供するアクセス解析・SEO分析ツールです。
サイトの検索流入増加に不可欠なアクセス解析機能とテクニカルSEO機能を搭載。アナトミー独自の指標と強力な分析機能を駆使してSEO改善を支援します。料金は小規模サイト向けの特別料金で月額10.000円。初期設定費用が50,000円となります。
FREEDiVE（フリーダイブ）のSEO改善/株式会社FREEDiVE
株式会社FREEDiVEは企業法人の広告運用サービスとWebサイト制作を行う会社です。コーポレートサイト制作ではクローラーのアルゴリズムを解読しSEOに強いソースコードで書き上げるなどWebツールでは実現できない「勝てる」サイト制作を代行します。料金については見積を依頼しての確認となります。
SEOコンサルティング/ブルースクレイ・ジャパン株式会社
ブルースクレイ・ジャパン株式会社は、SEOコンサルティングやWEB広告制作など多角的なWEBマーケティング事業を展開する会社です。
ブルースクレイ・ジャパンのSEOコンサルティングは全米で No.1の評価を誇る米国本社のノウハウを提供。SEO施策の戦略立案からグローバル展開まで一気通貫で支援します。料金については見積りを依頼してください。