目次
クロール：検索エンジンはあなたのページを見つけることができますか？
サイトがクロールされてインデックスに登録されていることを確認することは、SERPに表示されるための前提条件です。すでにWebサイトをお持ちの場合は、インデックスに含まれているページの数を確認することから始めることをお勧めします。これにより、Googleが必要なすべてのページをクロールして検索しているかどうかについて、いくつかの優れた洞察が得られます。
インデックス付きページを確認する1つの方法は、Googleにアクセスし、検索バーに「site:任意のドメイン」と入力します。
(例)「site:https://seoxpro.com/」
これにより、指定されたサイトのインデックスにGoogleが持っている結果が返されます。
Googleが表示する結果の数（上記の「XX件の結果について」を参照）は正確ではありませんが、サイトでインデックスに登録されているページと、それらが現在検索結果にどのように表示されているかを確実に把握できます。
より正確な結果を得るには、Google SearchConsoleでインデックスカバレッジレポートを監視して使用してください。現在お持ちでない場合は、無料のGoogle SearchConsoleアカウントにサインアップできます。
このツールを使用すると、サイトのサイトマップを送信したり、送信されたページが実際にGoogleのインデックスに追加された数などを監視したりできます。
検索結果のどこにも表示されない場合は、いくつかの理由が考えられます。
- あなたのサイトは真新しく、まだクロールされていません。
- あなたのサイトは外部のウェブサイトからリンクされていません。
- サイトのナビゲーションにより、ロボットがサイトを効果的にクロールすることが困難になります。
- サイトには、検索エンジンをブロックしているクローラーディレクティブと呼ばれるいくつかの基本的なコードが含まれています。
- あなたのサイトは、スパムの戦術でグーグルによって罰せられました。
検索エンジンにサイトをクロールする方法
Google Search Consoleまたは「site:任意のドメイン」を使用していて、重要なページの一部がインデックスから欠落している、または重要でないページの一部が誤ってインデックスに登録されていることがわかった場合は、いくつかの最適化を行うことができます。
ウェブコンテンツをクロールする方法をGooglebotに適切に指示するために実装します。検索エンジンにサイトをクロールする方法を教えることで、インデックスに何が含まれるかをより適切に制御できます。
ほとんどの人は、Googleが重要なページを見つけられるようにすることを考えていますが、Googlebotに見つけてほしくないページがある可能性があることを忘れがちです。これらには、薄いコンテンツを含む古いURL、重複するURL（eコマースの並べ替えとフィルターのパラメーターなど）、特別なプロモーションコードページ、ステージングまたはテストページなどが含まれる場合があります。
Robots.txt
Googlebotをサイトの特定のページやセクションから遠ざけるには、robots.txtを使用します。
Robots.txtファイルはウェブサイトのルートディレクトリ（例：yourdomain.com/robots.txt）にあり、サイト検索エンジンのどの部分をクロールする必要があるか、クロールしないか、およびサイトをクロールする速度を示します。
Googlebotがrobots.txtファイルを処理する方法
- Googlebotがサイトのrobots.txtファイルを見つけられない場合は、サイトのクロールに進みます。
- Googlebotがサイトのrobots.txtファイルを見つけると、通常は提案に従い、サイトのクロールに進みます。
- Googlebotがサイトのrobots.txtファイルにアクセスしようとしたときにエラーが発生し、存在するかどうかを判断できない場合、Googlebotはサイトをクロールしません。
クローラーはすべての重要なコンテンツを見つけることができますか？
検索エンジンのクローラーが重要でないコンテンツに近づかないようにするためのいくつかの戦術がわかったので、Googlebotが重要なページを見つけるのに役立つ最適化について学びましょう。
検索エンジンがクロールによってサイトの一部を見つけることができる場合もありますが、他のページやセクションが何らかの理由で隠されている可能性があります。
ホームページだけでなく、インデックスに登録するすべてのコンテンツを検索エンジンが検出できるようにすることが重要です。
コンテンツをログインフォーム（会員限定等）のアクセス制限がされている
特定のコンテンツにアクセスする前に、ユーザーにログイン、フォームへの入力、またはアンケートへの回答を要求する場合、検索エンジンはそれらの保護されたページを表示することはなく、またクローラーはログインすることはありません。
検索フォームに依存していますか？
ロボットは検索フォームを使用できません。
一部の個人は、自分のサイトに検索ボックスを配置すると、検索エンジンは訪問者が検索するすべてのものを見つけることができると信じています。
テキストは非テキストコンテンツ内に隠されていますか？
非テキストメディアフォーム（画像、ビデオ、GIFなど）を使用して、インデックスを作成するテキストを表示しないでください。
検索エンジンは画像の認識が向上していますが、まだ画像を読んで理解できるという保証はありません。Webページの<HTML>マークアップ内にテキストを追加することをお勧めします。