Googleへの記事のインデックスとクローラーについて

 

インターネット上のSEOを理解する上で、避けて通れないのが検索エンジンです。

そして検索エンジンの世界はGoogleが圧倒的なシェアを持っているので、検索エンジンといえばほぼこのGoogleを指すと言っても過言ではないでしょう。

※Yahooの検索も中身はGoogleで、2019年１月時点の日本におけるGoogleとYahooあわせた検索シェアは約80％です。

そして、ブログに記事を投稿し多くのユーザーに記事を見てもらって、アドセンスによる広告費を得ようとしている我々は、この検索エンジンの検索結果において、より上位に表示されることを目指してゆくことになります。

検索結果で上位表示を目指してゆくことをSEOと呼びますが、SEOを考えてゆく上でまず検索エンジンというものがどういう仕組で動いているのかを理解しておく必要があります。

まずは（Googleさんは決して敵ではありませんが・・・）敵を知る、ということですね！

今日は、SEOを考える上での基礎知識とも言える、Googleにおける記事のインデックスとクローラーについて学びましょう。

 

【あわせて読みたい：SEO（検索エンジン最適化）の基礎！SEOとは何？なぜSEOが必要なのか？】

[blogcard url=”https://yu-kilifedesign.com/10navifree/seo-basic-need-reason/”]

 

 

Googleの検索エンジンの仕組み

 

Googleで検索を行うと、検索されたキーワードに対して最適なWEBサイトを順位付けし一覧化して表示してくれますよね。

もはや世の中の常識と言えるくらいに、日常的に世界中で使われている検索の機能です。

実はこの検索エンジンとしての機能は裏側の仕組みとあわせて３つに分けることが出来ます。

 

【検索エンジンの機能】

 

検索エンジンは我々に検索サービスを提供する為に、裏側では世界中のWEBサイトの情報を収集し、その収集した結果を基に検索サービスを提供しています。

その検索サービスを提供する一連の動きを分解すると以下の３つの機能として表すことが出来ます。

 

１．クロール：WEBサイトを収集する機能

２．インデックス：WEBサイトをデータベース化する機能

３．検索結果表示：検索されたキーワードに対して検索結果を表示する機能→僕らが検索としていつも使っているのはこの部分

 

検索エンジンはこの３つの機能が組み合わさり、一体となって検索エンジンとしてのサービスを提供しています。

 

 

クロール

 

ユーザーが検索を行った時に、最適な結果を表示するためには、世の中のWEBサイトにどういったコンテンツ（記事）が存在するかをGoogle自身が知っておく必要がありますよね。

その為にGoogleはクローラーというロボットプログラムを使用して、世の中に存在するWEBサイトを常に巡回し、新しい記事を収集しています。

この収集する行為をクロールといい、実際に収集するロボットプログラムをクローラーと呼んでいます。

 

インデックス

 

クローラーによって収集された最新のWEBサイトのコンテンツは、Googleのデータベースに格納され、コンテンツにどういった事が書かれているのかが分析されます。

コンテンツの分析はAIが行っており、AIも常に進化しより人間に近い読み取り精度へと向上しています。

この分析により、どういったキーワードで検索をされた時にこのコンテンツを結果として表示するべきなのかが決定されます。

クローラーによって収集したコンテンツをデータベースに格納し、コンテンツを分析する一連の行為をインデックスと呼びます。

 

検索結果表示

 

Googleにインデックスされたコンテンツは、分析された内容に従い検索されたキーワードに基づいて検索結果画面に表示されます。

検索結果として表示される時に、検索されたキーワードに対してより最適化された結果となるように順位付けされます。

つまり、検索結果の一番上位に表示されたものが、検索されたキーワードに対してGoogleの考える一番最適な結果です。

この検索結果における順位付けは、Googleが検索ユーザーに最適な結果となるようにインデックスされたコンテンツを様々な要素によって定量化（数値化）した結果です。

そして、順位付けにおける定量化の手法や定量化の項目等は明確に明かされていませんので、Googleの理念とも言える、Googleが掲げる１０の事実からその考え方を推し量るよりありません。

 

1. ユーザーに焦点を絞れば、他のものはみな後からついてくる。
2. １つのことをとことん極めてうまくやるのが１番。
3. 遅いより早い方がいい。
4. ウェブ上の民主主義は機能する。
5. 情報を探したくなるのはパソコンの前にいる時だけではない。
6. 悪事を働かなくてもお金は稼げる。
7. 世の中にはまだまだ情報があふれている。
8. 情報のニーズはすべての国境を超える
9. スーツが無くても真剣に仕事はできる
10. 「すばらしい」では足りない。

出典元：Googleが掲げる１０の事実

 

・・・がこの記事とは少し趣旨が違うので、検索結果の上位表示を行うためのSEO対策は別の記事にまとめています。

以下の記事を参考にしてみてください。

 

【合わせて読みたい】

[blogcard url=”https://yu-kilifedesign.com/10navifree/seo-early-stage-attracting/”]

 

[blogcard url=”https://yu-kilifedesign.com/10navifree/seo-measures-soon/”]

 

 

クローラーは自動的にはやって来ない！（特に初期は！）

 

では、作ったばかりのブログに記事を投稿したら、自動的にGoogleのクローラーがやってきて、記事をインデックスしてくれるのか、というと答えはNOです。

ブログを運営している歴史が長く、継続的に更新をしていてGoogleがその事を認知していれば、Googleから定期的かつ自動的にクローラーがやってきてブログの記事を収集してくれます。

しかし、残念ながら作ったばかりのブログはまずGoogleがそのブログの存在を知りませんし、継続的に更新されているかどうかわからないブログに定期的にクローラーがやってきてくれる訳もないのです。

つまり、ブログを新しく作りいくら記事を更新していても、こちらからGoogleにアクションをしなければ、あなたのブログにはGoogleからクローラーがやってくることはありませんし、インデックスされることもありません。

なので、記事を投稿してGoogleでいくら検索をしても、検索結果の画面には残念ながらあなたの記事は表示されないのです。

わかりやすく言うと、生まれたてのあなたのブログはインターネット界では赤ちゃんなわけで、インターネット界の巨人Googleはそんな影響力の小さなブログを手取り足取り構うほどヒマじゃないってことです。

ただし、全く構ってもらえないわけではなく、こちらから声をかければ、「なんだい？」と優しく答えてもらうことは出来ます（笑）

 

 

記事を書いたらクローラーを呼び込もう！

 

では、あなたが作ったブログの記事の存在をGoogleに伝え、クローラーにやってきてもらうためには、どうすればよいのか？

クローラーは何もしなければ来てくれませんが、「ちょっと来てくれませんか？」と声をかければ、やって来てくれます。

特にブログを構築して間がない間は、記事を作りリリースの都度、Googleに声をかけてクローラーにやってきてもらう必要があります。

クローラーがやってきてくれさえすれば、記事の情報を収集しGoogleのデータベースにインデックスしてもらえるので、検索結果の画面にあなたの記事が掲載されるようになります。

 

 

クローラーを呼び込み、記事をインデックスする方法

 

Googleに記事を更新したことを伝え、クローラーを呼び込むための方法をお伝えします。

まず、Googleサーチコンソール（Google Serch Console）を開きます。

ログインすると既に登録しているブログのプロパティのサマリ画面になっているはずです。

※複数のブログがある場合は、これから申請するブログのプロパティと合致しているかを確認しておいてください。

 

では、まず記事を作成しリリースしたブログにアクセスし、”作成した記事の画面”を表示します。

記事のURLをコピーするため、ワードプレスの管理画面ではなくユーザーが記事を見る画面、つまりブログの通常の画面です。

ここで、作成した記事のURLを全てコピーします。（URLイメージ→　https://あなたのドメイン/xxxxx/xxxxxxxxx）

そして、Googleサーチコンソールのサマリ画面に切り替えます。

画面上部に枠があるはずです。

以下の画像の赤枠で囲った部分です。

ここに、記事のURLを貼り付けエンター。

 

すると、URLとして入力した記事のインデックス登録状況が表示されます。

以下の画像のように、「URLがGoogleに登録されていません」と表示されていることが多いと思います。

つまり、クローラーはまだやってきておらず、あなたの記事はGoogleに取り込まれていない状態ですね。

なので、クローラーを呼び込みインデックスしてもらう為に、「インデックス登録をリクエスト」ボタンをクリックします。

 

ボタンをクリックすると、Google側で処理が進みます。

数十秒から数分の時間が必要なので、しばらく待ちます。

 

 

Google側で処理が終われば、以下の画面になります。

「リクエストが完了した」というメッセージが表示されていますので、「OK」ボタンを押して完了しましょう。

 

インデックスのリクエストが完了後、しばらくするとあなたのブログにクローラーがやってきます。

あなたのブログがクロールされ、インデックスが行われると、検索結果にはあなたのブログの記事が表示出来る状態になります。

それまではしばらく待っておくしかありませんので、おとなしく待っておきましょう。

 

ちなみに、「再リクエスト」を行うことは出来ますが、何度か再リクエストをすれば早くクローラーがやってきてくれるというものでも無いので、リクエストは１度でOKです。

何度もリクエストして無用にGoogleに負荷をかけるのは止めておきましょうね。

 

 

まとめ

 

検索エンジンの裏側の仕組み、理解できたでしょうか？

今後SEOの対策を行う上で、そしてSEO対策を意識しながら記事を書いてゆく上でも仕組みを理解しておくことで、SEO的により強い記事を書くことが出来るはずですので、まずはしっかりと仕組みを理解しておきましょう。