SEO 初心者向け Google 検索の仕組み

こんにちは。takanoです。
いつも検索について詳しくない人と話すときに説明に苦労するのが、Google 検索がどのようにウェブサイトを認識し検索結果に表示しているかの流れです。
Google 公式のガイドもあるのですが、そもそも見ていない人も多いようです。
なので今日は Google 検索の仕組みについて、公式ガイドの紹介もしながら、なるべくシンプルにまとめてみたいと思います。

※ おおまかな流れが理解できたら、ぜひ文中の参考リンクも確認してみてください（随時更新しています）

はじめに
クロール
- よくあるトラブル
パース / レンダリング
インデックス
- 補足
ランキング
まとめ

はじめに

f:id:takano_seo:20190609080211j:plain
[参考] Google 検索の仕組み
[素材] いらすとや

上の図で簡単にまとめましたが、このような流れを経て各ウェブサイトのコンテンツは Google 検索の検索結果に表示されます。

個人的には、クロール → インデックス → ランキングの 3 ステップ推しだったのですが、最近はレンダリング（描画）の話題も多いので 4 ステップの図にしました。

ここから各ステップの詳細を簡単に解説していきたいと思います。

クロール

Google 検索にウェブサイトが掲載されるための最初のステップがクロールです。

Googlebot と呼ばれるクローラー（スパイダー）がウェブサイトを巡回し、情報を収集します。

巡回する際には、既知の URL に存在するリンクを辿ったり、サイトマップで送信した URL のリストが利用されます。

※ この URL を発見するステップを「ディスカバー（発見・検出）」と呼んで、クロールの前段階に据える解説もありますが、今回はクロールに含めました

このステップの詳細は、「検索が情報を整理する仕組み」という公式ガイドに記載されています。
特に上段に掲載されている動画（日本語字幕あり）は、クロール → インデックス → ランキングの流れを 3 分程度で分かりやすく解説してくれているのでオススメです。

そもそもクロールされないとサイトの情報が Google 検索に伝わらないので、一番重要なステップと言えます。

Google が利用するクローラーには Googlebot（モバイル / デスクトップ）以外にも画像や動画、広告用など様々な種類の bot が存在します。

[参考] Google クローラの概要（ユーザーエージェント）

サーチコンソールのクロールの統計情報レポートでは、それらのクローラーの来訪状況を一括で確認することが可能です。
（慣れてくると bot 別に確認したくなるのですが、まだその機能は無いです）

よくあるトラブル

robots.txt でブロックしている
更新後にクロールされていない（URL 検査で確認可能）
来てほしいページがクロールされない（クロールバジェット）
クロールはされているが、noindex を指定している

[参考] SEO Mythbusting S2エピソード2：クロールバジェットを徹底的解説

パース / レンダリング

すごくざっくり書くと、パースは HTML の解析で、レンダリングは CSS や Javascript も含めた描画（ユーザーがブラウザで見るのと同じコンテンツ）です。

このステップを経ることで Google 検索はコンテンツを理解し、インデックスに登録すべきかどうかを判断できます。

ここはすごく複雑なステップなので、簡単には説明できません。
代わりに、なるべく公式の資料をまとめて紹介したいと思います。

英語しかない動画・記事に関しては日本語訳が待たれるところです。

日本語で読める記事だと以下がオススメです。

自分でコードを書かない方は、開発者のメンバーにこの辺りを共有すると意図せぬ事故を未然に防げるかもしれません。

なお、下記の動画では将来的にパースとレンダリングの時差が無くなっていく可能性も示唆されています。

English Google Webmaster Central office-hours from 23.08.2019

技術的な話題に抵抗が無ければ、この辺りの動向は常にチェックしておいたほうが長期的なサイト構成を考えるうえで有益に働くと思います。

インデックス

これは、Google 検索が検索結果に情報を表示するための情報源のようなものです。
公式には下記のように説明されています。

Google のインデックスには、本の巻末にある索引と同じように、各ウェブページに含まれているすべての語が 1 つずつ追加されています。つまり、インデックスにウェブページが登録されると、そのページに含まれるすべての語がインデックスに追加されるということです。

[引用] 検索が情報を整理する仕組み

現在、 Google がインデックスしているウェブページ数は数千億を超え、今やその情報量は世界中の図書館をすべて合わせたとしても収まり切れません。

[引用] これからの 20 年にむけて～より良い検索を目指して～

それから下記の記事では、インデックスについての Google 社の内部的な基盤について触れられています。
よりマニアックな内容を知りたい方は読んでみてください。

[参考] Google 検索でインデックスの問題が発生: その対処法と教訓

自サイトのインデックス登録状況を調べるには、サーチコンソールのインデックスカバレッジレポートを利用します。
クロールされ、インデックスされて初めてサイトが検索結果に掲載されるようになるので、日常的に確認することをおすすめします。

補足

Google 検索においては、ただ保存した情報を参照するだけではなく、ナレッジグラフやトピックレイヤーのような物事の繋がりと意味（エンティティとセマンティック）の理解も含まれています。
その助けになる構造化データの提供もサイト運営者には重要な要素の 1 つです。
また、モバイルファーストインデックス（MFI）もモバイル用のクローラーが収集した情報をインデックス対象にするという話なのですが、ここまでの前提が把握できていないと理解に苦しむかもしれません。