クロールとインデックス作成

検索システムと Googlebot がどのように機能するかについての概要を把握したので、クロールとインデックス作成に影響を与えるいくつかの重要な部分を詳しく見ていきましょう。

このレッスンでは、次の点について説明します。

• HTTPステータスコードの基本。
• メタデータと、ウェブクローラーがウェブコンテンツを解析するときに探すもの。
• Googleと通信して、検索クローラーがサイトの新しいコンテンツの有無を知る方法。
• メタロボットタグと正規リンクを活用して、検索エンジンに希望するインデックス作成ステータスを示す方法。