ここから本文です

クローラーによるウェブページの巡回と収集

更新日 2010年11月24日

検索結果には、クローラーが巡回・収集し、インデックスに登録されたウェブページのなかから、キーワードに関連するウェブページが表示されます。

クローラーは、ウェブページのHTMLタグにある「href」によって指定されたURLのリンクをたどり、ウェブページを巡回、収集しています。フレームページなどを作成するときに使用される「src」によって指定されたリンクはたどらない場合があります。

クローラーの巡回概念図

クローラーは、robots.txtでの記述に従ってウェブページの巡回・収集を行っており、robots.txtで巡回が拒否されている場合には、ウェブページの内容を収集することはありません。

注意
robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります(URLやドメイン名を検索キーワードにして検索した場合)。

個別リンクURL