検索結果には、クローラーが巡回・収集し、インデックスに登録されたウェブページのなかから、キーワードに関連するウェブページが表示されます。
クローラーは、ウェブページのHTMLタグにある「href」によって指定されたURLのリンクをたどり、ウェブページを巡回、収集しています。フレームページなどを作成するときに使用される「src」によって指定されたリンクはたどらない場合があります。
クローラーは、robots.txtでの記述に従ってウェブページの巡回・収集を行っており、robots.txtで巡回が拒否されている場合には、ウェブページの内容を収集することはありません。
- 注意
- robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります(URLやドメイン名を検索キーワードにして検索した場合)。