検索結果には、クローラーが巡回・収集し、インデックスに登録されたウェブページのなかから、キーワードに関連するウェブページが表示されます。

クローラーは、ウェブページのHTMLタグにある「href」によって指定されたURLのリンクをたどり、ウェブページを巡回、収集しています。フレームページなどを作成するときに使用される「src」によって指定されたリンクはたどらない場合があります。

クローラーは、robots.txtでの記述に従ってウェブページの巡回・収集を行っており、robots.txtで巡回が拒否されている場合には、ウェブページの内容を収集することはありません。

注意

robots.txtで巡回が拒否されているウェブページでも、公開されているほかのウェブページからリンクされていると、URLのみが検索結果に表示されることがあります（URLやドメイン名を検索キーワードにして検索した場合）。