存在しないウェブページを表示しようとしたときに、サーバーが「HTTP 200 OK」のステータスを返してエラーページを表示する設定にしていると、クローラーはエラーページとみなさず、巡回を続けます。
存在しないウェブページを表示しようとしたときには、サーバーが「HTTP 404 Not Found」のステータスを返すように設定を行ってください。
また、このような設定ができない場合には、エラーページのHTMLの<head>に、メタタグを使ったインデックス拒否の設定を行ってください。
存在しないウェブページが巡回される
更新日 2010年11月24日
個別リンクURL：