基本事項

検索エンジンの仕組みに関する基本的な情報。

検索エンジンのシステム構成は、クローラー、インデクサー、検索サーバーに大きく分けられます。このページでは、これらの機能を説明しています。

robots.txtは、検索エンジン（クローラー）に対してサイト内の巡回時の要求を伝えるファイルです。このページでは、robots.txtがどのような情報を検索エンジンに伝えられるかを説明しています。

HTMLによる記述を構成する<head>と、<body>要素のうち、<head>要素のなかでの記述に利用されるメタタグ（<meta>タグ）の利用例を解説したページです。

このページでは、HTMLのページヘッダ（<head>内）の記述によるクローラーの巡回やインデックス登録の制限方法について、実例とともに説明しています。

検索キーワードと十分な関連性がないにもかかわらず、意図的に検索結果に表示されるように操作しているウェブページを「検索エンジンスパム」と呼びます。このページでは、検索エンジンスパムと判定される例を紹介しています。

サイトやウェブページの移転の際に利用されるリダイレクトと、代表的なリダイレクトの設定方法を解説したページです。

動的URLと静的URLについて、具体例を挙げながら解説したページです。

コンピュータやサーバーとの間でHTTPによる通信が行われる場合には、お互いの状態を示すステータスコードのやりとりをしています。このページでは、代表的なステータスコードについて解説しています。

このページでは、メタタグによるインデックスへの登録拒否ができない、HTMLファイル以外のファイルのインデックス登録の拒否方法を例に、ディレクティブ設定を使った検索エンジンへのリクエスト方法を解説しています。