サイト管理者は、ロボッツ・エクスクルージョン・プロトコル（Robots Exclusion Protocol＝REP）に従って記述されたrobots.txtを設置したり、サイト内の各ウェブページのメタタグを記述することで、自分のサイト内の巡回してほしいウェブページや、巡回してほしくないウェブページを指定できます。

REPは、1990年代初期に始まり、仕様の強化が図られていますが、現在、検索エンジン大手はこのREPに従って検索エンジンの開発・運営を行っています。