クローラーは、robots.txtやメタタグの記述に従ってウェブページの巡回・収集を行っていますが、インターネット上では、robots.txtやメタタグの記述に従わずにウェブページの巡回・収集を行ったり、ユーザーエージェント名を偽装してウェブページの巡回・収集をするクローラーが存在します。
DNSルックアップの方法
DNSルックアップでIPアドレスやドメインを確認するもっとも簡単な方法は、「コマンド プロンプト」（Windows標準のアプリケーション）や「ターミナル」（Mac標準のアプリケーション）を使う方法です。
- 「コマンド プロンプト」（Windowsの場合）や「ターミナル」（Macの場合）を起動します。
- 「nslookup {IPアドレス}」を入力し、Returnキー（Enterキー）を押します。
- ドメインが表示されます。
- 「nslookup {ドメイン}」を入力し、Returnキー（Enterキー）を押します。
- IPアドレスが表示されます。
サーバーでのアクセス制限の際の注意点
サーバーでクローラーのアクセス制限を行う場合には、IPアドレスによるアクセス制限ではなく、前述のDNSを参照したアクセス制限をおすすめします。
また、ユーザーエージェント名を偽装するようなクローラーは、robots.txtなどの記述に従いません。このようなクローラーの巡回を拒否する方法については、ご利用のサーバー管理者にお問い合わせください。