robots.txtジェネレーターおよびバリデーター

ユースケース

• 新しいサイトを準備するUser-agentグループを作成し、クローリングに関心のないスペースをブロックし、絶対的なサイトマップを宣言します。
• 既存のファイルを監査するその内容を貼り付けて、無効な指示、重複、不正なパス、偶発的なHTML、または500 KiBを超えるサイズを特定します。
• ブロックされたURLを診断する特定のプロダクトトークンを使用してURLをテストし、選択されたグループと最も特定的なAllowまたはDisallowルールを特定します。

推奨される方法

まず、サイトの正確なオリジンを定義します。HTTPSで提供されるファイルは、HTTP、異なるサブドメイン、または別のポートを制御しません。/robots.txtの場所でアクセス可能である必要があります。

少数のルールと明示的なパスから始めます。複数のルールが一致する場合、最も特定的なものが勝ちます；特異性が同じ場合、AllowがDisallowに優先します。

重要なロボットといくつかの代表的なURLをテストし、ファイルをUTF-8でtext/plainタイプで公開し、外部からHTTPレスポンスを確認します。

知っておくべき制限

• クローリングをブロックしても、URLが検索結果に表示されるのを防ぐわけではありません。リンクによって知られているURLは、抜粋なしでインデックスされ続ける可能性があります。
• robots.txtは公開されており、データを保護しません。機密コンテンツには認証とサーバーの権限を使用してください。
• 標準は共通の基盤を定義しますが、各ロボットは追加の指示をサポートできます。特にGoogleはCrawl-delayを無視します。

よくある質問

パスをブロックする前に