Robots.txt生成
検索エンジンとクローラーのUser-agentルール、許可/拒否パス、sitemapを含むrobots.txtを生成します。
コンセプト説明
robots.txtはクロール対象を定義するファイル
robots.txtは検索エンジンやAIクローラーがサイトを巡回する際に従うルールを示すテキストです。
User-agent、Disallow、Allow、Sitemapなどのディレクティブで、ボットごとにアクセス可能範囲を指定できます。
たとえば全体許可の後に /admin を Disallow したり、検索エンジンのみ許可・AIボットを拒否するなど、対象ごとのシナリオを1つのルールで整理できます。
シナリオ作成
Sitemap URL追加、検索エンジン許可、ボット別の許可・拒否ルールを1ファイルでまとめて公開ポリシーとして整備します。
更新タイミング
新しい公開ページ追加、ディレクトリ変更、クロール方針変更の前に robots.txt を更新すると、運用中の露出範囲を安定して管理しやすくなります。
注意点
robots.txtはクローラーへの「要望」であって、セキュリティ防御やインデックス削除を保証する手段ではありません。
noindex指示、認証(ログイン/権限)、サーバー側アクセス制御は別レイヤーです。robots.txtだけで機密パスを守れず、既存インデックスを即時削除できる保証はありません。
Robots.txt生成 Robots.txt生成の作業領域
使い方
- 1 全体の許可または拒否ルールを選びます。
- 2 検索エンジン、地域別ボット、AIボットの項目を選択します。
- 3 サイトマップURLを入力し、生成されたrobots.txtをコピーまたはダウンロードします。
主な使用例
- 検索クローラーを許可するルール
- AIボットのアクセス制限
- サイトマップURLを含むrobots.txt
よくある質問
どのようなルールを作成できますか？
全体の許可または拒否ルールを選び、検索エンジンボットやAIクローラーごとのUser-agentルールをチェックボックスで構成できます。サイトマップURLも追加できます。
結果をrobots.txtとして保存できますか？
はい。生成された内容をコピーするか、robots.txtファイルとしてダウンロードできます。
robots.txtでアクセス遮断は保証されますか？
いいえ。robots.txtはクローラーへの依頼ルールであり、セキュリティ上のアクセス制御ではありません。機密コンテンツの保護には認証やサーバー設定を使ってください。