robots.txt

robots.txtとは？

robots.txtは、Webサーバーのルートディレクトリに設置するテキストファイルです。Googlebot等のクローラーに「どのURLをクロールしてよいか・してはいけないか」を伝えます。

基本的な書き方

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

• User-agent: 対象クローラー（*は全クローラー）
• Disallow: クロール禁止のパス
• Allow: Disallowより優先して許可するパス

よくある用途

用途	設定例
管理画面を隠す	Disallow: /admin/
検索結果ページを除外	Disallow: /search?
全クロール禁止（開発中）	Disallow: /
XMLサイトマップを伝える	Sitemap: https://example.com/sitemap.xml

注意点

• robots.txtはクローラーへの「お願い」であり強制力はない（悪意あるボットは無視する）
• インデックスを確実に防ぐには noindexメタタグまたはX-Robots-Tagヘッダーを使う
• 誤ってサイト全体をDisallowするとSEOに壊滅的な影響を与える

まとめ

robots.txtはシンプルですが、設定ミスがSEO事故につながることがあります。変更後はGoogle Search ConsoleのURLテストツールで動作確認を必ず行いましょう。