🤖 SEOツール
Robots.txt
生成ツール
GUIでUser-agentルールを設定し、robots.txtをワンクリックでダウンロード。
Crawler Rules
Rule #1
robots.txt Preview
User-agent: * Disallow: /admin/
Upload this file to your website root: https://yourdomain.com/robots.txt
よくある質問
robots.txtとは何ですか？▾
robots.txtはWebサイトのルートに置くテキストファイルで、検索エンジンのクローラーにどのページをクロールしてよいかを指示します。例: /admin/へのアクセスを禁止するなど。
DisallowとAllowの違いは？▾
Disallowはクローラーのアクセスを禁止するパスです。Allowはより具体的なパスを許可するために使います。例えばDisallow: /private/の中でAllow: /private/public/とすることで一部だけ許可できます。
Crawl-delayとは何ですか？▾
クローラーがリクエスト間に待機する秒数を指定します。サーバー負荷が心配な場合に設定します。Googlebotはこの値を無視することがありますが、YandexやBingbotは対応しています。
robots.txtはどこに置けばいいですか？▾
ドメインのルートに配置する必要があります。例: https://example.com/robots.txt。サブフォルダには効果がありません。