Web制作・デザインツール
robots.txt作成
検索エンジンのクローラーにクロールさせないページ・許可するページ、サイトマップのURLを指定して、robots.txtを作る無料ツールです。AIの学習用クローラーをまとめて拒否する設定もあります。
クロールの設定を入れてください
広告
使い方
- クロールさせないパスを1行に1つずつ書きます。
- サイトマップのURLを入れます。
- ファイルに保存して、サイトのいちばん上に置きます。
広告
知っておきたいこと
- robots.txt はクロールを止めるお願いで、ページを非公開にするものではありません。見られて困るページは、パスワードなどで守ってください。
- 検索結果から消したいページは、robots.txt ではなく noindex を使います(クロールを止めると noindex が読まれません)。
広告
よくある質問
Googlebot など検索用のクローラーとは別なので、ふつうの検索結果には影響しません。
PR
このツールと一緒に使いたいアイテム
このリンクから購入されると、当サイトに紹介料が支払われることがあります。
広告