Web制作・デザインツール

robots.txt作成

検索エンジンのクローラーにクロールさせないページ・許可するページ、サイトマップのURLを指定して、robots.txtを作る無料ツールです。AIの学習用クローラーをまとめて拒否する設定もあります。

クロールの設定を入れてください

広告

使い方

  1. クロールさせないパスを1行に1つずつ書きます。
  2. サイトマップのURLを入れます。
  3. ファイルに保存して、サイトのいちばん上に置きます。
広告

知っておきたいこと

  • robots.txt はクロールを止めるお願いで、ページを非公開にするものではありません。見られて困るページは、パスワードなどで守ってください。
  • 検索結果から消したいページは、robots.txt ではなく noindex を使います(クロールを止めると noindex が読まれません)。
広告

よくある質問

あわせて使いたいツール

PR

このツールと一緒に使いたいアイテム

このリンクから購入されると、当サイトに紹介料が支払われることがあります。

広告