robots.txt ファイルとは？

robots.txt ファイルは、検索エンジンのクローラーがサイトからリクエストできるページまたはファイルを指定するためのファイルです。 robots.txt ファイルは Web 標準のファイルで、ほとんどの グッドボット が特定のドメインからリクエストする前に使用します。

CMS や管理者、EC サイトのユーザーアカウント、一部の API ルートなど、クロール（そしてインデックス化）から保護したい Web サイトの領域がある場合があります。これらのファイルは各ホストのルートに配置する必要があります。または、ルートの /robots.txt パスを別の URL にリダイレクトすることもできます。ほとんどのボットはそれに従います。

Next.js プロジェクトに robots.txt ファイルを追加する方法

Next.js の 静的ファイル提供 により、robots.txt ファイルを簡単に追加できます。ルートディレクトリの public フォルダ内に robots.txt という名前の新しいファイルを作成します。このファイルに含めることができる内容の例は次のとおりです。

//robots.txt
 
# Block all crawlers for /accounts
User-agent: *
Disallow: /accounts
 
# Allow all crawlers
User-agent: *
Allow: /

yarn dev でアプリを実行すると、https://:3000/robots.txt でアクセスできるようになります。public フォルダ名は URL の一部ではないことに注意してください。

public ディレクトリの名前は変更しないでください。名前は変更できず、静的アセットを提供するために使用される唯一のディレクトリです。

さらに読む

• Google: robots.txt ファイルの作成と送信