robots.txtファイルとは？

A robots.txt ファイル は、検索エンジンのクローラーに対し、サイトからリクエストできるページやファイルを指示します。robots.txt ファイルは、ほとんどの 善良なボット が特定のドメインから何かをリクエストする前に参照する、ウェブ標準ファイルです。

CMS や管理画面、eコマースのユーザーアカウント、一部の API ルートなど、ウェブサイトの特定の領域がクロールされないように、したがってインデックスされないようにすることができます。いくつか例を挙げると、

これらのファイルは、各ホストのルートで提供される必要があります。または、ルートの /robots.txt パスを宛先 URL にリダイレクトすることもできます。ほとんどのボットはそれに従います。

Next.js プロジェクトに robots.txt ファイルを追加する方法

のおかげで 静的ファイル配信 Next.js では、`robots.txt` ファイルを簡単に追加できます。、ルートディレクトリの public フォルダに `robots.txt` という名前の新しいファイルを作成します。

このファイルに記述できる内容の例は次のとおりです。

//robots.txt

# Block all crawlers for /accounts
User-agent: *
Disallow: /accounts

# Allow all crawlers
User-agent: *
Allow: /

yarn dev でアプリを実行すると、https://:3000/robots.txt でアクセスできるようになります。 https://:3000/robots.txt で利用できるようになります。public フォルダ名は URL の一部ではないことに注意してください。

パブリックディレクトリに他の名前を付けないでください。名前は変更できず、静的アセットを提供するために使用される唯一のディレクトリです。