【ブログ用語集vol.3】robots.txtとはなにか

robots.txt ってなに？

robots.txtとは、検索エンジンクローラーがアクセスするべきでないページやディレクトリを指定するためのテキストファイルです。

このファイルは、ウェブサイトのルートディレクトリに配置され、クローラーがアクセスする際に自動的に読み込まれます。

これにより、クローラーが指定されたページやディレクトリをインデックスしないように制御することができます。

要するに、忙しいクローラーに余計なページまで回ってもらわずに、大事なページにより注力してもらう、ということです。

robots.txt を使うメリットとは？

robots.txt を使い方は？