【ブログ用語集vol.3】robots.txtとはなにか

robots.txtファイルの使い方を正しく理解していますか?
この記事ではrobots.txtファイルの使い方を知らない人に向けて、その役割と使うメリットを解説します。
この記事で分かること
- robots.txtとはなにか
- robots.txtを使うメリット
- robots.txtの使い方
目次
robots.txt ってなに?
robots.txtとは、検索エンジンクローラーがアクセスするべきでないページやディレクトリを指定するためのテキストファイルです。
このファイルは、ウェブサイトのルートディレクトリに配置され、クローラーがアクセスする際に自動的に読み込まれます。
これにより、クローラーが指定されたページやディレクトリをインデックスしないように制御することができます。
要するに、忙しいクローラーに余計なページまで回ってもらわずに、大事なページにより注力してもらう、ということです。