【ブログ用語解説vol.3】robots.txtとはなにか
当ページのリンクには広告が含まれています。
目次
robots.txt ってなに?
robots.txtとは、検索エンジンクローラーがアクセスするべきでないページやディレクトリを指定するためのテキストファイルです。
このファイルは、ウェブサイトのルートディレクトリに配置され、クローラーがアクセスする際に自動的に読み込まれます。
これにより、クローラーが指定されたページやディレクトリをインデックスしないように制御することができます。
要するに、忙しいクローラーに余計なページまで回ってもらわずに、大事なページにより注力してもらう、ということです。