Railsのrobots.txtの役割とは？ - その辺にいるWebエンジニアの備忘録

こんにちは！kossyです！

さて、今回はRailsのpublicリポジトリ下にデフォルトで作成されるrobots.txtの役割について、
ブログに残してみたいと思います。

平たく言うと、アプリをググれなくするためですね。

クローリングについては以下の記事が詳しかったです。

「クローリング」とは、クローラーと呼ばれるロボットがインターネット上にあるWebサイトの情報を集めることを言います。
出典: https://www.seo-pro.jp/seo/how-search-engine-works

クローラーに検知されないようにするには、robots.txtを適切に運用する必要があるわけです。

アプリケーションの全てのURLを検索対象から外したいなら、以下の記述をすればOKです。

/public/robots.txt

User-agent: * # 全てのクローラーが対象
Disallow: /  # アプリ内の全てのURLが対象

User-agentはGoogleのクローラーのみ除外する、等の設定が可能です。

Disallowも、特定のパスだけアクセス不可のように設定ができます。

詳しくは以下のドキュメントをご確認ください。

勉強になりました。