クローラーはページをどう見つける？
Googleは、クローラーと呼ばれる自動のプログラムで、ウェブ上で見つけたページから文章や画像、動画を集めています（Google 検索セントラル）。新しいページは、すでに知っているページからのリンクや、サイトマップから見つけられます。どこからもリンクされていないページは、見つけてもらいにくくなります（Google 検索セントラル）。
来てほしくないページはどうする？
クローラーに読ませたくない場所は、サイトに置く robots.txt というファイルで指示できます。ただし robots.txt は「クロールしないで」という指示で、検索結果から確実に外す方法ではありません。Googleも、ページを検索結果に出さないためには noindex やパスワードでの保護を使うよう案内しています（Google 検索セントラル）。この2つを取り違えると、出したいページが出なかったり、隠したいページが残ったりします。
