不想被收录的页面，robots.txt 和 noindex 要一起上

有群友问，已经在 robots.txt 里拦掉了,为什么还要在页面上加noindex。

原话是这么解释的：

有一些爬虫其实不一定遵守 robots.txt。还有这些分享页的链接可能会出现在别的网站里，爬虫顺着别的网页来到分享页，第一眼看到了noindex标签，就知道这是不需要索引的页面，就不会去索引了.

所以这是双保险。

两个手段挡的是两件事：robots.txt 挡的是「别来抓这个路径」，noindex挡的是「抓到了也别收」。爬虫从外部链接绕进来的时候，只有后者还在起作用。