网站robots与nofollow的区别是什么?怎样使用才算正确?

相信做过网站优化的朋友都听过robots文件和nofollow，但是大家真正清楚它们的作用与用途吗?不瞒大家说，白天也经常犯迷糊，好像他们的作用是一样的。但这真的只是好像，它们的不同点反而很多。那么本篇文章白天就来给大家讲讲经过多次研究后，说说白天对robots与nofollow的理解。

首先先从它们的定义开始：

robots

robots在网站里通常是指robots文件，是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉爬虫网站可以访问的部分以及不可以访问的部分。换句话说就是，可爬取的部分是允许被收录，而不允许爬取的部分是不允许被收录的。

nofollow

nofollow是HTML页面中a标签的属性值，用于告诉搜索引擎不要追踪特定的网页链接。举个例子，如A网页上有一个链接指向B网页，在A网页上给这个链接加上了 rel=”nofollow” ，这时当搜索引擎抓取到A网页时，A网页不算入B网页的反向链接。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重，避免权重流失，因此nofollow常用于网站上的出站链接。

至于为什么白天会认为它们相同，是因为：robots文件和nofollow都可以用来屏蔽一些不想被爬虫抓取的链接。

但仔细一想，两者确实存在很多不同，各有各的优劣势。如：

1、nofollow属性主要用于禁止搜索引擎跟踪网站某条链接。当一个页面我们希望它正常被收录获得排名，但是因为有的页面中关于此链接的重复链接太多了，这时候就不适合用“robots”来屏蔽了，而是应该使用“nofollow”标签对部分重复链接进行屏蔽。

另外对于不想被收录的页面，这种情况下如果使用nofollow来进行屏蔽的话，你会发现网站维护起来会异常麻烦，因为网站中的新页面难免有的石斛需要加上该链接，每加一次都要另外加一次“nofollow”标签，一旦有一次遗漏了，就很有可能会被搜索引擎给收录了。因此，虽说nofollow属性也可以屏蔽搜索引擎对于网站动态链接的爬取，但效果不如robots协议文件。毕竟当网页里

2、Robots协议文件主要作用是可以通过规则来批量屏蔽网站页面里的动态链接，不让搜索引擎蜘蛛抓取这里的动态链接路径。此外，也可以屏蔽掉一些低质量的页面或链接。但是robots文件只针对网站自身的页面有效，不能屏蔽站内导出的外部链接，而“nofollow”没有这个限制，这也是nofollow和robots比较重要的一个区别。

3、nofollow只能做到减少投票权重的流失。虽说我们对一些不希望被抓取的链接加了nofollow，但这个链接同样会被搜索引擎抓取并收录。而robots则直接告诉搜索引擎不要收录这个链接，但凡遇到这个链接页面，你都不要再多事了，也不要抓取这个页面的内容。

正确使用robots和nofollow属性

对于站内不希望被抓取的链接（如网站后台路径、动态链接），推荐使用robots文件；

对于单个网页内，不希望某些链接被抓取以增加其他希望被抓取的机会（如多次出现的链接，或不是那么重要不需要参与排名的链接），推荐使用nofollow。

nofollow的进阶用法：对于一些需要参与排名的页面，当我们希望这个页面减少权重导出时，可以适当对该页面上的一些链接添加nofollow。比如：文章页侧边栏的内容大多数情况是用来推荐一些与文章内容不相关的文章，那么这些文章除了给用户看外，其实际意义并不大，那么我们就可以将这些推荐文章的链接添加nofollow属性，以减少文章页导出到其他页的权重。参考图：