logo

robots.txt中disallow和nofollow的区别

最近和一朋友讨论robots.txt中disallow和nofollow的区别,他非常喜欢用nofollow,想某个页面不被收录的时候就用这个属性。

这样能做到不浪费权重,nofollow的作用是让蜘蛛抓取而不传递权重。而robots.txt这个东西是个协议,其中disallow是禁止这个网站中的某个页面不被抓取。这是disallow和nofollow的第一个区别。

另外,由于nofollow是某一个链接的属性,他只能做这个链接的主,如果需要禁止传递权重的页面,有多个导入链接,只要有一个链接没带NOFOLLOW,那么都会有一定权重传递过去;而如果robots.txt中禁止了收录,不管你的网站中有几个链接导入到该页面,都不会抓取,甚至站外来的链接,也受他的影响。

可以看出,如果你要禁止站内某个页面不被收录,你用robots.txt中disallow比较方便,或者不传递权重到该页面的情况下,你也可以用它,因为很少有需要收录,而不需要传递权重的页面。如果你要给自己网站创造一个站外的站外蜘蛛入口(外链),那么你有nofollow的地方还是可以的,而robots.txt文件禁止的,就完全没效果了。

Leave your needs and contact information