WordPress的replytocom参数避免被百度蜘蛛抓取的解决办法
  • Blog
  • 2012-01-13
  • (1,230) Views
  • (0) Comments

使用WordPress的朋友会发现,百度会抓取一些类似于587.html?replytocom=111的链接。造成同一个页面重复收录。而且似乎是WordPress程序的通病,大部分主题都是使用这种方法来回复评论的。

而Google却没有收录这样的链接,那是因为在WordPress头部有这样一句话:<link rel=’canonical’ href=’http://liboseo.com/587.html’ /> 。rel=’canonical’参数是告诉抓取的搜索引擎蜘蛛,这个网址才是标准的URL,这样会避免因为尾部有不同参数而重复抓取的情况。很可惜百度不支持这个参数。

而我们其实还有解决方案,那就是将这个参数屏蔽掉。

打开网站根目录下的robots.txt文件,添加下面内容:

User-agent: *
Disallow: /*?replytocom=*

这个代表的意思就是任何蜘蛛都禁止抓取带replytocom的参数的URL。

原文来自:http://liboseo.com/587.html


Comments

Top