大多数时候,我们不会阻止百度蜘蛛,但也需要阻止一些不必要的抓取,如一些大型网站门户网络,登录页面或注册页面,有些不想让百度蜘蛛抓取文件可以使用robots协议完成后,重庆黑帽SEO解释哈屏蔽百度蜘蛛的具体方法。
一、robots协议
robots相信大家都很熟悉协议。首先,既然要用robots如果达成协议,我们必须首先创建一个记事本,并将记事本重新命名为robots,然后我们写下来robots协议如下:
User-agent: BadBot
Disallow: /
保存后通过FTP将工具上传到网站根目录。
二、robots Meta标签
robots Meta这种方法和标签也可以阻止百度蜘蛛抓取robots类似地,但仍有一些搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码写在“
”之间,如下所示:三、.htaccess屏蔽
如果说使用robots协议不能完全屏蔽你的网站,然后你可以在你的网站根目录下找到它.htaccess屏蔽代码如下:
方法1:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT}^Baiduspider[NC]
RewriteRule .* –[F]
方法2:
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot
总结:百度蜘蛛屏蔽方法有很多,可以参考以上方法。重庆黑帽SEO觉得还是以robots协议比较好,所以其他方法可以及时使用,但不建议做,因为一步一步小心犯错误会导致不断的麻烦!