黑帽达人官网网站建成后，当然希望网页被搜索引擎收录的越多越好，但有时我们也会遇到网站不需要被搜索引擎收录的情况。镜像网站应该使用新域名，主要用于PPC 此时，我们应该找到阻止搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页的方法。因为如果搜索引擎还包括镜像网站，很可能会影响官网在搜索引擎中的权重。
以下列出了几个想法来阻止主流搜索引擎爬虫(蜘蛛)抓取/索引/包含网页。注：全站屏蔽，并尽可能屏蔽所有主流搜索引擎的爬虫(蜘蛛)。
1、通过 robotstxt 文件屏蔽
可以说 robotstxt 文件是与搜索引擎建立直接对话的最重要的渠道，给出以下建议：
Useragent Baiduspider
Disallow /
Useragent Googlebot
Disallow /
Useragent GooglebotMobile
Disallow /
Useragent GooglebotImage
Disallow/
Useragent MediapartnersGoogle
Disallow /
Useragent AdsbotGoogle
Disallow /
UseragentFeedfetcherGoogle
Disallow /
Useragent Yahoo Slurp
Disallow /
Useragent Yahoo Slurp China
Disallow /
Useragent YahooAdCrawler
Disallow /
Useragent YoudaoBot
Disallow /
Useragent Sosospider
Disallow /
Useragent Sogou spider
Disallow /
Useragent Sogou web spider
Disallow /
Useragent MSNBot
Disallow /
Useragent iaarchiver
Disallow /
Useragent Tomato Bot
Disallow /
Useragent
Disallow /
2、通过 meta tag 屏蔽
添加所有网页头部文件，添加以下句子：
<meta name='robots' content='index,follow' />：可以抓取本页，也可以继续沿着本页索引其他链接
<meta name='robots' content='noindex,follow' />：禁止抓取本页，但可以抓取跟踪本页其他链接
<meta name='robots' content='index,nofollow'/>：本页可以抓取，禁止抓取和跟踪本页其他链接
<meta name='robots' content='noindex,nofollow' />：禁止抓取本页，禁止抓取和跟踪本页其他链接
<meta name='robots' content='noarchive' />：禁止搜索引擎建立快照
通过服务器(如:Linux/nginx )设置配置文件
直接过滤 spider/robots 的IP 段。
以上是黑帽SEO如何设置优化网站禁止被爬虫收录的全部内容，仅供站长朋友互动交流学习，黑帽SEO优化这是一个需要坚持的过程，希望大家共同进步。
以上是黑帽SEO如何设置优化网站禁止被爬虫收录的全部内容，仅供站长朋友互动交流学习，
黑帽SEO优化
