黑帽达人官网黑帽达人官网

欢迎光临
我们一直在努力

如何设置网站禁止被爬虫收录

网站建成后,当然希望网页被搜索引擎收录的越多越好,但有时我们也会遇到网站不需要被搜索引擎收录的情况。镜像网站应该使用新域名,主要用于PPC 此时,我们应该找到阻止搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页的方法。因为如果搜索引擎还包括镜像网站,很可能会影响官网在搜索引擎中的权重。

以下列出了几个想法来阻止主流搜索引擎爬虫(蜘蛛)抓取/索引/包含网页。注:全站屏蔽,并尽可能屏蔽所有主流搜索引擎的爬虫(蜘蛛)。

1、通过 robotstxt 文件屏蔽

可以说 robotstxt 文件是与搜索引擎建立直接对话的最重要的渠道,给出以下建议:

Useragent Baiduspider

Disallow /

Useragent Googlebot

Disallow /

Useragent GooglebotMobile

Disallow /

Useragent GooglebotImage

Disallow/

Useragent MediapartnersGoogle

Disallow /

Useragent AdsbotGoogle

Disallow /

UseragentFeedfetcherGoogle

Disallow /

Useragent Yahoo Slurp

Disallow /

Useragent Yahoo Slurp China

Disallow /

Useragent YahooAdCrawler

Disallow /

Useragent YoudaoBot

Disallow /

Useragent Sosospider

Disallow /

Useragent Sogou spider

Disallow /

Useragent Sogou web spider

Disallow /

Useragent MSNBot

Disallow /

Useragent iaarchiver

Disallow /

Useragent Tomato Bot

Disallow /

Useragent

Disallow /

2、通过 meta tag 屏蔽

添加所有网页头部文件,添加以下句子:

<meta name='robots' content='index,follow' />:可以抓取本页,也可以继续沿着本页索引其他链接

<meta name='robots' content='noindex,follow' />:禁止抓取本页,但可以抓取跟踪本页其他链接

<meta name='robots' content='index,nofollow'/>:本页可以抓取,禁止抓取和跟踪本页其他链接

<meta name='robots' content='noindex,nofollow' />:禁止抓取本页,禁止抓取和跟踪本页其他链接

<meta name='robots' content='noarchive' />:禁止搜索引擎建立快照

通过服务器(如:Linux/nginx )设置配置文件

直接过滤 spider/robots 的IP 段。

以上是黑帽SEO如何设置优化网站禁止被爬虫收录的全部内容,仅供站长朋友互动交流学习,黑帽SEO优化这是一个需要坚持的过程,希望大家共同进步。

以上是黑帽SEO如何设置优化网站禁止被爬虫收录的全部内容,仅供站长朋友互动交流学习,黑帽SEO优化

这是一个需要坚持的过程,希望大家共同进步。
未经允许不得转载:黑帽达人官网 » 如何设置网站禁止被爬虫收录
分享到: 更多 (0)

黑帽达人官网专业提供黑帽seo快排、黑帽seo技术、黑帽seo优化、快速提升排名、黑帽seo推广等服务。为企业客户提供更好的网络营销模式拓宽销售渠道,让客户盈利是我们服务的初衷,欢迎大家一起交流!

黑帽seo快排