robots协议怎么写？其实很简单，但是在学习怎么写robots协议前，重庆黑帽SEO先告诉大家，robots理解协议的符号！这样才能有效利用好robots协议!

一、robots协议是什么

robots协议是指定搜索引擎蜘蛛的基础robots协议爬搜，关系到所写命令的执行。

二、robots协议中的符号介绍和写作

1.User-agent: 定义不同蜘蛛的相应规则

2.Disallow: 不需要访问的路径

3.Allow: 允许捕获某条路径

举例说明;

User-agent： * (以下内容适用于所有搜索引擎)

Disallow: / (网站上禁止搜索引擎抓取任何内容)

Disallow: /*?* (禁止搜索引擎抓取动态页)

Disallow: /admin/(禁止搜索引擎抓取管理员的内容)

Allow: /page/ (允许搜索引擎抓取的连接)

Sitemap: http://www.chengdu黑帽seo.cn/sitemap.html(希望百度抓取网站地图)

Sitemap: http://www.chengdu黑帽seo.cn/sitemap.xml(希望谷歌抓取的网站地图)

链接：当网站上出现死链时，我们可以用robots.txt屏蔽，告诉搜索引擎不要抓取这些链接。

地图：当搜索引擎抓取网站地图时，我们可以把网站地图放在robots.txt文件内。

地图：当搜索引擎抓取网站地图时，我们可以把网站地图放在robots.txt文件内。