robots协议怎么写?其实很简单,但是在学习怎么写robots协议前,重庆黑帽SEO先告诉大家,robots理解协议的符号!这样才能有效利用好robots协议!
一、robots协议是什么
robots协议是指定搜索引擎蜘蛛的基础robots协议爬搜,关系到所写命令的执行。
二、robots协议中的符号介绍和写作
1.User-agent: 定义不同蜘蛛的相应规则
2.Disallow: 不需要访问的路径
3.Allow: 允许捕获某条路径
举例说明;
User-agent: * (以下内容适用于所有搜索引擎)
Disallow: / (网站上禁止搜索引擎抓取任何内容)
Disallow: /*?* (禁止搜索引擎抓取动态页)
Disallow: /admin/(禁止搜索引擎抓取管理员的内容)
Allow: /page/ (允许搜索引擎抓取的连接)
Sitemap: http://www.chengdu黑帽seo.cn/sitemap.html(希望百度抓取网站地图)
Sitemap: http://www.chengdu黑帽seo.cn/sitemap.xml(希望谷歌抓取的网站地图)
链接:当网站上出现死链时,我们可以用robots.txt屏蔽,告诉搜索引擎不要抓取这些链接。
地图:当搜索引擎抓取网站地图时,我们可以把网站地图放在robots.txt文件内。
地图:当搜索引擎抓取网站地图时,我们可以把网站地图放在robots.txt文件内。
总结:robots协议有很多写作方法。如果你不太明白,不要整理它们,否则你的网站会有不同的效果(哈哈)。写作时,你也应该注意仔细阅读,否则你就找不到任何理由被屏蔽!所以我想提醒你写作robots一定要注意协议!