相信对于网站的优化,robots写作很重要,robots这相当于蜘蛛进入网站的第一个级别。如果蜘蛛不能触摸这个文件,估计蜘蛛会暴露给你,所以robots文件的重要性就是如此的。
robots协议文件对网站的重要性
1.减少蜘蛛的工作量
robots.txt这是搜索引擎蜘蛛访问网站时要查看的第一个文件,并将根据robots.txt爬行网站的文件内容。从某种意义上说,它的任务之一就是引导蜘蛛爬行,减少搜索引擎蜘蛛的工作量。
2.保护你网站的隐私文件
搜索引擎蜘蛛访问网站时,会先检查网站根目录是否存在robots.txt如果文件存在,搜索引擎蜘蛛将根据文件中的内容确定爬行范围;如果文件不存在,所有搜索引擎蜘蛛都可以访问网站上所有没有密码保护的页面。
robots不同流行程序的协议文件的写法
1.WordPress建站程序的robots.txt文件写法
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.***.com/sitemap.xml
2.DedeCMS建站程序的robots.txt文件写法
User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member
3.discuz论坛建站程序robots.txt文件写法
User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php
4.phpcms建站程序的robots.txt文件写法
User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video
所以对于robots协议文件的重要性,大家都知道一个网站程序有多少吗?robots文件是对网站的致命伤害,更不用说权重排名了。这些都是基本的优化操作。我希望你能掌握它们。