相信对于网站的优化，robots写作很重要，robots这相当于蜘蛛进入网站的第一个级别。如果蜘蛛不能触摸这个文件，估计蜘蛛会暴露给你，所以robots文件的重要性就是如此的。

robots协议文件对网站的重要性

1.减少蜘蛛的工作量

robots.txt这是搜索引擎蜘蛛访问网站时要查看的第一个文件，并将根据robots.txt爬行网站的文件内容。从某种意义上说，它的任务之一就是引导蜘蛛爬行，减少搜索引擎蜘蛛的工作量。

2.保护你网站的隐私文件

搜索引擎蜘蛛访问网站时，会先检查网站根目录是否存在robots.txt如果文件存在，搜索引擎蜘蛛将根据文件中的内容确定爬行范围；如果文件不存在，所有搜索引擎蜘蛛都可以访问网站上所有没有密码保护的页面。

robots不同流行程序的协议文件的写法

1.WordPress建站程序的robots.txt文件写法

User-agent: *

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Sitemap: http://www.***.com/sitemap.xml

2.DedeCMS建站程序的robots.txt文件写法

User-agent: *

Disallow: /plus/feedback_js.php

Disallow: /plus/feedback.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

Disallow: /member

3.discuz论坛建站程序robots.txt文件写法

User-agent: *

Allow: /redirect.php

Allow: /viewthread.php

Allow: /forumdisplay.php

Disallow: /?

Disallow: /*.php

4.phpcms建站程序的robots.txt文件写法

User-agent: *

Disallow: /admin

Disallow: /data

Disallow: /templates

Disallow: /include

Disallow: /languages

Disallow: /api

Disallow: /fckeditor

Disallow: /install

Disallow: /count.php

Disallow: /comment

Disallow: /guestbook

Disallow: /announce

Disallow: /member

Disallow: /message

Disallow: /spider

Disallow: /yp

Disallow: /vote

Disallow: /video

所以对于robots协议文件的重要性，大家都知道一个网站程序有多少吗？robots文件是对网站的致命伤害，更不用说权重排名了。这些都是基本的优化操作。我希望你能掌握它们。