robots协议，用来规范搜索引擎抓取的一种协议，是国际互联网界通行的道德规范，它的作用是告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。它对屏蔽死链，保护网站数据安全有重要的作用。
robots既然是规范搜索引擎的，那我们要写成什么样它才能认识?首先西安SEO带领大家了解几个名词和robots的基本语法：
一、百度蜘蛛：Baiduspider
搜狗蜘蛛：Sogou web spider
谷歌蜘蛛：Googlebot
User-agent 定义搜索引擎蜘蛛名称的(百度蜘蛛：Baiduspider)
Disallow 定义禁止搜索引擎抓取
Allow 定义允许搜索引擎抓取
User-agent 定义搜索引擎类型
* 任意字符
$ 结束符
% 中文路径
? 动态路径
Sitemap 网站地图
robots书写格式
二、语法+冒号+空格+需要禁止或者允许的文件路径地址。
举例说明如下：
User-agent: *
定义所有搜索引擎蜘蛛
Disallow: /wp-admin/
他的意思就是禁止所有搜索引擎蜘蛛抓取wp-admin这个文件夹
Disallow: /install
禁止搜索引擎抓取install文件夹下的内容
三、那些文件才是要被禁止抓取呢?这个要看你使用的是什么程序，博主以WordPress程序为列解答如下：
1、系统文件如：dede,wp-admin
2、网站数据文件：wp-content
3、模板文件：themes
4、安装文件：wp-includes
5、无效文件夹：插件plugins
四、验证robots是否正确
1、百度站长工具
2,、第三方站长工具
五、验证和提交
最后新建一个后缀为TXT的记事本文件夹把写好的robots放在当中保存，上传至网站根目录，还有最重要的一步就是向搜索引擎提交robots文件。