wordpress程序网站robots写法

robots协议，用来规范搜索引擎抓取的一种协议，是国际互联网界通行的道德规范，它的作用是告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。它对屏蔽死链，保护网站数据安全有重要的作用。

robots既然是规范搜索引擎的，那我们要写成什么样它才能认识?首先西安SEO带领大家了解几个名词和robots的基本语法：

一、百度蜘蛛：Baiduspider

搜狗蜘蛛：Sogou web spider

谷歌蜘蛛：Googlebot

User-agent 定义搜索引擎蜘蛛名称的(百度蜘蛛：Baiduspider)

Disallow 定义禁止搜索引擎抓取

Allow 定义允许搜索引擎抓取

User-agent 定义搜索引擎类型

* 任意字符

$ 结束符

% 中文路径

? 动态路径

Sitemap 网站地图

robots书写格式

二、语法+冒号+空格+需要禁止或者允许的文件路径地址。

举例说明如下：

User-agent: *

定义所有搜索引擎蜘蛛

Disallow: /wp-admin/

他的意思就是禁止所有搜索引擎蜘蛛抓取wp-admin这个文件夹

Disallow: /install

禁止搜索引擎抓取install文件夹下的内容

三、那些文件才是要被禁止抓取呢?这个要看你使用的是什么程序，博主以WordPress程序为列解答如下：

1、系统文件如：dede,wp-admin

2、网站数据文件：wp-content

3、模板文件：themes

4、安装文件：wp-includes

5、无效文件夹：插件plugins

四、验证robots是否正确

1、百度站长工具

2,、第三方站长工具

五、验证和提交

最后新建一个后缀为TXT的记事本文件夹把写好的robots放在当中保存，上传至网站根目录，还有最重要的一步就是向搜索引擎提交robots文件。