wordpress程序网站robots写法

SEO优化 admin 1344浏览

robots协议,用来规范搜索引擎抓取的一种协议,是国际互联网界通行的道德规范,它的作用是告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。它对屏蔽死链,保护网站数据安全有重要的作用。

wordpress网站robots具体写法

robots既然是规范搜索引擎的,那我们要写成什么样它才能认识?首先西安SEO带领大家了解几个名词和robots的基本语法:

一、百度蜘蛛:Baiduspider

搜狗蜘蛛:Sogou web spider

谷歌蜘蛛:Googlebot

User-agent 定义搜索引擎蜘蛛名称的(百度蜘蛛:Baiduspider)

Disallow 定义禁止搜索引擎抓取

Allow 定义允许搜索引擎抓取

User-agent 定义搜索引擎类型

* 任意字符

$ 结束符

% 中文路径

? 动态路径

Sitemap 网站地图

robots书写格式

二、语法+冒号+空格+需要禁止或者允许的文件路径地址。

举例说明如下:

User-agent: *

定义所有搜索引擎蜘蛛

Disallow: /wp-admin/

他的意思就是禁止所有搜索引擎蜘蛛抓取wp-admin这个文件夹

Disallow: /install

禁止搜索引擎抓取install文件夹下的内容

三、那些文件才是要被禁止抓取呢?这个要看你使用的是什么程序,博主以WordPress程序为列解答如下:

1、系统文件如:dede,wp-admin

2、网站数据文件:wp-content

3、模板文件:themes

4、安装文件:wp-includes

5、无效文件夹:插件plugins

四、验证robots是否正确

1、百度站长工具

2,、第三方站长工具

五、验证和提交

最后新建一个后缀为TXT的记事本文件夹把写好的robots放在当中保存,上传至网站根目录,还有最重要的一步就是向搜索引擎提交robots文件。

转载请注明出处:西安SEO|网站排名优化顾问|一名网络技术: » wordpress程序网站robots写法