robots协议,用来规范搜索引擎抓取的一种协议,是国际互联网界通行的道德规范,它的作用是告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。它对屏蔽死链,保护网站数据安全有重要的作用。
robots既然是规范搜索引擎的,那我们要写成什么样它才能认识?首先西安SEO带领大家了解几个名词和robots的基本语法:
一、百度蜘蛛:Baiduspider
搜狗蜘蛛:Sogou web spider
谷歌蜘蛛:Googlebot
User-agent 定义搜索引擎蜘蛛名称的(百度蜘蛛:Baiduspider)
Disallow 定义禁止搜索引擎抓取
Allow 定义允许搜索引擎抓取
User-agent 定义搜索引擎类型
* 任意字符
$ 结束符
% 中文路径
? 动态路径
Sitemap 网站地图
robots书写格式
二、语法+冒号+空格+需要禁止或者允许的文件路径地址。
举例说明如下:
User-agent: *
定义所有搜索引擎蜘蛛
Disallow: /wp-admin/
他的意思就是禁止所有搜索引擎蜘蛛抓取wp-admin这个文件夹
Disallow: /install
禁止搜索引擎抓取install文件夹下的内容
三、那些文件才是要被禁止抓取呢?这个要看你使用的是什么程序,博主以WordPress程序为列解答如下:
1、系统文件如:dede,wp-admin
2、网站数据文件:wp-content
3、模板文件:themes
4、安装文件:wp-includes
5、无效文件夹:插件plugins
四、验证robots是否正确
1、百度站长工具
2,、第三方站长工具
五、验证和提交
最后新建一个后缀为TXT的记事本文件夹把写好的robots放在当中保存,上传至网站根目录,还有最重要的一步就是向搜索引擎提交robots文件。
转载请注明出处:西安SEO|网站排名优化顾问|一名网络技术: » wordpress程序网站robots写法