莱芜seo优化专业博客

人无我有,人有我优!

robots协议的写法

大家晚上好,今天我要跟大家讲解的内容是robots协议的写法,首先我们要了解以下两点,什么是robots协议?robots的作用是什么?

什么是robots协议

robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器,比如Windows系统自带的Notepad,就可以创建和编辑它。robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。那么robots具体有什么作用呢?

robots协议的写法

robots的作用

1.规定蜘蛛抓取或不抓取。比如网站后台,可以不让蜘蛛抓取,那么就需要在robots文件中写明这一点。
2.保护网站的隐私。如果有哪些网站内容不想让蜘蛛抓取,也可以通过robots设置。
3.节省搜索引擎抓取资源。设置了robots,可以有效避免蜘蛛抓取了对自己没有用的页面,提升蜘蛛的抓取效率。
4.统一路径,集中权重。可以通过设置robots文件,把自己网站上两个相同内容的链接权重引导到同一个链接。

说到这里,你是否明白了robots的作用呢?知道了作用,接下来就是说明robots的写法问题了。

robots协议的写法

第一行 User Agent * 表明文件对象是对所有搜索引擎的蜘蛛有效
第二行 Allow/Disallow: /wew/ 表明允许或不允许蜘蛛抓取一个为wew的目录
最后一行 网站地图 Sitemap: http://lwseo.suiyizhe.com/sitemap.xml

robots写法举例

1.屏蔽静态路径:Disallow: /*?*
2.搜索结果页屏蔽: Disallow: /?s=*
3.屏蔽js: Disallow: /*.js$
4.屏蔽模板、插件、后台、被删除目录Disallow: /tag/

robots协议的写法案例

robots写法的常见误区:

1.Disallow: / ab与Disallow: /,不只多了一个ab还多了一个空格。后果很严重。
2.Disallow: /ab与Disallow: /ab*,效果相同。
3.Disallow: /ab/与Disallow: /ab,前后有斜杠的是目录,没有斜杠的包含目录,如后者会屏蔽www.xxx.com/abcd,所以后者范围更大。
4.大小写蜘蛛会区分。后台不建议写。

5.在不允许抓取的文件夹里有想要抓取的内容就需要用到Allow。

6.空格、冒号必须是英文状态下输入,每一行首字母大写。

总结:robots协议对于网站优化至关重要,一但写错,可能会导致蜘蛛不收录网站的后果,所以,写法一定要尽量规范,避免不必要的失误。

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注