您现在的位置是: 凯发游戏-凯发k8国际手机app下载 > 聚焦动态 > 网络知识
网络知识
网站robots协议的用法(robots怎么用)-凯发游戏
2022-04-11
网络知识
robots.txt是网站与搜索引擎之间不成文的协议,虽然没有明文去规定,但双方都会遵守这个协议。通过robots.txt文件我们可以限制搜索引擎蜘蛛的抓取轨迹,对seo来说有着比较重要的意义,然后还是有很多人并未引起重视,而且很多人也不会使用,下面我们一起来介绍一下吧。robots.txt文件的使用每个网站在每个阶段都有一个体量(内容量级,流量等),这是搜索引擎对这个网站的认知,根据这个体量,搜
robots.txt是网站与搜索引擎之间不成文的协议,虽然没有明文去规定,但双方都会遵守这个协议。通过robots.txt文件我们可以限制搜索引擎蜘蛛的抓取轨迹,对seo来说有着比较重要的意义,然后还是有很多人并未引起重视,而且很多人也不会使用,下面我们一起来介绍一下吧。
robots.txt文件的使用
每个网站在每个阶段都有一个体量(内容量级,流量等),这是搜索引擎对这个网站的认知,根据这个体量,搜索引擎每天会派出一定数量的蜘蛛对网站进行爬行,所以每个网站的蜘蛛数量,在每个阶段都是有限的。
但很多时候我们网站也会存在一些垃圾页面,或是网站有一些无排名意义的文件,而这些文件蜘蛛照样都会进行爬行,这就会造成蜘蛛资源的浪费。这个时候robots.txt文件就派上了用场,我们通过robots.txt文件对蜘蛛程序进行限制,让蜘蛛只固定爬行某些文件,从而将有限的蜘蛛资源利用起来。
假设我们不想网站被搜索引擎收录,我们可以将所有搜索引擎进行屏蔽。可以这样写:
user-agent:*
disallow: /
如果我们不想某个搜索引擎蜘蛛访问,我们可以这样写,如不允许百度蜘蛛访问:
user-agent:baiduspider
disallow: /
如果不想蜘蛛访问网站的某些文件我们可以这样写,如下:
不允许访问图片
user-agent:*
disallow: *.jpg$
不允许访问css文件
user-agent:*
disallow: *.css$
不允许访问123目录
user-agent:*
disallow: /123/
不允许访问123形式的文件(包括目录)
user-agent:*
disallow: /123
让蜘蛛抓取网站地图
user-agent:*
allow: http://www.xxx.com/sitemap.xml
robots.txt文件我们写好后,将robots.txt文件放入网站的根目录,通常搜索引擎蜘蛛会第一时间先抓取这个文件,根据文件的说明,再去抓取其它内容。
相关文章
文章评论
"));
document.write(unescape(""));
}
// 引入jquery开关,下面这行代码请勿删除!
console.log('ey_is_jquery');
加载中~