加入收藏
担路网,一路担当!

为企业提供互联网工具,让供需互动变得触手可及

这两年,互联网让整个不太景气的传统经济稍有了零星的兴奋点。

但是,实在的企业老板绝对不能把互联网当成救市良药,若真把它当成“良药”,无异于传说中的“马踏飞燕”。

但是,我们必须拥抱这个互联网的社会,因为我们的家人,我们的朋友,我们的客户都在用互联网,他们的生活和工作已经无法与互联网绝缘!

详解搜索引擎spider分类以及其对应特征


发布日期:2017-08-03

企业网站做好之后,*关心的莫过于网站的排名,网站想要有良好的排名,第一步是网站先要被收录,而网站被收录的前提是蜘蛛来爬行你的网站,然后建立索引。下面担路网小编就简单为大家介绍一下搜索引擎spider的主要分类以及其对应的特征。

目前网络上的爬虫主要可以分为:批量型spider、增量型spider、垂直型spider。

批量型spider

批量型spider有明确的抓取目标和抓取范围,在规定的时间规定的范围内抓取规定数量的内容,一旦spider抓到预先设置目标数量的内容或者时间到了,就会停止抓取。大部分站长派出用来采集的一般就是这种批量型spider。

增量型spider

增量型spider是*常用的爬虫,所以又被成为通用爬虫。增量型spider与批量型spider完全不同,它没有任何限制,会无休止的抓取下去,知道把整个网站所有的数据都抓完。不仅如此,增量型spider还会不断更新它抓取到的内容。当前百度、谷歌等搜索引擎一般派出去的都是增量型的spider。

垂直型spider

垂直型spider又叫聚焦爬虫,它是结合了以上两种爬虫的特性,是指在某个特定的范围内增量型的抓取。由于现在的搜索引擎spider还不能进行精确的对页面进行分类,直接用增量型又太浪费,一般会采用先派出少量增量型spider对要抓取的内容进行分类,然后再用垂直型的spider去对应的站点进行抓取。如果没有增量型spider的话,就会采用人工将站点进行分类,然后再用垂直型spider进行抓取。

以上就是担路网小编为大家整理的搜索引擎spider的分类,以及其对应的特征和应用场景。



分享到:

加载中
旗下网站
产品体系
其它链接
CONTACT
联系我们
  • 热线:021-39517056 代理商咨询:15121033560
  • 投诉专线: 15121030463
  • 公司地址: 上海松江九亭九杜路349号417/418/419
  • 几万客户见证
  • 6x8小时售后服务
  • 免费的产品培训
  • 基于SaaS的云架构
  • 系统持续更新
友情链接:

高新技术企业编号:GR201631001183        ISO9001证书编号:ZZW16Q1111ROS