网络股票分类(网络爬虫有哪些分类?)
时间:2023/11/23 10:25:59 编辑:
通用网络爬虫:爬行对象从一些种子 URL 扩充到整个 Web,主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 通用网络爬虫的爬取范围和数量巨大,对于爬行速度和存储空间要求较高,对于爬行页面的顺序要求较低,通常采用并行工作方式,有较强的应用价值。
聚焦网络爬虫: 又称为主题网络爬虫:是指选择性地爬行那些与预先定义好的主题相关的页面,和通用爬虫相比,聚焦爬虫只需要爬行与主题相关的页面,极大地节省了硬件和网络资源,保存的页面也由于数量少而更新快,可以很好地满足一些特定人群对特定领域信息的需求。
增量网络爬虫:对已下载网页采取增量式更新和只爬行新产生的或者已经发生变化网页的爬虫,它能够在一定程度上保证所爬行的页面是尽可能新的页面,历史已经采集过的页面不重复采集。增量网络爬虫避免了重复采集数据,可以减小时间和空间上的耗费。通常在设计网络爬虫时,需要在数据库中,加入时间戳,基于时间戳上的先后,判断程序是否继续执行。 常见的案例有:论坛帖子评论数据的采集(如论坛的帖子,它包含400多页,每次启动爬虫时,只需爬取最近几天用户所发的帖子);天气数据的采集;新闻数据的采集;股票数据的采集等。
Deep Web 爬虫:指大部分内容不能通过静态链接获取,只有用户提交一些表单信息才能获取的 Web 页面。例如,需要模拟登陆的网络爬虫便属于这类网络爬虫。另外,还有一些需要用户提交关键词才能获取的内容,如京东淘宝提交关键字、价格区间获取产品的相关信息。
-
-
路程假(婚假太短没空结婚?话题冲上热搜,官方回应了)
浏览:19 2024-05-09
-
-
中国人从此站立起来了(别再讹传,史实当确,毛主席:没说过“中国人民从此站立起来了”)
浏览:15 2024-05-09
-
-
临渭区(临渭区司法局“军人军属法律服务联络点”挂牌(图))
浏览:15 2024-05-09
-
-
名侦探柯南剧场版贝克街的亡灵(贝克街的亡灵最经典最受欢迎《柯南》剧场版TOP10)
浏览:16 2024-05-09
-
-
玖玖色网(沿着高速看中国丨久久不见久久见)
浏览:15 2024-05-09
-
-
劳莱斯(镜报专家团预测英超前四:多数看好利物浦夺冠)
浏览:18 2024-05-09