大规模电商平台商品信息采集系统的设计与实现

基于Splash技术,对商品页面中的javascript代码进行预渲染,结合Scrapy爬虫框架,实现了一种快速、有效采集不同平台商品数据的系统。实验结果表明,该系统能有效采集不同平台的商品数据,具有一定的应用价值和推广性。

资料为PDF文档格式.

本文档关键词:采集,商品信息,实现,大规模,电商平台