Python面试真题- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

  1) scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。

  2) 为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内存中的,所以基于redis的分布式爬虫,对请求和数据的高频读取效率非常高。



相关新闻

联系我们

400-080-6560

在线咨询:

邮件:work@dyhjdp.com

工作时间:周一至周日,09:00-18:30

QR code
北京赛车微信二维码进群玩 秒速时时彩平台 秒速时时彩官网 安徽快3 北京赛车彩票 安徽快3 秒速时时彩官网 秒速时时彩平台 秒速时时彩平台 北京赛车高倍率平台