Python面试真题- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

文章目录
[隐藏]

【Python面试真题】- scrapy和scrapy-redis有什么区别?为什么选择redis数据库?

  1) scrapy是一个Python爬虫框架,爬取效率极高,具有高度定制性,但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。

  2) 为什么选择redis数据库,因为redis支持主从同步,而且数据都是缓存在内存中的,所以基于redis的分布式爬虫,对请求和数据的高频读取效率非常高。



相关新闻

联系我们

400-080-6560

在线咨询:

邮件:work@magedu。com

工作时间:周一至周日,09:00-18:30

QR code
秒速时时彩平台 秒速时时彩官网 江苏快3 秒速时时彩 手机网投官网 北京赛车时间表 北京赛车高倍率平台 北京赛车微信二维码进群玩 江苏快三 秒速时时彩官网