做了几年爬虫了，一直没有好好总结爬虫架构类的知识，最近不那么忙，就抽空写下经验心得。
目前最流行通用的爬虫框架就是scrapy-redis了，或其衍生出来的一系列比较通用的爬虫框架，爬虫框架基本都用了scrapy的调度器-引擎-爬虫模块-下
2020-11-14