前言Puppeteer 是由 Chromium 开源团队开发的一款 Node.js 库，用于通过 Chrome Devtools Protocol（CDP）操作和控制 Chrome 浏览器。在团队实践中，我们通常使用 Puppeteer 来

#!/usr/bin/env python # -*- coding:utf-8 -*- from typing import List from collections import defaultdict # 贪心在于找钱的时候优先使用

做了几年爬虫了，一直没有好好总结爬虫架构类的知识，最近不那么忙，就抽空写下经验心得。 目前最流行通用的爬虫框架就是scrapy-redis了，或其衍生出来的一系列比较通用的爬虫框架，爬虫框架基本都用了scrapy的调度器-引擎-爬虫模块-下