最近想将爬虫的一些心得和流程完全的总结下来，内容非常多，先列个大纲。
爬虫流程任务宏观管理任务调度任务去重任务生成单个爬虫分析与开发反爬原理分析步骤基础请求库『工欲善其事，必先利其器』
好的基础请求库大都性能不错，有优雅的使用方式，有清晰的
2023-01-12