最近想将爬虫的一些心得和流程完全的总结下来，内容非常多，先列个大纲。 爬虫流程任务宏观管理任务调度任务去重任务生成单个爬虫分析与开发反爬原理分析步骤基础请求库『工欲善其事，必先利其器』 好的基础请求库大都性能不错，有优雅的使用方式，有清晰的

分词接口请求分词的接口是不一样的 目前遇到了两种分词的接口 LMT_split_textLMT_split_text,LMT_split_into_sentences 触发情况未知 request_id 算法var a = 1e4 *

浏览器指纹介绍简单来说它是用于定位和识别浏览用户的，它要尽可能的具有唯一性。 应用场景 进行广告推荐。当你在网站上浏览某个商品时，即便是没有进行登录操作。再用同台电脑访问其他网站的时候可能会发现很多同类商品的广告。 协助识别同一设备。主要用

对于某app生成xsign的方案【方案一】脱机模拟执行生成xsign 优点：生成效率高，无需真机 缺点：绕过风控能力较弱 【方案二】基于真机改机和群控的RPC调用方式 优点：行为更拟人，绕过风控能力更强，也是之前给其他团队提供的Tik

现在很多主流的视频网站几乎都是用到了blob的加密（其实也不算是加密），效果是隐藏了视频源的地址，其背后的本质还是通过一段执行一段js拿到视频的切片文件，然后进行拼接播放。就像下面这样的 编辑 其实对于普通情况来说，服务器会返回m3u8文件

最近重读了一下深入安卓虚拟机，有很多以前看不太明白的地方都明白了许多，简单总结一下一些dex文件的重要项，之后再把其他一些格式详细总结一下。 java源码public class HelloWorld { public static

比如说 int ֏(int x) { return x + 100; } 甚至有一些不可视, 所以可以先编码打印出来, 再用编码后的字符串去 hook. Java.perform( function x() {

前言Puppeteer 是由 Chromium 开源团队开发的一款 Node.js 库，用于通过 Chrome Devtools Protocol（CDP）操作和控制 Chrome 浏览器。在团队实践中，我们通常使用 Puppeteer 来

#!/usr/bin/env python # -*- coding:utf-8 -*- from typing import List from collections import defaultdict # 贪心在于找钱的时候优先使用

做了几年爬虫了，一直没有好好总结爬虫架构类的知识，最近不那么忙，就抽空写下经验心得。 目前最流行通用的爬虫框架就是scrapy-redis了，或其衍生出来的一系列比较通用的爬虫框架，爬虫框架基本都用了scrapy的调度器-引擎-爬虫模块-下

初识从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing

#!/usr/bin/env python # -*- coding:utf-8 -*- #再刷 class Solution: def longestCommonSubsequence(self, text1: str, text