Legends Never Die.
01
12
web端反爬白皮书 web端反爬白皮书
最近想将爬虫的一些心得和流程完全的总结下来,内容非常多,先列个大纲。 爬虫流程任务宏观管理任务调度任务去重任务生成单个爬虫分析与开发反爬原理分析步骤基础请求库『工欲善其事,必先利其器』 好的基础请求库大都性能不错,有优雅的使用方式,有清晰的
2023-01-12 Lic
01
26
某翻译网站逆向线索 某翻译网站逆向线索
分词接口请求分词的接口是不一样的 目前遇到了两种分词的接口 LMT_split_textLMT_split_text,LMT_split_into_sentences 触发情况未知 request_id 算法var a = 1e4 *
2022-01-26
12
浏览器指纹介绍 浏览器指纹介绍
浏览器指纹介绍简单来说它是用于定位和识别浏览用户的,它要尽可能的具有唯一性。 应用场景 进行广告推荐。当你在网站上浏览某个商品时,即便是没有进行登录操作。再用同台电脑访问其他网站的时候可能会发现很多同类商品的广告。 协助识别同一设备。主要用
2022-01-12 Lic
04
21
某app生成xsign的方案 某app生成xsign的方案
对于某app生成xsign的方案【方案一】脱机模拟执行生成xsign 优点:生成效率高,无需真机 缺点:绕过风控能力较弱 【方案二】基于真机改机和群控的RPC调用方式 优点:行为更拟人,绕过风控能力更强,也是之前给其他团队提供的Tik
2021-04-21
03
30
记一次破解blob加密视频网站的过程 记一次破解blob加密视频网站的过程
现在很多主流的视频网站几乎都是用到了blob的加密(其实也不算是加密),效果是隐藏了视频源的地址,其背后的本质还是通过一段执行一段js拿到视频的切片文件,然后进行拼接播放。就像下面这样的 编辑 其实对于普通情况来说,服务器会返回m3u8文件
2021-03-30
01
14
dex文件格式重要项的简单总结 dex文件格式重要项的简单总结
最近重读了一下深入安卓虚拟机,有很多以前看不太明白的地方都明白了许多,简单总结一下一些dex文件的重要项,之后再把其他一些格式详细总结一下。 java源码public class HelloWorld { public static
2021-01-14
12
28
frida对于Non-ASCII方法名的hook处理 frida对于Non-ASCII方法名的hook处理
比如说 int ֏(int x) { return x + 100; } 甚至有一些不可视, 所以可以先编码打印出来, 再用编码后的字符串去 hook. Java.perform( function x() {
2020-12-28 Lic
11
24
持久化 Puppeteer 持久化 Puppeteer
前言Puppeteer 是由 Chromium 开源团队开发的一款 Node.js 库,用于通过 Chrome Devtools Protocol(CDP)操作和控制 Chrome 浏览器。在团队实践中,我们通常使用 Puppeteer 来
2020-11-24
17
860. 柠檬水找零 860. 柠檬水找零
#!/usr/bin/env python # -*- coding:utf-8 -*- from typing import List from collections import defaultdict # 贪心在于找钱的时候优先使用
2020-11-17
14
关于爬虫架构的总结 关于爬虫架构的总结
做了几年爬虫了,一直没有好好总结爬虫架构类的知识,最近不那么忙,就抽空写下经验心得。 目前最流行通用的爬虫框架就是scrapy-redis了,或其衍生出来的一系列比较通用的爬虫框架,爬虫框架基本都用了scrapy的调度器-引擎-爬虫模块-下
2020-11-14
07
08
ThreadPoolExecutor使用 ThreadPoolExecutor使用
初识从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing
2020-07-08
05
22
1 / 7