你将获得什么？
- 爬虫与反爬虫工程师的生存法则
- 10+ 反爬虫疑难点的排查思路
- 反爬虫专家系统反爬心法总结
- 从工程师到 Leader 的层次跃迁
课程介绍
随着 Web 2.0 浪潮的推进以及大数据的横行，数据价值迅猛提升。而价值提升的背后，正预示着爬虫和反爬虫需求的增加。越来越多的公司在发起攻势，获取数据；又或者在修筑堡垒，封锁信息。
爬虫方和反爬虫方斗争中的招式愈发疯狂，恶劣的生存环境愈发恶劣，现如今深陷其中的工程师们不得不面对以下这些问题：
- 如何自保，有没有一套行之有效的生存法则？
- 反爬虫的手段都有哪些，使用它们的最佳时机又是什么？
- 面对爬虫各式各样的伪装，怎样才能精准识别？
- 如何才能在这个领域立足并向上发展？
- ……
基于以上的问题，我们邀请到了反爬虫专家 DS Hunter——前某公司研发总监，现某大厂前端负责人。他将根据自己多年来丰富的爬虫与反爬虫技巧和经验，另辟蹊径，从历史和基础理论出发，进行高层次的分析和总结，为你提炼出经典实用的反爬虫“兵法”。用实践加实战的方式，帮你找到自己的前进方向，提升反爬效率，开辟新的反爬虫斗争思路。更进一步，助你成为团队领袖，向大师进发。
课程模块设计
课程主要分为四大模块：
历史背景篇
从历史视角出发，带你更加深刻地了解爬虫反爬虫。在这个模块中你会发现，虽然爬虫技术在不断发展，但战争的总体思路并没有太大的变化。
理论与实践案例篇
本模块是课程的核心内容。这里会介绍爬虫和反爬虫的基础理论，以及部分实践案例。带你吃透做为一个非管理岗位的爬虫或者反爬虫工程师，应该了解的基础知识，为后续的学习铺平道路。
项目实战篇
在掌握了基础知识后，我们进入实战。由于反爬的单个实战参考意义极弱，因此这一模块主要会带你在系统层面进行实战，帮助你把基础知识运用到实战中，融会贯通，发起向 100 分的冲刺。
进阶篇
在这一模块，你将了解反爬虫团队的管理技能以及团队组建等知识，打破发展上限，开启反爬虫团队作战的新模式。帮助你完成从技术到管理团队的跃迁，在团队方面做到“知己知彼”。
课程目录
开篇词|如何突破“爬虫反爬虫”内卷之怪现状?
历史背景篇
01 爬虫需求的诞生:我们是正经的软件工程师
02 爬虫的内卷和黑化:我们变得不正经啦
03 反爬虫的发展以及展望:我们也不是什么正经工程师
理论与实践案例篇
04 爬虫的首轮攻势:如何低调地拿到自己想要的数据?
05 反爬虫的应对之策:通用且基本的检测规则是什么?
06 爬虫攻势升级:分布式的意义在哪里?
07 反爬虫升级:如何判定你是个真人?
08 博弈的均衡:如何对抗道德的沦丧和人性的扭曲?
09 反爬虫概述(上):高收益的后端能做哪些基本的事情?
10 反爬虫概述(中):无收益的前端如何帮助后端处理爬虫?
11 反爬虫概述(下):前后端都不合适的时候如何进行处理?
12 反爬虫基础理论:这是唯一一节严肃的纯理论课
项目实战篇
13 低耦合:如何快速下线反爬虫系统?
14 规则引擎:如何快速响应突发的爬虫需求?
15 验证爬虫:我到底要不要百分百投入?
进阶篇
16 招聘篇:如何写一个合适的JD?
17 如何搞定老板(上):如何编造虚无缥缈的OKR?
18 如何搞定老板(中):如何组建团队?
19 如何搞定老板(下):团队考核怎么做?
结束语|反爬虫趣谈:几个小故事来结束我们的课程
讲师简介
DS Hunter，反爬虫专家，前某公司研发总监，现某大厂前端负责人。
DS Hunter 的反爬风格独特，既善于长期蛰伏，在竞对不易察觉的角度和时间发起进攻；也能用技术和心理双层攻势，直接击败或劝退对手。同时他具备丰富的爬虫经验，在爬与反爬的左右互搏中，积累了大量的技巧与新奇理论。
他曾在多个月内，使竞对无法抓取到己方的任何数据，甚至可能影响竞对和己方的后续合并。之后改做前端，反爬虫的经验也给予了他不少的帮助。秉承着“技术手段大同小异，但使用方法更为精髓”的理念，DS Hunter 在反爬虫领域不断前行。