第2048章 携程的技术暗战2

  第二天，对方的爬虫换了策略。

  不再是高频密集的抓取，而是降低了频率，变得更加隱蔽，混在真实用户的访问流量里，很难分辨。

  赵磊和小李花了整整一个上午分析流量日誌，发现了一个规律——爬虫访问的页面路径是固定的，而真实用户的路径是隨机的。

  基於这个发现，赵磊在反爬虫系统里加了一层行为分析的逻辑：连续访问同一个类型的数据超过一定次数，自动標记为可疑，加入黑名单。

  第三天，对方的程式设计师大概也发现了这个规律，开始隨机化访问路径，模仿真实用户的行为模式，不再只抓航班和酒店数据，而是隨机地访问首页、用户中心、订单页面等无关內容。

  赵磊看到流量日誌的时候，盯著屏幕看了好一会儿，然后说了一句让俞飞鸿印象深刻的话。

  “对面的人很聪明。”

  俞飞鸿看著他。

  “但聪明人也会犯错。”

  那天下午，赵磊发现了一个漏洞——对方的爬虫在访问的时候，每一次请求的间隔时间精確到了毫秒级，而真实用户的操作间隔是隨机的，有长有短，不可能这么规律。

  基於这个发现，赵磊在反爬虫系统里加了一个“行为隨机性检测”的模块，专门识別这种过於规律的访问模式。

  第四天凌晨，系统正式上线。

  俞飞鸿坐在赵磊旁边，看著屏幕上那条绿色的曲线。

  红色的异常请求標记在一小时內从几千个降到了几十个，又过了半小时，降到了个位数。

  赵磊靠在椅背上，仰著头看著天花板，长长地呼出一口气。