Cloudflare的bot管理是怎么防爬的,跟其他的WAF有什么不同吗?
从形式上来看确实是跟WAF不太一样的。bot管理是cf那边会给请求评分,评分代表着请求属于人为或自动化流量的可能性。
根据这个评分,可以在cf后台手动设置对哪些分数区间的请求发起验证码。
而一般的WAF都是预先写好规则,服务商根据规则来允许或者拦截流量。
根据cloudflare的说法,这一评分是对整个cloudflare网络上的流量样本进行机器学习得出来的,误报率很低。但实际上有一个分数区间是属于“可能是bot”的,需要结合其他的一些手段来进行判断。例如有些请求的分数比较偏向bot,并且一个ip有大量重复访问的行为,就可以对这一部分请求发起验证码挑战。
而使用waf的话一般都可以根据已知的黑白名单,ip集等等来进行防爬。
https://ds.fanyaozu.com/tag/3%e4%ba%bf%e4%b8%ad%e4%ba%a7%e7%9a%84%e6%b6%88%e8%b4%b9%e7%88%86%e5%8f%91%e5%8a%9b