随着互联网业务的快速发展，网络爬虫引发的性能骚扰、法律风险、隐私泄露等问题愈演愈烈。近日，RadeBit瑞安全通过采访Akamai中国区企业事业部总经理何铭先生以及Akamai大中华区产品市场经理刘炅先生，了解到Akamai在爬虫管理和安全方面的丰富经验以及相关的产品能力，同时也对爬虫的负面影响、管理策略等内容有了进一步了解。
一、爬虫（bot）攻击的危害
在网络世界，爬虫无处不在。据统计，2019年就有近40%的Web流量来自爬虫。爬虫也有好坏之分，好爬虫主要用于网络索引、内容聚合以及提取市场或价格信息。而剩下的多为坏爬虫——占据了20%的Web流量。
1、“坏”爬虫的定义是什么？
坏爬虫由恶意攻击者操纵，用于针对所有行业、地区和渠道的Web网页利益获取、交易欺诈、垃圾邮件以及DDoS和撞库攻击。
2、爬虫攻击的方式
第一种是凭证滥用类攻击，人们经常听到的撞库攻击实际上就是凭证滥用攻击的最主要方式。它将从黑市上获取的大量用户数据和账户信息在不同的网站进行登录尝试，从而得到有效账户，最终把这些账户非法贩卖给其他人。
第二种是账户接管，或者叫做账户盗用。这种类型最早指对于银行账户的盗取，现在也指对包括电商、游戏账户在内的互联网账户的盗取。这种攻击通常也是通过登陆尝试或蛮力手段得到账户，在接管账户后进行信息窃取或进一步攻击。这两种基于爬虫的攻击类型较为常见。其他攻击类型还包括库存囤积、薅羊毛、市场欺诈。此外，还有一类攻击会利用僵尸网络（Botnet）进行应用层的DDoS攻击，最终导致被攻击网站的经济利益受损以及名誉毁坏。
3、爬虫攻击的行业危害
Akamai数据显示，零售业是受到爬虫攻击最为严重的行业之一，除此之外，爬虫攻击的主要目标还包括媒体、金融、酒店及旅游业。在零售业中，服装类、电商门户类以及百货类的网站更易遭到爬虫攻击。
二、攻击趋势
凭借每日交付超过50 Tbps的Web流量，Akamai对互联网上的攻击流量有着极大的可视性。今年二月，Akamai发布了《2020年互联网安全状况报告：金融服务——恶意接管尝试》，发现了以下爬虫攻击的主要趋势。
第一，攻击次数居高不下。在报告统计的约两年内，Akamai共发现了超过850亿次攻击，日均攻击量达到1.2亿次之多。
第二，攻击手段越发复杂。攻击者会通过多合一的工具、利用僵尸网络发起分布式攻击。鉴于当前API协议的广泛使用，攻击者便利用API的自动化特性、采用API作为主要攻击手段。Akamai发现近20%的凭证滥用攻击都是基于API的登录方式。
第三，金融业已成为攻击重灾区。根据Akamai的数据，在针对金融服务业发起的撞库攻击中，高达75%的攻击直接以API为目标。
三、Akamai是爬虫管理领域的领导者
随着爬虫攻击及防护方式的不断演进，爬虫管理解决方案市场也愈加成熟。今年2月，Forrester发布了“Forrester New Wave™：2020年第一季度爬虫程序管理评估”报告，并认定Akamai为“领导者”。根据该报告，Akamai在“攻击检测”、“攻击响应”、“管理UI”、“报告和分析”、“反馈回路”、“性能指标”、“路线图”和“营销方法”标准方面获得了“独具优势”（differentiated）的评级，这也是最高的评级。
从最初单一的IP攻击到模拟浏览器和人类行为，爬虫的攻击方式不停变化。鉴于此，Akamai针对爬虫的检测方案也是多种多样，包括IP拦截、速率控制、Cookie和Java参数检测以及用户行为的深度分析。而对于爬虫的缓解方案，除了最基本的监控和拦截，Akamai还会进行限速、延缓和疏导。
四、Akamai在3月对爬虫管理解决方案进行升级
此次Akamai爬虫管理解决方案的升级注重攻防能力的提升，主要有以下几个方面：
第一，提供更多和更精准的爬虫检测方法。其中包括POW（Proof of Work）挑战检测方法，该方法主要在防护设备或防护端对爬虫流量请求端发出挑战，通过检测请求端对挑战的回应，判别“幕后操作手”是爬虫还是真是人类。此外，Akamai在该检测方法中增加了加密算法，迫使恶意爬虫的计算量增加，达到消耗内存或CPU的目的。
第二，基于人工智能的评分机制。通过平台的云端数据和威胁情报，Akamai可以对爬虫威胁进行自动评分，并根据评分进行更细粒度的防护。
第三，增加更多场景支持，尤其对于跨域场景的支持。由于很多应用的客户端会发起跨域的请求，为了使跨域请求的检测更加精准，Akamai定义了新的攻击检测方式，从而扩展更多的应用防护场景。
最后，与mPulse产品相集成。mPulse是Akamai的真实用户监测产品，能够检测出用户访问网站快慢的原因。通过结合mPulse，Akamai的爬虫管理解决方案可以可视化地展现出爬虫对网站性能产生的影响。
五、安全防护架构
由于与生俱来的边缘属性和优势，Akamai的爬虫管理解决方案可以很好地应用于多种环境，包括用户本地的数据中心和多云环境中的防护场景。Akamai的爬虫防护方案并非一个单点方案，而是一个分层次的、全栈的防护方案，即从DDoS和网页防护到爬虫管理乃至API攻击都可进行防护。
记者问答
RadeBit瑞安全：目前很多爬虫能够模拟用户访问特征信息，或者像通过使用Selenium库这种可以对浏览器去模拟操作的爬虫，这对我们去识别爬虫有一定难度，那么Akamai有哪些比较可靠的、有针对性的反爬虫策略？
刘炅：Akamai推荐的防护体系是一个多层次的、全栈式的防护体系。爬虫攻击是Web安全的一个分支，所以对于爬虫的防护也就融入至Akamai的整个Web防护架构之中。由于能够防护DDoS攻击、API攻击以及检测和防护爬虫，这种体系和架构也得到了分析和咨询机构的推崇。例如，Gartner推荐了一个称之为WAAP的架构，即Web Application and API Protection。在四代攻击演进中，User Agent属于较简单的爬虫攻击方式。对此，我们可以通过算法进行用户行为检测和识别，然后使用基于挑战的检测方式化解恶意流量。
RadeBit瑞安全：一些网站经常受到爬虫访问，有些密集的爬取操作会导致网站平台的高并发访问，对网站稳定性产生一定影响，Akamai如何避免由爬虫高并发访问带来的影响？
何铭：爬虫导致网站性能的下降确实不可避免，因为爬虫需要建立很多连接，致使后台资源消耗。而Akamai的整个防护体系处于边缘，所以相当于在企业的最外层建立了保护屏障，可以在边缘进行识别和化解DDoS和爬虫等攻击流量，不会影响后端服务器的性能。
RadeBit瑞安全：恶意爬虫可能会导致网站数据面临安全风险，那么企业应如何避免数据、账户、交易、运营等隐私数据泄露，保障平台的安全稳定运营？
刘炅：爬虫攻击的主要目的就是为了窃取数据和用户信息。当然如果要窃取这些信息，第一步需要得到权限。所以，我们在这之前实施的所有这些防护策略，实际上都是为了避免更深层次的数据泄露。
何铭：现在的爬虫攻击不光针对网站，也包括应用端，特别是通过一些API接口发起攻击。所以对于数据的管理和安全，企业需要专业的、富有经验的服务商来进行好坏爬虫的识别、准确拦截和数据采集。Akamai每天交付大量Web流量，因此对攻击流量有着极大的可视性，通过对大量流量的分析，对爬虫行为可以进行更精准的识别和管理。
关于Akamai
Akamai为全球最大型公司提供安全的数字化体验。Akamai的智能边缘平台涵盖了从企业到云端的一切，从而确保客户及其公司获得快速、智能且安全的体验。全球顶尖品牌依赖Akamai通过灵活的解决方案扩大多云架构的功能，帮助其获得竞争优势。Akamai的决策、应用和体验比任何竞争对手都更为贴近用户，并使用户远离攻击和威胁。Akamai提供涵盖边缘安全、Web和移动性能、企业访问和视频交付解决方案的产品组合，并且通过无与伦比的客户服务、分析及全天候监控提供支持。要了解世界顶尖品牌为何如此信赖Akamai，请访问www.akamai.com/cn/zh或blogs.akamai.com，或者扫描下方二维码，关注我们的微信公众号。您可访问https://www.akamai.com/cn/zh/locations.jsp查找全球联系信息。
最新评论