机器人程序是当今时代的一个明显现实,占互联网流量的 40%。机器人操作员的范围很广——从个人到合法企业以及犯罪组织,他们为各种任务创建机器人。借助自动化的优势,运营商为高度重复的任务实施机器人,从搜索引擎索引、网站监控到 DDoS 攻击和其他网络威胁。这表明机器人程序将继续存在,任何在线开展业务的组织都应该有适当的 BOT 检测和缓解策略,使您能够从好的机器人程序中筛选出坏的机器人程序。继续阅读以了解BOT 管理解决方案的内容、原因和方式。,,为什么要进行 BOT 管理?,机器人程序管理对于每个企业都至关重要,可以提高性能并保护其免受恶意机器人程序的侵害,因为它们会使服务器过载。这反过来会减慢或拒绝合法用户访问 Web 门户。一些不良机器人还会窃取内容、凭据和专有资产。这些以后可以用于垃圾邮件内容、网络钓鱼用户和网络攻击。因此,BOT 管理解决方案应与其他网络安全措施相结合,例如安装防火墙、访问管理解决方案和多因素身份验证,以检测和避免网络攻击和其他在线威胁。,BOT 管理解决方案有什么作用?,机器人管理管理机器人。它阻止坏机器人并允许好的机器人通过,而不是简单地阻止所有非人类流量。机器人缓解解决方案的主要工作是:,Web Security Measures中如何添加Bot Management?,恶意机器人程序可能会损害网站的性能、窃取销售额并破坏客户体验。因此,必须采用适当的机器人程序管理和缓解解决方案来避免当今普遍存在的网络攻击。在萌芽状态减轻机器人威胁并从长远来看保护您的网站和业务是相关的。以下是成功的机器人管理步骤。,,1. 分类机器人,根据与在线业务交互的流行和广为人知的机器人、特定于组织的单个机器人(好的和坏的)以及未知的机器人对机器人进行分类。完成此分类后,IT 团队可以创建特定的策略来根据机器人的影响和 Web 基础设施的性能来管理机器人的各种活动。,2. 基于用户行为的机器人检测,机器人可以模仿人类行为。不易检测到的低速和慢速攻击变得更加普遍。此外,机器人大量分布在住宅和物联网 IP 地址上,使得基于 IP 的安全系统无法对抗恶意机器人流量。这表明您不能应用一刀切的解决方案。在今天的场景中,阻止和检测不良机器人的实时行为分析是最好的解决方案。,您可以通过从 SDK 输入、会话跟踪、服务器端指纹和 JS 渲染引擎获取数据的统计和行为检测来识别来自机器人程序的新威胁。,3.结合服务器端和客户端机器人检测,必须混合使用客户端和服务器端机器人检测。服务器端模块收集指纹和 HTTP 请求,并通过 AI 检测引擎实时分析每个请求并阻止机器人。然而,这还不够,因为高级机器人使用与人类相同的浏览器,包括 Chrome Safari,并且可以伪造指纹。因此,进行服务器端检测将错过这些机器人。,您应该将服务器端指纹识别与客户端信号记录相结合,并分析各种浏览器、设备功能和应用程序以及触摸动作等行为信号。这些有助于检测最先进的机器人。,4. 基于云的机器人缓解,分布式拒绝服务 (DDoS) 攻击使用通过僵尸网络传送的流量轰炸网站,这些僵尸网络通常由加入恶意软件的联网端点创建。拥有基于云的DDoS 缓解软件解决方案可通过适当监控网络流量并为常规流量负载设置基线来抵御这些攻击。这些解决方案采用软件即服务 (SaaS) 的形式,无论组织规模大小,都能为他们提供保护。,,结论,网站的非人类机器人流量正在增加,企业正在使用更多资源来服务这些自动化客户端,它们的行为可能会扰乱网站性能并破坏客户体验。要牢牢控制这种非人类流量(机器人),IT 团队应该拥有强大的机器人管理和缓解解决方案。仅阻止机器人并不是对付它们的最佳或唯一方法。相反,采用主动的机器人程序管理方法是前进的方向。, ,机器人程序是当今时代的一个明显现实,占互联网流量的 40%。机器人操作员的范围很广——从个人到合法企业以及犯罪组织,他们为各种任务创建机器人。借助自动化的优势,运营商为高度重复的任务实施机器人,从搜索引擎索引、网站监控到 DDoS 攻击和其他网络威胁。这表明机器人程序将继续存在,任何在线开展业务的组织都应该有适当的 BOT 检测和缓解策略,使您能够从好的机器人程序中筛选出坏的机器人程序。继续阅读以了解BOT 管理解决方案的内容、原因和方式。,机器人管理管理机器人。它阻止坏机器人并允许好的机器人通过,而不是简单地阻止所有非人类流量。机器人缓解解决方案的主要工作是:,
最近一份报告的数据显示,机器人程序占据了互联网流量的三分之二。但是,并非所有机器人都是安全且善意的。研究进一步表明,在所有网络流量中,近40 % 是不良机器人流量,约2-5 % 是良好机器人流量。鉴于坏机器人的破坏力有多大,使用机器人保护解决方案来检测坏机器人、管理机器人流量和减轻机器人威胁至关重要。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。,,不良机器人会以多种方式危害您的业务,下面详述了其中一些。, 1. 在一系列攻击中发挥作用 ,从网络钓鱼、垃圾邮件、广告欺诈、数据收集到 DDoS 攻击、帐户接管和暴力攻击,恶意机器人被攻击者用来策划各种攻击。这些攻击可能导致停机,使网站/应用程序无法用于合法的人类流量,允许非法访问关键资产,和/或导致敏感信息丢失等。此外,恶意机器人还被攻击者用来非法窥探和扫描网站以寻找可利用的漏洞。, 2. 对 SEO 产生负面影响的内容抓取,爬虫机器人通常由攻击者甚至竞争对手部署,以从网站中提取版权/商标/专有内容并将其复制到其他地方。这通常是由希望对您的 SEO 排名产生负面影响的竞争对手或对手完成的,因为重复的内容会降低您网站对该内容的权威。攻击者还使用内容抓取来策划网络钓鱼攻击和诈骗。他们通过复制抓取的内容来欺骗访问者并进行竞标来创建虚假网站。, 3. 价格抓取,希望压低价格的竞争对手通常会部署爬虫机器人来从电子商务和其他网站上获取价格。因此,竞争对手在市场上获得优势并赢得 SEO 价格战。您会发现转化率较低、SEO 排名下降,以及攻击性爬虫导致的无法解释的停机时间。, 4. 导致糟糕的营销决策的倾斜分析 ,通过利用僵尸网络,攻击者可以编排 DDoS 攻击,使您的网站无法访问合法流量,同时影响您的流量指标。不良机器人还被用来在电子商务网站上创建和放弃购物车,从而创造不存在的潜在客户。同样,恶意机器人被攻击者/竞争对手利用来进行点击欺诈,创造不存在的购物者并推高广告成本。这种倾斜的指标通常会导致糟糕的营销决策,并降低广告和营销的投资回报率。,, 5. 失去客户信任和信心,攻击者使用恶意机器人向评论部分发送恶意代码/挑衅性评论/严厉评论、夸大观点、通过创建虚假社交媒体帐户撰写虚假或有偏见的内容、撰写虚假用户评论等。此类活动会导致客户失去对您品牌的信任和信心,并使客户离开您的网站。,“ 83% 的公司在 2020 年至少经历了一次机器人攻击,”——根据Kasada 的2021 年机器人缓解状态报告。其中 39% 的公司因机器人攻击损失了超过 10% 的收入,而 6% 的公司报告收入损失为 6% 或更多。,总体而言,不良机器人会对利润产生负面影响,从而给组织造成收入损失。此外,不良机器人引起的攻击会带来巨大的经济损失、法律费用、罚款和声誉损失。通过减轻机器人威胁,您可以节省数百万美元。,机器人程序保护解决方案或机器人程序管理解决方案使组织能够有效地识别和管理机器人程序流量,同时减轻威胁。所有这一切,都不会影响您的合法 和关键业务流量。, 1. 保护您的网站,Bot 保护解决方案提供全天候保护,防止恶意 bot。它们是自动化的,能够实时识别和阻止恶意/不良机器人。他们可以自动检测不良机器人并阻止它们。这使组织能够将其爬虫程序风险降至最低,并主动保护其网站免受一系列已知和新出现的威胁。, 2. 让您的网站始终可供业务关键型流量使用,最好的爬虫程序管理解决方案(如AppTrana)配备了全球威胁情报和对过去攻击的洞察力,并且它们还具有自学能力。这使他们能够根据上下文智能地决定要采取的行动。这样的解决方案将能够决定是否允许、阻止、挑战或标记特定请求/用户。这样,不需要的流量就会被阻止,而不会影响关键业务流量。,, 3.优化商业智能和分析,通过识别和缓解机器人程序威胁,机器人程序保护解决方案有助于确保业务分析和情报不会出现偏差。因此,您将准确了解您的访客以及您的营销和广告活动的状态。因此,您可以将时间和资源集中在真正的客户身上,以及吸引和转化真正的潜在客户上。, 4. 加速站点性能,不良机器人会消耗过多的带宽并在服务器上造成过多的负载。这会影响您网站的性能。通过减少恶意机器人,您可以提高站点的性能并避免停机。, 前进的道路,恶意机器人无处不在,而且比以往任何时候都更加复杂。仅仅阻止机器人并不是应对日益增长的威胁的有效和长期解决方案。相反,采用主动的机器人程序保护方法向前推进至关重要。,通过选择像 AppTrana 这样的托管、智能和高级爬虫程序缓解解决方案,您可以确保针对各种恶意爬虫程序的多层实时保护。它还提供了对威胁的可见性,以阻止正在进行的攻击。, ,最近一份报告的数据显示,机器人程序占据了互联网流量的三分之二。但是,并非所有机器人都是安全且善意的。研究进一步表明,在所有网络流量中,近40 % 是不良机器人流量,约2-5 % 是良好机器人流量。鉴于坏机器人的破坏力有多大,使用机器人保护解决方案来检测坏机器人、管理机器人流量和减轻机器人威胁至关重要。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。, 2. 对 SEO 产生负面影响的内容抓取,
最近一份报告的数据显示,机器人占据了互联网流量的三分之二。然而,并不是所有的机器人都是安全且善意的。研究进一步表明,在所有网络流量中,近40 % 是不良机器人流量,大约2 5% 是良好机器人流量。鉴于恶意机器人的破坏性有多大,必须使用机器人保护解决方案来检测恶意机器人、管理机器人流量并减轻机器人威胁。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。,,不良机器人会以多种方式损害您的业务,其中一些将在下文详述。, 1. 在一系列攻击中发挥杠杆作用 ,从网络钓鱼、垃圾邮件、广告欺诈、数据收集到 DDoS 攻击、帐户接管和暴力攻击,攻击者利用恶意机器人来策划各种攻击。这些攻击可能导致停机、使合法的人流量无法访问网站/应用程序、非法访问关键资产和/或导致敏感信息丢失等。此外,攻击者还使用恶意机器人来非法窥探和扫描网站以查找要利用的漏洞。, 2. 对 SEO 产生负面影响的内容抓取,Scraper bots 经常被攻击者甚至竞争对手部署,以从网站中提取版权/商标/专有内容并将其复制到其他地方。这通常是由希望对您的 SEO 排名产生负面影响的竞争对手或对手完成的,因为重复的内容会降低您网站对该内容的权威。攻击者还使用内容抓取来策划网络钓鱼攻击和诈骗。他们通过复制抓取的内容来欺骗访问者并进行竞标,从而创建虚假网站。, 3. 价格刮,希望压低价格的竞争对手通常会部署爬虫机器人来从电子商务和其他网站上获取价格。因此,竞争对手在市场上获得优势并赢得了 SEO 价格战。您会发现转化率较低、搜索引擎优化排名下降以及由激进的抓取工具导致的无法解释的停机时间。,, 4. 导致糟糕营销决策的倾斜分析 ,通过利用僵尸网络,攻击者可以策划 DDoS 攻击,使您的网站无法访问合法流量,同时影响您的流量指标。不良机器人也被用来在电子商务网站上创建和放弃购物车,从而创造不存在的潜在客户。同样,攻击者/竞争对手利用不良机器人进行点击欺诈,创造不存在的购物者并推高广告成本。这种倾斜的指标通常会导致糟糕的营销决策以及广告和营销的投资回报率下降。, 5. 失去客户信任和信心,攻击者使用恶意机器人向评论部分发送恶意代码/挑衅性评论/严厉评论、夸大视图、通过创建虚假社交媒体帐户编写虚假或有偏见的内容、编写虚假用户评论等。此类活动会导致客户对您的品牌失去信任和信心,并使客户远离您的网站。,“ 83% 的公司在 2020 年至少经历过一次机器人攻击,”——根据 Kasada 的2021 年机器人缓解状况报告。这些公司中有 39% 的公司因机器人攻击损失了 10% 以上的收入,而 6% 的公司报告说收入损失了 6% 或更多。,总体而言,不良机器人通过对底线产生负面影响而给组织带来收入损失。此外,恶意机器人造成的攻击会带来巨大的经济损失、法律费用、处罚和声誉损失。通过减轻机器人威胁,您可以节省数百万美元。,,爬虫程序保护解决方案或爬虫程序管理解决方案使组织能够有效地识别和管理爬虫程序流量,同时减轻威胁。 所有这一切,都不会影响您的合法和关键业务流量。, 1. 保护您的网站,爬虫程序保护解决方案提供针对恶意爬虫程序的全天候保护。它们是自动化的,能够实时识别和阻止恶意/恶意机器人。他们可以自动检测不良机器人并阻止它们。这使组织能够将其机器人风险降至最低,并主动保护其网站免受一系列已知和新出现的威胁。, 2. 让您的网站始终可供关键业务流量使用,AppTrana等最好的机器人管理解决方案配备了全球威胁情报和对过去攻击的洞察力,并且它们还具有自学能力。这使他们能够根据上下文智能地决定要采取的行动。这样的解决方案将能够决定是否允许、阻止、挑战或标记特定的请求/用户。这样,不需要的流量就会被阻止,而不会影响关键业务流量。, 3. 优化商业智能和分析,通过识别和缓解爬虫程序威胁,爬虫程序保护解决方案有助于确保业务分析和情报不会出现偏差。因此,您将获得访问者的正确图片以及营销和广告活动的状态。因此,您可以将时间和资源集中在真正的客户以及吸引和转化真正的潜在客户上。,, 4. 加快网站性能,不良机器人会消耗过多的带宽并在服务器上造成过多的负载。这会影响您网站的性能。通过减少不良机器人,您可以提高站点的性能并避免停机。, 前进的道路,恶意机器人无处不在,而且比以往任何时候都更加复杂。仅阻止机器人并不是应对日益增长的威胁的有效且长期的解决方案。相反,拥有积极主动的机器人保护方法以向前发展至关重要。通过选择像 AppTrana 这样的托管、智能和高级爬虫程序缓解解决方案,您可以确保对各种恶意爬虫程序进行多层实时保护。它还提供对威胁的可见性,以阻止正在进行的攻击。, ,最近一份报告的数据显示,机器人占据了互联网流量的三分之二。然而,并不是所有的机器人都是安全且善意的。研究进一步表明,在所有网络流量中,近40 % 是不良机器人流量,大约2 5% 是良好机器人流量。鉴于恶意机器人的破坏性有多大,必须使用机器人保护解决方案来检测恶意机器人、管理机器人流量并减轻机器人威胁。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。, 2. 对 SEO 产生负面影响的内容抓取,
在新闻中听到有关 IoT 安全性(或缺乏安全性)的情况变得越来越普遍,并且计算机和 IoT 设备经常成为黑客的目标,因为他们使用“机器人”来执行分布式拒绝服务 (DDoS) 攻击、应用程序漏洞和凭证填充.,,目前,非人工流量或机器人流量占网站总流量的 60% 以上。这些僵尸程序有多种形式,因此区分通常构成僵尸网络以执行各种恶意活动的受感染主机与对推动客户访问您的网站极为重要的合法僵尸程序(例如 Googlebot )。,包含定价信息和专有信息的网站特别容易受到机器人流量的影响。当航空公司使用机器人农场从竞争航空公司网站上抓取价格信息时,可以看到内容抓取过程的一个示例。他们使用这些信息对类似产品进行动态定价——一旦他们发现竞争对手的收费标准,他们就可以降低其服务的价格以获得市场优势。更恶意的使用包括部署僵尸网络,寻找网站技术中的漏洞并将其存储为易受攻击的站点,以便利用。,过去,机器人攻击远没有现在那么复杂和强大。例如,在 1990 年代中期,典型的攻击包括每秒 150 个请求。在当时,这足以让许多系统崩溃。现在,由于现代僵尸网络的庞大规模,平均攻击每秒产生超过 7,000 个请求。,,去年,我们都目睹了许多大规模的攻击,例如针对 Oracle DYN(以前的 Dyn DNS)的 DDoS 攻击,该攻击同时受到来自数千万 IP 地址的大量 DNS 查询的打击。这是由 Mirai 僵尸网络执行的攻击,它感染了超过 100,000 台物联网设备,并针对 Netflix、亚马逊、Spotify、Tumblr、Twitter、Reddit 和 OVH 等科技巨头。,由于 bot 攻击变得越来越普遍(也越来越危险),因此每位 IT 专业人员都必须采取主动措施来对抗恶意 bot 活动。以下是一些有助于对抗机器人的提示:, 1. 将坏机器人与好机器人分开,机器人通常被归为一个大组,但有好的机器人也有坏的机器人。坏的可能会攻击您的网站并造成伤害,但好的(如 Googlebot)有助于使互联网成为一个更安全、更高效的地方。出于这个原因,您不能简单地阻止所有机器人以希望避免攻击。相反,您需要分类并允许好的机器人,同时限制和管理坏机器人。通常使用验证码来解决基本的机器人攻击。由于这需要“人”交互来处理,因此被视为一个很好的起点。但是,验证码也被视为用户网站体验中不便的障碍。, 2. 利用最新的安全技术,传统的速率限制和验证码本身已经不够用,许多公司引入了 Javascript 挑战来确定请求来源的合法性。使用传入请求的行为分析与设备指纹识别相结合,使公司能够区分受感染的主机,同时透明地采取行动,不会影响浏览体验。分布式云安全平台可以应对大量流量、连接,进一步保护自己免受机器人攻击。,, 3.利用人工智能,攻击者学习更复杂的方式来收集数据并更准确地复制真实用户行为只是时间问题。出于这个原因,许多公司都在尝试使用机器学习模型来检测模式和异常。使用的模型能够以人类无法实现的速度检查数据,同时开发更复杂的模型来应对不断变化的机器人技术。,总之,我们的建议是,公司需要采取积极措施,在不损害其网络资产可用性的情况下积极阻止恶意机器人。当我们努力控制机器人的兴起时,利用行为控制而不是静态规则要有效得多。, ,在新闻中听到有关 IoT 安全性(或缺乏安全性)的情况变得越来越普遍,并且计算机和 IoT 设备经常成为黑客的目标,因为他们使用“机器人”来执行分布式拒绝服务 (DDoS) 攻击、应用程序漏洞和凭证填充.,,