标签：恶意机器人

  结合我个人及工作中的一些经验来谈一谈 科普 什么是 DoS 和 DDoS 攻击？ 拒绝服务[1]（DoS）攻击和分布式拒绝服务[2]（DDoS）攻击都是恶意的行为，利用大量互联网流量淹没目标服务器、服务或网络，破坏它们的正常运作。 DoS 攻击通过从单一机器（通常是一台计算机）发送恶意流量来实现这种破坏。形式可以非常简单；通过向目标服务器发送数量超过其有效处理和响应能力的ICMP（Ping）请求[3]，发动基本的 Ping 洪水攻击[4]。 另一方面，DDoS 攻击使用一台以上的机器向目标发送恶意流量。这些机器通常是僵尸网络[5]（感染了恶意软件[6]的计算机或其他设备的集合）的一部分，因而可以由单个攻击者进行远程控制。在其他情形中，多名个体攻击者可以串通起来，一起从各自的个体计算机发送流量来发动 DDoS 攻击。 DDoS 攻击在现代互联网中更为普遍，破坏性也更强，原因有二。首先，现代安全工具已经发展为能够阻止一些普通的 DoS 攻击。其次，DDoS 攻击工具已经变得相对廉价且易于操作 常见类型 • 应用程序层 (L7) 攻击工具， 海量恶意请求(没泄漏源站IP） • 协议和传输层 (L3/L4) 攻击工具，利用UDP等协议向目标服务器大规模发送流量，例如UDP洪水攻击(泄漏了源站IP） 有钱方式 当然了这种方式肯定不适合我，没钱的个人用户了，让我掏6-7k钱来保15块钱的机器，想想都不可能，是不是。这种主要是针对企业用户或者对外提供SAAS类(或者同行比较多的) 另外这个也主要针对国内用户啊 1. 直接上云服务商的高防业务 2. 如果造成比较大的影响可以考虑报警(找网监或者网安大队),由叔叔们来解决这些, 但叔叔们不一定能解决(如果攻击来源主要是境外的话) 1和2可以同时进行。 没钱方式 下面这个两个方式，仅验证过第二个，因为第二个不需要花钱 其实隐藏好源站就好了，不漏了IP，漏了必被打 加个前置或加个CDN 就是在入口的地方，买个带高防的机器前置一些，让流量先经过前置高防清洗，可以有效解决 Cloudflare Under Attack 模式 将域名搬家到Cloudflare，开启Under Attack 模式, 感谢大慈善家 简单介绍Cloudflare通用防火墙规则 Cloudflare向免费版用户提供了5条防火墙规则，可在安全性-WAF处进行配置。自定义防火墙规则的目的，就是圈定包含一定特征（如IP、UA、地域、提供商等）的可疑对象，并对其进行验证码质询或阻止访问。 规则的触发机制是自上而下触发一次，高优先级的规则要放在上部。在规则设置中需要灵活组合匹配条件，and需要全部满足、or为满足任一条件 这里简单罗列一下我的博客https://ysicing.me的安全性规则 白名单 最高优先级，主要的规则包含: • 合法机器人爬虫 • 已知的善意RSS爬虫(这里点名批评，巨硬家的爬虫跟DDOS一下) • 自己的测试IP 主机名细则(使用最多) 前面提到了通过and和or组合规则，对于一些杂项，可以通过主机名and去限定区间，这里推荐一些常用的匹配方式。 匹配规则 解释 主机名 针对输入网站域名的配置 URL路径 针对输入网站域名的配置 国家/地区 针对访问IP来源地区的匹配 SSL/HTTPS 针对是否使用https访问的匹配 前三条内容与以上四个的组合可以很灵活地圈定范围，比如主机名+URL路径可以实现对特定目录、特定文件（比如登录页等）设置更高的验证要求。举个博主自己的例子，博主的静态资源所在目录会同步至海外源站，如下配置，就可以圈定php文件及不符合两个静态文件所在目录的访问，并阻止他 屏蔽某些国家或者地区 例如海外版禁止中国访问，当然也可以是只允许某些地方访问 (not ip.geoip.country in {"CN"} and not ip.geoip.country in {"HK"}) 如下就是我被境外的攻击了，只允许中国IP访问 ASN验证 这种不多，但是也可以，例如屏蔽AS8075 限制访问速率 这里重点是设置路径匹配及每秒的请求次数 其他地方 安全性 自动程序：打开自动程序攻击模式，识别并缓解自动化流量，以保护您的域免受恶意机器人的危害 其他地方就根据自己实际情况选择 最后 做网站尤其自己没有钱，且同行比较多的情况下，要隐藏好自己的IP。但是还有一种情况，就是同行来买你的服务，知道你的IP段后，轮段攻击。还是那句话，有钱上高防，没钱就低调隐藏好自己的IP。最后说句: Cloudflare NB 引用链接 [1] 拒绝服务: https://www.cloudflare.com/learning/ddos/glossary/denial-of-service/[2] 分布式拒绝服务: https://www.cloudflare.com/learning/ddos/what-is-a-ddos-attack/[3] ICMP（Ping）请求: https://www.cloudflare.com/learning/ddos/glossary/internet-control-message-protocol-icmp/[4] Ping 洪水攻击: https://www.cloudflare.com/learning/ddos/ping-icmp-flood-ddos-attack/[5] 僵尸网络: https://www.cloudflare.com/learning/ddos/what-is-a-ddos-botnet/[6] 恶意软件: https://www.cloudflare.com/learning/ddos/glossary/malware

最近一份报告的数据显示，机器人占据了互联网流量的三分之二。然而，并不是所有的机器人都是安全且善意的。研究进一步表明，在所有网络流量中，近40 % 是不良机器人流量，大约2 5% 是良好机器人流量。鉴于恶意机器人的破坏性有多大，必须使用机器人保护解决方案来检测恶意机器人、管理机器人流量并减轻机器人威胁。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。,,不良机器人会以多种方式损害您的业务，其中一些将在下文详述。, 1. 在一系列攻击中发挥杠杆作用 ,从网络钓鱼、垃圾邮件、广告欺诈、数据收集到 DDoS 攻击、帐户接管和暴力攻击，攻击者利用恶意机器人来策划各种攻击。这些攻击可能导致停机、使合法的人流量无法访问网站/应用程序、非法访问关键资产和/或导致敏感信息丢失等。此外，攻击者还使用恶意机器人来非法窥探和扫描网站以查找要利用的漏洞。, 2. 对 SEO 产生负面影响的内容抓取,Scraper bots 经常被攻击者甚至竞争对手部署，以从网站中提取版权/商标/专有内容并将其复制到其他地方。这通常是由希望对您的 SEO 排名产生负面影响的竞争对手或对手完成的，因为重复的内容会降低您网站对该内容的权威。攻击者还使用内容抓取来策划网络钓鱼攻击和诈骗。他们通过复制抓取的内容来欺骗访问者并进行竞标，从而创建虚假网站。, 3. 价格刮,希望压低价格的竞争对手通常会部署爬虫机器人来从电子商务和其他网站上获取价格。因此，竞争对手在市场上获得优势并赢得了 SEO 价格战。您会发现转化率较低、搜索引擎优化排名下降以及由激进的抓取工具导致的无法解释的停机时间。,, 4. 导致糟糕营销决策的倾斜分析 ,通过利用僵尸网络，攻击者可以策划 DDoS 攻击，使您的网站无法访问合法流量，同时影响您的流量指标。不良机器人也被用来在电子商务网站上创建和放弃购物车，从而创造不存在的潜在客户。同样，攻击者/竞争对手利用不良机器人进行点击欺诈，创造不存在的购物者并推高广告成本。这种倾斜的指标通常会导致糟糕的营销决策以及广告和营销的投资回报率下降。, 5. 失去客户信任和信心,攻击者使用恶意机器人向评论部分发送恶意代码/挑衅性评论/严厉评论、夸大视图、通过创建虚假社交媒体帐户编写虚假或有偏见的内容、编写虚假用户评论等。此类活动会导致客户对您的品牌失去信任和信心，并使客户远离您的网站。,“ 83% 的公司在 2020 年至少经历过一次机器人攻击，”——根据 Kasada 的2021 年机器人缓解状况报告。这些公司中有 39% 的公司因机器人攻击损失了 10% 以上的收入，而 6% 的公司报告说收入损失了 6% 或更多。,总体而言，不良机器人通过对底线产生负面影响而给组织带来收入损失。此外，恶意机器人造成的攻击会带来巨大的经济损失、法律费用、处罚和声誉损失。通过减轻机器人威胁，您可以节省数百万美元。,,爬虫程序保护解决方案或爬虫程序管理解决方案使组织能够有效地识别和管理爬虫程序流量，同时减轻威胁。 所有这一切，都不会影响您的合法和关键业务流量。, 1. 保护您的网站,爬虫程序保护解决方案提供针对恶意爬虫程序的全天候保护。它们是自动化的，能够实时识别和阻止恶意/恶意机器人。他们可以自动检测不良机器人并阻止它们。这使组织能够将其机器人风险降至最低，并主动保护其网站免受一系列已知和新出现的威胁。, 2. 让您的网站始终可供关键业务流量使用,AppTrana等最好的机器人管理解决方案配备了全球威胁情报和对过去攻击的洞察力，并且它们还具有自学能力。这使他们能够根据上下文智能地决定要采取的行动。这样的解决方案将能够决定是否允许、阻止、挑战或标记特定的请求/用户。这样，不需要的流量就会被阻止，而不会影响关键业务流量。, 3. 优化商业智能和分析,通过识别和缓解爬虫程序威胁，爬虫程序保护解决方案有助于确保业务分析和情报不会出现偏差。因此，您将获得访问者的正确图片以及营销和广告活动的状态。因此，您可以将时间和资源集中在真正的客户以及吸引和转化真正的潜在客户上。,, 4. 加快网站性能,不良机器人会消耗过多的带宽并在服务器上造成过多的负载。这会影响您网站的性能。通过减少不良机器人，您可以提高站点的性能并避免停机。, 前进的道路,恶意机器人无处不在，而且比以往任何时候都更加复杂。仅阻止机器人并不是应对日益增长的威胁的有效且长期的解决方案。相反，拥有积极主动的机器人保护方法以向前发展至关重要。通过选择像 AppTrana 这样的托管、智能和高级爬虫程序缓解解决方案，您可以确保对各种恶意爬虫程序进行多层实时保护。它还提供对威胁的可见性，以阻止正在进行的攻击。, ,最近一份报告的数据显示，机器人占据了互联网流量的三分之二。然而，并不是所有的机器人都是安全且善意的。研究进一步表明，在所有网络流量中，近40 % 是不良机器人流量，大约2 5% 是良好机器人流量。鉴于恶意机器人的破坏性有多大，必须使用机器人保护解决方案来检测恶意机器人、管理机器人流量并减轻机器人威胁。继续阅读以了解更多信息机器人保护解决方案以及它们如何帮助组织。, 2. 对 SEO 产生负面影响的内容抓取,