机器学习和人工智能（AI）正成为威胁检测和响应工具的核心技术。实时学习和自动适应不断变化的网络威胁的能力为网络安全团队提供了优势。

根据 Sapio Research 代表 Vanta 进行的一项调查，62%的组织计划在未来 12 个月内增加对人工智能安全的投资。然而，黑客也在利用机器学习和人工智能，以空前的速度扩大网络攻击、规避安全控制并发现新的漏洞，造成了毁灭性的后果。

根据 Bugcrowd 在十月发布的年度黑客调查，77%的黑客使用人工智能进行黑客攻击，86%的人表示这从根本上改变了黑客的攻击方法。如今，71%的人表示人工智能技术在黑客攻击中显示出价值，较 2023 年提升了 21%。

根据网络安全公司 SecureOps 的说法，专门为犯罪创建的生成式人工智能工具包括 FraudGPT 和 WormGPT。

“生成式人工智能，以及更广泛的人工智能，正在降低黑客实施和开发一系列攻击的门槛，”波士顿咨询集团全球网络与数字风险负责人瓦妮莎·莱昂表示。她补充道，生成式人工智能的非确定性特征使得传统的、基于规则的、防御措施更难保持相关性。

事实上，根据 Keeper Security 在十月份发布的一份报告，51%的 IT 和安全领导者表示，人工智能驱动的攻击是他们组织面临的最严重威胁。

攻击者利用人工智能和机器学习技术的十种最常见方式如下：

网络安全工程师使用机器学习来检测垃圾邮件数十年了，Omdia 的分析师费尔南多·蒙特内哥罗表示。“垃圾邮件防范是机器学习的最佳初始应用案例。”

如果所使用的垃圾邮件过滤器提供了电子邮件未能发送的原因或生成某种评分，那么攻击者可以利用这些信息来调整他们的行为。他们将利用这个合法工具来提高自己攻击的成功率。“如果你提交的内容足够频繁，你可以重建模型，然后你可以微调你的攻击以绕过这个模型，”蒙特内哥罗说。

不仅仅是垃圾邮件过滤器存在漏洞，任何提供评分或其他输出的安全供应商都有可能被滥用。蒙特内哥罗说，“并不是所有的供应商都有这个问题，但如果你不小心，他们会产生一些有用的输出，可能会被人用于恶意目的。”

攻击者不仅仅使用机器学习安全工具来测试他们的消息是否能够通过垃圾邮件过滤器。他们还在利用机器学习来创建这些电子邮件，前安永合伙人亚当·马龙表示。“在犯罪论坛上，有黑客介绍，利用人工智能服务生成更好的网络钓鱼邮件，生成虚假的身份以推动欺诈活动。”

机器学习使攻击者能够以创造性的方式定制网络钓鱼邮件，从而避免被识别为批量邮件，并优化以引发互动和点击。他们不仅仅停留在邮件的文本上。人工智能可以用来生成逼真的照片、社交媒体资料和其他材料，使沟通看起来尽可能合法。

生成式人工智能将其提升到一个新水平。根据 OpenText 发布的一项调查，45%的公司表示由于人工智能，网络钓鱼攻击有所增加，55%的高级决策者表示，由于黑客纷纷采用人工智能技术，使他们的公司面临更大的勒索软件风险。另一项由 Keeper Security 进行的研究发现，84%的 IT 和安全领导者表示，人工智能工具使网络钓鱼攻击更难以检测。

黑客也在利用机器学习来提高猜测密码的能力。行业专家已经根据密码猜测引擎的频率和成功率看到了这一点的证据。黑客正在构建更好的字典来破解被盗的哈希值。他们还在使用机器学习来识别安全控制，这样他们可以减少尝试次数，更好地猜测密码，并增加成功访问系统的机会。

人工智能最可怕的用途是深度伪造工具，它们可以生成难以与真实人类区分的视频或音频。蒙特内哥罗说：“能够模拟某人的声音或面孔对人类来说非常有用。如果有人假装听起来像我，你可能会上当。”

事实上，过去几年中有几个引人注目的案例被公开，其中伪造的音频让公司损失了数十万甚至数百万美元。“人们接到来自他们老板的电话——这些电话是假的，”德克萨斯大学前计算机科学教授穆拉特·坎塔尔乔格鲁说。

更常见的是，诈骗者利用人工智能生成逼真的照片、用户资料、电子邮件——甚至音频和视频——使他们的信息看起来更可信。这是一个庞大的行业。根据联邦调查局的数据，商业电子邮件诈骗在过去十年中造成了超过 550 亿美元的损失。早在 2021 年，就有媒体报道香港的一家银行被欺骗，向一个犯罪团伙转账 3500 万美元，因为一名银行官员接到了他之前曾与之交谈过的公司董事的电话。他认出了声音，因此授权了转账。如今，黑客可以制作出难以与真实人区分的 Zoom 视频。

根据保险公司 Nationwide 在九月底发布的一项调查，52%的小企业主承认曾被深度伪造的图像或视频欺骗，90%的人表示生成式人工智能诈骗变得越来越复杂。

大型公司也并非免疫。根据 Teleport 的一项调查，人工智能冒充是最难防御的网络攻击方式。

如今许多流行的安全工具都内置了某种形式的人工智能或机器学习。例如，杀毒工具越来越多地超越基本的签名，关注可疑行为。“任何在线可用的东西，尤其是开源的，都可能被坏人利用，”Kantarcioglu 说。

攻击者可以使用这些工具，不是为了防御攻击，而是为了调整他们的恶意软件，直到它能够逃避检测。“人工智能模型有许多盲点，”Kantarcioglu 说。“你可能通过改变攻击的特征来改变它们，比如你发送多少数据包，或者你攻击哪些资源。”

攻击者使用的并不仅仅是人工智能驱动的安全工具。人工智能是许多不同技术的一部分。例如，用户通常通过寻找语法错误来识别网络钓鱼邮件。像 Grammarly 这样的人工智能驱动的语法检查工具可以帮助攻击者改善他们的写作，而像 ChatGPT 这样的生成式人工智能工具则可以从零开始撰写令人信服的邮件。

人工智能和机器学习可以用于研究和侦察，使攻击者能够查看公开可用的信息以及目标的流量模式、防御措施和潜在漏洞。卡内基梅隆大学软件工程研究所 CERT 部门的首席研究员和技术经理托马斯·斯坎伦表示：“这正是黑客总是开始的地方。所有这些活动在人工智能的支持下能够更智能、更快速地进行。”

许多组织并没有意识到外面有多少数据。而这不仅仅是黑暗网络上分发的被黑密码列表和员工的社交媒体帖子。例如，当公司发布招聘信息或征集提案时，他们可能会透露他们使用的技术类型，斯坎伦说。“过去，收集所有这些数据并进行一些分析是劳动密集型的，但现在很多工作可以自动化。”

根据 Bugcrowd 的调查，62%的人使用人工智能分析数据，61%的人用它来自动化任务，38%的人用它来识别漏洞。

如果企业注意到自己受到攻击并切断受影响系统的互联网访问，那么恶意软件可能无法连接回其指挥和控制服务器以获取指令。“攻击者可能想要提出一个智能模型，即使他们无法直接控制它，也能保持更长时间的存在，”Kantarcioglu 说。

现在，这些类型的自主代理可以被任何人使用，这要归功于微软的商业产品以及几个没有任何防护措施的开源平台，这些平台可能被恶意使用。卡内基梅隆大学的斯坎伦表示：“在过去，攻击者需要人类的介入来进行攻击，因为大多数攻击涉及多个步骤。如果他们能够部署代理来执行这些步骤，那绝对是一个迫在眉睫的威胁——不，只是迫在眉睫。这是人工智能正在实现的事情之一。”

攻击者可以通过向机器学习模型输入新信息来欺骗它。“对手操纵训练数据集。他们故意使其偏向，机器就会学习错误的方式，”全球风险研究所的高级研究员阿列克谢·鲁布佐夫说。

例如，一个被劫持的用户账户可以每天凌晨 2 点登录系统进行无害的工作，这使得系统认为凌晨 2 点的工作没有任何可疑之处，从而减少用户需要经历的安全检查。

这与 2016 年微软的 Tay 聊天机器人被教导成为种族主义者的方式类似。相同的方法可以用来教导一个系统某种特定类型的恶意软件是安全的，或者某些机器人行为是完全正常的。

合法的软件开发者和渗透测试人员使用模糊测试软件生成随机样本输入，以尝试使应用程序崩溃或发现漏洞。这些软件的增强版本利用机器学习以更集中、有序的方式生成输入，优先考虑最可能导致问题的文本字符串。这使得模糊测试工具对企业更有用，但在攻击者手中也更具威胁。

所有这些技术都是基础网络安全卫生（如打补丁、反钓鱼教育和微分段）仍然至关重要的原因之一。“这也是为什么深度防御如此重要的原因之一，”Forrester Research 的分析师 Allie Mellen 表示。“你需要设置多个障碍，而不仅仅是攻击者最终利用的那一个。”

在九月份，惠普沃尔夫安全公司报告称，他们发现了一项“极有可能”是借助生成式人工智能编写的恶意软件活动。作者表示：“生成式人工智能正在加速攻击，并降低网络犯罪分子感染终端的门槛。”

惠普并不是唯一一家。根据 Vanta 的报告，32%的受访组织发现基于人工智能的恶意软件有所增加。

研究人员证明了生成式人工智能可以用于发现零日漏洞。

卡内基梅隆大学的斯坎伦表示，正如合法的开发者可以利用人工智能寻找代码中的问题，攻击者也可以这样做。这可能是公开库中可用的开源代码，或者是通过其他方式获得的代码。“黑客可以将代码输入到 ChatGPT 或其他基础模型中，要求其找出可以被利用的代码弱点，”他说，并补充道，他知道这种用法既用于研究，也用于不法目的。

生成式人工智能弥补了专业知识的不足

在过去，只有最先进的黑客，例如国家级别的黑客，才有能力利用机器学习和人工智能进行攻击。

今天，任何人都可以做到。

使其特别难以防御的是，人工智能现在的发展速度超过了任何技术。“这是一个不断变化的目标，”波士顿咨询集团的里昂说。“企业应该优先保持对威胁环境的理解水平，并调整技能组合。”