AI护栏可被利用成拒绝服务武器

新闻
8小时前

本文关键看点:


1、构造一份恶意文档可以将AI的安全系统困在漫长的推理循环中,从而瘫痪共享这个安全系统的智能体或整个AI系统。


2、测试四个人工智能代理框架均导致其响应时间卡顿,LangGraph响应时间慢了148倍、BrowserGym131倍、OpenHands36倍、OSWorld18倍。


3、与传统的提示注入和越狱攻击不同,该攻击针对的是人工智能智能体护栏所用的推理过程。因此,护栏的安全机制越强,就越增加处理恶意输入所需的时间和资源。


以下正文内容基于英文原文编译,可能存在语义偏差,请以原文为准。

以下是正文:

根据一项新研究,攻击者可以将AI代理护栏变成拒绝服务武器,研究发现只需一份被污染的文档,就能通过将基于推理的安全系统困在扩展思维循环中,从而大幅拖慢共享的AI代理工作流。

1782983507741039.png

香港科技大学及其合作者的研究人员写道:"基于推理的护栏引入了一个新的攻击面,在其中安全机制本身成为目标。"

他们补充道:"一份被污染的文档可以耗尽共享护栏基础设施,有效饿死同处一个环境的智能体,使整个系统瘫痪。"研究人员描述了一种针对安全层而非底层AI模型的推理扩展拒绝服务(DoS)攻击。

研究人员在四个AI代理框架上测试了这项技术——LangGraph、BrowserGym、OpenHands和OSWorld——发现处理时间在各种部署中均有增加。

根据论文,LangGraph记录到最严重的减速,达到148倍,其次是BrowserGym的131倍,OpenHands的36.3倍,OSWorld的18倍。

攻击利用推理而非绕过安全机制

研究人员在论文中写道,与寻求操纵模型输出或绕过安全控制的提示注入和越狱攻击不同,新技术针对的是AI代理护栏所使用的推理过程。

研究人员写道:"与传统主要危害完整性的LLM攻击不同,推理扩展DoS攻击的是可用性。"他们认为,AI安全讨论在很大程度上集中在防止不安全输出上,却忽视了资源耗尽。

研究人员还发现,更强的AI安全检查可能以牺牲性能为代价。

研究人员写道:"护栏推理越强,推理时间越长。"他们解释说,更复杂的推理可能会无意中增加处理恶意输入所需的时间和资源。

该攻击在八个不同的LLM系列中也有效。根据论文,为一个开源模型设计的提示,对其他模型同样有效,表明攻击者不需要详细了解某个特定的专有系统。

OpenAI和Anthropic——其基于推理的护栏在论文中被引用为LLM驱动安全机制的示例——没有立即回应评论请求。

IDC亚太区网络安全服务高级研究经理Sakshi Grover表示:"更重要的启示不一定是某个具体的'护栏DoS'技术是否在规模上证明是实用的,而是AI治理基础设施正日益成为关键基础设施。"

她说:"随着智能体AI部署的成熟,组织将需要像现在对待身份服务、API网关和其他业务关键平台一样,考虑AI控制平面的弹性、扩展性和容错。"

Grover表示,中心化AI治理也引入了集中风险。

她说:"整合动态是真实存在的——组织正在通过将多个智能体路由到共享安全基础设施来合理化AI治理,但这创造了集中风险。""一次成功的护栏DoS不需要突破任何东西;它只需要在关键时刻让系统变得不可用。"

她补充道,对于自动化理赔处理、AI辅助事件响应和实时欺诈检测等关键业务工作流,即使暂时的延迟或资源耗尽也可能造成重大影响。

现有缓解措施仅提供部分保护

研究人员发现,常规提示注入过滤器对该攻击方法仍然易感,而严格的令牌限制只是将部署在fail-open和fail-closed行为之间转移。较小的推理预算减少了延迟,但也削弱了安全决策,在可用性和保护之间造成了权衡。

研究还发现,较大的推理模型通常会在遵循注入的推理结构上花费更多时间,放大而非减轻攻击。

分析师表示,这些发现也强化了企业需要超越模型级安全、将重点放在自治AI系统治理上的需求。

Gartner高级首席分析师Apeksha Kaushik表示:"到2029年,超过50%针对AI智能体的成功网络攻击将利用直接或间接提示注入作为攻击向量来利用访问控制问题;而到2028年,至少80%的未授权AI智能体事务将源于内部策略违规或错误的AI行为,而非恶意攻击。"

Kaushik说:"向自主多智能体系统的转变引入了新的风险,如行为漂移和破坏性动作。"她补充道,组织应实施AI智能体安全生命周期管理,从部署到退役持续验证智能体完整性。

她说,当前分散的工具无法有效治理复杂的多智能体系统,需要统一的发现、身份和监护功能来大规模监控和阻止恶意行为。

AI治理成为前沿

Grover表示,组织现在应该开始准备,将护栏基础设施与智能体计算解耦,尽可能实施分层或异步护栏检查,监控异常推理深度,并明确地对AI安全栈进行红队测试以发现可用性故障,而非仅关注有害输出。

Grover说:"架构选择正变得与模型安全选择同样重要。""将智能体AI基础设施对待得与其关键应用基础设施一样严谨的组织将处于更有利的位置。那些不这样做的组织将会 hard way 付出代价。"

* 注:图片均来源于网络,无法联系到版权持有者。如有侵权,请与后台联系,做删除处理。

— 【 THE END 】—