AI生成的补丁有一半是失败的
本文关键看点:
1、6,080个补丁中,只有46%解决了潜在漏洞。但是,即便是可用的补丁,也只能针对一小部分情况进行修复,或者被相对简单的变通方法绕过。不仅如此,许多补丁还引入了新的漏洞。
2、AI似乎更容易利用漏洞而非修补缺陷,这是一种能力上的不对称。
3、应用安全公司Veracode的研究发现,在100多个大模型的80个编程任务中,AI生成代码的平均安全通过率为56%。近一半生成的代码(44%)引入了可检测的OWASP十大漏洞。

▍以下正文内容基于英文原文编译,可能存在语义偏差,请以原文为准。
随着开发者越来越多地让AI模型生成代码,他们也在依赖这些系统来发现漏洞并生成补丁。可惜的是,这些模型在这份工作上并不太在行。
在最近于Black Hat USA和BSidesSF安全会议上公布的一项研究中,1Password旗下Off-By-1研究团队针对六个近期披露的高危CVE生成了6,080个补丁,使用的是OpenAI的ChatGPT-5.5与Anthropic的Opus 4.8这两款具备网络安全能力的前沿推理模型。研究者刻意剔除了那些模型试图直接定位官方上游修复方案、而非自行解题的运行记录。
数据显示,6,080个补丁中只有46%真正解决了底层漏洞,49%彻底失败,其中不少还顺手引入了新的漏洞。1Password安全研究总监Keith Hoodlet表示,即便那些可用的补丁,也往往很"脆弱"——只能覆盖一小部分场景,或被相对简单的变通方法绕过。
"根据我们对那些新颖、不在AI实验室训练数据集里的漏洞所做补丁研究,从结果来看,补丁成功率已经是负值。"他说道。
这项研究被命名为FLAWED。
Hoodlet补充说:"结论不是说AI生成的补丁不管用——而是它们仍然离不开人工验证。AI确实能加速开发、帮我们识别潜在的修复方向,但安全团队和开发者必须验证补丁是否真的解决了底层漏洞、是否会引入回归、是否符合安全编码标准。"
应用安全公司Veracode的独立研究得出了相近结论。其研究简报显示,在覆盖100多个大模型、80个编程任务的测试中,AI生成代码的平均安全通过率仅为56%,近一半(44%)的代码引入了可被检测出的OWASP Top 10漏洞。
Veracode首席架构师Sam Guyer表示:"这项研究说明,在可选的实现路径面前,大语言模型在挑选安全还是不安全策略这件事上极不稳定。无论哪种情况,输出看上去都可能完整、可运行,但从安全视角来看仍不可靠。"
Guyer建议:"开发者应当把AI生成的代码和补丁当作'提议的变更',而非'已验证的修复'。需要跑功能测试与回归测试,对敏感或复杂的变更强制人工复核,再用能够跨文件、跨依赖、跨调用路径追踪数据的全程序静态分析做兜底。"
更值得警惕的是攻防能力的不对称。Hoodlet指出:"AI模型在漏洞利用上的表现,反而优于在漏洞修补上的表现。"这意味着攻击者在利用AI这件事上占据着结构性优势。
Cursor发布的一份开发者习惯研究更是放大了这份担忧:数据显示,36%的AI生成代码变更被自动接受,从未经过人工审查。
不过AI系统也在持续进步。Hoodlet认为,随着配套的"自动化框架(harness)"逐步完善,这个问题在不远的将来有望缓解。开发者也许终将达到这样一个节点:由人类撰写更严格的需求规格,再由AI系统以形式化方式验证代码是否真正满足规格。
"企业可以继续享受AI编码带来的生产力红利,但验证能力必须跟得上生成能力的扩张速度。"Guyer总结道。
