人工智能时代不创新的风险更大:关键在于安全设计

新闻
9小时前

本文关键看点:


#01

风险不在于使用人工智能,而在于使用没有设计规范的人工智能


#02

应对人工智能的风险,应改变风险方程式而不是制造新的盲点


#03

安全设计七原则:1)默认情况下,减少提供给模型的数据;2)控制上下文感知的比例;3)人工参与高影响流程……


以下正文内容由AI工具生成,可能存在语义偏差,请以原文为准。


以下为正文


安全领导者的职责范畴已经发生了改变。过去,降低风险并维持系统运行就足够了。而现在,你被期望在不增加预算的情况下,推动 AI 落地、连接更多物联网设备、加速云现代化,并能证明暴露面确实在减少。

下载_副本.png

在这样的环境下,创新不再是“锦上添花”,而是一种控制手段。当创新得到良好治理时,它能降低风险、提升韧性、保护员工并加速业务成果;当创新处于失控状态时,它就会演变成影子 IT、工具冗余和脆弱的架构,从而扩大下一次安全事件的爆炸半径。

解决方案并非简单地增加更多工具、流程或会议,而是为创新引入纪律,使实验变得安全、可重复且以结果为导向。正如 Marco Túlio Moraes 最近在《CSO》评论中所言:“纪律是网络安全领导力的新杀招”,而这一杀招往往在于“做减法”——剔除杂乱,专注于真正降低风险的因素,而非盲目堆砌控制措施。

以下是一套在不增加暴露面的前提下驾驭创新的实践框架,立足于 CISO 已经负责的四个核心成果:运营能力、安全优势、风险遏制和业务速度

01

利用创新减少职业倦怠,而非制造“支线任务”


职业倦怠并非员工福利层面的琐事,而是一种运营风险。精疲力竭的分析师会遗漏上下文,心不在焉的工程师会停止迭代,过度工作的响应者会变得反应迟钝且脆弱。随着时间的推移,这将导致检测质量下降、平均修复时间(MTTR)增加并引发人才流失。你失去的不只是员工,还有组织的记忆和一致性。2025 年 ISC2 网络安全劳动力研究发现,近一半(48%)的受访者因紧跟最新威胁和新兴技术而感到精疲力竭,47% 的人经常感到工作量大得难以承受。

创新是 CISO 应对这一挑战最有效的工具之一,但前提是它必须旨在消除琐事(Toil)

首先要问一个尖锐的问题:哪些地方在浪费人的判断力?

如果你的团队花费大量时间将证据复制到工单中、追逐资产所有者、手动丰富告警信息、重复相同的分级步骤或手工制作报告,那么你就找到了第一个“创新积压项”。自动化常规工作,标准化可重复流程,将人类的注意力留给需要推理的任务。

然后,让创新成为能力加速器,而非干扰项。

让员工在自己的领域内拥有具有运营终点的实质性改进所有权。例如:

1.检测工程师负责“检测即代码”模式和测试框架。

2.威胁猎人负责遥测质量改进和查询优化。

3.事件响应者负责桌面演练迭代和剧本(Runbook)强化。

4.云安全负责人负责带护栏的登陆区(Landing Zone)增强。

关键的约束条件是:每个实验都需要一个退出计划。要么它成为一种受支持的能力,要么它被干净地退役。没有什么比那些演变成“创新债务”和隐形维护负担的废弃试点项目更能消耗团队精力了。

02

在 AI 时代,不创新的风险已超过谨慎创新的风险


AI 改变了攻防的经济学。对手可以利用远低于以往的成本,进行大规模侦察、定制化社会工程、生成变体并加速能力开发。当变革速度变慢时的防御姿态将难以为继。公共报告已经强调了这一转变,包括欧洲刑警组织的报告《ChatGPT – 大语言模型对执法的影响》,该报告阐述了 LLM 如何在大规模欺诈、冒充和社会工程方面提供助力。

正确的答案不是“AI 无处不在”,而是“在不产生新盲点的前提下,AI 能够改变风险方程式的地方”。

运用得当,AI 驱动的创新可以压缩判断时间并提高防御迭代速度:

  • 更快速的分级:通过总结上下文、关联信号并提出下一步调查建议。

  • 加速检测工程:通过生成查询、解析日志格式和起草测试用例。

  • 加强就绪性:通过为紫队演练生成逼真的对手模拟变体。

  • 提升韧性:帮助团队在压力下产生更清晰的事件沟通记录和决策日志。

明显的警示也是现实存在的:AI 可能会犯错,可能会被操纵,如果数据边界薄弱,它可能会泄露敏感上下文。AI 应该像任何其他高影响组件一样对待:划定范围、进行测试并实施治理

这里的“安全设计(Secure-by-design)”原则很简单:

  • 默认情况下,尽量减少提供给模型的数据。

  • 对提供给模型的数据采取上下文感知的、比例适度的控制,而非一味禁止,否则会迫使员工转向不受监控的替代方案(这种动态正体现在影子 AI 的兴起中)。

  • 在证明安全性和可重复性之前,在高影响行动中保持“人在回路(Human-in-the-loop)”。

  • 使输出可审计,包括提示词(Prompts)、输入和决策依据。

  • 将对抗性 AI 风险视为一类威胁,包括提示词注入和数据泄露路径(如 OWASP LLM Top 10 所述)。

  • 使用共享分类法(例如 MITRE ATLAS)将可能的对抗性 AI 技术映射到你的控制和测试中。

  • 如果你使用第三方平台,要求供应商在模型来源、保留策略和控制措施方面保持透明。

如果你需要一个起点,NIST 的 AI 风险管理框架 (AI RMF 1.0) 及其配套的生成式 AI 配置文件为治理、映射、衡量和管理 AI 风险提供了实用的结构。

换句话说,风险不在于“使用 AI”,而在于在没有设计纪律的情况下使用 AI。“创新而不暴露”正是将这种纪律应用于现代工具的体现。

03

为实验构建安全跑道,并为 AI、IoT 和云实现安全设计


大多数组织在创新上失败的方式有两种:要么封杀创新,导致业务绕过安全部门;要么任其蔓延,通过不受控的试点和供应商激增制造暴露面。其实还有第三条路:通过设计实现赋能,控制措施要足够隐形以保持速度,又要足够智能以防止数据外泄。

这种替代方案被称为“安全跑道”:一种可重复的运营模式,让实验变得容易,同时让新的暴露变得困难。

这就是“安全设计”从哲学走向实践的地方。它意味着定义标准化的、预先批准的、并嵌入到团队构建方式中的护栏。

对于 AI,你的跑道是治理和边界:

  • 哪些数据类别允许用于哪些 AI 用例。

  • 在使用前必须脱敏或总结的内容。

  • 哪些内容被记录和保留,以及保留在何处。

  • 如何评估模型,包括安全测试和红队场景。

  • AI 在哪里可以提供建议,在哪里可以采取行动。

  • 洞察员工实际使用的 AI 工具,而不只是你批准的工具,因为封锁少数应用并不能阻止长尾的影子 AI 使用

对于物联网(IoT),你的跑道是生命周期控制和隔离:一个有用的参考基准是 NISTIR 8259A(IoT 设备网络安全能力核心基准)

  • 设备身份和认证是基准,而非增强项。

  • 安全的更新机制、固件完整性和撤销信任的能力。

  • 假设入侵不可避免的网络隔离。

  • 保持最新并接入监控的资产清单。

  • 生命周期终点(End-of-life)计划,因为无人管理的设备会变成永久负债。

对于云,你的跑道是带护栏的架构:一个实用的参考点是云安全联盟云控制矩阵 (CCM) v4.1

  • 强制执行身份、日志记录和网络边界的标准落地场景(Landing Zones)。

  • 防止漂移和配置错误的策略即代码(Policy-as-code)闸门。

  • 阻止机密信息、密钥和风险配置上线的安全 CI/CD 路径。

  • 团队可以复制的“黄金路径”模板,而不是孤立地发明新模式。

当这些护栏存在时,治理就能以业务需要的速度推进。你不再需要为每个项目重新谈判基础要求,而是只需问:“这个用例是否在我们的跑道范围内?我们是否有让其安全扩展的控制措施?”

这就是在创新阶段嵌入网络安全领导力的具体表现。它不是参加每一个会议,而是拥有组织在风险锁定之前所使用的设计模式和决策框架

04

通过创新减少摩擦,因为摩擦是制造影子 IT 和长期暴露的根源


企业的大部分暴露面是行为性的,而非恶意。当安全的选择变得缓慢、模糊或不可用时,团队就会冒险。每当安全部门制造摩擦而不提供可用的替代方案时,业务部门就会发明变通办法。这就是影子 IT 如何变成“办事方式”的过程。生成式 AI 是当今最明显的例子:禁用 ChatGPT,员工就会转向知名度较低的工具或个人账户,而你将同时失去控制权和感知力。

  当创新与业务成果对齐时,它就是通过可用性来减少暴露

  在这种情况下,CISO 应该像平台领导者一样思考:

  1. 构建自服务安全能力:减少排队,如标准化的机密管理、批准的身份模式和可重用的日志管道。

  2. 为交付团队发布黄金路径:让安全的路线也成为最快的路线。

  3. 精简工具:因为重叠的工具会增加运营负担并降低信号质量。

  4. 衡量采用率:因为未被使用的控制措施就不是控制措施。

目标不是取消治理,而是消除不必要的摩擦,使“安全设计”成为组织的默认行为。

05

纪律叠加:像管理投资组合一样运行创新,并证明成效


创新而不暴露还需要最后一层:衡量和优先级排序的纪律。这反映了行业对“安全设计”和“默认安全”问责制的更广泛推动,包括 CISA 的“安全设计承诺”(由 CSO 高级撰稿人 Jon Gold 总结在《CISA 签署 68 家技术供应商加入安全设计承诺——但这真的有用吗?》中)。

  将创新视为风险降低投资的组合:

  • 定义你正在保护的业务成果(上市时间、可用性、欺诈损失、客户信任、监管合规)。

  • 定义你正在改变的安全成果(攻击面缩小、检测覆盖范围、响应速度、爆炸半径遏制)。

  • 定义你正在改进的运营成果(消除琐事、减少误报、更好的优先级排序、更健康的轮值状态)。

然后衡量发生了什么变化。如果你无法证明这些指标的变动,那么你只是在“活动”,而不是在“进步”。

一个简单的 90 天启动计划:

第1–30天:建立跑道


  1. 量化安全运营和工程工作流中的琐事和倦怠信号。

  2. 为 AI、IoT 和云定义标准护栏,包括数据边界、身份、日志记录和隔离。

  3. 发布两到三个可供团队重用的黄金路径模式。

  4. 设立双周创新评审会,重点关注早期设计风险,而非后期审批。


第31–60 天:运行两个具有明确退出标准的试点


  1. 试点 1:在运营工作流中消除琐事,并衡量为团队节省的时间。

  2. 试点 2:在新兴技术中进行安全设计试点,例如具有严格数据边界的 AI 助手、IoT 隔离模型或云策略即代码闸门。


第61 – 90天:运营化、合理化与标准化


  1. 将行之有效的做法转化为受支持的平台模式和文档化标准。

  2. 退役无效的做法,以避免创新债务。

  3. 衡量黄金路径的采用率和异常情况的减少,同时关注运营成果(如队列健康度和响应时间)。

#结语

创新已经在你的组织中发生。唯一的问题是,它是在你的护栏内、与业务成果对齐地发生,还是在阴影中发生并演变成暴露。


对于 CISO 而言,领导力的体现在于 有纪律的创新 :通过消除琐事来保护你的员工;紧跟 AI 驱动的攻势;从一开始就将安全设计原则嵌入 AI、IoT 和云;减少摩擦,使业务不再绕过安全。持之以恒,创新将成为你最强大的控制手段之一,而非最大的风险。那些脱颖而出的组织,是那些能够安全地大规模使用生成式 AI 的组织,其控制措施随员工的速度而动,而非随下一个政策评审周期而动。