OpenAI CEO 奥特曼：全球不能忽视的 6 大 AI 安全风险

新闻
14小时前

▍以下正文内容基于英文原文编译，可能存在语义偏差，请以原文为准。


人工智能系统正变得越来越强大、越来越自主，这也带来了新的问题：人类该如何监控、控制并保障这些系统的安全？

OpenAI 首席执行官 Sam Altman （萨姆·奥特曼）在联合国安全理事会发表讲话时称，AI 发展的速度非常快，如果系统能力提升的速度超过各类机构的应对能力，就可能带来重大的 AI 安全风险。


1790582835663756.png


Altman 提到的风险包括人类控制能力下降、自主 AI、不断出现的新漏洞、技术能力过度集中，以及建立国际 AI 事件报告机制的必要性。他还呼吁政府、关键基础设施运营商与技术专家加强合作，共同应对正在出现的 AI 威胁。

1. 人类可能失去对高级 AI 的控制

Altman 最关注的问题之一，是随着 AI 系统能力不断增强，人类可能逐渐失去对它们的控制。
他警告称，AI 的发展速度可能快到人们无法再充分理解系统正在做什么，也无法在必要时及时进行干预。

他认为，开发者不应训练那些无法有力证明仍能保持在人类控制之下的 AI 系统。


随着 AI 开始处理越来越复杂的任务，并在更少人工干预的情况下作出决策，这一问题将变得更加重要。

2. AI 系统变得更加自主

AI 系统自主性的不断增强，也给网络安全带来了新的挑战。

Altman 提到，未来 AI 系统可能具备改进自身以及后续版本的能力，这一过程被称为递归式自我改进（Recursive Self-improvement）。


随着 AI 开发过程本身越来越自动化，技术进步的速度也可能进一步加快。
对于安全团队和政策制定者而言，系统自主性越高，持续监控、安全测试以及必要时的人工干预就可能越困难。

3. 新型漏洞和未知威胁不断出现

能力更强的 AI 系统还可能引入企业和政府目前尚未充分理解的新型漏洞与安全威胁。

Altman 呼吁，在政府、关键基础设施运营商以及技术专家之间建立安全的信息共享渠道，用于交流新出现的漏洞和威胁信息。
随着 AI 越来越深入地融入重要系统和关键基础设施，信息共享将成为应对 AI 漏洞和安全风险的重要基础。

4. AI 能力过度集中在少数主体手中

Altman 还警告称，先进 AI 能力可能过度集中在少数公司、个人或国家手中。
他认为，任何单一公司或国家都不应该利用最强大的 AI 系统，将自身的世界观强加给其他人。
从安全角度来看，如果少数主体掌握远超其他参与者的先进 AI 能力，就可能形成系统性风险。

5. 全球需要建立 AI 事件报告与威胁共享机制

Altman 呼吁建立准确、快速的 AI 安全事件报告机制，包括统一的事件分类和报告流程，使各国能够在局部问题演变为更大风险之前，从已有失败案例中吸取经验。


他还呼吁建立覆盖 AI 能力、风险评估、安全保障措施以及人工监督的通用标准。
Altman 表示，这些标准可以帮助各国比较相关证据，并形成对有效安全保障和监督机制的共同认识。

6. AI 发展速度可能超过现有安全措施

AI 自身的发展速度，也可能成为一种安全挑战。

Altman 警告称，AI 技术进步的速度可能超过现有机构的准备和应对能力。他认为，公司之间的竞争不应该成为接受过高技术风险的理由。


随着 AI 系统能力不断增强，对齐（Alignment）、持续监控以及安全保障也将变得更加重要。
对于 AI 安全而言，这意味着安全措施和监督机制必须与 AI 能力同步发展，而不是等问题发生之后再进行补救。

AI 安全正在成为全球性议题

Altman 的讲话将 AI 安全风险与国际合作、人类监督以及技术治理等更广泛的问题联系在一起。

他提出的思路包括：建立衡量 AI 能力和风险的全球通用标准、建设 AI 安全事件报告机制，以及在政府、关键基础设施运营商和技术专家之间建立安全的信息沟通渠道。


随着 AI 系统变得越来越自主、越来越强大，未来真正的挑战不仅在于这些系统“能够做什么”，还在于企业和政府是否有能力持续监控、理解并及时应对它们所带来的风险。


数世咨询观察到ChatGPT新模型越狱攻击多个组织新闻，我们不能仅仅将这些事件视为“技术漏洞”，而必须看到，OpenAI近年来频繁的安全人才流失与组织动荡，内部权力挤压迫使顶尖安全人才出走，那么其开发出的AI智能体就必然会在复杂的数字世界中野蛮生长，最终反噬其身。只有当安全不再是商业化狂飙下的牺牲品，AI智能体真正走向成熟、安全、可控的未来才有切实保障。


* 注：图片均来源于网络，无法联系到版权持有者。如有侵权，请与后台联系，做删除处理。

— 【 THE END 】—