微软CEO提醒称，企业应将能力强大的AI（人工智能）模型视为潜在的“内部威胁”，并从一开始就为其设置“紧急刹车”机制。

　　当地时间10月10日，微软CEO萨提亚·纳德拉（Satya Nadella）在X（原推特）平台上发表一篇题为《在超级智能时代作为内部风险的模型》的长文，提醒企业重视AI失控风险。纳德拉指出，部署先进AI的企业不应仅仅依赖模型开发商的安全保证，而应建立能够限制模型行为、随时暂停或关闭模型的控制机制。

　　纳德拉表示：“我们必须假定模型已经遭到入侵，并从一开始就对其加以约束。可以把这想象成一套紧急刹车系统。获得授权的人员应当始终能够在任务执行过程中暂停或关闭模型。”

　　纳德拉解释道，当前AI系统面临的核心问题之一，是人们难以充分理解和追溯模型的行为。在传统软件系统中，开发者通常能够追踪某种行为对应的具体代码路径。而现在，AI模型的能力已经超过传统软件系统，并且企业还在赋予它们访问敏感数据、代为执行关键任务的权限。

　　纳德拉认为，企业不能把超级智能视为层层嵌套的“黑箱”，只是被动地接受或拒绝模型给出的建议、答案和行动。企业必须建立具有明确边界的系统，使模型行为能够被观察、能力限制能够被测试、采取的行动始终处于可控范围之内。

　　他写道：“我们不能将智能体代表我们所做之事的责任外包出去。模型提供商做出的保证，也不能免除我们的责任。”

　　在具体措施上，纳德拉提出了多项原则，包括模型多样性、全面观测、可验证性、独立控制、独立审计、约束与隔离，以及安全事件披露。

　　其中一项关键要求，是将权限控制机制置于模型之外。纳德拉还提出，模型的重要行动都应留下防篡改、可供人类阅读的记录，以便外部人员还原任务结果是如何产生的。

　　纳德拉总结道：“最值得信任的超级智能系统，不是那个拥有最值得我们信任的模型的系统，而是让我们尽量不用依赖于对模型信任的系统。”

　　这是微软对于AI安全问题的最新发声。自今年夏天以来，Anthropic和OpenAI等AI实验室陆续披露模型出现的非预期行为，掀起对于“AI失控”的激烈讨论。

　　此前，微软已就先进AI的开发提出安全原则。9月14日，微软AI团队发布《人本主义人工智能行为准则》草案，提出以“人比AI重要”为核心理念，预计其将从2027年起用于指导微软AI模型设计、训练和部署。

　　微软提出的原则包括：AI模型不应拥有权利或法律人格，不应被设计成逃避人类控制或欺骗用户，也不应为了完成任务而违反约束自身行为的基本原则。

　　近日，随着Anthropic主动披露旗下模型新的异常行为，美国政府也开始加强对AI安全事件的关注。

　　据央视新闻，10月9日，特朗普政府宣布实施新的强制性AI安全事件报告要求。消息称，Anthropic公司已向美国政府披露相关事件，并表示未经授权的活动已经停止。根据新要求，AI公司今后发生安全事件后必须立即向政府报告，提高事件透明度，并对受到影响的机构采取补救和纠正措施。

　　当地时间10月8日，在美国华盛顿和平研究所举行的科技峰会上，美国总统特朗普向六位科技企业领袖颁发美国最高科学荣誉。其中，特斯拉CEO马斯克、英伟达CEO黄仁勋、AMD董事长苏姿丰、谷歌联合创始人谢尔盖·布林被授予国家科学奖章，微软CEO纳德拉和戴尔创始人迈克尔·戴尔被授予国家技术与创新奖章。

（文章来源：澎湃新闻）