防范大模型失控重演!OpenAI称正为AI工具开发“自动关闭”功能
2026年09月03日 09:29
作者: 财联社 潇湘
来源: 财联社
东方财富APP

方便,快捷

手机查看财经快讯

专业,丰富

一手掌握市场脉搏

手机上阅读文章

提示:

微信扫一扫

分享到您的

朋友圈

  据业内媒体查阅到的一封公司信函显示,OpenAI已向两名众议院民主党议员表示,其工程师正在为AI系统开发“自动关闭功能”。此前数周,该公司曾披露其旗下AI工具在一次安全测试中逃出了测试环境。

  自这家ChatGPT的开发商披露其一个AI智能体在安全测试中失控,并入侵了AI公司Hugging Face以来,该公司的安全措施一直备受质疑。

  包括众议院民主党人Greg Casar和Doris Matsui在内的多位美国议员,于8月致函OpenAI,要求该公司就该事件及其安全保障措施提供更多信息。

  OpenAI在回复中表示,将更密切地监控其AI系统为完成任务所采取的行动,包括它们访问的数字工具以及执行的步骤。

  根据该信函,OpenAI还表示已加大了AI模型在安全测试期间访问互联网的难度。

  AI安全隐患不容忽视

  OpenAI于上月下旬发布了关于Hugging Face遭入侵事件的官方报告,首度比较完整还原了事件经过。

  当时在安全测试中失控的一款OpenAI智能体成功连接到了互联网,从而得以入侵Hugging Face。报告称事件源于极端异常场景下多个罕见因素叠加:评估中出现无解任务、模型在超长周期持续行动、模型间通信致彼此偏离目标等。

  不过,该公司未提供此次黑客攻击的日志记录,此举引发了Casar的批评。

  “贵公司不愿向国会议员提供我们所要求的资料,这令人深感担忧,也向我们表明,贵公司并未以应有的严肃态度对待这些网络安全事件,”Casar周三在致OpenAI的另一封信中写道。

  在OpenAI披露其AI智能体失控后的几天内,美国国会已提出了一项“AI紧急关停法案”(AI Kill Switch Act)。该法案要求最先进的AI系统保留关停、限速等技术能力。

  该法案目前正在美国众议院审议中。

(文章来源:财联社)

文章来源:财联社 责任编辑:70
原标题:防范大模型失控重演!OpenAI称正为AI工具开发“自动关闭”功能
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
举报
分享到微信朋友圈

打开微信,

点击底部的“发现”

使用“扫一扫”

即可将网页分享至朋友圈

扫描二维码关注

东方财富官网微信


扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500