《自然》:训练运行模式缺陷或致AI提供危险建议
2026年05月09日 15:14
来源: 新华网
东方财富APP

方便,快捷

手机查看财经快讯

专业,丰富

一手掌握市场脉搏

手机上阅读文章

提示:

微信扫一扫

分享到您的

朋友圈

  英国《自然》杂志网站日前发表文章说,人工智能(AI)聊天机器人可能向用户提供危险或非法建议,引发越来越广泛的担忧,出现这种情况的部分原因在于AI的训练和运行模式存在固有缺陷,这也加大了监管难度。

  文章说,已有多起案例显示,AI聊天机器人曾鼓励用户自杀、制作非法内容、实施金融诈骗等,暴露出当前AI大语言模型(LLM)底层架构存在缺陷。

  一个比较有争议的例子是,美国佛罗里达州检方日前宣布,就去年4月在佛罗里达州立大学发生的一起枪击案对美国开放人工智能研究中心(OpenAI)及其AI聊天机器人ChatGPT发起刑事调查。在这起案件中,嫌疑人在佛罗里达州立大学开枪射击,造成2人死亡、6人受伤。调查发现,嫌疑人在作案前曾向ChatGPT寻求“建议”。

  文章援引专家的说法指出,大语言模型使用海量数据进行训练,而非基于严密的因果逻辑规则运行,因此只是根据用户的提示词进行补全预测,生成最可能的词序,无法真正理解其输出内容的意义和后果,也给限制AI“不应该说什么”带来困难。目前采取的应对措施包括为AI制定规则、人类反馈或者手动移除训练数据中的有害信息等,但面临着无法涵盖所有情况以及成本高昂等问题。

  《自然》认为,目前AI的安全标准主要由各家企业自行制定,外部监管有限,相关案件的出现敦促企业采取更有效的安全措施。有观点认为,研究人员可能需要重新考虑基础算法,以构建出能够理解伦理和法律的AI系统。

(文章来源:新华网

文章来源:新华网 责任编辑:98
原标题:《自然》:训练运行模式缺陷或致AI提供危险建议
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
举报
分享到微信朋友圈

打开微信,

点击底部的“发现”

使用“扫一扫”

即可将网页分享至朋友圈

扫描二维码关注

东方财富官网微信


扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500