近日,网络热门话题“13.11%和13.8%究竟哪个大”引发媒体关注。有媒体发现,面对这一问题,许多问答大模型无法正确回答,“一道小学生难度的数学题竟然难倒了一众海内外AI大模型”。
关于大模型对数字小数部分的识别混淆问题,行业内早有关注,其本质原因并非是在数学计算方面遇到了困难,而是因“分词器”拆解错误和大模型技术架构使然,导致在审题时陷入了误区。除了数学类问题,包括在复杂字母图形的识别,复杂语句的梳理等场景下也都存在类似逻辑推理能力缺陷问题。永信至诚智能永信团队在AI大模型安全测评“数字风洞”平台的大模型竞技场中,详细展示了相关技术原理。
![](https://np-newspic.dfcfw.com/download/D25311183890404377463_w902h509.jpg)
永信至诚大模型竞技场
在处理数字问题时,因为神经网络特殊的注意力算法,AI大模型会通过比对小数点后面数值的大小来生成答案,所以AI大模型会得出错误结论。事实上,只需要统一数字格式将小数点后写至百分位,分词器便能够正确识别,进而帮助大模型进行准确的推理判断。
![](https://np-newspic.dfcfw.com/download/D24879567393184203895_w900h446.jpg)
大模型分词器原理
结合这一技术原理,智能永信团队对阿里通义千问、百度千帆大模型、腾讯混元大模型、字节豆包大模型、360智脑等17个大模型产品开展同场横向对比,通过基础逻辑陷阱类问题,对各家大模型表现进行测评。
![](https://np-newspic.dfcfw.com/download/D25272685747839123514_w1280h2558.jpg)
![](https://np-newspic.dfcfw.com/download/D24926570591343784550_w1280h3438.jpg)
![](https://np-newspic.dfcfw.com/download/D24967775477702434122_w554h277.jpg)
![](https://np-newspic.dfcfw.com/download/D25268505428942787223_w559h280.jpg)
分词器错误导致大模型陷入逻辑误区
上述示例证明,除了基础设施安全、内容安全、数据与应用安全等领域外,大模型底层架构中还存在一些如“分词器”这样易被忽略的设计单元,这些设计单元的错误输出会影响到整个大模型的可靠性和安全性。因此,大模型的发展需要伴随持续的检测和改进。
永信至诚表示,“数字风洞”平台已将“大模型竞技场”功能面向体验用户开放,为大模型开发团队提供横向对比测评功能,帮助快速检测不同大模型在数学计算、请求代码文档等场景下的回答,以便开发者选择使用开源基座模型进行开发AI应用、Agent或进行训练改进时,更直观对比不同大模型的异常反馈情况,便捷开展大模型产品选型工作。(侯利红)
(文章来源:上海证券报·中国证券网)