“当前，可用于预训练大模型的公开数据几乎已经用尽了。人类生成数据的速度远远没有机器能够消化这些数据的速度快。”12月22日，香港科技大学荣休教授，加拿大皇家学院院士、加拿大工程院院士杨强在中国财富管理50人论坛2024年会“AI浪潮下的金融业应变”主题论坛上表示，预训练将会终结，新的方向还在探索。

　　杨强预测，2028年将是关键之年。他展示的数据库存规模与数据消耗规模的曲线图显示，两条曲线将于2028年相交。这意味着2028年可用于大模型训练的公域数据将用尽。

　　当公域数据用尽之后，还未用于大模型训练的私域数据则面临隐私安全问题。

　　“人类在使用大模型的时候，会暴露隐私，尤其是在金融业。”杨强指出，在大模型使用过程中，需要用到企业的内部数据，隐私保护成了大模型应用中的关键问题。

　　杨强指出，金融界有很多需求，机构的数据远远不够，需要把不同机构的数据合并起来。但是合并的时候，又有这样的顾虑，就是隐私安全。

　　事实上，科学界对大模型发展路径已有探讨。杨强总结道，一是大模型创造的智能体，要建立大量的垂域专家，做到能学习、沟通。二是该智能体要能推理，根据已经学的知识思考未来。三是该智能体有理解能力、有同理心，能理解人类。四是该智能体应该产生自我意识。

　　“智能体第一个重要能力是推理和组合，能够使用资源。第二个重要能力是人造数据的产生。”杨强进一步指出，所谓人造数据是指智能机器人等创造出来的数据。人们通过模拟器去训练模型之后，模型再适配到现实的场景产生数据。这样所产生的数据，对机构的训练模型同样非常有用。

　　此外，杨强指出，如何让大模型落地到私域的机构，在本地建立小模型，能够通过各种新的人工智能技术，包括这里所说的联邦学习和迁移学习，把大型通用能力赋予到小模型，能够让小模型的专业能力教会大模型是当前需要做的事情。这需要强化大模型的迁移学习能力和联邦学习能力。有了这些能力，叠加模拟和生成数据的能力，就可以训练具有智能的机器人。

（文章来源：新京报）