奇安信安全专家黄巍：“用AI治理AI”是必然方向丨2025世界互联网大会
红星资本局11月8日消息 2025年世界互联网大会乌镇峰会期间，奇安信（688561.SH）安全专家黄巍接受红星资本局采访时表示，人工智能时代到来，AI全面应用的同时也会带来新的网络安全风险。
黄巍认为，新型攻击主要发生在三个阶段。第一，训练阶段的数据投毒：攻击者向模型的训练数据中注入恶意样本，导致模型性能下降、质量退化。第二，服务阶段的滥用与中断：通过身份滥用、DDoS攻击等手段攻击提供服务的模型，导致模型服务不可用或性能大幅下降。第三，应用阶段的提示词攻击：使用非常隐蔽的恶意提示词，混淆在用户正常问题中，造成算力消耗、内容诱导。
随着AI成为千行百业中不可或缺的基础工具，未来可能存在的最大潜在风险，是难以区分真实和虚幻，所以也需要“用AI治理AI”。未来AI的发展趋势可能是各行各业全面拥抱AI，同时开始规范和治理AI，采购相关的产品与服务来“反制”AI带来的问题。
另一方面，黄巍指出，虽然“用AI治理AI”是必然方向，但过程中也可能出现幻觉或“杜撰”。例如用AI对软件、程序等进行测试，AI为了完成人类设定的KPI，可能会凭空捏造问题来凑数，因此也需要人工进行二次校对。
（文章来源：红星资本局）
