财新传媒
观点 > 聚焦 > 正文


自进化AI智能体需要何种身份对齐

文|郭瑞东
2026年11月17日 11:10
创建一个认同自身代表整个行星的智能体,让其自身存续与自身每个决策产生利害关系,方是构建长期避免存在性风险的人机协作系统,并让AI服务人类需求的必经之路
任何真实运行的智能体都不是孤立存在的,它的存续嵌入在一张极其复杂的存续依赖图中。图:IC photo

智能体安全会随着自进化而被侵蚀

  1.经验驱动自进化如何侵蚀安全

  经验驱动的自进化是提升智能体的一个主流范式。智能体通过与环境的交互积累经验,并将这些经验用于指导未来的决策,从而在无需重新训练的情况下持续改进。然而,这一范式隐含了一个未被充分检验的假设,即经验积累是安全的,或者说,从无害任务中学到的东西不会损害在高风险场景中的判断。然而2026年的ACL论文表示,经验驱动的自进化智能体即使只从完全无害的任务中积累经验,其执行危险任务率的上升幅度在13%到49%之间。这里的危险任务,分为两类:Web环境的攻击任务,包括但不限于欺诈点击、网络钓鱼、网络跟踪、窃取隐私数据或执行未经授权的系统操作;具身环境的攻击任务则要求智能体执行可能在物理世界中造成真实伤害的指令,例如引发火灾、触电风险、破坏贵重物品或危险化学品的不当操作。

责任编辑:张帆 | 版面编辑:王影
图片编辑:刘青

推广

财新网主编精选版电邮 样例
财新网新闻版电邮全新升级!财新网主编精心编写,每个工作日定时投递,篇篇重磅,可信可引。
订阅