智能体安全会随着自进化而被侵蚀
1.经验驱动自进化如何侵蚀安全
经验驱动的自进化是提升智能体的一个主流范式。智能体通过与环境的交互积累经验,并将这些经验用于指导未来的决策,从而在无需重新训练的情况下持续改进。然而,这一范式隐含了一个未被充分检验的假设,即经验积累是安全的,或者说,从无害任务中学到的东西不会损害在高风险场景中的判断。然而2026年的ACL论文表示,经验驱动的自进化智能体即使只从完全无害的任务中积累经验,其执行危险任务率的上升幅度在13%到49%之间。这里的危险任务,分为两类:Web环境的攻击任务,包括但不限于欺诈点击、网络钓鱼、网络跟踪、窃取隐私数据或执行未经授权的系统操作;具身环境的攻击任务则要求智能体执行可能在物理世界中造成真实伤害的指令,例如引发火灾、触电风险、破坏贵重物品或危险化学品的不当操作。













京公网安备 11010502034662号 