360集团首席科学家潘剑锋：智能体重构安全范式，治理须驾驭不确定性

　　近日，在ISC.AI 2026(第十四届互联网安全大会)上，360集团首席科学家、集团高级副总裁潘剑锋在接受《中国信息化周报》记者采访时直言，"缺乏AI研发实力的安全厂商，未来可能将逐步被市场淘汰。”这一判断的背后，是他对智能体安全本质的深层思考——当计算模式从"确定性"转向"不确定性"，传统安全逻辑已经走不通了。

　　网络安全风险进入不确定性时代

　　当大模型技术跨越基础训练阶段，全面迈向智能体落地的新周期，将彻底颠覆原有确定性的网络安全体系。自主决策带来行为不可预测、攻击手段自适应多变，算法、工具、交互多层风险随机叠加，安全边界持续动态扩张，传统静态防御难以捕捉无固定路径的智能攻击，网络安全不确定性全面凸显。

　　对此，潘剑锋基于底层计算逻辑的变化进行了解释。他表示，计算机诞生之初，本质是确定性工具：人类将现实世界中具备不确定性的复杂场景抽象建模，转化为固定逻辑代码，交由计算机执行运算，传统程序运行路径、输出结果具备唯一性，无法自主处理概率性、模糊化任务。大模型与智能体的诞生彻底改变了底层计算逻辑：智能体可直接处理现实世界的不确定性问题，无需人类提前完成标准化建模，自主完成复杂模糊任务、具备内容生成与自主推理能力。

　　“计算模式从‘确定性’转向‘不确定性’，直接带动网络安全风险同步进入不确定时代，这也是AI时代网络安全风险与传统安全风险最核心的区别。”潘剑锋如此说道。

　　进一步来看，这种不确定性又分为“意图不确定性”与“幻觉不确定性”。在潘剑锋看来，两类风险可按照内外维度划分，意图不确定性属于外部攻击者带来的风险，幻觉不确定性属于模型自身运行产生的内生缺陷。

　　在意图不确定性层面，攻击者可将恶意指令、攻击意图隐藏在隐喻、童话、复杂文本等载体中，绕过模型安全对齐机制与企业安全检测策略。例如，模型经过安全约束后会拒绝回答危险制造类问题，但攻击者通过隐喻式对话隐藏攻击诉求，人工审核难以识别隐藏意图，模型却可完整解析指令并执行，完成提示注入、安全围栏绕过等攻击行为，此类风险根源在于攻击意图解读标准不统一，具备极强不确定性。

　　在幻觉不确定性层面，大模型原生存在幻觉问题，经过多轮推理、多智能体交互后幻觉风险会持续放大。潘剑锋指出，在将这种“行为”延伸至企业安全场景后，智能体执行渗透、数据查询、权限调度等任务时，幻觉会导致操作偏离指令，引发数据泄露、越权访问等安全事故。

　　构建智能体安全三层防线

　　面对大模型时代所带来的不确定性，360提出了智能体安全治理的整体思路：在输入层识别恶意意图，在推理层减少幻觉和错误判断，在执行层限制智能体的行动边界。

　　在输入层，360通过恶意意图识别引擎，识别隐藏在用户输入、系统提示、工具返回中的攻击意图，防止智能体被诱导、越狱或劫持任务目标，其解决的核心思路是“以模治模”。

　　“如今，模型训练的核心竞争力已从早期算力、模型结构转向高质量训练数据。360透过长期的行业实践，积累了丰富的搜索、安全攻防及监管合规等多类数据，不仅形成了一般安全厂商不具备的核心优势，也为打造意图检测模型构建了核心壁垒。”潘剑锋如此说道。

　　在推理层，360通过自研的世界认知模型，为大模型提供理解世界内在机制、预测未来状态、辅助决策的“认知锚点”，约束和引导大语言模型的推理过程，从根源上抑制大语言模型的幻觉。

　　在执行层，环境孪生沙箱则为智能体划定安全的行动半径，对工具调用、数据访问和系统操作进行监控，出现异常时及时拦截和回滚。

　　潘剑锋表示，沙箱并非新兴技术，360十余年前已布局客户端、云端多类型沙箱产品。"隔离能力各家都差不多，真正的难点在于——智能体要完成任务，必须访问各种资源，你隔离得太彻底，它什么都干不了;隔离得不够，风险又管不住。"他表示，360沙箱的核心突破在于，在安全隔离的前提下，让智能体仍能正常调用业务数据和自有工具，实现"安全上分隔、使用上一致"，这是通用沙箱产品难以做到的。

(本文不涉密)
责任编辑：路沙

转载：感谢您对网站平台的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人站长或者朋友圈，但转载请说明文章出处。