创新竞逐,获评一等奖!深信服保护AI展现创新实力

互联网
2026
09/16
10:07
分享
评论

在国家网络安全宣传周期间举行的2026年中国网络安全创新创业大赛总决赛现场,深信服保护AI解决方案凭借在AI安全治理上的创新探索与实践,获评一等奖。大赛由中国网络安全产业联盟(CCIA)、教育部高等学校网络空间安全专业教学指导委员会联合主办。

今年进入复赛的安全方案中,超过半数涉及智能体安全,赛事检验的也不只是一个创新理念:参评方案须已实际部署应用,并具备技术先进、模式创新等特点,让创新接受真实应用的检验。在这样一场兼顾创新与应用的同台竞逐中,这份一等奖更显分量。

2026年中国网络安全创新创业大赛总决赛现场

企业把更多工作交给AI,需要的不只是效率提升,还要在关键时刻看得清、管得住。保护AI解决方案围绕这一需求,将大模型内容安全与智能体的身份、权限、行动治理纳入整体方案

真正的考验,常常藏在智能体即将执行的下一步动作里:让它整理内部资料,它却准备外传原始文件;让它排查系统故障,它却计划修改生产配置——任务还在继续,行动却已经偏离初衷。

智能体走进业务,企业如何放心用AI?围绕这一问题,在本届网安周的人工智能安全治理分论坛上,深信服AI安全规划总经理云瀚以《智能体安全探索与实践》为题,分享了保护AI在智能体场景中的治理思考与实践:从上线前的风险评估、身份授权,到运行过程中的意图识别与控制,让安全贯穿智能体的工作过程。

深信服AI安全规划总经理云瀚分享《智能体安全探索与实践》

业务越深入、决策越自主,安全风险如何变化?

当智能体开始读取业务数据、调用生产运维工具,它的判断便可能直接影响业务运行。有害输出、敏感信息泄露等风险依然存在,错误决策还可能通过工具调用,引发数据篡改、业务中断。接入的系统和业务链路越多,风险波及的范围也可能越广。

而这些后果,可能起于一次看似正常的信息读取。一份被污染的知识库文档、一条夹带恶意指令的工具返回信息,都可能让智能体偏离原本的任务。攻击者未必需要直接入侵业务系统,也可能通过影响智能体的判断,诱导它借助已有权限执行有害操作(AI Security)。

随着智能体具备自主决策能力,有害行为的成因也变得更加复杂。即使没有外部攻击,智能体也可能因理解偏差、规划失误或设计缺陷造成业务损害(AI Safety);这些缺陷又可能被攻击者利用,使外部影响与自身失控交织在同一条执行链路中。

面对这些变化,云瀚在分享中指出,企业需要通过同一套治理与控制机制统筹应对AI Security与AI Safety,让智能体的决策和行动受到任务目标、权限边界与业务规则的约束。

这也意味着,企业面对的已经不只是一个生成内容的工具,而是一名能够读取数据、调用工具、自主执行任务的“数字员工”。云瀚在分享中将相应的治理路径概括为「数字员工的治理&防护旅程」:像管理员工一样治理智能体,把准入评估、身份确权、权限管理、内容防护、行为监测和溯源处置贯穿其工作过程。

保护AI治理的本质,是在智能体的自主性与企业的安全性之间建立平衡,让这些「数字员工」既能发挥能力,也能受到清晰、持续的管理。

将安全治理贯穿智能体的准入、授权、运行与持续运营

对「数字员工」的管理,不能止于配好权限。权限回答了“它有权做什么”,业务安全还要回答“在当前任务与业务环境中,这一步该不该做”。

权限已经配好,但当智能体“有权做”却“不该做”时,企业能否在损失发生前及时发现并介入?

回答这个问题,既要在上线前评估风险、明确身份与权限,也要在运行过程中识别意图偏离,并根据风险及时介入。

上线之前,先评估风险、明确身份与权限

一名「数字员工」能否上岗、由谁负责、可以做什么,需要在上线前明确。

智能体风险评估:AI Red Team

通过自动化红队测试,模拟多轮交互中的攻击与诱导,观察智能体是否偏离预定任务、风险在什么条件下触发;同时检查其挂载的Skills等组件,识别危险执行、异常外联和敏感数据外泄风险,形成可定位、可解释、可复现的证据,为上线与整改提供依据。

构建智能体“数字身份证”

统一的Agent ID将创建者、所属部门与任务类型、工具清单及安全属性关联起来,让不同智能体实例对应到具体责任人。就像员工有明确的身份和职责,“数字员工”的授权、行为分析与审计追溯,也需要有据可查。

事前治理:智能体分类分级策略

结合业务角色、实际能力、自主程度、数据敏感度和影响范围,对智能体进行分类分级,确定与风险相匹配的管控要求。修改生产配置、接触敏感数据、输出高影响建议,需要根据各自的业务影响设置相应约束。

事前治理:智能体能力基线检查

在分类分级的基础上,进一步明确具体动作的边界:哪些数据可以读取或写入,能否向外发送信息,哪些行为需要人工审批,是否允许委托其他智能体执行任务。从“它能做什么”到“企业允许它做什么”,需要有清晰、可执行的边界。

针对不同分类的智能体,设置相应的权限和审批要求

运行之中,识别意图偏离,及时介入控制

上线前确定的是智能体进入业务的初始边界。进入真实任务后,它会不断接收新信息、调用工具并调整执行路径,治理也需要跟随任务过程持续进行。

事中治理:智能体意图偏离与风险监测

判断智能体的下一步行动,需要先还原任务背景:谁发起了任务,目标是什么,智能体依据哪些信息作出判断,准备调用什么工具,又将影响哪些对象。意图识别厘清任务的目标与约束,意图偏离判断则进一步核对智能体的行动是否与之相符。

以整理内部资料为例,任务只要求形成内部摘要,智能体却准备外传原始文件。此时,需要结合文件敏感性、接收方及任务授权,判断这一动作是否应当执行,并结合上下文识别可能的外部诱导或自身理解、规划偏差。

事中治理:智能体风险裁决矩阵

判断要落实为控制动作:需要补充信息时,提示或调整;需要人工判断时,进入审批;明确违反策略或可能造成严重后果时,则应阻断,必要时熔断任务。云瀚在分享中介绍了风险裁决矩阵,将风险行为与影响等级结合,让管控强度与业务风险相匹配。

从识别意图、判断偏离到介入处置,治理的目标是让智能体始终处于组织和人的控制之下,防止错误决策演变为失控行动。行为记录与处置依据还需关联到身份和责任人,用于调查追溯、权限收敛和策略优化。

结合任务、上下文与行为影响,判断并控制智能体的下一步行动

以攻防积累与安全模型,支撑AI治理创新

识别隐藏在正常任务中的恶意意图,判断一次操作是否偏离业务目标,需要对攻击手法、任务上下文和业务规则有深入理解。在深信服看来,无论治理大模型还是智能体,都必须以基于红队攻击数据训练的垂域安全大模型作为核心技术支撑。

这条技术路线,需要同时跨过数据与模型两道门槛。

用实战数据打牢基础。深信服20多年的红队攻防、渗透测试与漏洞研究,积累了丰富的实战样本与研究经验,让安全模型能够学习不同攻击手法与恶意意图的伪装方式。

用专业研发把经验转化为能力。由计算机博士与资深攻防专家领衔的核心团队,持续通过算法调优与工程实践,让安全模型兼顾检出能力、误报控制和响应效率。200余人的专职AI安全研发团队与上千块高性能GPU组成的算力集群,支撑模型训练和持续迭代。

沿着「AI保护AI」的技术思路,深信服将攻防与模型能力用于风险评估、意图识别和行为分析,并结合规则、业务知识与人工研判,衔接身份、权限、行动控制和审计,让风险能够被发现、被判断,也能得到及时处置。

从大模型安全防护到智能体应用治理,深信服保护AI持续把创新落到企业使用AI的实际需求中。让「数字员工」承担更多有价值的工作,让关键决策和行动始终有边界、有监督。让AI可见、可控、可管,助用户安全放心用AI。

持续承载用户的数字化及AI业务创新,深信服提供通智算承载、算力调度优化、AI应用构建及全流程安全防护,为各行业用户夯实数字底座、赋能智能进阶。致力于让每个用户的数智化更简单、更安全。

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

相关推荐

1
3