应对 AI 新安全挑战,首份智能体安全白皮书发布

2025-07-31 10:26:04 来源:北晚在线
        【每日科技网】
应对 AI 新安全挑战,首份智能体安全白皮书发布

  随着人工智能(AI)技术的持续进阶,AI 领域正从大模型时代稳步迈向智能体时代。然而,智能体的越权、过度代理等问题,也随之带来了一系列安全挑战。在 7 月 29 日闭幕的世界人工智能大会 WAIC 期间,上海人工智能实验室、信通院、蚂蚁、IIFAA 联盟联合发布了《终端智能体安全 2025》白皮书。该白皮书首次系统梳理了智能体(AI Agent)风险分类,明确了如何发现风险以及如何防御风险,全面覆盖单智能体设备、多智能体协同,以及 AI 终端生态的各类挑战,为终端智能体安全提供了详尽的风险评估指南。

  在 AI 大模型加速下沉的 2025 年,智能体正迅速渗透进手机、眼镜、耳机、车机等各类终端设备,悄然成为连接人、设备与环境的关键纽带。生活、工业、医疗、教育等众多行业,正被一批更 “主动”、更具 “拟人化” 特征的终端智能体重新定义交互模式。它们既区别于传统意义上的智能终端,也并非完全在云端运行的智能体,而是一种运行在 “端侧” 的智能体。

  白皮书明确指出,随着模型对用户的理解愈发深入、操作愈发自动化,终端智能体的风险边界也在不断拓展:已不再仅仅局限于 “数据泄露” 问题,而是朝着模型行为、身份伪造、环境感知误导,甚至算法伦理等更深层次的问题蔓延。

  中国信通院华东分院人工智能事业部主任常永波介绍,在 AI 智能体有望成为 “下一代操作系统” 的当下,对安全设施进行梳理尤为必要。为有效应对这些高度复杂、层层递进的安全风险,白皮书提出了三大防护路径:单智能体安全、多智能体可信互连、AI 终端安全,期望能成为一份全面且具针对性、可供参考的智能体安全指引。

  白皮书首次提出终端智能体安全体系。在技术生态体系的有力支撑下,单智能体安全技术涵盖安全护栏、数据去毒、基座对齐和柔性管理;多智能体可信互连技术包括可信数据流转、可信服务流转、可信身份认证和可信记忆共享;AI 终端安全技术则包含可信隐私沙箱、跨设备可信连接等,共同为 AI/AR 眼镜、智能手机助手、智能座驾等行业应用提供支撑。

  数据显示,超过 70% 的智能体从业者对 AI 幻觉与错误决策、数据泄露等问题深感担忧。因为 AI 生成的内容往往存在事实错误,或者对指令产生误解。其中,超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。与白皮书发布同步,白皮书编制方之一蚂蚁集团的大模型安全解决方案 “蚁天鉴” 宣布升级,新增智能体安全评测工具,具备智能体对齐、mcp 安全扫描、智能体安全扫描及零信任防御等核心功能。据悉,“蚁天鉴” 的智能体风险研判准确率达到 96% 以上,并可支持 11 个行业的智能体测试。

免责声明:本文仅代表作者个人观点,与每日科技网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

宾利首款纯电车Torcal内饰曝光:手工切割水晶 豪华科技感爆棚

昨日,宾利汽车为即将推出的首款纯电动车型Torcal发布了全新预告视频,首次重点展示内饰设计。外观方面,Torcal采用全新的“悬浮式菱形格栅”,将传统进气格栅重新塑造成极具辨识度的品牌标志,既延续宾

宾利

7小时前

HUD取代仪表盘 长安深蓝S05内饰官图发布:极致年轻化

近日,深蓝汽车官方发布全新深蓝S05内饰官图,新车采用悬浮星舰设计,在座舱配色、内饰用料、智能配置、空间布局与储物实用性等方面全面优化,延续纯电与增程双动力选择,为用户带来更精致、更实用的出行座舱体验

长安深蓝S05

7小时前

鸿蒙智行首款方盒子 享界G9实拍图流出:墨绿配色休旅感十足

鸿蒙智行首款方盒子SUV享界G9更多实拍图流出,此次展示的车型采用了墨绿色车漆,整体低调内敛,但又不失活泼,休旅氛围浓厚。享界G9长宽高为5206(5377)*2050*1897mm,轴距3160mm

小米澎程车内空间视频公布:地方大到能打台球

小米已经正式官宣将于7月30日推出澎程N70、N90系列两款全新SUV,小米创始人雷军在社交平台上发布视频展示澎程车内空间,包括纯平地板、方正格局、超长滑轨,空间大到甚至可以打台球。澎程(SkyNom

小米澎程

7小时前

98.8万起!全新莲花EMIRA Scura限量版跑车上市:中国仅9台

莲花正式发布EMIRAScura限量版跑车,官方起售价98.8万元,国内配额仅有9台。新车名称致敬2009年ExigeScura经典车型,以暗黑风格设计传承莲花纯粹的赛道造车理念。莲花EMIRAScu

莲花EMIRA Scura

8小时前

老款燃油彻底换代!全新红旗H7预售定档:综合续航逼近2000km

据一汽红旗官方消息,全新红旗H7将于8月13日开启预售。该车已于本月开启盲订,在2026年7月7日至10月31日期间,用户支付99元意向金,即可在提车时免费升级价值万元的全场景领航辅助功能。该智驾系统

红旗H7

8小时前