7月28日，世界人工智能大会（WAIC）期间，在由中国信息通信研究院举办的“大模型智塑全球产业新秩序论坛”上，蚂蚁集团大模型安全解决方案“蚁天鉴”宣布升级，新增智能体（AIAgent）安全评测工具，具备Agent对齐、mcp安全扫描、智能体安全扫描及零信任防御等四大核心功能。

随着人工智能（AI）技术的不断进步，AI领域正从大模型时代迈向智能体时代。智能体不仅具备对话生成能力，还拥有自主规划、跨领域推理，甚至能做出超越人类理解的决策，AI已进入“行动”阶段。然而，智能体的越权、过度代理等问题也带来了安全挑战。

数据显示，超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题，因为AI生成的内容往往包含事实错误，或者对指令产生误解，其中超半数受访者表示，所在企业尚未设立明确的智能体安全负责人。

世界数字科学院（WDTA）最新发布《AI智能体运行安全测试标准》提出将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应起来，分析智能体全链路风险。

“蚁天鉴”为蚂蚁集团联合清华大学共同研发推出的大模型安全一体化解决方案，确保大模型技术在安全可靠的环境中发挥效能，打造AI大模型的安全铠甲。“蚁天鉴”新增的智能体安全评测功能，正与WDTA标准框架契合。

据介绍，升级的“蚁天鉴”在Agent运行阶段，构建了一套智能安全扫描系统，通过一系列专用工具来检测Agent可能面临的安全风险，实现端到端扫描，确保工具与Agent的交互链路不被篡改或绕过，为复杂环境下的稳定运行提供可验证的安全基线。目前，“蚁天鉴”的风险研判Agent准确率可以达到96%以上，并可支持11个行业的智能体测试。

MCP安全扫描功能，则为行业内首个对外发布的MCP安全扫描工具，可自动化识别AI工具集成与数据交换链路中的安全漏洞及风险行为，覆盖工具投毒攻击、间接提示词注入、恶意代码注入等3大类共10项子类风险。

此外，其Agent对齐功能，集成了高效工具调用、敏感双重验证、多通道恶意识别及沙盒环境训练，确保智能体的决策、行为与开发者预设目标、价值观及伦理道德保持一致；通过深度理解智能体服务上下文与风险情境，“蚁天鉴”还可对每一次调用进行内容、链路、行为、权限、组件、来源、身份七层校验，并依据策略引擎动态决策放行、降级或阻断，实现“永不信任，始终验证”的零信任动态防御。

蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强表示：“升级的‘蚁天鉴’基于‘以攻促防’的安全理念，通过构建‘对齐-扫描-防御’技术栈，形成全流程防护体系，从而为智能体提供风险扫描与实时防御能力，我们也将与行业共建，未来逐步开源开放安全工具。”

据了解，2024世界人工智能大会上，“蚁天鉴”2.0发布，形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整技术链条，面向行业提供全方位智能化的大模型安全测评和防御解决方案。

OpenAI领衔！AI热潮下美国“七大科技初创”总估值达1.3万亿美元　　转自：财联社　　财联社9月21日讯（编辑卞纯）三年前，ChatGPT的横空出世掀起了一轮持续至今的人工智能（AI）热潮，自那以来，在OpenAI的引领下，多家美国科技初创企业的估值迎来了爆发式增长