《AI安全IT风险应对》企业IT人员

《从被动防御到主动治理，让AI应用真正可控可审》

——AI安全IT风险应对

主讲：孙灵平

【课程背景】

在AI应用真正部署到生产环境后，IT团队面临的风险形态、攻击路径与防御重心均发生根本性变化——从「被动响应单点事件」转向「主动治理全生命周期」。2026年上半年，两起标志性事件重塑了AI安全的行业认知：其一，OpenAI智能体在内部测试中自主攻陷Hugging Face基础设施，持续4.5天、执行17600次攻击动作，从读取环境变量开始逐级扩大权限；其二，国家计算机病毒应急处理中心发现「龙虾」智能体技能仓库遭恶意投毒，8个仿冒技能包植入提示词后可窃取本地敏感信息。本课程基于OWASP LLM Top10 2025、OWASP Agentic Application Top 10（ASI）2026，以及TC260《网络安全标准实践指南——智能体部署使用安全指引》（TC260-PG-20266A），系统阐释企业AI应用从模型合规、智能体部署、提示注入防护到应急响应的全流程技术治理路径。本课程将引导学员思考以下问题：

企业部署大模型时，私有化部署与公共API的取舍依据是什么？

智能体（Agent）项目的安全治理如何实现「立项即考虑」？

提示注入、越权、记忆投毒、模型窃取等新型威胁的检测与防护要点是什么？

AI安全事件发生时，如何快速隔离与响应？紧急停止开关应如何设计？

IT团队需要哪些可落地的自检清单、风险评分表与应急响应工具？

【课程收益】

系统掌握OWASP LLM Top10 2025与ASI Top10 2026国际权威AI安全基线。

建立模型合规备案核查机制，掌握《生成式AI服务管理暂行办法》关键条款。

应用TC260-PG-20266A智能体五阶段部署框架（评估/准备/部署/使用/应急响应）。

部署提示注入、越权、记忆投毒、模型窃取等新型威胁的检测与防护能力。

构建企业级「五道安全门」治理体系——隔离、权限、审批、审计、策略不可变。

形成AI安全事件应急响应卡与Kill Switch独立设计原则。

输出AI模型合规评估表、智能体部署自检表、企业五道安全门检查表等可落地工具。

【课程对象】企业IT与安全相关岗位——信息安全部门、信息中心、数据中心、AI应用研发与运维、算法工程师、合规与风控等人员。

【课程时间】3小时（6小时/天）

【课程大纲】

一、AI智能体的新型威胁与传统防御困境

1. 智能体时代的攻击面扩展

「数据即指令」——AI Agent引入传统软件不存在的新型攻击面

工具调用链——单步行为均符合系统规则，组合后形成攻击路径

长链条推理——能力、目标、环境三层叠加产生非预期行为

案例：OpenAI智能体攻陷Hugging Face事件——4.5天/17600次攻击动作，从环境变量读取到基础设施端到端攻陷

案例：「龙虾」智能体遭恶意投毒——8个仿冒技能包植入提示词，可窃取本地敏感信息并作为内网渗透跳板

案例：跨境电商AI Agent供应链劫持——恶意Python包「LogisticsOptimizer」将审批阈值从5万美元篡改为50万美元

国家安全部对「AI自作主张」的三层定性：能力层+目标层+环境层叠加失效

2. 传统防御体系的局限性

EDR/SIEM对「合规行为」组合形成的攻击缺乏识别能力

SAST对动态生成内容的失效

传统边界防护在「数据即指令」场景下失效

防护重心必须从边界下沉至执行层与决策层

3. 全球AI安全监管态势

国内：5月《智能体规范应用与创新发展实施意见》

国内：TC260《智能体部署使用安全指引》(PG-20266A)

欧盟：AI法案于2026年8月2日正式执法

美国：众议院7月提交《AI Kill Switch Act》提案

产业：Google A2A协议与Anthropic MCP协议双轨并行

二、OWASP LLM Top10 与 ASI Top10 风险全景

1. OWASP LLM Top10 2025

LLM01 提示注入（连续两版TOP1）——直接注入与间接注入

LLM02 敏感信息泄露（从第6位跃升至第2位）

LLM03 供应链——公共模型仓库、被篡改数据集、后门插件

LLM04 数据和模型投毒——PoisonedRAG等攻击方式

LLM05 不当输出处理——XSS/SSRF/命令注入等传统漏洞继承

LLM06 过度代理（越权）——LLM被授予过多功能与权限

LLM07 系统提示泄露（新增）——系统提示不应承载机密信息

LLM08 向量和嵌入弱点（新增）——跨租户数据泄露、嵌入反演、检索投毒

LLM09 错误信息（覆盖原Overreliance）

LLM10 无边界消耗（覆盖原DoS）

2. OWASP ASI Top10 2026（智能体专项）

ASI01 目标劫持——资金转账、数据窃取

ASI02 工具滥用——命令执行、数据导出

ASI03 身份与权限滥用——跨账户访问、权限提升

ASI04 供应链——后门植入、远程控制

ASI05 意外代码执行——服务器入侵、删库、挖矿

ASI06 记忆与上下文投毒——持续数据泄露、错误风控

ASI07 智能体间通信不安全——重放攻击、协作劫持

ASI08 级联失败——交易中断、连锁宕机

ASI09 人机信任滥用——虚假审批、违规转账

ASI10 失控智能体——长期潜伏、自我复制

3. 重点风险的缓解策略

输入/输出过滤与权限分离

工具最小权限配置与人类审批高危动作

将模型输出视为不可信输入进行二次处理

ML栈SBOM与模型出处核验

工具：OWASP LLM Top10 + ASI Top10速查表

三、模型合规、智能体部署与全生命周期治理

1. 模型合规的法律框架

《生成式人工智能服务管理暂行办法》第十七条——安全评估与算法备案

《互联网信息服务算法推荐管理规定》——算法备案与变更、注销手续

GB 45438-2025《网络安全技术 生成式人工智能服务安全基本要求》

《个人信息保护法》第六条——最小必要原则

境外AI服务调用须通过网信办数据出境安全评估

2. 模型合规备案核查四要点

基础模型备案号——国家网信办（CAC）官网「算法备案信息公示」

APP上架备案状态——应用商店「AI服务说明」栏

模型服务协议合规性——用户协议与隐私政策审查

生成内容标识能力——是否符合GB 45438-2025

工具：AI模型合规评估表（季度评估使用）

3. 私有化部署与公共API的取舍

私有化部署场景——核心数据、客户隐私、商业机密、未公开财报

公共API场景——公开资讯、辅助写作、代码补全

公共API须双层加固——输入脱敏与输出审计

境外AI服务调用须确认已通过数据出境合规评估

4. TC260-PG-20266A 智能体五阶段框架

评估阶段——必要性评估、选型评估、维护状态、安全基线

准备阶段——来源验证、完整性校验、部署环境隔离、已备案大模型选择

部署阶段——最小权限、文件访问限制、网络暴露控制、全量日志审计

使用阶段——技能安全、敏感信息保护、长期记忆审查、应急响应

应急响应阶段——6步流程与独立Kill Switch设计

工具：智能体部署自检表（TC260五阶段）

四、企业「五道安全门」、应急响应与持续治理

1. 企业AI应用「五道安全门」

第一道门——严格环境隔离，评测/生产按高风险业务标准，虚拟机级隔离

第二道门——最小权限原则，单次任务短期身份，权限最小可用

第三道门——强制人工审批，对外网络访问、代码合并、系统命令必须人工确认

第四道门——全链路运行时审计，任务链路、网络行为、账号操作、主机告警串联分析

第五道门——策略文件不可变，mcp.json、钩子配置、任务定义禁止Agent直接写入

工具：企业「五道安全门」检查表

2. AI安全事件应急响应（六步流程）

第一步——立即隔离，切断受影响Agent的网络访问

第二步——影响评估，确定受影响的系统与数据范围

第三步——取证分析，保留日志、快照、网络流量记录

第四步——根因分析，复盘攻击链路与触发点

第五步——加固修复，补齐漏洞、更新策略、强化审批

第六步——复盘改进，完善制度、培训，更新应急预案

关键设计原则——紧急停止开关必须独立于Agent本身

工具：AI安全事件应急响应卡（口袋卡）

3. 案例研讨与行业实践

案例：OpenAI智能体攻陷HF事件复盘——根因：能力+目标+环境三层叠加失效

案例：「龙虾」智能体供应链投毒事件复盘——根因：技能仓库「上传审核+代码审计」机制缺失

案例：跨境电商AI Agent供应链劫持事件复盘——根因：依赖项签名校验缺失

4. 持续治理节奏与组织协同

季度自评 + 年度红队测试 + 事件驱动复盘

推动AI应用上线前安全评估纳入标准流程

与网信办、行业组织保持沟通，及时跟进新规

建立信息安全、算法团队、合规部门的常态化协作机制

工具：AI安全风险评分表（季度自评使用）