《AI时代企业网络和信息安全培训课程大纲-信息安全管理人员》

《人工智能安全风险防御与管理能力提升课程》

——AI时代企业网络和信息安全培训

主讲：孙灵平老师

【课程背景】

当前生成式大模型、企业 AI 智能体工具全面落地普及，AI 技术在赋能内容生产、运营提效、安全运维的同时，衍生出数据泄露、提示注入、模型投毒、深度伪造、AI 自动化黑产攻击等全新安全威胁，传统网络安全防护体系已难以覆盖 AI 全生命周期风险。监管层面，《生成式人工智能服务管理暂行办法》《深度合成管理规定》等法规持续收紧，对企业 AI 数据治理、算法备案、内容审核、第三方供应链管控提出强制合规要求。

信息安全管理岗位人员作为企业 AI 风险第一道防线，亟需系统掌握 AI 新型攻击原理、全链路防护手段、AI 安全治理体系搭建方法。本次两天专项培训，围绕大模型原生风险、内部智能体管控、黑产 AI 攻击趋势、AI 安全赋能四大核心方向开展系统化教学，补齐从业人员 AI 安全技术与管理能力短板。

【课程收益】

系统掌握大模型、AI 智能体六大安全威胁域底层原理，能够精准识别数据、模型、内容、应用、供应链、合规全链条风险；

熟悉黑产利用 AI 实施批量钓鱼、智能社工、自动化漏洞挖掘的攻击链路，掌握针对性检测与拦截防护手段；

学会搭建企业 AI 安全管理与技术防护双重体系，掌握第三方 AI 工具准入、权限管控、日志审计、应急处置落地流程；

可独立使用配套 AI 安全自查清单开展内部风险巡检，结合行业真实情况完成风险研判。

【课程对象】信息安全管理人员

【课程时间】2天（6小时/天）

【课程大纲】

一、网信安全新形势与合规要求

1. AI浪潮下的网络与信息安全挑战

全球AI采用率爆发式增长：企业级AI应用从实验走向规模化部署

运营商作为关键信息基础设施运营者的安全职责

AI渗透内容生产、平台运营、用户服务、网络运维全链条

安全态势双重性：AI赋能防御 vs AI攻击

咪咕的特殊定位：运营商合规刚性 + 互联网平台技术敏捷性

2. AI专项法规深度解读

《生成式人工智能服务管理暂行办法》

《互联网信息服务算法推荐管理规定》

《互联网信息服务深度合成管理规定》

《人工智能生成合成内容标识办法》

3. 合规差距分析框架（自查清单）

数据合规：训练数据来源合法性、用户数据AI处理授权

内容合规：AI生成内容标识、内容审核机制

算法合规：算法备案、算法安全评估

供应链合规：第三方AI工具/模型的安全评估

组织合规：AI安全管理责任人与团队、应急响应

二、大模型安全风险原理与防护

1.大模型技术架构与安全边界

大模型工作原理简述：

安全对齐

安全边界的脆弱性：

2.大模型安全威胁全景图

六大威胁域详解架构图：数据层风险、 模型层风险 、 内容层风险、 应用层风险、 供应链风险 、 合规风险

各威胁域之间的关联关系

业务映射：每类风险对应的具体业务场景

3. 数据泄露风险：从训练到推理的全链路

训练数据记忆效应：模型"记住"敏感数据的原理

推理泄露攻击：成员推断攻击、模型反演攻击、提取攻击

RAG架构的数据泄露路径：知识库数据通过对话被提取

业务场景：内容推荐模型泄露用户行为偏好数据、 客服模型泄露用户个人信息和账单数据、 内部知识库RAG系统泄露未公开业务数据

案例：韩国某企业员工上传企业敏感数据至公有大模型，引发大规模隐私泄露

防护技术：差分隐私、联邦学习、数据脱敏、输出过滤、访问控制

4. 提示注入攻击深度解析

直接提示注入：用户通过精心构造的输入覆盖系统指令

间接提示注入：恶意指令嵌入外部数据源（网页、文档、邮件、API返回）

高级攻击手法：多步骤注入、编码注入、角色扮演注入

业务场景：用户通过提示注入让内容审核AI绕过检测规则

案例：提示注入攻击，绕过管控窃取内部资料

防护技术：指令隔离、输入净化、权限最小化、多层防御

5. 模型投毒与供应链安全

训练数据投毒

后门攻击

供应链风险图谱

防护技术：模型来源审计、模型签名验证、沙箱隔离、行为监控、供应链SBOM

6.深度伪造（Deepfake）技术威胁

技术全景：文本生成、图像生成、音频克隆、视频伪造

对内容平台的特殊威胁

对企业的威胁：伪造高管指令、虚假身份认证

合规要求：深度合成内容标识义务、平台审核责任

防护技术：数字水印、内容溯源（C2PA）、AI检测模型、多因素认证

7. AI驱动的社会工程学攻击

AI钓鱼进化路径：模板化→个性化→智能化

大模型赋能的精准钓鱼：

语音克隆攻击

案例：AI 深度伪造高管语音诈骗

防护技术：邮件认证、语音验证、多因素确认、员工安全意识

8. Agent（智能体）安全风险

Agent架构：LLM + 工具调用 + 记忆 + 规划

Agent特殊风险：

场景：内容运营Agent、客服Agent、数据分析Agent的安全风险

防护技术：最小权限、人机协同、沙箱隔离、操作审计、行为约束

9. 大模型安全防护技术纵深防御

输入层防护：输入过滤与净化规则、示注入检测模型、敏感信息识别与拦截、输入速率限制与异常检测

模型层防护：安全对齐与RLHF、对抗训练与鲁棒性测试、模型行为监控与异常检测

输出层防护：内容安全审核（文本/图像/音频）、幻觉检测与事实核查、敏感信息泄露检测、深度伪造内容标识

应用层防护：访问控制与身份认证、使用审计与日志记录、异常行为检测与告警、 Guardrails护栏框架实践

纵深防御矩阵总览图

10.大模型安全评估与红队测试

为什么需要红队测试：安全对齐不是永久的，需要持续验证

大模型红队测试方法：自动化对抗样本生成、人工红队专家测试、社区漏洞赏金计划

评估维度：安全性、鲁棒性、公平性、隐私性、合规性

行业实践：OWASP LLM Top 10、MITRE ATLAS框架

建议：建立AI模型上线前安全评估机制

三、企业AI合规使用与安全管理体系

1. 企业AI工具使用现状与风险图谱

企业AI工具类型全景： 通用大模型（ChatGPT、文心一言、通义千问等）、 代码辅助（Cursor、Copilot、通义灵码等）、内容生成（AI写作、AI设计、AI视频等）、 智能体/Agent（自动化工作流、AI助手等）、垂直应用（智能客服、智能审核、智能推荐等）

风险图谱：数据流、权限链、合规面

2. AI工具使用的6大安全风险详解

数据外泄风险：输入内容发送至第三方云端，企业数据失控

案例：三星员工将芯片设计代码输入ChatGPT

代码安全风险：AI生成的代码含漏洞或后门

权限滥用风险：Agent权限范围失控

供应链风险：第三方AI工具的信任链问题

合规风险：数据跨境、个人信息保护、行业监管

审计盲区：AI操作难以追溯

3. AI合规使用的制度框架

数据分级使用制度：

AI工具准入审批流程：安全评估→合规审查→技术测试→审批上线→定期复核

使用规范：员工AI使用守则、违规处罚机制

企业特殊要求：版权内容、用户行为数据、合作方数据的AI使用限制

3. AI安全技术管控架构

统一出口管控：AI安全网关——流量审计、敏感信息拦截、使用量控制

数据脱敏中间层：敏感数据在进入AI前自动识别与脱敏

私有化部署方案：核心业务场景使用本地模型，数据不出域

DLP策略：覆盖AI工具的数据外传路径

终端管控：企业设备vs个人设备的AI工具使用策略

4. 智能体（Agent）专项安全管控

Agent的特殊性：自主决策、多系统连接、权限链复杂、行为不可预测

Agent安全管控原则：

Agent上线安全评估清单

场景：内容运营Agent、客服Agent、数据分析Agent的管控方案

5. 企业AI安全管理体系框架

四层体系架构：

→ 治理层：AI安全委员会（法务+合规+技术+业务）、决策机制、责任矩阵

→ 策略层：AI使用管理办法、数据分类策略、供应商评估标准

→ 技术层：安全网关、DLP、审计系统、模型评估工具、监控告警

→ 运营层：定期评估、红队测试、安全培训、应急响应、持续改进

与现有信息安全管理体系的融合

组织保障：AI安全负责人、AI安全联络人

6. AI安全管理体系落地路径

资产盘点——梳理企业所有AI工具和模型使用情况，建立台账

风险评估——数据流向分析、权限梳理、合规差距识别

制度建立——制定AI使用管理办法、安全评估标准、应急预案

技术实施——部署AI安全网关、DLP、审计系统、私有化模型

培训推广——全员AI安全意识培训、技术人员专项培训

持续运营——定期评估、红队测试、迭代优化

7.AI安全供应链管理经验

第三方AI模型/工具评估框架：

→ 数据安全性：数据存储位置、是否用于训练、删除机制

→ 模型安全性：安全对齐水平、已知漏洞、更新频率

→ 合规性：是否通过安全评估/备案、数据跨境情况

→ 服务可靠性：SLA、数据备份、灾难恢复

供应商分级管理：按数据敏感度匹配不同安全等级的AI供应商

合同条款：数据处理协议、安全条款、审计权利、违约处罚

四、AI驱动的黑产攻击新趋势

1. AI时代攻击范式转变

攻击成本骤降：AI让高级攻击技术"民主化"

攻击规模剧增：一个人可发起数千个精准攻击

攻击质量提升：AI生成内容几乎无法从语言层面辨别

攻击速度加快：从发现漏洞到利用的时间大幅缩短

数据：2024-2026年AI驱动攻击的增长数据

对运营商和内容平台的特殊威胁：用户规模大、数据价值高、社会影响面广

2.AI批量钓鱼攻击深度解析

工业化攻击流程：

→ 自动化侦察：AI批量收集目标企业员工信息

→ 话术生成：大模型为每个目标定制钓鱼内容

→ 精准投放：选择最佳时间、渠道发送

→ 结果分析：AI自动分析响应，优化下一轮攻击

多模态攻击：邮件+短信+社交平台+语音电话协同

案例： 某企业遭遇AI生成的定向钓鱼，数百封邮件零语法错误

→ 某金融机构遭遇AI语音克隆攻击

场景分析：针对内容创作者、合作方、用户的AI钓鱼攻击

3. AI自动化漏洞挖掘与利用

AI代码审计：自动发现Web应用、API、系统中的安全漏洞

AI漏洞链构建：自动将多个低危漏洞串联成高危攻击路径

自动化Exploit生成：AI自动生成漏洞利用代码

AI辅助Fuzzing：智能模糊测试效率大幅提升

案例： AI在CTF竞赛中击败人类选手、自动化漏洞挖掘工具在实战中的应用

对企业的威胁：内容平台系统面临更快的漏洞利用周期

4. AI驱动的智能社工攻击

AI构建目标画像：自动爬取社交媒体、公开信息，构建完整"人物画像"

对话式社工：AI模拟真人进行多轮对话，逐步套取信息

深度伪造多模态攻击：

→ 伪造领导视频/语音进行指令下达

→ 伪造同事身份绕过内部验证

→ 伪造用户身份骗取客服信息

案例： 某公司财务被AI伪造的CEO视频通话骗走2亿港元（2024年真实案例）、某企业被AI语音克隆攻击骗取大额转账

防御难点：传统培训中的"识别钓鱼邮件"经验在AI时代可能失效

5.针对内容平台的AI攻击

AI生成违规内容绕过审核：

→ 对抗样本攻击：微小修改让AI审核模型误判

→ 多模态规避：文字+图片组合绕过单一模态检测

→ AI生成的"擦边"内容：处于合规边界的内容批量生产

AI操纵平台生态：

→ AI生成大量虚假评论/评分

→ AI批量注册账号制造虚假热度

→ AI生成虚假内容引流

AI窃取平台数据：

→ 通过AI对话提取平台推荐算法逻辑

→ 通过自动化爬取+AI解析窃取内容资源

重点防御方向分析

6.黑产AI工具生态揭秘

AI攻击工具即服务（AaaS）：

→ 暗网AI钓鱼套件（自动生成、自动发送、自动分析）

→ AI漏洞挖掘平台

→ AI社工平台（自动化信息收集+话术生成）

开源攻击工具的普及：

→ GitHub上的AI攻击工具仓库

→ 去安全限制的"越狱模型"在黑市流通

→ 开源深度伪造工具的滥用

AI攻击产业链：工具开发者→攻击运营者→变现环节

趋势研判：AI攻击民主化将持续降低攻击门槛

7.红蓝对抗视角：AI攻防节奏变化

传统攻防节奏：年度渗透测试→季度评估→被动响应

AI时代攻防节奏：持续性、自动化、实时对抗

攻击者AI能力 vs 防御者AI能力的差距分析

MITRE ATLAS框架：AI攻击战术图谱

关键结论：安全团队必须用AI追赶AI

五、AI赋能安全防御实战

1. AI在安全防御中的应用全景

六大应用领域： 威胁检测与情报分析、漏洞管理与代码安全、安全运营与自动化响应 、攻防演练与持续验证、内容安全智能审核 、用户安全与反欺诈

各领域成熟度评估：哪些已经落地、哪些正在探索

2. AI威胁检测与智能情报分析

传统规则匹配的局限：误报率高、无法识别未知威胁

AI行为分析（UEBA）：

→ 建立用户/实体行为基线

→ 识别异常行为模式（异常登录、异常数据访问、异常外传）

智能告警分诊：AI自动过滤90%以上误报，聚焦高优先级威胁

多源情报关联：AI自动聚合内外部威胁情报，识别攻击趋势和关联

企业场景：

→ 利用AI检测异常内容爬取和批量注册

→ 利用AI识别账号盗用和异常行为

→ 利用AI关联分析安全事件

3. AI辅助漏洞管理与代码安全

AI代码审计工具：

→ 在开发阶段自动检测SQL注入、XSS、逻辑漏洞等

→ 支持多种语言：Java、Python、Go、JavaScript

→ 误报率持续下降，实用价值提升

AI辅助修复建议：不仅发现漏洞，还生成修复代码

AI自动化渗透测试：

→ 自动化信息收集与攻击面测绘

→ 自动化漏洞验证与利用

→ 生成渗透测试报告

持续安全验证：从"年度评估"到"每周自动化验证"

对咪咕研发团队的建议：将AI安全扫描嵌入CI/CD流程

4. AI赋能安全运营中心（SOC）

SOC面临的挑战：

→ 告警疲劳：每天数万条告警，人工处理不过来

→ 人力不足：安全人才稀缺

→ 响应滞后：从发现到处置的时间太长

AI赋能SOC的四层架构：

→ L1自动分诊：AI自动分类、优先级排序、上下文丰富

→ L2智能分析：AI关联多源数据，识别攻击链

→ L3响应建议：AI生成处置方案和响应剧本

→ L4自动化处置：SOAR+AI实现端到端自动响应

自然语言交互：安全人员用自然语言查询安全态势

效果数据：响应时间从小时级降至分钟级

5. AI赋能内容安全审核

内容安全挑战：海量UGC/PGC实时审核、多模态内容、合规要求严格

AI在内容审核中的应用：

→ 文本审核：违规信息、敏感词、有害内容识别

→ 图像审核：涉黄、涉暴、涉政、版权侵权检测

→ 音视频审核：实时流媒体内容审核

→ 深度伪造检测：AI生成的虚假内容识别

审核模型的安全挑战：

→ 对抗样本攻击：攻击者刻意绕过审核AI

→ 模型漂移：内容生态变化导致审核准确率下降

→ 误判与漏判的平衡

技术方案：多模型级联、人机协同、持续对抗训练

6.AI赋能用户安全与反欺诈

咪咕用户安全场景：

→ 账号盗用检测：AI识别异常登录行为

→ 虚假账号识别：AI识别批量注册的机器人账号

→ 支付反欺诈：AI识别异常交易模式

→ 内容欺诈检测：虚假活动、钓鱼链接检测

技术方法：

→ 实时行为分析

→ 设备指纹识别

→ 关联图谱分析

→ 异常模式检测

效果：误报率降低、欺诈识别率提升

7. AI红蓝对抗：攻防演练智能化

AI红队（攻击方）：

→ 自动化渗透测试

→ 持续攻击模拟（BAS）

→ AI生成攻击路径和攻击剧本

AI蓝队（防御方）：

→ 自动化威胁检测

→ 动态防御策略调整

→ AI辅助事件分析与溯源

持续安全验证：

→ 从"年度演练"到"持续验证"

→ AI驱动的数字孪生靶场

案例：某企业利用AI自动化红队工具实现每周安全评估

8.安全团队AI能力建设路径

能力矩阵：安全团队需要掌握的AI技能

→ AI基础知识（大模型原理、AI应用场景）

→ AI安全工具使用（AI辅助代码审计、AI威胁检测等）

→ AI安全防护技能（提示注入防护、模型安全评估等）

→ AI攻防对抗技能（AI红队技术、对抗样本理解）

培训路径：

→ 初级：AI安全意识+工具使用（全员）

→ 中级：AI安全评估+防护技术（安全工程师）

→ 高级：AI攻防对抗+模型安全（安全专家）

实战演练：定期AI攻防对抗演练

9. AI安全工具选型与落地建议

工具评估维度：功能覆盖度、准确性、集成难度、成本、供应商可靠性

推荐关注领域：

→ AI代码安全审计工具

→ AI威胁检测平台

→ AI SOC助手

→ AI内容审核系统

→ AI自动化渗透测试工具

→ 大模型安全护栏工具

落地建议：从单点工具开始→平台化整合→体系化运营

六、沙盘推演

1. 演练一：AI钓鱼邮件识别（沙盘推演）

模拟AI生成的钓鱼邮件

→ 伪装为集团通知、合作方邮件、系统告警、用户投诉、HR通知

任务：判断是否为钓鱼邮件，指出可疑点

解析AI生成的钓鱼邮件的识别技巧

对比传统钓鱼 vs AI钓鱼的差异

关键识别方法总结

2. 演练二：AI安全事件应急响应（沙盘推演）场景设定：安全团队监测到以下异常

→ 内部知识库RAG系统出现异常数据访问模式

→ 多名员工报告收到高度定制化的钓鱼邮件

→ 内容审核AI系统准确率突然下降

任务：

→ 判断是否为安全事件？级别如何？

→ 制定应急响应方案

→ 确定排查步骤和优先级

→ 设计恢复方案