《智守AI时代：生成式AI安全治理、技术防护与办公风险实战》

智守AI时代：生成式AI安全治理、技术防护与办公风险实战

——从政策合规到技术落地，构建组织级AI安全防线

课程背景：

生成式人工智能正在从“工具尝鲜”快速进入企业办公、客户服务、软件研发、数据分析、知识管理与安全运营等核心场景。AI带来的效率提升非常明显，但同时也带来了新的安全边界：员工在使用AI办公时可能误上传客户信息、业务数据、源代码和内部材料；企业在建设智能问答、AI Agent、数据安全治理平台时，可能面临提示词注入、敏感信息泄露、模型幻觉、越权调用、插件滥用、供应链依赖和输出不可控等风险。

从监管趋势看，人工智能治理已经从“鼓励创新”进入“发展与安全并重”的阶段。生成式人工智能服务、深度合成、算法推荐、AI生成合成内容标识、数据安全、个人信息保护、网络安全等级保护与关键信息基础设施保护等要求，正在共同形成组织使用AI、建设AI、管理AI的合规底线。对于金融、政企、能源、运营商、互联网和大型集团型组织而言，AI安全已经不再只是技术团队问题，而是涉及业务、法务、合规、数据、安全、办公管理和高层决策的综合治理问题。

本课程面向企业AI应用与安全治理的真实需求，以“政策类+技术类+办公风险类”为主线，系统讲解AI安全监管要求、AI应用安全风险、办公场景数据泄露防控、LLM应用安全十大风险、AI Agent安全、数据安全治理、技术防护体系和组织级管理机制。课程强调“看得懂政策、识别出风险、设计出方案、落得下措施”，帮助学员建立从制度、流程、技术、工具到人员意识的完整AI安全能力体系。

课程收益：

● 理解AI安全政策与监管要求：掌握生成式AI、深度合成、算法治理、内容标识、数据安全、个人信息保护等重点要求，形成面向企业AI应用的合规判断框架。

● 识别AI办公高频风险：能够识别员工使用AI写材料、做PPT、整理会议纪要、分析数据、编写代码、调用插件和上传文件过程中的数据泄露、商业秘密泄露与违规使用风险。

● 掌握AI应用安全技术要点：理解提示词注入、敏感信息泄露、模型投毒、输出处理不当、系统提示词泄露、过度代理、供应链风险等典型风险，并掌握对应防护思路。

● 构建组织级AI安全治理方案：掌握AI应用准入、数据分级授权、使用红线、日志审计、DLP联动、模型安全评估、第三方AI工具管理和AI安全运营机制。

● 提升AI安全宣贯与落地能力：通过案例研讨、风险清单、制度模板和场景化演练，帮助学员将课程内容转化为本单位可执行的AI办公安全规范和技术建设路线

课程特色：

政策+技术融合：既讲监管要求，也讲技术风险和落地控制点，避免只讲概念

聚焦AI办公风险：含写材料、做PPT、处理表格、写代码、会议纪要、知识库等高频场景

贴近企业落地：输出风险清单、制度框架、工具准入、数据脱敏、日志审计和技术路线

适合多类人群：管理层听得懂，安全团队能落地，业务人员知道怎么安全使用AI

课程时间：2天，6小时/天

课程对象：信息安全管理人员、数据安全管理人员、合规/法务/内控人员、IT与安全运维团队、办公数字化团队、AI应用建设团队、业务部门骨干及管理者

课程方式：政策解读、场景化案例分析、技术原理讲解、风险清单拆解、分组讨论、AI办公安全演练、企业治理方案设计、互动问答等

课程大纲

第一讲：开篇——AI安全治理新形势与政策合规框架

课程导入：为什么AI安全成为组织级必修课

1. AI从个人工具走向组织级应用

——办公、研发、客服、营销、数据分析、安全运营和知识库场景

2. AI安全的“双刃剑”特征：效率提升与风险扩散同步发生

典型问题：员工随手上传文件、AI生成内容误用、内部知识库越权访问、AI Agent自动执行错误操作

一、AI基础概述

1. AI核心概念

1）机器学习

2）深度学习理论和应用框架

2. 大语言模型基础

1）大语言模型技术与应用

2）AI在网络安全中赋能应用

二、国内AI安全政策与监管主线

1. 生成式人工智能服务管理要求

从安全评估、算法备案、内容治理等个方向指定管理要求和规章制度

2. 深度合成与AI生成合成内容标识

1）显式标识、隐式标识

2）数据追溯

3. 数据安全与个人信息保护要求

1）训练数据

2）数据流转

3）数据共享

三、AI安全治理框架：从“能不能用”到“如何安全用”

1. 组织治理

1）职责分工

2）制度红线

3）流程审批

2. 数据治理

1）数据分类分级

2）敏感数据识别、脱敏

3）权限管控

4）身份之别

3. 技术治理

1）安全测试

2）访问控制

3）日志审计

4）DLP

5）API安全监测

4. 人员治理

——对办公人员在使用AI过程中的安全意识、办公规范、违规处置，明确职责

四、国内、外AI安全大事件

1. deepseek数据库泄露

2. Anthropic公司源代码泄露

3. openai大模型漏洞

课堂讨论：本单位哪些AI使用场景最容易发生数据泄露？哪些业务数据可以输入AI，哪些必须禁止或脱敏？

第二讲：应用——AI办公场景及防控实战

一、AI办公工具使用

1. 大模型市场与大模型类型

2. 接入大模型API

3. AI办公工具

1）cherry studio

2）trae work

3）claude code

4）codex

5）hermes4. 大模型应用

1）ai agent理论

2）mcp3）skills

二、AI办公典型场景与风险地图

1. 文档写作——材料上传与敏感信息生成风险

2. PPT与汇报材料——内部私密信息泄露风险

3. 表格与数据分析——敏感数据暴露风险

4. 代码与研发辅助——测试数据泄露与AI代码漏洞

5. 翻译、润色与总结——涉密信息、商业秘密、个人信息和监管材料外发风险

二、AI办公安全红线与可用边界

1. 禁止输入

1）国家机密数据

2）办公机密数据

3）个人敏感数据

2. 谨慎输入

——制度文档、测试数据、日志样本

3. 可控输入

——公开信息、脱敏数据、知识库内容

4. 输出审核

1）事实核验

2）引用核验

3）版权检查

4）合规审查

5）人工复核

三、企业AI办公管控机制

1. AI工具白名单、灰名单、黑名单管理

2. 办公终端、浏览器插件、SaaS AI工具与移动端AI应用的准入管理

3. DLP、代理网关、终端管控与水印溯源联动

4. AI办公日志审计与违规行为发现

场景演练1：识别一份“看似普通”的会议纪要中隐藏的敏感信息

场景演练2：将一段含敏感字段的业务材料改写为可安全输入AI的脱敏版本

第三讲：进阶——大模型与AI应用安全技术风险

一、LLM应用安全十大风险

1. 提示词注入

2. 敏感信息泄露

3. 供应链风险

4. 数据与模型投毒

5. 输出处理不当

6. 过度代理

7. 系统提示词泄露

8. 向量与嵌入弱点

9. 虚假信息

10. 无限制消耗

案例分析1：2023年三星员工将源代码、半导体设备相关数据等公司机密输入 ChatGPT，导致敏感信息外泄；研究也显示部分员工曾向ChatGPT 输入公司机密信息

案例分析2：央视曝光攻击者可通过污染垃圾邮件分类训练数据，将钓鱼邮件故意标注为“非垃圾邮件”，长期训练后模型可能把类似钓鱼邮件识别为正常邮件

二、AI应用技术架构中的安全控制点

对照：《生成式人工智能服务安全基本要求（征求意见稿）》

1. 语料安全：关注模型训练、优化、微调所使用数据的来源、内容和合规性

2. 模型安全：模型本身具备安全、可控、稳健的输出能力

3. 安全措施：设置“护栏”，让服务可控、可管、可追溯

4. 安全评估：自评估或第三方评估

第四讲：实操——AI数据安全与模型安全治理

一、数据安全体系框架

1. 数据治理框架-DGI

2. 数据安全治理的方法论和最佳实践

1）DSG-数据安全治理

2）DGPC-数据治理与隐私合规3. 数据安全能力成熟度模型-DSMM

二、全生命周期数据安全

1. 数据采集

1）确认数据来源是否合法、授权是否充分

2）遵循最小必要原则，避免过度采集

3）识别个人信息、敏感个人信息、商业秘密、重要数据等敏感内容

2. 数据传输

1）使用必要的加密传输方式记性加密传输

2）使用国密算法3. 数据共享

——数据可用不可见，数据不出域、可追溯

4. 数据处理

——对数据进行分类分级，训练数据按照合规要求进行标注

5. 数据销毁

1）设置数据保存期限

2）删除过期数据

3）清理训练数据、测试数据、标注数据

案例1：金融领域大模型安全实践-支小宝

案例2：医疗领域大模型安全实践-某医疗AI助手

案例3：政务领域大模型安全实践-赣服通案例4：智能助理领域大模型安全实践-“SenseNova”

第五讲：落地——组织级AI安全体系建设与落地路线

一、AI安全管理制度设计

1. AI工具使用管理办法

——制定常规工具白名单，使用规章制度，模型能力等

2. AI办公安全规范

——规范文档、代码、数据、客户信息、会议纪要及邮件信息

3. AI应用建设安全规范

——规范AI开发过程中，需要产生的相关文档、流程、数据

4. 第三方AI服务管理

1）供应商准入

2）供应商退出

3）定期查验风险

二、AI安全技术架构建议

1. API管控

1）统一AI门户

2）身份认证

3）权限控制

4）工具白名单

2. 数据管控

1）数据分类分级

2）脱敏

3）DLP

4）知识库权限

5）向量库隔离

3. 模型管控

1）模型网关

2）提示词防护

3）输出审核

4）红队测试

5）模型评测

4. 运营管控

1）日志审计

2）风险告警

3）安全事件响应

4）风险报表和持续优化

学习总结与落地行动：

1. 知识回顾：AI应用使用场景（练习如何使用AI工具生成ppt，制作数据表格等）。AI使用场景中的安全注意事项有哪些，数据泄露风险有哪些，造成哪些危害。

2. 答疑互动：就学员提出的企业实际质量难题进行分析、讨论、模拟演练、点评

3. 学习落地：

1）质量改进个人宣言：明确自己回到岗位后的质量行动承诺

2）小组行动方案：分小组输出本部门的AI工具使用白名单

3）学习心得分享：分享本次学习的收获与感悟，互相启发