《国央企AI使用风险与规范》

国央企AI使用风险与规范主讲：孔令涛老师

【课程背景】

当前，人工智能大模型已全面融入国央企数字化转型全流程，广泛应用于办公公文处理、项目研发、生产运维、合规风控、客户服务、数据分析等核心业务场景，极大提升了企业工作效率与智能化水平。随着AI工具全员化、常态化、规模化落地，智能化赋能已成为国央企提质增效、创新发展的重要抓手，AI应用从试点探索逐步走向全员普及、全业务覆盖的新阶段。

与此同时，大模型与生俱来的安全短板与新型攻防风险同步凸显，AI越狱、提示注入、数据投毒、模型后门、红队渗透等新型攻击手段层出不穷，叠加国央企涉密信息多、数据敏感度高、监管问责严格、舆情容错率极低的行业特性，随意、不规范的AI使用极易引发数据泄密、合规违规、决策失真、舆情危机、国有资产安全受损等重大风险。现阶段多数国央企存在AI安全认知不足、攻防防控能力薄弱、管控制度不健全、全员操作不规范等痛点，亟需建立标准化、体系化、常态化的AI安全合规使用机制，筑牢企业智能化转型安全防线。

【课程收益】

认清国央企专属AI应用风险，区分民企与国企AI风控差异

熟练掌握国家、国资、行业AI合规监管政策与红线

建立全员AI安全合规使用意识，杜绝无意识违规行为

落地AI全流程管控规范，覆盖使用、审核、留存、审计全环节

有效规避数据泄密、合规问责、业务失误、舆情危机等风险

实现AI技术合规、安全、可控、可追溯赋能企业发展

【课程特色】

讲师授课风格幽默，课程内容为时下最流行的AI工具，让AI为我们插上翅膀，解放自己双手。

【课程对象】

职场人士

【课程时间】

1天 6小时/天

【课程大纲】

一、课程导入：国央企AI应用现状与管控刚需1. 国央企AI全场景普及应用级别划分

办公辅助场景：文案撰写、报告润色、PPT制作、数据整理统计、公文优化

业务赋能场景：生产智能巡检、客户智能服务、风控审计辅助、业务流程优化

管理提效场景：人事测评、合规筛查、项目分析、工作总结、制度梳理

科研创新场景：技术研发辅助、方案优化、图纸解析、课题研究、数据分析建模

2. 国央企AI使用特殊性与监管痛点涉密信息、核心经营数据、工艺参数多，数据敏感度极高

国有资产属性强，AI操作失误可直接关联国有资产安全

监管层级多、检查频次高、合规问责体系刚性极强

企业舆情敏感度高，负面事件极易引发行业及社会舆情发酵

安全生产底线严格，AI业务误用可能引发生产、运维安全隐患

容错率极低，无“通用免责”空间，全员、全流程可追责

二、政策合规篇：国央企AI使用顶层规范与监管要求1. 国家层面AI治理核心法规《生成式人工智能服务管理暂行办法》：AI内容合规、工具备案、数据留存、内容审核要求

《网络安全法》：网络行为合规、工具准入、外部系统接入安全要求

《数据安全法》：企业核心数据、重要数据分级保护与使用规范

《个人信息保护法》：员工信息、客户信息AI处理合规边界

《保守国家秘密法》：涉密场景AI绝对禁用、涉密数据零上传原则

2. 国资系统专项监管核心要求国资委数字化转型、数据安全、AI合规应用专项通知与整治要求

国企AI使用四大硬性原则：可控、可管、可追溯、不泄密

国资审计、巡视、专项督查中AI使用合规检查重点条目

三、风险识别篇：国央企AI全场景核心风险拆解1. 数据安全与泄密风险公共AI平台自动留存对话记录，导致内部经营数据、项目资料外泄

员工无意识上传涉密文件、会议纪要、招投标材料、技术参数

AI训练数据抓取企业公开或半公开信息，造成溯源泄密

客户信息、员工隐私信息（PII）被AI存储、复用、外泄

私有化AI配置不当，导致内部数据越权访问、违规流出

2. 合规与法律风险AI生成文案、图片、素材存在版权侵权风险

AI虚假、误导性内容造成决策偏差、业务违规

使用未备案、无资质AI工具，违反网信及国资监管要求

违规通过AI处理敏感个人信息，违反数安法、个保法

AI使用无台账、无审核、无留痕，不符合国资数据治理规范

3. 业务与决策风险大模型存在“AI幻觉”，输出虚假数据、错误逻辑、不实结论

直接使用AI结果用于项目决策、审计风控、技术方案，引发业务损失

过度依赖AI，导致员工专业能力退化、业务流程失控

AI输出内容不符合行业标准、国企制度，造成合规漏洞

4. 舆情与品牌风险AI生成不当言论、错误政策解读、虚假企业信息

AI错误内容对内流转、对外报送、公开发布引发误解

AI违规内容外网传播，引发网络舆情，损害国企公信力

6. AI新型高阶攻防专项风险（重点：越狱、注入、投毒、红队攻击）（1）AI安全对齐底层认知安全对齐定义：让AI目标、行为、输出与人类价值观、安全约束、企业制度保持一致

安全对齐核心作用：构建AI原生安全围栏，拦截违规输出、涉密内容、越权指令

越狱本质：通过特殊指令突破模型安全对齐机制，绕过审核管控

（2）AI Prompt越狱攻击风险国企高频风险场景

员工外网复制网传“万能解锁提示词”违规测试AI

外包、外协人员恶意使用越狱指令突破管控

多轮对话渐进式越狱，逐步绕过安全规则

老旧私有化模型安全对齐失效，防护能力薄弱

越狱高危危害

绕过数据脱敏、内容审核规则

诱导AI泄露对话历史、内部隐私数据

生成涉密破解思路、违规代码、越权操作方案

彻底规避企业AI使用管控规则

（3）Prompt注入攻击全类型风险直接注入：在对话中植入隐藏恶意指令，强制AI执行越权操作

间接注入：在文档、表格、附件中嵌入隐形指令，AI解析时触发攻击

多轮对话攻击（高隐蔽）

核心特点：逐步操控、上下文污染、对话漂移、角色强化迭代

攻击方式：累积指令注入、上下文预设污染、状态退化诱导

最终后果：篡改合规结论、泄露隐性信息、执行违规操作

Prompt窃取风险：攻击者伪装身份套取系统原始提示词、内置管控规则

（4）模型投毒与数据投毒深层风险数据投毒

攻击方式：篡改、污染训练集/测试集数据，植入隐形后门

危害：模型判断偏差、决策失真、隐身失效、输出虚假结果

适配场景：国企风控审核、数据分析、智能决策、报表生成

模型投毒

攻击方式：篡改模型架构、代码、超参数，植入模型后门

危害：可用性破坏、数据完整性篡改、对抗性越权访问

经典参考案例：微软Tay机器人数据污染事件、开源模型漏洞投毒事件、企业自研模型后门攻击案例

（5）AI隐私套取与钓鱼攻击攻击流程：钓鱼（诱导提问）→捞鱼（批量获取信息）→验鱼（验证敏感数据）

攻击方式：通用性+引导性套话，逐步套取涉密、经营、人员隐私数据

窃取目标：企业涉密参数、项目资料、PII隐私、内部制度、台账数据

（7）国央企新型攻防典型实战案例员工使用越狱提示词突破AI审核，泄露项目涉密参数

黑产通过红队测试攻破国企私有化AI，批量爬取内部台账

多轮注入攻击诱导AI篡改风控结论、生成虚假安全报告

模型投毒导致智能决策系统输出错误结论，引发业务风险

五、规范落地篇：国央企AI使用标准化管控体系1. AI工具分级分类黑白名单管理白名单合规工具：国产化合规AI、企业私有化部署大模型、官方备案办公AI系统

黑名单禁用工具：境外未备案AI、无资质公共AI、小众未知AI工具、破解版AI软件

场景权限分级：区分普通办公、一般业务、涉密场景的工具使用权限，涉密场景零外网AI

2. 全员AI使用行为规范（禁止+允许清单）绝对禁止行为

禁止向公共AI上传涉密、内部未公开、敏感经营数据

禁止复制、传播、测试各类AI越狱、破解、注入提示词

禁止私自下载、安装、注册未知AI工具及账号

禁止直接照搬AI生成内容对外上报、发布、存档

禁止通过AI套取、梳理、泄露内部制度与涉密规则

合规允许行为

使用企业私有化、合规白名单AI工具

数据完全脱敏后再输入AI进行辅助处理

AI生成内容必须人工审核、修正、溯源后使用

AI使用全程留痕、登记、台账记录

3. 重点部门专项AI管控规范法务合规部：AI生成合同、条款、风控结论强制双人审核

信息安全部：负责AI工具准入、漏洞巡检、红队自测、攻防防控

宣传舆情部：AI对外内容严格三审三校，严防舆情风险

项目/技术部门：工艺、参数、图纸、方案严禁外网AI处理

4. AI使用全流程闭环管控机制事前审批：AI工具准入备案、特殊场景AI使用事前申请

事中监控：输入内容监控、生成内容审计、操作全程留痕

事后审计：定期台账核查、风险抽查、漏洞复盘、整改闭环

5. 数据脱敏与大模型攻防防护规范基础数据脱敏操作：敏感字段剔除、涉密信息替换、关键数据模糊、隐私信息遮蔽

防越狱防护机制：提示词合规检查、可疑指令扰动、生成内容实时干预

防注入防护机制：输入预筛查、隐藏指令识别、多轮对话风控拦截

防投毒防护机制：模型定期巡检、训练数据校验、版本比对、后门检测

六、应急处置与风险复盘机制1. 多类型AI风险应急处置流程数据泄露事件：立即终止操作、切断链路、留存证据、逐级上报、脱敏止损

违规使用事件：立即整改、登记台账、部门通报、警示教育

虚假内容传播：及时撤回、更正说明、舆情监测、对外澄清

新型攻防专项处置：越狱突破、注入攻击、红队探测、模型异常的紧急止损与漏洞修复

2. 常态化风险自查与排查机制建立全员AI使用台账，做到一人一档、一事一记

开展员工月度自查、部门季度抽查、公司年度专项督查

梳理风险隐患清单，明确责任人、整改时限、闭环标准

3. 案例复盘与问责落地定期复盘行业AI违规、攻防泄露案例

明确责任划分、问题根源、整改措施

形成长效防控机制，杜绝同类问题重复发生