《AI安全风险与挑战》企业普通员工

守住AI使用边界，守住数据边界

——AI安全风险与挑战

主讲：孙灵平老师

【课程背景】

生成式人工智能已深度融入企业各类日常办公场景——文档撰写、数据分析、客户服务、营销策划、招聘筛选、代码辅助等。AI正成为每位员工的高频协作工具，但与此同时，数据泄露、隐私违规、合规风险等新型问题也随之而来。本课程基于全国信息安全标准化技术委员会（TC260）2026年8月24日发布的《网络安全标准实践指南——个人用户使用人工智能服务安全指南》，结合典型事件案例，系统阐释个人用户使用AI服务过程中的主要风险点与合规要求，帮助学员建立合规、安全、可控的AI使用意识。本课程将引导学员思考以下问题：

员工在工作场景中向AI输入的内容，是否可能被记录或用于模型训练？

AI换脸、语音克隆等新型攻击手段的识别与防范要点是什么？

不同类别的敏感信息在向AI输入时，应遵循何种分级管控原则？

使用未完成网信办备案的AI服务可能引发哪些合规风险？

遭遇AI相关侵权或诈骗事件时，应通过哪些渠道进行举报与维权？

【课程收益】

建立对AI能力边界与局限性的理性认知，避免对AI输出的盲目依赖。

系统识别数据泄露、隐私违规、伦理风险、合规违规等新型风险类别。

掌握TC260《个人用户使用人工智能服务安全指南》四大核心意识与九大使用指引。

熟练运用「先想后输·遇疑即停」四问自检法，规范日常AI使用行为。

具备对AI换脸、AI拟声、仿冒APP等常见新型诈骗手法的识别能力。

熟悉五大举报渠道与应急处置流程，建立权益维护意识。

形成可签字留存的个人AI使用承诺书与风险自查清单。

在团队中承担AI安全「种子讲师」角色，传递规范使用要求。

【课程对象】企业非IT岗位员工——行政、人力资源、客户服务、销售、市场、财务、运营、生产管理、后勤等工作中可能使用AI工具的相关岗位。

【课程时间】3小时（6小时/天）

【课程大纲】

一、AI应用的风险全景与监管框架

1. AI应用的三类典型风险

数据泄露风险——员工输入即触发数据上传，敏感信息可能进入模型训练链路

隐私违规风险——AI应用超范围收集个人信息、违反最小必要原则

合规违规风险——使用未备案大模型、违反生成内容标识义务等

案例：冯某利用AI起草涉密材料案——字母替换不构成有效脱密，「涉密上网」等同于信息泄露案例：2023年三星半导体20天内三起机密外泄事件——源代码、会议录音、良率数据全部进入OpenAI服务器

案例：2024年8月国家安全部通报——涉密人员违规将涉密素材输入AI写作小程序，造成国家秘密泄露

案例：2025年2月国家计算机病毒应急处理中心捕获仿冒DeepSeek官方APP手机木马

2. 当前AI安全监管态势

TC260《个人用户使用人工智能服务安全指南》（2026年8月24日发布）——核心依据

《生成式人工智能服务管理暂行办法》——服务提供者的合规义务

《人工智能拟人化互动服务管理暂行办法》——AI陪伴类应用专项规范

GB/T 45574—2025《敏感个人信息处理安全要求》——敏感信息分级管控

GB 45438-2025——生成内容标识强制要求

国际监管：欧盟AI法案（最高罚款3500万欧元或全球营收7%）

3. 三层防线：意识·指引·规范

意识层——四大核心安全意识：正确认知、理性对待、适度使用、关注风险

指引层——九大安全使用指引：正规渠道、智能体部署、细阅协议、审慎权限、保护敏感、核验输出、安全更新、权益受损、助力特殊人群

规范层——行为准则：合法使用、生成合成内容标识、不滥用AI输出

工具：TC260九大安全使用指引速查卡二、AI时代的典型威胁与防护要点

1. 深度伪造技术与新型诈骗

AI换脸视频通话——攻击者基于公开素材生成以假乱真的实时视频

AI拟声电话——3秒录音即可完成目标人物声音克隆

仿冒APP与伪造通知——伪装为DeepSeek、豆包等热门AI工具

案例：杭州网警2024年9月通报AI换脸诈骗案件——「假视频」骗倒亲友并完成数十万元转账

案例：湖北黄石「AI拟声装孙子」诈骗案——入选最高人民法院2025年度侵犯财产犯罪典型案例

案例：「梦」生图APP生成毒害内容事件——所使用大模型未通过国家生成式AI服务备案

案例：国家安全部提示「AI中转站」数据泄露风险——部分平台私自截留用户数据并倒卖2. 敏感信息保护与数据合规

第一类禁输：身份识别信息（身份证号、银行卡号、家庭住址）

第二类禁输：生物识别信息（指纹、人脸、声纹）

第三类禁输：商业秘密与内部数据（客户名单、产品良率、未公开财报）

合规依据：GB/T 45574—2025《敏感个人信息处理安全要求》

基本原则——非必要不输入；输入内容可能被记录、存储或用于训练

工具：敏感信息分级速查表

3. AI应用的特有威胁

提示词注入——通过构造恶意输入绕过模型安全限制

训练数据投毒——植入恶意样本导致模型偏见或后门

模型窃取——通过API查询逆向还原训练数据

与传统软件安全的本质差异——AI应用面临「数据即指令」的新型攻击面

4. 防范三原则与实战演练

二次核实——涉及转账、付款、提供验证码等行为须通过其他渠道二次确认

谨慎授权——遵循最小权限原则，仅授予业务功能必需的权限

异常警觉——对「过于完美」的合成内容保持识别意识

工具：AI诈骗防范「三不三多」口诀卡

三、AI安全事件应急响应与权益维护

1. 五大举报渠道

12377——中央网信办举报中心，受理互联网违法和不良信息（含涉AI应用乱象）

12381——工业和信息化部，电信用户申诉与政务咨询

12315——国家市场监督管理总局，消费侵权纠纷

12321——工业和信息化部，网络不良与垃圾信息

中国消费者协会——消协智慧315平台，消费纠纷调解

重点提示：12377涉AI应用乱象举报专区于2026年6月开设，建议作为首选渠道

工具：AI权益受损举报电话口袋卡

2. 应急处置五步流程

立即止损——停止使用相关AI工具与服务

评估损失——盘点受影响的数据范围与业务影响

内部报告——按企业制度向信息安全部门报告

外部投诉——选择对应举报渠道提交证据

证据保全——保留原始凭证、聊天记录、支付流水等

3. 企业内部资源对接

信息安全部门在AI安全事件中的角色与职责

内部投诉通道与响应时效承诺

跨部门协作机制——业务部门、IT、HR、合规

四、AI使用行为规范与持续治理

1. 个人AI使用行为准则

合法使用——尊重他人权益，不借助AI实施误导、骚扰、操纵等行为

内容标识——履行生成合成内容标识义务，不恶意裁剪、删除标识

不滥用AI——不伪造身份、不复刻他人作品、不实施违法违规行为

理性认知——AI无法替代真实人际交往，避免沉迷AI情感陪伴

2. 团队协作与种子讲师机制

部门AI安全种子讲师的角色定位与职责

典型案例的内部分享与经验传递

团队AI安全氛围的营造与持续改进

3. 持续学习与制度更新

跟踪TC260新规与行业最佳实践

参与季度AI安全知识更新与部门内部培训

企业AI使用规范的动态调整与执行反馈

工具：AI安全风险自查清单（含九大使用指引自检）

4. 课程核心要点回顾

AI有局限，会产生「幻觉」——关键判断须由人工把关

输入即泄露——三类敏感信息绝不向AI输入

选已备案AI、关闭非必要授权、对关键输出交叉验证

行动指引：先想后输·遇疑即停·不确定时寻求信息安全部门支持