ChatGPT和AIGC技术过程

ChatGPT如何赋能企业管理

大数据与人工智能实战专家—李家贵老师

广东省人工智能与大数据中心技术总监/数据中台部总经理/CDO

课程大纲：

一、ChatGPT改变世界

宏观认知

1.1.1 二季度政治局会议关于chatGPT会议结论的政策解读

1.1.2 人工智能的iphone时刻/登火箭时不要问坐那个座位

1.1.3 AI的影响可能是反人性的

1.1.4 chatGPT的影响可能是文艺复兴级的

1.1.5 新的大国竞争和wintel联盟

1.1.6 上一轮人工智能进入尾声

案例：5000万美金的朋友圈

ChatGPT的先进性

1.2.1 ChatGPT具备诸多先进性特征

1.2.2 ChatGPT 提升的核心点

1.2.3 ChatGPT 提升的原因

1.2.4 ChatGPT 提升的领域

1.2.5 ChatGPT得益于通用（基础）模型所构建 AI 系统的新范式

ChatGPT的局限性

机器幻觉

知识库问题

信息安全

跨境传输

预训练和微调

2.1 什么是预训练

为什么要预训练--中文表现不佳

为什么要预训练--领域知识不足

为什么要预训练--有时候微调不解决问题

为什么要预训练--行业实践

预训练的目的

领域差距是什么？

数据问题

预训练过程

分词

词表扩充

数据源采样

中文预训练集

关于数据的结构化

C-Eval

2.2什么是微调

Instruct tuning

Prompt tuning

Instruct-GPT paper

Alpaca微调过程

Vicuna-13B 的训练、评估和推理

微调国内实践

数据处理

使用RLHF来优化模型

模型优化思路

通过引入判别模型代替人工打分

基于强化学习RL 进行语言模型微调优化

人类反馈的强化学习RL的总流程

大实验：利用竹间智能平台一起共创一个微调政务大模型(0.5天-1天）

其他AIGC实践

zero-shot vs few shot

多模态的实现:GPT识图识声

Stable Diffusion: 文生图

SigmentAnything Model: 图片分割