chatGPT-原理与实践2天

chatGPT原理与实践

【课程简介】

本课程旨在通过实际案例展示ChatGPT相关模型的具体应用场景及实践技巧，从而帮助学习者深入了解和掌握ChatGPT的概念和更广泛的应用，深入理解其工作方式，包括其基础知识、核心算法和实现方式，掌握其在各行业领域中的应用情况等。

该课程适合于对ChatGPT技术感兴趣的学习者，从初学者到进阶者均可受益。经过本课程的学习，获得相关技术实战经验，通过一系列的实践案例提高利用chatGPT解决实际问题能力。

【课程时长】

2天（6小时/天）

【课程对象】

理工科本科及以上，且至少了解一门编程语言。

【课程大纲】（培训内容可根据客户需求调整）

时间

内容

案例实践与练习

Day1上午

Transformer基础

1、你需要的仅仅是“注意力”

2、Transformer中的block

3、自注意力机制

4、多头注意力

5、位置编码（抛弃RNN）

6、Batch Norm与Layer Norm

7、解码器的构造

初代GPT

“独角兽”的威力

GPT的内部架构

基于Transformer的改造

自注意力机制的改进

GPT的演进

1、GPT2

2、GPT3

3、GPT3.5

Day1下午

强化学习基础

马尔科夫奖励/决策过程

状态行为值函数

Bellman方程

DP、MC、TD三者的关系

策略梯度方法

信赖域系方法背景

PPO方法

chatGPT的原理介绍

1、指示学习与InstructGPT

2、相关数据集

3、有监督微调（SFT）

4、从人类反馈中RL的思路

5、奖励建模（RM）

6、PPO

Day2上午

训练自用的chatGPT

1、基于chatGLM的微调

2、LoRA

3、Prefix Tuning

4、P-Tuning

5、Prompt Tuning

6、权重量化

7、构建训练数据集

羊驼系列大模型

1、LLaMA

2、Alpaca

3、BELLE

4、RedPajama 数据集

Day2下午

chatGPT及其各种仿制品

1、chatGPT的实测效果

2、文心一言与文心一格

3、ChatGPT的其他平替

4、ChatExcel

5、ChatPDF

chatGPT的领域应用

1、IT领域

2、金融、保险领域

3、医疗卫生领域

4、教育领域