AIGC-6天

基于人工智能的内容生成（AIGC）

【课程简介】

无论是火遍全网的AI绘画，还是震惊世人的ChatGPT，都属于AIGC（基于人工智能的内容生成）这一概念。AIGC并不是一个全新的概念，它最早出现在深度学习模型“对抗生成网络”GAN的应用中，被誉为“21世纪最强大的算法模型之一” ，后续发展起来的扩散模型，以及自然语言领域BERT、GPT等都是典型的AIGC模型。

本课程以AIGC发展历程为主线，由浅入深介绍了AIGC相关模型的技术和应用场景，可以作为AIGC领域学习者的入门到进阶级课程。

【课程时长】

6天（6小时/天）

【课程对象】

理工科本科及以上，且至少了解一门编程语言。

【课程大纲】（培训内容可根据客户需求调整）

时间

内容

案例实践与练习

Day1上午

综述与准备

AIGC综述

AIGC的概念

AIGC的应用场景

AIGC的知识地图

准备工作

概念与术语

Python（Anaconda）的安装

Pycharm的安装与使用

Jupyter Notebook的安装与使用

Tensorflow与pytorch的安装

Opencv、Sklearn工具包的运用

案例实践：

Anaconda安装

Pip install的技巧

Tensorflow-GPU的安装

pytorch的安装

Jupyter Notebook的使用

Opencv的基本例子

Day1下午

基础模型

基础的基础：神经网络

人工神经元及感知机模型

Sigmoid激活函数

前向神经网络的架构

梯度下降

误差反向传播详解

基础的基础：性能评价指标（5）

精确率；

P、R与F1

ROC与AUC

对数损失

泛化性能评价：k折验证验证

案例实践：

手算神经网络BP算法

只用numpy，手推BPNN

Day2上午

深度学习基础

深度学习基础

连接主义的兴衰

深度学习与神经网络的区别与联系

目标函数与激励函数

学习步长

权重初始化

权重衰减（Weight Decay）

梯度下降的方法

避免过适应

图像处理基础：用于分类的CNN

图像分类概述

AlexNet

ZF-Net

卷积层的误差反向传播

池化层的误差反向传播

VGG（5层变为5组）

迁移学习

GoogLenet和Inception模块

模型退化与ResNet

DenseNet（充分利用特征）

最新的efficientnet

案例实践：

通过深度BP网络实现手写数字的识别

各种梯度下降方法的实战效果

Batch normalization的实战效果

VGG各层的可视化展现

迁移学习：识别猫和狗

Resnet用于图像分类

Day2下午

图像生成模型

VAE

GAN

早期图像生成模型：VAE

图像生成模型

AE

VAE

DAE

图像生成经典模型：GAN

生成对抗网络（GAN）

KL散度与JS散度

改进的GAN：DCGAN

加上约束：infoGAN

根本上解决：Wasserstein GAN

Zoo of GAN

案例实践：

GAN生成的数字

VAE生成的数字

babyGAN：特朗普的孩子？

styleGAN：查无此人

Day3上午

图像分类 CNN

图像分类CNN

自然语言处理基础（1）

语言模型

Bi-Gram与N-Gram

机械分词与统计分词

词性标注

命名实体识别

情感分析

自然语言生成基础：RNN

RNN基本原理

LSTM、GRU

双向循环神经网络

编码器与解码器结构

seq2seq模型

Attention

图片->文字的生成：NIC

案例实践：

jieba的分词效果

交易数据的预测；

《绝代双骄》人物关系分析

SnowNLP：褒义的中性词

Show and tell模型效果

Day4上午

自然语言处理

自然语言生成基础：词向量

W2V:CBOW

W2V:skip-gram

W2V:Hierachical Softmax

W2V:Negative Sampling

自然语言生成进阶：Transformer

所需的仅仅是“注意力”

Transformer中的block

自注意力机制

多头注意力

位置编码（抛弃RNN）

Batch Norm与Layer Norm

解码器的构造

案例实践：

藏头诗生成；

《绝代双骄》分析

SnowNLP：褒义的中性词

Word2vec代码解读

手撕Transformer

Day4下午

预训练模型基础

自然语言生成进阶：BERT

BERT整体架构

Masked-LM

Next Sentence Prediction

改造下游任务

WordPiece作为输入

哪些改进起作用？

自然语言生成进阶：GPT

“独角兽”的威力

GPT的内部架构

基于Transformer的改造

自注意力机制的改进

GPT的应用场景

GPT-3

最新的GPT-3.5

基于图像补全的模型：MAE

iGPT

Vision Transformer（ViT）

BEiT

MAE令人惊奇的效果

MAE详解

案例实践：

BERT代码解读

BERT下游任务的改造

让GPT写一篇散文

GPT会做小学应用题吗？

MAE的效果

Day5上午

强化学习

强化学习基础

agent的属性

马尔科夫奖励/决策过程

exploration and exploitation

状态行为值函数

Bellman期望方程

最优策略

强化学习经典方法

策略迭代与价值迭代

蒙特卡洛法

时序差分法

DP、MC、TD的关系

案例实践：

格子世界

谷底的小车

倒立摆

blackjack

Day5下午

深度强化学习

深度强化学习

值函数的参数化表示

值函数的估计过程

深度学习与强化学习的结合

基础的DQN 方法

Double DQN

Prioritized Replay

Dueling Network

基于信赖域的深度强化学习

信赖域系方法背景

信赖域系方法发展路线图

TRPO方法

PPO方法

案例实践：

井字棋

笨鸟先飞：DQN

Day6上午

最新生成模型

扩散模型（图像生成最新模型）综述

1、扩散模型与GAN、VAE的关系

2、扩散模型常用算法

3、扩散模型的应用领域

扩散模型之DDPM

1、整体流程

2、前向与还原步骤

3、训练与采样过程

4、模型结构

5、实验效果

扩散模型之DDIM

1、前提条件

2、优化推理与优化前置条件

4、实验效果

扩散模型之CLIP

1、基本概念

2、模型架构

3、实验效果

案例实践：

DDPM的效果

CLIP的效果

Day6下午

最新生成模型及chatGPT

扩散模型之DALLE-2

1、整体架构

2、PIROR模块与DECODER模块

4、效果对比

扩散模型之Stable-Diffusion

1、整体架构

2、潜在表达得生成模型

3、条件化机制

4、实验效果

chatGPT（自然语言生成最新模型）

1、技术背景

2、主要特点

3、ChatGPT的训练过程

4、InstructGPT与PPO

5、WebGPT和CICERO

6、chatGPT的应用领域

7、chatGPT引发的讨论

案例实践：

异想天开的DALL-E 2

匪夷所思的chatGPT

其他生成模型效果演示