人工智能“最强模型”transformer详解-2天

人工智能“最强模型”transformer详解

【课程简介】

Transformer 是迄今为止人工智能领域的最新和最强大的模型类别之一。它几乎正在凭借一己之力来推动深度学习的又一波重大进步。Transformer 模型充分运用了称为注意力和自注意力机制，以检测系列（或图像）中元素相互影响和相互依赖的微妙关系。本课程通过2天时间的详细介绍，可使学习者初步了解Transformer的原理、应用场景、最新发展等。

【课程收益】

掌握深度学习框架：TensorFlow、pytorch等；

理解“自监督学习”在当代AI领域的核心作用；

掌握Transformer背景知识、相关理论与实践；

理解Transformer在NLP领域和CV领域的应用场景；

为学员的后续项目应用提供针对性的建议。

【课程特点】

本课程力图理论结合实践，强调从零开始，重视动手实践；课程内容以原理讲解为根本，以应用落地为目标。课程通过大量形象的比喻和手算示例来解释复杂的理论，既能将原理充分讲懂讲透，也避免了繁复而枯燥的公式推导。

【课程对象】

理工科本科以上，或至少了解一种编程语言。

时间

内容

案例实践与练习

第一天上午

深度学习知识

BP神经网络

人工神经元及感知机模型

Sigmoid激活函数

前向神经网络的架构

梯度下降

误差反向传播详解

深度学习基础

连接主义的兴衰

深度学习与神经网络

目标函数与激励函数

学习步长

权重初始化

权重衰减（Weight Decay）

梯度下降的方法

案例实践：

手算神经网络BP算法

只用numpy，手推BPNN

深度BP网络实现手写数字的识别

各种梯度下降方法的实战效果

第一天上午

CV初步

CNN

图像分类概述

AlexNet与ZF-Net

VGG（5层变为5组）

迁移学习

GoogLenet

模型退化与ResNet

DenseNet（充分利用特征）

最新的efficientnet

VAE与GAN

图像生成模型

AE与VAE

DAE

GAN

改进的GAN

案例实践：

VGG各层的可视化展现

迁移学习：猫狗大战

VAE生成的数字

StyleGAN

第二天上午

RNN与W2V

循环神经网络

RNN基本原理

LSTM、GRU

双向循环神经网络

编码器与解码器结构

seq2seq模型

初识Attention

NIC模型

词向量基础（word2vec）

W2V:CBOW

W2V:skip-gram

W2V:Hierachical Softmax

W2V:Negative Sampling

案例实践：

股票交易数据的预测；

谁和小鱼儿最相似？

SnowNLP：褒义的中性词

Word2vec代码解读

第二天下午

Transformer以及发展

Transformer

所有你需要的仅仅是“注意力”

Transformer中的block

自注意力机制

多头注意力

位置编码（抛弃RNN）

Batch Norm与Layer Norm

解码器的构造

BERT

BERT整体架构

Masked-LM

Next Sentence Prediction

改造下游任务

WordPiece作为输入

CV领域的Transformer

iGPT

Vision Transformer（ViT）

BEiT

MAE令人惊奇的效果

MAE详解

未来可期：MaskFeat等

案例实践：

手推Transformer

BERT代码解读

BERT下游任务的改造

BEiT的效果