AI大模型全栈工程师实战训练营

面授+直播

+视频回放

面授

地点时间

广州

3月26-28日

北京

6月28-30日

成都

10月27-29日

长沙

12月24-26日

直播时间

面授同步直播

面授同步直播

面授同步直播

面授同步直播

增值服务

提供视频回放免费学习一年

学习平台

PC端：https://it.zpedu.com/      移动端APP：IT云课

第一天

预备知识第一节：

大模型理论知识

1. 初探大模型：起源与发展

2. GPT模型家族：从始至今

3. 大模型-GPT-ChatGPT的对比介绍

4. 大模型实战-大模型2种学习路线的讲解

5. 大模型最核心的三项技术：模型、微调和开发框架

6. OpenAl GPT系列在线大模型技术生态

7. OpenAl文本模型A、B、C、D四大模型引擎简介

8. OpenAl语音模型Whisper与图像型DALL·E模型介绍

9. 最强Embedding大模型text-embedding-ada模型介绍

10. 全球开源大模型性能评估榜单

11. 中文大模型生态介绍与GLM 130B模型介绍

12. ChatGLM模型介绍与部署门槛

13. ChatGLM开源生态：微调、多模态，WebUI等项目简介

预备知识第二节：

自注意力机制、Transformer模型、BERT模型

1. RNN-LSTM-GRU等基本概念

2. 编码器、解码器

3. 自注意力机制详解

4. Transformer

5. Mask Multi-Head Attention

6. 位置编码

7. 特定于任务的输入转换

8. 无监督预训练、有监督Fine-tuning

9. BERT思路的理解

10. BERT模型下游任务的网络层设计

11. BERT的训练

12. HuggingFace中BERT模型的推断

13. 基于上下文的学习

14. 代码和案例实践：

15. 基本问答系统的代码实现

16. 深入阅读理解的代码实现

17. 段落相关性代码实现

第一节：

GPT1、GPT2、GPT3、ChatGPT原理与实战

1. 监督微调（SFT）模型

2. 指示学习和提示学习

3. 简单提示、小样本提示、基于用户的提示

4. 指令微调

5. RLLHF技术详解（从人类的反馈中学习）

6. 聚合问答数据训练奖励模型（RM）

7. 强化学习微调、PPO、InstructGPT遵循用户意图使用强化学习方案

8. Instruct Learning vs. Prompt Learning

9. ChatGPT增加了Chat属性

10. AI系统的新范式

11. GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技术关系

12. 代码和案例实践：

13. 使用ChatGPT打造你的私人聊天助理

14. 演示提示词技巧，翻译器润色器、JavaScript 控制台 、Excel Sheet

15. 网站定制chatgpt-web

第二节：

Embedding模型实战

1. 大模型技术浪潮下的Embedding技术定位

2. Embedding技术入门介绍

3. 从Ono-hot到Embedding

4. Embedding文本衡量与相似度计算

5. OpenAl Embedding模型与开源Embedding框架

6. 两代OpenAl Embedding模型介绍

7. text-embedding-ada-002模型调用方法详解

8. text-embedding-ada-002模型参数详解与优化策略

9. 借助Embedding进行特征编码

10. Embedding结果的可视化展示与结果分析

11. 【实战】借助Embedding特征编码完成有监督预测

12. 【实战】借助Embedding进行推荐系统冷启动

13. 【实战】借助Embedding进行零样本分类与文本搜索

14. Embedding模型结构微调优化

15. 借助CNN进行Embedding结果优化

16. 【企业级实战】海量文本的Embedding高效匹配

第三节：

LLM应用程序技术栈和提示词工程Prompt Enginerring

1. 设计模式：上下文学习

2. 数据预处理/嵌入

3. 提示构建/检索

4. 提示执行/推理

5. 数据预处理/嵌入

6. Weaviate、Vespa 和 Qdrant等开源系统

7. Chroma 和 Faiss 等本地向量管理库

8. pgvector 等OLTP 扩展

9. 提示构建/检索

10. 提示执行/推理

11. 新兴的大语言（LLM）技术栈

12. 数据预处理管道（data preprocessing pipeline）

13. 嵌入终端（embeddings endpoint ）+向量存储（vector store）

14. LLM 终端（LLM endpoints）

15. LLM 编程框架（LLM programming framework）

16. LangChain的主要功能及模块

17. Prompts: 这包括提示管理、提示优化和提示序列化

18. LLMs: 这包括所有LLMs的通用接口，以及常用的LLMs工具

19. Document Loaders: 这包括加载文档的标准接口，以及与各种文本数据源的集成

20. Utils: 语言模型在与其他知识或计算源的交互

21. Python REPLs、嵌入、搜索引擎等

22. LangChain提供的常用工具

23. Indexes：语言模型结合自定义文本数据

24. Agents：动作执行、观测结果，

25. LangChain的代理标准接口、可供选择的代理、端到端代理示例

26. Chat：Chat模型处理消息

27. 代码和案例实践：

28. LLM大模型的使用

29. Prompts的设计和使用

第二天

第四节：

LangChain的使用

1. 构建垂直领域大模型的通用思路和方法

2. (1) 大模型+知识库

3. (2) PEFT(参数高效的微调)

4. (3) 全量微调

5. (4) 从预训练开始定制

6. LangChain介绍

7. LangChain模块学习-LLMs 和 Prompts

8. LangChain之Chains模块

9. LangChain之Agents模块

10. LangChain之Callback模块

11. Embedding嵌入

12. 自定义知识库

13. 知识冲突的处理方式

14. 向量化计算可采用的方式

15. 文档加载器模块

16. 向量数据库问答的设计

17. Lanchain竞品调研和分析

18. Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index

19. LlamaIndex介绍

20. LlamaIndex索引

21. 动手实现知识问答系统

22. 代码和案例实践：

23. 动手实现知识问答机器人

24. LangChain文本摘要

25. PDF文本阅读问答

第五节：

国产大模型ChatGLM

1. 新一代GLM-4模型入门介绍

2. 智谱Al Mass开放平台使用方法03GLM在线大模型生态介绍

3. CharGLM、CogView. Embedding模型介绍

4. GLM在线知识库使用及模型计费说明

5. GLM模型API一KEY获取与账户管理方法

6. GLM模型SDK调用与三种运行方法

7. GLM4调用函数全参数详解

8. GLM4 Message消息格式与身份设置方法

9. GLM4 tools外部工具调用方法

10. GLM4 Function calling函数封装12GLM4接入在线知识库retrieval流程

11. GLM4接入互联网web_search方法

12. 【实战】基于GLM4打造自动数据分析Agent

13. 【实战】基于GLM4的自然语言编程实战

14. 【实战】基于GLM4 Function call的用户意图识别

15. 【实战】基于GLM4的长文本读取与优化

第六节：

Sora大模型技术优势

1. 什么是Sora

2. Sora视频生成能力

3. Sora技术独特之处

4. 统一的视觉数据表示

5. 视频压缩网络

6. 扩散型变换器模型

7. 视频压缩与潜在空间

第七节：

语言理解与字幕生成及其应用

1. 使用图像和视频作为提示词

2. 动画DALL·E图像

3. 扩展生成的视频

4. 视频到视频编辑

5. 连接视频

6. 字幕生成

7. 重字幕技术

8. GPT技术应用

第三天

第八节：

图像生成和应用实操

1. 新兴的仿真功能

2. 长期连续性和物体持久性

3. 角色和物体的一致性

4. 视频内容的连贯性

5. 与世界互动

6. 简单影响行为模拟

7. 模拟数字世界

第九节：

应用场景与潜力分析

1. 电影与娱乐产业

2. 游戏开发

3. 教育与培训

4. 广告与营销

5. 科学研究与模拟

6. 生成数据

7. 毕业生职位分类案例研究

8. 提示函数

9. FunctionCalling

10. 提示工程在模型上的应用

11. AI聊天社交应用

12. CallAnnie

13. NewBing

14. AI辅助文章创作

15. 迅捷AI写作

16. ChibiAI

17. AI办公智能助手

18. GrammaAI

19. AI艺术领域创作

第十节：

大模型企业商用项目实战讲解

1. 使用大模型实现推荐系统（商用案例）

2. 使用大模型实现汽车在线销售系统

3. 企业自然语言sql生成（企业内部系统使用）