大模型本地部署

课程目标

本课程旨在使学员深入理解大模型本地部署的原理、流程和关键技术，具备独立完成常见大模型本地部署的能力，并能够根据实际需求对部署进行优化和维护。通过理论学习与实践操作相结合，让学员掌握从环境搭建、模型选择与下载、部署实施到性能优化的全流程技能，为在实际工作或研究中应用大模型奠定坚实基础。

课程对象

对大模型技术有兴趣，希望深入了解并掌握本地部署技能的技术爱好者

企业中需要在本地环境部署大模型以满足业务需求（如数据安全、定制化服务等）的工程师

课程大纲

第一讲：大模型简介

一、 定义与概念

1. 大模型的定义

2. 大模型的应用领域

3. 大模型本地部署的意义

二、 本地大模型的工作原理

1. 模型架构

2. 工具链

3. 本地知识库

第二讲：本地部署环境搭建

一、 硬件需求

1. CPU

2. GPU

3. 内存

4. 存储

二、 软件环境

1. 操作系统

2. 工具链的介绍

3. UI工具的介绍

第三讲：大模型选择与下载

一、 开源大模型介绍

1. LLaMA 系列

2. Deepseek系列

3. Qwen 系列

4. 其他知名开源模型

第四讲：大模型本地部署流程

一、 使用工具部署

1. Ollama 部署

2. llama部署

3. vLLM部署

4. LM Studio部署

二、 部署后的优化与维护

1. 性能优化

2. 模型更新与维护

第五讲：项目介绍与目标设定

一、 项目实施步骤

1. 需求分析（大模型使用的方向）

2. 环境搭建（桌面系统与硬件）与模型要求（模型名称）

3. 部署与优化

4. 集成与测试