第一天

实战 Transformers 模型训练

1. 数据集处理库 Hugging Face Datasets

2. Hugging Face Datasets 库简介

3. 数据预处理策略：填充与截断

4. 使用 Datasets.map 方法处理数据集

5. Transformers 模型训练入门

6. 模型训练基类 Trainer

7. 训练参数与超参数配置 TrainingArguments

8. 模型训练评估库 Hugging Face Evaluate

大模型高效微调技术揭秘

1. PEFT 基于重参数化（Reparametrization-based）训练方法

2. LoRA 低秩适配微调 （2021 Microsoft）

3. AdaLoRA 自适应权重矩阵微调 （2023 Microsoft, Princeton, Georgia Tech）

4. QLoRA 量化低秩适配微调 （2023 University of Washington）

5. UniPELT：大模型 PEFT 统一框架（2022）

6. （IA）3：极简主义增量训练方法 （2022）

第二天

7. Before PEFT：Hard Prompt / Full Fine-tune

8. PEFT 主流技术分类介绍

9. PEFT Adapter 技术

10. Adapter Tuning （2019 Google）

11. PEFT – Soft Prompt 技术（Task-specific Tuning）

12. Prefix Tuning （2021 Stanford）

13. Prompt Tuning （2021 Google）

14. PEFT – Soft Prompt 技术（Prompt Encoder）

15. P-Tuning v1 （2021 Tsinghua, MIT）

16. P-Tuning v2 （2022 Tsinghua, BAAI, Shanghai Qi Zhi Institute）

大模型高效微调工具 Hugging Face PEFT 入门与实战

1. Hugging Face PEFT 快速入门

2. PEFT 库是什么？

3. PEFT 与 Transformers 库集成

4. PEFT 核心类定义与功能说明

5. AutoPeftModels、PeftModel

第三天

6. PeftConfig

7. PeftType | TaskType

8. 实战 PEFT 库 LoRA 模型微调

9. OpenAI Whisper 模型介绍

10. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别 3.9.限制控制智能体执行

11. AI调用shell接管控制电脑

实战私有数据微调 ChatGLM3

1. 实战构造私有的微调数据集

2. 使用 ChatGPT 自动设计生成训练数据的 Prompt

3. 合成数据： LangChain + GPT-3.5 Turbo

4. 数据增强：提升训练数据多样性

5. 提示工程：保持批量生成数据稳定性

6. 实战私有数据微调 ChatGLM3

7. 使用 QLoRA 小样本微调 ChatGLM3

8. ChatGLM3 微调前后效果对比

9. 大模型训练过程分析与数据优化