第一天

大模型的历史发展

大模型的起源：从早期神经网络到Transformer

重要的里程碑：AlexNet、BERT、GPT系列等

大模型的演进：模型规模与性能的关系

大模型在不同领域的应用

自然语言处理领域

计算机视觉领域

自动驾驶、医疗、金融等领域的案例分析

自动驾驶、医疗、金融等领域的案例分析

大模型商业模式

大模型的商业应用场景

云计算与AI服务

大模型数据许可与访问模式

大模型的商业利润模式

当前中国的政策支持

中国AI产业政策的演变

大模型的政策支持与监管

数据隐私与安全政策

知识产权保护

案例研究与讨论

分析大模型在中国的商业成功案例

政策对企业和行业的影响

介绍Lora、FT和PT的基本原理和方法

未来展望：中国大模型行业的机遇与挑战

第二天

Lora

介绍Lora的背景、原理和优势

讲解Lora的核心技术，包括低秩矩阵分解、稀疏注意力机制和动态投影

演示如何使用Lora对GLM等大模型进行压缩和加速

指导学员进行Lora的实验，包括安装环境、下载数据集、运行代码和评估结果

FT

介绍FT的背景、原理和优势

讲解FT的核心技术，包括参数共享、任务适应和知识蒸馏

演示如何使用FT对GLM等大模型进行微调和迁移一

指导学员进行FT的实验，包括选择任务、加载模型、调整参数和测试性能

第三天

PT

介绍PT的背景、原理和优势

讲解PT的核心技术，包括自监督学习、掩码语言模型和下一句预测

演示如何使用PT对GLM等大模型进行预训练和初始化

指导学员进行PT的实验，包括构建语料库、设计目标函数、训练模型和保存权重

实验

实验室实践：参与者将应用所学知识，进行一个大模型训练和微调的实际项目

案例研究：探讨大模型在实际项目中的成功案例