课程

课程介绍

大模型原理简单介绍,各种大模型分析,大模型训练和微调,包括LoRA,PT,FT的原理,glm2-6b微调实战,大模型历史、现状、商业模式和当前中国配套政策。

培训对象

学员基础:Python,微积分,线性代数,概率论,numpy;
程序开发人员,算法工程师,数据分析师。

课程收益

大模型基础;
大模型历史、现状、商业和政策;
LoRA;
PT;
FT;
GLM2-6B微调。

知识概要

-- 大模型的历史发展;
-- 大模型在不同领域的应用;
-- 大模型商业模式;
-- 当前中国的政策支持;
-- 案例研究与讨论;
-- Lora;
-- FT;
-- PT;
-- 实验。

课程大纲

模块

学习内容

第一天

大模型的历史发展

大模型的起源:从早期神经网络到Transformer

重要的里程碑:AlexNet、BERT、GPT系列等

大模型的演进:模型规模与性能的关系

大模型在不同领域的应用

自然语言处理领域

计算机视觉领域

自动驾驶、医疗、金融等领域的案例分析

自动驾驶、医疗、金融等领域的案例分析

大模型商业模式

大模型的商业应用场景

云计算与AI服务

大模型数据许可与访问模式

大模型的商业利润模式

当前中国的政策支持

中国AI产业政策的演变

大模型的政策支持与监管

数据隐私与安全政策

知识产权保护

案例研究与讨论

分析大模型在中国的商业成功案例

政策对企业和行业的影响

介绍Lora、FT和PT的基本原理和方法

未来展望:中国大模型行业的机遇与挑战

第二天

Lora

介绍Lora的背景、原理和优势

讲解Lora的核心技术,包括低秩矩阵分解、稀疏注意力机制和动态投影

演示如何使用Lora对GLM等大模型进行压缩和加速

指导学员进行Lora的实验,包括安装环境、下载数据集、运行代码和评估结果

FT

介绍FT的背景、原理和优势

讲解FT的核心技术,包括参数共享、任务适应和知识蒸馏

演示如何使用FT对GLM等大模型进行微调和迁移一

指导学员进行FT的实验,包括选择任务、加载模型、调整参数和测试性能

第三天

PT

介绍PT的背景、原理和优势

讲解PT的核心技术,包括自监督学习、掩码语言模型和下一句预测

演示如何使用PT对GLM等大模型进行预训练和初始化

指导学员进行PT的实验,包括构建语料库、设计目标函数、训练模型和保存权重

实验

实验室实践:参与者将应用所学知识,进行一个大模型训练和微调的实际项目

案例研究:探讨大模型在实际项目中的成功案例

认证过程

无认证考试

开班信息

  • 课程名称:AI大模型微调与部署实战
  • 时间:01/09-01/11考试费用:
  • 地点:上海市恒通路一天下大厦A802培训费用:8800 RMB
  • 联系人:吴老师邮箱:johnson.wu@consultfuture.com
  • 电话:021-63530102-813传真:021-63530102-818
我要报名