大模型原理简单介绍,各种大模型分析,大模型训练和微调,包括LoRA,PT,FT的原理,glm2-6b微调实战,大模型历史、现状、商业模式和当前中国配套政策。
学员基础:Python,微积分,线性代数,概率论,numpy; 程序开发人员,算法工程师,数据分析师。
大模型基础; 大模型历史、现状、商业和政策; LoRA; PT; FT; GLM2-6B微调。
-- 大模型的历史发展; -- 大模型在不同领域的应用; -- 大模型商业模式; -- 当前中国的政策支持; -- 案例研究与讨论; -- Lora; -- FT; -- PT; -- 实验。
学习内容
大模型的历史发展
大模型的起源:从早期神经网络到Transformer
重要的里程碑:AlexNet、BERT、GPT系列等
大模型的演进:模型规模与性能的关系
大模型在不同领域的应用
自然语言处理领域
计算机视觉领域
自动驾驶、医疗、金融等领域的案例分析
大模型商业模式
大模型的商业应用场景
云计算与AI服务
大模型数据许可与访问模式
大模型的商业利润模式
当前中国的政策支持
中国AI产业政策的演变
大模型的政策支持与监管
数据隐私与安全政策
知识产权保护
案例研究与讨论
分析大模型在中国的商业成功案例
政策对企业和行业的影响
介绍Lora、FT和PT的基本原理和方法
未来展望:中国大模型行业的机遇与挑战
Lora
介绍Lora的背景、原理和优势
讲解Lora的核心技术,包括低秩矩阵分解、稀疏注意力机制和动态投影
演示如何使用Lora对GLM等大模型进行压缩和加速
指导学员进行Lora的实验,包括安装环境、下载数据集、运行代码和评估结果
FT
介绍FT的背景、原理和优势
讲解FT的核心技术,包括参数共享、任务适应和知识蒸馏
演示如何使用FT对GLM等大模型进行微调和迁移一
指导学员进行FT的实验,包括选择任务、加载模型、调整参数和测试性能
PT
介绍PT的背景、原理和优势
讲解PT的核心技术,包括自监督学习、掩码语言模型和下一句预测
演示如何使用PT对GLM等大模型进行预训练和初始化
指导学员进行PT的实验,包括构建语料库、设计目标函数、训练模型和保存权重
实验
实验室实践:参与者将应用所学知识,进行一个大模型训练和微调的实际项目
案例研究:探讨大模型在实际项目中的成功案例
无认证考试
大数据中台建设与落地实践
中国的IT产业经历了十多年的发展,已经获得了长足的进步。未来IT产业新的增长点包括数字产业、机器学习、人工智能。但当我们真正要开展这类业务时,却惊奇地发现,没有数据中台,我们什么都干不了。
开课时间:暂无
企业级湖仓一体化数据湖平台实践
中共中央、国务院《关于构建更加完善的要素市场化配置体制机制的意见》首次将“数据”作为新型生产要素,与土地、劳动力、资本、技术等传统要素并列为要素之一,提出要加快培育数据要素市场,对企业数字化转型有着极其重要的意义。
企业级数据资产管理体系建设与运营最佳实践
企业数字化、智能化、数据中台时代数据资产运营与企业数字化转型最佳实践。