大模型原理简单介绍,各种大模型分析,大模型训练和微调,包括LoRA,PT,FT的原理,glm2-6b微调实战,大模型历史、现状、商业模式和当前中国配套政策。
学员基础:Python,微积分,线性代数,概率论,numpy; 程序开发人员,算法工程师,数据分析师。
大模型基础; 大模型历史、现状、商业和政策; LoRA; PT; FT; GLM2-6B微调。
-- 大模型的历史发展; -- 大模型在不同领域的应用; -- 大模型商业模式; -- 当前中国的政策支持; -- 案例研究与讨论; -- Lora; -- FT; -- PT; -- 实验。
学习内容
大模型的历史发展
大模型的起源:从早期神经网络到Transformer
重要的里程碑:AlexNet、BERT、GPT系列等
大模型的演进:模型规模与性能的关系
大模型在不同领域的应用
自然语言处理领域
计算机视觉领域
自动驾驶、医疗、金融等领域的案例分析
大模型商业模式
大模型的商业应用场景
云计算与AI服务
大模型数据许可与访问模式
大模型的商业利润模式
当前中国的政策支持
中国AI产业政策的演变
大模型的政策支持与监管
数据隐私与安全政策
知识产权保护
案例研究与讨论
分析大模型在中国的商业成功案例
政策对企业和行业的影响
介绍Lora、FT和PT的基本原理和方法
未来展望:中国大模型行业的机遇与挑战
Lora
介绍Lora的背景、原理和优势
讲解Lora的核心技术,包括低秩矩阵分解、稀疏注意力机制和动态投影
演示如何使用Lora对GLM等大模型进行压缩和加速
指导学员进行Lora的实验,包括安装环境、下载数据集、运行代码和评估结果
FT
介绍FT的背景、原理和优势
讲解FT的核心技术,包括参数共享、任务适应和知识蒸馏
演示如何使用FT对GLM等大模型进行微调和迁移一
指导学员进行FT的实验,包括选择任务、加载模型、调整参数和测试性能
PT
介绍PT的背景、原理和优势
讲解PT的核心技术,包括自监督学习、掩码语言模型和下一句预测
演示如何使用PT对GLM等大模型进行预训练和初始化
指导学员进行PT的实验,包括构建语料库、设计目标函数、训练模型和保存权重
实验
实验室实践:参与者将应用所学知识,进行一个大模型训练和微调的实际项目
案例研究:探讨大模型在实际项目中的成功案例
无认证考试
人工智能训练师(三级)进阶
随着人工智能技术的快速发展,社会对相关专业人才的需求不断增加。上海交通大学凭借其在人工智能领域的学科优势和科研实力,开展人工智能训练师培训项目,旨在培养适应市场需求的专业技术人才。
开课时间:暂无
人工智能训练师(三级)基础
DeepSeek核心技术原理和本地部署微调实战
随着人工智能技术的快速发展,智能助手(如DeepSeek-V3)在多模态理解、个性化交互、知识推理等领域的应用日益广泛。DeepSeek-V3作为深度求索公司推出的第三代智能助手,凭借其先进的核心技术(如大规模预训练、多模态理解、上下文感知等),在智能客服、内容创作、教育、医疗等领域展现了强大的潜力。