课程

课程介绍

本课程对Spark的不同版本源码彻底研究基础之上提炼而成,涵盖Spark所有内核精髓的剖析和大量的核心源码解读,带您深入了解Spark内核机制和核心优化技巧,商业级别Spark项目的架构设计、实现和优化。并通过商业实战案例真正了解Spark的规划、部署、开发和管理技术。

培训对象

云计算大数据从业者;
Hadoop使用者;
系统架构师、系统分析师、高级程序员、资深开发人员;
牵涉到大数据处理的数据中心运行、规划、设计负责人;
政府机关,金融保险、移动和互联网等大数据来源单位的负责人;
高校、科研院所涉及到大数据与分布式数据处理的项目负责人;
数据仓库管理人员、建模人员,分析和开发人员、系统管理人员、数据库管理及对数据仓库感兴趣的其他人员。

课程收益

了解Spark内核机制和核心优化技巧;
实现商业级别Spark想的架构设计;
通过案例了解Spark的规划和部署。

知识概要

-- Spark生态介绍;
-- Spark安装部署;
-- Spark运行架构和解析;
-- Sparkscala编程;
-- Spark编程模型和解析;
-- Spark 数据挖掘;
-- Spark Streaming原理和实践;
-- Spark的优化;
-- Spark的数据源;
-- Spark Streaming应用及案例分析;
-- 典型项目案例实战。

课程大纲

模块

学习内容

第一天AM

Spark生态介绍

Mapreduce、storm和spark模型的比较和使用场景介绍

Spark产生背景

Spark(内存计算框架)

SparkSteaming(流式计算框架)

Spark SQL(ad-hoc)

Mllib(MachineLearning)

GraphX(bagel将被代)

DlinkDB介绍

SparkR介绍

Spark安装部署

Spark安装简介

Spark的源码编译

Spark Standalone安装

Spark应用程序部署工具spark-submit

Spark的高可用性部署

第一天PM

Spark运行架构和解析

Spark的运行架构

基本术语

Spark on Standalone运行过程

Spark on YARN 运行过程

Spark运行实例解析

Spark on Standalone实例解析

Spark on YARN实例解析

比较 Standalone与YARN模式下的优缺点

Spark scala编程

Scala基本语法与高阶语法

Scala开发环境搭建

Scala开发Spark应用程序

使用java编程

使用python编程

第二天AM

Spark编程模型和解析

Spark的编程模型

Spark编程模型解析

RDD的特点、操作、依赖关系

Spark应用程序的配置

Spark的架构

spark的容错机制

数据的本地性

缓存策略介绍

宽依赖与窄依赖

Spark 数据挖掘

Mllib的介绍

graphX核心原理

table operator和graph operator区别

vertices、edges和triplets介绍

构建一个graph

SparkR原理

SparkR实战

第二天PM

Spark Streaming原理和实践

Spark Streaming与Strom的区别

Kafka的部署

Kafka与Spark Streaming的整合

Spark Streaming原理

Spark流式处理架构

DStream的特点

Dstream的操作和RDD的区别

带状态的transformation与无状态transformation

Spark Streaming的优化

Spark Streaming实例

Streaming的容错机制

streaming在yarn模式下的注意事项

对于需结合第三方存储机制的与流式处理方案

文本实例

网络数据处理

Kafka+Spark Streaming实现日志的实时分析案例

第三天AM

Spark的优化

序列化优化 — Kryo

Spark参数优化实战

Spark 任务的均匀分布策略

Partition key倾斜的解决方案

Spark任务的监控

GC的优化

Spark Streaming吞吐量优化

Spark RDD使用内存的优化策略

Spark在使用中的感想分享

Spark的数据源

Spark与HDFS的整合

HDFS RDD原理和实现

Spark与Hbase的整合

Spark与Cassendera整合

Hbase RDD的分区读取

Hbase RDD的原理和实现

Spark parallelism RDD的工作机制

第三天PM

Spark Streaming应用及案例分析

Spark Streaming产生动机

Spark Streaming程序设计

1)创建DStream

2)基于DStream进行流式处理

Spark Streaming容错与性能优化

1)Spark Streaming容错机制

2)如何对spark Streaming进行优化

Spark Streaming案例分析

基于Spark Streaming的用户标签系统,内容包括项目背景,项目架构以及实施方法

典型项目案例实战

基于spark日志分析

个性化推荐系统:带你揭开其神秘面纱

在线投放引擎

揭开淘宝点击推荐系统的神秘面纱

淘宝数据服务架构—实时计算平台

认证过程

无认证考试

开班信息

暂无开班信息