课程

课程介绍

项目全过程Hadoop沙盘模拟实战,通过一个完整的大数据开发项目及一组实际项目案例,完全覆盖Hadoop开发过程的各个技术体系的实践应用。该项目是一个课堂实践项目,以项目小组的形式进行沙盘实操练习,重点在于强化理解Hadoop项目各个阶段的工作重点,同时明确并强化作为项目管理者的一些基本素质。

培训对象

设计、架构和开发Hadoop解决方案的开发人员;
进行Hadoop等云计算项目规划的咨询师;
要求具有一定linux操作基础的IT相关人员。

课程收益

全面掌握Hadoop的架构原理和使用场景;
全程项目实战训练;
彻底掌握使用Hadoop进行MapReduce程序开发;
熟悉分布式计算领域的常用算法;
掌握Hive、HBase使用与优化技巧。

知识概要

-- Hadoop概要;
-- HDFS架构与原理;
-- Map/Reduce架构与原理;
-- Map/Reduce架构与原理;
-- HBASE架构与原理;
-- Hadoop辅助支持工具。

课程大纲

模块

学习内容

第一天

Hadoop概要

Hadoop生态系统介绍

Hadoop集群安装与部署

Hadoop独立部署

Hadoop伪分布式安装部署

Hadoop集群安装与部署

Hadoop配置参数管理

第二天

HDFS架构与原理

HDFS体系结构

HDFS读写过程-串行写与并行读

HDFS 管理接口-HDFS shell && HDFS Web Interface

HDFS开发与设计

HDFS API接口介绍

HDFS Java接口实例

HDFS开发实例-基于HDFS实现云盘系统

第三天

Map/Reduce架构与原理

Map/Reduce体系结构

Map/Reduce管理接口-Map/Reduce shell && Map/Reduce Web Interface

Map/Reduce开发与设计

Map/Reduce API接口介绍

Map/Reduce Java开发实例

第四天

HBASE架构与原理

HBASE体系结构

HBASE物理存储

HBASE关键流程算法

HBASE管理接口-HBase Shell&& HBase Web Interface

HBASE与RDBMS的比较

HBASE开发与设计

HBASE API接口介绍

HBASE Java接口实例

HBASE优化专题-海量数据写入优化

Hadoop辅助支持工具

Hive-SQL

Pig-通过脚本实现Map/Reduce

Sqoop

认证过程

无认证考试

开班信息

暂无开班信息