Hadoop 管理实战应用培训

课程介绍

        本系列课讲解目前主流的Hadoop版本Cloudera Hadoop 5(这里采用cdh5.1),该版本相比0.20.x,性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多,但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,从而形成一功能强大的分布式平台。本课会分享一些本人所在团队研究的适用于企业级开发和应用的框架和工具,这些有效提高了开发效率,大大降低了维护成本,这些正是我们多年实战的结晶。

培训对象

          部署、管理和监控Hadoop集群的IT管理员及运维人员,以及进行Hadoop等云计算项目规划的咨询师,要求具有一定linux操作基础。

知识概要 

  • Hadoop与大数据概要       

    •  Hadoop独立部署

    •  Hadoop伪分布式安装部署

    •  Hadoop集群安装与部署

    •  Hadoop配置参数详解

    •  Hadoop配置故障诊断

  • HDFS系统管理

    •  HDFS体系结构

    •  HDFS读写过程-串行写与并行读

    •  HDFS 管理接口-HDFS shell && HDFS Web Interface

    •  HDFS 新增节点

    •  HDFS 删除节点

    •  HDFS 版本升级

    •  HDFS 高可用性方案完全解析

  • Map/Reduce架构与原理

    •  Map/Reduce体系结构

    •  Map/Reduce管理接口-Map/Reduce shell && Map/Reduce Web Interface

    •  Map/Reduce任务调度策略

    •  Map/Reduce 性能调优

    •  Map/Reduce SQL工具Hive介绍

  • HBASE架构与原理

    •  HBASE体系结构

    •  HBASE物理存储

    •  HBASE关键流程算法

    •  HBASE管理接口-HBase Shell&& HBase Web Interface

    •  HBASERDBMS的比较

    •  Zookeeper介绍

  • Hadoop平台操作实践

    •  Hadoop集群部署

    •  Hadoop文件管理

    •  Hadoop数据管理

    •  Hadoop集群监控

    •  大数据应用案例分析