课程

课程介绍

本课程以Python和Hadoop作为基础,包含Java基础讲解,并讲解Hadoop体系结构、安装管理。重点是基于Hadoop架构的大数据分析思想及架构设计,通过演示实际的大数据分析案例,使学员能够在较短的时间内理解大数据分析的真实价值。

培训对象

大数据人员,开发人员、架构师、运维工程师、对大数据感兴趣的人士。

课程收益

学会应用Python进行数据分析;
掌握如何使用hadoop架构应用于大数据分析过程;
能够快速提升成为兼有理论和实战的大数据分析师。

知识概要

-- python开发基础;
-- python数据分析; 
-- Hadoop大数据管理实战应用。

课程大纲

模块

学习内容

第一天

python开发基础

Python概述

1)计算机语言概述 2)python简史 3)python相关

python语法基础

1)Python环境配置 2)python基础语法 3)变量 4)数据类型

5)表达式和运算符 6)分支结构 7)循环结构

函数

1)函数初步 2)细说参数 3)变量作用域 4)递归调用

内置函数

1)字符串相关-string 2)列表-list 3)元组-tuple 4)集合-set 5)字典-dict

第二天

python数据分析

数据科学和AI概述

数据结构和算法

Python 数据分析与数据挖掘简介、环境搭建

Python数据分析工具箱

数据加载与存储

数据规范化和处理

数据分析

数据挖掘

数据可视化

第三天

Hadoop大数据管理实战应用

Hadoop与大数据概要

1)Hadoop生态系统介绍 2)Hadoop集群安装与部署 3)Hadoop独立部署

4)Hadoop伪分布式安装部署 5)Hadoop集群安装与部署 6)Hadoop配置参数详解

7)Hadoop配置故障诊断

HDFS系统管理

1)HDFS体系结构 2)HDFS读写过程-串行写与并行读

3)HDFS 管理接口-HDFS shell && HDFS Web Interface 4)HDFS 新增节点

5)HDFS 删除节点 6)HDFS 版本升级 7)HDFS 高可用性方案完全解析

Map/Reduce架构与原理

1)Map/Reduce体系结构 2)Map/Reduce任务调度策略 3)Map/Reduce 性能调优

4)Map/Reduce管理接口-Map/Reduce shell && Map/Reduce Web Interface

5)Map/Reduce 类SQL工具Hive介绍

HBASE架构与原理

1)HBASE体系结构 2)HBASE物理存储 3)HBASE流程算法 4)HBASE与RDBMS的比较

5)HBASE管理接口HBase Shell&& HBase Web Interface 6)Zookeeper介绍

Hadoop平台操作实践

1)Hadoop集群部署 2)Hadoop文件管理 3)Hadoop数据管理 4)Hadoop集群监控

5)大数据应用案例分析

认证过程

无认证考试

开班信息

暂无开班信息