云计算与海量数据处理

培训概述

       通过本培训,让学员了解大数据的本质,以及大数据的应用,特别是在制造业领域的应用,使得学员理解大数据本质的作用,并结合当前热门的云计算的概念,让学员了解大数据是如何让云计算落地实现的。

培训课时:18小时

培训对象:企业员工

培训目标:使学员理解大数据和云计算,已经如何和企业的业务相结合

培训大纲

第一天

一、 虚拟化和云计算技术

1、 网格和云计算

1)、 网格技术的特点

2)、 云计算的服务特性

3)、 大数据就是落地的云

4)、 云计算本身也是大数据的一种业务模式

2、 云计算的省钱模式和费钱缘由

3、 云计算的核心问题

1)、 盈利

2)、 计费

4、 云计算的形态

3)、 公有云和私有云

4)、 混合云

5、 云计算的解决方案

1)、 Hadoop

2)、 OpenStack

3)、 Docker

6、 Hadoop在百度的应用

1)、 日志的存储和统计

2)、 网页数据的分析和挖掘

3)、 商业分析,如用户的行为和广告关注度等

4)、 在线数据的反馈,及时得到在线广告的点击情况

5)、 用户网页的聚类,分析用户的推荐度及用户之间的关联度

第二天

二、 云计算的实现

1、 云计算的综述

a) 什么是云计算

b) 云计算发展历史

2、 云计算的六种服务方式

a) SAAS( Software as a Service ) ;

a) PAAS( Platform as a Service ) ;

b) IAAS( Infrastructure as a Service );

c) 云存储;

d) MSP(管理服务提供);

e) 商业服务平台 。

3、 云计算的体系结构和物理架构

a) 云计算发展路径

b) 云计算体系逻辑结构

c) 云计算体系物理结构

d) 云计算体系特点

4、 云计算对未来it架构的支撑

a) 强化

b) 虚拟化

c) 自动化

5、 云计算的应用

d) 实现模式

e) 优势

f) 实例

三、 什么是大数据

1、 大数据产生的背景

1)、 数据大爆炸的时代

2)、 互联网的激发因素

2、 数据到底是什么

1)、 维基百科的定义

2)、 大数据具有4V的特点

3、 数据计量单位

1)、 人类正式进入ZB时代

2)、 所有的数据单位,到达DB

3)、 例子:目前数据到底有多“大”

四、 大数据的各种应用

1、 用户信息汇总

1)、 一个笑话:顾客要求送披萨饼,客服关切倍至

2)、 工薪阶层如何省小钱

2、 判别

1)、 Target超市使用大数据判断怀孕

2)、 阿里云知道谁需要贷款

3)、 垃圾邮件

3、 推荐系统,精准营销

1)、 奥巴马竞选

2)、 百度搜索风云榜和搜狗热搜榜组织新闻事件

3)、 淘宝首页展现商品

4)、 商用社交开始决定百事可乐的营销计划

4、 用户分层

1)、 中移动挽留流失客户

2)、 陆金所发红包

5、 业务流程的改善

1)、 淘宝店铺的销售流程的改善

2)、 政府网站跳出率降低的改善

第三天

五、 大数据在制造业的应用

1、 大数据在各种领域的介绍

1)、 金融领

2)、 教育领域

3)、 生活娱乐领

2、 详述制造业大量结构化数据和非结构化数据

1)、 产品数据:设计、建模、工艺、加工、测试、维护数据、产品结构、零部件配置关系、变更记录等。

2)、 运营数据:组织结构、业务管理、生产设备、市场营销、质量控制、生产、采购、库存、目标计划、电子商务等。

3)、 价值链数据:客户、供应商、合作伙伴等。

4)、 外部数据:经济运行数据、行业数据、市场数据、竞争对手数据等。

3、 大数据在制造业的作用

1)、 实现智能生产

2)、 实现大规模定制

3)、 有助于提供工艺的水平

4、 大数据构成新一代智能工厂

1)、 传统制造业突破现有生产方式与制造模式的需求---分析需求数据

2)、 非标准化产品生产过程中,产生大量的生产信息与数据

3)、 收集、处理和分析的数据,以反过来指导生产

4)、 两部分数据开展智能生产,生产出高品质的个性化产品

5)、 物联网的结合,迎接工业4.0

六、 大数据处理的实现

1、 强大的计算机

1)、 天河二号

2)、 劳伦斯-利弗莫尔国家实验室的红杉

3)、 美国国防部秃鹰集群

4)、 日本的京

2、 两种技术的对垒:Exadata与Hadoop

1)、 关系型数据库的无奈

2)、 -真实案例:计算一周内基站访问的用户前百位

3)、 非关系型数据库的崛起和短板

4)、 技术普及困难

5)、 无法实现非编程的查询

6)、 巨人和蚂蚁

7)、 价格和运维成本

3、 分布式技术的优势

1)、 Share-Nothing技术

2)、 故障成为正常状态的集群

3)、 分布式存储和分布式计算

4)、 大数据与分析实时的矛盾

5)、 Hadoop和Storm

6)、 Hadoop的原型Google的Big Table

7)、 Hadoop的适用范围

8)、 Storm的流数据处理

9)、 Spark的兴起

4、 大公司的架构

1)、 一号店的数据分析架构

2)、 美图网的日志分析架构

老师介绍:朱老师 

l 上海交通大学  计算机博士   

l 甫崎咨询  云计算特聘专家讲师

l 15以上世界500强公司数据库和IT运维相关工作经验,8年云计算与大数据项目实战经验,擅长指导企业内部私有云的建立;现任某世界500强大型商业银行数据中心技术总监。

Ì 主讲课程

云计算实战,OPENSTACK企业管理和开发实践,VM虚拟化技术培训,大数据实战,mongoDB实战,Hadoop 管理和开发、SPSS/SAS数据分析挖掘、Oracle SQL、Oracle PL/SQL、Oracle Architecture、Oracle 管理、Oracle商业智能OBIEE , 微软SQL Server管理、开发、BI,MYSQL管理开发、等公开课程和企业定制培训

Ì 代表培训客户

三门核电、交通银行、工商银行、平安银行、酒泉钢铁、陆金所、宝钢、西门子、百视通集团、SMG、亿阳信通、上海汉康、虹桥机场、浦东机场、欧尚集团、上海电信等多家知名企业

Ì 证书资质

l CCAH、CCDH证书 (HADOOP管理和开发专家国际认证)

l IBM认证SPSS数据分析挖掘专家

l Oracle OCM  

l RHCE/RHCA/ RHOS

l VMware VCP/VSTP 5