《云计算技术提纲》
一、云计算背景
1、什么是大数据？
运营商的数据满足4V 特征：与互联网的对比
大数据对传统架构带来的冲击
各行业对大数据技术的共性需求，催生新技术
运营商对大数据技术的需求
2、云计算主流技术总览
二、云计算主流技术
1、HADOOP 技术
主流技术1：Hadoop 发展简史
主流技术1：Hadoop 技术
主流技术1：Hadoop 技术演进
主流技术1：Hadoop 技术 - HDFS文件管理
主流技术1：Hadoop 技术 - MapReduce
主流技术1：Hadoop 的生态圈
主流技术1：Hadoop 产品
主流技术1：Hadoop 的应用场景
主流技术1：Hadoop 在福建移动的落地实施
2、SPARK 技术
主流技术2：Spark 发展历程
主流技术2：Spark 技术
主流技术2：Spark 适用场景
主流技术2：Spark 四川移动应用案例
3、MPP 技术
主流技术3：MPP 数据库引出
主流技术3：MPP 数据库
主流技术3：MPP 数据库：横向扩展
主流技术3：MPP 数据库：并行执行
主流技术3：MPP 数据库适用场景
4、流计算技术
主流技术4：流处理技术引出
主流技术4：流处理技术
主流技术4：流处理技术产品与应用场景
主流技术4：流处理技术应用场景
主流技术4：流处理技术山西移动案例
5、NOSQL 技术
主流技术5：NoSQL 技术引出
主流技术5：NoSQL 技术
主流技术5：NoSQL 典型产品与应用场景
主流技术5：NoSQL 技术-浙江移动HBase 案例
6、内存数据库技术
主流技术6：内存数据库引出
主流技术6：内存数据库
主流技术6：内存数据库典型产品与应用场景
主流技术6：内存数据库技术-福建移动案例
7、数据采集技术
主流技术7：数据采集技术
主流技术7：数据采集主流技术-Flume 、Kafka
主流技术7： Flume+Kafka应用场景与案例
8、云计算技术如何落地？
如何选择合适的云计算技术
云计算技术在某运营商各省的落地情况汇总
三、Hadoop 的关键技术-M/R原理
1、M/R原理
MRAppMaster 原理及架构
Yarn 的产生
什么是Yarn
Yarn 的架构
2、资源分配
资源表示模型
资源分配模型
本地优化
延迟调度
调度器比较
容量调度器的特点
容量调度器的任务选择
容量调度器的优缺点
队列资源限制
用户限制
任务限制
3、MR 编程接口 4、MR 编程实例
四、HADOOP 关键技术-HDFS 介绍
1、HDFS 介绍
HDFS 设计假设、目标
HDFS 系统架构
HDFS 架构关键设计要点
NameNode/DataNode主从模式
HDFS 主从模式：数据读取流程
HDFS 主从模式：数据写入流程
数据副本机制
元数据持久化
健壮机制
HDFS 架构其他关键设计要点说明
HDFS HA架构
HDFS HA架构要点
HDFS 架构全景图
2、HDFS 架构全景图-(ZooKeeper)
HDFS 参数配置介绍
HDFS 服务配置参数类型说明
HDFS 服务关键配置说明
NameNode 关键配置说明
DataNode 关键配置说明
3、HDFS 应用开发的几个概念
开发环境准备--HDFS 应用开发之Java API篇
典型代码流程--HDFS 应用开发之Java API篇
初始化Filesystem--HDFS 应用开发之Java API篇
目录操作--HDFS 应用开发之Java API篇
文件读取--HDFS 应用开发之Java API篇
文件写入/追加--HDFS 应用开发之Java API篇
SHELL 编程流程--HDFS 应用开发之SHELL 篇
Shell 接口--HDFS 应用开发之SHELL 篇
五、HADOOP 关键技术-HIVE 介绍
1、HIVE 概述
什么是Hive
2、Hive 的架构
• Metastore
• Driver
• Compiler
3、Map/Reduce任务
• Optimizer – 优化器，分为逻辑优化器和物理优化器，分别对
HiveQL
Execution Engine
ThriftServer
Clients
4、Hive 与传统数据库的比较
Hive 的优点
5、HIVE 应用场景
应用案例
任务执行流程
六、HADOOP 关键技术-HBASE
1、HBASE 原理
数据分类与存储
KeyValue 存储
KeyValue 型数据库数据分区方式-一致性Hash 分区
KeyValue 型数据库数据分区方式-按Key 值连续范围分区
2、关于HBase
Region
Region 与RegionServer
Region 分类
Master
ZooKeeper
HDFS
3、HBASE 数据模型
Create Table
KeyValue
HFile
4、HBASE 写流程
涉及的关键角色
客户端发起写数据请求
定位Region
数据分组
往RegionServer 发送写数据请求
Region 写数据流程
HBase LSM Tree
Flush
多HFile 的影响
Compaction
Split
5、HBASE 读流程
Get Or Scan
OpenScanner
Next
Filter
BloomFilter
6、HBASE 高级设计
RowKey 设计
列族与列设计
Secondary Index-Why Secondary Index?
Secondary Index
Replication
Backup/Restore
BulkLoad
CTBase
7、HBase 的接口
HBase Shell
插入一行数据 — Put
读取一行数据 — Get
读取多行数据 — Scan
其它常用Shell API
七、云计算技术平台落地
1、数据分析领域关键技术与业务场景的映射 大数据技术混搭的必要性
大数据技术混搭架构
大数据平台混搭架构
大数据平台混搭架构思考
2、互联网大数据平台混搭案例 – 百度大数据架构 互联网大数据平台混搭方案-阿里大数据服务平台 互联网大数据平台混搭案例 - ebay
3、业界大数据平台混搭解决方案-华为FusionInsight 业界大数据平台混搭产品方案-亚信大数据平台 业界大数据平台混搭解决方案-Teradata UDA
4、某电信运营商大数据平台建设-HDM 混搭模式 某电信运营商大数据平台建设-混搭关键点 移动混搭建设特点-元数据管理
移动混搭建设特点-数据一致性管控
移动混搭建设特点-数据质量管理
移动混搭建设特点-数据质量管理
5、省公司混搭案例：
省公司混搭案例-SD 移动经分混搭案例
省公司混搭案例-ZJ 移动大数据平台混搭案例 省公司混搭案例-FJ 移动大数据平台混搭案例
6、对外服务模式
对外服务-PaaS 、SaaS 、DaaS
对外服务-SaaS
对外服务-PaaS
对外服务-DaaS
数据对外服务的统一管控
1） 对外服务关键点-多租户管理
2） 对外服务关键点-透明网关
3）对外服务关键点-安全管理
对外服务关键点-数据安全管理
对外服务关键点-数据安全管理方法
对外服务关键点-平台安全管理
对外服务关键点-平台安全管理框架
4）对外服务关键点-服务计量
7、对外服务案例
某电信运营商具备大数据典型特点
某电信运营商大数据平台应具备的技术支撑能力 某电信运营商大数据平台建设策略
某电信运营商大数据平台混搭架构总结 大数据平台建设与运营人力资源投入分析 大数据平台运营团队建设
八、总结及展望
《云计算技术提纲》
一、云计算背景
1、什么是大数据？
运营商的数据满足4V 特征：与互联网的对比
大数据对传统架构带来的冲击
各行业对大数据技术的共性需求，催生新技术
运营商对大数据技术的需求
2、云计算主流技术总览
二、云计算主流技术
1、HADOOP 技术
主流技术1：Hadoop 发展简史
主流技术1：Hadoop 技术
主流技术1：Hadoop 技术演进
主流技术1：Hadoop 技术 - HDFS文件管理
主流技术1：Hadoop 技术 - MapReduce
主流技术1：Hadoop 的生态圈
主流技术1：Hadoop 产品
主流技术1：Hadoop 的应用场景
主流技术1：Hadoop 在福建移动的落地实施
2、SPARK 技术
主流技术2：Spark 发展历程
主流技术2：Spark 技术
主流技术2：Spark 适用场景
主流技术2：Spark 四川移动应用案例
3、MPP 技术
主流技术3：MPP 数据库引出
主流技术3：MPP 数据库
主流技术3：MPP 数据库：横向扩展
主流技术3：MPP 数据库：并行执行
主流技术3：MPP 数据库适用场景
4、流计算技术
主流技术4：流处理技术引出
主流技术4：流处理技术
主流技术4：流处理技术产品与应用场景
主流技术4：流处理技术应用场景
主流技术4：流处理技术山西移动案例
5、NOSQL 技术
主流技术5：NoSQL 技术引出
主流技术5：NoSQL 技术
主流技术5：NoSQL 典型产品与应用场景
主流技术5：NoSQL 技术-浙江移动HBase 案例
6、内存数据库技术
主流技术6：内存数据库引出
主流技术6：内存数据库
主流技术6：内存数据库典型产品与应用场景
主流技术6：内存数据库技术-福建移动案例
7、数据采集技术
主流技术7：数据采集技术
主流技术7：数据采集主流技术-Flume 、Kafka
主流技术7： Flume+Kafka应用场景与案例
8、云计算技术如何落地？
如何选择合适的云计算技术
云计算技术在某运营商各省的落地情况汇总
三、Hadoop 的关键技术-M/R原理
1、M/R原理
MRAppMaster 原理及架构
Yarn 的产生
什么是Yarn
Yarn 的架构
2、资源分配
资源表示模型
资源分配模型
本地优化
延迟调度
调度器比较
容量调度器的特点
容量调度器的任务选择
容量调度器的优缺点
队列资源限制
用户限制
任务限制
3、MR 编程接口 4、MR 编程实例
四、HADOOP 关键技术-HDFS 介绍
1、HDFS 介绍
HDFS 设计假设、目标
HDFS 系统架构
HDFS 架构关键设计要点
NameNode/DataNode主从模式
HDFS 主从模式：数据读取流程
HDFS 主从模式：数据写入流程
数据副本机制
元数据持久化
健壮机制
HDFS 架构其他关键设计要点说明
HDFS HA架构
HDFS HA架构要点
HDFS 架构全景图
2、HDFS 架构全景图-(ZooKeeper)
HDFS 参数配置介绍
HDFS 服务配置参数类型说明
HDFS 服务关键配置说明
NameNode 关键配置说明
DataNode 关键配置说明
3、HDFS 应用开发的几个概念
开发环境准备--HDFS 应用开发之Java API篇
典型代码流程--HDFS 应用开发之Java API篇
初始化Filesystem--HDFS 应用开发之Java API篇
目录操作--HDFS 应用开发之Java API篇
文件读取--HDFS 应用开发之Java API篇
文件写入/追加--HDFS 应用开发之Java API篇
SHELL 编程流程--HDFS 应用开发之SHELL 篇
Shell 接口--HDFS 应用开发之SHELL 篇
五、HADOOP 关键技术-HIVE 介绍
1、HIVE 概述
什么是Hive
2、Hive 的架构
• Metastore
• Driver
• Compiler
3、Map/Reduce任务
• Optimizer – 优化器，分为逻辑优化器和物理优化器，分别对
HiveQL
Execution Engine
ThriftServer
Clients
4、Hive 与传统数据库的比较
Hive 的优点
5、HIVE 应用场景
应用案例
任务执行流程
六、HADOOP 关键技术-HBASE
1、HBASE 原理
数据分类与存储
KeyValue 存储
KeyValue 型数据库数据分区方式-一致性Hash 分区
KeyValue 型数据库数据分区方式-按Key 值连续范围分区
2、关于HBase
Region
Region 与RegionServer
Region 分类
Master
ZooKeeper
HDFS
3、HBASE 数据模型
Create Table
KeyValue
HFile
4、HBASE 写流程
涉及的关键角色
客户端发起写数据请求
定位Region
数据分组
往RegionServer 发送写数据请求
Region 写数据流程
HBase LSM Tree
Flush
多HFile 的影响
Compaction
Split
5、HBASE 读流程
Get Or Scan
OpenScanner
Next
Filter
BloomFilter
6、HBASE 高级设计
RowKey 设计
列族与列设计
Secondary Index-Why Secondary Index?
Secondary Index
Replication
Backup/Restore
BulkLoad
CTBase
7、HBase 的接口
HBase Shell
插入一行数据 — Put
读取一行数据 — Get
读取多行数据 — Scan
其它常用Shell API
七、云计算技术平台落地
1、数据分析领域关键技术与业务场景的映射 大数据技术混搭的必要性
大数据技术混搭架构
大数据平台混搭架构
大数据平台混搭架构思考
2、互联网大数据平台混搭案例 – 百度大数据架构 互联网大数据平台混搭方案-阿里大数据服务平台 互联网大数据平台混搭案例 - ebay
3、业界大数据平台混搭解决方案-华为FusionInsight 业界大数据平台混搭产品方案-亚信大数据平台 业界大数据平台混搭解决方案-Teradata UDA
4、某电信运营商大数据平台建设-HDM 混搭模式 某电信运营商大数据平台建设-混搭关键点 移动混搭建设特点-元数据管理
移动混搭建设特点-数据一致性管控
移动混搭建设特点-数据质量管理
移动混搭建设特点-数据质量管理
5、省公司混搭案例：
省公司混搭案例-SD 移动经分混搭案例
省公司混搭案例-ZJ 移动大数据平台混搭案例 省公司混搭案例-FJ 移动大数据平台混搭案例
6、对外服务模式
对外服务-PaaS 、SaaS 、DaaS
对外服务-SaaS
对外服务-PaaS
对外服务-DaaS
数据对外服务的统一管控
1） 对外服务关键点-多租户管理
2） 对外服务关键点-透明网关
3）对外服务关键点-安全管理
对外服务关键点-数据安全管理
对外服务关键点-数据安全管理方法
对外服务关键点-平台安全管理
对外服务关键点-平台安全管理框架
4）对外服务关键点-服务计量
7、对外服务案例
某电信运营商具备大数据典型特点
某电信运营商大数据平台应具备的技术支撑能力 某电信运营商大数据平台建设策略
某电信运营商大数据平台混搭架构总结 大数据平台建设与运营人力资源投入分析 大数据平台运营团队建设
八、总结及展望