大数据应用培训方案

大数据应用

培训方案



一、培训的目的及意义



随着我国智能电网的发展，电力系统发、输、变、配、用电各个环节的信息化进程

不断推进。在用电侧，利用电力大数据分析可以了解产业结构、经济走势、房屋空置率

、区域消费能力等情况，从而可以更好地为经济服务。

　　伴随着智能电网的全面建设，以物联网和云计算为代表的新一代信息通信技术在电

力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。电力与社会经

济的发展密切相关，电力需求变化是经济运行的“晴雨表”和“风向标”，能够真实、客观

地反映国民经济的发展状况与态势。因此，发展电力大数据是电力行业革新的必然过程

。国家电网公司正在制定以云计算和大数据为技术支撑的信息系统方案，以提高国网公

司信息系统的安全性、稳定性、可用性，为公司决策、生产、运营、管理提供更好的支

撑平台，助力公司发展方式的转变。



二、培训对象



公司专兼职信息通信运维及管理人员。



三、培训时间



培训共五天







四、培训内容



大数据（Hadoop）介绍，分布式文件系统应用

MapReduce应用及调优

hadoop集群及管理

hadoop子项zookeeper、hbase、pig、hive、sqoop、rdbms应用

大数据实战



五、课程安排



|日程 |授课主题 |课程安排 |

|第 |Hadoop入门，了解什么|Hadoop产生背景 |

|一 |是hadoop |Hadoop在大数据、云计算中的位置和关系 |

|~ | |国内外Hadoop应用案例介绍 |

|二 | |国内Hadoop的就业情况分析及课程大纲介绍 |

|天 | |分布式系统概述 |

| | |Hadoop生态圈以及各组成部分的简介 |

| | |Hadoop核心MapReduce例子说明 |

| |分布式文件系统HDFS，|分布式文件系统DFS简介 |

| |是数据库管理员的基础|HDFS的系统组成介绍 |

| |课程 |HDFS的组成部分详解 |

| | |副本存放策略及路由规则 |

| | |NameNode Federation |

| | |命令行接口 |

| | |Java接口 |

| | |客户端与HDFS的数据流讲解 |

| | |HDFS的可用性（HA） |

| |初级MapReduce，成为H|如何理解map、reduce计算模型 |

| |adoop开发人员的基础 |剖析伪分布式下MapReduce作业的执行过程 |

| |课程 |Yarn模型 |

| | |序列化 |

| | |MapReduce的类型与格式 |

| | |MapReduce开发环境搭建 |

| | |MapReduce应用开发 |

| | |更多示例讲解，熟悉MapReduce算法原理 |

| |高级MapReduce，高级H|使用压缩分隔减少输入规模 |

| |adoop开发人员的关键 |利用Combiner减少中间数据 |

| |课程 |编写Partitioner优化负载均衡 |

| | |如何自定义排序规则 |

| | |如何自定义分组规则 |

|第 | |MapReduce优化 |

|三 | |编程实战 |

|~ | | |

|四 | | |

|天 | | |

| |Hadoop集群与管理，是|Hadoop集群的搭建 |

| |数据库管理员的高级课|Hadoop集群的监控 |

| |程 |Hadoop集群的管理 |

| | |集群下运行MapReduce程序 |

| |ZooKeeper基础知识， |ZooKeeper体现结构 |

| |构建分布式系统的基础|ZooKeeper集群的安装 |

| |框架 |操作ZooKeeper |

| |HBase基础知识，面向 |HBase定义、HBase与RDBMS的对比 |

| |列的实时分布式数据库|数据模型、系统架构 |

| | |HBase上的MapReduce、表的设计 |

| |HBase集群及其管理 |集群的搭建过程讲解 |

| |HBase客户端 |集群的监控 |

| | |集群的管理 |

| | |HBase Shell以及演示 |

| | |Java客户端以及代码演示 |

|第 |Pig基础知识，进行had|Pig概述 |

|五 |oop计算的另一种框架 |安装Pig |

|天 | |使用Pig完成手机流量统计业务 |

| |Hive，使用sql进行计 |数据仓库基础知识 |

| |算的hadoop框架 |Hive定义、Hive体系结构简介、Hive集群 |

| | |客户端简介 |

| | |HiveQL定义、HiveQL与SQL的比较 |

| | |数据类型 |

| | |表与表分区概念、表的操作与CLI客户端演示 |

| | |数据导入与CLI客户端演示、查询数据与CLI客户端演示|

| | |数据的连接与CLI客户端演示、用户自定义函数（UDF）|

| | |的开发与演示 |

| |Sqoop，hadoop与rdbms|配置Sqoop |

| |进行数据转换的框架 |使用Sqoop把数据从mysql导入到HDFS中 |

| | |使用Sqoop把数据从HDFS导出到mysql中 |

| |结训考试 |结训考试 |