大数据Hadoop基础培训及实战培训

[pic]

大数据Hadoop基础培训及实战培训



课程定位与课程目标



现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但

成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，同时这种惯性所带的缺

点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数

据源在组织内从未被挖掘。这就是Hadoop与传统数据处理方式最大的不同。Hadoop带来

了廉价的处理大数据（大数据的数据容量通常是10-

100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。

本课程就重点探讨云计算与Hadoop系统的组成部分，并解释各个组成部分的功能。

[pic]

适用学员：从IT行业和通信行业的构架师、数据分析师、程序员、工程师、产品经理

课程设计：

|课程编号： |21090203016 |

|授课课时: |12学时 |

|授课条件： |学员必须具有基本的计算机知识 |

|内容摘要： | |

| |第一讲：Hadoop分布式系统 |

| |什么是Hadoop |

| |——发展简史 |

| |——体系构架 |

| |——厂家支持度与兼容 |

| |为什么要选择Hadoop |

| |——竞争环境 |

| |——性能比拼 |

| |Hadoop关键词和术语 |

| | |

| |第二讲：Hadoop平台安装 |

| |1. 部署条件 |

| |支持平台 |

| |所需软件 |

| |安装软件 |

| |2. 下载源 |

| |3. 运行Hadoop集群的准备工作 |

| |4. Hadoop单机操作方法 |

| |5. 伪分布式模式的操作 |

| |配置文件 |

| |免密码Shh设置 |

| |执行程序 |

| | |

| |第三讲： Hadoop集群搭建与规划 |

| |1. Hadoop软件安装 |

| |2. Master配置 |

| |3. Slave配置 |

| |4. 初始化和启动Hadoop集群 |

| |初始文件系统 |

| |启动 Hadoop |

| |停止 Hadoop |

| |5. 测试用例 |

| |6. 管理界面与命令 |

| | |

| |第四讲：Hadoop资源调度 |

| |1. HDFS特点与角色 |

| |2. MapReduce介绍 |

| |3. 综合架构分析 |

| |4. MapReduce应用 |

| | |

| |第五讲：Hadoop集群性能评估测试 |

| |1. Hadoop的测试方法 |

| |2. Mapred-site.xml测试结果 |

| |3. 调度算法和压缩算法 |

| |4. Core-site.xml测试结果 |

| |5. 整体系统测试工具 |

| | |

| |第六讲：Hadoop集群监控和故障排除 |

| |1. Hadoop的系统监控 |

| |2. Hadoop中的命令总结 |

| |3. NameNode与JobTracker单点故障说明 |

| |4. 经验总结 |

| | |

| |第七讲：Hadoop运维与管理服务 |

| |1. 解决tasktracker存在，但无法reduce的问题 |

| |2. 解决单个datanode无法启动的问题 |

| |3. 性能查询常用命令 |

| |4. 状态获取常用命令 |

| |5. 其它日常问题说明 |

| | |

| |第八讲：Hadoop应用案例 |

| |全球最大超市业者 Wal-Mart |

| |全球最大拍卖网站 eBay |

| |全球最大信用卡公司 Visa |

| |4. 全球最多用户社交圈Facebook |

| |5. 经验总结 |

|授课语言： |中文 |