大数据技术及应用

《大数据技术及应用》课程教学大纲

一 、课程基本信息

课程名称

大数据技术及应用（英文名称） Big data technology and App lic

ation

课程学时

理论 8 小时，实验 4 小时

授课方式

多媒体+实践

考核方式

实践考试+课程论文

开课单位

先修课程

C 语言程序设计；Java 程序设计；数据结构；Linux 操作系统；

后续课程

大数据算法；

适用专业

数据科学与大数据技术、人工智能、模式识别与人工智能；信息

技术-职业技术教育方向

二 、课程的性质 、 目的和任务

《大数据技术及应用》 是大数据管理及应用专业人员一 门核心课程 ，也是 该专业的导入课程 ，以引导学生对数据科学与大数据技术与应用有一个全面和

概括性的了解。

通过本课程学习，使学生能较系统地掌握大数据的基本知识、原理和方法， 初步具备大数据的应用、开发的能力 ，为从事大数据分析、建模、可视化奠定 基础 。 目的是让学生了解并掌握四个领域即大数据系统的起源及系统特征；大 数据系统的架构设计及功能目标设计；大数据系统程序开发；企业大数据案例 分析的内容，同时利用真机实验环节以及大数据实训一体机来提升学生对大数

据开发的实践能力；

本课程重点让学生掌握三个方面的内容：

（1）基础篇： 主要包括 HDFS 使用操作、MapReduce 开发； 、HBase 数据库

的开发；

（2）核心篇： YARN 架构、Spark 集群计算；

（3）应用篇： 医药大数据案例分析。

三 、课程教学目标

（一）总体目标

掌握大数据分析的基本理论、技术， 了解大数据分析的典型应用场景、掌

握如何分析数据、解决问题、完成相关研究的方法 ，具有创新和独立思意识。

（二） 具体目标

通过本课程的学习 ，学生应达到如下目标：

1．知识与技能

（1） 了解大数据平台搭建的步骤，掌握大数据的存储、分析的原理；

（2） 了解大数据分析的典型应用场景，例如文本挖掘、Web 广告、聚类、

推荐系统、Web 链接分析、社交网络大数据分析、频繁项集；

（3） 理解大数据分析和挖掘的基本理论技术；

（4） 能获取、处理、分析和应用大数据资源。

2．过程与方法

（1）经过对大数据领域的探索，学会用大数据思维认识、分析和解决问题。

3．情感与态度

（1）通过探究活动，养成认真严谨的学习态度；

（2）通过师生、生生互动交流 ，体验大数据的价值和魅力。

四 、教学内容及教学基本要求

第一讲 大数据概述

（一）教学目的

通过本章的学习掌握大数据基本概念 ，理解大数据的处理流程， 了解大数

据在行业中的应用和未来趋势。

（二） 教学要求

1、解释大数据基本概念；

2、分析大数据的分析处理流程；

3、知道大数据技术应用场景和前景。

（三）教学内容

第一节大数据的概述知识要点： 大数据的定义和特征。

第二节大数据分析的过程、技术及工具知识要点： 大数据的采集、存储方

式、分析技术、展示及应用。

第三节大数据技术的发展前景知识要点： 大数据技术不断发展， 出现更多

的应用项目。

（四）教学重点与难点

1．教学重点： 大数据的基本概念。

2．教学难点： 大数据分析处理的流程。

第二讲 大数据集群系统基础

（一）教学目的

能分析大数据集群 ， 阐明其基本原理； 在虚拟化计算机系统中安装

CentOS 7 操作系统 ，通过 SecureCRT/Xshell 访问 CentOS 7 操作系统 ， 以 三台节点机搭建大数据集群环境。

（二）教学要求

1.掌握虚拟机软件 VMware Workstation 10 及以上和终端仿真程序 SecureCRT/Xshell 的下载、安装和使用方法；

2.掌握 VMware Workstation 10 中安装 CentOS 7 的方法；

3.理解大数据集群相关组成和技术 ，部署大数据集群。

（三）教学内容

第一节 CentOS 大数据集群系统的组成知识要点：CentOS 概念、CentOS 集群系统拓扑图。

第二节 操作实践：大数据集群的部署知识要点：集群规划、网络配置、 安全配置、时间同步、SSH 登录。

（四）教学重点与难点

1．教学重点：VMwareWorkstation、CentOS 7、SecureCRT 的安装和使 用。

2．教学难点： 大数据集群的部署。

第三讲 Hadoop 分布式系统

（一）教学目的

Hadoop 的使用需要搭建一个完整的分布式系统，在理解 Hadoop 工作原 理的基础上配置和运行 Hadoop。

（二）教学要求

1.说明 Hadoop 的运行原理。

2.掌握 Hadoop 环境的安装与配置。

（三）教学内容

第一节 Hadoop 相关技术及生态系统知识要点：构成 Hadoop 生态系统 的相关技术。

第二节 操作实践： Hadoop 安装与配置知识要点： JDK 安装、Hadoop 安装、Hadoop 运行、浏览 Hadoop 页面。

（四）教学重点与难点

1．教学重点：Hadoop 安装过程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。

2．教学难点： Hadoop 安装过程中参数的配置。

第四讲 HDFS 分布式文件系统

（一）教学目的

Hadoop 采用分布式 HDFS，通过本章学习掌握 HDFS 的基本原理，掌握 HDFS

相关的操作命令，并能够应用 Java 对 HDFS 进行编程。（二） 教学要求

1 ． 了解 HDFS 的特点、架构、数据读取过程、数据写入过程。

2. 掌握 HDFS 操作。

（三）教学内容

第一节 HDFS 知识要点： HDFS 设计前提和设计目标、Namenode 和 Datanode、文件系统的名字空间、数据复制、HDFS 读写流程。

第二节 HDFS 操作实践知识要点： HDFSShell、HDFS JavaAPI、Eclipse 开发环境、综合实例。

（四）教学重点与难点

1．教学重点： HDFS 的原理、数据读写的原理。

2．教学难点:HDFS 综合实例。

第五讲 分布式计算系统—MapReduce 及其应用实例

（一）教学目的

Hadoop 采用分布式计算系统 MapReduce，通过本章的学习，掌握 MapReduce 的基本原理、架构以及工作机制 ，并且掌握 MapReduce 的编程操作，从而运用 到实处。

（二）教学要求

1.分析 MapReduce 的基本原理、架构以及工作机制；

2.操作 MapReduce WordCount 编程和 MapReduce 倒排索引编程 ，实现其应 用。

（三）教学内容

第一节 MapReduce 简介知识要点： MapReduce 架构、原理、工作机制。

第二节 MapReduce 操作实践知识要点： MapReduceWordCount 编程实例、 MapReduce 倒排索引编程实例。

（四）教学重点与难点

1.教学重点： MapReduce 的基本原理、架构以及工作机制等知识内容。

2.教学难点：MapReduce WordCount 编程实例；MapReduce 倒排索引编程实 例

实践课 医药大数据案例分析

（一）教学目的

根据大数据系统的需求分析 ，在 Hadoop 框架下 ，基于 Hbase 数据库，综合 应用各项关键技术完成大数据系统的功能。

（二）教学要求

能在 Hadoop 框架下，综合大数据应用系统编程的原理、技术 ，呈现既定的 运行结果。

（三） 教学内容

第一节 项目概述知识要点： 医药电商大数据分析平台的形成背景。

第二节 功能需求知识要点：流量分析、经营状况分析、大数据可视化系统。 第三节 软件关键技术知识要点： 医药电商大数据分析平台的关键技术。

第四节 效果展示知识要点： 各类分析效果图。

第五节 系统构架设计知识要点：系统的组成、协作方式、网络拓扑、建设 方案。

第六节 数据存储设计知识要点：设计流量数据表、订单数据表、会员评价 表。

第七节 数据分析知识要点：采集、分析数据。第八节 数据展示知识要点： 结果数据展示代码。

（四）教学重点与难点

1.教学重点： 大数据系统的需求分析、Hbase 数据库的建立、程序的设计 与实现。

2.教学难点： 程序的设计与实现。

五 、各教学环节学时分配

章节

教学内容

各教学环节学时分配

合 计

讲 授

练 习

研 讨

在线

学习

课 外

其 它

第一讲

大数据概论

1

1

第二讲

大数据集群系统基础

1

1

第三讲

Hadoop 分布式系统

2

2

第四讲

HDFS 分布式文件系统

1

1

2

第五讲

MapReduce 分布式计算

1.5

0.5

2

第 6 讲

医药大数据案例分析

1

3

4

合计

12

六 、教学手段与方法

1.教学手段 :本课程主要采用多媒体、课件演示、实验实训等教学手段进行 教学。

2.教学方法 :本课程主要采用任务驱动、案例教学、讲授与讨论相结合等教 学方法进行教学 。课程内容主要按大数据处理任务进行组织 ，因此可以按解决 相应任务所需的方法技术进行教学组织和实践 。在课程的授课过程中 ，对于学 生难以理解的方法技术都给与案例分析，完整展现相应方法技术是如何实施和 应用的 。另外 ，课程教学过程中 ，可以围绕相关大数据处理的任务组织学生进 行讨论，培养学生主动学习、解决问题的能力。

七 、考核方式 、考核内容及成绩评定

1.考核评价方式

1）过程性考核评价方式。本课程的过程性考核评价方式主要包括：考勤、 作业、讨论、随堂提问等。

2）结果性考核评价方式。本课程的结果性考核评价方式主要是期末考查（开 卷）。根据各章知识点，设计期末考查试卷。

八 、课程教材

[1]朝乐门.数据科学[M].北京：清华大学出版社,2020.

[2]朝乐门.数据科学理论与实践[M].北京：清华大学出版社,2019.

[3]周苏,王文.大数据导论[M].清华大学出版社,2020 第一版

[4]许晶华.管理信息系统[M].广州:华南理工大学出版社,2015.

[5]黄梯云.管理信息系统[M].北京:高等教育出版社,2019.

[6]薛华成.管理信息系统[M].北京:清华大学出版社,2020.