《Python实现大数据挖掘技术培训》课纲

Python实现大数据挖掘技术培训【课程目标】

Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。

本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。

通过本课程的学习，达到如下目的：

全面掌握Python语言以及其编程思想。

掌握常用扩展库的使用，特别是数据挖掘相关库的使用。

学会使用Python完成数据挖掘项目整个过程。

掌握利用Python实现可视化呈现。

掌握数据挖掘常见算法在Python中的实现。

【授课时间】

2-5天时间

（要根据学员的实际情况调整重点内容及时间）

【授课对象】

业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。

【学员要求】

课程为实战课程，要求：

每个学员自备一台便携机(必须)。

便携机中事先安装好Python 3.6版本及以上。

注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

【授课方式】

语言基础 + 挖掘模型 + 案例演练 + 开发实践 + 可视化呈现

采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

【课程大纲】

Python语言基础

目的：掌握基本的Python编程思想与编程语句，熟悉常用数据结构的操作

Python简介

开发环境搭建

Python的安装

扩展库的安装

掌握Python的简单数据类型

字符串的使用及操作

整数、浮点数

掌握基本语句：

if、while、for、print等

基本运算：

函数定义、参数传递、返回值

掌握复杂的数据类型：列表/元组

列表操作：访问、添加、修改、删除、排序

列表切片、复制等

列表相关的函数、方法

元组的应用

复杂数据类型：字典创建、访问、修改、删除、遍历

字典函数和方法

复杂数据类型：集合

掌握面向对象编程思想

创建类、继承类

模块

函数定义、参数传递、返回值

标准库与扩展库的导入

异常处理:try-except块

演练：基本的Python编程语句

Python扩展库

目的：掌握数据集结构及基本处理方法，进一步巩固Python语言

数据挖掘常用扩展库介绍

Numpy数组处理支持

Scipy矩阵计算模块

Matplotlib数据可视化工具库

Pandas数据分析和探索工具

StatsModels统计建模库

Scikit-Learn机器学习库

Keras深度学习（神经网络）库

Gensim文本挖掘库

数据集读取与操作：读取、写入

读写文本文件

读写CSV文件

读写Excel文件

从数据库获取数据集

数据集的核心数据结构（Pandas数据结构）

DataFrame对象及处理方法

Series对象及处理方法

演练：用Python实现数据的基本统计分析功能

数据可视化处理

目的：掌握作图扩展库，实现数据可视化

常用的Python作图库

Matplotlib库

Pygal库

实现分类汇总

演练：按性别统计用户人数

演练：按产品+日期统计各产品销售金额

各种图形的画法

直方图

饼图

折线图

散点图

绘图的美化技巧

演练：用Python库作图来实现产品销量分析，并可视化

数据理解和数据准备

目的：掌握数据预处理的基本环节，以及Python的实现

数据预处理

异常值处理：3σ准则，IQR准则

缺失值插补：均值、拉格朗日插补

数据筛选/抽样

数据的离散化处理

变量变换、变量派生

数据的基本分析

相关分析：原理、公式、应用

方差分析：原理、公式、应用

卡方分析：原理、公式、应用

主成分分析：降维

案例：用Python实现数据预处理及数据准备

分类预测模型实战

常见分类预测的模型与算法

如何评估分类预测模型的质量

查准率

查全率

ROC曲线

逻辑回归分析模型

逻辑回归的原理

逻辑回归建模的步骤

逻辑回归结果解读

案例：用sklearn库实现银行贷款违约预测

决策树模型

决策树分类的原理

决策树的三个关键问题

决策树算法与实现

案例：电力窃漏用户自动识别

决策树算法

最优属性选择算法：ID3、ID4.0、ID5.0

连续变量分割算法

树剪枝：预剪枝、后剪枝

人工神经网络模型（ANN）

神经网络概述

神经元工作原理

常见神经网络算法（BP、LM、RBF、FNN等）

案例：神经网络预测产品销量

支持向量机（SVM）

SVM基本原理

维灾难与核心函数

案例：基于水质图像的水质评价

贝叶斯分析

条件概率

常见贝叶斯网络

数值预测模型实战

常用数值预测的模型

通用预测模型：回归模型

季节性预测模型：相加、相乘模型

新产品预测模型：珀尔曲线与龚铂兹曲线

回归分析概念

常见回归分析类别

回归分析常见算法

梯度上升/下降法

普通最小二乘法OLS

局部加权线性回归LWLR

岭回归（RR）

套索回归Lasso

ElasticNet回归

聚类分析（客户细分）实战

客户细分常用方法

聚类分析（Clustering）

聚类方法原理介绍及适用场景

常用聚类分析算法

聚类算法的评价

案例：使用SKLearn实现K均值聚类

案例：使用TSNE实现聚类可视化

RFM模型分析

RFM模型，更深入了解你的客户价值

RFM模型与市场策略

案例：航空公司客户价值分析

关联规则分析实战

关联规则概述

常用关联规则算法

Apriori算法

发现频繁集

生成关联规则

FP-Growth算法

构建FP树

提取规则

时间序列分析

案例：使用apriori库实现关联分析

案例：中医证型关联规则挖掘

案例实战

客户流失预测和客户挽留模型

银行欠贷风险预测模型

结束：课程总结与问题答疑。