Python机器学习算法实战

Python机器学习算法实战【课程目标】

本课程为高级课程，专注于机器学习算法，原理，以及算法实现及优化。

通过本课程的学习，达到如下目的：

熟悉常见的机器学习的算法。

掌握机器学习的算法原理，以及数据推导。

学会使用Python来实现机器学习算法，以及优化算法。

掌握scikit-learn扩展库来实现机器学习算法。

【授课时间】

2-3天时间

【授课对象】

IT系统部、大数据系统开发部、大数据建模等IT技术人员。

【学员要求】

课程为实战课程，要求：

每个学员自备一台便携机(必须)。

要求有Python开发基础。

要求有基本的数据分析和数据挖掘的知识。

注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。

【授课方式】

机器学习任务 + 算法原理 + 数学推导 + Python实现

从任务出发，了解算法原理，以及数学推导过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。

【课程大纲】

机器学习基础

机器学习简介

机器学习的种类

监督学习/无监督学习/半监督学习/强化学习

批量学习和在线学习

基于实例与基于模型

机器学习的主要战挑

数据量不足

数据质量差

无关特征

过拟合/拟合不足

机器学习任务

监督：分类、回归

无监督：聚类、降维、关联规则

机器学习基本过程

模型评估指标

回归：R^2, MAE/MSE/RMSE/MAPE

分类：Acc,Recall,Precision,F1，ROC曲线,AUC

模型评估方法

训练集/验证集

交叉验证

过拟合评估

过拟合检验

过拟合解决方法：正则化

正则化：

L1正则项

L2正则项模型参数优化

交叉验证

网格搜索GridSearchCV

随机搜索RandomizeSearchCV

机器学习常用库

回归任务算法

线性回归模型

一元线性回归

多元线性回归

线性回归算法

损失函数

普通最小二乘法OLS

欠拟合解决方法

多项式回归

过拟合的优化算法：正则化

岭回归（Ridge）

套索回归Lasso

ElasticNet回归

各种算法的适用场景

超参优化

大规模数据集回归：迭代算法

随机梯度下降

批量梯度下降

小批量梯度下降

梯度算法的关键问题

逻辑回归

逻辑回归模型

逻辑回归的算法

原理

数学推导

正则项处理

其它优化：

迭代样本的随机选择

变化的学习率

求解算法与惩罚项的关系

多分类处理

ovo

ovr

线性判别分析

判别分析简介

基本思想

判别分析算法

数学推导

类间/类内散度矩阵

多分类处理

迭代样本的随机选择

变化的学习率

求解算法与惩罚项的关系

支持向量机

支持向量机简介

作用：回归、分类、异常检测

适用场景

线性SVM分类

基本原理

支持向量

SMO算法

非线性SVM分类

常用核函数

线性核函数

多项式核

高斯RBF核

核函数的选择原则

线性不可分处理：松弛系数

决策树

决策树模型

构建决策树的三个关键问题

决策树的训练

决策树的可视化

决策树常用算法

ID5

CART

正则化参数

决策树预测的基本步骤

神经网络

神经网络模型

工作原理：加法器、激活函数

适用场景

神经网络的建立步骤

BP算法实现

多层感知器MLP

隐藏层的数量

神经元的个数

朴素贝叶斯

贝叶斯简介

条件概率

常见贝叶斯网络

朴素贝叶斯

算法实现

连续变量处理：高斯分布

拉普拉斯修正

集成算法

分类模型优化思想

优化框架

Bagging

Boosting

Bagging集成

原理

随机森林

Boosting集成

原理

AdaBoost

无监督算法

结束：课程总结与问题答疑。