python在数据分析和挖掘中的应用

Python在数据分析和挖掘中的应用

课程时间：3天

纪贺元

课程简介：Python作为一门容易上手、结构清晰、功能强大的高级语言，目前正风靡全球，在包括金融行业在内的诸多行业得到了广泛应用。

本课程首先介绍python语言的由来、程序基础和基本语句、python的优势和强项，然后介绍字典这一常用的工具应用，并通过字典实现多分支语句，随后介绍python程序的调试过程、excel文件的读写，介绍相关分析、决策树、聚类、关联分析、主成分分析等重要的数据分析的模型的python实现，并讲解如何利用python做网络爬虫、文本数据挖掘等重要功能，最后是python绘图技巧。

本课程内容丰富，贴近实战，有理论有案例有实际操作，落地性强，能够较好地提高学员的编程能力以及数据分析和挖掘能力。

课程适用对象：金融、互联网、通信、汽车、制药等诸多行业对于数据分析有需求的人员。

课程收获：

掌握python编程技巧

提升数据采集、分析和挖掘能力

提升文本挖掘能力

课程教学方式：讲师讲授+互动+现场操作+学员练习

课程大纲

Python简介

Python安装

python包安装及介绍

Anaconda安装

Pycharm工具的安装

选择python做数据分析的理由

Python程序基础

变量

过程与函数

对象

案例：编程即对象，python处理excel文件对象

Python基本语句

输入输出语句

条件判断语句

If、else、elseif、嵌套代码块等。

循环语句

包括for、while以及跳出循环的基础技巧。

Python数据结构

列表

元祖

字典

集合

案例：利用python字典进行大数量的快速检索

案例：利用字典实现多分支语句

案例：利用集合进行数据的交并集运算

python代码的调试过程

运行程序

单步调试

添加断点

添加监视

EXCEL和txt格式文本的读写

Python可以读取各种常见的数据格式，但是工作中最常见的还是对于EXCEL和TXT文本的读取，python有专门针对EXCEL和TXT文本的工作包，可以方便地读写，对EXCEL也可以做各种格式：

Xlsx文件的读写

txt文本的读写

利用Python做数据分析

Python的强大不在于其编程语言的简洁，而在于其提供了大量的实用分析

包，这里面就囊括了现在流行的数据分析包，调用这些包可以轻易地实现数据分析的各项功能，更重要的是可以实现数据分析功能的自动化，例如一个文件夹下面有100个文件，采用python可以一次性处理完100个文件中数据的决策树操作：

Scikit-learn包简介

相关分析及典型相关分析

聚类功能的实现

回归（包括线性回归和Logistic回归）

决策树的实现

关联分析的实现

主成分分析

案例：利用python聚类算法进行商业客户细分

案例：利用python决策树进行互联网审贷数据分析

利用Python进行文本数据挖掘

文本处理是python的一大重要特色功能，可以轻松地实现分词、词频分析、主题分析等重要文本挖掘功能。

文本数据挖掘原理

用jieba做分词停词

用TF-IDF模型做词频和权重分析

用LDA做主题分类分析

案例：某在线旅游网站客服语音数据的挖掘分析

Python绘图

matplotlib包简介

各种基本的绘图功能

高级绘图功能