量化方法-基于大数据的市场分析

量化方法-基于大数据的市场分析

课程时间：2天

纪贺元

课程收获：

掌握基于大数据的市场分析方法

掌握大数据导入和清洗的技巧

提升数据采集、分析和挖掘能力

提升机器学习能力

课程教学方式：讲师讲授+互动+现场操作（python）+学员练习

课程大纲

大数据分析工具（45分钟）

大数据环境下的数据分析工具有很多，包括：

Python

Python库文件

Python主要应用

主要集中在统计分析、数据挖掘和机器学习方面。

SPSS

1.2.1 软件简介

1.2.2 软件功能

Sql

1.3.1 数据库简介

1.3.2 Sql功能简介

Powerbi

1.4.1 Powerbi运行环境

1.4.2 软件主要功能

介绍其仪表盘、OLAP、报表联动等功能。

Tableau

1.5.1 Tableau主要特点

1.5.2 Tableau的优劣分析

各种数据工具的对比分析

大数据分析的方法（45分钟）

描述统计

2.1.1 描述统计概念

2.1.2 描述统计主要指标及应用

对比分析

2.2.1 对比分析维度

2.2.1 对比分析方法

相关分析

2.3.1 相关分析原理

2.3.2 相关分析应用

聚类

2.4.1 维度的概念

2.4.2 聚类原理描述

2.4.3 聚类方法的应用

异常值分析

2.5.1 什么是异常值

2.5.2 异常值的应用

2.5.3 异常值分析的原理

关联分析

2.6.1 关联分析算法的由来

2.6.2 关联分析算法的应用

决策树

2.7.1 决策树定义和原理

2.7.2 决策树在企业中的应用

客户画像

2.8.1 客户画像的由来和原理

2.8.2 客户画像算法实现

神经网络

2.9.1 神经网络概念及应用

2.9.2 算法实现

预测

2.10.1 预测的目标？是概率还是值？

2.10.2 预测的主要方法

大数据分析的步骤（30分钟）

数据采集

3.1.1 数据采集的方法和原则

3.1.2 数据采集方法

数据整理（清理）

3.2.1 数据清理方法

3.2.2 数据清理工具

报表制作

3.3.1 常见报表类型

3.3.2 常见报表工具

数据分析

3.4.1 数据分析目标

3.4.2 数据分析方法（第2章已经详细介绍过）

策划案制作

3.5.1 数据分析报告撰写原则

3.5.2 常见数据分析报告框架

策划方案实施及反馈

3.6.1 闭环原则

3.6.2 策划案闭环原则的实施

大数据导入和数据清理（120分钟）

pandas进行大数据量的导入

4.1.1 pandas和numpy库文件简介

4.1.2 pandas导入大数据

数据切片

4.2.1 数据切片原理

4.2.2 数据切片方法

数据清理技术

4.3.1 缺失值处理

4.3.2 设置索引

4.3.3 重命名、替换、增删行和列、排序、数据合并等操作

数据描述（120分钟）

数据描述指对数据进行描述统计，采用多种指标和方法揭示数据的概况，为后续分析做好准备工作。描述的指标有求和、计数、平均值、中位数、众数、方差（标准差）、变异系数、峰度、偏度、占比、累计占比、同比、环比、相关性指标等。

Numpy相关应用

5.1.1 numpy生成随机数

5.1.1 numpy数据统计

Pandas相关应用

5.2.1 pandas生成各种指标

5.2.2 pandas实现数据情况预览



Python数据分析方法及应用（300分钟）

对比分析

6.1.1 环同比分析

6.1.2 结构对比分析

6.1.3 标杆对比分析

缺失值分析(numpy实现)

4.2.3已经讲过了，不再重复。

交叉分析（用于市场多维度分析）

6.3.1 多维度交叉分析的原理

6.3.2 多维度交叉分析的实现

相关分析（用于投入产出分析、促销分析）

6.4.1 相关分析输出指标定义

6.4.2 相关分析实现

回归分析（用于市场预测）

6.5.1 回归定义及相关概念（显著性及R2等）

6.5.2 线性回归

6.5.3 非线性回归

6.5.4 Logistic回归

聚类分析（用于市场细分）6.6.1 聚类原理

6.6.2 聚类相关库文件

6.6.3 聚类在Python中的实现

关联分析（用于捆绑销售、营销推荐）

6.7.1 orange第三方包的安装

6.7.2 关联分析相关模型的原理介绍

6.7.3 关联分析算法实现

字典集合及高级应用

字典在大数据环境中的应用非常广泛，可以有效地提高大数据地处理效率，加快程序处理速度。

集合定义及应用

字典数据结构定义

字典用于快速检索

字典用于去重统计