数据分析技能
结构化的数据分析工作流程,从原始数据到可执行洞察。
适用场景
- CSV/Excel 数据集分析
- 业务指标分析
- 趋势和模式识别
- 数据质量评估
分析流程
Phase 1: 数据加载与探索
import pandas as pd
# 加载数据
df = pd.read_csv('data.csv')
# 基本信息
print(f"数据形状: {df.shape}")
print(f"列信息:\n{df.dtypes}")
print(f"缺失值:\n{df.isnull().sum()}")
print(f"基本统计:\n{df.describe()}")
Phase 2: 数据清洗
- 处理缺失值(删除/填充)
- 处理异常值(识别/修正)
- 数据类型转换
- 重复值处理
Phase 3: 描述性分析
- 单变量分析(分布、集中趋势)
- 双变量分析(相关性、对比)
- 分组聚合统计
- 时间序列趋势
Phase 4: 可视化
import matplotlib.pyplot as plt
import seaborn as sns
# 设置中文字体
plt.rcParams['font.sans-serif'] = ['SimHei', 'Arial Unicode MS']
plt.rcParams['axes.unicode_minus'] = False
# 常用图表
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
# ... 绑定到 axes
plt.tight_layout()
plt.savefig('analysis.png', dpi=150)
Phase 5: 洞察提取
- 识别关键发现
- 建立因果假设
- 提出行动建议
输出模板
# 📊 数据分析报告
## 1. 数据概览
### 数据集信息
| 属性 | 值 |
|------|------|
| 记录数 | X |
| 字段数 | Y |
| 时间范围 | YYYY-MM-DD ~ YYYY-MM-DD |
| 数据质量 | 缺失率 X% |
### 字段说明
| 字段 | 类型 | 描述 | 示例值 |
|------|------|------|--------|
| field1 | int | ... | ... |
## 2. 数据质量
### 缺失值
| 字段 | 缺失数 | 缺失率 | 处理方式 |
|------|--------|--------|----------|
| ... | ... | ...% | 删除/填充均值 |
### 异常值
- [字段]: 发现 X 个异常值,处理方式: [...]
## 3. 统计分析
### 数值字段统计
| 字段 | 均值 | 中位数 | 标准差 | 最小值 | 最大值 |
|------|------|--------|--------|--------|--------|
| ... | ... | ... | ... | ... | ... |
### 分类字段分布
| 字段 | 类别数 | Top 3 类别 |
|------|--------|-----------|
| ... | ... | A(X%), B(Y%), C(Z%) |
### 相关性分析
[热力图或相关系数表]
## 4. 关键发现
### 发现 1: [标题]
- **现象**: [描述观察到的现象]
- **数据支撑**: [具体数字]
- **可能原因**: [假设]
### 发现 2: [标题]
...
## 5. 可视化
[图表]
## 6. 建议与行动
### 短期行动
- [ ] [具体可执行的建议]
### 长期优化
- [ ] [需要进一步分析的方向]
## 附录: 代码
[关键分析代码]
分析原则
- 数据先行: 先看数据,再下结论
- 质量第一: 数据清洗是基础
- 可视说话: 用图表支撑发现
- 行动导向: 分析要指向决策