AB测试分析技能 (AB Testing Analyzer)

一个功能完整的智能AB测试分析工具，基于"数据分析咖哥十话"的AB测试模块开发。

🎯 技能概述

本技能提供从实验设计到结果分析的完整AB测试解决方案，支持多种统计检验方法、用户分群分析和可视化报告生成。

✨ 核心特性

🧪 完整的AB测试流程

实验设计和样本量计算
随机分组验证
转化率和留存率分析
统计显著性检验

📊 全面的统计方法

t检验 (独立样本、配对样本)
卡方检验 (拟合优度、独立性)
置信区间估计
效应量计算
多重比较校正

👥 智能用户分群

价值分群 (高/低价值客户)
人口统计学分群
行为模式分群
自定义分群策略
交互效应分析

📈 丰富的可视化功能

转化率对比图
留存率曲线图
用户分群热力图
交互效应可视化
统计检验结果图

🔧 高级分析功能

多变量AB测试
贝叶斯AB测试
时间序列分析
稳健性检查
因果推断支持

🚀 快速开始

环境要求

依赖包

pip install pandas numpy scipy matplotlib seaborn statsmodels

基础使用

from scripts.ab_test_analyzer import ABTestAnalyzer from scripts.statistical_tests import StatisticalTests from scripts.visualizer import ABTestVisualizer

初始化分析器

analyzer = ABTestAnalyzer() stats_tests = StatisticalTests() visualizer = ABTestVisualizer()

加载AB测试数据

data = analyzer.load_data('ab_test_data.csv')

基础转化率分析

conversion_results = analyzer.analyze_conversion( data, group_col='页面版本', conversion_col='是否购买' )

统计显著性检验

t_test_result = stats_tests.t_test( data, group_col='页面版本', metric_col='是否购买' )

生成可视化报告

fig = visualizer.plot_conversion_comparison(conversion_results)

运行示例

快速测试

python quick_test.py

基础AB测试示例

python examples/basic_ab_test_example.py

高级分群分析示例

python examples/advanced_segmentation_example.py

综合分析示例

python examples/comprehensive_analysis_example.py

📁 项目结构

ab-testing-analyzer/ ├── SKILL.md # 技能详细文档 ├── README.md # 使用指南 (本文件) ├── quick_test.py # 快速功能测试 ├── test_skill.py # 完整测试套件 │ ├── scripts/ # 核心功能模块 │ ├── init.py │ ├── ab_test_analyzer.py # AB测试核心分析 │ ├── statistical_tests.py # 统计检验模块 │ ├── segment_analyzer.py # 用户分群分析 │ └── visualizer.py # 可视化生成器 │ └── examples/ # 示例和数据 ├── sample_data/ # 样本数据 │ ├── sample_ab_test_data.csv │ └── sample_user_segments.csv ├── basic_ab_test_example.py # 基础AB测试示例 ├── advanced_segmentation_example.py # 高级分群分析示例 └── comprehensive_analysis_example.py # 综合分析示例

💡 主要功能

AB测试基础分析

转化率分析

计算各组转化率

conversion_rates = analyzer.calculate_conversion_rates( data, group_col='实验组别', conversion_col='转化状态' )

计算提升率和置信区间

lift_analysis = analyzer.calculate_lift( conversion_rates, control_group='对照组', test_group='测试组' )

留存率分析

计算留存率

retention_rates = analyzer.calculate_retention_rates( data, group_col='实验组别', retention_col='retention_7' )

留存率曲线可视化

fig = visualizer.plot_retention_curves(retention_rates)

统计显著性检验

t检验

独立样本t检验

t_result = stats_tests.t_test( data, group_col='页面版本', metric_col='购买金额', test_type='independent' )

配对样本t检验

paired_t_result = stats_tests.t_test( before_after_data, group_col='用户ID', metric_col='行为指标', test_type='paired' )

卡方检验

拟合优度检验

chi2_goodness = stats_tests.chi_square_test( observed_data, expected_data, test_type='goodness_of_fit' )

独立性检验

chi2_independence = stats_tests.chi_square_test( data, group_col='实验组别', outcome_col='转化状态', test_type='independence' )

效应量计算

Cohen's d计算

cohens_d = stats_tests.cohens_d( data, group_col='实验组别', metric_col='转化状态' )

Cramer's V计算

cramers_v = stats_tests.cramers_v(data, group_col, outcome_col)

用户分群分析

价值分群

from scripts.segment_analyzer import SegmentAnalyzer

segment_analyzer = SegmentAnalyzer()

基于价值的用户分群

value_segments = segment_analyzer.value_based_segmentation( data, value_col='累计消费金额', n_tiers=3 )

分群转化率分析

segment_conversion = segment_analyzer.segment_conversion_analysis( data, segment_col='价值组别', group_col='实验组别', conversion_col='转化状态' )

交互效应分析

页面版本与用户特征的交互效应

interaction_analysis = segment_analyzer.interaction_analysis( data, group_col='页面版本', segment_col='价值组别', outcome_col='转化状态' )

交互效应可视化

fig = visualizer.plot_interaction_effects(interaction_analysis)

高级统计分析

贝叶斯AB测试

贝叶斯AB测试分析

bayesian_result = analyzer.bayesian_ab_test( data, group_col='实验组别', conversion_col='转化状态', prior='jeffreys' )

计算获胜概率

win_probability = analyzer.calculate_win_probability(bayesian_result)

多变量检验

多变量AB测试 (MVT)

mvt_result = analyzer.multivariate_test( data, group_cols=['页面版本', '按钮颜色', '标题文案'], conversion_col='转化状态' )

可视化报告

基础图表

转化率对比图

fig = visualizer.plot_conversion_comparison( conversion_data, title='AB测试转化率对比' )

置信区间图

fig = visualizer.plot_confidence_intervals( statistical_results, metric='转化率' )

用户分群热力图

fig = visualizer.plot_segment_heatmap( segment_data, title='用户分群转化率热力图' )

交互式仪表板

生成交互式仪表板

dashboard = visualizer.create_interactive_dashboard( analysis_results, output_file='ab_test_dashboard.html' )

📊 数据格式

AB测试数据格式 (ab_test_data.csv)

用户ID,实验组别,转化状态,留存状态,累计消费金额,性别,年龄,价值组别,设备类型 U001,测试组,是,TRUE,299.99,男,25,高价值,移动端 U002,对照组,否,FALSE,59.99,女,32,低价值,PC端 U003,测试组,是,TRUE,599.99,男,28,高价值,移动端 U004,对照组,否,FALSE,199.99,女,35,中价值,PC端

用户分群数据格式 (user_segments.csv)

用户ID,RFM分群,行为分群,人口统计分群,综合分群 U001,高价值,活跃用户,年轻男性,高价值年轻用户 U002,低价值,流失用户,成熟女性,需要唤醒用户

🎯 应用场景

产品优化

网页改版效果评估
功能上线影响分析
用户界面优化测试
性能改进验证

营销活动

广告创意测试
促销策略评估
邮件营销优化
社交媒体活动分析

运营策略

定价策略测试
推荐算法优化
用户注册流程改进
客户服务策略评估

⚙️ 高级配置

统计参数设置

设置显著性水平

analyzer.set_significance_level(alpha=0.05)

设置统计功效

analyzer.set_statistical_power(power=0.8)

设置多重比较校正方法

analyzer.set_multiple_comparison_correction(method='bonferroni')

自定义分群策略

定义自定义分群规则

custom_segments = { 'high_value': {'累计消费金额': (500, float('inf'))}, 'medium_value': {'累计消费金额': (100, 500)}, 'low_value': {'累计消费金额': (0, 100)} }

应用自定义分群

segmented_data = segment_analyzer.apply_custom_segments( data, segment_rules=custom_segments )

高级可视化配置

设置图表风格

visualizer.set_style(style='seaborn', palette='viridis')

自定义图表配置

chart_config = { 'figsize': (12, 8), 'dpi': 300, 'format': 'png', 'style': 'professional' }

fig = visualizer.plot_with_config(data, config=chart_config)

🐛 常见问题

Q: 如何确定合适的样本量？

A: 使用样本量计算功能，考虑效应量、显著性水平和统计功效来计算最小样本量。

Q: p值小于0.05是否意味着结果显著？

A: p值小于0.05表示在原假设为真的情况下，观察到当前结果或更极端结果的概率小于5%。需要结合效应量和实际意义来解释。

Q: 如何处理多重比较问题？

A: 使用Bonferroni校正、FDR校正等方法来调整p值，避免假阳性。

Q: 何时使用贝叶斯AB测试？

A: 当需要先验信息、样本量较小或想要获得概率性结论时，考虑使用贝叶斯方法。

📈 性能优化

使用向量化操作加速计算
实现增量统计更新
采用并行计算处理大数据
缓存计算结果避免重复计算
优化内存使用模式

📚 技术原理

统计检验基础

基于假设检验理论，通过计算检验统计量和p值来判断实验结果的统计显著性。

中心极限定理

在大样本情况下，样本均值的分布趋近于正态分布，为许多统计方法提供理论基础。

贝叶斯推断

结合先验信息和观测数据，通过后验分布进行参数估计和假设检验。

多重比较校正

当同时进行多个假设检验时，控制总体错误率，避免假阳性结果的增加。

🤝 贡献指南

欢迎提交Issue和Pull Request来改进这个技能。

📄 许可证

MIT License

🎉 开始使用

现在你已经了解了AB测试分析技能的所有功能，可以开始使用了：

快速验证功能