← 返回首页·代表项目核心

新媒体直播经营数据产品化工程

端到端BI系统构建实践:从业务建模、指标口径设计,到Python自动化落地与复盘机制升级。将人工汇总流程升级为规则化、可视化的数据产品。

Python 3.xpandasopenpyxlJinja2configparserlogging

506

工程代码量

3+

核心业务指标

1

容错机制

49%

配置化覆盖

新媒体传播部负责多平台直播间的日常运营与数据复盘。在项目启动前,数据分析工作完全依赖人工:每次复盘需要从多个平台手动导出数据、在Excel中手动计算指标、手动制作图表。本项目将这一流程升级为参数化、配置化、可自动执行的数据产品,实现了从"人工汇总"到"规则化、可视化"的质变。

P1

数据孤岛

各平台数据分散,无统一口径,同一指标不同人算出不同结果

P2

效率瓶颈

每次复盘需花费约3小时在数据整理上,而非分析本身

P3

规则模糊

缺乏明确的指标定义文档,新人上手成本高,经验难以传承

P4

无法追溯

历史数据分散在各个Excel文件中,无法快速横向对比多场次表现

独立负责整个项目的设计与实现:从业务调研、指标体系设计、数据流程规划,到Python工程化开发、测试、文档撰写与团队培训。这是一个由运营人主导的数据工程项目,而非技术团队的外包需求。

需求定义

方案设计

工程开发

交付培训

01

业务建模

梳理直播间经营的核心业务实体(场次、商品、用户行为),定义数据边界与口径规则,建立统一的指标语义层。

明确区分有效线索与唯一线索的统计口径差异,避免不同部门对同一指标的理解分歧。

02

指标体系设计

设计覆盖流量、转化、变现三层的指标体系,每个指标明确计算公式、数据来源、更新频率与业务含义。

核心指标:CPM(千次展示成本)、UV价值、场次转化率、商品点击率、停留时长分布。

03

ETL流程设计

设计从原始数据(平台导出Excel)到标准化数据层的清洗、转换、聚合流程。

支持多平台数据源的字段映射,通过配置文件管理差异,无需修改核心代码。

04

工程化实现

将业务逻辑转化为参数化、配置化的Python工程,实现完整的日志记录、容错机制与多形态输出。

1022行代码,模块化设计,支持Excel报表、HTML可视化、JSON数据三种输出格式。

05

复盘机制升级

将自动化报表嵌入周期性复盘流程,建立「数据异常→自动提醒→复盘议题」的闭环机制。

复盘准备时间从手动整理数据(约3小时)降低至运行脚本(约5分钟),效率提升70%+。

数据源层
抖音导出快手导出视频号导出手工录入
清洗层
字段映射缺失值填充异常值检测格式统一
规则层
口径定义归因规则阈值判断异常标注
指标层
CPMUV价值转化率停留时长GMV
展示层
Excel报表HTML可视化JSON数据接口

五层架构 · 配置驱动 · 三层容错(字段级 / 数据级 / 系统级)

⚙️

参数化与配置化

  • ·所有业务参数通过 config.ini 管理
  • ·零硬编码:修改规则无需改动代码
  • ·支持多环境配置切换
🛡️

容错与健壮性

  • ·字段级:缺失字段自动填充 + 警告
  • ·数据级:异常值检测与隔离
  • ·系统级:文件/权限错误优雅降级
📋

日志与可观测性

  • ·分级日志(DEBUG/INFO/WARN/ERROR)
  • ·带时间戳的运行日志文件
  • ·关键节点数据量与耗时记录
📤

多形态输出

  • ·Excel:格式化 + 条件着色 + 图表
  • ·HTML:浏览器可查看的交互报表
  • ·JSON:供后续系统消费的结构化数据

BI 总览看板 · 点击放大

BI看板截图
点击放大

包含场次概览、指标趋势、商品表现、异常标注等模块的完整BI看板。

条件着色:UV价值、转化率按色阶自动标注
多Sheet:概览 / 场次详情 / 异常标注 / 主播排行
图表:趋势线图 + 柱状对比 + 散点分布
公式:实时计算,支持参数调整
下载日报.xlsx
实时交互:鼠标悬停显示详细数据
响应式图表:Plotly 动态渲染
多维分析:按主播 / 商品 / 时间段钻取
导出支持:PNG 截图 + 数据下载
打开信息流分析.html
config.ini:业务参数集中管理
列映射配置:支持多平台字段自动识别
容错机制:字段级 / 数据级 / 系统级三层保护
日志记录:分级日志 + 运行耗时追踪
# 配置驱动示例
config = {
  'live_cols': {
    'account': ['开播账号', '账号'],
    'date': ['创建时间', '直播日期'],
    'start': ['开播时间', '直播开始时间']
  },
  'leads_cols': {
    'time': ['创建时间', '线索创建时间'],
    'lead_id': ['线索ID', '线索id']
  }
}
# 零硬编码:修改配置即可支持新平台

核心价值:这个项目证明了我具备"将业务痛点转化为可复用数据产品"的完整能力链——不只是会写Python,而是能从业务建模开始,设计指标体系,规划数据流程,最终交付一个可维护、可扩展的工程化产品。

增长运营 / 数据驱动运营

指标体系设计、ETL流程、数据产品化思维直接可迁移

新媒体 / 直播运营

深度理解直播间经营逻辑,能用数据支撑运营决策

AI应用运营 / 技术传播

具备将复杂业务流程结构化、工具化的能力

产品运营 / 数据产品

端到端的产品化思维:从需求到交付,从使用到迭代