L2 · 主题中枢

数据治理

数据管理合规数据质量元数据主数据

数据治理不是技术项目，而是组织级数据资产管理机制。

4核心支柱
3关键角色
∞持续迭代
先记住治理先于技术，标准先于清洗

没有明确的数据标准与权责划分，任何清洗工具或AI模型都会放大混乱而非解决问题。

查看下属主题 ↓
LIVE
CORE 数据治理
01 WHAT

是什么

数据治理是一套制度、流程与技术框架，用于确保组织内数据的准确性、一致性、安全性与合规性。

02 WHY

为什么

在数据驱动决策与AI模型训练中，低质量或不可信数据会导致错误结论、合规风险与资源浪费，需通过治理建立数据资产信任基线。

03 HOW

怎么做

从定义数据所有者与质量指标起步，建立元数据目录与主数据管理流程，辅以自动化校验与审计机制。

04 WHEN

什么时候

当多系统数据集成、监管合规要求或AI模型依赖数据输入时必须使用；单表小规模分析或临时探索可暂缓。

THIS PAGE INCLUDES
数据治理

FOCUS

先记住这些

只留最重要的判断，细节见下方实践
01 独特价值

为什么需要数据治理

将数据从成本中心转化为可度量资产，支撑合规审计、AI模型可靠性与跨部门数据共享。

02 复杂度

真正难在哪里

跨系统标准对齐困难、历史数据债务沉重、质量规则需随业务动态调整、血缘追踪在复杂管道中易断裂。

03 使用判断

何时启动治理

当数据不一致导致决策冲突、合规要求强制、AI模型因数据偏差失效或数据资产需长期复用时。

ROUTE

学习路径

建议按此顺序逐步深入
01
定义治理范围

识别关键数据域、明确业务目标与合规要求，划定优先级。

02
建立组织与标准

任命数据所有者，制定数据分类分级、质量指标与命名规范。

03
实施技术管控

部署元数据目录、质量校验引擎、权限控制与血缘追踪工具。

04
持续运营与迭代

监控质量指标、审计合规执行、优化规则并扩展治理范围。

PROBLEM / POSITION / INTERFACE

先弄清它为什么存在，以及谁在使用

不从历史开始，从真实工作关系开始。
  1. 01 解决的问题

    跨系统数据不一致、报表指标冲突、审计不通过或模型训练数据偏差频发时触发治理需求。

    缺乏统一标准导致重复清洗、责任不清、合规罚款、AI输出不可解释且难以追溯源头。

    成功标准
    建立可验证的数据血缘、明确权责矩阵、实现质量阈值自动拦截与合规审计可追溯。
  2. 02 AI 生态位

    为AI提供高质量训练数据与特征工程输入，输出可审计的数据使用记录与质量评分。

    上游
    依赖数据源接入、业务系统日志、外部数据采购与元数据采集工具。
    下游
    为数据分析、BI报表、AI模型训练、合规审计与数据服务API提供可信数据基座。
  3. 03 人的生态位

    业务专家定义数据标准与质量规则，数据工程师实施技术管控，合规官监督执行。

    适合使用
    多源数据集成、强监管行业、AI模型依赖高质量特征、需长期数据资产沉淀。
    不必使用
    单系统临时分析、数据量极小且无合规要求、快速原型验证阶段。
  4. 04 独特价值

    将分散的数据资产转化为可度量、可追溯、可复用的组织级资产，支撑合规与AI规模化应用。

    跨部门权责划分困难、历史系统数据标准不一、质量规则动态维护成本高、血缘追踪在复杂ETL中易断裂。

    复杂度判断
    复杂度不是功能数量，而是控制与验证成本。

INTERFACE FLOW

谁在操作，信息怎样流动

  1. WHO OPERATES

    HUMAN数据所有者定义业务规则，数据管理员配置质量阈值，合规官审批数据使用策略。

    SYSTEM自动化执行数据探查、质量校验、血缘追踪、权限控制与异常告警。

  2. INPUT

    原始业务数据、元数据描述、数据质量规则、访问权限策略与合规要求文档。

  3. CONTROL

    数据分类分级标准、质量校验规则集、血缘追踪粒度、访问控制策略、审计日志保留周期。

  4. OUTPUT

    数据质量报告、元数据目录、主数据记录、访问审计日志、合规证明与异常拦截通知。

FLOW

治理实施流程

01识别关键数据域基于业务影响与合规要求，确定优先治理的数据资产范围。
02定义数据标准制定命名规范、分类分级、质量指标与主数据模型。
03部署管控工具配置元数据目录、质量校验规则、权限策略与血缘追踪。
04执行质量监控自动化运行数据探查、质量评分、异常拦截与告警通知。
05审计与优化定期审查合规执行、分析质量趋势、调整规则并扩展治理范围。

COMPARE

治理方案对比

维度集中式治理联邦式治理自助式治理
控制权中央团队统一管控业务域自治+中央协调用户按需申请+自动化审批
适用场景强监管、高一致性要求多业务线、差异化需求敏捷分析、快速迭代
实施成本高（需专职团队与工具）中（需协调机制）低（依赖平台能力）
灵活性低（变更需审批）高（域内自主调整）极高（用户驱动）

PRACTICE

最小治理启动清单

✓明确治理目标与成功指标（如质量达标率、合规通过率）
✓任命关键数据域的所有者与管理员
✓制定基础数据分类分级与命名规范
✓部署元数据目录与基础质量校验规则
✓建立数据访问审批与审计日志机制
✓设定质量阈值与异常处理流程
CODE / PYTHON数据质量校验示例
import great_expectations as ge
import pandas as pd

# 加载数据
df = pd.read_csv("customer_data.csv")
ge_df = ge.from_pandas(df)

# 定义期望
ge_df.expect_column_values_to_not_be_null("customer_id")
ge_df.expect_column_values_to_match_regex("email", r"^[\w\.-]+@[\w\.-]+\.\w+$")

# 执行验证
results = ge_df.validate()
print(f"验证通过: {results['success']}")
print(f"失败项: {results['statistics']['unsuccessful_expectations']}")

使用 Great Expectations 验证数据完整性与格式

JSON / RESPONSE质量校验返回结构
{
  "success": false,
  "statistics": {
    "evaluated_expectations": 2,
    "successful_expectations": 1,
    "unsuccessful_expectations": 1,
    "success_percent": 50.0
  },
  "results": [
    {
      "expectation_type": "expect_column_values_to_not_be_null",
      "success": true,
      "result": {
        "element_count": 1000,
        "unexpected_count": 0
      }
    },
    {
      "expectation_type": "expect_column_values_to_match_regex",
      "success": false,
      "result": {
        "element_count": 1000,
        "unexpected_count": 45,
        "unexpected_percent": 4.5
      }
    }
  ]
}

FAQ

常见问题

选型、用法与失败，不复述定义。
01谁在实际负责数据治理？＋

业务数据所有者定义标准，数据管理员执行技术管控，合规官监督审计。

明确权责是治理落地的前提，避免技术团队承担业务责任。
02数据治理与数据清洗有什么区别？＋

清洗是单次修复动作，治理是持续的标准制定、质量监控与流程管控体系。

仅清洗不治理会导致问题反复出现，无法建立长期数据信任。
03最小可用治理方案是什么？＋

定义关键数据域标准、部署元数据目录与基础质量校验、建立访问审批流程。

帮助组织快速启动治理，避免过度设计导致项目停滞。
04生产环境最容易在哪里失败？＋

质量规则脱离业务实际、血缘追踪断裂、权限审批流于形式、缺乏持续运营机制。

决定监控重点与兜底策略，确保治理可持续。
05什么时候不需要数据治理？＋

单系统临时分析、数据量极小、无合规要求或快速原型验证阶段。

避免在低价值场景投入过高成本，聚焦高影响数据域。