数据资源平台建设目标

  • 实时掌握组织内核心的数据资产
  • 实时把我数据资产的动态业务价值
  • 以数据价值驱动业务创新发展

数据资源平台建设理念

  • 汇聚全程异构数据
  • 数据治理，融合贯通
  • 全量数据，资产管理
  • 数据智能，应用服务

智能数仓 + 全景监控

  • 数据质量要求
  • 数据质量保障
  • 数据质量检查
  • 数据质量提升

常见数仓分层模型方法论

  • 面向业务
    • ADM 层
      • Application Data Market 数据仓库应用数据集市层，完全贴合前端业务应用
      • 面向应用提供数据服务
      • 关键词: 高度汇总，应用指标
    • DWS 层
      • Data Warehouse Subject 数据仓库主题数据层。按分析对象对实体进行数据整个，轻度汇总
      • 面向应用提供数据服务
      • 关键词: 轻度汇总，公共汇聚指标
  • 面向数据
    • DWD 层
      • Data Warehouse Detail ，数据仓库明细层数据。面向数据进行数据域分类，整合，清洗，形成一套标准化数据模型
      • 关键词: 数据模型标准化、建宽表
    • ODS 层
      • Operational Data Store，操作型数据，指结构与源系统保持一致的全量数据
      • 对STG层数据进行数据全/增量合并以及数据清洗和标准化动作
      • 关键词: 溯源、标准
    • STG 层
      • STAGE，结构与源系统保持一致的增量数据。汇聚业务系统源头数据
      • 是ETL加工过程的缓冲区
      • 关键词: 汇聚、缓冲

模型设计规范 - 智能数仓

定义数据元，描述关键业务对象和业务对象属性的数据表达方式和业务语意，规范标准数据字典，便于平台和数据管理者管控治理后数据的一致性和数据质量，同时对模型的设计醚产能明规范性进行标准化约束

模型建设标准规则 - 智能数仓

数据模型管理在数据标准的约束下，表征数据模型的可持续性的维护性及可读性，在数据模型管理模块对整体模型进行层次结构设计、逻辑模型定义等，保证不同的逻辑数据模型设计人员按照统一口径进行操作。

数据质量监控 – 智能数仓

质量规则设计

  • ODS 层: 关注数据断流情况，设置重点数据表的表行数监控，保障数据的时效性
  • DWD 层: 关注数据股反省，设置数据字段针对关联数据元的数据字段值、数据长度等进行检查
  • DWS层: 关注数据准确度，对数据值的值域范围、最大最小阈值等情况进行监控，减少异常值出现

DataQ 智能标签-面向业务提供高价值数据服务

OLT(实体、关系、标签)

数据探索

  • 智能数据： 经各系统数据源加工后的数据，业务人员使用智能数据进行参数筛选后作为探索的分析对象，如 “吸毒前科人员”，“赴京人员"等
  • 智能算子: 将民警经常使用的数据查询服务、以及计算逻辑、算法服务、AI服务、文本挖掘、时间计算进行语义化封装提供给民警使用，例如: 名单碰撞，地址标准化，聚合计算，文字关键内容挖掘，交并差等。
  • 业务模型: 在数据探索中，对智能数据(一般是通过标签筛选后的实体智能标签和各系统的数据底盘查询),按一定业务思路选择智能算子，编排组装得到的一套业务方案，称为业务模型(例如: 疑似社区涉毒人员发现模型，疑似xx等)
  • 模型结果集: 用户通过运行编排的业务模型得到数据结果集，可以发布成周期任务(每日)运行，或者导出成excel文件供警员使用，或将结果传输至其他平台或者大屏作进一步研判分析。

数据 DNA