数据仓库DWD层介绍
07-09

数据仓库(Data Warehouse,简称 DW 或 DWH)的核心建设目标,是为前端查询与数据分析需求提供底层支撑,其核心应用场景聚焦于联机分析处理(OLAP,On-Line Analytical Processing),能够承载复杂分析操作,以决策支持为核心导向,并输出直观可解读的查询结果。当前行业内主流的实现方案包括 AWS Redshift、Greenplum、Hive 等。


从数据流转链路来看,数据仓库并非数据流转的终点,而是为数据最终应用场景提供预处理支持的关键环节,其预处理操作涵盖数据清洗、转换、分类、重组、聚合、拆分及统计等一系列标准化加工。


在实际落地中,各企业会基于自身业务特性进行分层设计,目前行业内成熟的分层架构通常包括:操作数据存储层(ODS)、数据仓库层(DW)、数据应用层(ADS,Application Data Service)。其中,数据仓库层(DW)可进一步细分为数据明细层(DWD)、数据中间层(DWM)和数据服务层(DWS)。


DWD 层


数据明细层(DWD,Data Warehouse Detail Layer)作为数据仓库架构的核心基础层,承担着标准化明细数据存储与治理的关键职能。


DWD 层的核心目标是对 ODS 层传入的原始数据进行深度清洗、结构整合、业务标准化及冗余去重等加工,将异构数据转化为面向业务主题的标准化数据集。其设计遵循主题建模思想,即按业务域(如用户域、交易域、商品域)或核心业务流程(如下单流程、支付流程)进行数据归类与组织,这也是数据仓库 “面向主题” 特性的核心体现。


从数据形态看,DWD 层聚焦于保留最细粒度的业务事实,原则上不包含聚合计算或汇总结果,以此确保数据的完整性与可追溯性,为后续多维度分析(如按时间、地域、用户等级拆解指标)提供灵活支撑。同时,通过规范化处理(如统一字段类型、补全缺失值、修正业务逻辑错误),显著提升数据质量与复用性,降低下游加工的理解成本与处理复杂度。


在模型设计层面,DWD 层通常以星型模型或雪花模型为基础框架:


*  星型模型中,事实表(存储业务度量,如交易金额、订单数量)作为核心,关联多个维度表(存储描述性属性,如用户信息、商品分类);

雪花模型则是对星型模型的维度表进行进一步规范化拆分(如将用户地址维度拆分为省份、城市、区县子表),以减少数据冗余。


为提升查询效率与易用性,DWD 层常采用维度退化策略 —— 将高频关联的维度属性(如订单表中的用户等级、商品类别)直接冗余至事实表中,避免多表关联带来的性能损耗,这在高并发分析场景中尤为关键。


需强调的是,DWD 层是业务系统与数据仓库的 “隔离层”:一方面,它屏蔽了源系统的异构性(如不同业务库的表结构差异);另一方面,其数据粒度与 ODS 层保持一致(如均为单条订单记录、单次用户行为),仅通过清洗与标准化实现 “同构化”,为下游加工奠定统一基础。


数据中间层 DWM(可选)


数据中间层(DWM,Data Warehouse Middle Layer)定位为 DWD 层与 DWS 层之间的过渡层,核心价值在于沉淀公共计算逻辑、减少重复加工。


其设计逻辑是基于 DWD 层的明细数据,对跨业务场景复用的核心维度与指标进行轻量级聚合(如按用户 ID 聚合每日访问次数、按商品 ID 统计 hourly 点击量),生成中间结果表。这类聚合通常不涉及复杂业务规则,更多是对基础度量的初步汇总(如计数、求和、均值),目的是将高频复用的计算逻辑 “前置固化”,避免下游(如 DWS 层、ADS 层)在计算相同指标时重复扫描明细数据,从而提升整体链路的计算效率与指标一致性。


例如,在用户行为分析场景中,DWM 层可预先计算 “用户每日访问次数”“单次会话时长” 等通用指标,供 DWS 层计算 “周活跃用户数”“平均会话时长” 时直接复用,减少重复计算成本。


天津联才科技发展有限公司是一家为企业提供互联网系统技术方案和网站建设服务的企业。公司创立于2015年,主要为政府、国企、国内上市公司、国外公司提供专业的品牌服务和技术开发服务。

自2015年成立以来,我们一直在帮助企业实现具有影响力的、行业特定的品牌、官网及软件系统解决方案。我们为企业提供从需求分析、功能规划、交互设计、原型设计、系统运维的整体软件开发技术解决方案。 联才科技始终关注有前景的软件开发集成框架和培养经验丰富的技术开发团队,为我们的客户提供优异的互联网解决方案。

数据仓库建设与分层 (19).png


更多新闻
Unite talent Unite talent Unite talent Unite talent Unite talent
您可以简单的选择
让我们知道您心里的想法!
  • 01
    网页视觉
    Web
    vision
    企业网站
    品牌官网
    电商详情
    其他服务
  • 02
    移动端UXD
    mobile
    uxd
    APP开发
    小程序开发
    微信公众号
    其他服务
  • 03
    品牌服务
    Brand
    Services
    品牌全案
    VI系统
    logo设计
    其他服务
  • 04
    系统开发
    System
    Development
    办公系统
    智慧物流
    GPS系统
    其他服务