从0到1搭建数据仓库

2025-05-03 08:31科技百科

前言

在互联网时代，数据就是财富，谁掌握了数据，谁就掌握了财富。

数据对于企业来说：

数据是企业的无形资产

数据是企业创新的基石

数据可有效辅助企业决策

数据可有效提升企业生产力

既然数据如此重要，一个合理的数据仓库架构又该如何设计呢？

这篇文章，我们从数据仓库的四大层级以及各层级的用途来聊聊数据仓库的经典架构

数据仓库的四大层级

1、操作（贴源）数据层（ODS）

最接近数据源中数据的一层，直接从原始业务库/生产库/镜像库接入的数据。数据源中的数据经过抽取、洗净、装载，也就是ETL之后，装入本层。

2、数据明细层(DWD)

该层一般保持和ODS层一样的数据粒度，对ODS层数据进行以下几个方面的处理：

第一：包括对数据进行去噪、去重、异常值等处理；第二：对数据进行转换，主要是对数据进行标准化处理；第三：部分数据合并处理，将相同主题的数据汇集到一张表中，提高数据的可用性；第四：为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。

3、汇总数据层（DWS）

该层又称数据集市或宽表。按照业务划分，如人、车、物、案、组织等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。

4、应用数据层（ADS）

主要提供给数据产品和数据分析使用的数据。面向的是应用直接的调用，数据一般存放在ES、PG、REDIS、RDB、API中。

各数据层级的作用

应用数据层(ADS)：主要用于统计分析型应用,提供给数据产品和数据分析使用的数据，业务个性化数据，服务于特定场景复用性不强；

汇总数据层(DWS): 主要用于数据探索型应用、标签画像型应用；

数据明细层（DWD）：主要用于明细查询型应用、数据探索型应用；在ODS层数据基础上，对数据进行加工处理，提供标准化和维度完整的数据;

数据层（ODS）:直接从原始业务库/生产库/镜像库接入数据源

总结

企业建立数据仓库的方式大同小异，最经典的架构就是上文所介绍的4大层级：数据层、明细层、汇总层、应用层。

如果您的企业有其他架构方案，欢迎评论区讨论(●◡●)

数据盘点和数据目录构建方法研究