数据仓库建模全流程 数据仓库建模的三种模式

2025-01-3109:11:32营销方案0

此图所展现的是一张全面且经典的数据仓库架构图。从底层到上层,架构顺序排列了数据仓库的ETL(Extract-Transform-Load)层、紧接着是操作数据存储层ODS,接着是公共维度模型层CDM,最后则是应用数据存储层ADS。

数仓构架图详解

在此,先向大家分享一份详尽的《数据仓库建设方案》。该方案深入解析了技术架构、建设关键步骤、所使用的工具与载体、配置参考以及在大数据场景下的支撑案例等内容。此方案现已开放免费下载服务,欢迎您的体验!

关于数据仓库的ODS层

数据仓库的ODS层,亦被称为操作数据源层,它是数据仓库中不可或缺的一部分。此层主要承担着保存原始数据的重任,完成数据的积存工作。它真实反映了企业业务系统的最新操作,并为后续的数据处理和分析工作提供了坚实的基础。ODS层通过可靠的数据仓库ETL工具,保障源数据与数据仓库间的同步。其存储的数据保存在磁盘中,突显了数据仓库的一个重要特性——非易失性,即系统停机或遭遇故障时,数据依然得以保全。

数仓特性简述:持久性与稳定性

关于数据仓库的CDM层

CDM层,即公共维度模型层,是数据仓库的核心和关键所在。它提供标准化、共享的维度模型,极大地便利了数据分析工作。CDM层通常由两个部分构成:数据明细层DWD和汇总数据层DWS。

DWD层即数据明细层,它主要负责接收并处理来自ODS层的原始数据。包括清洗、标准化、维度退化以及异常数据剔除等操作,统一为数据分析提供支持。此层按照业务主题建模,拥有多个维度和事实表,其中维度表用于描述业务数据的特征,而事实表则包含了关键的业务指标。

至于DWS层

DWS层为数据汇总层,通过聚合和汇总的操作,按照特定主题将DWD层中的数据进行整合,构建宽表。这有效地提升了数据分析的性能。该层中包含多个宽表,它们是由事实表和维度表经过聚合和分组运算生成的。宽表能够满足特定主题和不同维度的分析需求,减少了其他表的操作频率,从而提高了数据分析的效率。

ADS层的介绍

ADS层,即数据应用层,其核心功能是保存结果数据,并为外部系统提供查询接口。它基于数据仓库的数据为企业提供增值应用服务,涉及决策、报表、分析、控制等多个领域。ADS层常采用OLAP(在线分析处理)技术,以实现快速的数据访问和查询。

ADS层构建了多个宽表

这些宽表支持与企业应用相关的查询、分析、报告、控制及决策等操作。它们可通过BI工具或自定义应用程序进行查询和访问,以满足企业多样化的数据需求。为了提高访问和查询的速度,ADS层常使用数据索引、缓存以及预聚合等技术。

  • 版权说明:
  • 本文内容由互联网用户自发贡献,本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 295052769@qq.com 举报,一经查实,本站将立刻删除。