此图所展现的是一张全面且经典的数据仓库架构图。从底层到上层,架构顺序排列了数据仓库的ETL(Extract-Transform-Load)层、紧接着是操作数据存储层ODS,接着是公共维度模型层CDM,最后则是应用数据存储层ADS。
数仓构架图详解
在此,先向大家分享一份详尽的《数据仓库建设方案》。该方案深入解析了技术架构、建设关键步骤、所使用的工具与载体、配置参考以及在大数据场景下的支撑案例等内容。此方案现已开放免费下载服务,欢迎您的体验!
关于数据仓库的ODS层
数据仓库的ODS层,亦被称为操作数据源层,它是数据仓库中不可或缺的一部分。此层主要承担着保存原始数据的重任,完成数据的积存工作。它真实反映了企业业务系统的最新操作,并为后续的数据处理和分析工作提供了坚实的基础。ODS层通过可靠的数据仓库ETL工具,保障源数据与数据仓库间的同步。其存储的数据保存在磁盘中,突显了数据仓库的一个重要特性——非易失性,即系统停机或遭遇故障时,数据依然得以保全。
数仓特性简述:持久性与稳定性
关于数据仓库的CDM层
CDM层,即公共维度模型层,是数据仓库的核心和关键所在。它提供标准化、共享的维度模型,极大地便利了数据分析工作。CDM层通常由两个部分构成:数据明细层DWD和汇总数据层DWS。
DWD层即数据明细层,它主要负责接收并处理来自ODS层的原始数据。包括清洗、标准化、维度退化以及异常数据剔除等操作,统一为数据分析提供支持。此层按照业务主题建模,拥有多个维度和事实表,其中维度表用于描述业务数据的特征,而事实表则包含了关键的业务指标。
至于DWS层
DWS层为数据汇总层,通过聚合和汇总的操作,按照特定主题将DWD层中的数据进行整合,构建宽表。这有效地提升了数据分析的性能。该层中包含多个宽表,它们是由事实表和维度表经过聚合和分组运算生成的。宽表能够满足特定主题和不同维度的分析需求,减少了其他表的操作频率,从而提高了数据分析的效率。
ADS层的介绍
ADS层,即数据应用层,其核心功能是保存结果数据,并为外部系统提供查询接口。它基于数据仓库的数据为企业提供增值应用服务,涉及决策、报表、分析、控制等多个领域。ADS层常采用OLAP(在线分析处理)技术,以实现快速的数据访问和查询。
ADS层构建了多个宽表
这些宽表支持与企业应用相关的查询、分析、报告、控制及决策等操作。它们可通过BI工具或自定义应用程序进行查询和访问,以满足企业多样化的数据需求。为了提高访问和查询的速度,ADS层常使用数据索引、缓存以及预聚合等技术。