传统行业如何建立数据仓库？（下）

---

建立数据仓库是一个解决企业数据问题应用的过程，是企业信息化发展到一定阶段必不可少的一步，也是发展数据化管理的重要基础。数仓的知识市面上的书籍和文章不少，但是实际实施依据行业不同，企业核心诉求不同，从技术到方法论各有不同。如何实施数仓项目，本文先以传统行业的数仓切入，从整体上讲下数据仓库的实施方法论。(点击此处查看上文）

四、数据仓库建模

数据仓库建模在前面已经有了详细的介绍，数据仓库模型是IT技术开发人员、业务人员、决策管理者相互沟通的一套语言和平台。对于数据建模工程师来说，对业务的深刻理解是首要任务，因为数据仓库建模分为概念模型设计、逻辑模型设计和物理模型设计3个阶段，一般按照自顶向下的顺序依次对模型进行设计。

概念模型主要是模型设计人员对业务规则的理解，是最高层次的数据模型，几乎涵盖了业务所有的核心概念和重要的主题，为以后逻辑模型的建设打下了基础。

逻辑模型是对概念模型的分解、细化，将数据主题划分成一个个的实体和实体关系，一般将第三范式作为设计的模板。

物理模型在逻辑模型的基础上对模型实体进行细节性的描述，包括字段类型、长度、索引等因素，最后转化成数据库存储的物理表。

五、数据集市建模

一般数据集市模型的建设是基于需求分析得到的结果，数据集巾的建模主要针对事实表和维表的设计。例如，部门员工关系表，如果事实表包含部门编码，则数据可以分析到部门。如果事实表又包含员工编码，则数据既可以分析到部门，又可以分析到员工。一张事实表除了包含所要分析的维度编码外，还包括需要分析的度量值。例如，用户用电分析事实表，它的主题描述就是按地区、时间、电压等级统计用户的耗电量、应收电费，并进行同期对比；它的维度就是地区、时间、电压等级，度量值包括耗电量、应收电费等；指标来源就是数据仓库中的计费结果表、用户基本信息表。维表一般采用增量的方式进行抽取。

六、数据源分析

所谓数据源分析，就是对源数据进行分析和总结，得出源数据的范围、格式、更新方式、更新频率和质量好坏的过程。

数据源分析是指通过需求调研得知业务数据源的基本情况，并且加以详细说明，具体内容包括数据源中存在哪些物理表，表之间的关系和表中每个字段的数据类型和含义等。一般来说，业务数据源通常会有数据不完整、口径不一致，或者各个数据源存在业务规则不统一的情况。

另外，在分析的过程中，需要确定业务源数据中哪些数据需要被抽取。为了确定合适的抽取方式，需要在抽取之前对数据源进行分析，分析的范围一般包括数据的格式、数据的范围、更新的方式、数据质量的好坏。在分析的过程中，应该尽可能获取分析的结果，形成数据源分析报告，在仔细研究分析报告后，再选择合适的抽取、加载方式。了解这些数据源的特点，有利于ETL 抽取时对数据的整合和统一，从而保证数据的质量和可信度。

七、数据的获取与整合

数据的获取与整合存在于数据仓库项目中的各个阶段。数据仓库很重要的一个作用就是将散落在各业务系统的数据整合起来，不规范的数据规范起来，以一种便于分析和应用的方式放到数据仓库里，供前端应用分析。ETL 过程实际上就是数据流动的过程，即从不同的数据源流向统一的目标数据库。数据的获取与整合是完成数据仓库建设取复杂的过程，它关系到数据的质量，是数据仓库项目建设的根基。

八、数据应用和报表展现

报表绝对是让人痛苦的东西。格式复杂、需求多变，业务没事就改需求或者增加几个。虽然说起报表感觉很老土，但确实是整个数仓项目价值落地呈现的东西。

做报表多的人，基本上都会做一个自己的工具，至少也会做一个引擎，按照自己的理解用一种结构化加动态的方式去定义所需要的报表，可以灵活的选择所需要的数据，设计展现样式生成报表。不过现在一般都是采用专业的低代码的报表工具来做报表，一般人都不想每天被报表缠身。

结合前面谈到的数据分层的机制，会发现，不管基于哪一层，都有做报表的需求。报表的重点不在与报表的制作，而在于如何利用报表为业务为项目谋价值。

大公司都会有负责报表分析这块的项目人员，那针对报表延伸出来的工作，报表需求分析、指标体系规划、以及各位为经营为管理为基层人员的报表分类，还有围绕业务的分层设计。

对于基层员工，报表使用的最多的就是录数据，查询数据。比如商场售货员浏览数据来查看商品的售卖情况，以此来及时补货，还有每天的日销售数据录入。

对于部分业务人员，报表的不再是简单的展示和录入，会衍生出一些分析的需求，比如采购经理，他需要决定采购哪些品牌的商品，从哪一家供应商来采购，如何规划商店的商品。那方法就是看报表看哪些商品买的好，以此来考虑是否需要加购哪些品牌商品，放弃那些品牌商品或者搞促销。高大上一点的说辞就是利用数据优化商品结构，选择供应商。

对于企业管理层，更多的说是做dashboard进行指标的监控，做的业绩分析(时间、地区纬度等)。而这一过程，也是通过数据使管理层可以更容易的按照标准的管理方法进行决策

上期知识回顾

---

关于慧都大数据分析平台

慧都大数据分析平台「GetInsight®」升级发布，将基于企业管理驾驶舱、产品质量分析及预测、设备分析及预测等大数据模型的构建，助力企业由传统运营模式向数字化、智能化的新模式转型升级，抓住数据经济的发展势头，提供管理效能，精准布局未来。了解更多，请联系。

慧都大数据专业团队为企业提供商业智能大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！