数据模型与数据治理（二）｜在企业级数据建模中治理数据

随着越来越多的企业意识到数据作为出产身分的价值，加快了企业数字化转型，把美满企业级的数据治理系统作为企业数字化转型的一个指标。不朽情缘科技在大数据领域始终维持足够的技术敏感度，并堆集了丰硕的经验与资产。为此，我们组织了一个系列专文，吩熠颁发，与您一路索求更适合当下行业发展的数据观，迎接各人持续关注。

作者｜不朽情缘科技大数据钻研院

内容｜本篇共4010字，预计阅读功夫15分钟

创建企业数据模型的过程与最终了局同样沉要。正是由于数据建模的缺失，更火急必要治理数据。即便一个幼的业务处置系统的关系数据建模，也能够预防或削减数据质量问题的产生，有效降低将来数据治理和运营的成本微风险。一些企业的数据治理仅仅是为了满足监管要求而进行的被动行为，在IT建设过程中，没有通过企业级数据建模进行顶层设计和两全规划，随着监管科技的发展，监管日益精密化，处罚力度不休加强，仅仅实现“划定作为”而没有通过系统化设计、未能得到底子解决的各类数据问题逐步露出出来并带来了越来越多的负面影响。反之，借助数字化转型，在内部推动企业级数据模型规划和落地，并通过数据治理有效算帐积弊，提升数据资产质量的企业，则在数据资产化、身分化的海潮中获得了当先的竞争优势。

关系数据建模步骤

仍是企业级数据建模的唯一选择

DAMA-DMBOK2总结了用于暗示数据的六个最常见的模式是：关系、维度、面向对象、基于事实、基于功夫和NoSQL，其中最常用的是关系、维度、面向对象的UML，每种建模模式都使用特定的暗示法-图表符号进行表白，优良的设计模式提供丰硕的可扩大建模说话，便于提炼专家知识的原型，降低建模难度。

关系数据库治理系统的壮大能力与Peter Chen的原始ER实体关系模型的概想密不成分，即逻辑数据模型。将数据与流程（与业务流程和系吐澉程）分隔的主题思想，突破了面向流程的系统开发模式，同时实现更新（操作运营）和接见（决策支持）的主张，逻辑数据模型从业务角度实现了这种分离，而物理数据模型从数据库角度实现了这种分离。关系数据模型的实体齐全性、参照齐全性、用户界说的齐全性约束为高质量数据的实现提供了保险，四十多年来，关系数据建模一向是理解复杂业务与数据，设计和部署拥有高质量数据的关系数据库与支持利用开发的火快的、正确的、靠得住的最佳步骤。银行业务买卖系统数据仍以关系数据为主，并适度降范，能够与企业关系数据模型便捷映射。

对象建模与面向对象的法式设计步骤共同重要用于买卖系统数据模型设计，对象中能够蕴含对象，冗余设计不成预防线造成数据的不一致，很难提供一个正确的界说来注明指标建设的数据，数据可移植性差，守护难题。维度建模是利用需要驱动的设计，即便设计企业一致的维度（也必须经历范式与抽象的思想逻辑过程），也存在数据冗余。对象建模与维度建模这两种步骤的初衷都不是为了用一种不变而客观的方式描述事实，以提供高质量数据并保障数据的陆续性，因而这两种方式的建模过程不只无助于发现数据问题，反而可能产生更多的问题，不适合用于企业级的数据建模。

数据质量的怀抱治理与评价系统主题仍是基于关系数据模型成立的。DAMA-DMBOK2综合了8个拥有普遍一致性的数据质量维度：正确性、完整性、一致性、参考齐全性、合理性、实时性、唯一性、有效性。ISO/IEC 25012数据质量模型把数据质量个性分为不排它的固有的数据质量与依赖系统的数据质量，排除依赖系统的数据质量个性后，固有的数据质量个性都能够用关系数据库治理系统来治理。

一表通监管数据采集接口尺度把明细类数据划分为机构、客户、关系、财政、产品、和谈、买卖、状态、资源、参数等10个主题，把关系、状态单列主题，别离治理关系与汗青变动，关系模型设计模式的监管要求比从前越发模型化，能够越发齐全、系统化评价数据，对数据质量的要求越来越高。一表通接口尺度存在肯定的冗余，必要在支持一表通的底层实现上提供一致的数据。

企业级数据建模

若何有效援手治理数据？

数据是业务与信息的最后载体，企业级数据建模应自上而下参考企业业务架构与利用架构，自下而上结合数据需要和数据近况。从数据近况启程，整体上能够划分为信息索求、模型设计两个大的阶段。

1.信息索求阶段

相识企业数据近况及其元数据是企业级数据建模内容行为必不成少的一步。信息索求是对企业现罕见据与文档进行调研分析，鉴别其数据结构、业务寓意、数据关系、数据流，从源数据中索求出信息的过程�Ｄ芄凰敌畔⑺髑蟮拿恳徊�，都可能发现必要治理的问题，数据模型师作为数据考古学家必须耗费大量功夫深刻穿透缭乱复杂的数据表象，反复提出如果，验证或颠覆。

分解、分析数据，理解近况数据结构，索求、告发分歧数据元素的寓意及其之间的联系。数据出产者很少能提供文德反诠释自己设计的数据寓意与关系，短缺业务元数据，必要数据治理部门的支持并借助领域专家的经验。对每张表深度分析，可能发现大量主键、表键、值域等数据齐全性问题，以及违背业务规定的数据。

可视化业务源数据模型。由于业务系统很少提供源模型，反向工程还原源数据模型是企业数据建模人员应该尝试实现的一项工作，通过与数据出产者以及业务人员的交互，更好地理解与验证数据，确认业务规定，更容易发现与确认数据质量问题。源数据建�；褂兄诮萦胝媸狄滴袷澜绫咎褰斜攘�，发现差距。

索求跨业务系统的数据关系与数据流。梦想情况下，企业应具备利用架构、数据架构来注明分歧业务源系统之间的数据交互关系，业务系统应提供具体的设计注明。把数据集中到一路进行跨系统深刻索求验证，还能够进一步发现分歧系统之间的业务不一致、账务不一致以及业务与账务不一致问题，使各类问题充分露出。

形成企业数据CRUD散布图，鉴别出有效的关键数据，进一步确定黄金数据源。发现与确定什么是以及为什么是关键数据，数据治理的重要主张之一是�；ぁ⒅卫碛牍蚕沓劣谜庑┕丶�。若是不知路要治理的数据是什么、数据的寓意以及为什么对组织沉要，就不成能很好地�；ず椭卫硎�。鉴别出冗余数据，区别垃圾数据，确定企业数据散布与集成的问题。许无数据问题是由于不科学的CRUD造成的，企业建模思想很容易发现利用架构、数据架构在主数据、数据交互与集成等方面存在的问题，如统一主数据多个系统创建与批改。

提议数据资产评估，盘点数据资产近况是数据治理早期关键活动。企业级数据建模过程中的信息索求，从数据到信息，找到有价值数据，发现必要治理的问题，应是数据治理内容工作的沉点内容。

2.模型设计阶段

数据模型是本体模型，数据建模是一项专业设计工作，在数据建模过程中融入数据治理思想，经过专业掌管的沉思熟虑与验证，精准设计与界说模型本体——每个概想业求实体、逻辑数据实体及其固有属性。模型设计蕴含主题模型设计、概想数据模型设计与逻辑数据模型设计，企业级数据仓库模型是企业级的分析数据模型，还蕴含物理数据模型的设计。在界说数据模型本体过程中，能够发现更无数据问题。

成立数据尺度。提议数据尺度是数据治理前期高优先级工作之一，数据尺度从何而来？除了国度尺度、行业尺度之表，信息索求阶段的产出应该作为界说数据尺度的沉要输入参考。若是造订的数据尺度脱离本企业现实近况，落标时将产生大量不用要的刷新工作。

对企业关键概想业求实体与逻辑数据实体进行界说与分类，成立关系，构建可治理的、不变的数据架构。设计企业级数据模型，即便有成熟的行业数据模型能够参考，也不应该忽略概想模型的设计，各父叩人对企业关键概想的理解达成一致共识，是沟通、治理与使用数据的前提。

选取范式与适度抽象设计思想与通用数据模型设计模式，设计不变的数据模型，使模型收敛而不发散，改善业务一致性。严格依照第3范式要求设计逻辑模型，必然会发现源系统好多因冗余设计造成的不一致性问题（固然业务系统通常选取范式设计模式，但没有达到第3范式要求），在物理模型设计中思考适度降范。

数据模型师与业务领域专家、数据管家等一路界说数据模型。捕获业务若何描述和使用数据，创建和集成统一、共享的业务元数据。在界说过程中实时纪录各类数据问题，加快数据治理工作。

可视化数据模型，为业务与技术提供交互的接口，为数据使用提供元数据，验证与提升数据模型设计的正确性、一致性与齐全性。

部署正确的高质量数据源。凭据信息索求的了局，确定正确权威的数据源映射模型，执行齐全的数据模型设计工作，确保数据齐全性。在集成的数据环境中，基于数据模型进行全维度质量查抄，把问题提交给治理团队铺排治理，推动上游业务系统治理，在源头产生高质量的数据。

节造整个企业中数据的设计和部署使用，治理数据性命周期�＝谠觳⑷繁Ｈㄍ荼扇擞蔚玫饺媸褂�，确保从安全、合规到商务智能利用可回溯到源数据。

优良的数据治理，

提升数据建模效能

数据建模和数据治理都是数据全性命周期治理的关键职能领域，二者相辅相成，对提升数据的可用性、阐扬数据价值拥有沉要的意思。

数据治理是对数据资产治理行使权威与节造，数据治理组织提议企业数据建模，能够将数据建模视为对数据界说的权威与节造的执行和执行。企业数据建模的准则（在“正确的”功夫，由“正确的”人员为组织界说“正确的”数据，确保唯一正确的数据放在唯一正确的处所），必必要有规范或准则来确保数据设计切合必要，这些规范由数据治理委员会委托有关职能团队设计并核准颁布。

数据治理职责描述数据治理岗位治理数据和流程的职责和责任, 确保有效节造和使用数据资产。数据治理专员职责的重要活动蕴含创建和治理主题元数据、纪录规定和尺度、治理数据质量问题、执行数据治理运营活动，必要把这些治理职责与活动嵌入到企业数据建�；疃�，在整个数据生态系统中的人员、流程和系统中界说和开发“正确的”数据行为。

企业数据建模各阶段必然会遇到很多问题，必要业务职能领域和 IT 组织协同，与数据建模人员一路工作，协助数据建模，必要数据治理组织为数据的集成与整合提供推动与决策支持。在正式的数据治理组织成立之前，企业级数据仓库的模型建设重要由IT部门提议，业务仅是作为数据利用的需要方参加，项目中发现的数据问题没有相应的“司法”解决蹊径。

END

仅治理数据而不建模数据，治理成就得不到坚韧，不能利用于新的设计中预防或削减类似问题的产生，各类问题循环反复。与单独进行分歧的工作相比，企业数据治理与数据建模结合起来更好，嵌入数据治理能够更有效开发和守护企业数据模型，企业数据建模使数据治理工作更有效，全面提升数据出产质量，给数据消费者提供高质量数据。

不朽情缘科技“星云”数智一体化平台，沉磅来袭！

不朽情缘动态

2024.04.02

数据专题 | 企业级的数据治理必要企业级的数据模型

不朽情缘动态

2023.11.23

有关新闻

数据资产价值实现（四）| 企业数据集成驱动价值最大化

热点聚焦

2025.06.24

数据资产价值实现（三）| 优化数据治理生态

金融科技