谈谈如何有效进行数据质量管理

点击蓝色字免费订阅，每天收到这样的好信息

      数据质量管理是指对数据生命周期每个阶段可能引发的各类数据质量问题采取的一系列管理活动。通过不断地修正或优化来改进数据质量，继而改进组织对数据的运用能力,并期待对企业自身的运转和经营产生积极的影响。这其中，数据的生命周期指的是数据计划、数据产生、数据应用到最终数据消亡的一个过程。管理活动可以是数据生命周期中与改进数据质量相关的每一项具体的管理措施，包括技术层面的刚性控制和管理层面的规章制度等，涉及事前的风险定义、事中的监控预警，事后的效果评估等具体的环节。

      目前数据质量管理常用MTC-DQM来做数据质量管理，其方法与步骤如下所述。六西格玛强调以事实驱动管理,但事实必须以数据来支撑。反映到六西格玛管理方法，MTC-DQM推荐采用十步数据质量管理方法如下图所示。

      总的来说就是通过不断对数据循环检查整改纠正数据错误、改善数据错误管理措施，最终使数据质量螺旋上升。

      一、数据质量的特点

      1、数据的及时性

      失去时效属性的数据其重要性和意义会大为降低，尤其对于在市场中激烈竞争的企业主体而言，及时性的重要意义显得更为突出，第一时间得到的数据是把握经营情况、分析市场走势的重要依据，是打破信息不对称或者充分利用信息不对称进行经营管理的利器。保证数据的及时性需要在数据提取、传送、转换、加载、展现的过程中予以贯彻，因此需要在技术层面建立一套具有全局性和前瞻性信息技术架构，对技术本身的依赖比较强，对技术实施团队的要求也比较高。数据的及时性，可以是第一时间的数据采集，可以是数据高效的传输，还可以是对最终用户而言最快的报表展示，因此及时性牵扯到数据传递的所有环节，每一个加快数据传递的目标都是应该尽力去达到。

      2、数据的完整性

      有意义的数据应该是一套能够自洽的指标体系，应该尽量包含数据分析所需的所有维度的信息，并且信息之间存在清晰的逻辑校验关系。比如从时间维度考虑，同一类数据需要有在不同时间节点上有数据加以描述，不存在残缺和空白；从空间维度考虑，一个事实应该有足够的数据指标来描述，尽量避免出现理论上能够描述却因指标采集不全而无法进一步分析的情况。

      3、数据的一致性

      和前两个角度相比，一致性更强调了一种空间感，由于数据来自于不同的数据源或者说经过了很多环节的传递，这些环节之间相关的数据定义、数据的值、数据的数量都应该是保持一致的。简而言之，同一指标在任何地方都应该保持一致，不应该出现相矛盾的地方。一致性对于业务的真实性有重大意义，对于企业后续的统计分析效果也有很大的影响，因此必须予以重视。对于企业当前的系统设计和软件开发的实际情况而言，开发者一般都是将工作的重点放到主要业务流程的准确实现和保证开发计划的顺利实施上，系统间的数据一致并没有得到足够的关注，硬性地要求每个数据指标的完全一致有一定难度，也存在一些不合理性，因此需要针对具体的情景进行考虑，不能僵化地为保持一致而一致，应该在工作方法和指标范围上有一定的取舍和灵活性，目标是保证核心指针的一致为主，从数据源头就加强控制，力争将风险扼杀在萌芽中。

      4、数据的有效性

      可以从两个角度去理解，一是数据真实，如数据在正常界定的值域范围内，不存在明显不符合常理的数据。二是数据准确，主要指数据处理过程的准确性，不应出现计算的失误。数据的有效性比较容易理解。但是保证数据的有效性却是一个涉及面很广的工作，与企业生产营销的各个环节都密切相关。保证数据有效性可以采取的措施包括在软件数据结构设计时要遵循科学的设计要求、在业务员记录入时应当建立操作性规范予以指导、统计分析的结果应当严格校验保证结果可信，在数据流转过程建立多级预警体系防止蝴蝶效应等。

      二、数据质量管理的常见问题

      随着企业管理水平的不断提升，对业务信息系统建设要求越来越高，对数据质量的需求越来越大，使得信息化管理逐步从“管系统”到“管数据”转变。在企业信息化建设过程中，由于业务人员操作不当、系统缺陷等原因，使得数据质量出现各式各样的数据质量问题，劣质的数据对企业造成的损失是巨大的，直接影响业务信息系统的实用化水平和系统的决策支持能力，最终影响企业的管理能力，损害企业的经济利益和社会效益。

      大多数企业采用MTC-DQM来做数据质量管理，其实质是做数据质量控制管理，管理思路是通过技术手段寻找出问题然后整改，然后通过改善管理，最后使数据质量“完美化”，从目前情况看，影响数据质量的因素主要表现在以下几个方面：

      1、数据质量控制缺乏统一数据质量标准管理

      通常信息项目建设需求分析阶段，没有提出数据质量要求或数据质量要求很笼统，所以自然就没有统一的数据质量标准，而数据质量控制工作常在系统已建设完毕才开始，数据质量标准往往很不明确。由于数据质量标准不明确，初期数据质量整改会很顺利，但一段时间后就会容易出现盲目数据整改，越整改问题越多的现象，数据质量水平呈现出像波浪起伏一样的不稳定状态。

      2、数据质量管理通常是对全库数据定期检查来实现，容易造成资源浪费

      目前数据质量管理在实际中都是通过执行周期性检查来进行质量控制。所以常对早已验证过无问题的数据反复校验检查，导致数据质量检查花费时间过长和消耗资源过多，而且数据量越大，花费时间和消耗资源就会直线上升。这样既降低数据质量检查效率，又浪费资源，是数据质量控制急需改进的缺点，但目前只能在技术层面上做一些改进，效果也并非理想。

      3、数据质量控制使用的检查、整改、验证技术、方法以及工具缺乏认证

      现在市面流行数据质量检查、整改技术、方法以及工具都是各软件公司根据工作经验积累做出来的，并没有验证过这些技术、方法以及工具是否通用，导致使用这些技术、方法以及工具反复多次检查、整改后仍然不能确定数据是否质量合格，更严重时会出现同一数据经不同数据检查工具校验得出不同结论的情况。

      4、数据质量控制过度偏重于数据质量检查、整改，轻视数据录入时的质量管理

      数据质量控制往往过度偏重于数据质量检查和数据质量整改，基本一提起数据质量控制就出现管理部门如何编写更完善的检查脚本，执行部门如何执行整改脚本，却没有针对其他环节的管理，如加强数据标准管理、数据录入管理，加强数据整改后验证管理等。

      三、数据质量的闭环管理

      在质量管理的发展过程中形成了众多的质量管理理论，其中PDCA循环和六西格玛改进方法DMAIC环是两种主流理论。PDCA循环通过计划、执行、检查、处理四个循环反复的步骤进行质量管理。DMAIC环则是通过定义、测量、分析、改进、控制五个阶段形成一套质量管理的改进方法。

      结合PDCA循环和DMAIC环两种质量管理理论，引入沟通管理，形成数据质量闭环管理，如下图所示。

      1、计划阶段

      计划阶段主要定义业务信息系统数据质量指标体系和数据标准，这是提升数据质量最重要的步骤之一。指标体系和数据标准的定义都是基于数据质量维度。数据质量维度分为12类：数据规范性、数据完整性、重复、准确性、一致性和同步、及时性和可用性、易用性和可维护性、数据覆盖、表达质量、可理解性、相关性和可信度、数据衰变、效用性。其中业务信息系统中常见的维度主要有5类，其定义如下表所示。

      （1）定义指标体系

      指标体系是测量数据质量高低的标准，从不同的维度反映数据质量问题。根据上表的数据质量维度，企业可相应制定5种指标：数据规范率、数据完整率、数据准确率、数据及时率、数据一致率。

      （2）定义数据标准

      数据标准是数据质量维度的具体化，描述了数据模型的质量特征，同时也是测量数据质量问题的依据。下表是某供电企业生产系统部分数据标准的示例。

      2、执行测量阶段

      在数据质量管理的执行阶段，将按照定义的数据标准和指标测量业务信息系统的数据质量情况。本阶段又可细分为校验问题和统计指标两个步骤。

      （1）校验问题

      利用数据质量管理平台进行自动化校验（数据质量管理平台是提升数据质量的信息化支撑手段之一）。首先需配置数据质量管理平台的规则库，数据标准是规则库的来源。其次，数据质量管理平台将抽取业务信息系统的全量数据，校验是否满足数据标准不同维度的要求。最后根据校验结果列出所有问题数据清单。下表是一个违反数据规范性的问题数据清单示例。

      （2）统计指标

      将问题数据清单作为输入物，统计不同数据质量维度的指标。以下数据规范率指标的统计公式。

       3、检查阶段

      （1）分析原因

      分析数据质量问题的原因是数据质量管理的重要步骤之一，是计划和执行阶段的主要目标。常见的数据质量问题的原因包括以下几点。

      ■由于业务信息系统的建设历程中没有统一规划，没有一套稳定的数据标准，导致存量数据的质量存在不同程度的问题。

      ■由于业务人员操作不当，导致数据违反准确性、及时性等问题。

      ■由于业务信息系统数据库元数据定义不准确、数据集成问题等原因，导致数据违反规范性、一致性等问题。

      ■由于业务信息系统没有按照数据标准完成数据的准入控制，导致不断有增量问题数据产生。

      确定影响数据质量的因素可以对下一步骤做出有依据的决策，可以确定下一步所需要的管理措施或技术完善。

      （2）制定提升方案

      基于数据质量问题清单和指标，以及数据质量问题的原因分析结果，制定数据质量提升方案。提升方案将针对不同数据分类、不同维度、不同原因确定整改措施，提出指标的提升要求，并明确责任人。

      4、处理阶段

      本阶段主要是实施数据质量提升方案，通过改进措施解决存量问题，通过控制措施监测提升结果并解决增量问题。

      （1）改进

      解决存量问题一般依靠人工核查或是数据清洗。人工核查是通过查阅纸质材料或现场普查等方式获取数据真实的信息，并将核查结果更新到业务信息系统中。数据清洗利用特定的算法自动过滤不符合数据质量要求的数据，并对其加以改正。

      （2）控制

      控制措施包括监测结果和数据准入控制。监测结果是通过数据质量管理平台验证改进措施是否有效，检查改进结果是否到时提升方案的目标。数据准入控制是在业务信息系统数据录入过程中进行数据标准校验，杜绝增量问题。

      处理阶段完成改进和控制措施后，将结果反馈到计划阶段，重新修编指标体系和数据标准。至此完成一个闭环管理，进入下一个的数据质量提升循环。

      5、沟通管理

      沟通管理是数据质量管理模型不可或缺的一部分，它贯穿着整个闭环，对数据质量提升起到至关重要的作用。沟通管理的目标是在数据质量管理过程中，将结果和进展情况进行适当的沟通。数据质量管理模型中任何一个步骤的输出物都可以作为沟通管理的输入物。沟通管理可以借助管理工具生成沟通方案、时间表和培训计划等输出物。

      四、数据质量管理工具

      数据质量管理可以使用数据质量管理工具进行支撑，数据质量管理平台和数据核查工具其中两个最基础的应用。

      1、数据质量管理平台

      数据质量管理平台的工作步骤如下：

      （1）从业务信息系统抽取元数据到ODS（OperationalDataStore，操作型数据存储）。该层可以与数据仓库共用。

      （2）数据校验工具利用规则库校验ODS中数据是否符合数据标准，得到问题数据清单。

      （3）最后平台将问题数据入库，并根据指标库和问题数据清单统计出数据质量指标。

      逻辑层完成数据的抽取、转换、加载、校验、统计后，将最后得到问题数据和指标存入库中，供应用层使用。应用层的主要功能包括：

      （1）问题数据查询：提供查询历史问题数据和增量问题数据的功能。

      （2）指标展现：提供数据质量指标的多维查询及指标上下传输功能。

      （3）数据质量报告：根据报告模板、问题数据仓库和指标生成数据质量报告。

      （4）统计分析：统计问题数据平均持续时间、问题数据处理率、增量问题发生率以及对应的趋势图，便于管理人员监测数据质量提升效果，并以此作为依据制定下一阶段的计划。

      2、移动应用管理

      由于部分数据核查工作需要到现场进行（例如查看设备铭牌），传统的做法是利用纸质材料或是照相机拍照等方式记录数据，最后再将其录入业务信息系统，这种方式非常低效。因此，利用数据总线和移动终端技术，实现数据核查移动应用，将数据质量信息化支撑延伸到工作现场，可以极大提高工作效率。

      （1）数据质量管理平台完成数据校验后，通过数据总线将问题数据传输给业务信息系统。

      （2）业务信息系统根据问题数据，自动生成核查工单并下载到移动终端应用。

      （3）用户按照工单要求到现场核查数据，并将核查结果记录到移动终端应用，也可以使用终端拍照备查。

      （4）完成核查后，用户将核查结果上传到业务信息系统进行审批，通过审批后数据将被更新到正式库中。

      （5）最后数据质量平台再次验证核查结果是否符合数据标准，否则将继续生成问题数据。

      四、数据质量管理的发展趋势

      在现今社会信息化越来越重要，企业决策信息的准确性取决于企业数据的准确性，数据质量有必要提升到一个新的高度。但系统数据规模不断膨胀，每次全面的数据检查花费的时间由原来的小时级发展到现在的日级，未来很可能会达到周级、月级，其耗费的资源更是增长的令人难以忍受。传统的数据质量管理方法（数据质量控制）日益无法适应新的需求。针对现今数据质量管理存在的问题，应当转变思路由寻找问题数据转变为寻找正确数据，由数据质量控制转变为数据质量认证。

      数据质量认证就是管理确认系统数据是否符合数据质量要求的全过程，其管理思路是寻找信息系统数据中哪些数据的数据质量是符合数据质量要求的。其管理过程是先确立数据质量标准，再通过标准技术和管理手段在信息系统数据中进行数据认证找到符合数据质量要求的数据，然后对不符合数据质量要求的数据进行改良再认证不断循环该过程，最终使信息系统数据完全符合数据质量要求。其管理目标是为信息系统提供可靠的数据同时减少资源的浪费，最终为企业决策信息提供坚实的数据基础同时提升资源使用效率。

      数据质量认证应以下三点为基础。

      (1)建立以已确认的信息系统需求为中心数据质量认证标准

      在质量管理中，提出满足要求的产品就是合格的产品，同样满足要求的数据就是合格的数据，数据质量管理就是满足要求的数据管理过程。数据质量要求应是通过用户确认同意的系统需求。系统数据通过校验是否满足数据质量要求，即可认证数据是否合格可用。只要系统需求不变更,数据没有更改，下次就无须再次校验，当系统需求变更或数据更改时，只需按系统需求变更或数据更改的内容，针对涉及变更范围的数据重新认证，这样就可以最大限度节省校验时间，亦可大量节省校验花费的资源。

      (2)统一数据质量管理所使用技术、方法以及工具

      通过统一数据质量管理所使用技术、方法以及工具，建立如同ISO一样的标准体系。这样数据质量认证能够规范化、标准化，从而实现对数据质量的规范化、标准化，使数据质量由不可控变为可控，有效避免出现同一数据经不同数据检查工具校验得出不同结论的情况。

      (3)建立全面数据质量管理

      近来随着信息化的深入发展，尤其是大数据时代的来临，数据质量方面的工作也由原来的对数据质量的检查和整改发展到建立全面数据质量管理(TDQM)，建立科学、完整的数据质量评价和管理体系，就必须推行全面数据质量管理来提升数据质量。为了高水平的数据质量,必须从产生数据的源头抓起，对数据运行的全过程进行监控,密切关注数据质量的水平变化，以管理为切入点，强化全面数据质量管理的思想观念，为数据在其生命周期每一个阶段尤其是数据产生阶段就能够保证正确，就必须做好全面数据质量管理。由此可见数据质量认证必须建立在完善的全面数据质量管理之上，全面数据质量管理将为数据质量认证提供坚实的理论基础和技术支持。

      数据是每个企业最具价值的无形资产，企业的业务绩效直接与数据质量存在着直接联系，高质量的数据可以使企业拥有在任何时期立于不败之地的竞争力。因此,在信息系统数据质量未来发展方向中，数据质量管理既是一个管理体系保证企业数据的可用性，同时数据质量管理也是一项投资，应以最小资源花费代价得到最多的可用数据，企业才能通过数据分析、数据挖掘提炼出对企业有帮助的决策信息，最终使企业竞争力得到提升。

      五、数据质量管理建议

      1、建立数据质量管理标准

      有了统一的数据标准后，数据录入采集、加工处理等诸过程都将按照标准要求进行，数据混乱出错的情况将大为减少。需要整理发布的基础性数据标准包括业务元数据的标准和相关代码的标准。

      业务元数据是关于业务数据的数据，即对业务数据或信息进行描述的数据。发布业务元数据的标准就是提供一个统一的业务数据项定义和描述方法，对数据元素名称、数据元素定义、数据来源、源数据载体、数据类型、逻辑一致性、采集主体、采集频率、更新等级、业务类别等方面作详细说明。

      代码的标准就是提出相关代码规范化的取值范围。可分为三类处理。一类是已有国家级标准的，采用国家标准代码，如国标行业代码；另一类是暂时还没有国家标准的，但是行业已制定标准的，依据行业标准；第三类，是需要自己制定标准，在本单位范围内使用，将来会被更高级标准取代。

      2、完善数据质量管理机制

      为了保证业务数据准确、及时、完整一致，必须要有专门的机构和岗位负责业务数据质量的监督管理。要在建立健全企业管理机制、职能的过程中，专门设置数据质量管理岗，或将数据管理的职能详细明确到相关岗位，牵头负责企业业务数据的质量管理，使得业务数据质量管理工作制度化、常规化。如采购部门负责统筹供应商业务数据质量管理工作，制定有关制度和办法，业务数据加工处理过程中的质量控制，按照规定进行技术岗位数据变更，并对系统供应商数据质量情况进行考核；信息部门负责系统数据资源的安全传输和存储；各业务部门根据各自业务管理权限，负责对应范围内的业务数据质量管理，参与相关制度办法、数据审计规则和问题数据处理方案的制定；各基层单位所负责本部门业务范围内业务数据质量管理；各岗位人员对自身采集录入的业务数据质量负责；对其他岗位采集录入的，且属于本岗位管辖范围的数据质量负责。在明确职责的基础上，应相应完善一系列管理制度，确保落实过程中的可操作性。

      3、搭建有效的数据质量管理平台

      数据质量管理平台需要具备前堵、中控、后审三个重要特点。

      前堵——阻拦错误数据于进系统之前。在数据录入环节、数据导入环节、部门间信息交换环节，设置相应的逻辑规则，自动排查错误数据，提高原始数据的准确度。

      中控——通过数据审计及时校验、修正数据。通过数据采集后的自动审核，及时发现各类异常数据，分层面推送至相关人员进行纠正。数据审计是组织开展数据质量评估，保障业务数据完整性、及时性、准确性的重要手段。

      后审——检测错误数据于日常维护之后。实施日常检查和稽查的核查、抽查。建立质量通报制度。定期发布数据质量通报，将检测的异常数据下发基层核实维护，提高数据的准确性。

      4.提升操作人员数据管理水平

      在培训模式上，建议根据岗位需要，分批分岗位培训，集中处理特殊环节、特殊业务数据质量要求的注意事项。实际应用中其实并不需要太多懂得全流程的通才，更需要熟悉自己岗位所涉及数据管理填报、应用和管理的要求，只有每个岗位都能重视数据质量，整个企业的数据质量才能有效提升。

      数据质量问题不外乎两方面原因，管理上（人）的因素和技术上的因素，建立健全科学、规范的数据质量管理机制，从组织、制度、技术等层面保障对数据的有效监控，是有效提升数据质量的关键。

      注：主要参考《数据质量未来发展》《数据质量管理模型及应用》。

扫码二维码

获取更多精彩

数据驱动智能

谈谈大型集团如何构建数据安全治理技术体系

浅析大型集团企业设备主数据管理

谈谈数据中台的建设策略和方法