数据资产管理:如何清理变质的数据

  • 2015-08-20 15:58:42
  • DAMS原创

编者按:在大数据成为热议焦点的当下,不少人会产生一种误解,以为大数据就是拥有的数据越多越好。但实际上,数据被采集起来后,必须进行梳理、检验、管理、更新等一系列处理,并且应用起来,才能发挥该有的作用。倘若不进行处理和及时应用,数据就会变质。


IT核心环境中的数据就像冰箱里的食物一样:如果不吃掉它,它就会慢慢变质。两者唯一的区别在于,食物变质至少会发出臭味,让你意识到要及时清理它;但数据变质了,只会安静地待在那里。实际上,经过详细的评估,如今大部分的IT环境中有超过40%以上的数据存在缺失和不准确的现象。换句话来说,就是数据变质了。


40%,无论用任何标准来说,这都是一个令人惊讶的数字。目前IT正在从幕后走向台前,因此无论是对于企业还是CIO而言,40%都是一个致命的数字。试想一下,一个CFO向董事会提出未来的财务建议,但这个财务建议却是基于40%有问题的数据,这会有怎样的后果?以后在提出这些建议的时候,你该明白为什么CIO们的价值与承担的风险如此之大了。


变质数据的背后是什么?回顾一下你的IT环境,在过去几年中IT如何神速地发展起来;系统如何从单一来源的环境中迁移到多个合作伙伴的环境中;系统如何让云计算落地;系统中数据的复杂性和数量如何迅速增长。然而,用来跟踪数据和IT环境各种组件的系统和工具却未能跟上系统发展的步伐,而且这仅仅只是开始。目前,IT组织、技术部门以及使用IT系统的组织本身都开始意识到这个问题,他们着手收集、存储和保护数据于一些数据孤岛中。同时,还有一些人为的因素,例如:他们仍然使用电子表格给资产别名,或者会犯一个足以影响到整个IT系统的小错误。


这就是数据变坏的原因。


逆转数据变质过程


那么,如何让坏数据逆转成好数据?你需要一整套系统的方法和流程,由统一的结果和一致的数据视图,建立你的IT基础设施。


识别、访问和组织数据


平均每个企业都有50种不同的数据类型,而且随着物联网的起步,这个数字还在不断增长。企业需要保持数据类型的增长,同时更好地管理数据。


处理和净化


应用主数据管理原则,将数据转化为与现实情况相符的统一形式。


分析和洞察


在收集、识别和净化数据之后,应该马上将它们应用起来。那些经过净化和规整的数据集已经做好了分析的准备。例如,数据孤岛之间的交集有助于识别流程存在的问题,从而分析根本原因,形成持续性的提升。


预测、制定和优化


以前默默无闻的数据现在可以发挥超乎寻常的能力了。把这些数据与机器学习和高等数学相结合,你现在可以:


预测:机器可以代替我们作出更多的预测。使用历史数据为基础,确定接下来什么情况是最有可能发生的。


制定:如果预测告诉你将会去哪里,那么制定则告诉你到达那里的最佳路线。结合最新的有效数据和机器学习,制定出实现当前目标以及建立后续目标最有效的方法。


优化:新数据可以给你带来资源管理的新见解。例如,在30%的服务器还未充分利用到的时候,为何需要采购一台新的服务器?这种类型的优化机会存在于IT环境的每个角落。



结论


在很长一段时间,提升数据的精度和质量都成为了人们的工作任务。但随着IT成为企业业务过程中一个日益重要的部分,提升数据的精度和质量在人们的工作任务中已经从“应该做”变成“必须做”。本文所述的要点,能为你的业务推进以及IT决策提供最佳方式。


(新炬网络梁铭图翻译,DAMS整理成文,架构师联盟微信号:jiagoushi2015)