“数据清洗”技术连通数据孤岛 助建智慧城市

 在深圳南山科技园里,一群数据工程师们正在把这个城市里各个不同部门的数据整合清洗,把深圳所有人编进一个立体的社会关系网。这群数据工程师就来自华傲数据,一家专注于大数据技术和运营的科技创新型企业。

“数据清洗”技术连通数据孤岛 助建智慧城市

大数据避免跑腿开证明

四年前,《哈佛商业评论》一篇名为《谁来引领中国大数据的发展?》的报道中,把华傲与百度、腾讯共同评为“中国大数据产业的领军公司”。那时,华傲数据仅仅成立两年。四年后的今天,华傲数据已经成为国际数据清洗领域公认的佼佼者。

数据清洗的工作就是把各个数据孤岛联系在一起,把碎片化数据变成有用的数据资产。

举个例子,如今我们出国旅游,要开各种的在职证明、亲子证明、收入证明等,我们要花很长时间在跑腿开证明上。这是因为这些数据都掌握在不同的部门,互相之间不连通,就如数据海洋上的一个个孤岛,如果能把这些数据孤岛都联系起来,以后一刷身份证,有关部门就能掌握你的所有信息,省去了你跑腿开证明的时间。

华傲数据在深圳市做了四年的“织网工程”也是一个很好的例子。华傲数据的CEO贾西贝告说,在华傲的业务内,将政府系统中的成百上千的业务系统中的数据汇聚成为一个大的数据资源库,对新型智慧城市的建设意义非凡。

通过“织网工程”,华傲从市委组织部、综治办、规土委、交委、公安、人社、地税等多个业务系统里抽取数据,梳理了来自36个局委办,近3000个指标项,近20亿条数据量,形成了“公共基础信息资源库”,最后实现了跨部门信息共享和业务协同。

“织网工程”从数据上挖掘出人口、法人和房屋之间的关系,建立起一个深圳2000万人口的关系大图,把人口、法人和房屋之间的关系连接起来,形成了一个立体的关系网。在这个基础上将提供人员查询、关系查询等功能。这是全国范围内第一个人口(包括户籍人口和暂住人口)的社会关系图。

展望:大数据越来越“小”

“未来,大数据会进一步‘落地’。”贾西贝预言,“以前的‘大’数据,会慢慢变‘小’”。贾西贝回忆,“大数据”刚出现时,被称为超大数据(verylargedata),量级是MB。而如今大数据只叫bigdata,量级已经是PB。

根据国际数据公司统计,早在2011年,全球数据总量已经达到1.8ZB,即1万亿GB,并且以每两年翻一番的速度增长。预计到2020年,全球将总共拥有35ZB的数据量,“将来还会有EB、YB量级的数据。”

如今,大数据已不仅仅扮演着“工具”等配角,而是实实在在的“生产力”,是一个正在兴起的庞大的新经济产业。根据统计,2015年我国大数据市场规模已达102亿元,2017年有望达到170亿元。行业内报告分析称,10年后大数据将可以撬动万亿元级GDP。

   来源:大洋网   

原创文章,作者:冰川,如若转载,请注明出处:https://www.zhihuichengshi.cn/xinwenzixun/wuliannews/26156.html