从南水北调工程看物联网、大数据的另一面

　　【智慧城市网】互联网往往以庞大的用户基数、天量的数据积累、深度的数据挖掘与分析成为大数据应用的急先锋。而物联网，作为大数据应用的另一面，随着智能物联网的逐步落地，搭载云平台之后的力量也不可小视，尤其是在智慧城市和智慧行业应用建设的背景之下逐步显现应用价值。
　　
　　CSDN云计算的读者对基于互联网实现大数据应用的案例不陌生，从Facebook、Netflix到Pinterest，从阿里、百度、腾讯到京东、360、小米。但物联网，却鲜有涉及。日前，有机会就相关问题请教中国科学院计算技术研究所计算机软件及理论博士，同方物联网应用产业本部软件开发部总监王丰锦，收获颇丰。
　　
　　以传感器为基础的物联网特性分析
　　
　　王丰锦，一直担任物联网数据资源体系与数据业务服务平台规划与设计的研发工作。在他看来，智慧城市的城市运行体征大数据中心有如下特征：
　　
　　作为基础平台和神经中枢，城市运行体征大数据中心强调软硬结合，将来自不同部门和行业的数据(如行业数据、政府部门和公共基础数据等)进行收集与整合，然后依据智慧城市指标体系进行规范和关联，最终支持不同应用载体进行信息查询、分析和挖掘。这其中，会应用到多种创新技术，如云计算、物联网信息采集平台、GIS地理公共服务分析展示平台、大数据统计分析平台等。而从行业应用来看，也可分为智慧城管、智慧政务、智慧民生、智慧交通等行业体系。
　　
　　正是由于涵盖范围广，所以智慧行业应用往往从点开始，逐步延伸。比如同方已经通水试运行成功的南水北调东线山东段调度运行管理工程项目，充分体现了这一点。项目全称为“南水北调东线一期工程山东段调度运行管理系统”，从技术上看，覆盖了信息采集、数据整合加工、数据查询与实时监测、数据资源体系管理等大数据应用全过程，以及结合GIS地理公共服务的数据展示与分析。
　　
　　具体来看：南水北调东线山东段94个闸泵站/监测点实时运行，每5分钟采集一次水位、水情、水质、流量、闸门开度和基础运行状态的基础信息，每天数据量大概在50万条左右，1GB的容量，一年将近1.5亿条，1TB左右的监测数据。这就要求技术架构可以充分应对“庞大的数据实时收集，大规模存储，实现快速数据查询，历史数据挖掘和分析评估，为水量调度和综合会商提供充分的信息支持服务”等需求。
　　
　　作为典型的水利项目，南水北调的物联网特性很明显。不同于互联网的网页数据抓取、存储和分析，其监测数据都来自于水位计、流量计、水质监测设备、位移传感器、工程安全传感器等各种物联网传感器设备。物联网传感器获取的监测数据通过PLC自动化控制设备或者直接网络连接实现定时的数据采集、信息转换和信息上传。所获得的数据也非常庞大，不亚于互联网所产生的数据。
　　
　　落到技术上，由于南水北调调度系统是以业务系统为主，分析辅助决策为辅，所以数据库方面仍是以关系数据存储为主，但为了适应大规模数据量(每天50万条)的日志分析，也会采取混合数据库(SQL+NoSQL)的方式，通过Hadoop(HBase)，对监测日志进行实时查询和分析。在王丰锦看来：“数据采集和存储只是第一步，通过同方的大数据资源体系，以指标体系为基础对原始数据进行资源化(将不标准、不规范的传感数据标准化、规范化)，将数据本身之间的关联关系和内部联系以元数据方式进行描述，便于后续的业务系统应用和数据查询和分析。这才是同方最独特的优势。”
　　
　　南水北调物联网项目技术实践
　　
　　从5月25号到6月25号的试通水运行成功和10月份22日开始的正式通水试运行情况来看，项目进展顺利。长江水从下游江苏省扬州的江都水利枢纽以每秒500立方米的抽水速度北上，送至鲁北、胶东地区，并具备向河北、天津应急供水的能力，水量调度运行管理系统运行正常，初步实现了预期的信息系统监测与管理、自动化数据采集和实时监控等功能。下一步研发目标，王丰锦表示，将集中在“大数据可视化、信息采集平台优化、历史数据分析与预测等方面。”
　　
　　大数据可视化分析，是通过分析和挖掘庞大的历史数据量背后的关系和趋势，以可视化的方式为管理层呈现数据价值的最好工具，将会应用在项目的日常水量调度、水质分析、应急调度、工程管理等方面。
　　
　　完善信息采集平台方面，目前已经实现了通过物联网将各种各样的传感器的信息进行实时采集，但未来还需要进一步扩展，包括增加支持的设备类型和通信协议标准。除此以外，由于物联网行业属性明显，如水利、交通等，需要将行业知识和技术紧密结合。
　　
　　数据需求预测方面，南水北调等调水项目不同于其他项目，更重视历史数据的积累，基于历史数据的分析和预测作用极为明显。所以如何访问关系数据库中当前的实时数据进行实时查询和展现，以及如何将存储在不同地方的大量历史数据转换为可以分析的数据，并通过同一界面完成统一的查询分析和结果展示，需要进一步结合用户的调度管理和综合分析的要求进行研发。
　　
　　“最初我们也认为水文数据既然是关系型，放到关系型数据库中就可以，但真正到了实践，才发现关系型数据库的弊病。比如，要对最近一个月内的数据进行分析是可以的，但是如果要增加上近5年的历史数据，关系型数据库基本上就跑不动了，要非常漫长的搜索和分析过程。所以，我们尝试应用了HBase数据存储方式来支持海量数据的存储和分析。”
　　
　　研发上，同方也采用了“开源优化+自主研发”之路。比如数据可视化，就是通过开源GIS平台+自主研发的图表工具的方式实现了基于GIS的闸站监控数据的展现和分析。
　　
　　项目并非一帆风顺。王丰锦对CSDN云计算表示：最难之处在于对于历史数据的清洗和转化，非常的耗时耗力。