关于自标准数据的若干问题的探讨(三)

唯一可行的办法、唯一有效的办法就是王权先生提出的SSD体系。

由此我们可以推断，中国信息化成功一定首先是数据大整合的成功，而数据大整合一定需要另辟蹊径—-SSD体系。

第二、SSD以及相关概念的定义以及与其他数据系统的区别。

自标准数据，Self-Standard Data，即自带标准或格式的数据体。数据提供者按照自己（或自己系统）的标准或格式提供数据，并将该数据所使用的标准或格式与所提供的数据一起打包，数据使用者按照该标准或格式自行解读并使用数据。它是传统数据标准体系的重要补充和突破。

性质

自标准数据打破了大家共同遵守统一标准的局限，给数据共享提供了更加切实可行的路径。其具有如下性质：

（1）自标准数据是一种数据体，它既包含数据本身还包括数据格式；

（2）自标准数据是元数据的一种特例，元数据与数据捆绑；

（3）自标准数据是一种全新的数据共享模式，打破了传统的数据与标准脱离的局面；

（4）自标准数据是一种客观、现实的数据管理策略，适应性强；

（5）自标准数据是大数据的基本单元，采用自标准数据技术有利于大数据技术发展；

（6）自标准数据是系统自治思想的应用。

相关实现技术

配合自标准数据概念，王权先生又进一步提出了数据码头、数据泵的等相关的实现技术。至此，就大致形成了完整的SSD体系。

数据码头，Data Dock，即数据提供者放数据的场所。数据提供者把数据放在指定位置就不管了，使用者自己去取，去处理。使用者再产生的数据也放到码头上。

当然，数据码头必须有自己的一套数据存储、分类、去除、检索等等机制。

数据泵，Data Pump，是专门的抽取数据的部件，可以是集中的，或分散的。它可以被看作是传统数据适配器的改进。其功能是：存取数据，全局统一管理资源目录、使用权限等。

数据泵应该是整体上分为两大类：

数据推送泵，Data pump in,负责把数据推送到码头指定的位置；   数据抽取泵，Data pump out,负责检索、抽取、清洗、分类，外传数据。

SSD体系示意图如下：

SSD与传统的一些数据技术的区别：

             SSD与元数据、数据元的区别

其实自标准数据大致上相当于“数据元+元数据”，但还是有很大的不同。首先，数据元和元数据的设计、存储、操作都有比较严格的规范，一般都是基于数据库或数据仓库的，特别是结构化数据。其次，数据元一般是不可分割的最小数据单元，而自标准数据在体量或规模上是多变的、不固定的，可以很大，也可以很小，甚至小到数据元的水平。比如自标准数据可大到一个地震工区的数据体，也可以小到只有一个井号的数据。第三，元数据和数据元一般存在于一个庞大的数据库或数据仓库实体中，一般不会同时传输。但自标准数据中数据与标准一般是在一起，就像电器与使用说明书。当然当你完全掌握了使用方法，你当然可以扔掉说明书，但那只是你自己的事，别人再用可能还得用说明书。所以说明书是标配，得跟电器在一起。

       SSD可以弥补 webservice或adapter的缺陷

大庆油田正在做一个系统，叫做《大庆油田生产经营管理与辅助决策系统》，简称 DQMDS。系统名字体现不出来建设内容。这个系统实际上是要建立以驾驶舱为主要功能的集成系统，要把已有业务系统的数据抽取出来，放到一块，展现出来，并一定程度地进一步钻取数据和操作。

现在有两个难题：

第一个，初步调研显示，这个系统大概要集成近百个系统，最难办的是那些封闭系统。这些封闭系统一般都是掌管着人财物等关键资源的强势系统，还有最重要的ERP系统。这些系统一般都是买来的，很多还是基于国外的大平台开发的，我们没有开发权限，不许我们动，他们不给你接口。让服务商专门给你开发webservice之类的接口是很麻烦，钱也花不起，时间也等不起，维护也耗不起。一般能提供数据就算很幸运了，而且你也别想人家遵守你的标准。所以只能把人家的数据导进来。

第二个，系统要从近百个系统里拿数据，如果都是webservice链接，如果一个系统不好使，新建的系统就转不起来了。Webservice是紧耦合链接，实时连接，一旦有问题，系统就不能运行了。自标准是松耦合，想链接就链接一下，不强迫，自己轻松，老系统也轻松，连不上也死不了，可以用老数据。有点像TCP协议和UDP协议的区别！网络的链接和无链接。

但是，自标准数据不排斥webservice、adapter等技术，完全可以兼用。自标准数据的出发点是无奈之举。

            SSD 与 数据中心

数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备（例如通信和存储系统），还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。谷歌将数据中心解释为“多功能的建筑物，能容纳多个服务器 以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求，并且这样放置便于维护”，而“并不仅仅是一些服务器的集合”。

数据中心中的数据是严格组织的数据，务必标准规范，也是行业或者企业必须建设的。自标准数据主要解决数据中心之外的数据交换问题，面向已经存在大量系统的数据整合问题而来。一个新建设的企业事业单位，一切从零开始的话，完全不需要 SSD体系。

           SSD 与 数据仓库

    数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。

数据仓库的特点：

1、数据仓库是面向主题的；操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。

2、数据仓库是集成的，数据仓库的数据来自于分散的操作型数据，将所需数据从原来的数据中抽取出 来，进行加工与集成，统一与综合之后才能进入数据仓库；

3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；

4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。

5、汇总的。操作性数据映射成决策可用的格式。

6、大容量。时间序列数据集合通常都非常大。

7、非规范化的。Dw数据可以是而且经常是冗余的。

8、元数据。将描述数据的数据保存起来。

9、数据源。数据来自内部的和外部的非集成操作系统。

数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库往往有如下几点特点：

1.效率足够高。数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好

的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。

2.数据质量。数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。

3.扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

广义的说，基于数据仓库的决策支持系统由三个部件组成：数据仓库技术，联机分析处理技术和数据挖掘技术，其中数据仓库技术是系统的核心。

SSD，是将已经存在的系统产生的那些数据整合到更高端的数据库或数据仓库的中间的一个环节。主要是为了如何向数据仓库中整合数据的。不过，其中可能会有很多的数据处理技术是相通的。

           SSD 与数据集市

数据集市(Data Mart) ，也叫数据市场，是一个从操作的数据和其他的为某个特殊的专业人员团体服务的数据源中收集数据的仓库。从范围上来说，数据是从企业范围的数据库、数据仓库，或者是更加专业的数据仓库中抽取出来的。

特征

1．数据集市的特征包括规模小。

2．有特定的应用。

3．面向部门。

4．由业务部门定义、设计和开发。

5．业务部门管理和维护。

6．能快速实现。

7．购买较便宜。

8．投资快速回收。

9．工具集的紧密集成。

10．提供更详细的、预先存在的、数据仓库的摘要子集。

11．可升级到完整的数据仓库。

很直观的可以感觉到DM，是数据仓库的一个子集。SSD 与其有很本质上的区别。

相关文章:

关于自标准数据的若干问题的探讨(一)

关于自标准数据的若干问题的探讨(二)

关于自标准数据的若干问题的探讨(三)

关于自标准数据的若干问题的探讨(四)

关于自标准数据的若干问题的探讨(五)

关于自标准数据的若干问题的探讨(六)