基于元模型驱动异构数据统一建模的研究
1 背景
随着计算机的迅速发展,使得现代企业的数据存储量越来越大。随之企业逐渐从一个孤立的数据源转向为一个不断通过网络与外界交换信息的实体。企业实现数据共享可以更充分地使用现有的数据资源,更好的挖掘数据,减少数据的采集等。但是实现共享数据时,不同用户共享的数据可能来源不同,其数据的内容,格式和质量千差万别,有时甚至会出现数据格式不能转化和数据转换后不正确等严重问题。随后人们提出了数据集成的方法:数据集成是对异构数据的统一表示、储存和管理[1]。通过数据集成的系统可以对不同的数据源进行统一操作。实现异构数据集成方法包括两种:基于中间插件的数据集成[2]和基于模式数据[3]的数据集成方法。但是都没有对各类数据以元模型统一的描述和管理。
于是该文针对上述问题提出基于元模型驱动的方法对多源异构数据统一进行平台建模。该平台是通用的、面向业务的、而非传统意义上面向编程人员的开发平台。该文详细说明多源异构数据进行元模型构建的过程。基于该多源异构的统一建模,我们成功地实现多个物品交易平台的数据整合与分享系统。
2 元模型构建
元数据驱动[4]:数据在程序中不是被加工的对象,而是通过元数据值的改变来改变程序的行为,控制程序的运行,这样称为元数据驱动。按照传统的定义,元数据是描述数据的数据。元数据的典型表现为对象的描述,即对数据库、表、列、列属性(类型、格式、约束等)以及主键/外键关联等的描述。
2.1 标准化元模型
元模型已经在各个领域已经得到很多的应用,其中元模型本身的属性和结构也存在着很大的差异要想实现对元模型和元数据统一的管理,就要有效地将各类元模型进行统一的描述[5]。以往的项目元模型为例,这些元模型具有以下不同:①描述模型种类不同。②元模型领域不同。③结构设计差异大。④语义表述不同。⑤所在的数据库环境不同。
鉴于元模型存在的差异性,要想对元模型进行统一建模和访问,则元模型必须要满足一定的规范。我们要建立元模型描述规范标准,然后对元模型建立惊醒标准化。该规范用于各类元模型进行一定的约束,其规范如下表1(元模型规范标准表):
对于这么多映射规则,必须有一个识别映射模式,通过调用对应映射转换规则函数,实现映射识别与转换过程的自动处理算法。算法如下:
表1 元模型规范标准表
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/fba690e12f887abf62c1cb2479bb89f5.png)
Id code name createtime modifier modifytime Integer String String DateTime String DateTime
2.2 元-元模型设计
近海海洋工程领域一般选择3~30 s周期范围内的波浪计算应力响应谱。其做法是将应力传递函数H的平方与相应波能谱S(ω)进行相乘,得到应力响应谱Sσ(ω)。对于桁架结构,波浪力的计算一般采用Morison 公式,但是由于单桩风机基础直径比导管架等其结构形式的直径要大很多,一般可达5~8 m,因此在利用Morison公式时,有必要分析其适用性。
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/552f69e9ef41990079282f82bd8eb743.png)
图1 元-元模型的逻辑关系图
3 元数据映射模式
基于主键字段映射规则映射对于转换规则是十分重要的。主键映射是指源表的主键字段仍然是目标表中组件的字段,只是源表和目标表的主键的字段存储的值不同。由于描述的不同,需要将源表中主键存储的值变为目标主键字段的值,并且要建立中间表来保存两者值之间对应的关系。
3.1 数据转换规则函数及其识别映射模式算法
数据转换规则函数:基于映射关系X映射到Y源数据库中记录Fs中对应于属性X的数据xi,到目标记录Ft中对应于属性Y的数据yi的一系列变换、运算等转换处理过程,为映射关系X映射Y下的转换规则函数为 F,记为 F(xi,yi)或yi=F(xi),xi∈F S ,yi∈F T。这里需要说明,不同映射关系下的规则函数参数类型、个数存在差异。转换规则函数主要包括直接映射、主键映射、外键关键字映射、多级映射等[8]。
基于主键映射字段的转化函数:F主键(S<主键字段>,T<主键字段>,TX<中间表>),其中转换函数参数包括S为源主键字段,T为目标主键字段,TX为中间表。下面是基于主键字段映射规则的数据转换处理过程算法:
三是构建融资服务体系,解决入驻企业融资难问题。Z公司通过自身建设以及与专业机构合作相结合的方式,从债权融资和股权融资两个方面构建融资服务体系,为入驻企业提供充分的资金保障。在债权融资方面,Z公司与绵阳市农业银行科技支行以及绵阳市商业银行军民融合支行建立战略合作伙伴关系,满足了入驻企业债权融资的相关需求。在股权融资方面,Z公司联合广东瑞邦创业投资有限公司共同成立了四川中物创业投资有限公司,不仅将自身成立的种子孵化基金1000万元用于入驻企业投资运作,而且还顺利打通了成长型企业首次公开发行股票的通道。
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/14cb4c1a19735e42b2e4710348b8f7b4.png)
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/b7843d773f74f11be1eaade2d72a78e0.png)
3.2 主键字段映射规则映射及其算法
映射模式[7]为源数据库数据表字段到目标数据库数据表字段之间的映射关系,每一类映射关系为一类映射模式。每一类映射模式的实质是一类数据转换的规则,将每一类映射模式抽象为一个数据转换规则函数。
为了实现元模型的管理,必须要构建一个能够描述所有元模型的元-元模型。元-元模型的定义是建立在元模型所需要的概念元素的基础上,也为元模型的相互联系、实现互相操作建立了语意基础[6]。一套元模型是多个元实体组成,元实体又包含了多个元属性,原属性由原属性名称、元属性数据类型和元属性值等组成。数据异构中数据类型异构就是其中异构的一个方面。要建立与实现一个无关元模型时,要保证数据类型的独立性。要解决这个方面的异构就要构建一个独立的数据类型体系,称为逻辑数据类型体系。逻辑数据类型就是要保证数据类型的独立和标准化。所以采用与国际建模技术标准中的路基数据类型。为了给数据统一描述和表述提供了基础,设计了物理数据库类型。同时为了解决储存方式上的差异,我们使用类物理数据类型进行映射到逻辑数据类型的方式得以消除。元-元模型的逻辑关系如下图1所示。
“据我们了解,您曾经在某天夜里酒驾后撞倒过一位老人,没有对他进行任何救助,并且又倒车从他身上碾轧了几次后才迅速逃离现场,您选择了说谎,很遗憾,根据我们的规则,您将接受惩罚。”
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/146c760a99f8231968e3b8cec5e437cc.png)
通过建立标准的转换规则函数及参数的元数据,实现对异构数据模型字段间映射关系的描述,使得该基于映射关系的数据库之间的数据转换得到灵活实现。
4 实现实例
图2是基于元模型驱动为物品交易领域提出的异构数据管理解决方案。随着社会的推进,共享数据对于各大企业十分重要,尤其是对同一领域的各大企业间的数据交流。但是各个企业间的数据存在多元异构的特性,于是我们设计一个可以让多元异构数据实现统一的web服务平台。该服务平台同过模型驱动实现建模,搭建速度快,同时保证了系统的正确性和灵活性。同时将一个建模系统设计成分离式管理,降低开发难度。满足了当下企业的需求。通过此平台我们也验证了通过元模型驱动可对多源异构数据的统一。下图为系统体系结构图。
长时间尺度下计及光伏不确定性的配电网无功优化调度//黄伟,刘斯亮,王武,羿应棋,张勇军//(5):154
![pagenumber_ebook=11,pagenumber_book=5](https://qkk.lw71.com/uploads/image/2018/12/e617eb34143e80d743deed893b686352.png)
图2 系统体系结构图
5 结束语
该文提出的基于元模型驱动对异构数据源进行建模,解决了数据异构和数据标准化不足的问题,但是研究还存在许多需要进一步研究和解决的问题,这也是下一步需要研究的内容:映射规则必须手工完成,这导致系统的在映射灵活性不强。必须人工干预。
参考文献:
[1] 刘金晶,曹文洁.基于本体论的多源异构数据集成方法研究[J].软件导刊,2018,17(3):198-200.
[2] 鲍亮,陈平.基于插件技术的异构数据集成[J].计算机工程,2006(20):86-88.
[3] 刘云汉.基于Web Service的异构数据集成平台设计与实现[J].电脑知识与技术,2017,13(30):19-22.
[4] 李海峰,吴慧中.元模型驱动的产品生命周期管理系统的设计与实现[J].计算机集成制造系统,2005(7):963-968.
[5] 宋旭东,闫晓岚,刘晓冰,等.数据仓库ETL元模型设计[J].计算机仿真,2010,27(9):106-108,119.
[6] 周芳,文必龙,王守信,等.基于元元模型的多维元数据管理研究与实现[J].计算机工程与设计,2006(10):1797-1799,1804.
[7] 苗立志,张书亮,闾国年.通用映射模式下GML关系数据库存储研究[J].计算机应用研究,2009,26(11):4124-4127.
[8] 陈大军.移动数字图书馆平台的研究与设计[D].大连:大连理工大学,2015.