您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 质量控制/管理 > 元数据管理与CWM标准
元数据管理与CWM标准中国移动业务支撑系统部2008-04提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层元数据定义•“关于数据的数据”•比一般意义的数据范畴更加广泛–不仅表示数据的类型、名称、值等信息–提供数据的上下文描述信息(比如数据的所属区域、取值范围、数据间的关系、业务规则、数据来源等等)元数据定义TransformationRelationalTHEBUSINESSPEOPLEPROCESSINFORMATIONSYSTEMSPRODUCTSGOALSPROJECTSROLESMetaData经营分析系统关心的元数据•业务元数据–业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性,直接供业务分析人员使用–业务元数据使经营分析系统使用人员能够更好理解、使用数据仓库,成为经营分析系统使用人员在数据仓库中的业务向导经营分析系统关心的元数据•技术元数据包含关于经营分析系统数据技术层面的信息–数据源元数据–ETL元数据–数据仓库元数据–数据集市元数据–OLAPSERVER元数据–前端展现元数据–其它类型元数据(挖掘模型,数据质量分析结果等)经营分析系统关心的元数据•管理元数据主要是指经营分析日常建设过程中,涉及开发、运维等管理流程的基本信息。提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层元数据管理•管理商业智能系统的元数据•贯穿商业智能系统的各个环节•系统的各个处理单元由元数据驱动管理元数据的意义•有哪些数据?•它们在哪里用?•它的业务定义是什么?•这个数据还叫什么?•它与其他数据有什么关系?•谁用这个数据?•为什么我们要用它?•最近修改是什么时候?•这些数据准确、可靠吗?管理元数据的意义•理解企业内部的信息资源•动态的数据字典•数据的浏览和归纳•数据在企业内部横向与纵向传递•保持整个企业的标准(保证企业内部统一的商业定义和商业规则)•数据生命周期的管理元数据管理的几个概念•元模型(metamodel)•元数据库(metadatarepository)•元数据管理工具元模型•关于元数据的“元数据”–MDIS(MetaDataInterchangeSpecification)•元数据联盟发布的元数据交换规范–OIM(OpenInformationModel)•CA和微软的元数据标准•OIM组织已经解散–CWM(CommonWarehouseMetamodel)•OMG组织制定的标准•得到IBM,NCR,SAS,Hyperion等公司支持•利用XMI文件进行交换元数据库•元数据库就是一个逻辑上的统一存储元数据的地点•元数据存储常见的形式–分散存储–统一存储,提供不同接口–统一存储,统一接口不同系统各自提供元数据接口实现复杂元数据不统一易成为”蜘蛛网”中央元数据存储所有存取必须通过中央存储元数据交换不方便中央元数据存储必须对每一个系统有转换接口基于标准的中央元数据管理有利于元数据的交换屏蔽系统内部变化中央元数据只需要统一接口元数据管理工具•元数据浏览、展示和管理的平台•知名的元数据管理工具包括:–MetaCenter–MetaMatrix–MetaIntegration–DB2,Teradata,Oracle等数据仓库中的元数据管理模块–…提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层CWM标准背景•OMG是一个拥有500多会员的国际标准化组织,著名的CORBA标准即出自该组织。•公共仓库元模型(CommonWarehouseMetamodel)的主要目的是在异构环境下,帮助不同的数据仓库工具、平台和元数据知识库进行元数据交换。CWM标准的意义•在形成标准以前,要进行集成的情况如下图所示:数据建模工具抽取与转换工具前端访问工具数据质量评估工具CWM标准的意义•在形成标准以后的情况如下图所示:数据建模工具抽取与转换工具前端访问工具数据质量评估工具元数据存储与管理数据仓库与元数据管理员CWM的发展状况•成为OMG提出的基于模型驱动的体系结构(MDA)的核心之一(其它是MOF和UML)CWM标准概述•CWM标准是基于以下工业标准制定的:–UML:它对CWM模型进行建模。–MOF(元对象设施):为CWM提供元模型的体系结构和元模型语言的语义;MOF反射接口为存取CWM元数据提供通用的API接口;MOF到IDL的映射为存储CWM元数据提供了一种产生CWMIDL接口的机制。–XMI(XML元数据交换):它可以使元数据以XML文件流的方式进行交换。–CORBAIDL(CORBA接口定义语言)OMG元数据体系结构OMG元数据体系结构实例PRODUCTIDNAMECOLOR1001WidgetRed2002GizmoBlue2002SprogetTeal4034ThingamgigerGray5035GadgetYelloPRODUCT表和它的记录M0层OMG元数据体系结构实例M1层ProductIDNameColorisActive=TureDataType=“Integer”DataType=“String”DataType=“String”Product表元数据OMG元数据体系结构实例M2层+name:String+isActive:BooleanmetaclassTable+name:String+dataType:StringmetaclassColumn+table+column1*简单关系型表元模型CWM元数据存储和接口实现注:(1)映射1为单向映射,实现由CWM元模型到各种接口的单向映射。(2)映射2为双向映射,实现CWM模型和XMI文件之间的双向映射。CWM模型CWM元模型CORBAIDL接口映射1添加接口实现代码输入JMI接口XMLDTDXMI接口实现XMI文件映射2验证建模通过接口实现元数据交换通过接口进行访问关系存储物理模型关系型数据库添加接口实现代码生成存储到CORBAIDL接口实现JMI接口实现CWM的发展状况•绝大多数数据仓库和元数据管理工具已经支持CWM,或已经宣布在下一版本的产品中支持CWM。•已经被JAVA标准化组织着手扩展到J2EE体系结构当中,形成JMI(JAVAMetadataInterchange)规范、用于OLAP分析的JOLAP规范和用于数据挖掘的JDMAPI规范。CWM的合作伙伴•IBM•Unisys•NCR•Hyperion•Oracle•UBS•Genesis•DimensionEDICWM的支持者•Deere•SUN•HP•DataAccess•Inline•Aonix•Hitachi•SAS•MetaIntegration•AdaptiveETL产品产品名称是否支持CWM元数据互换其他形式IBMDB2WarehouseManager支持MetadataInterchangeSpecification(MDIS).通过API输入/输出OracleWarehouseBuilder是Sagent不能确定通过API输入/输出InformaticaPowerCenter是CognosDecisionStream支持通过API输入/输出TeraDataETL组件是OLAP产品产品名称是否支持CWM元数据互换其他形式Essbase/DB2OLAPServer支持MetadataInterchangeSpecification(MDIS).通过API输入/输出Cognos支持通过API输入/输出Oracle9iOLAP是数据仓库元数据管理产品产品名称是否支持CWM元数据互换其他形式IBMDB2InformationCatalog支持MetadataInterchangeSpecification(MDIS).通过API输入/输出WarehouseControlCenter是CAPLATINUMRepository是通过API输入/输出TeraDataMetaDataServices是通过API输入/输出OracleWarehouseBuilderRepository是提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层CWM标准包及其分层仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML1.3(基础,行为元素,模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理资源分析基础对象模型对象模型层(ObjectModel)•CWM对象模型提供了描述其他所有包中元数据模型的类的基本结构和相应的类型属性•定义基本元模型的概念,关系和约束•包括4个基本包:–核心包(Core)–行为包(Behavioral)–关系包(Relationship)–实例包(Instance)核心包(Core)•包含所有的其他CWM包使用的基本类和关联•不依赖于其他任何包行为包(Behavioral)•描述其他CWM包中类的行为特征,提供一个记录特定行为请求的基础•包括操作,方法,接口,事件等关系包(Relationship)•描述CWM对象之间如何互相联系•定义了两种类型的关系–泛化(Generalization)–关联(Association)•泛化是具有普遍性的对象和特定对象的关联,层次化的结构•关联定义两个或多个类元之间的特定关系实例包(Instance)•提供了在CWM交换中包含带值元数据的基础结构提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层基础层(Foundation)仓库过程仓库操作转换XML记录型多维关系型资源业务信息软件发布UML1.3(基础,行为元素,模型管理)对象(UML)OLAP分析数据挖掘信息可视化业务术语数据类型表达式键索引类型映射管理资源分析基础对象模型基础层(Foundation)•提供为驻留在更高层次的其他包提供CWM特定的服务的包•包括6个包–业务信息包(BusinessInformation)–数据类型包(DataTypes)–表达式包(Expression)–键和索引包(keysandindexes)–软件部署包(SoftwareDeployment)–类型映射包(TypeMapping)业务信息包(BusinessInformation)•业务信息元模型给所有CWM包提供了面向业务的信息•这里面向业务指的是支持数据仓库和商业智能–负责单位–如何联络–离线文档–……数据类型包(DataTypes)•提供了支持定义基本数据类型和构造数据类型所需的基本结构•CWM模型本身没有定义很多的现有类型,但是通过数据类型包可以建立目前现有的大多数系统的数据类型表达式包(Expression)•表达式包提供了统一的表达式树的格式,可以为转换包等进行服务。•统一的表达式格式给ETL流程分析或其他的元数据分析提供了基础键和索引包(keysandindexes)•键和索引包提供了统一的对元素进行标识、排序和检索所需的方法,可以为其它包所共享•索引是按顺序安排的元素列表•键是一个或多个值的集合,用来确定数据库中的某项记录类型映射包(TypeMapping)•定义了作为数据类型集合的类型系统的概念,还支持类型系统间数据类型的转换•主要是为满足不同系统之间数据类型差异进行的映射•可以进行多对多映射软件部署包(SoftwareDeployment)•为了管理和记录各个软件系统的分布和连接情况,用于记录如何使用数据仓库中的软件和硬件•捕捉尽可能多的、其他CWM包需要的可操作的配置信息,而不是完全的通用模型提纲•元数据管理基本概念–元数据定义–元数据管理•CWM元数据标准–CWM标准概述–对象模型层–基础层–资源层–分析层–管理层
本文标题:元数据管理与CWM标准
链接地址:https://www.777doc.com/doc-7318862 .html