数据仓库之路FAQ

数据仓库之路原创资料://www.dwway.com-1-FAQ目录一、与数据仓库有关的几个概念...........................................................................................21.1目录...................................................................................................................................2二、数据仓库产生的原因.......................................................................................................6三、数据仓库体系结构图.......................................................................................................7四、数据仓库设计...................................................................................................................84.1数据仓库的建模...............................................................................................................84.2数据仓库建模的十条戒律：...........................................................................................9五、数据仓库开发过程...........................................................................................................95.1数据模型的内容...............................................................................................................95.2数据模型转变到数据仓库.............................................................................................105.3数据仓库开发成功的关键.............................................................................................11六、数据仓库的数据采集.....................................................................................................116.1后台处理.........................................................................................................................126.2中间处理.........................................................................................................................126.3前台处理.........................................................................................................................136.4数据仓库的技术体系结构.............................................................................................136.5数据的有效性检查.........................................................................................................156.6清除和转换数据.............................................................................................................156.7简单变换.........................................................................................................................166.8清洁和刷洗.....................................................................................................................176.9集成.................................................................................................................................186.10聚集和概括.................................................................................................................206.11移动数据.........................................................................................................................20七、如何建立数据仓库.........................................................................................................227.1数据仓库设计.................................................................................................................227.2数据抽取模块.................................................................................................................237.3数据维护模块.................................................................................................................24数据仓库之路FAQ、与数据仓库有关的几个概念1.1目录DatawarehouseDatamartOLAPROLAPMOLAPClientOLAPDSSETLAdhocqueryEISBPRBIDataminingCRMMetaDataDatawarehouse本世纪80年代中期，“数据仓库之父”WilliamH.Inmon先生在其《建立数据仓库》一书中定义了数据仓库的概念，随后又给出了更为精确的定义：数据仓库是在企业管理和决数据仓库之路FAQ、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购买的产品。Datamart即数据集市，或者叫做“小数据仓库”。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。OLAP联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求。因此Codd提出了多维数据库和多维分析的概念,即OLAP。Codd提出OLAP的12条准则来描述OLAP系统：准则1OLAP模型必须提供多维概念视图准则2透明性准则准则3存取能力推测准则4稳定的报表能力准则5客户/服务器体系结构准则6维的等同性准则准则7动态的稀疏矩阵处理准则准则8多用户支持能力准则准则9非受限的跨维操作准则10直观的数据操纵准则11灵活的报表生成数据仓库之路FAQ，各个软件开发厂家见仁见智，其中一个流派，认为可以沿用关系型数据库来存储多维数据，于是，基于稀疏矩阵表示方法的星型结构（starschema）就出现了。后来又演化出雪花结构。为了与多维数据库相区别，则把基于关系型数据库的OLAP称为RelationalOLAP，简称ROLAP。代表产品有InformixMetacube、MicrosoftSQLServerOLAPServices.MOLAP严格遵照Codd的定义，自行建立了多维数据库，来存放联机分析系统数据的ArborSoftware,开创了多维数据存储的先河，后来的很多家公司纷纷采用多维数据存储。被人们称为MuiltDimensionOLAP,简称MOLAP，代表产品有Hyperion(原Arborsoftware)Essbase、ShowcaseSTRATEGY等。ClientOLAP相对于ServerOLAP而言。部分分析工具厂家建议把部分数据下载到本地，为用户提供本地的多维分析。代表产品有BrioDesigner,BusinessObject.DSS决策支持系统（DecisionSupportsystem），相当于基于数据仓库的应用。决策支持就是在收集所有有关数据和信息，经过加工整理，来为企业决策管理层提供信息，为决策者的决策提供依据。ETL数据抽取（Extract）、转换（Transform）、清洗（Cleansing）、装载（Load）的过程。构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。Adhocquery即席查询，数据库应用最普遍的一种查询，利用数据仓库技术，可以让用户随时可以面对数