数据仓库培训教材

中科信软高级技术培训中心－www.info-soft.cn数据仓库高级应用中科信软高级技术培训中心－www.info-soft.cn课程内容数据仓库和商业智能的关系数据仓库的概念和术语设计，分析，和管理数据仓库项目数据仓库建模构建数据仓库:抽取数据简介元数据简介数据仓库基本概念介绍定义数据仓库的商业和逻辑模型介绍ERWIN工具使用创建维模型创建物理模型物理模型的存储BI应用工具比较ETL策略介绍当前主流ETL工具并具体实例演示OracleHyperion开发应用详解Oracle数据仓库解决方案，环境搭建及BIEE介绍银行和人力资源案例介绍面临的问题人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；……企业面临的问题经过多年的计算机应用和市场积累，许多企业保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实记录由于缺乏集中存储和管理，这些数据不能为本企业加以利用,不能进行有效的统计、分析及评估，无法将这些数据转换成企业有用的信息数据爆炸问题自动的数据收集工具和成熟的数据库技术导致巨大的数据存储在文件系统、数据库和其它的信息库中。我们会淹死在数据中,但却为信息、知识所饿!面临的挑战如何在堆积如山的企业交易数据中发现具有商业价值的闪光点？如何使您的企业或组织在激烈的市场竞争中保持对客户的吸引力？如何预先发现和避免企业运作过程中不易察觉的商业风险？7•商业智能的概念于1996年最早由加特纳集团（GartnerGroup）提出，加特纳集团将商业智能定义为：商业智能描述了一系列的概念和方法，通过应用基于事实的支持系统来辅助商业决策的制定。商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、管理和分析数据，将这些数据转化为有用的信息，然后分发到企业各处。•BI(BusinessIntelligence商业智能)就是企业在运营上高层主管必须看的各项数据及分析资料。这些资料包括“总体运营状态分析统计资料”、“业务业绩达标率统计”、“各区销售分析统计”、“成本分析”等各项经营管理者不可或缺的决策数据。因此，拿掉BI这个很信息化名称的外衣，其实BI只是经营决策者所必须看的各项数据和报告。•商业智能的目的是使企业的各级管理者获得知识或洞察力，促使他们做出对企业更有利的决策。什么是商业智能，有很多种说法商业智能概述典型商业智能成功案例“啤酒尿布”一个大家可能已经耳熟能详的故事。美国第一大零售商沃尔玛公司通过对顾客购买资料的分析发现，一般年轻的父亲在出来给孩子买尿布的时候，总是喜欢捎带着买上两瓶啤酒。于是，超市就把啤酒与尿布这两个风马牛不相及的商品摆放在一起，这样不仅方便了顾客，同时也促进了啤酒的销量。当然，在大量甚至海量的顾客资料中，无论沃尔玛的老板再怎么精明，也不可能凭借肉眼“大海捞针”发现啤酒与尿布这两种看似毫不相干的东西之间原来还是有着千丝万缕的联系，他们必须借助其他的外力去从海量的数据中发觉信息，而这个幕后英雄就是商业智能系统分析。“啤酒”与“尿布”的故事听起来有点玄妙，“商业智能”听起来有点高深，但说出来并不复杂，就像福尔摩斯拿着放大镜能在尘土飞扬的马路上找出罪犯的蛛丝马迹。“商业智能”是美国分析师所创造出来的一个新名词，说到底，将存储于各种商业信息系统中的数据转换成为有用信息的一种技术，具体而言就是分析利用企业已有的各种商用数据来了解企业的经营状况，了解企业经营的外部环境，进而对企业的经营发展做出决断。用专业术语解释实际上就是一套以数据仓库，在线数据分析、数据挖掘技术为基础，以数据抽取、查询、分析、挖掘、预测、知识发现等为手段，对企业分析决策需求进行调研、规划、设计、实施、完善的一套可操作可实施的解决方案。商业智能概述商业智能是指通过对数据的收集、管理、分析以及转化，使数据成为可用的信息，从而获得必要的洞察力和理解力，更好地辅助决策和指导行动。其基本体系结构包括：数据仓库,多维分析(OLAP),数据挖掘。OLTP数据仓库数据分析决策支持企业知识111.从不同的数据源收集的数据中提取有用的数据，对数据进行清理以保证数据的正确性；2.将数据经转换、重构后存入数据仓库或数据场（这时数据变为信息）；3.选择合适的查询和分析工具，数据挖掘工具，OLAP工具对信息进行处理（这时信息变为辅助决策的知识）；4.将知识呈现于用户面前，转变为决策。商业智能的处理过程商业智能概述12企业决策企业管理管理信息系统MIS商业智能系统BIS商业智能的地位，公司地位全球商业智能收入08、09年对比数据仓库和商业智能关系中科信软高级技术培训中心－www.info-soft.cn数据仓库和商业智能关系从上图可见，数据仓库是实现商务智能的基础平台没有数据仓库的搭建，商业智能是没法实现的在早期，计算机应用主要解决人工操作的复杂性，考虑如何实现自动化回顾下286，386昂贵的时期，计算机是奢侈品…..计算机应用发展历程在数据库应用的早期，计算机系统所处理的是从无到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统，它们都属于典型的联机事务处理系统。computer手工业务通过计算机实现自动化computercomputer很快就建立了许多应用系统，在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。联机事务系统的建立联机事务系统的建立（续）当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。中科信软高级技术培训中心－www.info-soft.cn联机事务系统的功能在数据仓库以前大都是事物处理系统(OLTP)的天下（1965-1990）这个现状持续了25年，它主要实现-数据的收集-数据的存储-数据的在线存取联机事务系统的问题中科信软高级技术培训中心－www.info-soft.cn但是在OLTP系统中存在着若干问题-数据不是综合的-没有历史数据-没有汇总数据computercomputercomputerQ1Q2Q3Q1Q2Q3Q4管理者想要了解公司的情况…数据集成问题有多少品种?computer缺乏数据集成不是一个唯一的问题-历史数据的缺乏是另一个应用问题-在过去的三年中，我的帐户每月平均余额是多少?-我怎样才能知道这些数字?-我的帐户现在有多少钱?-你有2,704.87元历史数据问题computer另一个问题是汇总….-发往A公司的货物在哪里?-在出厂中心，将于下周一运到-我们上个月、去年有多少货物发往A公司?-有多少货物准时到达?晚到?发生货损?-我要写个汇总报告.汇总问题computer-贯穿公司的数据集成?-公司的历史数据?-详细数据及汇总数据?获取信息的重要因素应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。决策的需要决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库——向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。联机分析处理中科信软高级技术培训中心－www.info-soft.cn业务系统DSS（决策支持系统）现在1990数据集市ODS近线存储器探索仓库数据仓库概念的诞生1、及时获取生产管理综合信息，为决策者提供科学分析依据；2、改善管理能力，可以得到凭直觉无法得到的结论；3、对转瞬即逝的机会快速作出反应，提高竞争能力；4、既能够管理宏观信息也能够管理微观数据，可以追朔历史；数据仓库的优点5、建立企业内部各部门之间的合作关系。6、提供了面向主题的信息架构，存取数据方便，业务用户也能方便的取用这些数据。7、开拓了进一步探索和研究的广阔空间数据仓库支持进一步的探究，以发现数据所形成的趋势、构成的模式及其间的关系，这可引导用户改进现行的业务处理过程或作出正确的决策。8、改善客户关系管理，让客户能获得更多的好处。数据仓库的优点（续）中科信软高级技术培训中心－www.info-soft.cn课程内容数据仓库和商业智能的关系数据仓库的概念和术语设计，分析，和管理数据仓库项目数据仓库建模构建数据仓库:抽取数据简介元数据简介数据仓库基本概念介绍定义数据仓库的商业和逻辑模型介绍ERWIN工具使用创建维模型创建物理模型物理模型的存储BI应用工具比较ETL策略介绍当前主流ETL工具并具体实例演示OracleHyperion开发应用详解Oracle数据仓库解决方案，环境搭建及BIEE介绍银行和人力资源案例介绍32数据仓库概述数据仓库的产生1988年IBM爱尔兰公司第一次提出了“信息仓库”的概念。90年代初数据仓库的基本原理、框架架构，分析系统的主要原则都已经确定，主要的技术已具备，一些公司开始建立数据仓库。92年美国著名的信息工程学家WilliamH.Inmon在《BuildingtheDataWarehouse》（《建立数据仓库》）一书中首先系统的阐述了数据仓库的思想、理论。被人们尊称为“数据仓库之父”。33数据仓库概述数据仓库的发展过程1995年开始盛行，作为数据库的高端扩展技术一直是一大热点。IBM所推崇的商业智能（BI）核心就是数据仓库；微软的SQLServer7.0已经绑定了OLAP服务器，将数据仓库功能集成到数据库中，并建立了数据仓库联盟；Oracle公司的OracleExpress系列OLAP产品用来提供决策支持。34数据仓库概述数据仓库的定义W.H.Inmon的定义：数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。公认的定义：数据仓库（DataWarehouse，DW）是面向主题的、集成的、不可更新的（稳定性）随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。数据仓库一般采用业界主流的关系数据库如Oracle、DB2、Informix、SQLServer等数据仓库四大特性面向主题的（SubjectOriented）数据仓库是面向在数据模型中已定义好的企业的主要主题域的。数据仓库的数据按照主题域组织数据，主题域是已一组相关的表来实现的。集成的（Integrate）数据仓库集成企业多个数据源的数据，数据进入数据仓库之前要经过ETL过程。相对稳定的（Non-Volatile）数据仓库中的数据是相对稳定的，一般不进行更新操作。反映历史变化（TimeVariant）数据仓库系统存储大量的历史数据，因此能够反映历史变化。36技术架构，从多个数据源搜集数据，存储于一个统一的数据模式下，通常驻留在单一站点。特点:面向主题的，集成的，时变的，非易失的;数据仓库概述数据仓库的概念、特点从数据组织的角度来说，数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层。其最根本的特点是物理地存放数据，但这些数据并不是最新的、专有的，而是来源于其它数据库。数据仓库的数据量很大，是一般数据库数据量的几十甚至几百倍，大型数据仓库达到TB级数据仓库与业务数据库的比较数据仓库和数据仓库系统当今，IT系统已经进入到以应用为核心的时代，数据仓库已经不仅仅是一种理论和方法，而是