云计算基础

云计算基础BasicInstructionofCloudComputing目录云计算的商业动力与技术趋势云计算架构云计算关键技术云计算核心竞争力云计算典型应用传统IT架构面临的问题云计算的商业动力与技术趋势云计算商业动力云计算的发展趋势平均资源利用率及能耗效率低下•水平分层采购•独占资源•软硬件捆绑无法调配•利用率低于20%新业务上线测试周期长，效率低下•任一新业务均需要全套测试流程•资源储备及弹性伸缩能力不足信息共享和安全的矛盾•信息在个人终端容易泄露•过分严格的管控则导致效率下降建设运维困难•投资大•运维难传统IT架构面临的问题云计算的商业动力—互联网革命蒸汽革命电力革命互联网革命小型工厂取代手工作坊流水线淘汰小型工厂卡主数据入口，产生互联网寡头。打开垄断行业壁垒、非垄断行业纳入互联网运营平台。云计算的商业动力—互联网企业的核心竞争力复杂的盈利模式极低成本极度敏捷大数据寡头羊毛出在狗身上，猪来买单。全产业链、全商业生态IT投入通过云计算大幅降低，已经大幅领先传统企业。同质服务的产品竞争激烈。组织架构扁平，业务先上线再优化，PaaS平台数量：从EB走向ZB，传统还在PB质量：包括了个人信息、企业信息云计算的商业动力—传统企业ICT转型认识更新壁垒&转型构建生态什么创造价值？哪些才是核心？工业4.0，中国制造2025技术、资源、资质壁垒不同客户转型期不同聚合力竞争开放云计算发展趋势—里程碑云计算1.0云计算2.0云计算3.0计算虚拟化软件定义与整合云原生与重构业务虚拟化面向数据中心管理员的IT基础设施资源虚拟化阶段Hyper-V，XEN，KVM，VMWAREESXi基础设施云化面向基础设施云租户和云用户的资源服务化与管理自动化阶段OpenStack，WMWARE，AWS应用云化面向企业IT应用开发者及管理维护者的企业应用架构的分布式微服务化和企业数据架构的互联网化重构及大数据智能化阶段Docker，CoreOS，CloudFoundry云计算发展趋势—云计算各阶段间的主要差别•差别1：从非关键应用走向电信网络应用和企业关键应用•差别2：从计算虚拟化走向存储虚拟化和网络虚拟化•差别3：资源池从小规模的资源虚拟化整合走向更大规模的资源池构建，应用范围从企业内部走向多租户的基础设施服务乃至端到端IT服务•差别4：数据规模从小规模走向海量，数据形态从传统结构化走向非机构化和半结构化•差别5：企业和消费者应用的人机交互计算模式，也逐步从本地固定计算走向云端计算、移动智能终端及浸入式体验瘦终端接入的模式（不同场景不同需求，不同的处理级别）•差别6：云资源服务从单一虚拟化，走向异构虚拟化、轻量级容器化及裸金属物理机服务器•差别7：云平台和云管理软件从闭源、封闭走向开源、开放云计算的架构云计算的总体架构—企业IT架构演化云计算的总体架构—企业IT架构演化IT基础设施操作系统软件/数据库用户IT基础设施操作系统软件/数据库用户IT基础设施操作系统软件/数据库用户IT基础设施IT基础设施操作系统操作系统集群管理虚拟化虚拟化VMVMVM操作系统操作系统操作系统云计算的总体架构—云计算架构的上下文云租户、云服务消费者云应用开发者云服务运营商/提供者云设备提供者有云服务需求，也有传统IT设施，需要进行整合云应用开发者基于PaaS开发SaaS基于OSS/BSS硬件解耦多厂家硬件异构云计算的总体架构—架构图云计算的总体架构—云平台IT基础设施架构层物理资源层•服务器、存储（集中/分布）、网络、防火墙、VPN网关、路由器虚拟资源层•作业实例与底层物力资源隔离，计算虚拟化、存储虚拟化、网络虚拟化资源服务与调度层•逻辑资源调度，弹性计算资源、存储资源、网路资源调用API云计算的总体架构—云平台大数据引擎层具备多租户感知能力的结构、半结构、非机构化数据服务打破数据孤岛，横向跨数据源、数据集、较长时间跨度的内生关联关系与价值信息的抽象分析提取与挖掘分析云计算的总体架构—云应用开发部署中间件层以Kubernetes、Mesos、Coudify等为代表面向DevOps敏捷开发的开源应用与部署开发工具链与平台，具备分布式水平扩展能力的系列开源数据库和中间件开放性、标准化轻量化敏捷开发线上部署分布式及弹性扩展基于开源，应用开发平台的管理API更为开放透明，同时也引入了容器化技术进行应用部署，使得应用实例的部署不再与编程语言(如Java)绑定相比闭源软件，Web中间件自身的资源消耗大幅减少，容器化应用部署相比虚拟机模式更加轻量化、敏捷化与数据库层扩展能力配合，提供负载均衡及弹性伸缩控制基础框架机制的支撑，使Scale-Out应用架构可聚焦于应用逻辑本身，开发更加轻松高效支持从开发、集成、测试验证到生产上线的全流程自动化环境置备及测试自动化，配置随同应用一起发布，任何生产环境、任何开发集成部署节点皆可一键式快速重用云计算的总体架构—云服务运营控制层针对基础设施层、大数据层以及应用开发部署层的云服务产品，需要引入“云服务运营控制”子系统。建立云服务产品在供应者和消费者之间的线上产品申请、受理及交付控制，以及完成与信息交付服务等值的货币交换公有云用户Capex转向Opex私有云运营者核算内部租户、部门对云服务产品的消费情况，给出预算优化建议公有云运营者公有云用户私有云运营者云计算的总体架构—云DC运维管理目标服务于云DC的运维管理人员的日常运维管理，包含云平台与应用软件的安装部署与升级补丁，虚拟及物力基础设施的监控与管理，通过管理工具支撑运维人员快速、高效处理异常作用面向DevOps敏捷开发部署的软件安装与升级自动化及业务连续性保障智能化、自动化的故障与性能管理生命周期成本管理云计算的总体架构—服务分级VMVMAZAZRegionHARegion侧重地理位置因素，regions之间完全隔离，用户可以选择离自己更近的region来部署服务AvailabilityZone简单理解为一组节点的集合，具有独立的电力供应设备，比如一个个独立供电的机房，或机架都可以被划分成AZ。所以，AZ主要是通过冗余来解决可用性问题HostAggregate面向管理员，根据硬件资源的某一属性来对硬件进行划分的功能Cloud云计算架构关键技术云计算架构关键技术—超大规模资源调度算法计算资源调度算法计算虚拟化以虚拟机为基本调度单元，完成指定虚拟机实例或者虚拟机集群到整个云数据中心计算资源池内最适合的物理机或者物理机集群的映射。运筹学求最优解的问题存储资源调度算法直连存储转换为共享存储，实现无SAN化的计算机群的虚拟化整合瘦分配更大资源池，重复识别和删除、更多共享能耗管理最优化算法数据持续动态采集减少局部热点，提升空调平均工作温度轻载合并，空闲服务器下电或处于节能运行章台云计算架构关键技术—异构硬件集成管理能力异构硬件管理集成技术异构Hypervisor简化管理技术异构存储管理集成技术业务平面上通过虚拟化引擎层实现硬件异构，对操作系统屏蔽服务器的差异管理维护平面上，将各类异构硬件适配到统一建模的CIM信息模型中。虚拟机、物理机统一建模资源以统一集群方式管理，屏蔽Hypervisor差异，简化云计算资源管理将存储服务抽象为同时适用于虚拟机和物理机的统一EBS服务云计算架构关键技术—可靠性保障技术•HA（HighAvailability）冷备份，FT（FaultTolerance）热备份、损耗40%性能，轻量级FT、性能损耗10%以内适合于I/O为主服务场景应用无关的可靠性保障技术•基于存储虚拟化层I/O技术的同步容灾，同城部署（小于100km）、时延小于5ms•基于存储虚拟化层I/O技术的异步容灾，异地部署跨数据中心的保障技术云计算架构关键技术—弹性伸缩技术基本资源部件级别•精细化的Hypervisor资源调度虚拟机级别•虚拟机集群的自动扩展与收缩云系统级别•内部资源不足的情况下，自动向外部云租借及释放资源云计算架构关键技术—网络虚拟化技术业务应用驱动的边缘虚拟网络自动化更强大、更灵活的网络安全智能策略L2转发表、L3路由表集中到SDN控制，基于软交换和VxLAN隧道封装的Overlay叠加实现业务驱动且与物理网络彻底解耦的逻辑网络自动化，支持跨数据中心的大二层组网早期：目的端过滤，无法规避DDOS，外置防火墙存在流量迂回按业务需求统一定义任一目标子网内互访，首包送上Controller，动态下发安全过滤规则，源头扼杀攻击子网间互访，动态下发快转流表，避免迂回云计算架构关键技术—容器调度与编排机制容器集群资源管理和调度应用编排和管理收集被管理节点的资源状态，完成数以万计规模的节点的资源管理；同事根据特定的调度策略和算法，处理用户容器资源申请。针对数据中心不同类型的应用，抽象不同类型应用常用的应用管理的基础能力，并通过API暴露给用户使用，从而用户开发和部署应用时可以利用容器管理平台的上述API能力实现对应用的自动化管理。云计算核心架构竞争力衡量维度云计算核心架构竞争力衡量维度节流方面开源方面降低建设成本减少运维成本运营商：在IaaS，PaaS基础上吸引第三方应用，分享SaaS应用企业：硬件解耦，提高灵活性，优化运作效率大数据：依托海量存储分析，从数据中萃取价值信息云计算核心架构竞争力衡量维度—低TCO计算资源的成本优化与节省存储资源的成本优化与节省网络资源的成本优化与节省维护成本的优化与节省生命周期维护成本的节省CapexOpex云计算核心架构竞争力衡量维度—弹性伸缩•管理节点的弹性伸缩能力•数据中心资源的弹性伸缩能力•承载云租户业务的计算集群弹性伸缩能力•承载用户数据信息及系统卷镜像存储集群弹性伸缩能力•网络弹性伸缩能力云计算核心架构竞争力衡量维度—性能•普通颗粒度托管应用场景：IO吞吐性能、CPU调度效率•超大规模数据分析与应用处理场景：耗时少、资源需求少•频繁数据库操作或媒体类存储信息的应用场景：云存储的IOPS吞吐率、可共享的存储容量越大•赖于网络总线的分布式B/S、C/S应用(如网站)场景：网络延时•批量虚拟机发放、虚拟机系统加载等的场景：需要通过包括P2P加载、链接克隆等有效架构手段加以优化，或通过Cache机制减少跨节点性能压力云计算核心架构竞争力衡量维度—安全物理层的数据中心安全防护，实现硬件层与软件层关联可信度管理的TPM机制虚拟化层公共的事件检测、防病毒及安全管理机制操作系统安全加固，去除无用服务及安全隐患云资源管理维护者•分权分域及认证鉴权管理，以及面向虚拟私有云的分级资源管理授权能力•基于数据中心系统管理与业务日志的安全合规性分析•交互界面的WebPortal的应用层安全防攻击机制云租户/云用户•云资源管理接入认证与加密管理•数据传输加密、解密及网络安全层面隔离机制•网关、防火墙或者地址隐藏转换机制•云存储持久化数据加密、解密及其密钥管理机制云计算核心架构竞争力衡量维度—可靠云管理节点自身的可靠性保障机制承载用户计算负载的计算节点的故障恢复机制：计算节点本地重启故障，以及不可本地重启类的异地恢复类故障发生时，如何在无须维护干预以及应用层特殊处理的前提下，保持业务提供的连续性云计算数据中心整体网络的可靠性保障机制云存储数据连续服务与数据防丢失保障机制，如硬盘故障、服务器故障、机柜/机框，乃至整个数据中心意外电源及网络故障的容错与恢复能力云计算服务方案典型服务与落地架构弹性计算云服务对标传统主机出租业务快速部署按需付费主要参数CPU性能、内存、操作系统、磁盘、网络主要类型虚拟机裸金属云网络服务（SDR）虚拟2层网络链接服务相对于传统的VLAN，为了实现和硬件物理网络解耦，业界引入了Overlay网络的概念，因此，云网络中的L2网络服务除了VLAN，还会有VxLAN、NVGRE、STT等多种类型的二层网络。虚拟3层网络服务实现虚拟路由器功能，虚拟专用网络服务VPN负载均衡服务把负载均衡作为前端Server入口，自动伸缩的负载单元作为后端Member，通过后端Member数量的扩减容，实现按负载的自动化伸缩。虚拟防火墙及安全组隔离服务主要完成不同安全等级的网络隔离和