F5双活数据中心解决方案

F5多中心并行解决方案F5Networks杨明非2讨论内容•多中心建设的目标和方案概览•多中心模式下流量引导的三个层面–流量如何进入数据中心–流量进入数据中心之后如何动态调配–流量在数据中心之间流动的优化处理•不同情况下的流量引导模型–同城双中心–异地双中心–两地三中心•案例分析3F5多中心方案总体概况Intranet/InternetADCWEBWEBWEBADCAPPAPPAPPADC数据中心(一)RouterRouterGTMGTMADCWEBWEBWEBADCAPPAPPAPPADC数据中心(二)流量引导ORACLERACORACLERACiSession/EoIP/OTV/IPSEC展示层iSession/EoIP/OTV/IPSEC应用层WOM/EoIP/OTV/IPSEC数据库4多中心模式下流量引导的三个层面•流量如何进入数据中心？–引导客户端的访问流量进入那个数据中心，根据用户的地理位置或者网络距离判断一个最佳数据中心，并确认数据中心的应用健康状态•流量进入数据中心之后如何分配？–Web-App层面的动态调整，判断那些流量进入本地App服务器，那些流量发送到远端数据中心的App服务器–App-DB层面的动态调整，App如何访问DB，保证DB的Active/Backup和RAC等Cluster运行模式•流量在数据中心之间流动的优化处理？–iSession优化通道–EtherOverIP二层封装通道–WebAccelerator应用优化–长距离虚拟机迁移流量如何进入数据中心？6流量如何进入数据中心？•多路进入模式–GTM根据地理位置或网络距离智能选择•优点：可以灵活分配，用户体验好•缺点：故障切换有一定延迟，应用必须支持DNS访问–RHI静态路由注入模式•优点：使用路由调整方式，切换速度快，应用无需支持DNS•缺点：只能支持主备模式，不能同时使用–N+M冗余模式•优点：切换迅速，应用无需支持DNS•缺点：对外有两个或者两个以上入口，需要人工分配，必须要有二层打通支持•多种流量引导模式可以组合使用7流量选择——GTM根据地理位置或网络距离智能选择•GTM设备——通过DNS解析实现智能流量判断•作用——用户访问目的引导•工作模式–通过对不同的用户解析出不同的域名对应IP地址实现流量引导–判断用户的地理位置引导用户到不同的数据中心–判断用户的网络距离引导用户到不同的数据中心–判断数据中心的服务状况来实现引导切换•解决问题：–引导客户访问到最佳的健康的数据中心应用8GTM根据地理位置或网络距离智能选择Distributeuserstobestavailabledatacenter9GTM智能流量引导模式的优缺点分析•优点–易于控制，可实现多种流量分布模型，主备、主主或者分应用主备等模型–维护方便，自成系统，与其他设备松耦合–可根据地理位置分布、网络距离或者应用繁忙程度动态调配•缺点–应用必须采用DNS方式进行访问–切换时间相对较长（取决于TTL时间），通常用于互联网应用5-10分钟，内网应用30-60秒•最佳应用类型–网上银行、电子商务等基于B/S的应用系统10RHI静态路由注入模式•LTM设备——通过静态路由注入方式进行切换•作用——用户访问目的引导•工作模式–LTM需要参与到动态路由协议中–两个数据中心的不同LTM负责对外发布VIP的主机路由–不同LTM发布的VIP主机路由优先级不同–LTM通过控制优先级通知动态路由实现流量的引导–后台应用的健康状态也会导致路由切换•解决问题：–引导客户访问主生产中心，在生产中心LTM或者应用出现故障时，迅速切换到备份中心11CustomerIGPnetworkBIG-IPLTMClient访问192.168.1.1RHI静态路由注入模式BIG-IPLTM10.2.1.0/2410.1.1.0/2410.1.2.0/2410.2.2.0/24VIP:192.168.1.1/32OSPFOSPF当pooldown后，F5撤消到VIP:192.168.1.1的路由分发，client端则会看到另一条路由12RHI静态路由注入模式的优缺点分析•优点：–切换速度快（取决于路由收敛速度）–可支持基于IP访问的应用–和传统路由相比，可以感知应用的健康状态进行切换–支持业务类型广泛•缺点–仅支持主备模式，备中心设备利用率不高–和网络路由系统的耦合度高，必须直接参与路由计算•适合应用系统–传统的C/S结构应用–无法实现域名DNS访问的应用13N+M冗余模式•LTM设备(V11)——通过LTM集群方式实现冗余切换•作用——用户访问目的引导•工作模式–多个数据中心中的LTM形成集群模式–对外提供两个VIP，分别以两个数据中心作为主服务中心–手工分组用户访问不同的VIP地址–按照应用进行分组，一个组的应用绑定漂移–同组的LTM每个VLAN都需要二层直通（保证MAC切换时，流量会正常切换）•解决问题：–引导客户访问不同的VIP地址，LTM设备或者应用出现故障时自动进行切换14N+M实现多ACTIVE设备运行可以将不同应用（基于IP/TrafficGroup）分配到不同ACTIVE设备，业务二次分配，可以引导不同用户访问到不同区域，实现数据中心流量引导。所有的VS和FloatingIP绑定漂移，保证服务器网关指向TrafficGroup-1Defaultdevice:Device1TrafficGroup-2Defaultdevice:Device1TrafficGroup-3Defaultdevice:Device3VirtualAddress-4VirtualAddress-3VirtualAddress-2VirtualAddress-1VirtualAddress-8VirtualAddress-7VirtualAddress-6VirtualAddress-5VirtualAddress-12VirtualAddress-11VirtualAddress-10VirtualAddress-9TrafficGroup-4Defaultdevice:Device4VirtualAddress-12VirtualAddress-11VirtualAddress-10VirtualAddress-9DataCenter1DataCenter215N+M冗余模式下的优缺点分析•优点–支持业务类型广泛–自成系统，无需其他产品参与切换和分配–部署模型灵活–可支持C/S结构•缺点–一组业务在一个数据中心主活–如果需要并行需要对外提供2个VIP地址，人工分用户进行访问–需要双中心之间二层联通•适合应用–内网部署应用–C/S应用，仅支持IP访问的B/S应用流量进入数据中心之后如何动态调配17Web-App层面•问题–性能：如果没有SSL处理，在系统中通常APP服务器的压力比较大–APP服务器的故障概率比较高–多个中心的APP服务器需要实现灵活的调配机制–传输的数据以明文为主，数据量远远大于C/S结构•解决–在Web-App之间使用ADC实现灵活的流量调配–在本地资源不足的时候调用远端的闲置资源–在两个数据中心之间使用数据传输优化通道减小数据传输量–对静态内容进行缓存减小中心之间的数据传输18Web-App层面ADCADCWEBServerWEBServerAPPServerAPPServer19APP-DB的流量处理•问题–数据库实现双A还是有很大的技术难度–对时延比较敏感，当双中心距离较远的时候会严重影响响应速度和数据库并发连接压力–通常一个用户操作有数十次的数据库往返查询，时延将会进一步恶化响应速度–数据库自身的Cluster机制在节点数量较多的时候故障隔离速度较慢–双中心数据库切换时需要改变App服务器的配置或应用系统•解决：–可以采用ADC实现数据库集群本地负载均衡–采用ADC实现远程数据库调配使用，使数据库切换时不需要改变App服务器的配置和应用系统20App-DB层面ADCADCAPPServerAPPServerDBInstanceDBInstanceClusteredDB/RACClusteredDB/RAC流量在数据中心之间流动的优化处理22WOM/iSessionStep3对称压缩Step4SSL加解密Step5TCP优化Step2数据De-duplicationRawDataStep6带宽管理Step1应用层优化OptimizedDataWANTMOSOptimizationServices•业界最快和支持流量最大的产品，单连接1Gbps，最大10Gbps的流量处理•最高74x的应用优化速度提升•可以根据应用不同提供不同服务23EoIP技术数据库其他应用业务系统路由器交换机防火墙F5LTM数据中心2数据库其他应用业务系统路由器交换机防火墙F5LTM数据中心1Layer2iSessiontunnelEtherOverIPtunnel应用流量：内部流量：虚拟二层通道24WebAccelerator应用优化25vCenterServerInternetEtherIPTunnelEtherIPTunnel长距离虚拟机迁移不同情况下的流量引导模型27简化的网银多中数据流量-同城应用交付和安全展示层服务器应用交付和安全应用层服务器应用交付和安全主核心银行互联网客户端主数据库应用交付和安全展示层服务器应用交付和安全应用层服务器应用交付和安全灾备数据中心灾备数据库28同城双中心的流量模型设计思路•同城双中心的时延通常较小（1ms）•因此数据流量涉及可以相当灵活，无论采用那种结构，都可以灵活的在两个中心之间对流量进行调配•考虑到数据库的主备特性，可以使用单个数据中心作为主数据库中心，远端数据中心的应用服务器访问主中心的数据库服务器•在允许的情况下，可以使不同的应用系统的主数据库位于不同的数据中心29简化的网银多中数据流量-异地应用交付和安全展示层服务器应用交付和安全应用层服务器应用交付和安全主核心银行系统互联网客户端主数据库应用交付和安全展示层服务器应用交付和安全应用层服务器应用交付和安全灾备核心银行系统灾备数据库动态30异地双中心的流量模型设计思路•异地双中心的时延通常较大（20-40ms国内）•如果一次操作有30次数据库查询动作，将有30＊30＝900ms的延迟，也就是一笔操作由于距离延迟产生的延迟有接近1秒钟•因此建议是采用Web-App跨广域网模式，减小交互次数带来的影响。•使用ADC可以灵活的调配流量在数据中心之间的穿越31简化的网银多中数据流量-真正并行应用交付和安全展示层服务器应用交付和安全应用层服务器应用交付和安全主核心银行系统InternetClients主数据库应用交付和安全展示层服务器应用交付和安全ApplicationServers应用层服务器灾备核心银行系统灾备数据库分布式消息队列(IBMMQ,Tibco,RabbitMQ)分布式数据库缓存(GemFire,SQLFabric,Memcached)案例分析