Mellanox-InfiniBand技术和方案汇报

2015年4月InfiniBand技术和方案汇报©2015MellanoxTechnologies2-MellanoxConfidential-提纲当前网络有哪些难以克服的问题面向未来数据中心，如何构建新型网络以解决当前问题InfiniBand网络有哪些技术特点InfiniBand网络使用场景分析©2015MellanoxTechnologies3-MellanoxConfidential-以太网的固有问题1–可用性问题问题：极易引起广播风暴占用大量网络带宽,甚至网络彻底瘫痪缓解对策：使用VLAN，缩小广播域，减小影响范围。但无法彻底解决。鱼与熊掌：是否有网络技术可自由组网，又彻底不会带来广播风暴？©2015MellanoxTechnologies4-MellanoxConfidential-以太网的固有问题2–效率问题问题：多次数据内存拷贝，大幅增加延迟中断处理响应需要CPU处理，极为影响性能协议栈处理是软件操作，性能低下，且大幅占用CPU鱼与熊掌：能否既可靠传输，又高效处理，且不需要占用CPU资源？RACK1OSNICBuffer1Application1Application2OSBuffer1NICBuffer1TCP/IPRACK2Buffer1Buffer1Buffer1Buffer1Buffer1©2015MellanoxTechnologies5-MellanoxConfidential-以太网的固有问题3–多网融合长期以来，计算网和存储网使用两种不同的网络•计算网使用以太网-尝试使用iSCSI来发展IPSAN，但性能提升遇到巨大瓶颈•存储网使用FC-FC网无法向计算网延伸能否使用一种网络融合计算和存储？©2015MellanoxTechnologies6-MellanoxConfidential-新型高速网络的需求–业务发展需要小型机单机存在性能极限，然而扩展困难x86机群易扩展，低成本，替换小机是大趋势如果要x86机群更好发挥整体性能，就需要有高性能的网络，把x86机群有机整合，以发挥整体性能•需要高带宽–实现节点间数据实现大吞吐，比如数据装载阶段•需要低延迟–需要节点间应用快速信息交换，比如数据查询阶段©2015MellanoxTechnologies7-MellanoxConfidential-构建新型网络结构实现自由组网，且彻底解决广播风暴实现网络协议的完全卸载，既可靠传输，又高效处理，且不占用CPU资源要发挥网络的极致性能，提供最高的带宽，最低的延迟需要指定公开网络规范，不能使用某个厂商的私有技术需要独立的第三方机构维护网络规范，需要有稳健的路标，可应对数据中心的未来挑战InfiniBand应运而生©2015MellanoxTechnologies8-MellanoxConfidential-什么是InfiniBand网络©2015MellanoxTechnologies9-MellanoxConfidential-InfiniBand贸易协会(IBTA)成立于1999年InfiniBand是由InfiniBand行业协会所倡导的。InfiniBand代表了两种计算潮流的融合：下一代I/O（NGIO）和未来的I-O（FIO）。大部分NGIO和FIO潮流的成员都加入了InfiniBand阵营IBTA制定和维护InfiniBand标准©2015MellanoxTechnologies10-MellanoxConfidential-InfiniBand是一个基于交换网格的体系结构►实现CPUs和I/O之间的互联通道►超高的性能高带宽(从10Gbps起步，直至60Gbps)–扩展空间很大!低延迟–机群中跨节点应用程序间的快速反应.低的CPU占用及RDMA(远程直接内存访问)–打破以太网的CPU和操作系统介入通讯.►增加应用程序性能►单网融合LAN,SAN,和应用程序通讯►高可靠的子网管理器►InfiniBand是一个为大规模易扩展机群而设计的网络技术第一个高速互联工业标准!©2015MellanoxTechnologies11-MellanoxConfidential-InfiniBand设计路标SDR-SingleDataRateDDR-DoubleDataRateQDR-QuadDataRateFDR-FourteenDataRateEDR-EnhancedDataRateHDR-HighDataRateNDR-NextDataRate©2015MellanoxTechnologies12-MellanoxConfidential-InfiniBand开放资源InfiniBand软件主要由OpenFabrics开源联盟所开发InfiniBand标准由InfiniBand贸易协会制定维护©2015MellanoxTechnologies13-MellanoxConfidential-业界InfiniBand产品发展趋势延时5usec2.5usec1.3usec0.7usec0.5usec160/200Gb/s100Gb/s56Gb/s40Gb/s20Gb/s10Gb/s2001200220032004200520062007200820092010201120122013201420152016201720012002200320042005200620072008200920102011201220132014201520162017带宽SameSoftwareInterface0.5usec©2015MellanoxTechnologies14-MellanoxConfidential-技术路线–领先竞争对手一代产品200020202010200520Gbs40Gbs56Gbs100Gbs“Roadrunner”MellanoxConnected1st3rdTOP5002003VirginiaTech(Apple)2015200GbsTerascalePetascaleExascaleMellanox©2015MellanoxTechnologies15-MellanoxConfidential-InfiniBand的技术特点PCI串行高带宽连接•SDR:10Gb/sHCA连接•DDR:20Gb/sHCA连接•QDR:40Gb/sHCA连接•FDR:56Gb/sHCA连接–现在•EDR:100Gb/sHCA连接–2015年极低的延迟•低于1微妙（纳妙级）的应用延迟可靠、无损、自主管理的网络•基于链路层的流控机制•先进的拥塞控制机制可以防止阻塞完全的CPU卸载功能•基于硬件的传输协议•可靠的传输•内核旁路技术内存可提供远程节点访问•RDMA读和RDMA写服务质量控制（QoS）•Mellanox网卡:提供多个独立的I/O通道•在链路层提供多条虚拟通道集群可扩展性和灵活性•一个子网可支持48,000个节点，一个网络可支持2128个节点•在节点之间为平行路由•提供多种集群拓扑方式:胖树，3D，简化集群管理•集中路由管理•支持带内网络诊断和升级©2015MellanoxTechnologies16-MellanoxConfidential-RDMA技术实现内核旁路，为HPC应用提供最好的网络通讯性能在InfiniBand上运行RDMAKERNELHARDWAREUSERRACK1OSNICBuffer1Application1Application2OSBuffer1NICBuffer1TCP/IPRACK2HCAHCABuffer1Buffer1Buffer1Buffer1Buffer1©2015MellanoxTechnologies17-MellanoxConfidential-ArbitrationDe-muxMux链路控制数据包信用反馈LinkControlReceiveBuffers包传输基于信用的链路层流控•链路流控确保即使在大压力的网络负载下，网络中也没有任何包丢失•链路接收端对每个虚拟链路根据缓冲区状况独立分发信用•流控信用以64字节为单位每个虚拟链路提供独立的流控:•不会造成队首阻塞牺牲应用的情况虚拟网络–虽然是共享同一个物理通道，在有了QoS和虚拟链路之后，在一个虚拟链路上的拥塞和延迟不会对另外一个虚拟链路造成任何影响链路层流控©2015MellanoxTechnologies18-MellanoxConfidential-服务质量QOS管理低优先级虚拟链路属性报文分类识别•源端口组,•目标端口组•分区,•QOS分类•应用服务IDSL0-3SL4SL6SL7SL8SL10SL12DefaultGPFSIP_O_IBSDPRDSNativeMulticastClockSyncW32W32W32W32W64W64网络节点用户业务包类型服务级别W64心跳通讯存储业务私有云业务交易业务政府业务虚拟链路VL-0VL-1VL-2VL-3VL-4VL-5VL-15高优先级虚拟链路属性©2015MellanoxTechnologies19-MellanoxConfidential-子网管理器1.物理子网建立2.子网发现3.信息收集4.LID分发5.建立通路6.端口配置7.交换机配置8.启动子网SMSwitch-2Switch-3Switch-4Switch-5HostHostG-11G-22G-23G-42G-41G-32G-33G-51G-52Switch-1G-01G-21G-12G-13G-31G-53H-11G-01H-21LID-1LID-2LID-3LID-7LID-8LID-10LID-32LID-34Switch-6G-61G-62LID-8G-43©2015MellanoxTechnologies20-MellanoxConfidential-中央视图资源占用和状态拥塞图Top10报警节点事件通知板Top10带宽占用Top10拥塞带宽消耗©2015MellanoxTechnologies21-MellanoxConfidential-全局网络管理监控分析中央设备管理自动化提供©2015MellanoxTechnologies22-MellanoxConfidential-UnifiedFabricManagement功能AutomaticDiscoveryCentralDeviceMgmtFabricDashboardCongestionAnalysisHealth&PerfMonitoringAdvancedAlertingFabricHealthReportsServiceOrientedProvisioning©2015MellanoxTechnologies23-MellanoxConfidential-监控优化系统性能和使用更快识别解决问题分析度量网络使用用户应用的设备供给UnifiedFabricManagement优势©2015MellanoxTechnologies24-MellanoxConfidential-InfiniBand如何组网©2015MellanoxTechnologies25-MellanoxConfidential-InfiniBand组件主机通道适配器(HCA)•终结IB链路的设备，实现传输层功能，支持verbs接口交换机•在一个子网内实现数据包转发的设备路由•在IB子网间实现包路由的设备网关•实现InfiniBand和以太网的互通ProcessorNodeInfiniBandSubnetGatewayHCAProcessorNodeProcessorNodeHCAHCAStorageSubsystemConsolesRAIDEthernetGatewayFibreChannelHCASubnet