证券低延迟业务平台构筑技术探讨

证券低延迟业务平台构筑技术探讨2证券业务系统平台的重要性能衡量指标低延迟系统主要应用领域–高频度交易（程序化交易）–行情数据发布–数据交换处理–实时信号与图形处理3低延迟特征：系统对外部事件快速做出反映证券交易系统的交易延迟消息处理延迟：应用消息传输过程中的消息格式转换、消息可用性相关的时间开销。（包括编解码、格式转换、消息落地等）通讯处理延迟：主机的协议栈处理开销（包括消息发送接收消耗、事件通知消耗、消息打包等待消耗）调度延迟：主机提出请求到请求被处理的时间开销发送与接受延迟：主机向网络发送/接受协议包的开销。传输延迟：在传输介质上传输得时间开销，主要与传输距离（指物理距离导致的延时）与传输介质相关。软件处理延迟是整个证券交易延迟的主要开销！追求极致的高性能与低延迟4高性能与低延迟的极致追求证券交易延迟分析框架证券交易技术发展趋势LatencyThroughput100+ms1ms100K+mps1-3,000mps2006年2009年2012年+应用软件消息中间件操作系统主机：CPU、内存，硬盘，网卡网络性能测试与优化*根据KaramchetiV.Chien的研究表明，对应高性能低延迟系统的系统开销主要来自与软件处理。低延迟系统的影响因素5特征：系统对外部事件快速做出反映处理器服务器建议E5-2687Wv3(10c3.1GHz)，E5-2667v3(8c3.2GHz)，E5-2643v3(6c3.4GHz)，E5-2637v3(4c3.5GHz)内存尽量采用8或16DualRank2133MT/sCAS-11RDIMMs内存条如果每通道只配置一根DIMM内存条，建议采用8DualRank2133MT/sRDIMMs可减少一个时钟周期的延迟每通道至少配置一根DIMM内存条系统低延迟组件的讨论与建议配置-处理器、内存如何构筑低延迟应用系统平台6系统低延迟组件的讨论与建议配置-网卡如何构筑低延迟应用系统平台（续）PCIeGen3架构DL380pGen9机架服务器的两个处理器分别与3个x8的（或更快）插槽通讯。DL360pGen9机架服务器的第一个处理器与2个x8的（或更快）插槽通讯。如果10核可以满足应用需要，考虑配置一个处理器，将获得以下好处：1）自动PCI-to-Core直接访问（没有应用重写）2）DDIO（仅E-5）性能优化3）消除缓存侦听4）没有QPI延迟5）降低温度功耗使得处理器可以在Turbo模式下尽可能以最高频率运行。6）即使在一个处理器情况下仍有3个（或2个）x8或x16PCIe插槽可以支持网卡，FusionIO等设备BL460c每个处理器分别连接一个x8插槽，FlexLOM与第一个处理器连接系统低延迟组件的讨论与建议配置-网卡如何构筑低延迟应用系统平台（续）PCIe网卡MellanoxConnectX-3架构的网卡能够提供特别低的延迟，目前被广泛应用在惠普机架，刀片等服务器上实现低延迟系统。同时MellanoxConnectX-3目前是唯一一个能够提供原生PCIeGen3x8（40Gbe和FDRinfiniband)的厂商。其他第三方可以提供低延迟网卡的厂商包括Solarflare和Myricom，也均可以安装在服务器上。左图展示了在背靠背配置（无交换机）下，MellanoxFlexibleLOM，InfiniBandFDR/EN10/40GbDualPort544FLR-QSFPAdapter）用Netperf测试的网络延迟。网卡需要实现更加精准的时间同步功能,这一功能尤其在金融交易等行业非常重要，新一代1GbE和10GbEFlexNet适配器均支持IEEE1588协议.IEEE1588协议IEEE1588又叫网络化测量及控制系统的精确时钟同步协议，PTP（精确时钟协议）采用PCIe3.0的网卡会比PCIe2.0网卡快100ns9系统低延迟组件的讨论与建议配置-延迟测试手段如何构筑低延迟应用系统平台（续）网络延迟测试工具Netperf与SocketperfNetperf最早源自惠普公司开发的工具，目前是Linux6.x原生工具，也可以通过下载。Socketperf是一个基于socketAPI的晚了延迟测试工具。可以通过下载。Ping非准确手段10系统低延迟组件的讨论与建议配置-交换机如何构筑低延迟应用系统平台（续）网络交换机通用与低延迟优化网络交换机不同：“Cutthrough”与“Storeandforward”不同的端口转发方式。“Storeandforward”典型的端口转发延迟在5uS左右，而“Cutthrough”为1uS左右。除了转发模式外，Layer3路由，是否有端口队列长度分析，PTP支持功能都对交换机延迟产生重要影响。HPVC具有低延迟特性，HPVCFlex-10/10D的端口延迟为0.9uS，HPVCFlexFabric的网络端口延迟1.5us惠普建议的超低延迟网络组合刀片服务器Gen9上配置HPInfiniBandFDR/EN10/40Gb544M网卡刀片配置交换机MellanoxSX1018HPEthernetSwitch，230ns-250ns延迟11系统低延迟组件的讨论与建议配置-操作系统.中间件与应用如何构筑低延迟应用系统平台（续）操作系统通用与专用。LinuxMRG等线程与进程（C-group，K-group）中间件Message高速引擎。FIX引擎应用系统通用与专用。RDMA等内存处理代码质量与优化12