[GPU计算]CUDA基本介绍.

CUDA基本介绍基于NvidiaGPU的通用计算开发GPU的优势强大的处理能力GPU接近1Tflops/s高带宽140GB/s低成本Gflop/$和Gflops/w高于CPU当前世界超级计算机五百强的入门门槛为12Tflops/s一个三节点，每节点4GPU的集群，总处理能力就超过12Tflops/s，如果使用GTX280只需10万元左右，使用专用的Tesla也只需20万左右1.GPU高性能计算GPUVSCPU:计算能力8xdoubleprecisionECCL1,L2Caches1TFSinglePrecision4GBMemoryNVIDIAGPUX86CPUGPU/CPU架构比较延迟与吞吐量CPU:通过大的缓存保证线程访问内存的低延迟,但内存带宽小，执行单元太少，数据吞吐量小需要硬件机制保证缓存命中率和数据一致性GPU:高显存带宽和很强的处理能力提供了很大的数据吞吐量缓存不检查数据一致性直接访问显存延时可达数百乃至上千时钟周期单核CPU已经走到了尽头频率提高遇到了瓶颈从p4时代至今主流处理器频率一直在2GHz-3GHz左右架构上已无潜力可挖。超线程多流水线复杂的分支预测大缓存等技术已经将性能发挥到了极致，但是通用计算中的指令级并行仍然偏低上述技术占用了芯片上的绝大多数晶体管和面积，目的却只是让极少数的执行单元能够满负荷工作GPU能够更好的利用摩尔定律提供的晶体管图形渲染过程高度并行，因此硬件也是高度并行的少量的控制单元，大量的执行单元显存被固化在了PCB上，拥有更好的EMI性能，因此运行频率高于内存通过更大的位宽实现了高带宽当前的单核并行计算产品IBMCell应用主要见于PS3SUNNiarragaNPUNV/ATIGPU大规模应用GPU最为常见，受市场牵引发展最快，性价比最高架构比较硬件CPUGPUFPGAAES-128解密实测速度（GByte/s）0.119（Core2E6700中单核）1.78（FX9800GTX+）1.02(互联网资料中单片FPGA最大值)开发难度小较小大增加功能容易容易难硬件升级无需修改代码无需修改代码需要修改代码与主控端通信不需要通过PCI-E，实际速度一般为3G左右，通过API实现，较简单需要为FPGA编写额外的驱动程序，实现通信协议需要额外的硬件资源性能/成本高低高片外存储器内存，容量大，速度低显存，容量较大，速度高FPGA板上内存，一般为DDRII,速度低开发周期短短长CPUGPUFPGA实现比较CPUGPUFPGA实现比较当前的GPU开发环境Cg：优秀的图形学开发环境，但不适合GPU通用计算开发ATIstream：硬件上已经有了基础，但只有低层次汇编能够使用所有资源。高层次抽象Brook本质上是基于上一代GPU的，缺乏良好的编程模型OpenCL：联合制定的标准，抽象层次较低，对硬件直接操作更多，代码需要根据不同硬件优化CUDA：目前最佳选择未来的发展趋势GPU通用计算进一步发展：更高版本的CUDA,OpenCL新产品涌现：Nvidia和AMD的下一代产品，Intel的LarraBeeCPU+GPU产品：减少了CPU-GPU通信成本，但存储器带宽和功耗面积等可能将制约集成度。在较低端的应用中将有用武之地。CUDA的硬件架构适合通用计算G8x系G9x系GT200系列标量机架构提高了处理效率，更加适合通用计算增加了sharedmemory和同步机制，实现线程间通信以通用的处理器矩阵为主，辅以专用图形单元GTX280性能933Gflops（MAD）单精度116Gflops双精度(MAD)512bit位宽ddr3显存，提供了140GB/s的带宽1G的显存GT200框图TPC•3SM•Instructionandconstantcache•Texture•Load/storeSMROPROP对DRAM进行访问TEXTURE机制对global的atomic操作微架构比较执行流水线工作在通用计算模式下的GT200SM架构DUAL-Issue并发每二周期可以发射一次指令FPU和SFU指令延迟是四周期某些情况下可以让FPU和SFU并发执行，实现超标量理论处理能力峰值没有计算dual-issue双精度浮点计算不能dual-issueCUDA架构GPU硬件特点硬件资源模块化，根据市场定位裁减高度并行存在TPCSM两层每个SM又有8SPSM内存在高速的sharedmemory和同步机制原子操作有利于实现通用计算中的数据顺序一致性sharedmemoryTexturecacheconstantcache等高速片内存储器有助于提高数据访问速度，节省带宽如何选购硬件目前（2008.12）只有CUDA能够完全发挥新一代GPU的全部计算能力。Nvidia的G80以上的GPU能够支持CUDA。GT200系列不仅性能更强，而且具有很多实用的新特性Tesla专用流处理器拥有更大的显存和更高的核心频率，通过降低显存频率，屏蔽不需要的图形单元和改善散热获得了更好的稳定性，适合服务器或者集群使用适合的应用GPU只有在计算高度数据并行任务时才能发挥作用。在这类任务中，需要处理大量的数据，数据的储存形式类似于规则的网格，而对这写数据的进行的处理则基本相同。这类数据并行问题的经典例子有：图像处理，物理模型模拟（如计算流体力学），工程和金融模拟与分析，搜索，排序。在很多应用中取得了1-2个数量级的加速不适合的应用需要复杂数据结构的计算如树，相关矩阵，链表，空间细分结构等，则不适用于使用GPU进行计算。串行和事务性处理较多的程序并行规模很小的应用，如只有数个并行线程需要ms量级实时性的程序需要重新设计算法和数据结构或者打包处理CUDA执行模型重点是将CPU做为终端(Host)，而GPU做为服务器(Server)或协处理器(Coprocessor)，或者设备（Device），从而让GPU来运行一些能够被高度线程化的程序。CUDA的基本思想是尽量得开发线程级并行(ThreadLevelParallel)，这些线程能够在硬件中被动态的调度和执行。CUDA执行模型调用核程序时CPU调用API将显卡端程序的二进制代码传到GPUgrid运行在SPA上block运行在SM上thread运行在SP上gridblockthreadKernel不是一个完整的程序，而只是其中的一个关键并行计算步Kernel以一个网格(Grid)的形式执行，每个网格由若干个线程块（block）组成，每一个线程块又由最多512个线程(thread)组成。gridblockthread一个grid最多可以有65535*65535个block一个block总共最多可以有512个thread，在三个维度上的最大值分别为512,512和64gridblockthreadgrid之间通过globalmemory交换数据block之间不能相互通信,只能通过globalmemory共享数据,不要让多个block写同一区段内容（不保证数据一致性和顺序一致性）同一block内的thread可以通过sharedmemory和同步实现通信block间粗粒度并行，block内thread细粒度并行warpWarp是硬件特性带来的概念，在CUDAC语言中是透明的（除vote函数），但应用中不能忽略一个warp中有32个线程，这是因为SM中有8个SP，执行一条指令的延迟是4个周期，使用了流水线技术一个halfwarp中有16个线程，这是因为执行单元的频率是其他单元的两倍，每两个周期才进行一次数据传输SIMT编程模型SIMT是对SIMD（SingleInstruction,MultipleData，单指令多数据）的一种变形。两者的区别在于：SIMD的向量宽度是显式的，固定的，数据必须打包成向量才能进行处理；而SIMT中，执行宽度则完全由硬件自动处理了。（每个block中的thread数量不一定是32）而SIMT中的warp中的每个线程的寄存器都是私有的，它们只能通过sharedmemory来进行通信。分支性能与现代的微处理器不同，Nvidia的SM没有预测执行机制-没有分支预测单元(BranchPredicator)。在需要分支时，只有当warp中所有的线程都计算出各自的分支的地址，并且完成取指以后，warp才能继续往下执行。如果一个warp内需要执行N个分支，那么SM就需要把每一个分支的指令发射到每一个SP上，再由SP根据线程的逻辑决定需不需要执行。这是一个串行过程，此时SIMT完成分支的时间是多个分支时间之和。存储器模型RegisterLocalsharedGlobalConstantTextureHostmemoryPinnedhostmemory寄存器与localmemory对每个线程来说，寄存器都是线程私有的--这与CPU中一样。如果寄存器被消耗完，数据将被存储在本地存储器(localmemory)。Localmemory对每个线程也是私有的，但是localmemory中的数据是被保存在显存中，而不是片内的寄存器或者缓存中，速度很慢。线程的输入和中间输出变量将被保存在寄存器或者本地存储器中。Sharedmemory用于线程间通信的共享存储器。共享存储器是一块可以被同一block中的所有thread访问的可读写存储器。访问共享存储器几乎和访问寄存器一样快，是实现线程间通信的延迟最小的方法。共享存储器可以实现许多不同的功能，如用于保存共用的计数器(例如计算循环次数)或者block的公用结果(例如计算512个数的平均值，并用于以后的计算)。constantmemory,texturememory利用GPU用于图形计算的专用单元发展而来的高速只读缓存速度与命中率有关，不命中时将进行对显存的访问常数存储器空间较小(只有64k)，支持随机访问。从host端只写，从device端只读纹理存储器尺寸则大得多，并且支持二维寻址。（一个数据的“上下左右”的数据都能被读入缓存）适合实现图像处理算法和查找表全局存储器使用的是普通的显存，无缓存，可读写，速度慢整个网格中的任意线程都能读写全局存储器的任意位置，并且既可以从CPU访问，也可以从CPU访问。各种存储器的延迟register:1周期sharedmemory:1周期(无bankconflict)-16周期(发生16路bankconflict)texturememory:1(命中)-数百周期(不命中)constantmemory:1(命中)-数百周期(不命中)globallocalmemory:数百周期各存储器大小每个SM中有64K（GT200）或者32K(G8x,G9x)寄存器，寄存器的最小单位是32bit的registerfile每个SM中有16Ksharedmemory一共可以声明64K的constantmemory，但每个SM的cache序列只有8K可以声明很大的texturememory，但是实际上的texturecache序列为每SM6-8K使用存储器时可能出现的问题致命问题：无法产生正确结果多个block访问global同一块，以及block内thread间线程通信时的数据一致性问题Texture的工作模式设置错误效率问题：大大增加访存延迟Sharedbankconflict问题Global合并访问问题BankconflictSharedmemory被分为了16个bank，单位是32-bit，相邻数据在不同bank中，对16余数相同的数据在同一bankHalfwarp中的16个线程访问sharedmemory时最好一一对应，如果多个thread同时访问属于同一bank的数据将发生bankconflict16个线程读同一数据时，会发生一次广播，只用一个cycle，没有bankconflict合并访问访问显存时要遵守严格的