第３４卷第１１期 ２０１７年１１月 计算机应用与软件 Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｏｆｔｗａｒｅ Ｖｏ１．３４ Ｎｏ．１１ ＮＯＶ．２０１７ 基于虚拟化环境的多ＧＰＵ并行通用计算平台研究 徐恒 吴俊敏 ， 杨志冈４ 尹燕 安徽合肥２３００２７） 安徽合肥２３００２７） （中国科学技术大学软件学院（中国科学技术大学计算机科学与技术学院（中国科学技术大学苏州研究院 江苏苏州２１５１２３） 摘 要 针对分布式多节点多ＧＰＵ的系统环境，实现一种基于ＣＵＤＡ框架的多ＧＰＵ通用计算虚拟化平台。应 用程序可以如同使用本地ＧＰＵ一样方便地使用多个远程ＧＰＵ，原来的ＣＵＤＡ应用程序可以不经过修改或者只进 行少量的修改就可以运行在该虚拟化ＧＰＵ平台上，从而实现单机多ＧＰＵ和多机多ＧＰＵ在编程模式上的统一，并 通过一个基于高斯混合模型的数据聚类程序来进行实验验证。实验结果表明，在不影响程序正确性的前提下，相 对于原来使用ＣＰＵ的程序，使用两个远程ＧＰＵ可以获得十倍左右的加速比。 关键词 中图分类号虚拟化ＴＰ３ ＧＰＵ 多机多ＧＰＵ分布式 文献标识码Ａ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３８６ｘ．２０１７．１ １．０１４ ＲＥＳＥＡＲＣＨ ｏＦ ＰＡＲＡＬＬＥＬ ＣｏＭＰＵＴＩＮＧ ＰＬＡＴＦｏＲＭ ｏＦ ＭＵＬＴＩ．ＧＰＵ ＢＡＳＥＤ ｏＮ ＶＩＲＴＵＡＬ ＥＮＶＩＲｏＮＭＥＮＴ Ｘｕ Ｈｅｎｇ ・。Ｗｕ Ｊｕｎｍｉｎ ・。Ｙａｎｇ Ｚｈｉｇａｎｇ Ｙｉｎ Ｙａｈ。 （Ｓｃｈｏｏｌ ｏｆＳｏｔｗａｒｆｅ，Ｕｎｉｖｅｒｓｉｔｙ ｆＳｃｏｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｆＣｈｉｏｎａ，Ｈｅｆｅｉ ２３００２７，Ａｎｈｕｉ，Ｃｈｉｎａ） （Ｓｃｈｏｏｌ ｆ ｏＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｕｎｉｖｅｒｓｉｔｙ ｆＳｃｉｏｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｆ ｏＣｈｉｎａ，Ｈｅｆｅｉ ２３００２７，Ａｎｈｕｉ，Ｃｈｉｎａ） （Ｓｕｚｈｏｕ Ｉｎｓｔｉｔｕｔｅｆｏｒ Ａｄｖａｎｃｅｄ Ｓｔｕｄｙ，Ｕｎｉｖｅｒｓｉｔｙ ｆＳｃｉｏｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ｏｆＣｈｉｎａ，Ｓｕｚｈｏｕ ２１５１２３，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ａｉｍｉｎｇ ａｔ ｔｈｅ ｄｉｓｔｒｉｂｕｔｅｄ ｍｕｌｔｉ—ｎｏｄｅ ａｎｄ ｍｕｌｔｉ—ＧＰＵｓ ｓｙｓｔｅｍ ｅｎｖｉｒｏｎｍｅｎｔ，ａ ｇｅｎｅｒａｌ ｃｏｍｐｕｔｉｎｇ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｐｌａｔｆｏｒｍ ｏｆ ｍｕｌｔｉ－ＧＰＵｓ ｂａｓｅｄ ｏｎ ＣＵＤＡ ｆｒａｍｅｗｏｒｋ ｉｓ ｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｃａｒｌ ｕｓｅ ｔｈｅ ｒｅｍｏｔｅ ＧＰＵｓ ｉｎ ｔｈｅ ｓａｍｅ ｗａｙ ａｓ ｔｈｅ ｌｏｃａｌ ＧＰＵｓ．Ｔｈｅ ｏｒｉｇｉｎａｌ ＣＵＤＡ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｃａｎ ｂｅ ｒｕｎ ｏｎ ｔｈｅ ｖｉｒｔｕａｌ ｐｌａｔｆｏｒｍ ｏｆ ＧＰＵｓ ｗｉｔｈｏｕｔ ｍｏｄｉｆｉｃａｔｉｏｎ ｏｒ ｗｉｔｈ ｏｎｌｙ ａ ｆｅｗ ｃｈａｎｇｅｓ，ｉｎ ｏｒｄｅｒ ｔｏ ａｃｈｉｅｖｅ ｕｎｉｔｙ ｉｎ ｔｈｅ ｐｒｏｇｒａｍｍｉｎｇ ｍｏｄｅｌ ｏｆ ｓｉｎｇｌｅ ｍｕｌｔｉ－ＧＰＵｓ ａｎｄ ｍｕｌｔｉ—ｍａｃｈｉｎｅ ｍｕｌｔｉ－ＧＰＵｓ．Ｉｎ ｔｈｅ ｅｎｄ，ｗｅ ｖｅｒｉｆｙ ｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓ ｏｆ ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｔｈｒｏｕｇｈ ａ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂｙ ＣＵＤＡ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔ ｓｈｏｗｓ ｔｈａｔ ｔｈｅ ｒｅｓｕｌｔ ｏｆ ａ ｐｒｏｇｒａｍ ｕｓｉｎｇ ｔｗｏ ｒｅｍｏｔｅ ＧＰＵｓ ｃａｎ ｇｅｔ ａｂｏｕｔ ｔｅｎ ｔｉｍｅｓ ｆａｓｔｅｒ ｔｈａｎ ｕｓｉｎｇ ｔｈｅ ｏｒｉｇｉｎａｌ ＣＰＵ ｗｉｔｈｏｕｔ ａｆｆｅｃｔｉｎｇ ｔｈｅ ｃｏｒｒｅｃｔｎｅｓｓ． Ｋｅｙｗｏｒｄｓ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ＧＰＵ Ｍｕｌｔｉ－－ｍａｃｈｉｎｅ ａｎｄ ｍｕｌｔｉ．—ＧＰＵ Ｄｉｓｔｒｉｂｕｔｅｄ 对于ＧＰＵ的通用计算功能的研究也成为了热点。在 ０ 引 言 近年来，ＧＰＵ的通用计算功能得到了迅速发展。 通用计算领域，以ＣＵＤＡ为代表的并行计算架构将 ＧＰＵ引入到科学计算。但是ＣＵＤＡ规范只能直接访 问本地的ＧＰＵ，并没有直接提供对远程ＧＰＵ的访问接 口，为了能够使用网络中的远程ＧＰＵ，开发人员需要用 到ＭＰＩ与ＣＵＤＡ结合等方法，这增加了程序的复杂性 随着ＧＰＵ的性能提高以及ＧＰＵ自身的结构特性，使 得ＧＰＵ在大规模并行计算中起着越来越重要的作用， 收稿日期：２０１７—０１—０４。国家重点研发计划项目（２０１６ＹＦＢｌＯ００４０３）。徐恒，硕士生，主研领域：ＧＰＵ通用计算，虚拟化。吴俊 敏，副教授。杨志刚，硕士生。尹燕，博士生。 第１１期 徐恒等：基于虚拟化环境的多ＧＰＵ并行通用计算平台研究 ７５ 并且给开发人员带来额外的工作量。 为了能够更加方便地使用多ＧＰＵ系统的计算资 源，本文以开源项目ｇＶｉｒｔｕＳ为基础，实现了一种基于 ＡＰＩ的调用都会被这个伪库拦截并转发到后端进行处 理，而后端则运行在具有处理能力的宿主机上，负责处 理前端发来的请求。这种虚拟化方案被称为ＡＰＩ重定 向（ＡＰＩ ｒｅｍｏｔｉｎｇ），其访问远程ＧＰＵ时采用的前后端 ＣＵＤＡ框架的、支持多ＧＰＵ通用计算的虚拟化方案， 可以将分布式环境中多个节点的ＧＰＵ资源的统一抽 通信方式是ＴＣＰ／ＩＰ，只能使用一台远程主机中的ＧＰＵ 资源。 象到一个ＧＰＵ池中。程序可以用本地ＧＰＵ的方式使 用任意位置、任意数量的ＧＰＵ的资源，原有的ＣＵＤＡ 以上方案无论是针对虚拟机的ｖＣＵＤＡ还是针对 远程物理机的ｒＣＵＤＡ，其设计都包含有高效性、普适 程序可以不修改源代码只要在编译过程中进行简单的 配置就可以在该虚拟化平台上运行，即使没有ＧＰＵ设 备或者只有不支持ＣＵＤＡ的ＧＰＵ设备也能够十分方 便地使用分布式环境中的非本地ＧＰＵ资源进行通用 计算。 １ ＧＰＵ虚拟化背景 虚拟化技术在现代计算机系统中有非常广泛的应 用，是对传统计算资源的使用方式的一种突破。在虚 拟化技术中，由于Ｉ／Ｏ设备的复杂性、多样性与封闭 性，针对Ｉ／０设备的虚拟化一直是瓶颈。ＧＰＵ属于ｌＩ／ ０设备中的特殊部分，其功能主要有图形计算与通用 计算两部分，近年来随着神经网络的兴起，ＧＰＵ的通 用计算功能越来越受重视，针对ＧＰＵ通用计算的虚拟 化一直是学术界研究的热点。目前ＧＰＵ虚拟化技术 主要有三类：１）设备独占；２）设备模拟；３）应用层接 口虚拟化（即ＡＰＩ重定向）。此外还有硬件虚拟化，但 是运用较少。 由于ＣＵＤＡ的广泛应用，对ＧＰＵ通用计算的虚拟 化主要是基于ＣＵＤＡ的解决方案，例如ｒＣＵＤＡ＿ｌ Ｊ、 ｖＣＵＤＡ 、ｇＶｉｒｔｕＳ 、Ｇｖｉｍ 等。其中ｖＣＵＤＡ是针 对在虚拟机环境中运行ＣＵＤＡ程序提出的解决方案， “采用在用户层拦截和重定向ＣＵＤＡ ＡＰＩ的方法，在虚 拟机中建立物理ＧＰＵ的逻辑映像” 。ｖＣＵＤＡ出现 时间较早，对于ＣＵＤＡ ４．０之后的版本不再支持。 Ｇｖｉｍ是基于Ｘｅｎ系统的，实现了基于前后端的ＣＵＤＡ 虚拟化系统，但是并没有实现ＣＵＤＡ全部功能的虚拟 化。ｒＣＵＤＡ是目前比较成熟的ＧＰＵ虚拟化解决方案， 支持最新的ＣＵＤＡ ７．５，支持ｃｕＤＮＮ，其不再侧重于针 对虚拟机的ＧＰＵ虚拟化，而是所有不包括ＮＶＩＤＩＡ ＧＰＵ的节点都可以使用ｒＣＵＤＡ来使用ＧＰＵ进行通用 计算。ｒＣＵＤＡ可以免费获得，但是不开源，其具体实 现细节与原理都未公开。ｇＶｉｒｔｕＳ是基于前后端模式 实现的ＧＰＵ通用计算虚拟化方案，其前端提供了一个 封装了ＣＵＤＡ接口的伪库。在前端的所有的对ＣＵＤＡ 性、透明性三个原则。高效性是要求虚拟化方案不能 带来额外的开销；普适性是指虚拟化方案不能只针对 特定虚拟化平台有效，在本文中的虚拟化方案除了虚 拟化平台外还包括了没有ＧＰＵ的物理平台；透明性是 指虚拟化的方案对于ＣＵＤＡ应用保证兼容性，不要求 修改ＣＵＤＡ程序源码或者重新编译，或者只需要做很 少的修改就可以在虚拟化平台上运行，在透明性良好 的虚拟化方案中，原有的单机多ＧＰＵ程序可以直接在 多机多ＧＰＵ的分布式环境中运行，从而实现了不同环 境中的编程模式的统一，这也是本文研究的重点。 ２ 单ＧＰＵ虚拟化 本节讨论如何通过ＡＰＩ重定向虚拟化方案来访问 单个的远程ＧＰＵ进行通用计算的问题，以此为基础， 下一节再来讨论如何使用分布式环境中的多个ＧＰＵ 的问题。在本文中的“虚拟节点”这个术语有两层含 义：一是指传统意义上的虚拟机节点；二是指没有配备 可以运行ＣＵＤＡ的ＧＰＵ的物理机节点。为了不引起 歧义，本文使用“前端节点”这个术语来指代以上两层 含义。相应的，使用“后端节点”这个术语来指代宿 主机。 ２．１ ＡＰＩ重定向虚拟化方案 ＡＰＩ重定向技术虚拟化方案 Ｊ，是一种应用层接 口虚拟化，是对ＧＰＵ相关的应用程序编程接口在应用 层进行拦截，然后使用重定向方式实现相应的功能，将 完成的结果返回给对应的应用程序。 这种方案是针对ＣＵＤＡ运行时ＡＰＩ（Ｒｕｎｔｉｍｅ ＡＰＩ）进行虚拟化，为前端提供了一个运行时伪库，该 伪库重写了ＣＵＤＡ的运行时ＡＰＩ，将其实现为对后端 的远程调用。前端编写的ＣＵＤＡ程序对ＣＵＤＡ ＡＰＩ的 调用被伪库动态拦截，伪库将ＣＵＤＡ ＡＰＩ的参数与名 称发送到前端通信部分，再由前端通信部分通过网络 发送给后端，后端接受相应参数后调用真正的ＣＵＤＡ 程序进行计算，然后将运行结果返回给前端。结构如 图１所示 ７６ 计算机应用与软件 ２０１７生 前端节点 后端节点 应用程序 ｌｌ 后端通信部分 ＣＵＤＡ运行时伪库 ｝ 后端处理部分 ｛ 前端处理部分 ｝ ＤＡ驱动 ｛ 前端通信部分 ｝ 软件 … … ７ １ ｒ Ｖ 硬件 网络 ＧＰＵ ： 图１ ＡＰＩ重定向虚拟化方案结构 这种方案解耦了上层软件与底层硬件之间的强耦 合关系，不仅可以应用在虚拟机中，也可以为没有配备 ＧＰＵ资源或者配备了缺少支持ＣＵＤＡ的ＧＰＵ资源的 计算机提供一种使用远程节点上的ＧＰＵ的方法。这 两种方案的区别在于前端与后端的通信方式的不同： 在虚拟机中可以利用虚拟机与宿主机之间的高速通信 方式，而在访问远程节点上的ＧＰＵ时只能使用网络 通信。 这种方案不依赖于特定的虚拟化平台，前端节点 可以是一个Ｘｅｎ、ＫＶＭ、Ｖｍｗａｒｅ或者其他任何一台虚 拟机，甚至可以是一台真正的物理机，只要与后端节点 有网络连通，都可以使用这种方案来搭建虚拟化平台。 搭建的方式也十分简单，只需要在前端节点中安装好 运行时伪库（一般与原装库同名），然后在配置文件中 将后端节点的ＩＰ地址正确的写入即可。原本的代码 不需要做任何的修改，只要在编译时将伪库链接到可 执行文件中，源程序不需要做任何的修改就可以运行 在虚拟化平台上。应用程序可以如同使用本地ＧＰＵ 一样方便地使用远程ＧＰＵ，虚拟化平台的复杂的执行 流程对程序员完全透明。 一个典型的ＣＤＵＡ ＡＰＩ的执行过程如图２所示， 不同的ＡＰＩ执行步骤会有差异，但基本流程都是如图 ２所示。图中虚框部分是虚拟化平台所做的处理，一 般包括前端部分与后端部分，分别位于不同的节点上。 前端节点与后端节点之间的交互包括数据传输与函数 调用，前端的所有参数都会被伪库拦截转发给后端，后 端节点接收了参数之后会启动核函数进行运算，最后 将结果返回给前端节点。每一个ＣＵＤＡ ＡＰＩ在执行时 都会涉及上述步骤，执行期间会有大量数据传输，涉及 不同组件、不同节点，数据传输对应用程序的性能会产 生重大影响，是虚拟化方案设计时要解决的重要问题。 图２ ＣＵＤＡ函数在虚拟化平台上的执行流程 ２．２程序在虚拟化平台上的执行过程 图２显示了ＣＵＤＡ函数在虚拟化平台上的执行流 程，与直接在本地上运行时不同，在虚拟化平台上程序 执行时被分解为了前端与后端两个部分，这使得其执 行步骤更加复杂。在没有虚拟化的环境下，一次ＧＰＵ 运算的过程可以简单地分成三个步骤： １）将数据从主机内存拷贝到ＧＰＵ显存。 ２）在ＧＰＵ上启动核函数，开始计算。 ３）将结果由ＧＰＵ显存拷贝回主机内存。 在虚拟化方案中，由于前端节点与后端节点往往 不是在一台机器上，除了必要的数据外，前后端之间还 需要传输大量的参数信息与控制信息，这些都是由虚 拟化平台来处理。 图３是一个求后端节点的ＧＰＵ数目的简单程序， 原程序不需要做任何的修改就可以移植到虚拟化平台 上，并得到正确的结果，只是其执行的流程更加复杂： １）根据配置文件中提供的ＩＰ地址，前端传输相 关的参数到后端，完成ＧＰＵ资源的初始化，并传回句 柄的相关信息。如果无法完成初始化，则报错。 ２）在后端ＧＰＵ上注册代码段（ＦａｔＢｉｎａｒｙ），程序 在本地上运行时，这一步骤会隐式的调用一个ＣＵＤＡ 未公开的ＡＰＩ—ｃｕｄａＲｅｇｉｓｔｅｒＦａｔＢｉｎａｒｙ（）来完成如内存 偏移、空间大小、ＧＰＵ设备编号等相关初始化工作。 该ＡＰＩ是在程序的所有代码之前被调用。在虚拟化环 境下，这一过程由平台来完成，同样对前端编程人员 透明。 ３）将计算数据与参数从前端内存传输到后端节 点的内存，这往往是通往网络传输的。 第１１期 徐恒等：基于虚拟化环境的多ＧＰＵ并行通用计算平台研究 ７７ ４）根据前端传输过来的参数以及控制信息，后端 节点调用ＧＰＵ进行计算。 ５）后端节点将计算结果拷贝回主存，释放资源， 并且完成相关的清理工作，在ＧＰＵ程序的所有代码执 行结束之后，还需要调用另外一个未公开的ＣＵＤＡ ＡＰＩ：一ｃｕｄａＵｎｒｅｇｉｓｔｅｒＦａｔＢｉｎａｒｙ（）来注销相关的信息。 ６）虚拟化平台的后端将计算结果传回给前端 节点。 图３一个简单程序在虚拟化平台上的执行 上述一个简单的求后端节点的ＧＰＵ数目的例子 中就涉及到了两个未公开的ＣＵＤＡ ＡＰＩ。由于ＣＵＤＡ 的封闭性，还有其余未曾公开的ＡＰＩ，这些不曾出现在 官方文档中的ＡＰＩ是实现虚拟化方案的过程中需要处 理的棘手问题。为了保证虚拟化平台的透明性，这些 ＡＰＩ的功能都是由虚拟化平台来实现。 以上是对虚拟化平台的程序执行步骤的简单介 绍。一个简单的程序在虚拟化平台上的运行过程往往 就涉及到了复杂的参数传递与控制信息传递，这些数 据都要通过网络来传输，新增加的软件栈也会导致性 能降低。另外，在一些程序中，需要处理大量的数据， 这些数据在前端／后端之间传输所带来的延时往往会 比ＧＰＵ处理这些数据的时间高的多，这也常常成为程 序的性能瓶颈。 ２．３ 改变通信方式提高效率 在２．１小节论述了论述了虚拟化平台的普适性、 透明性原则，本小节讨论虚拟化过程的效率性。本文 采用的ＡＰＩ重定向技术是在应用层完成了对ＧＰＵ的 虚拟化，这是一种在ＣＵＤＡ的封闭、不了解其内部细节 情况下提出的虚拟化方案 Ｊ，也是目前研究ＧＰＵ通用 计算虚拟化的主流方案。ＡＰＩ重定向方案可以解决 ＣＵＤＡ封闭性问题，然而由于需要拦截／转发、前端处 理、后端处理等步骤来实现平台的功能并对上层程序 员透明，因此带来了额外传输开销与控制开销。新增 加的软件栈也会降低系统的性能＿８ Ｊ，尤其是在采用网 络传输来实现前端／后端的参数传递与数据传输时。 相对于主机内存到ＧＰＵ显存的高速传输，网络传输的 延时往往会高好几个数量级，这部分开销也成了整体 性能的瓶颈，如何通过提高通信的性能也是本文要讨 论的重点。 前端节点与后端节点的通信方式有不同的选择， 当需要访问远程的ＧＰＵ时，采用的是基于ｓｏｃｋｅｔ的传 输方式进行通信，这带来两个问题，一是前端／后端之 间的数据传输延时比较大；二是一个前端节点只能与 一个后端节点进行通信，无法同时对多个ＧＰＵ进行抽 象和映射。本小节将其通信方式改为ＺｅｒｏＭＱ来解决 第一个问题，第二个问题在第４节讨论。由第２．１小 节可以知道，通信部分为ＣＵＤＡ编程提供了有效的底 层通信接口，前端通信部分与后端通信部分的关联十 分紧密，而通信部分与系统的其余部分的耦合性并不 高，在深入研究之后为系统增加了一种新的高效通信 方式：ＺｅｒｏＭＱ通信方式。 ＺｅｒｏＭＱ是一种基于消息队列的多线程网络库，其 对套接字类型的底层细节进行抽象，提供跨越多种传 输协议的套接字。相对于Ｓｏｃｋｅｔ来说ＺｅｒｏＭＱ是一个 更为高效的传输层协议。ＺｅｒｏＭＱ设计之初就是为了 高性能的消息发送而服务的，所以其设计追求简洁高 效。ＺｅｒｏＭＱ是面向“消息”的而非字节流，发送消息 采用异步模式。 实验表明，采用ＺｅｒｏＭＱ通信方式的程序能够比 原来的Ｓｏｃｋｅｔ方式整体性能更高。实验中的后端节点 配置Ｉｎｔｅｒ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ５４５９０ＣＰＵ（３．３ ＧＨｚ）处理 器，４ ＧＢ内存和１００ ＧＢ硬盘，ＧｅＦｏｒｃｅ ＧＴＸ７５０ Ｔｉ ＧＰＵ，Ｕｂｕｎｔｕ １４．０４ ６４位操作系统，ＣＵＤＡ版本为７．５。 前端节点是一台物理机，配置Ｃｅｌｅｒｏｎ（Ｒ）Ｄｕａｌ—Ｃｏｒｅ ＣＰＵ １３０００（１．８ ＧＨｚ）处理器，３ ＧＢ内存和３０ ＧＢ硬 盘，没有ＮＶＩＤＩＡ显卡，也没有安装ＣＵＤＡ程序，Ｕｂｕｎ— ｔｕ １４．０４ ６４位操作系统。前后端之间通过百兆以太网 交换机互联。由于网络环境会影响到实验结果，所以 每组数据都是｝贝４试多次取平均值，实验运行的程序都 是ＣＵＤＡ ＳＤＫ自带的程序。计算性能实验在三类平 台上进行对比，即本地ＧＰＵ计算平台、基于Ｓｏｃｋｅｔ通 ７８ 计算机应用与软件 ２０１７年 信方式的虚拟化计算平台以及基于ＺｅｒｏＭＱ通信方式 的虚拟化计算平台。 时达到临界点，规模吏大的矩阵运算不会使程序的性 能更接近本地机，因为传输开销与控制开销以及额外 的软件栈等是虚拟化无法避免的性能损失 以上实验 结果表明虚拟化平台在处理计算密集型的程序时损失 的性能会相对较少 图５中还显示ｒ另外一个问题： 基于ＺｅｒｏＭＱ方式 基于Ｓｏｃｋｅｔ方式的虚拟化平台之 问的性能差距不再十分明显 这同样足由于程序的计 图４显示的是向量加法的性能实验结果，其中横 坐标表示的是向量长度，纵坐标是运行时问。除＿『运 行时间不同之外，运行结果与本地机上的运行结果没 有差别，说明虚拟化平台不会对程序的正确性有影响。 实验结果表明使用ＺｅｒｏＭＱ通信方式可以提高系统的 整体性能，在这个程序中，可以获得２０％～３５％的性 算比较复杂，需要ＧＰＵ运算的时问大大超过ｒ数据在 能加速。然而与本地运行的程序相比，随着数据量的 加大，不论是哪一种通信方式的虚拟化方案所带来的 性能损失也越来越大。这是因为随着向量规模的增加 需要传输的数据量越多，就有更多的数据和参数需要 在前端／后端之间传递，自然会有更大的传输开销与控 制开销。而数据在ＧＰＵ上计算所增加的时间并不多， 这是因为ＧＰＵ特别适合处理向量加法这种可以并行 的程序，冈此数据规模的加大并不会使ＧＰＵ的运算时 间大幅提高。 图５ 不同平台上矩阵乘法程序的执行结果 图５中横坐标是参加运算的矩阵的阶数，纵坐标 足程序的运行时间。实验结果表明，当矩阵规模越大 时，虚拟化方案的性能反而越接近物理机，当矩阵的规 模为９６０ Ｘ９６０时，程序在基于ＺｅｒｏＭＱ的虚拟化平台 Ｌ的运行时间是在物理机器上运行时间的１．１２倍，此 网络巾传输的时间，通过改变通信方式获得的性能提 升不再明 ，那么为什么依旧选择ＺｅｒｏＭＱ呢？下一 节的多ＧＰＵ虚拟化来讨论这个问题 ３ 多ＧＰＵ虚拟化 多ＧＰＵ平台主要有两种构架，如图６所示。一种 是单机多ＧＰＵ， 一种是多机多ＧＰＵ，即ＧＰＵ集群 在编程方式Ｌ，在单机多ＧＰＵ的环境下ＣＵＤＡ提供了 直接的编程接口，而对于多机多ＧＰＵ的结构ＣＵＤＡ没 有相关的编程接口，需要借助其他工具，如基于ＭＰＩ 与ＣＵＤＡ相结合的方式，要求编程人员显式地采用分 布式ＭＰＩ编程 目前的多ＧＰＵ的处理方案中，一般都 足将两种情｝兄区别对待，运行在单机多ＧＰＵ上的ＣＵ— ＤＡ代码需要进行很大的修改才能移植到多机多ＧＰＵ 的环境上，如何实现 二者在编裎模式Ｅ的统一是本文 讨论的晕点 ． ‘ 图６单机多ＧＰＵ －ｊ多机多ＧＰＵ 在第２节Ｌ｝ 提到的基于Ｓｏｃｋｅｔ方式来实现的单 ＧＰＵ虚拟化方案中，由于Ｓｏｃｋｅｔ只支持一对一的通 第１１期 徐恒等：基于虚拟化环境的多ＧＰＵ并行通用计算平台研究 ７９ 信，一个前端节点只能访问一个远程ＧＰＵ，无法同时调 用集群环境中的多个ＧＰＵ来加速应用程序。因此，在 基于ＺｅｒｏＭＱ通信方式的虚拟化方案除了能够提高效 率外，还实现了另外的功能：ＺｅｒｏＭＱ支持一对多的通 ＧＰＵ资源的分布、数据的传输、冗余与错误处理等都 交给虚拟化平台来处理。这种方式的灵活性极好，对 ＧＰＵ资源的分配只需要修改配置文件即可。 多ＧＰＵ虚拟化平台的优势是可以使用分布式环 境中的其他节点的ＧＰＵ资源，并且理论上没有数目的 信，从而能够同时使用多个远程ＧＰＵ，实现多ＧＰＵ的 虚拟化方案，如图７所示。一个前端节点可以绑定多 个后端节点的ＩＰ地址，从而能够通过ＺｅｒｏＭＱ同时调 用多个后端节点上的ＧＰＵ资源。ＧＰＵ集群中存在多 限制，具体需要使用多少的ＧＰＵ资源取决于程序开发 人员和分布式环境中的ＧＰＵ资源数目。此外由于虚 拟化平台的透明性很好，使用远程ＧＰＵ的方式就如同 个节点，每个节点配备了不同的ＧＰＵ资源，节点之间 通过网络互连。在虚拟化的过程中，通过ＩＰ地址来标 识不同节点的ＧＰＵ，将其映射到一个统一的ＧＰＵ池 中，并且顺序编号为ＧＰＵ０，ＧＰＵ１，…，ＧＰＵｎ等。所有 分布式环境下需要解决的容错性，冗余性等问题都在 虚拟化过程中解决。对于前端节点来说，其能够使用 的ＧＰＵ的最大数目就是这个ＧＰＵ池中的数目。在逻 辑上，前端应用调用这个ＧＰＵ池中的ＧＰＵ的方式和 使用本地ＧＰＵ的方式完全相同，从而将多机多ＧＰＵ 卡的物理环境抽象成了单机多ＧＰＵ卡的逻辑环境，使 得单机多卡的程序可以不用修改或者只做很少的修改 就可以运行在多机多卡的环境下，实现了两个环境编 程模式的统一。 ｒ一～一一～一一～一一一一一一一一一…一一一 亘亘Ｉ￣ｐｕ １ Ｉ 二一 图７ 多ＧＰＵ虚拟化平台的物理结构与逻辑结构 如图７所示，集群中的所有ＧＰＵ资源都由虚拟化 平台来管理，前端需要使用ＧＰＵ资源时，只需要在配 置文件中准确描述后端节点的ＩＰ地址和需要的ＧＰＵ 数目，就可以将相应节点上的ＧＰＵ映射到本地。应用 程序可以像访问本地ＧＰＵ一样调用这些映射来的 ＧＰＵ进行加速。此外当有些程序需要的ＧＰＵ资源超 过了单个节点的能力时，这也是一种很好的解决方案。 程序开发过程中，开发人员只需要专注于ＣＵＤＡ编程， 使用本地ＧＰＵ一样，可以直接通过ＣＵＤＡ提供的接口 方便的调用，可移植性非常好。例如ＣＵＤＡ ＳＤＫ自带 的多ＧＰＵ ｓａｍｐｌｅｓ程序绝大部分都可以直接运行在虚 拟化平台上，不需要修改源码，只需要修改编译时的选 项并重新编译即可，只不过这些程序往往都是以演示 功能为主，计算规模不大，并不能体现出多ＧＰＵ虚拟 化的优势。 在第２节中详细分析了程序在单ＧＰＵ的虚拟化 平台上的执行流程，在多ＧＰＵ的虚拟化环境下程序的 执行流程也是基本如此。此外在进行多ＧＰＵ的并行 计算时，还有数据的分解、运算和合并等步骤，因此会 带来更多的软件栈和控制开销。所以当程序的计算规 模不大时，使用多ＧＰＵ虚拟化平台往往不能得到很好 的结果。第４节的实验结果可以证明，当计算规模比 较大的时，使用多个ＧＰＵ是可以抵消这些开销所带来 的性能损失从而提升程序的执行效率。 ４实验结果与性能分析 ４．１实验环境 实验中的后端节点是两台配置Ｉｎｔｅｒ（Ｒ）Ｃｏｒｅ （ＴＭ）ｉ５－４５９０ＣＰＵ（３．３ ＧＨｚ）处理器，４ ＧＢ内存和 １００ ＧＢ硬盘，ＧｅＦｏｒｃｅ ＧＴＸ７５０ Ｔｉ ＧＰＵ，Ｕｂｕｎｔｕ １６．０４ 和Ｕｂｕｎｔｕ １４．０４ ６４位操作系统，ＣＵＤＡ版本分别为 ６．５和７．５；前端节点是一台物理机，配置Ｃｅｌｅｒｏｎ（Ｒ） Ｄｕａｌ—Ｃｏｒｅ ＣＰＵ ３３０００（１．８ ＧＨｚ）处理器，没有ＮＶＩＤＩＡ 显卡，也没有安装ＣＵＤＡ程序，Ｕｂｕｎｔｕ １４．０４ ６４位操 作系统；前端与后端节点通过百兆以太网互连。 ４．２实验内容 实验运行的程序基于ＣＵＤＡ框架使用ＥＭ（Ｅｘｐｅｃ— ｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）算法在高斯混合模型（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅ１）下进行数据聚类，原程序可以使用单个 节点上的多个ＧＰＵ进行加速，是ＣＬＵＳＴＥＲ￣加 的ＧＰＵ 实现，程序有单节点单ＧＰＵ和单节点多ＧＰＵ两个不 同的执行模式，当探测到节点中的ＧＰＵ数目多于一个 会启用多个线程控制多个ＧＰＵ来加速程序的执 时，８０ 计算机应用与软件 ２０１７血 行，实验使用的数据集是用Ｍａｔｌａｂ生成的所有不同 类型的程序都是在同一个数据集上执行实验中分别 ，续表１ 。ｃｌｕｓｔｅｒ １ｏｏ 系数 １ ￣ｒ２ ￣ｒ３ ７ｒ１ ＣＰＵ ０．４００ ０３９８ ．ＧＰＩ］ ０４０１ ．在前端节点上使用本地ＣＰＵ和通过虚拟化平台使用１ 个、２个远程ＧＰＵ计算同样的输人数据集后端节点配 置了相同类型的ＧＰＵ，只是ＣＵＤＡ版本和操作系统版 本有区别。虚拟化平台为基于ＺｅｒｏＭＱ通信方式的多 ，０３９８ ．０．２０２ ０．４００ ０３９８ ．０２０１ ．０４０２ ．ＧＰＵ虚拟化方案 １２０ 仃２ 仃３ 仃１ ０３９８ ．图８中横轴代表的是初始时ｃｌｕｓｔｅｒ的数目不同 的数目会影响程序的执行时间，所以使用这个参数来 做对比，纵轴表示整个程序运行的时间随着初始 ，０．２０２ ０．４００ ０２０１ ．Ｏ４０１ ．１４０ ７ｒ２ ￣ｒ３ ￣ｒｌ ０３９８ ．０３９８ ．。０．２０２ ０。４ｏ２ Ｏ４ｏｏ ．０２００ ．ｃｌｕｓｔｅｒ的值增加，使用ＣＰＵ处理花费的时间增长更 快，使用ＧＰＵ获得的加速比也越大当初始有２００个 ｃｌｕｓｔｅｒ时使用１个ＧＰＵ比ＣＰＵ获得６．１的加速比而 ，，０４０１ ．１印 ￣ｒ２ ￣ｒ３ ７ｒ１ ０３９９ ．０．１９８ ０．４００ ０３９８ ．０２００ ．使用２个ＧＰＵ时与使用１个ＧＰＵ获得１８５的加速 ．０４０１ ．１８０ 仃２ ￣ｒ３ ￣ｒｌ 比，实验中继续增加ｃｌｕｓｔｅｒ时，获得的加速比并没有继 续增加。 ２００ Ｊ Ｅ０３９８ ．０２０２ ．０２０１ ．０．４００ ０３９８ ．０４０１ ．￣ｒ２ ￣ｒ３ ０．３９７ ０２０２ ．０．２０２ 以上可知，虚拟化平台可以保证程序正确性的情 况下，获得比使用ＣＰＵ时更好的性能只使用两个 ＧＰＵ时，就可以获得十倍的加速比；ＧＰＵ的数目增加 ，时可以获得更大的加速比，但是还未达到线性的加速 比。这是因为在有多个ＧＰＵ时会涉及更多的数据交 换和参数控制，网络传输的延时也会增加新增加的软 件栈也会影响效率，这些是虚拟化所无法避免的开销，。 图８使用不同设备时程序运行的时间 实验中计算得到了许多参数，如均值、协方差等， ４．３实验结论 基于虚拟化的多ＧＰＵ通用计算平台上，原来基于 单机多ＧＰＵ实现的ＧＭＭ程序不需要修改源代码就可 以运行在没有ＮＶＩＤＩＡ显卡的前端节点上。通过调用 两个远程ＧＰＵ就能够获得比使用ＣＰＵ时十倍以上的 加速比，并且只需要修改一些配置文件就可以方便地 增减所使用的ＧＰＵ数目，十分灵活。虽然虚拟化带来 了一定的性能损失，但是可以有效地实现单机多ＧＰＵ 和多机多ＧＰＵ的编程模式统一。 表１中的系数７ｒ实际上是每个ｃｏｍｐｏｎｅｎｔ被选中的概 率，并不指代圆周率，实验中运行的ＧＭＭ程序会得到 三个系数；ＣＰＵ列是使用ＣＰＵ计算出来的系数７ｒ的 值，ＧＰＵ列是使用ＧＰＵ计算出来的系数仃的值。可以 看出，对于同样的输入数据集，对于不同的初始。ｌｕ ． ｔｅｒ，使用ＧＰＵ计算得到的系数与使用ＣＰＵ计算的到 的系数有些许的误差，这是由于实验中使用的ＧＰＵ与 ＣＰＵ处理浮点数据的精度不同以及小数的舍入导致 的，并不是虚拟化平台影响了程序的正确性。 表１ 不同平台上执行得到的ｃｏｍｐｕｎｅｎｔ的系数 ５ 结语 实现了基于虚拟化的多ＧＰＵ通用计算平台，可以 ｃｌｕｓｔｅｒ ６０ 系数 仃１ ７ｒ２ ＣＰＵ ０．４０２ ０．４００ ＧＰＵ ０．４０２ ０．３９８ 十分方便地使用远程ＧＰＵ进行通用计算。能够使用 分布式环境中不同节点上的多个ＧＰＵ加速程序，且不 ７ｒ３ ７ｒ１ ８０ ７ｒ２ ￣ｒ３ ０．１９８ ０．４０２ ０．４００ ０．１９８ ０．２００ Ｏ．４Ｏ２ ０．３９８ ０．２００ 需要对源码做太多的修改。最后在实验中验证了该平 台的有效性。 实验中发现网络性能对于平台的性能有很大的影 （下转第１２９页） 第１１期 杜慧琦等：ＩＥＥＥ１５８８ｖ２时钟同步技术在战术信息系统中的应用 １２９ ［２］Ｅｉｄｓｏｎ Ｊ，Ｋａｎｇ Ｌ．ＩＥＥＥ Ｓｔａｎｄａｒｄ ｆｏｒ ａ Ｐｒｅｃｉｓｉｏｎ Ｃｌｏｃｋ Ｓｙｎ． ｅｈｒｏｎｉｚａｔｉｏｎ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｎｅｔｗｏｒｋｅｄ Ｍｅａｓｕｒｅｍｅｎｔ ａｎｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍｓ［Ｃ］／／ＩＥＥＥ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ Ｓｏｃｉ— ｅｔｙ，２００８． ［３］俞慧春．ＩＥＥＥ１５８８ｖ２时钟特性和应用方案［Ｊ］．信息安全 与技术，２０１５（４）：４４—４５，５１． ［４］徐荣，邹洪强，李允博．分组网络的同步技术［Ｊ］．电信技 术，２００９（４）：９１—９４． ［５］周末．基于ＩＥＥＥ１５８８ｖ２电力系统时间同步的研究与设计 ［Ｄ］．山东：山东大学，２０１４． ［６］陈兴敏，康国钦．ＬＸＩ的精准时间同步触发方式分析［Ｊ］． 电子质量，２００８（４）：１２—１４． ［７］黄治，陈伟，王向群．ＩＥＥＥ１５８８在工业以太网交换机中的 关键应用［Ｊ］．现代电子技术，２０１２（２３）：９０—９３． ［８］汪坤，刘华．ＧＰＯＮ系统１５８８时间同步技术的研究与应用 ［Ｊ］．电子设计工程，２０１５（２０）：５６—５９． ［９］关世友．基于ＩＥＥＥ１５８８协议的ＬＸＩ时间同步的研究与设 计［Ｄ］．广西：桂林电子科技大学，２０１１． ［１Ｏ］张文超．基于以太网交换机的ＩＥＥＥ１５８８ｖ２时钟同步协议 研究与实现［Ｄ］．浙江：杭州电子科技大学，２０１３． （上接第８Ｏ页） 响，如果使用高速网络如ＩｎｆｉｎｉＢａｎｄ将会提高虚拟化 平台的性能，此外，还有ＧＰＵ ＲＭＤＡ技术，多ＧＰＵ使 用时的Ｐ２Ｐ问题等能够提升性能的技术可以应用到虚 拟化平台上。 参考文献 ［１］ Ｄｕａｔｏ Ｊ，Ｐｅｎａ Ａ Ｊ，Ｓｉｌｌａ Ｆ，ｅｔ ａ１．ｒＣＵＤＡ：Ｒｅｄｕｃｉｎｇ ｔｈｅ ｎｕｎ－ ｂｅｒ ｏｆ ＧＰＵ—ｂａｓｅｄ ａｃｃｅｌｅｒａｔｏｒｓ ｉｎ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｌｕｓｔｅｒｓ ［Ｃ］／／Ｈｉｇｈ Ｐｅｒｆｏｍｒａｎｃｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ （ＨＰＣＳ），２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ．ＩＥＥＥ，２０１０：２２４ —２３１． ［２］ Ｓｈｉ Ｌ，Ｃｈｅｎ Ｈ，Ｓｕｎ Ｊ，ｅｔ ａ１．ｖＣＵＤＡ：ＧＰＵ—ａｃｃｅｌｅｒａｔｅｄ ｈｉｇｈ— ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ ｉｎ ｖｉｒｔｕａｌ ｍａｃｈｉｎｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ— ａｃｔｉｏｎｓ ｏｎ Ｃｏｍｐｕｔｅｒｓ，２０１２，６１（６）：８０４—８１６． ［３］ 石林．ＧＰＵ通用计算虚拟化方法研究［Ｄ］．湖南大 学，２０１２． ［４］ Ｇｉｕｎｔａ Ｇ，Ｍｏｎｔｅｌｌａ Ｒ，Ａｇｒｉ１１ｏ Ｇ，ｅｔ ａ１．Ａ ＧＰＧＰＵ ｔｒａｎｓｐａｒｅｎｔ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｃｏｍｐｏｎｅｎｔ ｆｏｒ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ ｃｌｏｕｄｓ［Ｃ］／／Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ． Ｓｐｒｉｎｇｅｒ Ｂｅｒｌｉｎ Ｈｅｉｄｅｌｂｅｒｇ，２０１０：３７９—３９１． ［５］ Ｇｕｐｔａ Ｖ，Ｇａｖｆｉｌｏｖｓｋａ Ａ，Ｓｃｈｗａｎ Ｋ，ｅｔ ａ１．ＧＶｉＭ：ＧＰＵ—ａｃｃｅｌ— ｃｒａｔｅｄ ｖｉｒｔｕａｌ ｍａｃｈｉｎｅｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３ｒｄ ＡＣＭ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｙｓｔｅｍ・－ｌｅｖｅｌ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｆｏｒ Ｈｉｇｈ Ｐｅｒｆｏｒｍ－－ ａｎｃｅ Ｃｏｍｐｕｔｉｎｇ．ＡＣＭ，２００９：１７—２４． ［６］仝伯兵，杨听吉，谢振平，等．ＧＰＵ虚拟化技术及应用研究 ［Ｊ］．软件导刊，２０１５，１４（６）：１５３—１５６． ［７］Ｓｕｚｕｋｉ Ｙ，Ｋａｔｏ Ｓ，Ｙａｍａｄａ Ｈ，ｅｔ ａ１．ＧＰＵｖｍ：ｗｈｙ ｎｏｔ ｖｉｒｔｕａ１． ｉｚｉｎｇ ＧＰＵｓ ａｔ ｔｈｅ ｈｙｐｅｒｖｉｓｏｒ？［Ｃ］／／Ｕｓｅｎｉｘ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｕｓｅｎｉｘ Ｔｅｃｈｎｉｃａｌ ＣｏｎｆｅＦｅｎｃｅ．ＵＳＥＮＩＸ Ａｓｓｏｃｉａｔｉｏｎ，２０１４： １０９—１２０． ［８］Ｌｉｕ Ｍ，Ｌｉ Ｔ，Ｊｉａ Ｎ，ｅｔ ａ１．Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｔｈｅ ｖｉｒｔｕａｌｉｚａｔｉｏｎ “Ｔａｘ”ｏｆ ｓｃａｌｅ－ｏｕｔ ｐａｓｓ—ｔｈｒｏｕｇｈ ＧＰＵｓ ｉｎ ＧａａＳ ｃｌｏｕｄｓ：Ａｎ ｅｍｐｉｒｉｃａｌ ｓｔｕｄｙ［Ｃ］／／ＩＥＥＥ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｈｉｇｈ ＰＥＲＦＯＲＭＡＮＣＥ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ．ＩＥＥＥ，２０１５： ２５９—２７０． ［９］杨经纬，马凯，龙翔．面向集群环境的虚拟化ＧＰＵ计算平 台简［Ｊ］．北京航空航天大学学报，２０１６，４２（１１）：２３４０ —２３４８． ［１０］Ｂｏｕｍａｎ Ｃ Ａ，Ｓｈａｐｉｒｏ Ｍ，Ｎｃｓａ，ｅｔ １ａ．Ｃｌｕｓｔｅｒ：Ａｎ ｕｎｓｕｐｅｒｖｉｓｅｄ ｌａｇｏｒｉｔｈｍ ｆｏｒ ｍｏｄｅｌｉｎｇ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ［Ｊ］．Ｓｏｆｔ Ｍａｎｕａｌ，２００５． ［１１］Ｃａｓｔｅｌｌ６ Ａ，Ｄｕａｔｏ Ｊ，Ｍａｙｏ Ｒ，ｅｔ ａ１．Ｏｎ ｔｈｅ ｕｓｅ ｏｆ ｒｅｍｏｔｅ ＧＰＵｓ ａｎｄ ｌｏｗ－－ｐｏｗｅｒ ｐｒｏｃｅｓｓｏｒｓ ｆｏｒ ｔｈｅ ａｃｃｅｌｅｒａｔｉｏｎ ｏｆ ｓｃｉｅｎ・－ ｔｉｉｆｃ ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］／／Ｔｈｅ Ｆｏｕｒｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｍａｒｔ Ｇｒｉｄｓ，Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ ＩＴ Ｅｎｅｒｇｙ—ａｗａｒｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ＥＮＥＲＧＹ），２０１４：５７—６２． ［１２］Ｓｏｕｒｏｕｒｉ Ｍ，Ｇｉｌｌｂｅｒｇ Ｔ，Ｂａｄｅｎ Ｓ Ｂ，ｅｔ ａ１．Ｅｆｆｅｃｔｉｖｅ ｍｕｈｉ．ＧＰＵ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ＣＵＤＡ ｓｔｒｅａｍｓ ａｎｄ ｔｈｒｅａｄｓ ［Ｃ］／／２０１４ ＵＳＥＮＩＸ Ａｎｎｕａｌ Ｔｅｃｈｎｉｃａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｐａｒａｌｌｅｌ ａｎｄ Ｄｉｓｔｉｒｂｕｔｅｄ Ｓｙｓｔｅｍｓ（ＩＣＰＡＤＳ）．ＩＥＥＥ，２０１４：９８１—９８６． ［１３］Ｇｏｔｔｓｃｈｌａｇ Ｍ，Ｈｉｌｌｅｎｂｒａｎｄ Ｍ，Ｋｅｈｎｅ Ｊ，ｅｔ ａ１．ＬｏＧＶ：Ｌｏｗ—Ｏ— ｖｅｒｈｅａｄ ＧＰＧＰＵ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ［Ｃ］／／ＩＥＥＥ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｉｇｈ ＰＥＲＦＯＲＭＡＮＣＥ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍ— ｍｕｎｉｃａｔｉｏｎｓ＆２０１ ３ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍ— ｂｅｄｄｅｄ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇ．ＩＥＥＥ，２０１４：１７２１ —１７２６． ［１４］Ｙａｎｇ Ｃ Ｔ，Ｌｉｕ Ｊ Ｃ，Ｗａｎｇ Ｈ Ｙ，ｅｔ ａ１．Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ＧＰＵ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｕｓｉｎｇ ＰＣＩ ｐａｓｓ—ｔｈｒｏｕｇｈ ｍｅｃｈａｎｉｓｍ［Ｊ］．Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ，２０１４，６８（１）：１８３—２１３． ［１５］张玉洁．基于多ＧＰＧＰＵ并行计算的虚拟化技术研究 ［Ｄ］．南京航空航天大学，２０１５． ［１６］闵芳，张志先，张玉洁．虚拟化环境下多ＧＰＵ并行计算研 究［Ｊ］．微电子学与计算机，２０１６，３３（３）：６９—７５． ［１７］张玉洁，吕相文，张云洲．ＧＰＵ虚拟化环境下的数据通信 策略研究【Ｊ］．计算机技术与发展，２０１５，２５（８）：２４—２８． ［１８］张云洲．虚拟化环境下的ＧＰＵ通用计算关键技术研究 ［Ｄ］．南京航空航天大学，２０１４． ［１９］王刚，唐杰，武港山．基于多ＧＰＵ集群的编程框架［Ｊ］．计 算机技术与发展，２０１４，２４（１）：９—１３． ［２０］陈志佳，朱元昌，邸彦强，等．一种改进的ＧＰＵ虚拟化实 施方法［Ｊ］．计算机工程与科学，２０１５，３７（５）：９０１—９０６．