计算流体力学高性能服务器方案

Ansys Fluent并行集群
OpenFOAM ，CFX

流体力学领域解决方案

1.1. 计算需求

随着CFD技术的迅猛发展及其在军、民飞行器气动力设计中的广泛应用，预测给定外形绕流的无粘CFD流场技术已非常成熟并成功应用于先进战斗机的全机模拟中。一个典型的例子是美国的F-22飞机在试飞时出现垂尾抖振现象，风洞试验研究未能准确确定其产生的根源，而CFD却准确预测出这是由于进气道产生的第二个分离涡拖出后扫到了垂尾造成的抖振，进而使设计人员能据此采取相应措施予以解

决。

CFD算法在1970～1985年期间发展迅速，之后发展相对平缓，特别是工程应用进展比较缓慢，仅仅是在提高计算解的速度上有了一定改进。改善CFD算法不仅要求提高计算速度还需要增加计算精度，从CFD发展历史看，改善计算精度往往是以成倍增加计算时间为代价的。因此，必须均衡发展，提高计算精度而不增加时间是未来CFD算法的挑战。

CFD发展的最终目的是不用进行昂贵的地面试验和飞行试验就能验证新的技术或新的飞机概念，能够成为设计师在经济可承受性范围内精确预测气动力、力矩和载荷的可靠工具。达到这一能力的主要障碍是对黏流流场物理现象的模拟能力，尤其是精确预测流动分离点和转捩过程以及湍流流动。

由于现代飞机涉及多学科的综合，一些复杂的干扰现象根本无法用CFD来模拟，所以CFD难以取代风洞的作用，但对于衍生型飞机设计，CFD则可以显著降低风洞试验小时。

由于CFD是一种典型的浮点计算密集型和内存密集型应用，其对高性能计算

机的要求主要有：

1）具有很强的计算能力，尤其是浮点运算能力；

2）有较大容量的内存以使前处理和求解时数据能完全驻留在物理内存中，经验表明，一般每个CPU至少分配2GB内存；

3）要求具有支持高速、低延迟的通讯网络。一般而言，100个节点以上的CFD集群要求采用性能更好的Infiband互连网络，以满足节点之间大量频繁的通讯要求。

1.2.解决方案

高性能集群由若干台高性能节点机、高速计算网络连接到一起组成，并通过监控系统和一组集群管理软件对其进行有序管理。集群的基本体系结构如图所示，主要包括节点、网络、存储、监管和软件等几个部分。根据用户对计算规模需求的不同，可以对节点、网络和存储等进行量身定制。

1.2.1. 节点机

节点机主要包括三类节点：计算节点、管理/登入节点和IO节点。

计算节点要求：

（1）有很强的计算能力，对CFD而言特别是浮点运算能力。

（2）有适量的内存以使前处理和求解时数据能完全驻留在物理内存中。经验表明，一般每个CPU至少分配1GB内存。

（3）支持高速、低延迟的通讯网络

针对以上要求，我们推荐计算节点采用双路英特尔至强处理器的LZ-2028SFPR2000高密度刀片系统，这两种系统都具有极高的性能，非常适合用于构建高性能集群系统。两个系列的处理器都更注重大内存容量支持和高带宽内存访问。同时在能耗控制方面也做了相当多的优化，可最大限度的降低TCO。

IO节点

IO节点由存储设备、NFS文件系统等组成。IO节点作为NFS文件系统主节点，外挂磁盘阵列或者连接其它存储设备，负责文件的I/O操作。其它节点包括计算节点和管理登入节点访问存储设备的请求都要通过I/O节点完成。

管理/登录节点

管理/登入节点是外部设备和集群系统之间连接的桥梁，任何用户和系统的管理员都只能通过管理/登入节点才可能登陆到节点机子系统上，事实上，管理/登入节点是一个多种身份于一身的节点，它具有登入、管理和作业提交等功能。

1.2.2. 网络

网络系统特别是计算网络的性能很大程度上影响着整个系统的性能。由于并行计算时的数据通讯和NFS文件系统的数据传递对网络的要求较高，为了管理、监控等操作不对计算通讯和文件IO操作产生任何干扰，本方案设计了两套网络系统，实现双网分离、专网专用，保证了系统的高效性。同时，两套网络又起着相互备份的功能，当其中一套网络由于某种故障瘫痪时，另一套网络就会担负起其功能，提高了系统的可靠性。

两套网络包括计算网络和管理网络。计算网络宜采用高速的互连网络，目前可选择Infiniband。管理网络对则使用千兆以太网。

对于较大规模的集群系统，还可单独设置数据传输网络，将计算过程中的数据传输与个节点之间的通讯分离开，避免相互干扰。这对于非稳态、有大量中间数据需要保存的CFD应用而言尤其重要。数据传输网络一般采用千兆以太网，根据需要还可以在IO节点上进行双网卡绑定以提高数据传输带宽。

1.2.3. 存储

目前根据应用规模的不同，存储的解决方案有三种选择：直连式存储DAS、网络接入存储NAS和存储区域网络SAN。DAS主要适合于构建小型存储系统，NAS适合于投资规模不大的部门级存储，而SAN造价昂贵，性能突出，适合于企业级、要求扩展能力强的存储。

存储服务器方式的系统简单易维护，系统由I/O节点、磁盘阵列和NFS文件系统等组成。为了保证性能，可单独设置I/O节点（也可与管理/登入节点合并以节省投资），所有计算节点通过NFS文件系统和I/O节点，即可象访问本地文件一样访问保存在存储设备上的数据。