高性能计算系统在车辆研发企业中的应用研究-以某汽车研究院为例
中文摘要
摘要：
随着计算机辅助工程（CAE）在汽车研发企业中不断深入应用，高性能计算系统作为汽车研发企业的重要工作平台，在加速车辆研发效率、提高车辆实验验证准确性发挥着重要作用。由于高性能计算系统的复杂性及国内车企高性能计算系统应用成熟度低，导致车企高性能计算系统体系性差，计算资源分散，并行计算利用率不高的问题，本文通过查找文献、实地调研及辅以必要的实验论证等方法对某研究院的高性能计算系统的应用研究，系统地提出了车辆研发企业如何结何企业自身特点，建设一套具有适应性强、扩展能力高、具有一定经济性的主流的高性能计算系统。可作为车企研发部门建设高性能计算系统系统的指引及参考材料，提高高性能计算系统的建设成功率。本文针对研发车企中典型的专业部门如碰撞安全，流体，结构耐久与NVH使用特点，结合车型研发阶段的计算需求，进行基础性高性能计算平台资源对应提供，促进高性能计算应用的利用率，并降低系统及数据使用风险，降低计算资源使用成本。
关键词： 计算机辅助工程，高性能计算，并行计算
ABSTRACT
Title: The research of High Performance Computing in The Vehicle development company.
ABSTRACT: Recently these years, The Computer Assist Engineer(CAE) is mostly and deeply used by the vehicle manufactory and development. The High Performance Computing(HPC) system is the vehicle development company's important technical platform and tools, The HPC improved the test result quickly and correct than before that way is no HPC computing. but the HPC is not good enough to use by the native vehicle development company in China. The reason is the HPC is a complex and difficult technical , the vehicle develop company' s in China used it only few years recently. The HPC of technical human resource is lake and most of them is not good at the HPC technical is another reason. How to improve the HPC system to use in these company, how to build a suit and fit the HPC system in these company, how to reduce the cost of use HPC system in these company . The research of author read plenty of relation books and documents about the HPC system, talked with them of the vehicle company's engineers use HPC system, do the HPC system case tests in company. Talked with the engineers of Compute company those build the HPC system. The research try to tell the users of HPC system that the HPC is can be build good fit and suit when you understand the HPC's necessary knowledge and technical, you should understand the require of work to the HPC system. The typical kind of work is CRASH, CFD, NVH, STRUCTRUE in the vehicle development company, those of them own their special quire to use the HPC system. The Crash and CFD work need more compute node to parallel computing, the NVH and STRUCTURE work need big memory and more big storage. How to choice the HPC system structure, how to decided the computer node 's number, how to choice the storage type, how to choice the best fit computer, the research will supply some advice when you do these choice.
KEYWORDS：CAE，HPC，Parallel Computing
目录
中文摘要 i
ABSTRACT ii
1 绪论 1
1.1 选题背景 1
1.1.1 CAE技术发展与应用 2
1.1.2 高性能计算系统在车企CAE中的应用 2
1.2 选题的目的与意义 3
1.3 国内外研究现状 4
1.3.1 国外研究现状 4
1.3.2 国内研究现状 4
1.3.3 国内差距原因分析 4
1.3.4 小结 5
1.4 研究内容 5
1.5 论文结构 6
2 研发车企的CAE特点 7
2.1 CAE技术简介 7
2.2 研发车企CAE技术及计算特点 7
2.2.1 隐式结构分析应用程序的需求特点 9
2.2.2 显式结构分析应用程序的需求特点 9
2.2.3 计算流体力学应用程序的需求特点 9
3 研发车企的高性能计算系统简介 11
3.1 高性能计算系统介绍 11
3.1.1 企业用高性能计算系统主流架构 11
3.1.2 高性能计算系统在研发车企中的应用 13
3.2 研发车企高性能计算系统特点 13
3.2.1 系统规模 13
3.2.2 计算特点 13
3.2.3 存储特点 14
3.2.4 经济性要求 14
3.2.5 使用特点 14
4 研发车企高算系统建设及实施 15
4.1 高算系统建设过程概述 15
4.1.1 涉及的因素 15
4.1.2 通常过程 16
4.2 高算系统建设内容 16
4.2.1 业务需求收集与整理 16
4.2.2 高算系统建设目标确立 17
4.2.3 业务需求的评审 18
4.3 高算系统方案选择 19
4.3.1 架构选择 19
4.3.2 节点配置 20
4.3.3 存储及并行文件系统配置 22
4.3.4 计算网络配置 23
4.3.5 操作系统选择 24
4.3.6 集群系统部署及管理选择 24
4.3.7 调度管理系统选择 25
4.4 高算系统实施 26
4.4.1 高算实施环境 26
4.4.2 高算专业软件收集 26
4.4.3 基础软硬件安装 27
4.4.4 专业软件集成 27
4.5 高算系统评测 28
4.5.1 性能评测项 28
4.5.2 稳定性评测项 29
4.5.3 用户体验 30
4.5.4 试运行 30
5 高算系统维护及系统扩展 31
5.1 高算系统维护 31
5.1.1 系统备份 31
5.1.2 用户管理 32
5.1.3 存储管理 32
5.1.4 故障排除 32
5.1.5 运行监控 33
5.2 高算系统扩展 33
5.2.1 扩展目标 34
5.2.2 扩展方案 34
6 结论 35
7 参考文献 36
8 附录A 37
图表目录
图 2 1CAE工具在整车开发中的应用 7
图 2 2宝马公司仿真数据管理流程 8
图 3 1惠普公司高算系统架构图 12
图 3 2高性能计算中心系统拓扑图 12
图 4 1某汽车研究院高算系统架构图 20
图 4 2 INFINIBAND性能对比图 23
图 4 3某汽车研究院HPL效率 29
图 5 1某汽车研究院高算系统运行监控图（ganglia） 33
表 4 1某汽车研究院CAE软件使用现状 16
表 4 2某汽车研究院CAE高性能计算需求表 17
表 4 3某汽车研究院用户高算系统建设目标 18
表 4 4某汽车研究院确立的高算系统建设目标 18
表 4 5某汽车研究院高算系统自建与租用对比 19
表 4 6集群管理系统授权模式 24
表 4 7集群管理系统对Linux系统发行版本支持 25
表 4 8集群管理系统性能对比 25
表 4 9高算系统基础软件清单 27
表 4 10某汽车研究院高算专业软件清单 28
表 4 11常用的性能评价方法 28
表 5 1高算系统备份策略 32
1
绪论
高性能计算系统在国内自主研发车企中得到不断深入的应用，其已成为车企提高研发效率的重要工作平台及工具，本文通过对国内车企并重点结合本单位的高算系统实际情况进行调研并查阅相关文献，发现高算系统在国内车企行业中存在着系统建设、使用维护、升级更新等均存在着缺少系统性指导，高算系统无标准化的参考内容，车企内部高算用户及维护人员对高算平台认知不足，导致高算系统的建设、使用、维护、升级存在着适用性不良，系统的经济性不理想，建设及投入使用周期长，甚致导致高算平台建设失败的案例也屡有发生。本文通过实地调研及查阅相关文献并结合工作中的总结，力图系统性的展现高算系统的组成，使用维护，升级过程中要点。为车企高算用户提供高算建设参考依据，减少系统建设的盲目性及使用中随意性，提高系统建设使用的规范性，完善国内车企高算系统建设及使用操作性指导内容，增强广大用户对车企高算系统的全面性的认识。
1.1选题背景
伴随着计算机技术的高速发展，计算机的应用已深入到人们的生活与工作中，作为社会生产力的重要单位各类型的企业把计算机技术引入到生产、研发、管理等工作内容中，并发挥了极大的作用，夸张地说，发展至今没有使用计算机的企业基本不存在，计算机应用水平的高低同时也成为了衡量一个企业管理水平及竞争能力的评价指标。作为经济组成的重要产业汽车制造业，竞争极为激烈，企业生产及研发能力的高低可以说决定了一个企业将来生存空间。计算机技术的高速发展，计算机辅助工程（CAE）在车企不断深入应用并成熟，车企的研发效率在飞速提升，其中高性能计算作为车企CAE仿真应用的一个典型应用也得了车企的认可与推广。高性能计算系统在加速车企实验认证效率，降低实验成本，实验结果多次复用等方面较传统验证方法相比具有极大的优越性，因此加速并扩大了车企对高算系统应用范围。由于我国车企对高性能计算应用时间较短，高算系统本身也是一门极为复杂的多学科集成技术，高算系统在国内也未形成适用的规范，导致高算系统在国内车企建设、使用、维护、升级均对用户构成不小的挑战。
一、文献综述
伴随着计算机技术的高速发展，计算机的应用已深入到人们的生活与工作中，作为社会生产力的重要单位各类型的企业把计算机技术引入到生产、研发、管理等工作内容中，并发挥了极大的作用，夸张地说，发展至今没有使用计算机的企业基本不存在，计算机应用水平的高低同时也成为了衡量一个企业管理水平及竞争能力的评价指标。作为经济组成的重要产业汽车制造业，竞争极为激烈，企业生产及研发能力的高低可以说决定了一个企业将来生存空间。
（一）、CAE技术发展与应用
对于车辆研发企业，加速研发效率，加强研发能力成为企业关心的问题。“在20世纪60年代以前，汽车噪声与振动的改进基本上基于试验和简单的计算，60年代后，计算机逐步被应用到汽车领域，首先用于结构分析，有限元被用于计算汽车部件的模态和响应。到了70年代，随着计算机容量和计算速度的飞速发展，有限元网格可以划分地更细，计算精度达到相当高的水平。”计算机技术及数值分析理论的不断发展实践，结合计算机技术和工程分析技术的形成的新技术CAE（计算机仿真技术）形成并得到了充分的发展。在当代CAE技术的应用几乎贯穿了汽车研发设计的全过程，在车辆研发过程中发挥着重要角色。汽车产品开发一般分四个阶段——筹划阶段、概念设计和可行性研究阶段、产品设计和原型车确认阶段、定型生产阶段， CAE 技术的应用在产品开发的后三个阶段起着十分重要的作用。在传统的产品开发、设计中，有很多问题在设计阶段不能够被精确地分析，所以在确认阶段必然需要进行“设计→试制→试验→修改→再试制→再试验”的反复，浪费了大量资金和研发时间。随着CAE技术投入使用，其经济效益是相当可观。“统计结果表明，应用 CAE 技术后，开发期的费用占开发成本的比例从80%～90%下降到 8%～12%。举例来说，美国福特汽车公司2000年应用CAE 技术取得的成果是：新车型开发周期从36个月降低到12～18个月；开发后期设计修改率减少50%；原型车制造和试验成本减少50%；投资收益提高50%。”CAE技术的使用离不开计算机应用，随着对CAE技术精度的要求不断提高，对用于CAE的计算机性能要求也在不断提高，部分CAE分析工作在单台计算机上的逐步无法满足工作需要，如用于结构安全的碰撞仿真精度要求不断提高，计算量随之增大，此时单台计算机性能将大大影响仿真工作效率，用于CAE的高性能计算系统应运而生。高性能计算系统作为计算机仿真技术（CAE）的重要组成及基础工作平台，其工作能力成为CAE仿真能力的一个重要支撑，并在一定程度决定了CAE仿真能力。
（二）、高性能计算系统介绍
高性能计算也有称为并行计算，“是指在并行机上，将一个计算问题分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解，或者求解大规模应用问题的目的。”高性能计算系统是指通常使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单个计算资源操作）的计算系统和环境。高性能计算开始于20世纪70年代，至90年代体系统结构框架趋于统一。根据1966年美国M.J.Flynn教授提出的根据指令流和数据流对计算机系统分类方法，我们目前使用较多的高性能计算系统是单指令流多数据流计算机SIMD（Signle Instruction Stream Multiple Data Stream）及多指令多数据流计算机MIMD（Multiple Instruction Stream Multiple Data Stream）。
目前在企业中流行的高性能计算系统主要为计算机集群系统，主要组成部分为计算节点、管理节点、登录节点、IO节点、计算网络、管理网络、存储网络、共享存储、并行文件系统、集群管理及监控系统、作业调度系统、操作系统等。主要组成部分的特点如下：
1)计算节点是以高性能计算机作为主体，该类计算机主要用来进行大规模的并行计算，通常采用高主频的CPU、大容量内存、高速的本地磁盘及高速网络接口，根据CAE业务的要求进行相应选择CPU类型，通常有IBM POWER处理器、INTEL至强处理器、AMD的处理器；基于CAE主流软件兼容性的要求及CPU的性价比，目前主要选择为INTEL（X86指令）的至强处理器；另随着GPU并行计算的引入，为高性能计算平台增添了更大的计算效能。
2)通讯网络分为计算网络、管理网络、存储网络三类。计算网络作为计算节点之间通讯工作载体，采用专用的高速互联网络作为计算工作网络，通常使用INFIBAND或万兆以太网作为计算网络，要求是高带库低延迟，通常算题的并行规模越大，对计算网络的要求也越为苛刻，这种情况下通常要采用INFINBAND专用网络（56GB及以上带宽），最近INTEL推出OMNI-PATH（100GB带宽）计算网络也慢慢得到了推广应用；管理网络为各类型功能节点、系统用户提供接入及管理功能，通常采用千兆以太网网络。存储网络为IO节点与存储之间的网络，为专用网络。
3)并行文件系统及并行存储用于计算数据存储，对于共享存储的要求通常为高速稳定可靠及大容量，以确保数据快速读取及写入，并有效保障数据存放安全，通常采用SAN结构存储系统，随着INFIBAND存储系统的出现，在高性能计算系统中也得到快速推广应用；固态盘由于其优越的IO性能，在并行计算的存储中也被引入使用。并行文件系统为各计算节点提供有效的并行数据读写，对于跨节点高并发的算题其性能及稳定性对计算算题影响较大，对于小型集群系统采用NFS系统；对于大型集群系统则要选择专业的并行文件系统，如IBM的GPFS或intel的luster等。
4)软件系统主要包括操作系统、集群管理系统、集群监控系统、作业调度系统、并行文件系统、并行函数库等，另还有用于CAE业务的各类型专业软件及相应的License。
以上当今企业主流的高性能计算集群系统，由于其建设难度相对较低、扩展性及维护性好得到了企业广泛使用。
（三）、国内外高性能计算系统的应用现状
当前高性能计算应用在辆研发企业中均有不同程度的应用，其中国外发达国家的企业由于起步较早，投入较大在这方面的应用研究更为成熟，规模更大；国外大汽车公司经过几十年时间的经验积累，形成了实用的结构设计数据库、设计改变记录和设计规范(设计指导书)，日益广泛应用的CAE技术以及CAE HPC平台，有效地帮助和指导企业中的设计师进行汽车结构没计、耐撞性没计、耐疲劳以及轻量化没计。 国内企业由于在高性能计算平台建设方面起步晚，投入规模较小，导致高性能计算系统的建设系统性不足，主要突出问题是系统架构、系统选型、建设时间长、规划差、后期维护难等问题。
高性能计算系统的专业性较强，作为该系统的用户即车企中CAE工程师们掌握了相关的CAE专业软件的工作能力，但对于高性能计算系统了解较少，以致于车企在高性能计算系统的使用需求不明确、建设目标不明确；车企的IT工程师及IT厂商由于对车企CAE业务的特点不甚了解，用户输入的需求又不明确，无法进行针对性的系统架构及选型设计，只得采用高成本确保部分指标符合需要。正是由于高性能计算系统在选型、实施、维护中缺少参考依据，并导致了系统投资较大，针对性不强，后期缺少系统扩展关联性，系统在不断地扩展过程中形成一个个独立的孤岛。
（四）、参考文献：
[1][澳] Jiyuan Tu Guan Heng Yeoh ，[美] Chaoqun Liu，王晓冬译 .计算流体力学-从实践学习[J]东北大学出版社，2014，7-8
[2]刘显臣.汽车NVH综合技术[J]机械工业出版社，2014
[3]张云泉.袁良.并行计算:模型与算法[J]机械工业出版社，2016
[4]HPC在工业应用上的未来展望.http://www.csdn.net/article/2015-09-28/2825809
[5]汽车开发中CAE技术应用的现状和发展. http://wenku.baidu.com/view/f15f8f07eff9aef8941e066c.html
[6]第三届中国CAE软件自主研发-引领工业创新论坛 大会闭幕 http://news.simwe.com/2016/cae_1020/6336.html
二、选题的目的和意义
针对国内车企高性能计算系统的CAE专业用户还是系统维护的IT工程师对高性能计算系统认识不足，且没有完整的针对性的指导性资料进行参考，本选题的目的主要是丰富并完善当前国内车企CAE业务对高性能计算系统认识，介绍当前主流的高性能计算平台特点、发展趋势，为车企高性能计算系统的规划、系统建设、运行维护、系统扩展提供有效的指导及帮助。
本课题将通过系统介绍典型高性能计算系统特点，车企CAE业务对高性能计算系统的需求，结合车企CAE业务特点，进行针对性地高性能计算系统需求与系统设计，为车企CAE业务选择高性能计算系统提供参考依据，减少系统建设的盲目性、无效性，并在高性能计算系统在使用过程中的维护管理，系统扩展提供指导。
三、研究方案
（一）、课题采用的理论基础主要为CAE仿真技术、计算机系统，IT运维，业务需求分析与解决。
（二）、研究方法主要为：文献法、调查访谈法、实验法等。
（三）、研究步骤
通过查阅相关文献，了解高性能计算的发展历程，系统特点，了解当前高性能计算系统整体的应用状况，并对车企CAE业务的高性能计算资料进行针对性深度查阅，以掌握当前高性能计算在车企的CAE业务的中应用模式及规模、发展趋势。
通过对标企业的高性能计算系统的样本调研，结合所调研企业的业务特点进行分析，以便掌握国内车企当前高性能计算系统的共性及发展趋势，并了解车企在高性能计算系统使用中的维护内容。
结合本企业对高性能系统的建设过程及现存问题，通过高性能计算系统在本企业应用案例的剖析，进而提取高性能计算系统建设及维护要点。
预期成果（效果）
通过本课题的深入研究，为车辆研发企业在进行CAE仿真专业的高性能计算系统选择提供有意义的指导，便于企业在高性能计算系统在高性能系统的规划、系统的选型、系统实施、日常使用维护、后期系统的扩展提供参考依据，从而提高企业在高性能系统建设的针对性，减少车企在高性能计算系统的投入上的盲目性，提供高性能计算使用过程中的规范性，从而实现企业在高性能计算系统的投入产出的有效性，扩大高性能计算系统的建设的经济性、业务有效性及运行稳定性。
