常州大学
设为首页  |  加入收藏  |  网站地图
高性能实验室
站内搜索:
 首页  实验室简介  支撑项目  服务软件  团队建设  成果展示  资源下载  关于我们 
当前位置: 首页 > 它山之石 > 正文
HPC应用的发展趋势--对计算机性能的更高更全面要求
 

当前高性能技算领域存在以下趋势: 

一、应用规模迅速扩大 

近年来,随着研究的深入和竞争的加剧,各个领域越来越多地使用模拟的方法来解决科研和生产中的实际问题。模拟的模型越来越大、计算的精度越来越高、对超级计算机性能要求也越来越高。这一增长过程是反复循环、周而复始的。许多领域的HPC应用不仅规模越来越大,而且往往必须在规定的时间内完成任务,否则就失去了计算的价值(如天气预报、急性传染病防治等),甚至造成极其严重的灾难性影响(如核燃料储存、各种灾害的预报等)。这一切都对计算机资源提出了越来越高的要求。事实上,只要人类一天不停止发展、对客观世界研究的深度和广度将是永无极限的、对超级计算机系统的需求也是永无止境的。而发展节奏的加快、竞争的加剧要求高超级计算机系统的性能以更快的速度提高、来满足急剧增长的需求。 

二、人类数据资源爆炸式增长 

Internet的发展和电子商务的普及是数据中心时代的催生婆,64位高性能技术计算和多媒体技术也起了重要的推波助澜的作用,促使全人类所占有的数据资源以空前的速度爆炸性地增长。计算和数据处理把原始数据变成有用的信息,技术越发展数据的利用率和深度也越高,数据本身的价值也以更快的速度提高。 

随着伴随着以上两个趋势,对计算机系统的计算能力、系统带宽、内存容量和I/O吞吐能力及应用软件的开发技术都提出了更高的全要求,而不再仅仅是限于对单一的计算能力的要求。 

高性能和高经济效益相结合 

在当前许多HPC应用领域,一方面,越来越多地希望利用半导体和计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究,提高科学研究水平、厂商市场竞争力以至国家的综合国力。另一方面,人们也要求利用工业标准芯片和Linux等开放性的技术降低投资、加速开发,在规定经费预算和时间框架内完成规模越来越大的计算任务。高性能和高经济效益相结合已经成为HPC领域最引人注目的发展趋势。 

向通用化方向发展 

高性能计算技术对推动经济发展、促进科技进步、提高国家的综合实力有着不可替代的重要作用。随着互联网的迅猛发展,高性能计算也将更多涉足于商业超级计算领域,并开始渗透到人类生活的各个方面,变成许多行业通用的工具。 

过去人们一般把计算机应用分为科学计算、信息处理和自动控制等类型。其中以科学计算为主的称为高性能技术计算(HPTC)应用,而把以信息处理为主的应用统称企业应用。此类应用系统最初称为管理信息系统(MIS)、以后演变为生产资源规划(MRP-II)、企业资源规划(ERP)、计算机集成制造系统(CMIS)和决策支持系统(DSS)等等。早期的企业应用与HPC应用有很大的差别,使用的算法比较简单、数据量也不大,对计算机系统的主要要求是能够支持大量用户(包括网上用户)进行事务处理如信息输入、查询和统计等。而对于计算能力、存储容量往往要求不高。因此,超级计算机主要应用于高性能技术计算、很少应用企业信息处理。当前,人类正在从工业化社会进入信息社会,技术的持续创新、市场需求的瞬息万变、竞争空间的迅速扩大,要求企业采用Internet、电子商务、电子商务企业等现代化手段,来适应时代的发展对HPC技术和应用产生了巨大的影响。 

加强并行计算研究和推广应用 

高性能计算系统的开发一般分为5个层次:基本器件和互联网络;并行计算机系统架构和互联拓扑设计;操作系统;并行软件开发环境;应用软件和解决方案开发。其中,前两个层次主要涉及硬件,第3和第4层主要涉及系统和基础软件,第5层是应用层,是一个综合性很强的层次。这5个层次的发展目前是极不平衡的,突出的表现是软件和应用远远落后于硬件,软件和应用已经成为HPC技术发展的主要障碍。为了充分发挥高性能计算机的作用,必须开展并行计算研究,通过使高性能计算机各个部件尽可能并行工作,提高速度和效率。当今并行计算的研究主要有3个组成部分:并行算法研究、并行软件设计和并行应用开发,而针对落后的现实、加强并行计算的研究已经成为推动HPC发展关键和核心。 

与云计算相结合的高性能计算云 

对高性能计算(HPC)而言,云计算并不是一个新的概念。事实上,已经发展近30年的超级计算中心也是一种早期的云计算模式:昂贵的计算资源集中部署,多个领域的用户通过互联网远程使用计算服务并依据使用量支付费用。 

伴随着高性能计算性能的不断提升和系统的日益庞大,单一计算平台与不同应用多样化需求的矛盾也日益突出,同时后期部署、管理、能耗、散热等成本也不断提高,导致实际的计算成本居高不下,单纯的CPU利用率已不能用来作为衡量高性能计算中心服务水平和效益的惟一指标。 

云计算,作为一种新型的计算模式,可以将应用、数据和IT资源以服务的方式通过网络提供给用户使用,在提供高性能计算用户所需的自主性和安全支持以外,实现更大的资源灵活性和更丰富的使用计量方式,成为许多用户优先考虑的解决方案。采用云计算的基础架构,高性能计算中心可以自动地管理和动态地分配、部署、配置、重新配置以及回收资源,也可以自动部署多种应用平台,从而根据不同需求实现快速高效、动态优化的资源分配。利用云计算的特性,高性能计算中心既可以为传统的计算服务提供更加灵活扩展的计算资源,也可以为各种不同项目提供动态使用的“专属系统”。 

对于计算密集型和I/O密集型的高性能计算应用,传统的云计算解决方案面临挑战,其主要的障碍包括: 

1.I/O瓶颈 

2.数据瓶颈 

3.管理瓶颈 

传统的高性能计算,其资源一般相对固定,通常通过资源和负载管理软件来提高资源的利用率,在云计算环境中,资源上限远大于一般应用的需求相比,如何有效地结合负载管理和资源配送,提高总体系统利用率和用户服务质量,同时满足特定应用高峰时间的需求,是构建高性能计算云所必需考虑的问题。 

高性能计算云包含以下关键组成技术: 

1.统一的用户和服务管理平台 

需要提供统一的云计算服务管理门户,进行整体资源管理和服务流程管理,使平台管理员和用户可以进行自助式的各项服务管理操作,包括资源池的管理,资源管理和监控,用户服务的开通、停止、变更,用户管理,资源使用情况统计,服务申请及状态查询,能耗与节能策略管理、操作系统镜像和软件包管理等等。 

根据高性能计算应用的特点,系统应提供不同的应用模板来支持不同分布式应用(如Hadoop,MPI集群)的快速部署,以及服务器之间的关联关系,如IP地址的指向,端口的匹配等等。 

2.统一资源池管理 

在传统的计算资源管理模式中,管理员需要考虑每一个计算资源、每一个应用系统的配置情况,需要考虑每一个应用系统所需要的各种计算资源,包括服务器、存储、网络、应用系统等等,这种管理模式的管理成本高,也让管理员的工作变得非常复杂,需要人为考虑和干预的过程非常多,容易造成管理上的失误。同时,管理员很难对数据中心内的计算资源和应用系统进行全盘考虑,不利于数据中心的整体优化。 

云在对计算资源的管理模式上采用池化的办法,通过服务器、存储、网络等虚拟化技术将计算资源按照不同的标准组织成不同的资源池。在一个资源池内,可以包括服务器、存储空间、网络端口等。这样,在一个资源池中我们就可以为某一个应用系统提供所需要的所有资源。通过云计算的自动化功能,云计算的管理员可以方便、快速地在资源池中定制化地选择应用系统需要的计算资源配置,并在使用结束后进行快速回收。 

3.支持物理机和虚拟机环境的动态部署引擎 

为了提供计算所必需的高性能,需要同时提供包括虚拟机和物理机环境的快速、动态部署功能,并支持专用的高性能、低时延计算网络,如Infiniband、万兆以太网等。 

在整体方案中,通常可以划分一部分资源进行虚拟化,从而提供一个共享的开发测试环境给用户,便于用户在正式提交作业之前进行程序的调试和试运行。在一些具体的应用场景上,针对一些对性能要求很高的计算任务,虚拟化带来的性能开销不可忽略,因此可以考虑在不虚拟化的情况下进行资源的分配和管理。 

4.灵活的服务接口 

最终用户可以通过云计算管理平台获取自己项目独占的计算资源,包括硬件、应用软件和操作系统等,用户可以在计算资源上按照自己的需求进行个性化调整。另外,用户也可以通过云计算管理平台部署的计算资源上的作业管理系统,以排队的方式和其他用户共享计算资源,来进行作业的运算。 

 

关闭窗口
高性能计算--HPCC--HPCC vs Hadoop...
高性能计算机技术之一CUDA未来在金...
GPU、CPU计算性能对比
ANSYS/高性能计算、CAD/CAE/CAM/UG ...
高性能计算新趋势 GPU “PK” CPU
从0开始学习《GPU高性能运算之CUDA...
并行编程原理及 程序设计 Parallel ...
常州大学高性能计算集群系统简介
高性能集群系统计算机网络交换机
高性能集群系统管理机
高性能集群系统队列介绍
什么是高性能计算
版权所有 © 1999-2010:常州大学宣传部主管   苏ICP备05070686号
您是第 位访客!