OpenStack云计算与HPC之一: 前言和OpenStack与HPC虚拟化

openstack
 ■ 译/ 天云软件 王艳东此篇文章翻译编辑自OpenStack全球悉尼峰会《Crossroad of Cloud and HPC》。 一、前言 OpenStack®是领先的开源云计算IaaS平台,助力世界上许多非常著名的科学研究机构。令人惊讶的是,科学研究学科包含了一些最流行的OpenStack云应用案例,面对科学研究计算IT基础设施的挑战,OpenStack提供了令人信服的解决方案。 在科学研究工作中,高性能计算(HPC)和高吞吐量计算(HTC)工作负载要求大规模扩展能力和集群网络:大量的存储、高性能的计算和高速的网络,并且作业和基础设施需要具备可管理性。OpenStack开发社区正在迅速扩展服务以支持这些需求。通过OpenStack私有云管理资源,研究人员能够在满足业务需求的IT环境中工作。软件定义的基础设施具有动态性、自动化的特性,减少了浪费在安装和配置过程中的时间,使研究人员能够最大限度地投入到研发工作上。 本文旨在介绍高性能计算系统架构师和研究计算经理,他们通过探索云计算的优势为HPC工作带来好处,也可以被当前的OpenStack用户用来深入研究OpenSt...
More

客户案例 | 某运营商应用大数据云智能监控平台

c12c1d71e35bffcd5eeab0b3f89bc22b
■ 文/天云软件 运维工程师 于凯伦 项目背景 大数据是信息技术与专业技术、信息技术产业与各行业领域紧密融合的典型领域,有着旺盛的应用需求、广阔的应用前景。广东GDP多年蝉联全国第一,某运营商广东省分公司为提高其在通信行业的地位,节省重复的功能开发成本,提高对业务的监控能力,减轻在运维方面的负担,同时把握这一新兴领域带来的机遇。通过建立大数据智能云监控平台,不断跟踪研究大数据、坚持技术创新与应用创新的协同共进,加快各领域对大数据监控平台的开发与利用,推动大数据的应用进入新的腾飞阶段。 项目痛点 目前市面上一般的监控平台,基本处理逻辑是基于个人经验设定阀值,当监控的指标达到或超过阀值后产生报警。主要存在以下的问题: 1、当前的云监控平台多数采用分散部署,多层次分级部署可以减轻服务端压力,但是会增加运维人员在部署和维护方面的困难。 2、采用分散处理,针对不同的数据源,开发独立的程序进行部署和解析,容易造成开发、运维以及升级扩展的困难。 3、基本采用批量设置静态阀值。阀值不合理,大面积虚假报警,同时不能反映动态真实环境,对所产生的报警,以及各报警之间的依...
More

专题四:分布式机器学习的集群方案介绍之HPC实现

专题封面1
■ 文/ 天云软件 系统架构师 李崇民 伴随着人工智能技术的发展,尤其是深度学习的兴起,许多之前机器学习领域的问题与难点逐步的得到了解决,训练效率与学习准确率都得到了质的提升。深度学习的实现,需要多种技术进行支撑,比如服务器、GPU、集群、集群管理调度软件、深度学习框架、深度学习的具体应用等。我们把这些技术进行归类,认为服务器、GPU、分布式集群、集群调度管理软件等作为深度的学习的系统支撑平台,也是机器学习领域的必备技术。天云软件作为国内较早做云计算、分布式集群计算、集群调度管理软件等的公司,在机器学习系统支撑平台上也有自己的独特的理解与实现。因此,本次分享将作为一个系列,内容罗列如下: 第1篇:深度学习简介,GPU计算的原理,分布式机器学习原理(to see ); 第2篇:分布式深度学习的两种集群管理与调度的实现方式简介(to see see );  第3篇:分布式机器学习集群方案介绍之基于Kubernetes的GPU调度(to see see again) ; 第4篇:分布式机器学习的集群方案介绍之HPC实现。 本次介绍第4篇—分布式机器学习的集...
More

天云软件张福波:云计算和大数据关于两化融合创新探讨

02
为进一步贯彻落实《信息化和工业化深度融合专项行动计划(2013-2018年)》,推动全国两化融合工作,在国家工业和信息化部信息化推进司指导下,由 国家两化融合创新推进联盟主办,江西省工业和信息化委员会、中航工业江西洪都航空工业集团有限责任公司承办的“两化融合创新推进大会(2014·南昌)” 于2014年5月22日在南昌市成功召开。工业和信息化部副长杨学山、江西省政府副省长李贻煌、中国工程院院士卢秉恒,以及来自全国各地的相关政府部门、科研院所、企业的参会代表等共计600余人出席了此次大会。北京天云融创软件技术有限公司作为支持单位也亮相本次大会。 会上,北京天云融创软件技术有限公司CEO张福波博士做了题为《云计算和大数据关于两化融合创新探讨》的主题演讲。张总的演讲内容丰富、表述生动,引得台下听众认真聆听,频频举起相机拍下重要幻灯片,并在演讲结束后报以热烈的掌声。 张总的演讲以“人类的发展史即是工具的发展史”作为引子,强调信息化对现代社会的重要意义以及在制造业所起的决定性作用。现代生产力的竞争就是信息化的竞争,因为它体现在时间、质量、成本上的优势,这也反过来回答了为什么我们需要不...
More