[中国,北京,2013年12月16日] 全球领先的信息与通信解决方案供应商华为今日宣布,中央研究院香农实验室在2013Hadoop中国技术峰会(China Hadoop Summit 2013)上提出业界首创的HIMM (Hybrid Iterative Matrix Multiplication) 模型。使用该模型表达的图数据挖掘算法能够获得10倍的性能提升,这对于大数据处理的实时性具有重要意义。
Hadoop中国技术峰会于2013年11月23日在北京圆满落幕。作为本年度大中华地区规模最大的Hadoop技术峰会,本届大会的主题是“掘金大数据”。 华为香农实验室的首席研究员颜友亮发表了“HiGraph:一种面向图计算的领域编程语言”的演讲,介绍了华为香农实验室在图计算以及Spark(Berkeley AMP Lab开发的一种基于内存计算的并行计算框架)上所取得的研究成果。
“大数据时代的一个重要方面就是图的规模越来越大。”颜友亮说,“Facebook人际关系网,包含顶点数目超过10亿。其他网络的规模也在数千万顶点左右。这使得这些图上的大量应用,例如好友推荐、寻找最短路径等无法准实时地得到结果。”
华为香农实验室提出业界首创的HIMM模型,与传统图计算模型相比,具有操作更简单,接口更实用,编程更轻松等优点。算法开发者使用了HIMM模型,不仅可以用矩阵的方式来表达图结构,而且还可以用自定义的矩阵运算来表达图上的各种操作,并通过提供一整套图计算算子来实现高效的并行图算法。在底层框架上,基于HIMM的图计算框架HiGraph会根据不同的硬件环境实现有针对性的一些优化措施,使得HiGraph的性能相比于业界获得显著提升。通过测试Pagerank和单源最短路径的算法,结果显示:在集群环境模式下,HiGraph借助Spark在迭代计算上的优势,相比其他的解决方案如Bagel和Giraph,HiGraph的性能提高3倍到20倍;在单机环境模式下,HiGraph充分利用了多核的并行处理能力,实现最大化的并行加速设计,使得在业界开源方案的性能上获得了至少10倍的提升。
“我们的HiGraph性能比业界高出了一个数量级,能够在秒级完成PageRank、单源最短路径等算法,完全能够胜任大数据处理实时性的要求。”颜友亮说道。
HIMM模型与HiGraph框架对于完善香农实验室在高性能计算研究的布局具有重要意义。华为香农实验室也将继续在图计算领域和Spark框架上发力,并进一步完善HiGraph,为华为的大数据研究提供了坚实基础,助力华为更好地进驻大数据领域。