近日，阿里云机器学习平台PAI和上海交通大学冷静文老师团队合作的论文《图神经网络统一图算子抽象uGrapher》被ASPLOS 2023录取。论文通过抽象统一的的高性能图算子接口来自适应探索它们在不同图数据集上的最佳并行执行策略， 这是首个在图神经网络上利用自适应的并行策略，在不同图数据和不同图算子中探索高性能计算优化的研究工作。 ASPLOS是计算机系统领域的顶级国际会议，涉及体系结构、编程语言和操作系统等多个方向，尤其重视不同方向之间的交叉，该会议曾推动了多核处理器、虚拟化、RAID、RISC、深度学习处理器等计算机系统领域的核心创新，在学术和工业界都有巨大的影响力。 此次入选意味着阿里云机器学习平台PAI在图神经网络高性能计算优化领域达到了全球业界先进水平，获得了国际学者的认可，展现了中国机器学习系统技术创新在国际上的竞争力。 图神经网络相对于传统深度学习引入了特有的新型不规则算子，即图算子。随着图神经网络算法演进，图神经网络所使用的图算子的可变性和复杂性不断增加，其计算也变得更加复杂。同时，具有差异化的分布特点的图数据作为输入也给图神经网络的计算带来了特有的复杂性。现有的图神经网络框架依靠手写静态算子来实现图算子的计算操作，难以在变化的图神经网络模型或输入图数据上维持较好的性能结果。 针对这一问题，uGrapher提出了一个统一的高性能接口，通过将所有图算子抽象为一个统一的稀疏稠密混合循环的中间表达形式，解耦图算子的计算和调度，并探索了对应于GPU 上不同图算子的不同循环变换所得到的不同的执行策略之间的权衡关系，以针对不同图神经网络算子和数据集的动态变化的场景自适应的提供高性能的计算支持。对比DGL[1], PyG[2], GNNAdvisor[3]，uGrapher平均可以取得3.5倍的性能提升。 目前，阿里云正在将uGrapher的关键设计集成进PAI自研的大规模图神经网络框架GraphLearn中，从而为工业级别的图神经网络应用带来性能加速。 ● 论文标题： uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for Graph Neural Networks ● 论文作者： 周杨杰，冷静文，宋曜旭，卢淑文，王勉, 李超，过敏意, 沈雯婷，李永，林伟等 ● 论文pdf链接： https://dl.acm.org/doi/10.1145/3575693.3575723 ● 参考文献： [1] M. Wang, D. Zheng, Z. Ye, Q. Gan, M. Li, X. Song, J. Zhou, C. Ma, L. Yu, Y. Gai et al., “Deep graph library: A graph-centric, highly-performant package for graph neural networks,” arXiv preprint arXiv:1909.01315, 2019. [2] M. Fey and J. E. Lenssen, “Fast graph representation learning with pytorch geometric,” arXiv preprint arXiv:1903.02428, 2019. [3] Y. Wang, B. Feng, G. Li, S. Li, L. Deng, Y. Xie, and Y. Ding, “GNNAdvisor: An adaptive and efficient runtime system for GNN acceleration on GPUs,” in 15th USENIX Symposium on Operating Systems Design and Implementation (OSDI 21), 2021, pp. 515–531. |
