综述|从9篇研究综述看图神经网络GNN的最新研究进展

图网络文献综述

整理:Mark

内容:9篇图神经网络(GNN)相关的文献综述

近年来近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。

到目前,相关研究的已经非常多了,不过我们回过头来看思考和回顾一下:解决图(Graph)数据的方法和思路有那些,这些方法和思路跟图像文本有什么异同?各大顶会提出的图网络模型有什么样的基本假设和主要功能?常用数据集Cora, Citeseer, Pubmed等有没有统一一致的对比?图神经网络和图嵌入的区别的是什么? 图网络能做什么,不能做什么,图网络表示的上界在哪里?节点分类,链接预测,图分类的算法和模型都有哪些?另外,有的图数据是非常小的,有的图数据(如微信社交网络,微博社交网络)是非常巨大的,那么针对小型图网络与巨型网络分别都有什么样的模型,研究的思路跟一般的图数据有什么区别?最后,未来还有什么样的研究方向?本文整理了9篇图神经网络(GNN)相关的文献综述,这九篇相关的文献综述从不同的角度对图神经网络的发展进行了详细的总结和概述。下面是本文整理的列表:

1. Deep Learning on Graphs: A Survey

2. Graph Neural Networks: A Review of Methods and Applications

3. A Comprehensive Survey on Graph Neural Networks

4. A Gentle Introduction to Deep Learning for Graphs

5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY

6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

7.  A Survey on The Expressive Power of Graph Neural Networks

8. Relational inductive biases, deep learning, and graph networks

9. Adversarial Attack and Defense on Graph Data: A Survey 

整理时间: 2020-03-29,以上pdf都可以公开获得,如果需要打包下载,请联系最后的小助手, 私信回复:graphsurvey

1. Deep Learning on Graphs: A Survey

时间:2018年12月首发, 2020年3月更新至第三版

作者:Ziwei Zhang等

单位:清华大学

篇幅:24页

链接:https://arxiv.org/pdf/1812.04202.pdf

从声学、图像到自然语言处理,深度学习在许多领域都取得了成功。然而,将深度学习应用于无所不在的图数据并非易事,因为图形是一种非欧的数据结构,具有独特的特性。近年来,这一领域的研究取得了很大的进展,极大地推动了图分析技术的发展。在本研究中,作者全面回顾了应用于图深度学习各种方法。总结了现有的图网络类型,将现有的方法分为五类:  图递归神经网络、图卷积网络、图自编码器、图增强学习和图对抗方法

相关报道与解读:

图网络|漫谈图神经网络模型 ; 

图网络的五类模型(http://suo.im/5G6MdF)

以上五类模型的基本假设和主要功能

近年来不同神经网络的对比与总结

图自编码器总结与对比

图强化学习特性对比

图对抗学习特性对比

相关的学习框架总结:PyG; DGL; AliGraph; Euler

Cora, Citeseer, Pubmed, Reddit, PPI数据集模型性能全面总结

2. Graph Neural Networks: A Review of Methods and Applications

时间:2018年12月; 2019年6月第四版

作者:Jie Zhou等

单位:清华大学

篇幅:22页,153篇参考文献

链接:https://arxiv.org/abs/1812.08434

该文总结了图神经网络领域的经典模型与典型应用(文本,图像,物理化学药学,知识图谱) ,并提出了四个开放性问题。对于希望快速了解这一领域的读者,不妨先从这篇文章看起。

很多学习任务都需要处理图数据,这些数据包含了元素之间丰富的关系信息。建模物理系统,学习分子指纹,预测蛋白质界面,以及疾病分类都需要模型从图形输入中学习。在从文本、图像等非结构化数据学习等领域,对提取出的句子依赖树、图像场景图等结构进行推理是一个重要的研究课题,也需要图形推理模型。图神经网络(GNNs)是一种连接主义模型,它通过在图的节点之间传递消息来获取图的依赖性。与标准神经网络不同的是,图神经网络保留了一种状态,这种状态可以用任意深度表示邻居的信息。虽然原始图神经网络很难训练成定点,但是最近在网络结构、优化技术和并行计算方面的进展使得利用它们进行成功的学习成为可能。

各类的图神经网络的Aggregator和Updater

图网络相关的应用

文章最后提出了图神经网络领域的四个开放问题:

1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果,然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说,堆叠层数越多,节点考虑的邻居个数也会越多,导致最终所有节点的表示会趋向于一致。

2. 动态图。目前大部分方法关注于在静态图上的处理,对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。

3. 非结构化场景。虽然很多工作应用于非结构化的场景(比如文本),然而并没有通用的方法用于处理非结构化的数据。

4. 扩展性。虽然已经有一些方法尝试解决这个问题,将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。

相关报道与解读:

图神经网络综述: 模型与应用(http://suo.im/5V9dkJ, 机器之心)

3. A Comprehensive Survey on Graph Neural Networks

时间:2019年1月首发, 2019年12月第四版

作者:Zonghan Wu等

单位:悉尼科技大学等

本文偏向图模型的全面总结 与第一篇可以互补来看 。本文对图网络提出了新的分类体系:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。 确定了图神经网络和网络嵌入之间的区别,并在不同的图神经网络架构之间建立了联系。

图嵌入旨在通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量空间,以便使用简单的机器学习算法(例如,支持向量机分类)进行处理。许多图嵌入算法通常是无监督的算法,它们可以大致可以划分为三个类别,即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络,包括基于图自动编码器的算法(如DNGR和SDNE)和无监督训练的图卷积神经网络(如GraphSage)。下图描述了图嵌入和图神经网络在本文中的区别

该综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络,提供了表征算法的细节描述,并做了必要的对比和对应算法的总结。这篇综述提供了图神经网络的丰富资源,其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。这篇综述还强调了已有算法的当前限制,指出了这个快速发展领域未来的可能方向。

RecGNNs and ConvGNNs相关总结

GAE相关总结

常用Benchmark数据集总结

相关报道与解读:

- https://zhuanlan.zhihu.com/p/75307407;

- 图网络|漫谈图神经网络模型

4. A Gentle Introduction to Deep Learning for Graphs

时间:2019年12月

作者:Davide Bacciu等

单位:Department of Computer Science, University of Pisa

篇幅:55页,共计131篇参考文献

链接:https://arxiv.org/pdf/1912.12693.pdf

图、图网络的研究一个经典的并且长期存在的主题,最近已与为深度学习结合引起了相关研究人员的广泛兴趣。相关研究的数量和广度迅速增加,但是缺乏系统化的知识梳理以及缺少对早期研究的关注。这项文献综述旨在作为图深度学习领域的教程。

与最新文献不同的是,本文主要介绍了相关的概念和结构,方便读者学习和查看。论文采用了自上而下思路,介绍了DNGNs(深度神经图网络)、DBGNs(深度贝叶斯图网络)和DGGNs(深度生成图网络),下面是论文的Roadmap。

5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY

时间:2019年6月

作者:Mital Kinderkhedia

单位:

Department of Statistical Science, University College London

篇幅:22页,139篇参考文献

链接:https://arxiv.org/pdf/1906.02989.pdf

深度神经网络在目标识别,图像分类和自然语言处理领域显示出了巨大的成功。但是,如何用深度学习设计可学习并且能够有效输出的图网络结构仍然是一个需要研究问题。本文综述的目的是总结和讨论图数据表示学习方法的最新研究进展。

本文首先确定图数据的常用类型,然后回顾图论基础。接下来讨论了图核方法与神经网络之间关系。然后,确定用于学习图数据表示的主要方法,即: 内核方法,卷积方法,图神经网络方法,图嵌入方法和概率方法 。该部分讨论了每种方法下的各种方法,并通过简要讨论图表示学习未来研究的内容。

下面是本文讨论的相关图数据

图论中部分基本的概念

6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

时间:2019年8月首发

作者:Jiawei Zhang

单位:Information Fusion and Mining Laboratory

篇幅:30页,参考文献9

链接:https://arxiv.org/abs/1908.00187

研究的图数据通常可分为两种主要类型,即小型图网络与巨型网络,它们在大小,编号和标签注释方面差异很大。在本文中,作者对于这两种不同类型的图数据,介绍近年来引入的图神经网络 。更具体地说,本文介绍的图神经网络包括IsoNN [4],SDBN [7],LF&ER [6],GCN [3],GAT [5],DifNN [8],GNL [1],GraphSage [2]和seGEN [9]。在这些图神经网络模型中,最初为小图提出了IsoNN,SDBN和LF&ER,而其余的则最初为巨人网络提出了。

小规模图网络的方法一览

大规模图网络学习方法一览

大规模图网络下采样方式的图嵌入

7.  A Survey on The Expressive Power of Graph Neural Networks

时间:2020年3月

作者:Ryoma Sato

作者单位:Kyoto University / RIKEN AIP

篇幅:41页

链接:https://arxiv.org/abs/2003.04078

图神经网络到底有多么的强大呢?来自日本京都大学学者从较为理论的角度写了一篇相关的研究综述,主要探究图网络与WL test的关系,以及图网络能够解决的问题和图网络不能够解决的问题。

图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功,但是GNNs的理论局限性最近已经被揭示出来。因此,人们提出了各式各样的GNN模型来攻克这些限制。在该研究综述中,作者全面概述了GNNs的表达能力和可证明的强大的GNNs变体。下面是本文的主要章节:Section 2 GNN不能判别的例子; Section 3 GNN与WL algorithm的联系; Section 4 GNN能够和不能够解决的组合问题; Section 5 GNN, WL algorithm 以及 distributed local algorithm的关系

8. Relational inductive biases, deep learning, and graph networks

时间:2018年6月首发;2018年11月第三版

作者:Peter W. Battaglia等

单位:1DeepMind; 2Google Brain; 3MIT; 4University of Edinburgh

篇幅:40页

链接:https://arxiv.org/pdf/1806.01261.pdf

这篇文章联合了DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者(其中22人来自DeepMind),用37页的篇幅,对关系归纳偏置和图网络(Graph network)进行了全面阐述。 在论文里,作者探讨了如何在深度学习结构(比如全连接层、卷积层和递归层)中,使用关系归纳偏置(relational inductive biases),促进对实体、对关系,以及对组成它们的规则进行学习。

论文提出了一个新的AI模块——图网络(graph network),对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置,为操纵结构化知识和生成结构化行为提供了一个直接的界面。作者还讨论了图网络如何支持关系推理和组合泛化,为更复杂、可解释和灵活的推理模式打下基础。

相关报道与解读:图网络让深度 学习也能因果推理(http://suo.im/5V9FBj)

9. Adversarial Attack and Defense on Graph Data: A Survey 

把对抗思想应用到图数据是一个自然的过程,而且其在具体应用场景中也有广泛的案例,例如在在线社交网络中,水军账户通过关注正常账户,发布日常内容,来降低自己在社交网络的中可疑度,从而避免被检测到而封号。

图数据对抗攻击的定义是:给定一个图(节点和边),通过修改这个图,使得这种修改在不被察觉到情况下,能够降低算法(例如节点分类和链接预测)在图数据上面的表现。

和优化问题相似,攻击方的目标是在一定约束的条件下最大可能地干扰算法的表现。在KDD 2018 [1]的文章中,作者将图被修改之后带来的变化定义为perturbations(扰动),即攻击者对图数据的攻击后的扰动必须满足与一些约束。例如,我们加边或者减边不能太多条,要保持图的基本结构等等,这是对抗攻击实现的前提。

[1]  Zügner, Daniel, Amir Akbarnejad, and Stephan Günnemann. " Adversarial attacks on neural networks for graph data. " In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 2847-2856. ACM, 2018

根据图数据的特点,可以图数据对抗攻击任务分为三类:

  • 节点相关的任务(Node-related Task):对节点分类任务还有对节点嵌入(node embedding)的攻击都属于节点层面的攻击,其目的是让分类器分错,降低其精确率或者召回率。因为节点分类是目前图数据的主要任务,因此大部分图数据对抗攻击论文都有研究到节点分类任务;

  • 链接相关的任务(Link-related Task):链接预测(Link Prediction)是图数据上面的另一个主要任务,推荐系统,知识图谱,社交网络都用到它。对于链接层面的攻击,主要目的让算法预测到错的链接目标;

    全图相关的任务(Graph-related Task):全图相关的任务主要是对整个图的分类,常见于对生物结构的分类任务。一般是学习图整体结构的低维嵌入,然后进行分类

    相关的章节目录

  • section 3: 从各种视角对当前的攻击方法进行分类。

  • section 4:对典型的算法进行回顾。

  • section 5: 根据防御策略对当前的防治措施进行分类,并且对每一类中的代表性算法进行回顾。

  • section 6: 基于我们开发的知识库进行相关的研究和探讨,该知识库可以对基于图的攻击和防御提供一个全面的理解。

  • section 7: 对该领域未来的方向和前景进行探讨。

相关报道与解读: 【综述】基于图的对抗式攻击和防御,附22页论文下载

如果你觉得有用就转发给需要的小伙伴吧! 下面是我们的图网络学习群小助手的微信,欢迎你的加入,如果需要打包下载以上pdf,请私信: graphsurvey

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章