综述|从9篇研究综述看图神经网络GNN的最新研究进展|神经网络|深度学习

　　整理：Mark

　　内容：9篇图神经网络(GNN)相关的文献综述

　　近年来近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。

　　到目前，相关研究的已经非常多了，不过我们回过头来看思考和回顾一下：解决图(Graph)数据的方法和思路有那些，这些方法和思路跟图像文本有什么异同？各大顶会提出的图网络模型有什么样的基本假设和主要功能？常用数据集Cora, Citeseer, Pubmed等有没有统一一致的对比？图神经网络和图嵌入的区别的是什么？图网络能做什么，不能做什么，图网络表示的上界在哪里？节点分类，链接预测，图分类的算法和模型都有哪些？另外，有的图数据是非常小的，有的图数据（如微信社交网络，微博社交网络）是非常巨大的，那么针对小型图网络与巨型网络分别都有什么样的模型，研究的思路跟一般的图数据有什么区别？最后，未来还有什么样的研究方向？本文整理了9篇图神经网络(GNN)相关的文献综述，这九篇相关的文献综述从不同的角度对图神经网络的发展进行了详细的总结和概述。下面是本文整理的列表:

　　1. Deep Learning on Graphs: A Survey

　　2. Graph Neural Networks: A Review of Methods and Applications

　　3. A Comprehensive Survey on Graph Neural Networks

　　4. A Gentle Introduction to Deep Learning for Graphs

　　5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY

　　6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

　　7. A Survey on The Expressive Power of Graph Neural Networks

　　8. Relational inductive biases, deep learning, and graph networks

　　9. Adversarial Attack and Defense on Graph Data: A Survey

　　整理时间: 2020-03-29，以上pdf都可以公开获得，如果需要打包下载，请联系最后的小助手，私信回复：graphsurvey

　　1. Deep Learning on Graphs: A Survey

　　时间：2018年12月首发，2020年3月更新至第三版

　　作者：Ziwei Zhang等

　　单位：清华大学

　　篇幅：24页

　　链接：https://arxiv.org/pdf/1812.04202.pdf

　　从声学、图像到自然语言处理，深度学习在许多领域都取得了成功。然而，将深度学习应用于无所不在的图数据并非易事，因为图形是一种非欧的数据结构，具有独特的特性。近年来，这一领域的研究取得了很大的进展，极大地推动了图分析技术的发展。在本研究中，作者全面回顾了应用于图深度学习各种方法。总结了现有的图网络类型，将现有的方法分为五类: 图递归神经网络、图卷积网络、图自编码器、图增强学习和图对抗方法。

　　相关报道与解读：

　　图网络|漫谈图神经网络模型；

　　图网络的五类模型(http://suo.im/5G6MdF)

　　以上五类模型的基本假设和主要功能

　　近年来不同神经网络的对比与总结

图自编码器总结与对比

　　图强化学习特性对比

　　图对抗学习特性对比

　　相关的学习框架总结：PyG; DGL; AliGraph; Euler

　　Cora, Citeseer, Pubmed, Reddit, PPI数据集模型性能全面总结

　　2. Graph Neural Networks: A Review of Methods and Applications

　　时间：2018年12月；2019年6月第四版

　　作者：Jie Zhou等

　　单位：清华大学

　　篇幅：22页，153篇参考文献

　　链接：https://arxiv.org/abs/1812.08434

　　该文总结了图神经网络领域的经典模型与典型应用（文本，图像，物理化学药学，知识图谱），并提出了四个开放性问题。对于希望快速了解这一领域的读者，不妨先从这篇文章看起。

　　很多学习任务都需要处理图数据，这些数据包含了元素之间丰富的关系信息。建模物理系统，学习分子指纹，预测蛋白质界面，以及疾病分类都需要模型从图形输入中学习。在从文本、图像等非结构化数据学习等领域，对提取出的句子依赖树、图像场景图等结构进行推理是一个重要的研究课题，也需要图形推理模型。图神经网络(GNNs)是一种连接主义模型，它通过在图的节点之间传递消息来获取图的依赖性。与标准神经网络不同的是，图神经网络保留了一种状态，这种状态可以用任意深度表示邻居的信息。虽然原始图神经网络很难训练成定点，但是最近在网络结构、优化技术和并行计算方面的进展使得利用它们进行成功的学习成为可能。

　　各类的图神经网络的Aggregator和Updater

　　图网络相关的应用

　　文章最后提出了图神经网络领域的四个开放问题：

　　1. 浅层结构。经验上使用更多参数的神经网络能够得到更好的实验效果，然而堆叠多层的 GNN 却会产生 over-smoothing 的问题。具体来说，堆叠层数越多，节点考虑的邻居个数也会越多，导致最终所有节点的表示会趋向于一致。

　　2. 动态图。目前大部分方法关注于在静态图上的处理，对于如何处理节点信息和边信息随着时间步动态变化的图仍是一个开放问题。

　　3. 非结构化场景。虽然很多工作应用于非结构化的场景（比如文本），然而并没有通用的方法用于处理非结构化的数据。

　　4. 扩展性。虽然已经有一些方法尝试解决这个问题，将图神经网络的方法应用于大规模数据上仍然是一个开放性问题。

　　相关报道与解读：

　　图神经网络综述：模型与应用(http://suo.im/5V9dkJ, 机器之心)

　　3. A Comprehensive Survey on Graph Neural Networks

　　时间：2019年1月首发，2019年12月第四版

　　作者：Zonghan Wu等

　　单位：悉尼科技大学等

　　本文偏向图模型的全面总结，与第一篇可以互补来看。本文对图网络提出了新的分类体系：图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。确定了图神经网络和网络嵌入之间的区别，并在不同的图神经网络架构之间建立了联系。

　　“图嵌入旨在通过保留图的网络拓扑结构和节点内容信息，将图中顶点表示为低维向量空间，以便使用简单的机器学习算法（例如，支持向量机分类）进行处理。许多图嵌入算法通常是无监督的算法，它们可以大致可以划分为三个类别，即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络，包括基于图自动编码器的算法（如DNGR和SDNE）和无监督训练的图卷积神经网络（如GraphSage）。下图描述了图嵌入和图神经网络在本文中的区别”

　　该综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络，提供了表征算法的细节描述，并做了必要的对比和对应算法的总结。这篇综述提供了图神经网络的丰富资源，其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。这篇综述还强调了已有算法的当前限制，指出了这个快速发展领域未来的可能方向。

　　RecGNNs and ConvGNNs相关总结

　　GAE相关总结

　　常用Benchmark数据集总结

　　相关报道与解读：

　　- https://zhuanlan.zhihu.com/p/75307407；

　　- 图网络|漫谈图神经网络模型;

　　4. A Gentle Introduction to Deep Learning for Graphs

　　时间：2019年12月

　　作者：Davide Bacciu等

　　单位：Department of Computer Science, University of Pisa

　　篇幅：55页，共计131篇参考文献

　　链接：https://arxiv.org/pdf/1912.12693.pdf

　　图、图网络的研究一个经典的并且长期存在的主题，最近已与为深度学习结合引起了相关研究人员的广泛兴趣。相关研究的数量和广度迅速增加，但是缺乏系统化的知识梳理以及缺少对早期研究的关注。这项文献综述旨在作为图深度学习领域的教程。

　　与最新文献不同的是，本文主要介绍了相关的概念和结构，方便读者学习和查看。论文采用了自上而下思路，介绍了DNGNs(深度神经图网络)、DBGNs(深度贝叶斯图网络)和DGGNs(深度生成图网络)，下面是论文的Roadmap。

　　5. LEARNING REPRESENTATIONS OF GRAPH DATA:A SURVEY

　　时间：2019年6月

　　作者：Mital Kinderkhedia

　　单位：

　　Department of Statistical Science, University College London

　　篇幅：22页，139篇参考文献

　　链接：https://arxiv.org/pdf/1906.02989.pdf

　　深度神经网络在目标识别，图像分类和自然语言处理领域显示出了巨大的成功。但是，如何用深度学习设计可学习并且能够有效输出的图网络结构仍然是一个需要研究问题。本文综述的目的是总结和讨论图数据表示学习方法的最新研究进展。

　　本文首先确定图数据的常用类型，然后回顾图论基础。接下来讨论了图核方法与神经网络之间关系。然后，确定用于学习图数据表示的主要方法，即：内核方法，卷积方法，图神经网络方法，图嵌入方法和概率方法。该部分讨论了每种方法下的各种方法，并通过简要讨论图表示学习未来研究的内容。

　　下面是本文讨论的相关图数据

　　图论中部分基本的概念

　　6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

　　时间：2019年8月首发

　　作者：Jiawei Zhang

　　单位：Information Fusion and Mining Laboratory

　　篇幅：30页，参考文献9

　　链接：https://arxiv.org/abs/1908.00187

　　研究的图数据通常可分为两种主要类型，即小型图网络与巨型网络，它们在大小，编号和标签注释方面差异很大。在本文中，作者对于这两种不同类型的图数据，介绍近年来引入的图神经网络。更具体地说，本文介绍的图神经网络包括IsoNN [4]，SDBN [7]，LF＆ER [6]，GCN [3]，GAT [5]，DifNN [8]，GNL [1]，GraphSage [2]和seGEN [9]。在这些图神经网络模型中，最初为小图提出了IsoNN，SDBN和LF＆ER，而其余的则最初为巨人网络提出了。

　　小规模图网络的方法一览

　　大规模图网络学习方法一览

　　大规模图网络下采样方式的图嵌入

　　7. A Survey on The Expressive Power of Graph Neural Networks

　　时间：2020年3月

　　作者：Ryoma Sato

　　作者单位：Kyoto University / RIKEN AIP

　　篇幅：41页

　　链接：https://arxiv.org/abs/2003.04078

　　图神经网络到底有多么的强大呢？来自日本京都大学学者从较为理论的角度写了一篇相关的研究综述，主要探究图网络与WL test的关系，以及图网络能够解决的问题和图网络不能够解决的问题。

　　图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功，但是GNNs的理论局限性最近已经被揭示出来。因此，人们提出了各式各样的GNN模型来攻克这些限制。在该研究综述中，作者全面概述了GNNs的表达能力和可证明的强大的GNNs变体。下面是本文的主要章节：Section 2 GNN不能判别的例子; Section 3 GNN与WL algorithm的联系; Section 4 GNN能够和不能够解决的组合问题; Section 5 GNN, WL algorithm 以及 distributed local algorithm的关系