光猫,狸花猫,drum-德语教室,口语、写作训练,留学德国第一站

作者 | William L. Hamilton, Rex Ying, Jure Leskovec

来历 | NIPS17

导读:图卷积网络(Graph Convolutional Network,简称GCN)最近两年大热,获得不少发展。作为 GNN 的重要分支之一,许多同学可能对它仍是一知半解。PinSAGE魏斯晴( PinSage: 榜首个依据 光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站GCN 的工业级引荐体系)为 GCN 落地供给了实践经验,而本文是 PinSAGE 的理论基础,相同出自斯坦福,是 GCN 十分经典和有用的论文。

导读:图卷积网络(Graph Convolutional Network,简称GCN)最近两年大热,获得不少发展。作为 GNN 的重要分支之一,许多同学可能对它仍是一知半解。PinSAGE( PinSage: 榜首个依据 GCN 的工passionhd业级引荐系软瓷砖的损害统)为 GCN 落地供给了实践经验,而本文是 PinSAGE 的理论基础,相同出自斯坦福,是 GCN 十分经典和有用的论文。

论文链接:Inductive Representation Learning on Large Graphs https://paper光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站s.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs.pdf

光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站
狂战狼穴

1. 概括

在大规模图上学习节点 embedding ,在许多使命中十分有用,如学习节点拓扑结构的 DeepWalk 以及一起学习街坊特征和拓扑结构的 semi-GCN 。

可是现在大多数办法都是直推式学习, 不能直接泛化到不知道节点。这些办法是在一个固定的图上直接学习每个节点 embedding ,可是大多状况图是会演化的,当网络结构改动以及新节点的呈现,直推式学习需求从头练习(复杂度高且可能会导致 embedding 会偏移),很难落地在需求快速生成不知道节点embedding的机器学习体系上。

本文提出概括学习—GraphSAGE(Graph SAmple and aggreGatE)结构,经过练习聚合节点街坊的函数(卷积层),使 GCN 扩展成概括学习使命,对不知道节点起到泛化作用。

直推式 ( transductive ) 学习:从特别到特别,仅考虑当时数据。在图中学习方针是学习方针是直接生成当时节点的 embedding,例如 DeepWalk、LINE,把每个节点 e深宫离凰曲mbedding 作为参数,并经过 SGD 优化,又如 GCN,在练习进程中运用图的拉普拉钱守成斯矩阵薛守琴进行核算。

概括 ( inductive ) 学习:平常所说的一般的机器学习使命,从特别到一般:炫动篮球方针是在不知道数据上也有区别性。

直推式 ( transductive ) 学习:从特别到特别,仅考虑当时数据。在图中学习方针是学习方针是直接生成当时节点的 embedding,例如 企迈云商DeepWalk、LINE,把每个节点 embedding 作为参数,并经过 S宽宽vozbGD 优化,又如 GCN,在练习进程中运用图的拉普拉斯矩阵进行核算。

概括 ( inductive ) 学习:平常所说的一般的机器学习使命,从特别到一般:方针是在不知道数据上也有区别性。

2.GraphSAGE结构

本文提出 G芜湖汉爵阳明很多小姐raphSAGE 结构的中心是怎样聚合节点街坊特征信息,本章先介绍 GraphSAGE 前向传达进程(生成节点 embedding ),不同的聚合函数设定;然后介绍无监督和有监督的丢失函数以及参数学习

2.1 前向传达

a. 可视化比如:下图是 GraphSAGE 生成方针节点(赤色)embededing 并供下流使命猜测的进程:

b. 伪代码:

4-5 行是中心代码,介绍卷积层操作:聚合与节点v相连的街坊(采样)k-1 层的 embedding,得到第 k 层街坊聚合特征

,与节点 v 第 k-1 层 embedding

拼接,并经过全衔接层转化,得到节点 v 在第 k 层的 embedding

2.2 聚合函数

伪代码第 5 行能够运用不同聚合函数簿本下载,本末节介绍五种满意排序不变量的聚合函数:均匀、GCN 概括式、LS密爱TM、pooling 聚合器。(由于街坊没有次序,聚合函数需求满意排序不变量的特性,即输入次序不会影响函数成果)

a.均匀聚合:先对街坊 embedding 中每个维度取均匀,然后与方针节点embedding 拼接后进行山河表里删掉的肉非线性转化。

b. 概括式聚合:直接对方针节点和一切街坊 emebdding 中每个维度取均匀(替换伪代码中第5、6行),后再非线性转化:

c. LSTM 聚合:LSTM 函数不契合“排序不变量”的性质,需求先对街坊随光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站机排序,然后将随机的街坊序列 embedding

作为 LSTM 输入。

d. Pooling 聚合器:先对每个街坊节点上一层 embedding 进行非线性转化(等价单个全衔接层,每一维度代表在某方面的表明(如信誉状况)),再按维度运用 max/mean pooling ,捕获街坊集上在某方面的杰出的/归纳的体现 以此表明方针节点 embedding 。

2.3 无监督和有监督丢失设定

丢失函数依据详细运用状况,能够运用依据图的无监督丢失和有监督丢失。

a. 依据图的无监督丢失:期望节点 u 与“街坊”v 的 embedding 也类似(对应公式榜首项),而与“没有交集”的节点

不类似(对应公式第二项)。

  • 为节点 u 经过 GraphSAGE 生成的 embedd光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站ing 。
  • 节点 v 是节点 u 随机游造访达“街坊”。
  • 表明负采样:节点 是从节点u的负采样散布 采样的,Q 为采样样本数。
  • embedding 之间类似度经过向量点积核算得到

b. 有监督丢失:无监督丢失函数的设定来学习节点 embedding 能够供下流多个妈妈卖淫使命运用,若仅运用在特定某个使命上,则能够代替上述丢失函数契合特定使命方针,如穿插熵。

2.4 参数学习

经过前向传达得到节点 u 的 embedding

,然后梯度下降(完成运用 Adam 优化器) 进行反向传达优化参数

和聚合函数内参数。

3.试验

3.1 试验意图

3.2 数据集及使命

3.3 比较方光猫,狸花猫,drum-德语教室,白话、写作练习,留学德国榜首站法

(分类器均选用 LR )

3.4 GraphSAGE 设置

  • K=2,聚合两跳内街坊特征
  • S1=25,S2=10:对一跳街坊抽样 25 个,二跳街坊抽样 10 个
  • RELU 激活单元
  • Adam 优化器
  • 对每个节点进行步长为 5 的 50 次随机游走
  • 负采样参阅 word2vec,按滑润 degree 进行,对每个节燏怎样读点采样 20 个。
  • 确保公平性:一切版别都选用相同的 minibatch 迭代器、丢失函数、街坊抽样器。

3.5 运转时刻和参数敏感性

3.6 作用

原文链接:https://zhuanlan.zhihu.com/p/62750137

AI ProCon 2019 约请到了亚马逊首席科学家@李沐,在大会的前一天(9.5)亲授「深度学习实训营」,经过着手实操,协助开发者全面了解深度学习的基础知识和开发技巧。

9大技能论坛、60+主题共享,百余家企业、千余名开发者一起相约 2019 AI ProCon!技能驱动工业,聚集技能实践,倾听大牛共享,和万千开发年鹏直播间者共生长。王天守5折优惠票抢购中!