GCN和GCN在文本分类中应用

  • 时间:
  • 浏览:0
  • 来源:大发时时彩官网_大发时时彩邀请码_大发时时彩娱乐平台

       传统CNN卷积都能否 处理图片等欧式社会形态的数据,却好难处理社交网络、信息网络等非欧式社会形态的数据。一般图片是由c个通道h行w列的矩阵组成的,社会形态非常规整。而社交网络、信息网络等是图论中的图(定点和边建立起的拓扑图)。

       传统CNN卷积面对输入数据维度都能否 是选折 的,进而CNN卷积处理后得到的输出数据的维度也是选折 的。欧式社会形态数据中的每个点周边社会形态都一样,如另另一一四个像素点周边一定有8个像素点,即每个节点的输入维度和输出维度有的是固定的。而非欧式社会形态数据则不一定,如社交网络中A和B是亲戚亲戚我门歌词 我门歌词 我门歌词 ,A有n个亲戚亲戚我门歌词 我门歌词 我门歌词 ,但B不一定有n个亲戚亲戚我门歌词 我门歌词 我门歌词 ,即每个节点的输入维度和输出维度有的是不选折 的。

       什么都非要使用CNN来对社交网络、信息网络等数据进行处理,原困对A节点处理后得到输出数据的维度和对B节点处理后得到输出数据维度是不一样的。为了得到社交网络、信息网络的空间社会形态什么都亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 使用GCN(Graph Convolutional Network)来处理。



图1 另另一一四个GCN的实例(图片来源网页[3])

       同一般的卷积神经网络不同,GCN输入的数据是另另一一四个图拓扑矩阵,你这人拓扑矩阵一般是图的邻接矩阵。

2.1 概念定义

G 另另一一四个拓扑图定义为G=(V,E) 其中V是节点集合,E是边集合。
N N是图中节点个数,即|V|
F 节点的社会形态数,不同学习任务F不同
X 网络初始化矩阵, X是N行F列的矩阵
D 图的度矩阵,Dij表示点i和点j算是所处连接
A 图社会形态表征矩阵, A是N行N列的矩阵,A通常是G的邻接矩阵
Hi GCN中每层输出矩阵 Hi是另另一一四个N行F列矩阵
Wi GCN中每层权值矩阵 Wi是另另一一四个F行F列矩阵

2.2 GCN计算方法

       在GCN中,第1层又H0 = X,从i层到i+1层网络计算其中另另一一四个简单传播规则,即传播规则1:

\[\begin{array}{l} {{\bf{H}}^{i + 1}} = f\left( {{{\bf{H}}^i},{\bf{A}}} \right) \\ \quad \;\;\; = \sigma \left( {{\bf{A}}{{\bf{H}}^i}{{\bf{W}}^i}} \right) \\ \end{array}\]

       其中激活函数σ一般为ReLu函数。尽然你这人规则下GCN是另另一一四个简单模型,但原困足够强大,当然实际使用传播规则是下面几条:

       传播规则2

\[\begin{array}{l} {{\bf{H}}^{i + 1}} = f\left( {{{\bf{H}}^i},{\bf{A}}} \right) \\ \quad \;\;\; = \sigma \left( {{{\bf{D}}^{ - \frac{1}{2}}}{\bf{A}}{{\bf{D}}^{ - \frac{1}{2}}}{{\bf{H}}^i}{{\bf{W}}^i}} \right) \\ \end{array}\]

       传播规则3

\[\begin{array}{l} {{\bf{H}}^{i + 1}} = f\left( {{{\bf{H}}^i},{\bf{A}}} \right) \\ \quad \;\;\; = \sigma \left( {\left( {{\bf{I}} + {{\bf{D}}^{ - \frac{1}{2}}}{\bf{A}}{{\bf{D}}^{ - \frac{1}{2}}}} \right){{\bf{H}}^i}{{\bf{W}}^i}} \right) \\ \end{array}\]

       传播规则4

\[\begin{array}{l} {{\bf{H}}^{i + 1}} = f\left( {{{\bf{H}}^i},{\bf{A}}} \right) \\ \quad \;\;\; = \sigma \left( {{{\bf{D}}^{ - \frac{1}{2}}}\left( {{\bf{D}} - {\bf{A}}} \right){{\bf{D}}^{ - \frac{1}{2}}}{{\bf{H}}^i}{{\bf{W}}^i}} \right) \\ \end{array}\]

       传播规则5

\[\begin{array}{l} {{\bf{H}}^{i + 1}} = f\left( {{{\bf{H}}^i},{\bf{A}}} \right) \\ \quad \;\;\; = \sigma \left( {{{{\bf{\hat D}}}^{ - \frac{1}{2}}}{\bf{\hat A}}{{{\bf{\hat D}}}^{ - \frac{1}{2}}}{{\bf{H}}^i}{{\bf{W}}^i}} \right) \\ \end{array}\]

       其中\({\bf{\hat A}}{\rm{ = }}{\bf{A}}{\rm{ + }}{\rm I}\),I是另另一一四个N×N的单位矩阵。而\({\bf{\hat D}}\)\({\bf{\hat A}}\)

是另另一一四个对角线矩阵,其中${{\bf{\hat D}}{ii}} = \sum\limits_j {{{{\bf{\hat A}}}{ij}}} $。

       最后根据不同厚度学习任务来定制相应的GCN网络输出。

3.1 文本分类常用算法

       文本分类是自然语言处理比较常见的大问题,常见的文本分类主要基于传统的cnn、lstm以及最近几年比较热门的transform、bert等方法,传统分类的模型主要处理排列整齐的矩阵社会形态,也要是我什么都论文中提到的Euclidean Structure,有然后 亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 科学研究原困工业界的实际应用场景中,往往会遇到非Euclidean Structure的数据,如社交网络、信息网络,传统的模型无法处理该类数据,提取社会形态进一步学习,有然后 GCN 应运而生,本文主要介绍GCN在文本分类中的应用。

3.2 GCN在文本分类中具体应用

       首先亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 将亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 的文本语料构建拓扑图,改图的节点由文档和词汇组成,即图中节点数|v|=|doc|+|voc| 其中|doc|表示文档数,|voc|表示词汇总量,对于社会形态矩阵X,亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 采用单位矩阵I表示,即每个节点的向量有的是one-hot形式表示,下面亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 将介绍如保定义邻接矩阵A,其公式如所示,对于文档节点和词汇节点的权重,亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 采用TF-IDF表示,对于词汇节点之间的权重,亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 采用互信息表示(PMI, point-wise mutual information),在实验中,PMI表现好于另另一一四个词汇的共现词汇数,其公式如所示:

\[{A_{ij}} = \left\{ \begin{array}{l} {\rm{PMI}}\left( {i,j} \right)\quad \quad \quad \quad i和j是词语有然后 {\rm{PMI}}\left( {i,j} \right) > {\rm{0}} \\ {\rm{TF - IDF}}\left( {i,j} \right)\quad \;\;i是文档j是词语 \\ 1\quad \quad \quad \quad \quad \quad \quad \;\;\;i = j \\ 0\quad \quad \quad \quad \quad \quad \quad \;\;或多或少\\ \end{array} \right.\]

       其中#W(i)表示在固定滑动窗口下词汇i冒出的数量,#W(i, j)表示在固定滑动窗口下词汇i,j同去冒出的数量,当PMI(i, j)为正数表示词汇i和词汇j有较强的语义关联性,当PMI(i, j)为负数的然后 表示词汇i,j语义关联性较低,在构建完图后,亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 代入GCN中,构建两层GCN,如下:

       亲戚亲戚亲戚我门歌词 我门歌词 我门歌词 采用经典的交叉熵来定义损失函数:

       其中YD表示带标签的文挡集合,Ydf 表示标注类别,Zdf为预测的类别。

       下面介绍GCN在多个公开数据集上的实验结果,其中数据源为:

表1: Summary statistic of datasets

       GCN在文本分类上的实验结果见表2。

表2: GCN在在文本分类上的实验结果

       你这人新颖的文本分类方法称为文本图卷积网络(Text-GCN),巧妙地将文档分类大问题转为图节点分类大问题。Text-GCN都能否 很好地捕捉文档地全局单词共现信息和利用好文档有限地标签。另另一一四个简单的双层Text-GCN原困取得良好地成果。

[1] Kipf T N, Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv:1309.02907, 2016.

[2] Yao L, Mao C, Luo Y. Graph convolutional networks for text classification[J]. arXiv preprint arXiv:1309.05679, 2018.

[3] http://tkipf.github.io/graph-convolutional-networks/

猜你喜欢

专家:探索现代科技方式传播传承昆曲艺术

“面对多元文化竞争中传统戏曲受到挤压、与大众出显鸿沟,应该架起科技传播的桥梁。”中国戏曲协会原会长薛若琳23日表示,相比去传统剧院观看,还时要探索利用短视频、融媒体等新法律土办

2019-12-15

如何在discuz x2.0里自创建分类信息(以招聘为例)

Discuz功能之强大,亲戚亲戚给你们有目共睹,你想的没法多没法多东西它都还前要实现,比如招聘信息,下面就向亲戚亲戚给你们讲解下咋样在discuz里创建自定义的分类信息,实例地

2019-12-15

图书管理系统源码(三层架构)|图书管理系统源码(三层架构) v1.0下载

一、源码描述这是一款学生原创的图书管理系统源码,采用了三层架构的技术,基本上实现了图书管理系统的功能,都还可以 作为新手练习将会课程设计使用,感兴趣的他们 赶紧下载哦。二

2019-12-15

最适合中国站长的英文建站工具推荐

现在不少国内站长都想运营个英文站,来获得几乎10倍于国内的googleadsense点击收入。要是,使用drupal、joomla等国外cms建站的要是,会不要再不习惯呢?小编

2019-12-15

EXO成员TAO被拍与神秘女子拥抱 公司暂无回应

2014-10-1410:46  腾讯娱乐    我可以评论()字号:T|TEXO成员TAO10日,韩国男子组合EXO成员TAO被中国某媒体曝出与神秘女子行为亲密的视频。据该媒

2019-12-15