Loading...
墨滴

萤窗小语

2021/09/23  阅读:34  主题:全栈蓝

基于词典的图神经网络解决中文命名实体识别

基于词典的图神经网络解决中文命名实体识别

A Lexicon-Based Graph Neural Network for Chinese NER
基于词典的图神经网络解决中文命名实体识别
作者:Tao Gui,Yicheng Zou等
单位:复旦大学
发表会议及时间:EMNLP2019

背景回顾

基于RNN的模型限制
RNN的链式结构只能从左到右或者从右到左,无法捕获全局信息,无法解决词的重叠歧义度:只能看到印度,无法综合考虑印度、印度河、河流、流经等词汇信息

GNN
图是一种数据结构,它对一组对象(节点)及其关系(边)进行建模。近年来,由于图结构的强 大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度 学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN最近已成为一种广泛应用的图分析方法。

简单图网络:TextRank提取关键词
通过词之间的相邻关系构建网络,然后用PageRank迭代计算每个节点的rank值,排序rank值即可得到关键词。图网络:初始化->聚合->更新->聚合->更新>..->收敛

研究成果

提出了LGN的网络结构解决中文NER问题
设计具有全局信息的基于词典的图神经网络
解决中文NER中存在的匹配词重叠歧义
在多个数据集上取得最优结果
在不同句子长度情况下都有最优结果
LGN对中文NER的意义: 使用基于GNN结构的网络融合词典信息,捕获全局信息

摘要核心

1.基于RNN的中文NER模型受制于自身链式结构与无法利用全局信息,无法解决词的歧义。
2.设计具有全局信息的基于词典的图神经网络解决词的歧义。
3.词典中的知识可用于捕获字之间的局部信息。
4.全局中继节点可以捕获句子中的全局信息和长距离依赖。
5.基于图网络结构的字、所有的匹配词以及整个句子语义之间的多次交互,可以有效地解决单词歧义。

文本领域的图神经网络

Large-Scale Hierarchical Text Classification with Recursively Regularized Deep Graph-CNN Graph Classification using Structural Attention GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs

细节一:图的构造与聚合

节点聚合 边聚合 全局聚合

细节二 基于循环的图更新

节点更新 边更新 全局更新

实验结果及分析

1.去掉全局中继节点,模型的性能会下降
2.词汇在字符基础模型的识别中起着重要的作用
3.去掉边和全局节点会进一步导致性能损失
4.在去除CRF层后,两种模型的性能有明显的差距。 LGN的F1平均下降了3.59%,Lattice LSTM降低了 6.24%。说明LGN具有较强的句子建模能力。
5.结果表明,更新步数对LGN的性能至关重要 ,当更新次数T>3时,四个数据集的达到最 优结果。

总结

使用GNN打破基于RNN的链式结构,GNN融合词典信息
引入多头注意力与门控机制进行聚合更新,设计全局中继节点,利用全局信息
1.基于图网络结构的字、所有的匹配词以及整个句子语义之间的多次交互,可以有效地解决单词歧义。
2.图中设计全局中继节点,捕捉句子中的全局信息与长距离依赖

萤窗小语

2021/09/23  阅读:34  主题:全栈蓝

作者介绍

萤窗小语