用腻了 CRF,试试 LAN 吧?

作者: Tobias Lee

知乎专栏: NLPer 的成长之路

原文链接,可点击文末"阅读原文"直达:

https://zhuanlan.zhihu.com/p/91031332

西湖大学在 EMNLP 2019 上提出了一种序列标注模型,在比 BiLSTM-CRF 训练解码速度更快的情况下,取得了更高的精度。

论文链接:  arxiv.org/abs/1908.0867

源码链接: Nealcly/BiLSTM-LAN(https://github.com/Nealcly/BiLSTM-LAN)

1. 序言

统计自然语言处理中,条件随机场(Conditional Random Field)在词性标注,命名实体识别,中文分词等序列标注任务上都取得了惊人的效果。然而在深度学习时代,很多情况下 BiLSTM-CRF 并没有比不对输出序列进行建模的 BiLSTM-softmax 取得更好的效果。一个可能的原因是神经网络编码器已经有很强的序列信息编码能力,在此基础上 CRF 并没有引入更多的有效信息。

为了更好的对输出序列进行编码,论文中提出了一种逐层改进的基于标签注意力机制的网络(Hierarchically-Refined  L abel  A ttention  N etwork)。该模型通过利用标签知识,更好的捕捉标签间长期的依赖关系。在英文词性标注,命名实体识别和组合范畴语法超标注的任务上,BiLSTM-LAN 在比 BiLSTM-CRF 训练解码速度更快的情况下,取得了更好的效果。

如下图所示,以词性标注为例,对输入句子 "They can fish and also tomatoes here", 第一层中,模型通过局部信息对每个单词词性进行判断,倾向于判断 "can" 为情态动词(MD),"fish" 为动词(VB)。在经过多层LAN信息交互以后,长期标签依赖关系被考虑以后,"tomatoes"为名词的信息帮助模型对 "can" 和 "fish" 的词性进行重新判断,认定 "can" 和 "fish" 应为动词(VB)和名词(NN)。

示意图

2. 模型

下图模型中包含了两层 BiLSTM-LAN。每一个 BiLSTM-LAN 由对序列信息进行编码的 BiLSTM Encoding Layer 和对标签信息进行推理的 Label Attention Inference Layer 组成。

LAN-Model
BiLSTM Encoding Layer 为标准的 BiLSTM,定义其输出为

。Label Attention Inference Layer 首先通过计算词表示

与所有候选标签  的 attention 生成  ,其中 为序列长度,为 候选标签个数,  为 BiLSTM 隐层纬度。 表示每个词对每个标签的概率分布。最终我们将蕴含标签信息的 

与蕴含词信息的 拼接并输入到下一个 BiLSTM-LAN 层。在之后的 BiLSTM-LAN 中输入文本的序列表示和输出标签的序列表示分布同时被 BiLSTM 编码,底层的 BiLSTM-LAN 学习到局部的信息,顶层 BiLSTM-LAN 学习到更加全局的信息。在最后一层,BiLSTM-LAN 直接根据预测每个词的标签。

BiLSTM-LAN可以被看成一种 BiLSTM-softmax 的变种。一层BiLSTM-LAN与一层BiLSTM-softmax 完全相同。然而多层 BiLSTM-softmax 仅仅叠加BiLSTM以期更好的编码输入序列信息。BiLSTM-LAN可以理解为即叠加了BiLSTM也叠加了softmax,用来更好的学习输入和输出序列的表示。

3. 实验

本文在词性标注(WSJ, UD v2.2),命名实体识别(OntoNotes 5.0)和组合范畴语法超标注(CCGBank)上进行了实验。

其中,*表示利用多任务与半监督学习取得的结果

4. 分析

4.1 标签可视化

论文使用t-SNE对词性标注的标签向量进行了可视化分析。

训练开始前,所有标签随机分散到空间内。模型训练5轮后,可以看到"NNP"和"NNPS","VBD"和"VBN"等相似词性聚集到一起。在训练38轮后,几乎所有相似的词性被聚集到了一起,例如"VB","VBD","VBN","VBG"和"VBP"。

4.2 超标签复杂度

为了验证BiLSTM-LAN捕捉长距离标签依赖关系的能力,论文中对不同复杂度的超标签标注准确率进行了分析。

越复杂的超标签需要更长期的标签依赖关系进行判断。随着复杂度的增加,BiLSTM-CRF 并没有比 BiLSTM-softmax 表现的好,然而 BiLSTM-LAN 表现显著高于其他模型。

4.3 案例分析

下图是不同模型的预测结果,错误部分使用黄色标注。

由于进行局部预测,BiLSTM-softmax 并不能捕捉到 "settled" 和 "at" 的关系。BiLSTM-CRF在出现"/PP"后,由于马尔科夫假设,预测 "with" 为 "PP/NP"。可以看出,BiLSTM-LAN 基于全局信息更好地进行了预测。

5. 总结

理论和序列标注实验结果证明,BiLSTM-LAN 通过对所有候选标签进行编码的方式,很好的捕捉了标签间长期依赖关系,并在一定程度上解决了标注偏执问题。在比BiLSTM-CRF训练解码速度更快的情况下,在词性标注,命名实体识别和组合范畴语法超标注任务上可以达到更高的精度。

本文由作者授权AINLP原创发布于公众号平台,点击'阅读原文'直达原文链接,欢迎投稿,AI、NLP均可。

推荐阅读

BERT 的演进和应用

BERT系列文章汇总导读

BERT 瘦身之路:Distillation,Quantization,Pruning

BERT论文笔记

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP君微信(id:AINLP2),备注工作/研究方向+加群目的。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章