精选0108: 又被刷的GLUE

GLUE又被刷了,阿里的ALICE v2上到了并列第二的位置:

带大家复习一下(敲黑板),ALICE的学名是StructBERT,19年8月就推出了,在BERT的基础上加了两个预训练任务:

1.随机shuffle一些token然后预测原位置

2.预测两个句子的关系:上一句、下一句、随机

消融实验显示两个任务都对效果有一些提升:

无论StructBERT比起后来的BERT系模型效果怎样,都很佩服王玮大佬的坚持,基本上从去年以来就一直在榜单上活跃着。不知道V2有了什么更新,不过从描述还是可以窥见一些trick:

有没有熟悉的味道?这个是第一名ERNIE的:

之前说过一次,在BERT出生前有监督句表示都离不开MNLI和SNLI这几个数据集,看来推理任务在语义理解方面的帮助还是挺大的,中文的有XNLI,是直接翻译过来的,尬的飞起,希望可以有大佬做出这样的数据集。

不想错过好文章,记得看今天的Arxiv更新哦!

重点有:

Berkeley 1 篇:[9]

Microsoft 2 篇:[10], [11]

本文转载自公众号: NLPCAB,作者:李如

推荐阅读

ELECTRA: 超越BERT, 19年最佳NLP预训练模型

结构剪枝:要个4层的BERT有多难?

T5 模型:NLP Text-to-Text 预训练模型超大规模探索

AINLP年度阅读收藏清单

征稿启示 | 稿费+GPU算力+星球嘉宾一个都不少

AINLP-DBC GPU 云服务器租用平台建立,价格足够便宜

我们建了一个免费的知识星球:AINLP芝麻街,欢迎来玩,期待一个高质量的NLP问答社区

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP君微信(id:AINLP2),备注工作/研究方向+加群目的。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章