您的位置 > 首页 > 商业智能 > 20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻自然语言处理

                                                                                                                                                              20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻自然语言处理

                                                                                                                                                              来源:炼数成金 | 2019-06-21 | 发布:经管之家

                                                                                                                                                              这世界变化快。

                                                                                                                                                              去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出较佳成绩。现在,轮到BERT被碾压了。


                                                                                                                                                              CMU和Google Brain团队发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RACE等等。


                                                                                                                                                              这个消息一出,业界又轰动了。


                                                                                                                                                              目前这个模型的的论文、代码和预训练模型都已经放出。


                                                                                                                                                              XLNet的共同一作,是本科都毕业于清华的Zhilin Yang(杨植麟)和Zihang Dai,目前两人都在CMU读博。


                                                                                                                                                              为什么XLNet能够横扫BERT?

                                                                                                                                                              作者在这篇论文中表示,BERT在训练时需要mask一些输入,忽略了被遮蔽位置之间的依赖关系,因此产生预训练-微调差异。


                                                                                                                                                              而这次提出的XLNet,是一种泛化的自回归预训练模型。一方面,XLNet通过通过较大化所有可能因式分解顺序的对数似然,学习双向上下文;另一方面,利用自回归来客服BERT的缺点。此外,XLNet还在预训练中借鉴了较先进自回归模型Transformer-XL的想法。


                                                                                                                                                              最终的测试表明,XLNet在20个任务上的表现优于BERT,而且通常是大幅提升;在18个任务上,获得了较高水平的结果,包括机器问答、自然语言推理、情感分析和文档排序等。


                                                                                                                                                              一大批用户在推特上表示了震惊。


                                                                                                                                                              “我还以为NLP已经被BERT和ULMFiT解决了”,一位用户发了个哭脸评论道。


                                                                                                                                                              这篇论文的作者大牛云集,除了开头提到的两位共同一作,还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov,以及来自Google Brain团队的大牛Quoc V. Le。


                                                                                                                                                              论文地址在此:

                                                                                                                                                              https://arxiv.org/abs/1906.08237


                                                                                                                                                              GitHub地址在此:

                                                                                                                                                              https://github.com/zihangdai/xlnet


                                                                                                                                                              声明:本文版权归原作者所有,文章收集于网络,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!


                                                                                                                                                              欢迎加入本站公开兴趣群

                                                                                                                                                              商业智能与数据分析群

                                                                                                                                                              兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

                                                                                                                                                              QQ群:81035754

                                                                                                                                                              本文已经过优化显示,查看原文请点击以下链接:
                                                                                                                                                              查看原文:http://bi.dataguru.cn/article-14919-1.html

                                                                                                                                                              看图学经济more

                                                                                                                                                              院校点评more

                                                                                                                                                              京ICP备11001960号  京ICP证090565号 京公网安备1101084107号 论坛法律顾问:王进律师知识产权保护声明免责及隐私声明   主办单位:人大经济论坛 版权所有
                                                                                                                                                              联系QQ:2881989700  邮箱:service@pinggu.org
                                                                                                                                                              合作咨询电话:(010)62719935 广告合作电话:13661292478(刘老师)

                                                                                                                                                              投诉电话:(010)68466864 不良信息处理电话:(010)68466864
                                                                                                                                                              众益彩彩票|安全购彩 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】| 加拿大28预测计划【复制fh118.com打开】|