当前位置:主页 > 行业新闻 >

EMNLP2019获奖论文出炉,最佳论文一作华人,导师

发布时间:19-11-09 阅读:755

雷锋网 AI 科技评论按:冲感民心的时候又到了!

作为自然说话处置惩罚领域的顶级会议之一 EMNLP 2019 正式停止,而在终结式上也同时揭橥了本年度的最佳论文。今年共有四个奖项,此中最佳论文奖由约翰霍普金斯大年夜学摘取,最佳论文 Runner-Up 奖得到者来自斯坦福,最佳资本奖由 Facebook 等单位得到,最佳 Demo 奖的得到者来自艾伦人工智能钻研所。值得留意的是,只管获奖论文中不乏华人学者,但海内师生基础无缘最佳论文。

EMNLP 是由国际说话学会(ACL)下属的 SIGDAT 小组主理的自然说话处置惩罚领域的顶级国际会议,在谋略说话学种别下影响力排名举世第二。EMNLP 每年举办一次,今年则与 IJCNLP 联合,在喷鼻港举办(这也是喷鼻港第二次举办 EMNLP,上一次在 2000 年)。

据雷锋网 AI 科技评论现场懂得,EMNLP-IJCNLP 2019共收到有效投稿2877篇,任命683篇,此中长论文465篇, 短论文218篇,任命率为23.7%。从投稿国家看,中国投稿数量已经排名第一,但任命数量比拟美国却少了70篇。

本次参会人数共有1922人,比拟去年2500人有所下降,但雷锋网 AI 科技评论觉得,这次参会人数的低落更多的缘故原由在于学术钻研之外,前段光阴喷鼻港局势以及美国对持签证在美事情的钻研者从新进入美国必须要从新签证的出台都在必然程度上影响了现场的介入率。

EMNLP2019 最佳论文获奖者合家福

一、最佳论文奖

EMNLP-IJCNLP最佳论文奖只针对长论文揭橥。本届最佳论文奖的第一作者为来自约翰霍普金斯大年夜学的Xiang Lisa Li,而其导师则为NLP界公认的大年夜神Jason Eisner,后者对 NLP 布局进修领域供献极大年夜。

这篇论文获奖,缘故原由则是:「在预练习词嵌入上应用变差信息瓶颈(Variational Information Bottleneck)的新颖利用。很棒的理论证实,不错的结果,很棒的说话学阐发,很可能对许多义务都有赞助。」

论文地址:https://arxiv.org/abs/1910.00163v1

论文择要:ELMo 和 BERT 之类的预练习词嵌入包孕了富厚的句法和语义信息,这让它们能在各类不合的义务上发挥出当前最好的体现。

这篇论文中作者提出了一个异常快速的变差信息瓶颈(Variational Information Bottleneck,VIB)措施,它可以非线性地压缩这些嵌入,只保留对辨别性解析器有赞助的信息。作者可以把每个词嵌入压缩成一个个离散的标签,或者是继续的向量。对付离散标签版本,这些自动压缩的标签可以形成一种替代性的标签聚拢。

作者经由过程实验注解,传统的 POS 标签标注中捕捉到的信息,大年夜部分都可以被这些标签捕捉到,而且这些标签序列还可以在相同的标签粒度下获得更准确的解析。对付继续向量版本,实验注解用他们的措施适度压缩词嵌入之后可以获得更准确的解析器,他们测试的9种说话中有8种都获得了这样的结果;以往的简单的降维操作是达不到这样的效果的。

二、最佳论文第二名

最佳论文奖第二名(Runner-Up)的第一作者来自斯坦福大年夜学,其联合导师为 Chris Manning(谋略说话学的大年夜牛,李飞飞辞任后,Manning 接任了斯坦福 AI Lab 主任)以及 Percy Liang。

这篇论文的颁奖词是「这是一篇影响力高、影响也深远广泛的论文,它先容了若何设计、练习、解释探针,以便更充分地评价某种表征在给定的义务(比如 POS 标注或者依附性解析)上到底学到了什么」。

论文地址:https://www.aclweb.org/anthology/D19-1275.pdf

论文择要:钻研者会设计练习一类监督模型来从表征(比如 ELMo)猜测某些属性(比如 POS),这类模型被称作探针,它们在许多说话学义务中都获得了很高的准确率。不过,到底是这些表征确凿编码了说话学布局,照样只不过是这些探针学会了说话学义务而已呢?

在这篇论文中,作者提出了一些节制义务,义务中考察的是把单词类型匹配到随机的输出,作为说话学义务的弥补义务(无关义务)。

设计这些义务的斟酌便是,它们只能够被探针自己学会,也就成为了查验探针能力的措施。以是,一个好的探针(能切实反映表征的内涵的探针),该当是有选择性的,该当能在真正的说话学义务中取得高准确率,而在这个节制义务中取得低准确率。探针的选择性的表现,便是真说话学义务中的准确率和探针影象单词类型的能力是同等的。

作者设计了基于英文 POS 标注和依附性边缘检测的节制义务,经由过程实验注解今朝盛行的用于 ELMo 表征的探针并不具有选择性。作者还发明,一样平常被用来节制探针繁杂度的 dropout 措施,着实对付提升多层感知机(MLP)布局模型的选择性并没有赞助,但其它类型的正则化措施是有效果的。着末,作者还发明,虽然针对 ELMo 的收集第一层的探针在 POS 标签义务中能取得比第二层的探针稍好的体现,但第二层的探针的选择性要强很多;这也带来了一个新问题:到底收集的哪一层能更好地表征 POS。

早些时刻,作者在论文的口头申报中也指出了他们节制义务的局限性:

「我们的节制义务中只是辨别不合的单词,探针在这里有可能会发出很多虚假的旌旗灯号。选择性这个观点的提出相符我们的直觉,但这并不能包管更细粒度的假说也是对的,比如『我的模型有这样的选择性,以是它学会了这个义务』」

三、最佳资本奖

最佳资本奖的论文是由 Facebook、法国索邦大年夜学和约翰斯·霍普金斯大年夜学合营完成。

这项事情的供献在于其供给的机械翻译数据集对低资本说话有很紧张的意义,而具体且清晰的质量节制措施也值得其他类似的语料库网络事情借鉴。

论文地址:https://arxiv.org/abs/1902.01382

数据集地址:https://github.com/facebookresearch/flores

注:该论文在arXiv 上的名称为《The FLoRes Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English》

论文择要:天下上绝大年夜多半说话都是低资本的,它们险些没有(或只有少量)的并行数据。不幸的是,当前的机械翻译(MT)系统在低资本环境下还不能很好地事情。

当然除了可用于监督进修的资本太少外,这些说话还面临一个问题,即因为短缺可自由公开应用的基准,是以很难评估在低资本说话长进行练习的措施的好坏。

在这项事情中,作者从Wikipedia网页中提取句子,并在低资本预感对(尼泊尔-英语和僧伽罗-英语)中引进了新的评估数据集。这些说话具有完全不合的形态和语法,对付这些说话,险些没有可用的域外(out-of-domain)并行数据,但却有大年夜量的单语数据可以应用。

钻研职员在文章中描述了网络和交叉查验翻译质量的完备历程,并应用几种进修要领(完全监督、弱监督、半监督、无监督)来申报基准机能。其实验结果相称故意思,当前最先辈的措施在这个基准上的体现反而相称差。这也对钻研低资本机械翻译的社区提出了新的寻衅。

四、最佳Demo奖

最佳 Demo 奖的获奖者来自艾伦人工智能钻研所和加利福尼亚大年夜学尔湾分校。

这篇论文先容了一个在 AllenNLP 根基上开拓的开源对象包,它可以赞助解释基于神经收集的 NLP 系统。NLP 领域里,一个紧张需求便是怎么来更好地解释「不透明」的神经收集,以是这个系统很可能会启迪更多钻研。

论文地址:https://arxiv.org/abs/1909.09251

演示地址:https://allennlp.org/interpret

论文择要:基于神经收集的 NLP 模型变得越来越准确,但它们并不完美,而且不透明——它们会在和人类直觉不合的环境下犯错,人类用户就会对它们的行径认为十分迷惑。模型解释措施缓解这个问题的要领是为模型的某一些猜测供给解释。然而不幸的是,今朝的模型解释措施都很难用于新的模型、新的义务,这就让神经收集 NLP 的开拓利用职员们、解释性措施的钻研职员们都不愿意继承应用这些措施。

这篇论文中作者先容了 AllenNLP Interpret,这是一个用于解释 NLP 模型的机动的代码框架(对象包)。这个对象包中包括了针对所有 AllenNLP 模型的解释原型(比如输入梯度),一整套集成的解释措施,以及面向前真个可视化组件库。作者在多种不合的模型、不合的义务(包括用 BERT 进行说话掩藏建模、用 BiDAF 进行涉猎理解)上针对 5 种解释措施(包括显明性热图和抗衡性进击)实现了可视化 demo,展示了对象包的机动性和功能性。这些 demo 和所有的代码、教程都可以在 allennlp.org/interpret造访。

EMNLP 2019 其它相关内容,以及更多海内国际学术会议申报,请继承关注雷锋网 AI 科技评论。



上一篇:赖亚文年轻时候的照片,她老公刘国军资料照片
下一篇:没有了