哈工大刘一佳：通过句法分析看上下文相关词向量

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。由中国科学院大学主办，百度公司提供支持，读芯术作为指定合作自媒体的“AI未来说·青年学术论坛”第二期“自然语言处理”专场已于2019年2月23日下午在中科院举行。刘一佳博士为大家带来报告《通过句法分析看上下文相关词向量》。

刘一佳，哈尔滨工业大学计算机博士，2018年百度奖学金得主。

报告内容：随着Deep contextualized word embedddings的发表，上下文相关词向量给多项自然语言处理任务带来了显著的性能提升，因而获得了广泛的关注。本次分享尝试从句法分析的角度出发，回顾什么是上下文相关词向量，其与传统表示学习方法的联系与区别，以及其带来性能提升的关键是什么。同时，本次分享也将对通用词、句子表示进行粗浅地探讨。

通过句法分析看上下文相关词向量

刘一佳博士的报告主要围绕两个结论：一个是上下文相关的词向量好在哪？结论是好在能够给未登录词进行建模。另一个是上下文相关词向量能更快吗？结论是对局部模型有希望。

上下文相关的词向量，简单来说，就是利用上下文信息对词向量进行表示。主要用于处理自然语言表述问题，随着深度学习在自然语言处理当中的应用，上下文相关的词向量逐渐由高维转化为低维。

解释一下上下文相关与上下文无关的关系，比如“制服”这个词，如果不把它放到具体的语句中，它可能有多个含义，比如说动词的含义和名词衣服的含义，此时它是上下文无关的，如果在“制服”后面加上“歹徒”，它的含义就是动词的含义，此时它是上下文相关的。

未登录词就是训练时未出现，测试时出现了的单词，通过实验发现了一个问题，就是未登录词越多的数据，模型性能的提升就越大。为什么上下文相关词向量能对未登录词更好地进行建模？可能的原因有两种，一种是训练时见过未登录词，另一种是虽然没有见过，但是通过某种手段猜到了未登录词的含义。大概就是这两类作用，可以概括为记忆和归纳。

在对未登录词以词性作为类别标签进行可视化实验的过程中，对比上下文无关的词向量和上下文相关的词向量，可以发现上下文相关的词向量聚类效果更好。由此可以联想到未登录词存在一个典型问题是数据稀缺。

上下文相关的词向量是很不错的，但是训练代价比较大，一般需要在多块卡上跑很多天。为了克服这个问题，可以使用简单一点、局部一点的上下文建模方法。但从通用性的角度来说，复杂的上下文建模更有意义。