题目：无监督神经机器翻译相关技术研究
主讲人：孙海鹏 哈工大计算学部计算机学院博士研究生
时间：2020年09月23日 18：30-19：30
地点：新技术楼618会议室
研究方向：机器翻译
内容简介：神经机器翻译通常采用编码器-解码器框架来实现自然语言之间的自动翻译，显著提升了翻译的性能。神经机器翻译模型的学习往往依赖于大规模的平行语料，然而并不是所有语言对都有充足的平行语料。为了解决神经机器翻译中平行语料缺失的问题，无监督神经机器翻译逐渐引起了人们的关注，通过无监督预训练策略、去噪自编码器、反向翻译和共享潜在表示机制仅依赖于单语语料对翻译任务进行建模，在诸如德英、法英等相似语言对上取得了显著的结果。然而现有无监督神经机器翻译研究依然存在一些问题和局限性，本研究针对这些问题，对无监督神经机器翻译展开一系列深入研究，这些研究包括以下几个方面：
- 传统的无监督神经机器翻译中去噪自编码器和共享潜在表示机制在前期无监督神经机器翻译训练过程中是必需的，而无监督神经机器翻译模型架构在整个训练过程中会迅速变得低效。学习共享潜在表示限制了不同方向翻译性能的进一步提升，特别是对于不相似语言对，同时通过不断修改训练数据进行去噪自编码器训练也极大地减缓了模型的收敛速度。针对这一问题，本研究提出了基于伪平行数据的无监督神经机器翻译模型，提升翻译性能。
- 无监督预训练策略通常只是对无监督神经机器翻译模型进行初始化，本研究在无监督神经机器翻译训练过程中加入预训练模型进行联合学习，提出基于双语词嵌入一致性的无监督神经机器翻译模型和基于跨语言表示一致性的无监督神经机器翻译模型。
- 本研究将无监督神经机器翻译研究扩展到多语言场景，提出了一个多语言无监督神经机器翻译模型框架，引入语言学知识的知识蒸馏方法进一步提升翻译性能。
