多任务学习

新世纪的里程碑事件：多任务学习

多学习任务进而提升泛化和迁移能力

第二个：词向量

词向量（word Vector），或者又称为词嵌入（word Embedding）或者词的分布式表达（distributed representation）。

词向量比如100纬度，纬度小，但是信息量大 [0.2,0.3,0.2,1.3,3.4]

我们使用CBOW和Skip-gram这两种方式来训练词向量

我们使用词向量来表达一个单词，可以在多个层面来表现词汇关系，比如：man—>woman,king—>queen,（意义）walked —>walking（词法），我们可以从多个纬度来表现这个词

独热向量 one hot [0,0,0,0,2.3,0,0,0,0] 10000纬度，独热向量不考虑语序，词与词之间的关系，包含的信息少

循环神经网络(RNN)及变种

循环神经网络类似于我们人类阅读的过程，比如我们读一个句子，其实脑子里是存在对前面所阅读的内容的一个记忆的，这样我们才能完整的理解这样一个文本，重点是在于他有一个记忆能力，但是他有一个很大的缺陷，就是基础版本的循环神经网络难以训练，比如一段话有500个单词，可能第一个单词的信息传到后面基本上已经没有什么信息量了。

后面我们又提出了LSTM（Long Short-Term Memory Network），他就是一种改进版本的RNN，它能够解决RNN难以训练的问题，它的宗旨就是记住重要的信息，忘记不重要的信息，这样对于神经网络他的记忆负担就小了，所以LSTM对于长文本的训练效果比RNN更好

Seq2Seq框架

一个序列到另一个序列，比如机器翻译的场景，一个法文翻译成英文，或者把一个文章变成一个摘要，这些任务都是属于Seq2Seq框架，具体的他由两个部分来构成，第一个部分是编码器，第二个是解码器，2016年谷歌提出了基于Seq2Seq的机器翻译系统，取得了比较好的效果，也可以把图像作为输入，输出一个文本，或者输入声音，对应的目标也是文本，模型寻找的就是两者之间隐秘的联系，这就和我们之前所说的中间语思路是有一点类似的。

注意力机制

注意力机制也是起源于认知科学，人类的视觉系统就存在注意力机制，对于感兴趣的部分施加更多的视觉资源，在机器翻译中也应用到了注意力机制：Seq2Seq + attention

i am a student —> 我是一个学生

我们可以有侧重的考虑语句中的信息，所以我们的翻译项目就会更加准确一些

自注意力机制

注意力机制是两个句子之间的关系，自注意力机制是要找的同一个句子不同词汇之间的关系

The animal did not cross the street,because is was too tired.

这个it指的是动物还是街道，对于人类来说很好判断，但是对于机器却不太好判断，通过自注意力机制我们可以让机器学习到it与动物的联系更大一些，它能够发现一个句子中更深层次的编码信息。利用自注意力机制提出来的一个模型叫做Transformer。

前言模型

基于自注意力机制提出的GPT，Bert，XLNet等一系列框架又开启了自然语言处理预训练模型（Pretrained language model）的新篇章。我们可以利用这些模型对大量的预料，做一个训练，训练之后这些模型就具备一些泛化能力很强的处理语言的能力，我们再把这些模型做一些微调，然后就可以了应用他来理解一些基本的语法，词法，谈后结合特定任务的这些语料，然后训练，就能做特定任务了。