【NLP】【CS224N】1 深度自然语言处理

what’s special about human language?

A human language is a system specially constructed to convey the speaker/writer’s meaning.
The categorical symbols of a language can be encoded as a signal for communication in several way:

• sound
• gesture
• images(writing)

what’s Deep Learning?

Deep Learning is part of this field that’s called representation learning.
representation learning attempts to automatically learn good features or representations.

why is NLP hard?

1. 语言本身就存在模糊性
2. 标点
3. 错误

Deep NLP = Deep Learning + NLP

随着计算机计算能力和存储空间的提升，人们可以使用大量的数据训练神经网络，使得神经网络的表现超过了其他机器学习模型。在NLP任务中，深度学习的表现也远远好于传统机器学习，让NLP有了很大的进步。

使用深度学习来解决NLP任务有如下优势：

1. 在深度学习被广泛应用之前，NLP还依赖于人为设计的特征，但是这些特征存在诸多问题，例如有时会过于细化，有时又不够完整，同时这些特征还需要漫长的时间去设计和验证。即使真正设计出了有用的特征，模型的表现通常也只会有小幅的提升。利用深度学习的方法得出的特征往往有更好的适应能力，能够胜任更多任务，而不是像人工的特征有时只在部分任务中有效。而且训练特征也要比设计特征快得多。
2. 端到端学习（End-to-end Learning），大大简化了NLP任务的步骤。
3. 更加有效的学习方法，能够更好地的利用上下文信息，也可以进行迁移学习（Transfer Learning）。
4. 有更好的正则化（Regularization）和优化（Optimization）方法。

NLP应用领域

1. 机器翻译(Machine Translation)
2. 文本分类(Text Classification)
3. 信息检索(Information Retrieval)
4. 信息提取(Information Extraction)
5. 语音合成(Speech Synthesis)
6. 语音识别(Speech Recognition)
7. 人机接口(Human-Machine Interface)
8. ……