CS224n Lecture 1 Introduction
CS224n Lecture 1 Introduction
第一堂课是课程的介绍，介绍了一下课程的背景和大致内容，没有讲很深入的东西。
随着深度学习的火热，传统NLP的方法逐渐被使用DL的NLP方法取代。与传统方法相比，Deep NLP的最大特点就是不用人工设计特征，而是由神经网络自己学习特征。
本课程的内容就是使用深度学习的方法进行NLP任务。
什么是自然语言处理
计算机处理或“理解”自然语言，来完成有意义的任务
语言学的层次
- 语音识别(语音->文字)
- OCR(图片->文字)
- 形态分析(Morphological)
- 句法分析(Syntactic)
- 语义理解(Semantic)
- 语用学和语篇处理(Pragmatics and discourse)
NLP应用
- 简单应用，如拼写检查
- 提取信息
- 语言倾向
- 机器翻译
- 对话系统
- 复杂问答
人类语言的特殊性
- 人类语言是想要传递信息的，指向性明确
- 语言是符号系统
- 语言可以有其他的连续载体（声音、文字图像、手势）
- 语言是稀疏的（由于词汇量大）
深度学习
- 深度学习是机器学习的子领域
- 传统机器学习：人工设计特征，并写代码识别特征
- 深度学习：自动定义特征
感觉这里教授说的Deep Learning实际上指的是神经网络，Deep Learning目前应该是指使用深度神经网络进行表示学习的方法。
人工设计的特征太具体、不完整、耗时长；学习到的特征学习快、可能表现更好
深度学习的三个成功要素：海量数据+算力提升+新模型算法idea
深度学习大获成功的两个例子：
- 语音识别：Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition Dahl et al. (2010)
- 计算机视觉：ImageNet Classification with Deep Convolutional Neural Networks by Krizhevsky, Sutskever, & Hinton, 2012, U. Toronto.
先修课
- Python
- 微积分、线性代数
- 概率论、统计
- 机器学习的基础
NLP为什么困难
- 复杂
- 模棱两可，this/that指代
- 常用省略（为了提高效率）
Deep NLP
Deep NLP = Deep Learning + NLP
一套工具在各个领域都适用
词向量，将单词放到高维空间中，通常至少25维，如下图是将单词except投影到8维空间中
词向量相近的词有相似性，如与frog相近的单词litoria等也是青蛙
