【DL】0 深度学习基础

网易云课程deeplearning.ai

机器学习 （Machine Learning, ML)

1. 概念：多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
2. 学科定位：人工智能(Artificial Intelligence, AI）的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
3. 定义：探究和开发一系列算法来如何使计算机不需要通过外部明显的指示，而可以自己通过数据来学习，建模，并且利用建好的模型和新的输入来进行预测的学科。
4. 学习：针对经验E (experience) 和一系列的任务 T (tasks) 和一定表现的衡量 P，如果随之经验E的积累，针对定义好的任务T可以提高表现P，就说计算机具有学习能力。

深度学习(Deep Learning)

1. 深度学习是基于机器学习延伸出来的一个新的领域，由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展，并伴随大数据和计算能力的提高而产生的一系列新的算法。
2. 深度学习，作为机器学习中延伸出来的一个领域，被应用在图像处理与计算机视觉，自然语言处理以及语音识别等领域。自2006年至今，学术界和工业界合作在深度学习方面的研究与应用在以上领域取得了突破性的进展。以ImageNet为数据库的经典图像中的物体识别竞赛为例，击败了所有传统算法，取得了前所未有的精确度。
3. 学校以多伦多大学，纽约大学，斯坦福大学为代表，工业界以Google, Facebook, 和百度为代表走在深度学习研究与应用的前沿。Google挖走了Hinton，Facebook挖走了LeCun，百度硅谷的实验室挖走了Andrew Ng，Google去年4月份以超过5亿美金收购了专门研究深度学习的初创公司DeepMind, 深度学习方因技术的发展与人才的稀有造成的人才抢夺战达到了前所未有激烈的程度。诸多的大大小小(如阿里巴巴，雅虎）等公司也都在跟进，开始涉足深度学习领域，深度学习人才需求量会持续快速增长。

deeplearning.ai

序列模型

授课大纲

第一周 循环序列模型

本周的知识点是循环神经网络。这种类型的模型已经被证明在时间数据上表现非常好，它有几个变体，包括 LSTM、GRU 和双向神经网络，本周的课程中也都包括这些内容。

1.1 为什么选择序列模型
1.2 数学符号
1.3 循环神经网络模型
1.4 通过时间的反向传播
1.5 不同类型的循环神经网络
1.6 语言模型和序列生成
1.7 对新序列采样
1.8 带有神经网络的梯度消失
1.9 GRU 单元
1.10 长短期记忆（LSTM）
1.11 双向神经网络
1.12 深层循环神经网络

第二周 自然语言处理与词嵌入

自然语言处理与深度学习是特别重要的组合。使用词向量表示和嵌入层，可以训练在各种行业中表现出色的循环神经网络。应用程序示例包括情绪分析、物体识别和机器翻译。

2.1 词汇表征
2.2 使用词嵌入
2.3 词嵌入的特性
2.4 嵌入矩阵
2.5 学习词嵌入
2.6 Word2Vec
2.7 负采样
2.8 GloVe 词向量
2.9 情绪分类
2.10 词嵌入除偏

第三周 序列模型和注意力机制

注意力机制可以增强序列模型。这个算法将帮助你的模型理解，在给出一系列的输入时，它应该把注意力放在什么地方。本周，你还将学习语音识别以及如何处理音频数据。

3.1 基础模型
3.2 选择最可能的句子
3.3 定向搜索
3.4 改进定向搜索
3.5 定向搜索的误差分析
3.6 Bleu 得分（选修）
3.7 注意力模型直观理解
3.8 注意力模型
3.9 语音辨识
3.10 触发字检测
3.11 结论和致谢

神经网络和深度模型

授课大纲

第一周 深度学习概论：

学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。

1.1 欢迎来到深度学习工程师微专业
1.2 什么是神经网络？
1.3 用神经网络进行监督学习
1.4 为什么深度学习会兴起？
1.5 关于这门课
1.6 课程资源

第二周 神经网络基础：

学习如何用神经网络的思维模式提出机器学习问题、如何使用向量化加速你的模型。

2.1 二分分类
2.2 logistic 回归
2.3 logistic 回归损失函数
2.4 梯度下降法
2.5 导数
2.6 更多导数的例子
2.7 计算图
2.8 计算图的导数计算
2.9 logistic 回归中的梯度下降法
2.10 m 个样本的梯度下降
2.11 向量化
2.12 向量化的更多例子
2.13 向量化 logistic 回归
2.14 向量化 logistic 回归的梯度输出
2.15 Python 中的广播
2.16 关于 python / numpy 向量的说明
2.17 Jupyter / Ipython 笔记本的快速指南
2.18 （选修）logistic 损失函数的解释

第三周 浅层神经网络：

学习使用前向传播和反向传播搭建出有一个隐藏层的神经网络。

3.1 神经网络概览
3.2 神经网络表示
3.3 计算神经网络的输出
3.4 多样本向量化
3.5 向量化实现的解释
3.6 激活函数
3.7 为什么需要非线性激活函数？
3.8 激活函数的导数
3.9 神经网络的梯度下降法
3.10 （选修）直观理解反向传播
3.11 随机初始化

第四周 深层神经网络：

理解深度学习中的关键计算，使用它们搭建并训练深层神经网络，并应用在计算机视觉中。

4.1 深层神经网络
4.2 深层网络中的前向传播
4.3 核对矩阵的维数
4.4 为什么使用深层表示
4.5 搭建深层神经网络块
4.6 前向和反向传播
4.7 参数 VS 超参数
4.8 这和大脑有什么关系？

结构化机器学习项目

授课大纲

第一周 机器学习（ML）策略（1）

1.1 为什么是ML策略
1.2 正交化
1.3 单一数字评估指标
1.4 满足和优化指标
1.5 训练/开发/测试集划分
1.6 开发集合测试集的大小
1.7 什么时候该改变开发/测试集和指标
1.8 为什么是人的表现
1.9 可避免偏差
1.10 理解人的表现
1.11 超过人的表现
1.12 改善你的模型的表现

第二周 机器学习（ML）策略（2）

2.1 进行误差分析
2.2 清楚标注错误的数据
2.3 快速搭建你的第一个系统，并进行迭代
2.4 在不同的划分上进行训练并测试
2.5 不匹配数据划分的偏差和方差
2.6 定位数据不匹配
2.7 迁移学习
2.8 多任务学习
2.9 什么是端到端的深度学习
2.10 是否要使用端到端的深度学习

改善深层神经网络

授课大纲

第一周 深度学习的实用层面

1.1 训练/开发/测试集
1.2 偏差/方差
1.3 机器学习基础
1.4 正则化
1.5 为什么正则化可以减少过拟合？
1.6 Dropout 正则化
1.7 理解 Dropout
1.8 其他正则化方法
1.9 正则化输入
1.10 梯度消失与梯度爆炸
1.11 神经网络的权重初始化
1.12 梯度的数值逼近
1.13 梯度检验
1.14 关于梯度检验实现的注记

第二周 优化算法

2.1 Mini-batch 梯度下降法
2.2 理解 mini-batch 梯度下降法
2.3 指数加权平均
2.4 理解指数加权平均
2.5 指数加权平均的偏差修正
2.6 动量梯度下降法
2.7 RMSprop
2.8 Adam 优化算法
2.9 学习率衰减
2.10 局部最优的问题

第三周 超参数调试、Batch正则化和程序框架

3.1 调试处理
3.2 为超参数选择合适的范围
3.3 超参数训练的实践：Pandas VS Caviar
3.4 正则化网络的激活函数
3.5 将 Batch Norm 拟合进神经网络
3.6 Batch Norm 为什么奏效？
3.7 测试时的 Batch Norm
3.8 Softmax 回归
3.9 训练一个 Softmax 分类器
3.10 深度学习框架
3.11 TensorFlow

卷积神经网络

授课大纲

第一周 卷积神经网络

1.1 计算机视觉
1.2 边缘检测示例
1.3 更多边缘检测内容
1.4 Padding
1.5 卷积步长
1.6 卷积为何有效
1.7 单层卷积网络
1.8 简单卷积网络示例
1.9 池化层
1.10 卷积神经网络示例
1.11 为什么使用卷积？

第二周 深度卷积网络：实例探究

2.1 为什么要进行实例探究
2.2 经典网络
2.3 残差网络
2.4 残差网络为什么有用？
2.5 网络中的网络以及 1×1 卷积
2.6 谷歌 Inception 网络简介
2.7 Inception 网络
2.8 使用开源的实现方案
2.9 迁移学习
2.10 数据扩充
2.11 计算机视觉现状

第三周 目标检测

3.1 目标定位
3.2 特征点检测
3.3 目标检测
3.4 卷积的滑动窗口实现
3.5 Bounding Box预测
3.6 交并比
3.7 非极大值抑制
3.8 Anchor Boxes
3.9 YOLO 算法
3.10 RPN网络

第四周 特殊应用：人脸识别和神经风格转换

4.1 什么是人脸识别？
4.2 One-Shot 学习
4.3 Siamese 网络
4.4 Triplet 损失
4.5 面部验证与二分类
4.6 什么是神经风格转换？
4.7 什么是深度卷积网络？
4.8 代价函数
4.9 内容代价函数
4.10 风格代价函数
4.11 一维到三维推广