神经网络:从表示学习到反向传播
识别一个手写数字时,直接数黑色像素往往不够:两个不同的数字也可能有相同的墨水量。我们真正需要的是能区分笔画、形状和组合方式的表示。神经网络把“怎样构造表示”也纳入学习过程。
本文根据 Jan Peters 的 Statistical Machine Learning, Lecture 11: Neural Networks(TU Darmstadt,2019 夏季学期)重新组织,补充直觉、算例和推导。它是一篇独立文章,只需要基本的矩阵乘法与一元求导知识。先读各节的提示、例子和小结,就能把握主线;折叠部分留给想核对推导的读者。
1. 表示学习:连同“看数据的方法”一起学习
阅读提示:先问模型接收到的是什么,而不是先数它有几层。
传统方法常先指定特征 $\phi(x)$,再学习权重。例如把图像变成“黑色像素数、横向笔画数”等数值,用线性模型预测:
\[\widehat y=w^\top\phi(x)+b.\]神经网络则让特征本身也依赖待学习的参数:
\[h=\phi(x;\theta),\qquad \widehat y=g(h;\omega).\]训练同时调整 $\theta$ 和 $\omega$。前半部分学习怎样表示输入,后半部分学习怎样利用这个表示。用于图像时,较浅层可能响应局部边缘,后续层再组合这些信息;具体学到什么仍取决于数据、任务和网络结构。
不要把这种模型理解成大脑的精确模拟。这里的神经元主要是一个方便组合、计算和求导的数学单元。
本节小结:神经网络既学习预测规则,也学习预测所需要的中间特征。
2. 一个神经元:加权求和,再做变换
阅读提示:把权重理解成各项输入的影响,把偏置理解成整体平移。
对列向量 $x\in\mathbb R^d$,一个神经元计算
\[z=w^\top x+b,\qquad h=f(z).\]$z$ 是激活前的数值,$f$ 是激活函数。例如 $w=(2,-1)^\top$、$x=(1,3)^\top$、$b=1$ 时,$z=2-3+1=0$。若 $f$ 为 sigmoid,输出就是 $1/2$。
把 $m$ 个神经元放到一起,就得到一层:
\[z=Wx+b,\qquad h=f(z),\qquad W\in\mathbb R^{m\times d},\quad b,h\in\mathbb R^m.\]通常 $f$ 对各分量分别作用。矩阵的第 $j$ 行装着第 $j$ 个神经元的权重;该层共有 $md+m$ 个参数。也可以把偏置合并进权重:$\widetilde x=(x^\top,1)^\top$、$\widetilde W=[W\ b]$,于是 $z=\widetilde W\widetilde x$。本文保留单独的 $b$,便于检查维度。
感知机与逻辑回归。硬阈值感知机用 \(\mathbf 1\{w^\top x+b>0\}\) 输出类别,sigmoid 单元则输出平滑的概率。它们不是同一个模型,但只有这一个仿射打分时,二分类的 $0.5$ 概率边界都是超平面 $w^\top x+b=0$。本文重点讨论可用梯度训练的平滑或分段光滑网络。
本节小结:一层就是一次矩阵乘法、一次加偏置和一次激活;先写形状,公式会清楚很多。
3. 多层网络为什么需要非线性?用 XOR 看一遍
阅读提示:层数本身不创造非线性,激活函数才是关键。
一个含单个隐藏层的多层感知机(multilayer perceptron,MLP)写成
\[h=f(W^{(1)}x+b^{(1)}),\qquad \widehat y=g(W^{(2)}h+b^{(2)}).\]隐藏层叫“隐藏”,只是因为训练数据通常没有给它指定答案。若中间没有非线性,连续两层可以合并:
\[W^{(2)}(W^{(1)}x+b^{(1)})+b^{(2)} =(W^{(2)}W^{(1)})x+W^{(2)}b^{(1)}+b^{(2)}.\]这仍是一个仿射变换,无法因此获得弯曲的决策边界。
例子:异或(XOR)。两个输入不同时输出 1,相同时输出 0。对四个二进制输入,取 $s=x_1+x_2$,构造
\[h_1=\operatorname{ReLU}(s),\qquad h_2=\operatorname{ReLU}(s-1),\qquad \widehat y=h_1-2h_2.\]| 输入 | $s$ | $h_1$ | $h_2$ | $\widehat y$ |
|---|---|---|---|---|
| $(0,0)$ | 0 | 0 | 0 | 0 |
| $(1,0)$ | 1 | 1 | 0 | 1 |
| $(0,1)$ | 1 | 1 | 0 | 1 |
| $(1,1)$ | 2 | 2 | 1 | 0 |
这里输出在四个指定点上恰好等于标签;并不是声称这个线性输出在任意输入上都能当概率。这个构造展示“网络能表示什么”,参数尚未通过训练得到。
展开:一条直线为什么分不开 XOR?
假设正类要求 $w_1x_1+w_2x_2+b>0$,负类要求它不大于 0。由两个正类点得到 $w_1+b>0$、$w_2+b>0$,相加得 $w_1+w_2+2b>0$。而两个负类点要求 $b\leq0$、$w_1+w_2+b\leq0$,相加却得到 $w_1+w_2+2b\leq0$,矛盾。
本节小结:非线性隐藏层先改变表示,输出层再在新的表示上做简单组合。
4. 激活函数:不仅改变形状,也影响梯度
阅读提示:同时看函数值和导数;导数决定训练信号能否传回去。
常见激活有
\[\begin{aligned} \sigma(z)&=\frac{1}{1+e^{-z}},&\sigma'(z)&=\sigma(z)(1-\sigma(z)),\\ \tanh'(z)&=1-\tanh^2(z),\\ \operatorname{ReLU}(z)&=\max(0,z),& \operatorname{ReLU}'(z)&=\begin{cases}1,&z>0,\\0,&z<0.\end{cases} \end{aligned}\]sigmoid 把数压到 $(0,1)$,适合二分类概率输出。但当 $z$ 很大或很小时,它已接近饱和,导数很小;事实上导数最大也只有 $1/4$。tanh 的输出以 0 为中心,但两端也会饱和。
ReLU 在正半轴的导数是 1,不会因为激活本身而持续缩小这一路梯度。但若某个单元对所有训练输入都落在负半轴,它的梯度会长期为零,这就是“死亡 ReLU”。在 $z=0$ 处不可导,计算实现通常约定采用 0。
本节小结:隐藏层要有非线性,也要能传递有用的梯度;ReLU 有优势,但不能独自解决所有训练问题。
5. 输出与损失:先说明答案代表什么
阅读提示:预测温度、判断是否患病、识别一个数字,需要不同的输出解释。这里仅用它们说明任务类型。
统一记真实目标为 $t$、网络输出为 $\widehat y$,单样本损失为 $\ell$。
回归:线性输出与平方损失。令 $\widehat y=z$,常用
\[\ell=\frac12\lVert\widehat y-t\rVert_2^2.\]这对应固定方差的高斯观测模型,忽略与参数无关的常数和正比例因子后,即负对数似然。
二分类:sigmoid 与二元交叉熵。令 $p=\sigma(z)=P(t=1\mid x)$,其中 \(t\in\{0,1\}\):
\[\ell=-t\log p-(1-t)\log(1-p),\qquad \frac{\partial\ell}{\partial z}=p-t.\]例如真实标签为 1,预测概率从 $0.5$ 提高到 $0.9$,损失从约 $0.693$ 降到 $0.105$。若预测接近 0,则会受到很大的惩罚。
互斥多分类:softmax 与交叉熵。对 $K$ 个类别打分 $z_k$:
\[p_k=\frac{e^{z_k}}{\sum_{j=1}^K e^{z_j}},\qquad \ell=-\sum_{k=1}^K t_k\log p_k,\qquad \frac{\partial\ell}{\partial z_k}=p_k-t_k.\]$t$ 为 one-hot 标签,分量和为 1。softmax 的分母使所有类别相互关联;它不是对每一类分别做 sigmoid。若标签可同时成立,例如一张照片既有猫也有狗,应考虑每类独立的 sigmoid 与二元交叉熵。
展开:交叉熵的梯度为什么简化成“预测减目标”?
二分类时,先对 $p$ 求导,再乘 $dp/dz=p(1-p)$:
\[\frac{\partial\ell}{\partial z} =\left(-\frac{t}{p}+\frac{1-t}{1-p}\right)p(1-p)=p-t.\]softmax 情况用 $\sum_k t_k=1$ 改写:
\[\ell=-\sum_k t_kz_k+\log\sum_j e^{z_j}.\]对 $z_k$ 求导立即得到 $p_k-t_k$。此处已经包含输出激活的导数,反传时不要再额外乘一次。
计算 softmax 时可从所有打分中减去 $m=\max_j z_j$,使用 $e^{z_k-m}$,概率不变,却能避免指数溢出。损失最好直接通过稳定的 log-sum-exp 形式计算。
本节小结:损失表达了怎样衡量错误;与输出的概率含义一起选择,梯度也往往更自然。
6. 前向传播:把一次预测完整算出来
阅读提示:前向传播只负责用当前参数计算结果,还没有修改参数。
对有 $L$ 个参数层的网络,统一写作
\[h^{(0)}=x,\qquad z^{(l)}=W^{(l)}h^{(l-1)}+b^{(l)},\qquad h^{(l)}=f^{(l)}(z^{(l)}),\quad l=1,\ldots,L.\]最后 $h^{(L)}=\widehat y$。这里输入层不计入 $L$。
手算例子。一个隐藏单元采用 sigmoid,输出采用线性函数:
\[h=\sigma(w_1x+b_1),\qquad \widehat y=w_2h+b_2.\]取 $x=1,t=1,w_1=b_1=b_2=0,w_2=1$。依次得到 $z_1=0$、$h=0.5$、$\widehat y=0.5$、$\ell=\tfrac12(0.5-1)^2=0.125$。训练时需保存这些中间结果,以便反向传播复用。
本节小结:前向传播沿输入到输出的方向算预测和损失,并留下求导需要的中间值。
7. 反向传播:逐层分配对误差的影响
阅读提示:先理解“这一层的变化会怎样影响最终损失”,再看矩阵公式。
定义误差信号为对激活前数值的梯度:$\delta^{(l)}=\nabla_{z^{(l)}}\ell$。它不是这一层的预测误差,而是损失对这一层每个分量的敏感程度。
对于上一节的网络,令 $r=\widehat y-t=-0.5$。由链式法则:
\[\begin{aligned} \frac{\partial\ell}{\partial w_2}&=rh=-0.25,& \frac{\partial\ell}{\partial b_2}&=r=-0.5,\\ \frac{\partial\ell}{\partial w_1}&=rw_2h(1-h)x=-0.125,& \frac{\partial\ell}{\partial b_1}&=rw_2h(1-h)=-0.125. \end{aligned}\]例如 $w_1$ 必须依次经过“改变隐藏输入 → 改变隐藏输出 → 改变预测 → 改变损失”这条路径,所以对应导数要相乘。
对一般网络,输出层的 $\delta^{(L)}$ 由损失和输出激活共同确定。线性输出配平方损失时为 $\widehat y-t$;sigmoid/softmax 配上述交叉熵时也有相应的 $p-t$。隐藏层和参数梯度为
\[\boxed{\delta^{(l)}= \left((W^{(l+1)})^\top\delta^{(l+1)}\right) \odot (f^{(l)})'(z^{(l)})}\] \[\boxed{\nabla_{W^{(l)}}\ell=\delta^{(l)}(h^{(l-1)})^\top, \qquad\nabla_{b^{(l)}}\ell=\delta^{(l)}}.\]$\odot$ 为逐元素乘法。若本层有 $m$ 个单元、前层有 $d$ 个单元,梯度形状是 $(m\times1)(1\times d)=m\times d$,恰好与 $W$ 相同。
展开:矩阵形式来自逐分量的链式法则
由 $z_i^{(l)}=\sum_j W_{ij}^{(l)}h_j^{(l-1)}+b_i^{(l)}$,有
\[\frac{\partial\ell}{\partial W_{ij}^{(l)}} =\frac{\partial\ell}{\partial z_i^{(l)}}h_j^{(l-1)} =\delta_i^{(l)}h_j^{(l-1)}.\]上游第 $j$ 个单元影响下一层的多个单元,各条路径的贡献要相加:
\[\frac{\partial\ell}{\partial h_j^{(l)}} =\sum_i W_{ij}^{(l+1)}\delta_i^{(l+1)}.\]再乘本单元激活的导数,便得到 $\delta_j^{(l)}$。因此,沿路径乘、遇分支加,就是反向传播的核心。
梯度与更新是两件事。所有梯度算完后,梯度下降才执行 $\theta\leftarrow\theta-\eta\nabla_\theta\ell$。取学习率 $\eta=0.1$,上述参数变为 $w_1=b_1=0.0125,w_2=1.025,b_2=0.05$;重新前向计算,$\widehat y\approx0.5689$、$\ell\approx0.0929$,确实低于原来的 $0.125$。反传过程中不能提前更新 $w_2$,再拿新值计算 $w_1$ 的旧参数梯度。
本节小结:反向传播高效计算梯度,优化器利用梯度更新参数;它们各有职责。
8. 梯度为什么会消失?跳跃连接做了什么?
阅读提示:把连续求导想成连续相乘,很多小数相乘会迅速变小。
深层网络反传时会连续乘权重矩阵和激活导数。只看十个 sigmoid 导数,它们的乘积至多是 $(1/4)^{10}\approx9.54\times10^{-7}$。这只用于说明激活的缩小效应,完整梯度还取决于权重和传播方向;矩阵的反复放大也可能造成梯度爆炸。
残差块让输出为 $h_{\mathrm{out}}=h+F(h)$,因此
\[\frac{\partial h_{\mathrm{out}}}{\partial h}=I+J_F(h).\]这里 $J_F$ 是 $F$ 的雅可比矩阵。恒等路径为梯度提供一条更直接的通道,但仍不能保证梯度永远不消失或不爆炸。
怎样核对反传?在小网络上可用中心差分检查一个参数:
\[\frac{\partial\ell}{\partial\theta_j} \approx\frac{\ell(\theta+\varepsilon e_j)-\ell(\theta-\varepsilon e_j)}{2\varepsilon}.\]$e_j$ 是第 $j$ 个坐标方向。它适合排错,但 $P$ 个参数需要约 $2P$ 次前向计算,训练大网络成本太高。反传复用中间结果,计算全部梯度的代价通常只是前向计算的常数倍。核对时应避开 ReLU 的折点,并关闭 dropout 等随机因素。
本节小结:深度让表示更丰富,也让梯度传播更困难;残差连接和数值核对分别帮助训练与排错。
9. 全量、随机与小批量梯度下降
阅读提示:三者主要区别是每次用多少样本估计梯度。
训练通常最小化平均损失
\[J(\theta)=\frac1N\sum_{n=1}^N\ell_n(\theta).\]全量梯度下降每次读取全部 $N$ 个样本;单样本随机梯度下降(stochastic gradient descent,SGD)每次只用一个样本;小批量方法取 $B$ 个样本组成集合 $\mathcal B$:
\[g=\frac1B\sum_{n\in\mathcal B}\nabla_\theta\ell_n, \qquad\theta\leftarrow\theta-\eta g.\]均匀抽取小批量时,这个平均梯度是全量梯度的无偏估计。小批量兼顾了计算效率和估计波动,也便于矩阵并行计算。实践中的“SGD”常包含小批量版本。一个 epoch 表示遍历训练集一遍,并不是更新一次。
例如 $N=1000,B=100$ 时,一个 epoch 通常有 10 次更新。若样本按类别排列,可在每轮训练前随机打乱,避免连续批次长时间偏向某一类;对时序任务则应保留任务所需的顺序。
本节小结:每一步不必知道全部样本的精确梯度,但要理解抽样、批大小和更新次数的关系。
10. 优化器:控制步长,也利用过去的方向
阅读提示:优化器改变怎样走,反向传播提供往哪边走的信息。
学习率太小,训练缓慢;太大,可能振荡甚至发散。动量把最近的梯度平滑起来:
\[m_t=\beta m_{t-1}+(1-\beta)g_t,\qquad \theta_t=\theta_{t-1}-\eta_t m_t.\]持续一致的方向会累积,来回变化的方向则部分抵消。有些实现省略 $(1-\beta)$,这时学习率的尺度也随之改变。
Adam同时跟踪梯度与梯度平方的指数移动平均。下面采用原论文的常见记号,$m_0=v_0=0$,$t$ 从 1 开始:
\[\begin{aligned} m_t&=\beta_1m_{t-1}+(1-\beta_1)g_t,\\ v_t&=\beta_2v_{t-1}+(1-\beta_2)(g_t\odot g_t),\\ \widehat m_t&=\frac{m_t}{1-\beta_1^t},\qquad \widehat v_t=\frac{v_t}{1-\beta_2^t},\\ \theta_t&=\theta_{t-1}-\eta_t\frac{\widehat m_t}{\sqrt{\widehat v_t}+\epsilon}. \end{aligned}\]开方和除法都逐元素进行。偏差修正补偿从零初始化带来的早期低估,$\epsilon$ 防止分母过小。常见起点为 $\beta_1=0.9,\beta_2=0.999,\epsilon=10^{-8}$;学习率仍需结合任务选择,Adam 也不保证每一步损失都下降。原论文给出了算法定义。
讲义还介绍了自适应缩放和小网络上的二阶方法。直观上,二阶方法进一步利用局部曲率;大网络中显式保存和处理曲率矩阵通常很昂贵。对于小型平方损失问题,Levenberg–Marquardt 可解
\[(J_f^\top J_f+\lambda I)\Delta\theta=J_f^\top(t-f(\theta)), \qquad\theta\leftarrow\theta+\Delta\theta,\]其中 $J_f$ 为模型输出对参数的雅可比矩阵,$\lambda>0$ 为阻尼。实际求解线性方程组即可,不必显式求逆。
本节小结:动量平滑方向,Adam 按参数调整尺度,二阶方法利用曲率;这些方法都不能替代合理的模型和数据。
11. 初始化:让信号从一开始就能传播
阅读提示:随机初始化既要打破神经元之间的对称,也要控制数值尺度。
同一隐藏层若所有单元具有相同的初始权重和偏置,它们通常会产生相同输出并收到相同更新,无法充分学出不同特征。偏置常可置零,权重则需要适当的随机差异。
若每个单元接收 $n_{\mathrm{in}}$ 个输入,粗略地说,加权和的方差会随 $n_{\mathrm{in}}\operatorname{Var}(W_{ij})$ 增长。因此权重的尺度要随输入数量调整。
Xavier/Glorot 初始化:常用于近似线性区间内的传播分析:
\[W_{ij}\sim\mathcal U\left[-\sqrt{\frac6{n_{\mathrm{in}}+n_{\mathrm{out}}}}, \sqrt{\frac6{n_{\mathrm{in}}+n_{\mathrm{out}}}}\right].\]该分布方差为 $2/(n_{\mathrm{in}}+n_{\mathrm{out}})$。补充:He 初始化针对 ReLU 的截断效应,常取 $\operatorname{Var}(W_{ij})=2/n_{\mathrm{in}}$。这些是基于简化假设得到的实用尺度,而非对任意网络的保证。
本节小结:初始化要让不同单元有机会学出差异,同时避免前向信号和反向梯度一开始就过大或过小。
12. 过拟合:训练集上的成功还不够
阅读提示:训练损失回答“已见数据拟合得怎样”,验证表现回答“能否迁移到未见数据”。
网络可能把训练数据中的噪声也记住。需要区分训练集、用于调参和早停的验证集,以及最后评估的测试集。网络大小会影响拟合能力,但仅凭参数个数不能断定泛化表现。
L2 正则化。把参数记为 $\theta$,目标为
\[J_{\mathrm{reg}}=J+\frac\lambda2\lVert\theta\rVert_2^2, \qquad \theta\leftarrow(1-\eta\lambda)\theta-\eta\nabla J.\]这在普通梯度下降下体现为权重衰减;通常主要约束权重。在 Adam 中,把 L2 项加进梯度与直接实施权重衰减并不等价。
早停。记录验证指标,耐心等待若干轮仍无改进后停止,并恢复验证表现最好的参数。不要用测试集反复选择停止位置。
数据增强。例如在标签不变的前提下平移图像。增强要符合任务:数字 6 旋转后可能变成 9,不能机械地假设所有变换都保持标签。
Dropout。训练时独立随机保留部分激活。采用保留概率 $q$ 的 inverted dropout:
\[\widetilde h=\frac{r\odot h}{q},\qquad r_j\sim\operatorname{Bernoulli}(q), \qquad\mathbb E[\widetilde h\mid h]=h.\]推理时关闭这种随机屏蔽,直接用 $h$。除以 $q$ 保持期望尺度;这里 $q$ 是“保留概率”,不是“丢弃概率”。
批归一化(batch normalization,BN)。对一个特征在批内计算均值 $\mu_{\mathcal B}$ 和方差 $v_{\mathcal B}$,再变换:
\[\widehat a=\frac{a-\mu_{\mathcal B}}{\sqrt{v_{\mathcal B}+\epsilon}}, \qquad y=\gamma\widehat a+\beta.\]$\gamma,\beta$ 可学习;推理时通常使用训练期间积累的统计量。BN 主要改变训练中的数值尺度与优化行为,可能带来正则化效果,但不是 dropout 的等价替代品。这里列在同节,是为了对照它们处理的不同问题。
本节小结:用验证数据检查泛化,再按问题选择正则化、早停、增强等方法;训练和推理的行为也必须一致地设置。
13. 表达能力:能逼近,不等于能学到
阅读提示:把“存在合适的参数”“训练能找到它”“新数据上仍有效”分成三个问题。
通用逼近定理的一种常见表述是:对紧集 $K$ 上的连续函数 $f_\star$,采用合适的非线性激活,允许一个隐藏层足够宽,则对任意 $\varepsilon>0$,存在网络 $f_\theta$ 满足
\[\sup_{x\in K}|f_\theta(x)-f_\star(x)|<\varepsilon.\]它没有给出训练算法找到这些参数的保证,也没有说少量数据就足够。隐藏层宽度还可能很大。深度的意义之一,是利用组合结构更紧凑地表示某些函数,而不是所有任务都必然需要深网络。
ReLU 网络在输入空间中形成分段仿射区域;特定条件下,深度可以显著增加可表示的区域数量。Montúfar 等人的论文研究了这种表达能力,但区域多并不直接等于测试误差低。
本节小结:表达能力、优化难度和泛化能力是三个不同维度,不能由一个定理全部回答。
14. CNN 与 RNN:把数据结构写进网络
阅读提示:结构设计的关键是:哪些位置应该共享同一种计算?
卷积神经网络(convolutional neural network,CNN)。图像中的相邻像素往往有关,同一种边缘也可能出现在不同位置。卷积层用一个小窗口扫描图像,并在各位置共享权重。单输入通道的简化形式为
\[z_{i,j}=\sum_{u,v}K_{u,v}x_{i+u,j+v}+b.\]严格说,这个深度学习中的常见写法是互相关,没有翻转核。多通道时还要对输入通道求和。例如 $3\times3$ 卷积把 3 个输入通道变成 16 个输出通道,只需要 $3\times3\times3\times16+16=448$ 个参数,与图像宽高无关。局部连接减少参数,共享权重使同一检测器能在各位置使用。
最大池化在局部窗口内取最大值,减少空间尺寸。卷积具有适当边界条件下的平移等变性,含义是输入平移会对应到特征图的平移;它并不自动保证整个分类器完全平移不变。
循环神经网络(recurrent neural network,RNN)。序列计算维护随时间更新的状态:
\[h_t=\tanh(W_hh_{t-1}+W_xx_t+b),\qquad \widehat y_t=g(W_yh_t+c).\]同一组权重在不同时间重复使用。把时间展开后就可用反向传播,称为通过时间的反向传播(backpropagation through time,BPTT);共享参数的梯度需要累加各时间点的贡献。长序列上反复乘雅可比,同样可能导致梯度消失或爆炸。
长短期记忆网络(long short-term memory,LSTM)用门控制信息的保留、写入与读取。其中记忆更新可写成
\[c_t=f_t\odot c_{t-1}+i_t\odot\widetilde c_t.\]$f_t$ 是遗忘门,$i_t$ 是输入门,$\widetilde c_t$ 是候选记忆。加法更新提供较直接的信息通道,有助于学习较长依赖,但不意味着任意长的记忆都能无损保存。
讲义中的视觉识别与端到端驾驶案例,展示了“从输入直接训练到任务输出”的做法。理解这些案例时,应关注网络如何利用图像结构、如何定义训练目标,以及如何评估未见数据上的表现。
本节小结:CNN 让检测器在空间位置共享,RNN 让状态更新规则在时间上共享;结构体现了对数据的假设。
15. 把训练流程连起来
阅读提示:先能讲清楚一轮训练,再去记不同网络的名字。
一次更新可以概括为:抽取小批量 → 前向计算预测与损失 → 反向计算梯度 → 优化器更新参数。每轮或每隔若干步,在验证集上评估并记录表现;验证时关闭 dropout,并切换 BN 的统计量使用方式。
可以用下面四个问题自测:
- 没有隐藏层非线性时,为什么增加层数仍然分不开 XOR?
- 为什么 sigmoid 配交叉熵的输出误差信号是 $p-t$?
- 为什么一层的权重梯度是“本层误差信号 × 前层输出的转置”?
- 为什么训练损失一直下降,仍可能需要早停?
展开:自测答案
- 中间的仿射变换可以合并,分类边界仍是超平面。
- 对概率的损失导数与 sigmoid 导数相乘后化简为 $p-t$。
- 单个权重只通过对应单元的加权和影响损失,逐分量求导得到 $\delta_i h_j$。
- 训练可能继续拟合噪声,验证表现已经变差;目标是泛化到新数据。
本节小结:网络给出可学习的函数,损失定义目标,反传算梯度,优化器改参数,验证集检查是否学到了可推广的规律。
16. 符号与来源
| 符号 | 含义 |
|---|---|
| $x,t,\widehat y$ | 输入、真实目标、预测 |
| $W,b,\theta$ | 层权重、偏置、全部待学习参数 |
| $z,h,\delta$ | 激活前数值、层输出、损失对激活前数值的梯度 |
| $\ell,J,N,B$ | 单样本损失、平均训练目标、样本数、批大小 |
| $\eta,\lambda,\odot$ | 学习率、正则化强度、逐元素乘法 |
主要来源。Jan Peters,TU Darmstadt,Statistical Machine Learning, Lecture 11: Neural Networks,Summer Semester 2019,用户提供的 lecture_11_Neural_Networks.pdf。原文件共 125 个 PDF 页面,含逐步展示的重复页,幻灯片编号至 109。本文按概念重新编排,并非逐页翻译。
核对与补充。幻灯片 45 的平方损失示例把对预测值的导数写成了 $t-\widehat y$;本文统一为 $\widehat y-t$。幻灯片 82 的权重衰减式存在系数与符号不一致,本文从明确的 $\lambda\lVert\theta\rVert^2/2$ 出发推导。Adam 使用原论文的标准偏差修正形式;讲义中“Adadelta”页展示的是按梯度平方均值缩放的简化形式,本文没有将其当成完整 Adadelta 算法。XOR 的 ReLU 构造、手算更新和 He 初始化为补充说明。
延伸阅读。Deep Learning,第 6 章;Adam 原论文;Glorot 与 Bengio 的初始化论文;He 等人的 ReLU 初始化论文。
来源、版权与使用说明。本文用于个人学习与知识整理。讲义及其中第三方材料的权利归相应作者或权利方,未据此推定其可自由转载;本站不附原始 PDF,也不搬用原讲义插图。中文解释、补充算例及重新组织的推导不代表原作者或学校立场。如有公式、术语或理解上的疏漏,欢迎指出。
AI feedback
AnonymousLoading AI feedback…