矩阵与向量求导入门:从形状到指数运算
看到 $Ax$、$x^\top Ax$ 或 $e^A$ 时,最容易困惑的往往是:结果是什么形状?究竟对谁求导?这里用几个小例子把这两件事说明白,不追求列出所有矩阵求导公式。
全文使用实数,向量默认是列向量。求导时,未被指定为变量的量都当常量。矩阵不必都是方阵;只有涉及矩阵幂、矩阵指数等运算时,才需要方阵。
1. 先看形状,再看运算
提示:同一个表达式里,标量、向量和矩阵承担不同角色。
设 $A\in\mathbb R^{m\times n}$、$x\in\mathbb R^n$、$a$ 为标量:
| 表达式 | 结果形状 | 做了什么 |
|---|---|---|
| $ax$ | $n\times1$ | 每个分量乘同一个数 |
| $Ax$ | $m\times1$ | 矩阵与向量相乘 |
| $x^\top x$ | 标量 | 各分量平方后相加 |
| $xx^\top$ | $n\times n$ | 外积,第 $(i,j)$ 项为 $x_ix_j$ |
| $x\odot x$ | $n\times1$ | 逐元素相乘,即各分量分别平方 |
例如 $x=(1,2)^\top$,则 $x^\top x=5$,而
\[xx^\top=\begin{pmatrix}1&2\\2&4\end{pmatrix}, \qquad x\odot x=\begin{pmatrix}1\\4\end{pmatrix}.\]标量加矩阵需要说明规则。软件里的 A + 2 通常按广播规则给每个元素加 2;数学上应明确写成 $A+2\mathbf1_m\mathbf1_n^\top$。对方阵,$A+2I$ 则只给对角线加 2,两者不同。
小结:矩阵乘法、内积、外积、逐元素运算要分开看;维度能帮助发现许多错误。
2. 导数会是什么形状?
提示:先数输入有几个分量,再数输出有几个分量。
标量对标量求导仍是一个数。若 $f(x)$ 是标量、$x$ 是 $n$ 维向量,本文把各偏导排成列向量,称为梯度:
\[\nabla_x f=\begin{pmatrix}\partial f/\partial x_1\\\vdots\\\partial f/\partial x_n\end{pmatrix}.\]若 $y(x)\in\mathbb R^m$,就把每个输出对每个输入的偏导排成雅可比矩阵:
\[J_{y,x}\in\mathbb R^{m\times n},\qquad (J_{y,x})_{ij}=\frac{\partial y_i}{\partial x_j}.\]例子:$y_1=x_1^2+x_2$、$y_2=3x_1$,于是
\[J_{y,x}=\begin{pmatrix}2x_1&1\\3&0\end{pmatrix}.\]若 $f(W)$ 是标量、$W\in\mathbb R^{m\times n}$,则用同样大小的矩阵装下偏导:\((\nabla_W f)_{ij}=\partial f/\partial W_{ij}\)。矩阵输出对矩阵输入的导数一般需要更多下标;本文用“微小变化怎样传递”来表示,不展开高阶数组。
有些教材把标量对向量的导数写成行向量。那与本文的列梯度约定相差一个转置,不能脱离约定直接拼公式。
小结:标量目标对向量或矩阵的梯度,与变量同形状;向量对向量的导数,用雅可比装起来。
3. 从线性函数开始:转置为什么出现?
提示:把矩阵表达式展开成加法,导数通常就很熟悉了。
对常向量 $a$,$f(x)=a^\top x=\sum_i a_ix_i$,所以 $\nabla_x f=a$。
对 $y=Ax+b$,每个分量是 $y_i=\sum_j A_{ij}x_j+b_i$,因此
\[J_{y,x}=A.\]但若最终目标是标量 $f=c^\top y=c^\top(Ax+b)$,梯度则是
\[\nabla_x f=A^\top c.\]这两个结果不冲突:前一个输出是向量,后一个输出是标量。
数值例子。取
\[A=\begin{pmatrix}1&2\\3&4\end{pmatrix},\quad c=\begin{pmatrix}5\\6\end{pmatrix},\quad b=0.\]则 $f=5(x_1+2x_2)+6(3x_1+4x_2)=23x_1+34x_2$,故 $\nabla_x f=(23,34)^\top=A^\top c$。
小结:向量线性映射的雅可比是 $A$;把标量目标的梯度传回输入时,会出现 $A^\top$。
4. 平方与最小二乘:最常用的几条公式
提示:先算残差,再把残差对变量的影响传回去。
向量平方和是 $f=x^\top x=\sum_i x_i^2$,所以 $\nabla_x f=2x$。更一般的二次型为
\[f=x^\top Ax,\qquad \nabla_x f=(A+A^\top)x.\]只有在 $A$ 对称时才能简写成 $2Ax$。
例子:非对称矩阵。若 \(A=\begin{pmatrix}1&2\\0&3\end{pmatrix}\),则 $f=x_1^2+2x_1x_2+3x_2^2$,梯度为 $(2x_1+2x_2,\ 2x_1+6x_2)^\top$,与 $(A+A^\top)x$ 一致。
最小二乘。设 $r=Ax-b$,则
\[f(x)=\frac12\lVert Ax-b\rVert_2^2, \qquad \boxed{\nabla_x f=A^\top(Ax-b)}.\]例如 \(A=\begin{pmatrix}1&2\\0&1\end{pmatrix}\)、$x=(1,1)^\top$、$b=(2,0)^\top$,残差为 $(1,1)^\top$,损失为 1,梯度为 $(1,3)^\top$。
展开:只用一元链式法则推导最小二乘梯度
\[f=\frac12\sum_i\left(\sum_j A_{ij}x_j-b_i\right)^2, \qquad \frac{\partial f}{\partial x_k}=\sum_i r_iA_{ik}.\]右边正是 $A^\top r$ 的第 $k$ 个分量。前面的 $1/2$ 抵消了平方求导产生的 2。
小结:最小二乘的梯度是“转置矩阵 × 残差”;一般二次型则要同时考虑 $A$ 和 $A^\top$。
5. 对矩阵求导:每个元素都是一个变量
提示:不必先想象复杂的四阶导数,先看一个标量损失。
设 $y=Wx+b$、$\ell=\tfrac12\lVert y-t\rVert_2^2$、$r=y-t$。固定 $x,b,t$,对权重矩阵求导:
\[\boxed{\nabla_W\ell=rx^\top},\qquad \nabla_b\ell=r,\qquad \nabla_x\ell=W^\top r.\]因为 $W_{ij}$ 只影响 $y_i$,影响程度为 $x_j$,所以 $\partial\ell/\partial W_{ij}=r_ix_j$。
例子。若 $x=(1,2)^\top$、$r=(3,-1)^\top$,则
\[\nabla_W\ell=\begin{pmatrix}3\\-1\end{pmatrix} \begin{pmatrix}1&2\end{pmatrix} =\begin{pmatrix}3&6\\-1&-2\end{pmatrix}.\]批量版本。把样本作为列放入 $X\in\mathbb R^{n\times B}$,固定目标 $T$,不计偏置时
\[\ell(W)=\frac1{2B}\lVert WX-T\rVert_F^2, \qquad \nabla_W\ell=\frac1B(WX-T)X^\top.\]Frobenius 范数平方 $\lVert M\rVert_F^2=\sum_{i,j}M_{ij}^2$,就是把矩阵各元素平方后相加。每个样本的外积梯度相加,再取平均,就得到批量公式。
小结:标量损失对矩阵求导,就是对每个元素求偏导;梯度必须能与原矩阵逐元素相减。
6. 微分与链式法则:把复杂表达式拆成几步
提示:用 $dx$ 表示很小的输入变化,观察它怎样影响输出。
对标量目标,$df=(\nabla_x f)^\top dx$;对矩阵变量,约定
\[df=\sum_{i,j}(\nabla_W f)_{ij}\,dW_{ij} =\operatorname{tr}((\nabla_W f)^\top dW).\]迹 $\operatorname{tr}(M)$ 是方阵对角线之和。上式只是把逐元素乘积求和写紧凑,不需要额外记一整套迹求导公式。
例子:矩阵乘积。若 $Y=AB$,则
\[dY=(dA)B+A(dB).\]若下游已经给出 $G=\nabla_Y f$,对应的梯度是 $\nabla_A f=GB^\top$、$\nabla_B f=A^\top G$。例如 $Y=A^2$ 时,同一个 $A$ 在两处出现,必须两条路径都算:
\[d(A^2)=(dA)A+A(dA).\]通常不能合成 $2A\,dA$,因为矩阵乘法不一定可交换。
向量链式法则。若 $y=y(x)$、$f=f(y)$,则
\[\boxed{\nabla_x f=J_{y,x}^\top\nabla_y f}.\]例子:线性变换后做 sigmoid。令 $z=Ax+b$、$h=\sigma(z)$(逐元素)、$f=\sum_i h_i$,则
\[\nabla_x f=A^\top\bigl(h\odot(1-h)\bigr).\]$1-h$ 表示每个分量用 1 减去 $h_i$。若最终损失换成别的函数,先把 $\nabla_h f$ 逐元素乘进来,再左乘 $A^\top$。这就是一层网络的反向传播。
小结:乘法顺序要保留;多个依赖路径的贡献相加;标量目标的梯度通过转置雅可比向前传回。
7. 指数里是向量或矩阵,究竟怎么算?
提示:先确认“每个元素分别取指数”,还是“整个矩阵作为线性变换取指数”。
逐元素指数。对向量 $x$,在机器学习公式中 $\exp(x)$ 通常表示
\[\exp(x)=\begin{pmatrix}e^{x_1}\\\vdots\\e^{x_n}\end{pmatrix},\qquad J_{\exp(x),x}=\operatorname{diag}(e^{x_1},\ldots,e^{x_n}).\]例如 $x=(0,\log2)^\top$,输出为 $(1,2)^\top$。若 $f=e^{x_1}+e^{x_2}$,则 $\nabla_x f=(e^{x_1},e^{x_2})^\top$,在该点为 $(1,2)^\top$。
同样可以对矩阵逐元素取指数,结果形状不变。例如
\[A=\begin{pmatrix}0&1\\0&0\end{pmatrix},\qquad \exp_{\mathrm{elem}}(A)=\begin{pmatrix}1&e\\1&1\end{pmatrix}.\]若 $f(A)=\sum_{i,j}e^{A_{ij}}$,则 $\nabla_A f=\exp_{\mathrm{elem}}(A)$。
矩阵指数。对方阵 $A$,线性代数中的 $e^A$ 通常定义为
\[\boxed{e^A=I+A+\frac{A^2}{2!}+\frac{A^3}{3!}+\cdots}.\]这里 $A^2=AA$ 是矩阵乘法,常数项是单位矩阵 $I$。对上面那个 $A$,因为 $A^2=0$,所以
\[e^A=I+A=\begin{pmatrix}1&1\\0&1\end{pmatrix}.\]它明显不同于逐元素指数。甚至对零矩阵,矩阵指数是 $I$,逐元素指数却是全 1 矩阵。
对角矩阵最容易算。若 $D=\operatorname{diag}(a,b)$,则 $e^D=\operatorname{diag}(e^a,e^b)$,非对角线仍为 0。若 $A=PDP^{-1}$,则 $e^A=Pe^DP^{-1}$;但并非每个矩阵都可对角化,实际数值计算也不必依赖对角化。MIT 的讲义给出了这一定义及性质。
怎样求导?若变量是标量 $t$、$A$ 是固定方阵,则
\[\frac{d}{dt}e^{tA}=Ae^{tA}=e^{tA}A.\]上面的幂零矩阵就有 $e^{tA}=I+tA$,导数恰为 $A$。它用于线性微分方程 \(u'(t)=Au(t)\),解为 $u(t)=e^{tA}u(0)$。
但若 $A=A(t)$,一般不能直接套标量公式写成 \(e^{A(t)}A'(t)\),因为 $A$ 与 \(A'\) 可能不交换。入门时记住这个限制即可。
可选:矩阵本身变化时,指数的一阶变化是什么?
从幂级数求变化,前几项为
\[d(e^A)=dA+\frac{A\,dA+dA\,A}{2!} +\frac{A^2dA+A\,dA\,A+dA\,A^2}{3!}+\cdots.\]只在 $A$ 与 $dA$ 可交换时,才可合并成 $e^A dA$。这也说明“矩阵指数对矩阵求导还是它自己”不是一般成立的说法。
小结:机器学习中的向量指数通常逐元素计算;线性系统中的 $e^A$ 通常指矩阵指数。遇到含糊记号,先找定义。
8. 三个混合运算例子
提示:将长表达式拆成“打分 → 非线性 → 标量目标”。
例一:标量指数里装着内积。$f(x)=e^{a^\top x+b}$ 的指数是标量,所以
\[\nabla_x f=e^{a^\top x+b}a.\]若 $a=(1,2)^\top,b=0,x=(0,0)^\top$,梯度就是 $(1,2)^\top$。
例二:先矩阵乘法,再逐元素指数,最后求和。设 $f(x)=\sum_i e^{(Ax+b)_i}$,则
\[\nabla_x f=A^\top\exp(Ax+b).\]若 \(A=\begin{pmatrix}1&2\\3&4\end{pmatrix}\)、$x=b=0$,指数向量是 $(1,1)^\top$,梯度为 $(4,6)^\top$。
例三:高斯函数中的二次型。若 $A$ 为对称矩阵,
\[f(x)=e^{-\frac12x^\top Ax},\qquad \nabla_x f=-f(x)Ax.\]当 $A=I$、$x=(1,0)^\top$,$f=e^{-1/2}$、梯度为 $(-e^{-1/2},0)^\top$。方向朝原点,因为朝中心移动会让函数值增加。若要把它归一化成非退化高斯密度,还需 $A$ 正定及相应的归一化常数。
小结:这些混合公式仍然只用到了线性求导、平方求导、指数求导和链式法则。
9. 一张够用的速查表
提示:先确认常量、变量和约定,再使用公式。
| 表达式 | 对谁求导 | 结果 |
|---|---|---|
| $a^\top x$ | $x$ | $a$ |
| $Ax+b$ | $x$,雅可比 | $A$ |
| $x^\top x$ | $x$ | $2x$ |
| $x^\top Ax$ | $x$ | $(A+A^\top)x$ |
| $\tfrac12\lVert Ax-b\rVert_2^2$ | $x$ | $A^\top(Ax-b)$ |
| $\tfrac12\lVert Wx-t\rVert_2^2$ | $W$ | $(Wx-t)x^\top$ |
| $e^{a^\top x}$ | $x$ | $e^{a^\top x}a$ |
| $\sum_i e^{(Ax)_i}$ | $x$ | $A^\top\exp(Ax)$,逐元素指数 |
| $e^{tA}$,固定 $A$ | 标量 $t$ | $Ae^{tA}$,矩阵指数 |
计算后检查三件事:结果形状是否正确?有没有把矩阵乘法换序?同一个变量出现在多处时,是否遗漏了某条路径?若仍不确定,就展开一个二维例子,逐分量求导。
本节小结:先辨形状,再拆步骤,最后核对;多数入门问题都能用这套方法处理。
进一步阅读。Stanford CS231n:向量化反向传播;MIT:矩阵指数。本文的数值例子与推导为独立整理,重点是统一列梯度约定与运算含义。
AI feedback
AnonymousLoading AI feedback…