图文详情

梯度是多元实值函数对应的一个向量值函数；在场论中也可认为是一个将标量场作用为向量场的算子。它代表多元函数的值改变“最快”的方向。

由梯度衍生出的梯度下降法是机器学习中的常用方法；向量场中也常用到梯度描述现象。梯度是一个应用广泛的数学概念。

定义

二元函数

对于可求偏导的函数，其梯度是一个向量值函数，定义为1

$gradf%3D%5Cleft%28%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%5Cright%29$

有时也记为。

在点处，梯度的取值为

$gradf%5Cleft%28P%5Cright%29%3D%5Cleft%28%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%28P%29%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%28P%29%5Cright%29$

例如对于二元函数，其偏导为

$%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%5Cleft%28x%2Cy%5Cright%29%3D2xy%2By%5E3$ $%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%5Cleft%28x%2Cy%5Cright%29%3Dx%5E2%2B3xy%5E2$

那么在点处，梯度的取值为

$gradf%5Cleft%281%2C1%5Cright%29%3D%5Cleft%28%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%281%2C1%29%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%281%2C1%29%5Cright%29%3D%283%2C4%29$

一般的多元函数

对于可求各方向偏导的函数，其梯度定义为

$gradf%3D%5Cleft%28%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5E1%7D%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5E2%7D%2C%5Cldots%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5En%7D%5Cright%29$

在点处，梯度的取值为

$gradf%5Cleft%28P%5Cright%29%3D%5Cleft%28%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5E1%7D%5Cleft%28P%5Cright%29%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5E2%7D%5Cleft%28P%5Cright%29%2C%5Cldots%2C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5En%7D%5Cleft%28P%5Cright%29%5Cright%29$

方向导数

方向导数定义

对于定义在上的多元函数，在点处，沿着向量的方向导数定义为

$%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%5Cvec%7Bl%7D%7D%3D%5Clim_%7Br%5Crightarrow0%5E%2B%7D%7B%5Cfrac%7Bf%5Cleft%28%5Cvec%7Bx%7D%2Br%5Cvec%7Bl%7D%5Cright%29-f%28%5Cvec%7Bx%7D%29%7D%7Br%7C%5Cvec%7Bl%7D%7C%7D%7D$

特别地，如果的模长为1，那么

$%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%5Cvec%7Bl%7D%7D%3D%5Clim_%7Br%5Crightarrow0%5E%2B%7D%7B%5Cfrac%7Bf%5Cleft%28%5Cvec%7Bx%7D%2Br%5Cvec%7Bl%7D%5Cright%29-f%28%5Cvec%7Bx%7D%29%7D%7Br%7D%7D$

其中的被称为向量的方向余弦，是与各方向坐标轴正向的夹角，称为向量的方向角。2

方向导数的定义是一元实函数的导数在多元实函数中的自然推广，它表示了多元函数限制在某个特定方向上后降维为一元函数后的导数。如果上述的向量与坐标轴平行，那么方向导数即为偏导数。

梯度的含义

给定一点，多元函数在该点处梯度的取值是一个向量。可微函数沿该向量的方向导数是最大的。

证明1：给定点，设的模长为1，那么可微函数沿着该向量的方向导数

$%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%5Cvec%7Bl%7D%7D%5Cleft%28P%5Cright%29%3D%5Csum_%7Bk%3D1%7D%5En%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%5Ek%7D%5Cleft%28P%5Cright%29%5Ccos%5Calpha_k%3Dgradf%5Cleft%28P%5Cright%29%C2%B7%5Cvec%7Bl%7D$

显然，当且仅当与梯度同向时，该式取得最大值。最大值为梯度的模长。

应用举例

梯度下降法

梯度下降法是机器学习中最常用的模型优化方法之一3。它通过迭代更新参数的方式，沿着负梯度的方向逐步接近最优解，又叫最速下降法。

场论

梯度是场论中的一个经典算子。其与散度、旋度等在场论中可以组合出许多恒等式，得到许多关于向量场的结论。

一个标量场的梯度是向量场，该向量场是无旋的势场，例如电势场等。势场与物理中的保守作用有关。

来源: 百度百科

内容资源由项目单位提供

科普中国-梯度

定义