主要内容

课程 2: 二次近似

海森矩阵

海森矩阵是一个组织一个函数的所有第二偏导数的矩阵。

背景：

多变量函数

f (x, y, z, \dots)

的”海森矩阵“，不同的作者会写为

H (f)

,，

H f

，或者

H_{f}

，把所有二阶偏导数组织到一个矩阵中:

H f = [\begin{array}{ccc} \frac{\partial^{2} f}{\partial x^{2}} & \frac{\partial^{2} f}{\partial x \partial y} & \frac{\partial^{2} f}{\partial x \partial z} & \dots \\ \frac{\partial^{2} f}{\partial y \partial x} & \frac{\partial^{2} f}{\partial y^{2}} & \frac{\partial^{2} f}{\partial y \partial z} & \dots \\ \frac{\partial^{2} f}{\partial z \partial x} & \frac{\partial^{2} f}{\partial z \partial y} & \frac{\partial^{2} f}{\partial z^{2}} & \dots \\ ⋮ & ⋮ & ⋮ & ⋱ \end{array}]

所以, 这里需要注意两件事:

这只对标量值函数有意义。
此对象 $H f$ ‍不是普通矩阵;它是一个矩阵与函数作为元素。换句话说，它的目的是在某个点计算 $(x_{0}, y_{0}, \dots)$ ‍。
$H f (x_{0}, y_{0}, \dots) = [\begin{array}{ccc} \frac{\partial^{2} f}{\partial x^{2}} (x_{0}, y_{0}, \dots) & \frac{\partial^{2} f}{\partial x \partial y} (x_{0}, y_{0}, \dots) & \dots \\ \frac{\partial^{2} f}{\partial y \partial x} (x_{0}, y_{0}, \dots) & \frac{\partial^{2} f}{\partial y^{2}} (x_{0}, y_{0}, \dots) & \dots \\ ⋮ & ⋮ & ⋱ \end{array}]$ ‍

因此，你也许会将这个对象

H f

作为”矩阵“函数调用，是吗？

在单变量的世界里，事情是如此简单。导数、二阶导数等都是单变量函数。

现在, 当标量函数

f

有多个输入时，一阶导数的模拟是梯度，

\nabla f

，这是一个向量函数，二阶导数的模拟是海森矩阵

H f

，这是一个矩阵函数。

你可能想知道对于高阶导数、三阶、四阶等是否有类似的概念。有啊! 甚至有一个很好的扩展泰勒的公式可以通用。

"真的啊，他们是什么？"，我听到你急切地问。好吧，用它们的全部荣耀来表达它们涉及到一种叫做 "多线性代数" 的东西。它既迷人又美丽，但不幸的是，有点超出了我们目前讨论的范围。耐心。

更重要的是， "海森" 一词有时也指这个矩阵的行列式 而不是矩阵本身。

问题: 计算

f (x, y) = x^{3} - 2 x y - y^{6}

在点

(1, 2)

的海森:

解析: 最终我们需要

f

的所有二阶偏导数, 因此, 让我们首先计算这两个偏导数:

\begin{aligned} f_{x} (x, y) & = \frac{\partial}{\partial x} (x^{3} - 2 x y - y^{6}) = 3 x^{2} - 2 y \\ f_{y} (x, y) & = \frac{\partial}{\partial y} (x^{3} - 2 x y - y^{6}) = - 2 x - 6 y^{5} \end{aligned}

有了这些，我们计算所有四个二阶偏导数:

\begin{aligned} f_{x x} (x, y) & = \frac{\partial}{\partial x} (3 x^{2} - 2 y) = 6 x \\ f_{x y} (x, y) & = \frac{\partial}{\partial y} (3 x^{2} - 2 y) = - 2 \\ f_{y x} (x, y) & = \frac{\partial}{\partial x} (- 2 x - 6 y^{5}) = - 2 \\ f_{y y} (x, y) & = \frac{\partial}{\partial y} (- 2 x - 6 y^{5}) = - 30 y^{4} \end{aligned}

在这种情况下，海森矩阵是一个

2 \times 2

矩阵，这些函数作为每一个元素:

H f (x, y) = [\begin{array}{cc} f_{x x} (x, y) & f_{y x} (x, y) \\ f_{x y} (x, y) & f_{y y} (x, y) \end{array}] = [\begin{array}{cc} 6 x & - 2 \\ - 2 & - 30 y^{4} \end{array}]

我们被要求在点

(x, y) = (1, 2)

处对此进行计算，因此我们带入这些值:

H f (1, 2) = [\begin{array}{cc} 6 (1) & - 2 \\ - 2 & - 30 (2)^{4} \end{array}] = [\begin{array}{cc} 6 & - 2 \\ - 2 & - 480 \end{array}]

现在，问题是有歧义的，因为 "海森" 可以指这个矩阵，也可以指它的行列式。您需要的内容取决于上下文。例如, 在优化多变量函数时, 有一种叫做 "二阶导数测试" 的东西, 它使用海森行列式。当海森用于近似函数时, 您只需使用矩阵本身。

如果我们想要的是行列式，下面是我们得到的：

det ([\begin{array}{cc} 6 & - 2 \\ - 2 & - 480 \end{array}]) = 6 (- 480) - (- 2) (- 2) = - 2884

包含多变量函数的所有二阶导数信息，海森矩阵通常起到类似于单变量微积分中的普通二阶导数的作用。最值得注意的是，它出现在这两种情况中：

排序方式:

尚无帖子。