二次近似

背景

• 局部线性法
• 图像
• 二次偏导数

我们要做什么

• $f$f 是一个具有多维输入和标量输出的函数。
• $\nabla f(\textbf{x}_0)$del, f, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 $f$f 在 $\textbf{x}_0$start bold text, x, end bold text, start subscript, 0, end subscript 的梯度。
• $\textbf{H}_f(\textbf{x}_0)$start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 $f$f 在 $\textbf{x}_0$start bold text, x, end bold text, start subscript, 0, end subscript 的海森矩阵 。
• 向量 $\textbf{x}_0$start bold text, x, end bold text, start subscript, 0, end subscript 是一个特定的输入, 一个我们近似接近接近。
• 向量 $\textbf{x}$start bold text, x, end bold text 代表变量输入。
• 近似函数， $Q_f$Q, start subscript, f, end subscript， 具有相同的值与 $f$f 在 $\textbf{x}_0$start bold text, x, end bold text, start subscript, 0, end subscript点， 在这一点上其所有偏导数和 $f$f具有相同的值, 其所有 第二个 偏导数在这一点上也和 $f$f 具有相同的值。

更紧密和更严格的近似值

零阶近似值

一阶近似值

二阶近似值

"二次方" 是指两个变量的乘积

二次函数图像

局部线性法提示

• 首先从常常数 $f(x_0, y_0)$f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis 开始，这样我们的近似值至少在$(x_0, y_0)$left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis上匹配 $f$f。
• 加上线性项 $\blueE{f_x(x_0, y_0)}(x - x_0)$start color #0c7f99, f, start subscript, x, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #0c7f99, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis 和 $\redE{f_y(x_0, y_0)}(y - y_0)$start color #bc2612, f, start subscript, y, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #bc2612, left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis。
• 用常数 $\blueE{f_x(x_0, y_0)}$start color #0c7f99, f, start subscript, x, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #0c7f99 和 $\redE{f_y(x_0, y_0)}$start color #bc2612, f, start subscript, y, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #bc2612 来确保我们的近似值在点$(x_0, y_0)$left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis上和$f$f有相同的偏导数。
• 用 $(x - x_0)$left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis 和 $(y - y_0)$left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis 而不仅仅是 $x$x 和 $y$y 这样我们不会搞砸我们的近似值点 $(x_0, y_0)$left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis等于$f(x_0, y_0)$f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis这个事实。

寻找二次近似值

• 试一下！ 以上方$Q_f(x, y)$Q, start subscript, f, end subscript, left parenthesis, x, comma, y, right parenthesis的表达式，求每项关于 $x$x 的二次偏导数，且注意到除了 $\blueE{a}(x - x_0)^2$start color #0c7f99, a, end color #0c7f99, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, squared 项以外，它们全都等于零。

例子：近似 $\sin(x)\cos(y)$sine, left parenthesis, x, right parenthesis, cosine, left parenthesis, y, right parenthesis

$f\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

$f_x(x, y) =$f, start subscript, x, end subscript, left parenthesis, x, comma, y, right parenthesis, equals

$f_x\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, start subscript, x, end subscript, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

$f_y(x, y) =$f, start subscript, y, end subscript, left parenthesis, x, comma, y, right parenthesis, equals

$f_y\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, start subscript, y, end subscript, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

$f_{xx}(x, y) =$f, start subscript, x, x, end subscript, left parenthesis, x, comma, y, right parenthesis, equals

$f_{xx}\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, start subscript, x, x, end subscript, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

$f_{xy}(x, y) =$f, start subscript, x, y, end subscript, left parenthesis, x, comma, y, right parenthesis, equals

$f_{xy}\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, start subscript, x, y, end subscript, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

$f_{yy}(x, y) =$f, start subscript, y, y, end subscript, left parenthesis, x, comma, y, right parenthesis, equals

$f_{yy}\left(\dfrac{\pi}{3}, \dfrac{\pi}{6}\right) =$f, start subscript, y, y, end subscript, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis, equals

检查

[答案]

使用海森矩阵时的向量符号

• 加粗的 $\textbf{x}$start bold text, x, end bold text 将变量输入表示为向量。
  $\begin{aligned} \quad \textbf{x} &= \left[ \begin{array}{c} x \\ y \\ \vdots \end{array} \right] \end{aligned}$

• 点积 $\nabla f(\textbf{x}_0) \cdot (\textbf{x} - \textbf{x}_0)$del, f, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, dot, left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 将扩展到所有项的总和 $f_{x}(\textbf{x}_0)(x - x_0)$f, start subscript, x, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, $f_{y}(\textbf{x}_0)(y - y_0)$f, start subscript, y, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis, 以上. 如果这不是熟悉的向量表示法的局部线性值, 自己在$2$2-维上试一试看看!
  [答案]
• 表达式 $(\textbf{x} - \textbf{x}_0)^\mathrm{T}$left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, start superscript, T, end superscript 中的小上标 $T$T 表示 "转置"。这意味着您需要求 $(\textbf{x} - \textbf{x}_0)$left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 的初始向量，也就是像这样：

  $(\textbf{x} - \textbf{x}_0) = \left[ \begin{array}{c} x - x_0 \\ y - y_0 \end{array} \right]$

• $\textbf{H}_f(\textbf{x}_0)$start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 $f$f 的海森矩阵。
• 表达式 $(\textbf{x} - \textbf{x}_0)^\mathrm{T} \textbf{H}_f(\textbf{x}_0)(\textbf{x} - \textbf{x}_0)$left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, start superscript, T, end superscript, start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 可能看起来很复杂, 如果你从来没有遇到过类似的东西。 这种表达二次项的方式实际上在向量演算和向量代数中相当普遍, 所以在你的生活中至少有几次这样的表达是值得的。 例如, 在 $\textbf{x}$start bold text, x, end bold text 是二维的情况下尝试解决它, 以查看它的外观。
  [答案]

有什么意义呢?

• 计算: 即使你从来没有写出一个二次近似, 你可能需要有一天编程计算机来做它的特定功能。 或者, 即使您依赖于其他人的程序, 您也可能需要分析在某些情况下近似值是如何以及为什么失败的。
• 理论: 能够引用二阶近似可以帮助我们对一个点附近的一般函数的行为进行推理。 这将有助于以后找出一个点是本地最大值还是最小值。