二次近似

背景

• 局部线性法
• 图像
• 二次偏导数

我们要做什么

• $f$‍ 是一个具有多维输入和标量输出的函数。
• $\mathrm{\nabla }f({\mathbf{\text{x}}}_0)$‍ 是 $f$‍ 在 ${\mathbf{\text{x}}}_0$‍ 的梯度。
• ${\mathbf{\text{H}}}_f({\mathbf{\text{x}}}_0)$‍ 是 $f$‍ 在 ${\mathbf{\text{x}}}_0$‍ 的海森矩阵 。
• 向量 ${\mathbf{\text{x}}}_0$‍ 是一个特定的输入, 一个我们近似接近接近。
• 向量 $\mathbf{\text{x}}$‍ 代表变量输入。
• 近似函数， $Q_f$‍， 具有相同的值与 $f$‍ 在 ${\mathbf{\text{x}}}_0$‍点， 在这一点上其所有偏导数和 $f$‍具有相同的值, 其所有 第二个 偏导数在这一点上也和 $f$‍ 具有相同的值。

更紧密和更严格的近似值

零阶近似值

一阶近似值

二阶近似值

"二次方" 是指两个变量的乘积

二次函数图像

局部线性法提示

• 首先从常常数 $f(x_0,y_0)$‍ 开始，这样我们的近似值至少在$(x_0,y_0)$‍上匹配 $f$‍。
• 加上线性项 $f_x(x_0,y_0)(x-x_0)$‍ 和 $f_y(x_0,y_0)(y-y_0)$‍。
• 用常数 $f_x(x_0,y_0)$‍ 和 $f_y(x_0,y_0)$‍ 来确保我们的近似值在点$(x_0,y_0)$‍上和$f$‍有相同的偏导数。
• 用 $(x-x_0)$‍ 和 $(y-y_0)$‍ 而不仅仅是 $x$‍ 和 $y$‍ 这样我们不会搞砸我们的近似值点 $(x_0,y_0)$‍等于$f(x_0,y_0)$‍这个事实。

寻找二次近似值

• 试一下！ 以上方$Q_f(x,y)$‍的表达式，求每项关于 $x$‍ 的二次偏导数，且注意到除了 $a(x-x_0{)}^2$‍ 项以外，它们全都等于零。

例子：近似 $\sin (x)\cos (y)$‍

$f({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}f({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =\sin \left({\displaystyle \frac{\pi }{3}}\right)\cos \left(\frac{\pi }{6}\right)\\ \\ & =\left({\displaystyle \frac{\sqrt{3}}{2}}\right){\displaystyle \frac{\sqrt{3}}{2}}\\ \\ & ={\displaystyle \frac{3}{4}}\end{array}$‍

$f_x(x,y)=$‍

$f_x({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}{f}_x(x,y)& ={\displaystyle \frac{\partial }{\partial x}}\sin (x)\cos (y)\\ \\ & =\cos (x)\cos (y)\end{array}$‍

$\begin{array}{rl}{f}_x({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =\cos \left({\displaystyle \frac{\pi }{3}}\right)\cos \left(\frac{\pi }{6}\right)\\ \\ & =\left({\displaystyle \frac{1}{2}}\right){\displaystyle \frac{\sqrt{3}}{2}}\\ \\ & ={\displaystyle \frac{\sqrt{3}}{4}}\end{array}$‍

$f_y(x,y)=$‍

$f_y({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}{f}_y(x,y)& ={\displaystyle \frac{\partial }{\partial y}}\sin (x)\cos (y)\\ \\ & =-\sin (x)\sin (y)\end{array}$‍

$\begin{array}{rl}{f}_y({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =-\sin \left({\displaystyle \frac{\pi }{3}}\right)\sin \left(\frac{\pi }{6}\right)\\ \\ & =-\left({\displaystyle \frac{\sqrt{3}}{2}}\right){\displaystyle \frac{1}{2}}\\ \\ & ={\displaystyle \frac{-\sqrt{3}}{4}}\end{array}$‍

$f_{xx}(x,y)=$‍

$f_{xx}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}{f}_{xx}(x,y)& ={\displaystyle \frac{\partial }{\partial x}}{\displaystyle \frac{\partial }{\partial x}}(\sin (x)\cos (y))\\ \\ & ={\displaystyle \frac{\partial }{\partial x}}\cos (x)\cos (y)\\ \\ & =-\sin (x)\cos (y)\end{array}$‍

$\begin{array}{rl}{f}_{xx}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =-\sin \left({\displaystyle \frac{\pi }{3}}\right)\cos \left(\frac{\pi }{6}\right)\\ \\ & =-\left({\displaystyle \frac{\sqrt{3}}{2}}\right){\displaystyle \frac{\sqrt{3}}{2}}\\ \\ & ={\displaystyle \frac{-3}{4}}\end{array}$‍

$f_{xy}(x,y)=$‍

$f_{xy}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}{f}_{xy}(x,y)& ={\displaystyle \frac{\partial }{\partial x}}{\displaystyle \frac{\partial }{\partial y}}(\sin (x)\cos (y))\\ \\ & ={\displaystyle \frac{\partial }{\partial x}}(\sin (x)(-\sin (y)))\\ \\ & =-\cos (x)\sin (y)\end{array}$‍

$\begin{array}{rl}{f}_{xy}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =-\cos \left({\displaystyle \frac{\pi }{3}}\right)\sin \left(\frac{\pi }{6}\right)\\ \\ & =-\left({\displaystyle \frac{1}{2}}\right){\displaystyle \frac{1}{2}}\\ \\ & ={\displaystyle \frac{-1}{4}}\end{array}$‍

$f_{yy}(x,y)=$‍

$f_{yy}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})=$‍

检查

答案

$\begin{array}{rl}{f}_{yy}(x,y)& ={\displaystyle \frac{\partial }{\partial y}}{\displaystyle \frac{\partial }{\partial y}}(\sin (x)\cos (y))\\ \\ & ={\displaystyle \frac{\partial }{\partial y}}(-\sin (x)\sin (y))\\ \\ & =-\sin (x)\cos (y)\end{array}$‍

$\begin{array}{rl}{f}_{yy}({\displaystyle \frac{\pi }{3}},{\displaystyle \frac{\pi }{6}})& =-\sin \left({\displaystyle \frac{\pi }{3}}\right)\cos \left(\frac{\pi }{6}\right)\\ \\ & =-\left({\displaystyle \frac{\sqrt{3}}{2}}\right){\displaystyle \frac{\sqrt{3}}{2}}\\ \\ & =-{\displaystyle \frac{3}{4}}\end{array}$‍

使用海森矩阵时的向量符号

• 加粗的 $\mathbf{\text{x}}$‍ 将变量输入表示为向量。
  $\begin{array}{rl}\mathbf{\text{x}}& =\left[\begin{array}{c}x\\ y\\ ⋮\end{array}\right]\end{array}$‍

• 点积 $\mathrm{\nabla }f({\mathbf{\text{x}}}_0)\cdot (\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)$‍ 将扩展到所有项的总和 $f_x({\mathbf{\text{x}}}_0)(x-x_0)$‍, $f_y({\mathbf{\text{x}}}_0)(y-y_0)$‍, 以上. 如果这不是熟悉的向量表示法的局部线性值, 自己在$2$‍-维上试一试看看!
  答案

  $\begin{array}{rl}\mathrm{\nabla }f({\mathbf{\text{x}}}_0)\cdot (\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)& =\left[\begin{array}{c}{f}_x(x_0,y_0)\\ f_y(x_0,y_0)\end{array}\right]\cdot (\left[\begin{array}{c}x\\ y\end{array}\right]-\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right])\\ & \\ & =\left[\begin{array}{c}{f}_x(x_0,y_0)\\ f_y(x_0,y_0)\end{array}\right]\cdot \left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]\\ & \\ & =f_x(x_0,y_0)(x-x_0)+f_y(x_0,y_0)(y-y_0)\end{array}$‍
• 表达式 $(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0{)}^{\mathrm{T}}$‍ 中的小上标 $T$‍ 表示 "转置"。这意味着您需要求 $(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)$‍ 的初始向量，也就是像这样：

  $(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)=\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]$‍

• ${\mathbf{\text{H}}}_f({\mathbf{\text{x}}}_0)$‍ 是 $f$‍ 的海森矩阵。
• 表达式 $(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0{)}^{\mathrm{T}}{\mathbf{\text{H}}}_f({\mathbf{\text{x}}}_0)(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)$‍ 可能看起来很复杂, 如果你从来没有遇到过类似的东西。 这种表达二次项的方式实际上在向量演算和向量代数中相当普遍, 所以在你的生活中至少有几次这样的表达是值得的。 例如, 在 $\mathbf{\text{x}}$‍ 是二维的情况下尝试解决它, 以查看它的外观。
  答案

  $\begin{array}{rl}& (\mathbf{\text{x}}-{\mathbf{\text{x}}}_0{)}^{\mathrm{T}}{\mathbf{\text{H}}}_f({\mathbf{\text{x}}}_0)(\mathbf{\text{x}}-{\mathbf{\text{x}}}_0)\\ & \\ & \\ & ={\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]}^{\mathrm{T}}\left[\begin{array}{cc}{f}_{xx}(x_0,y_0)& f_{xy}(x_0,y_0)\\ f_{yx}(x_0,y_0)& f_{yy}(x_0,y_0)\end{array}\right]\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]\\ & \\ & \\ & =[(x-x_0)(y-y_0)]\left[\begin{array}{cc}{f}_{xx}(x_0,y_0)& f_{xy}(x_0,y_0)\\ f_{yx}(x_0,y_0)& f_{yy}(x_0,y_0)\end{array}\right]\left[\begin{array}{c}x-x_0\\ y-y_0\end{array}\right]\\ & \\ & \\ & =[(x-x_0)(y-y_0)]\left[\begin{array}{c}{f}_{xx}(x_0,y_0)(x-x_0)+f_{xy}(x_0,y_0)(y-y_0)\\ f_{yx}(x_0,y_0)(x-x_0)+f_{yy}(x_0,y_0)(y-y_0)\end{array}\right]\\ & \\ & \\ & =f_{xx}(x_0,y_0)(x-x_0{)}^2+f_{xy}(x_0,y_0)(y-y_0)(x-x_0)\\ & +f_{yx}(x_0,y_0)(x-x_0)(y-y_0)+f_{yy}(x_0,y_0)(y-y_0{)}^2\\ & \\ & \\ & =f_{xx}(x_0,y_0)(x-x_0{)}^2+2f_{xy}(x_0,y_0)(y-y_0)(x-x_0)+f_{yy}(x_0,y_0)(y-y_0{)}^2\end{array}$‍

有什么意义呢?

• 计算: 即使你从来没有写出一个二次近似, 你可能需要有一天编程计算机来做它的特定功能。 或者, 即使您依赖于其他人的程序, 您也可能需要分析在某些情况下近似值是如何以及为什么失败的。
• 理论: 能够引用二阶近似可以帮助我们对一个点附近的一般函数的行为进行推理。 这将有助于以后找出一个点是本地最大值还是最小值。