主要内容
二次近似
二次近似扩展了局部线性化的概念, 给出了函数的更近的近似值。
我们要做什么
与局部线性化一样, 目标是近似一个潜在的复杂的多变量函数 f 附近的一些输入, 我将写为向量 start bold text, x, end bold text, start subscript, 0, end subscript。 二次近似比局部线性化做得更紧密, 使用的信息给出的第二个偏导数。
非向量形式
在指示好的情况下, f 的输入是二维的, 并且您近似接近一个点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, 您将在下面看到, 二次近似最终如下所示:
向量形式:
对于具有任何多维输入的标量值函数 f , 此方法的一般形式如下:
我知道这看起来有点复杂, 但我以后会一点一点地看完。 下面是每个学期的简要概述。
- f 是一个具有多维输入和标量输出的函数。
- del, f, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 f 在 start bold text, x, end bold text, start subscript, 0, end subscript 的梯度。
- start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 f 在 start bold text, x, end bold text, start subscript, 0, end subscript 的海森矩阵 。
- 向量 start bold text, x, end bold text, start subscript, 0, end subscript 是一个特定的输入, 一个我们近似接近接近。
- 向量 start bold text, x, end bold text 代表变量输入。
- 近似函数, Q, start subscript, f, end subscript, 具有相同的值与 f 在 start bold text, x, end bold text, start subscript, 0, end subscript点, 在这一点上其所有偏导数和 f具有相同的值, 其所有 第二个 偏导数在这一点上也和 f 具有相同的值。
更紧密和更严格的近似值
假设您得到了一些函数 f, left parenthesis, x, comma, y, right parenthesis,两个输入和一个输出,如
目标是找到一个更简单的函数, 近似 f, left parenthesis, x, comma, y, right parenthesis 接近某个特定点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis。 例如,
零阶近似值
最简单的近似值是一个常数函数, 它等于在任何地方都有 f 的值 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis。 我们称之为 "0-阶近似值"。
在示例中:
摘要:
图像法:
此近似函数 C, left parenthesis, x, comma, y, right parenthesis 的图形是一个平面, 在点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, comma, f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, right parenthesis 处通过我们函数的图形。 下面是一个视频, 显示了当我们移动点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis 时, 这个近似值是如何变化的。
f 的图像是蓝色的, 近似图是白色的, 并且点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, comma, f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, right parenthesis 被描绘为一个红点。
一阶近似值
常数函数零阶近似是相当糟糕的。当然, 它保证等于 f, left parenthesis, x, comma, y, right parenthesis 在点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, 但就没有其他的了。 更好的一步是使用 局部线性法,也称为 "一阶近似值"。
在示例中:
摘要:
图像法:
局部线性化的图是平面 正切 到 f 的图在点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, comma, f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, right parenthesis上。 下面是一个视频, 显示了当我们围绕 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis 点移动时, 此近似值是如何变化的:
二阶近似值
更好的是一个 二次近似,也称为 "二阶近似"。
本文的其余部分致力于查找和理解这种近似的分析形式, 但在深入了解此类近似值之前, 让我们看看这种近似值在图形上是什么样子。 你可以把这些近似看作是依偎在曲线中的图形在点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, comma, f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, right parenthesis,给它一种数学拥抱。
"二次方" 是指两个变量的乘积
在单变量函数中, "二次方" 一词是指变量的平方的任何情况, 如术语 x, squared。对于多个变量, "二次方" 不仅指正方形术语, 如 x, squared 和 y, squared, 而且还指涉及两个独立变量 (如 x, y) 的乘积的术语。
一般来说, 一个术语的 "顺序" 是几个事物的产物, 比如 3, x, squared, y, cubed, 是将 变量 乘以该术语的总数。 在这种情况下, 顺序为 5: 两个 x,三个 y,并且常数并不重要。
二次函数图像
考虑二次函数的一种方法是看它们的 凹凸, 这可能取决于你要向哪个方向移动。
如果函数具有向上的凹度,例如 f, left parenthesis, x, comma, y, right parenthesis, equals, x, squared, plus, y, squared, 则图形将如下所示:
这个形状, 是一个三维抛物线, 名称为 抛物面 。
如果函数在一个方向上凹面, 在另一个方向上呈线性, 图形看起来就像一个抛物线曲线被拖过空间来追踪一个表面。例如, 在 f, left parenthesis, x, comma, y, right parenthesis, equals, x, squared, plus, y 的情况下发生这种情况:
最后, 如果图形在向一个方向移动时是凹槽的, 但在向另一个方向移动时, 则会向下, 例如 f, left parenthesis, x, comma, y, right parenthesis, equals, x, squared, minus, y, squared,则该图形看起来有点像鞍座。 下面是这样的图形的外观:
局部线性法提示
要实际记下一个函数的二次近似值 f 靠近点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis,, 我们从局部线性法建立起来:
这个值得我们再重新温习一次如何找局部线性值, 因为寻找二次近似值的方法是非常相似的。
- 首先从常常数 f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis 开始,这样我们的近似值至少在left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis上匹配 f。
- 加上线性项 start color #0c7f99, f, start subscript, x, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #0c7f99, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis 和 start color #bc2612, f, start subscript, y, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #bc2612, left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis。
- 用常数 start color #0c7f99, f, start subscript, x, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #0c7f99 和 start color #bc2612, f, start subscript, y, end subscript, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, end color #bc2612 来确保我们的近似值在点left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis上和f有相同的偏导数。
- 用 left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis 和 left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis 而不仅仅是 x 和 y 这样我们不会搞砸我们的近似值点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis等于f, left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis这个事实。
寻找二次近似值
对于二次近似, 我们在二次项 left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, squared, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis 和 left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis, squared, 现在我们将它们的系数写成常量 start color #0c7f99, a, end color #0c7f99, start color #0d923f, b, end color #0d923f 和 start color #bc2612, c, end color #bc2612, 我们将在稍后解决:
就像我们确保局部线性值具有相同的偏导数 f 在 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis, 我们希望二次近似在这一点上和 f 具有相同的 第二偏导数。
关于我写 Q, start subscript, f, end subscript 上面的方式, 真正的好东西是, 二阶偏导数 start fraction, \partial, squared, Q, start subscript, f, end subscript, divided by, \partial, x, squared, end fraction 只依赖于 start color #0c7f99, a, end color #0c7f99, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, squared 项。
- 试一下! 以上方Q, start subscript, f, end subscript, left parenthesis, x, comma, y, right parenthesis的表达式,求每项关于 x 的二次偏导数,且注意到除了 start color #0c7f99, a, end color #0c7f99, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, squared 项以外,它们全都等于零。
你真的试过了吗? 真的,用点时间好好想想。这对你理解为什么 Q, start subscript, f, end subscript 看起来是这样很有帮助的。
这个事实是很好的, 因为而不是采取整个可怕的表达式的二阶导数, 你可以这样看它:
由于目标是想让这个在点 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis 匹配 f, start subscript, x, x, end subscript, left parenthesis, x, comma, y, right parenthesis,你可以这样求start color #0c7f99, a, end color #0c7f99 :
考一下你自己: 使用相同的逻辑想出常数 start color #0d923f, b, end color #0d923f 和 start color #bc2612, c, end color #bc2612 应该是。
我们现在可以编写我们的最后二次近似, 它的所有六个术语都在以 f 在 left parenthesis, x, start subscript, 0, end subscript, comma, y, start subscript, 0, end subscript, right parenthesis的行为来模拟协调工作:
例子:近似 sine, left parenthesis, x, right parenthesis, cosine, left parenthesis, y, right parenthesis
要看到这只野兽在行动, 让我们从介绍中尝试一下方程。
问题: 求二次近似值
在点 left parenthesis, x, comma, y, right parenthesis, equals, left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis。
解析:
要收集所有必要的信息, 你需要评估 f, left parenthesis, x, comma, y, right parenthesis, equals, sine, left parenthesis, x, right parenthesis, cosine, left parenthesis, y, right parenthesis 和所有如果它的偏导数和它的所有第二偏导数在 left parenthesis, start fraction, pi, divided by, 3, end fraction, comma, start fraction, pi, divided by, 6, end fraction, right parenthesis。
快到了! 作为最后一步, 将所有这些值应用于二次近似的公式。
例如, 要生成二次近似的动画, 这是我必须插入图形软件的公式。
使用海森矩阵时的向量符号
也许不用说, 二次近似的表达式是很长的。 现在想象一下, 如果 f 有三个投入, x, y 和 z。原则上, 你可以想象这可能会是如何去, 增加术语涉及 f, start subscript, z, end subscript, f, start subscript, x, z, end subscript, f, start subscript, z, z, end subscript,并与所有3的偏导数和所有9第二偏导数。 但这将是一场彻底的噩梦!
现在想象一下, 你正在编写一个程序来查找一个包含 100 输入的函数的二次近似值。 疯了吧!
其实不一定要那么糟糕。 当一些事情在原则上没有那么复杂的时候, 就不应该在符号上那么复杂。 二次近似是一个 有点 复杂, 当然, 但他们并不荒谬。
让我们把这个分解:
- 加粗的 start bold text, x, end bold text 将变量输入表示为向量。
此外, start bold text, x, end bold text, start subscript, 0, end subscript 是输入空间中的一个特殊向量。 如果这两个组件有两个, 则此 Q, start subscript, f, end subscript 公式只是编写我们之前派生的一个组件的不同方式, 但它也可以表示具有任何其他维度的向量。
- 点积 del, f, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, dot, left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 将扩展到所有项的总和 f, start subscript, x, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, x, minus, x, start subscript, 0, end subscript, right parenthesis, f, start subscript, y, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, y, minus, y, start subscript, 0, end subscript, right parenthesis, 以上. 如果这不是熟悉的向量表示法的局部线性值, 自己在2-维上试一试看看!
- 表达式 left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, start superscript, T, end superscript 中的小上标 T 表示 "转置"。这意味着您需要求 left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 的初始向量,也就是像这样:
然后你翻转它, 得到这样的东西:
- start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 是 f 的海森矩阵。
- 表达式 left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, start superscript, T, end superscript, start bold text, H, end bold text, start subscript, f, end subscript, left parenthesis, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis, left parenthesis, start bold text, x, end bold text, minus, start bold text, x, end bold text, start subscript, 0, end subscript, right parenthesis 可能看起来很复杂, 如果你从来没有遇到过类似的东西。 这种表达二次项的方式实际上在向量演算和向量代数中相当普遍, 所以在你的生活中至少有几次这样的表达是值得的。 例如, 在 start bold text, x, end bold text 是二维的情况下尝试解决它, 以查看它的外观。
你应该发现, 它正好是我们上面推导的非矢量化公式的二次部分的2倍。
有什么意义呢?
事实上, 用手计算二次近似是一种真正的痛苦, 它需要保持 非常有组织地这样做, 而不会犯一个小错误。 实际上,人们很少像上面的例子那样通过二次近似来工作, 但知道他们是如何工作的至少有两个广泛的原因是有用的:
- 计算: 即使你从来没有写出一个二次近似, 你可能需要有一天编程计算机来做它的特定功能。 或者, 即使您依赖于其他人的程序, 您也可能需要分析在某些情况下近似值是如何以及为什么失败的。
- 理论: 能够引用二阶近似可以帮助我们对一个点附近的一般函数的行为进行推理。 这将有助于以后找出一个点是本地最大值还是最小值。