证明 (第2部分) 将平方误差最小化为回归线

我们的目标是化简这里n个点同直线平方误差的表达式 本字幕由网易公开课提供，更多课程请到http//open.163.com 回顾一下 这里有n个点 求这n个点同直线y=mx+b之间平方误差之和 求这n个点同直线y=mx+b之间平方误差之和 网易公开课官方微博 http://t.163.com/163open 然后得到这个表达式 之后化简 我们希望尽可能地化简它 然后求出让该表达式最小化的m和b值 然后求出让该表达式最小化的m和b值 oCourse字幕组翻译：只做公开课的字幕组 http://ocourse.org 也就是求最佳拟合直线 计算过程中 代数式似乎越来越复杂了 不过下一步将化简很多 这里我将求这些y平方值的均值 这里我将求这些y平方值的均值 这里有y?2+y?2+…+yn2 这是对n个值求和 然后除以n 这就相当于所有y2值的均值 然后除以n 这就相当于所有y2值的均值 我们可以这样表示 该式两侧同时乘以n 有y?2+y?2+…+yn2 等于n乘以y2值的均值 也就是这一项 它等于n乘以y2值的均值 它等于n乘以y2值的均值 每一项都可以这样进行处理 比如x?y?+x?y?+…+xnyn 用这个和除以项数n 这也就等于xy的均值 把每一点的x和y坐标乘起来 所有乘积的均值就是这个 两侧还是同时乘以n 有x?y?+x?y?+…+xnyn=n乘以xy的均值 规律很明显了吧 这一项等于n乘以xy的均值 而这一项是n乘以y的均值 而这一项是n乘以x2值的均值 而这一项是x的均值乘以n 用这个除以n得到均值 但这里没有除以n 所以是均值乘n 而这里显然无需再化简 下面用新记号重写一下式子 此时这些都用均值来表示 n个点同直线之间平方误差之和等于… n个点同直线之间平方误差之和等于… 第一项是n乘以y2的均值 我用颜色标记下 这一项等于-2m乘以n倍xy的均值 这一项等于-2m乘以n倍xy的均值 然后第三项 看到了吧 得到的代数表达式简单了很多 第三项是-2bn乘以y的均值 然后+m2n乘以x2的均值 最后还有一点就化简完毕了 然后是+2mbn乘以x的均值 最后是+nb2 以上几个视频中 我们化简了 以上几个视频中 我们化简了 这n点和同直线y=mx+b之间平方误差之和的表达式 这就结束了运算复杂的代数化简阶段 下一阶段 我将求出最小化这个表达式的m和b值 下一阶段 我将求出最小化这个表达式的m和b值 下一阶段 我将求出最小化这个表达式的m和b值 这要用到三维微积分知识 我将用图像表示一下 这要用到三维微积分知识 我将用图像表示一下 但愿没把你们吓到 学过偏导的人知道 这其实不难 这是一个曲面 这里有一些x和y数据点 除m和b之外 这些都是常数 假设x和y值已知 于是可以求出y2值的均值 xy的均值 y的均值 x2的均值这些 我们假设这些都是实际数字 这个表达式在三维图像中其实就是一个曲面 假设这是m轴 这里是b轴 然后还有一个纵轴 表示平方误差 这是直线平方误差之轴 对于任何的m和b值对 任意取一对m和b值 对于任何的m和b值对 任意取一对m和b值 代入这个式子 就能得到一个点 代入这个式子 就能得到一个点 这样处理所有的m和b值对后 就会得到一个曲面 曲面大概是这样的 我尽最大努力画好 大致是这样 你可以把它想象为一个"碗" 或者说三维抛物面 或者说三维抛物面 抛物线是这样的 将它绕中轴旋转一圈 就会得到一个这样的碗状抛物面 我们希望求出一组m和b值 让式子最小化 我这里画的是一个三维曲面 像这样画一下似乎更像一些 这是看不见的后面部分 是三维曲面的里面 这是看不见的后面部分 是三维曲面的里面 我们想求出曲面上让纵坐标值最低的m和b值 这里存在某组m和b值 能得到这个最小值 具体计算将留给下一节 我这里只讲一下思路 首先要对m求偏导 然后对b求偏导 然后将两个式子设为0 然后对b求偏导 然后将两个式子设为0 因为这个三维曲面上 最小值点处在对m和b的斜率都等于0的位置 最小值点处在对m和b的斜率都等于0的位置 这一点处 平方误差对m的偏导为0 这一点处 平方误差对m的偏导为0 而且平方误差对b的偏导也等于0 下一节中 我们将对m求偏导 然后令其为0 然后对b求偏导 令其为0 之后求解m和b就行了