最小二乘法

最小平方法是十九世纪统计学的主题曲。 从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。—-乔治·斯蒂格勒的《The History of Statistics》

1 日用而不知

来看一个生活中的例子。比如说,有五把尺子:

用它们来分别测量一线段的长度,得到的数值分别为(颜色指不同的尺子):

之所以出现不同的值可能因为:

  • 不同厂家的尺子的生产精度不同

  • 尺子材质不同,热胀冷缩不一样

  • 测量的时候心情起伏不定

  • ……

总之就是有误差,这种情况下,一般取平均值来作为线段的长度:

x = (10.2+10.3+9.8+9.9+9.8) / 5 = 10

日常中就是这么使用的。可是作为很事’er的数学爱好者,自然要想下:

  • 这样做有道理吗?

  • 用调和平均数行不行?

  • 用中位数行不行?

  • 用几何平均数行不行?

2 最小二乘法

换一种思路来思考刚才的问题。

首先,把测试得到的值画在笛卡尔坐标系中,分别记作y_i :

其次,把要猜测的线段长度的真实值用平行于横轴的直线来表示(因为是猜测的,所以用虚线来画),记作y :

每个点都向y 做垂线,垂线的长度就是|y-y_i| ,也可以理解为测量值和真实值之间的误差:

 

因为误差是长度,还要取绝对值,计算起来麻烦,就干脆用平方来代表误差:

|y-y_i|\to (y-y_i)^2

总的误差的平方就是:

\epsilon=\sum (y-y_i)^2

因为y 是猜测的,所以可以不断变换:

自然,总的误差\epsilon 也是在不断变化的。

法国数学家,阿德里安-馬里·勒讓德(1752-1833)提出让总的误差的平方最小的y 就是真值,这是基于,如果误差是随机的,应该围绕真值上下波动。

这就是最小二乘法,即:

\epsilon=\sum (y-y_i)^2最小\implies 真值y

这个猜想也蛮符合直觉的,来算一下。

这是一个二次函数,对其求导,导数为0的时候取得最小值:

\begin{aligned}    \frac{d}{dy}\epsilon        &=\frac{d}{dy}\sum (y-y_i)^2=2\sum (y-y_i)\\        \quad\\        &=2((y-y_1)+(y-y_2)+(y-y_3)+(y-y_4)+(y-y_5))=0        \quad\\\end{aligned}

进而:

5y=y_1+y_2+y_3+y_4+y_5\implies y=\frac{y_1+y_2+y_3+y_4+y_5}{5}

正好是算术平均数。

原来算术平均数可以让误差最小啊,这下看来选用它显得讲道理了。

以下这种方法:

\epsilon=\sum (y-y_i)^2最小\implies 真值y

就是最小二乘法,所谓“二乘”就是平方的意思,台湾直接翻译为最小平方法。

 

 

 

————————————————
版权声明:本文为CSDN博主「马同学图解数学」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/ccnt_2012/article/details/81127117

给TA打赏
共{{data.count}}人
人已打赏
投稿源码分享

呆错网址导航系统源码分享

2023-3-6 14:40:47

实用软件投稿

PC版个人文件转移工具v2.0

2023-3-6 16:14:03

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索