Loading...
墨滴

张春成

2021/06/18  阅读:33  主题:默认主题

概然而非必然的世界(之误差的估计与估计的误差)

概然而非必然的世界(之误差的估计与估计的误差)

本文可以总结成一句绕口令,

误差的估计与估计的误差

将从马尔可夫不等式开始,尝试涉及参数估计的重要思想。 并且,通过本文您将看到,估计出的参数,天然地具有误差,而这些误差范围也需要合理的估计。


重要不等式

马尔可夫不等式

Markov's inequality[1] 是针对非负随机变量 , 总有如下关系成立

其中, 。 这说明了,随机变量值越大,且距离其均值越远,则概率越小。

证明过程比较简单

其中, 代表这样一种概率密度函数,即满足条件时,密度值取 ,否则取 。 则有下式成立

证明完毕。

切比雪夫不等式

由马氏不等式,可以较为简单的推广到 Chebyshev's inequality[2]

对于均值和方差分别为 的随机变量 来说,有下式成立

代入马氏不等式,可得

大数定律

大数定律,由于其过于普通,我们并不加证明地给出其定义

其中, ,且 为独立同分布的随机变量。

中心极限定理

采用与“大数定律”同样的设置,构造新随机变量 ,有下式成立

此时, 服从 分布。 而 时,有下式成立

此即中心极限定理,说明大量独立同分布的随机变量之和满足正态分布。

误差的估计

值为 次实验的,二项分布随机变量 为例,

我们采用切氏不等式,可得

上式给出了针对该随机变量的范围估计。 另外,由于

可见,实验次数越多,对于真实概率的估计值 就越准确。

但是,还能更准确吗? 我们尝试使用“中心极限定理”,构造随机变量

因此,有下式成立

其中,

不难发现,在这样的假设下,我们可以重新得到一个误差的估计

这个值显然比切氏不等式给出的误差要小很多,但它本身的误差却很大。

估计的误差

我们使用 Berry-Esseen central limit theorem[3] 来对新的估计值的误差进行估计,可得下式

其中,

可见,新的估计值虽然较小,但其本身的误差却很大,使得总体误差与实际值之间的差异仍然不会小于 的数量级。 所以,数值小并不代表一定能准确估计,因为它背后的误差往往十分可观的大。 这一点十分值得注意。

参考资料

[1]

Markov's inequality: https://mathworld.wolfram.com/MarkovsInequality.html

[2]

Chebyshev's inequality: https://mathworld.wolfram.com/ChebyshevInequality.html

[3]

Berry-Esseen central limit theorem: https://www.physicslog.com/blog/2018/04/proof-of-berry-essen-theorem/

张春成

2021/06/18  阅读:33  主题:默认主题

作者介绍

张春成