Loading...
墨滴

张春成

2021/12/28  阅读:21  主题:默认主题

方差分析(二)

方差分析(二)

上文描述了二阶统计量的稳定性, 本文将基于二阶统计量的计算方式, 对它的变动来源进行分析。


随机变量的二次方程

对于任意随机变量 , 无论它服从什么分布, 我们都可以对它进行采样

它的样本均值为

易见,样本均值是总体均值的无偏估计

而它的二阶原点矩 , 和二阶中心矩 具有如下对应关系

易见,左式代表随机变量的方差

之后对随机变量进行分解

展开后可得

上式说明在 相互独立的条件下, 随机变量的方差具有可加性; 而在存在相关关系的情况下, 随机变量和的方差大于方差之和, 差值为变量之间的协方差。

这是一个相当基础的结论, 下面我们对变量分解的过程进行如下规定,

  • 将所有样本“任意”分为两类;
  • 规定随机变量 的值为该类样本的样本均值;
  • 规定随机变量 为该样本值与该类均值的差;
  • 这样方差的三项就具有了意义

其中, 代表类间差异, 代表类内差异, 代表类间的协变关系。

更加神奇的是,这种对应关系并不拘泥于2类的情况

上式说明,方差的可加关系可以“轻易”地扩展到多个条件联合作用的情形, 并且,只要保证多个条件之间是“正交的”,就可以不去理会它们之间的相互作用, 因为它们的“协方差”必为零。

假设与检验

不难发现,方差的可加性简直就是为线性模型“量身定制”的良好性质

对于这样的模型,它的零假设是

假设 服从标准正态分布,且 的值相同。

在零假设成立的情况下, 我们可以对样本进行任意“分类”, 并按照上式对样本方差、类间差异、类内差异进行直接计算, (注意,这里无法计算协变关系,因为计算过于复杂且并无必要)。

利用方差的可加性, 可以构造新的统计量

以及

等进行计算, 并易知它们应当服从 分布, 其中 分别代表分子和分母的自由度。

这里注意到,

这个变量只能被减小,但难以被清零, 也就是说,无论样本的类别如何分配, 它都不可能小于系统误差 项表示的总体方差。

另外,由 分布的形式可得, 它具有单边分布的形式

其期望为

当实际取值远离这个期望时, 说明小概率事件出现, 小概率事件出现, 就意味着原本的假设不再成立。

由于二次型的形式比较复杂, 下一篇将对它们进行详细介绍。

张春成

2021/12/28  阅读:21  主题:默认主题

作者介绍

张春成