標本分散の期待値

平均 $\mu$ 分散 $\sigma^2$ のランダムサンプルを考える。

$X_1, \ldots , X_n ,i.i.d. \sim (\mu, \sigma^2)$

このときに標本分散 $S^2$ の期待値と分散を考える。標本分散の定義とは $S^2=\frac{1}{n} \sum^n_{i=1} (X_i-\bar{X})^2$ である。 $n$ はサンプルサイズである。

$\sum^n_{i=1} (X_i-\bar{X})^2$ をまず変形したい。シグマの中を $\mu$ を引いて $\mu$ を足してみる。

$\begin{align}\sum^n_{i=1} (X_i-\bar{X})^2 &= \sum^n_{i=1} (X_i-\mu + \mu -\bar{X})^2 \\&=\sum^n_{i=1} (X_i-\mu )^2 + \sum^n_{i=1} (\bar{X}-\mu )^2 -2 \sum^n_{i=1}(X_i-\mu )(\bar{X}-\mu )　\\&=\sum^n_{i=1} (X_i-\mu )^2 + (\bar{X}-\mu )^2\sum^n_{i=1}1 -2 (\bar{X}-\mu )\sum^n_{i=1}(X_i-\mu )　\\&=\sum^n_{i=1} (X_i-\mu )^2 + (\bar{X}-\mu )^2 n -2 (\bar{X}-\mu )\sum^n_{i=1}X_i+2 (\bar{X}-\mu )\sum^n_{i=1}\mu 　\\&=\sum^n_{i=1} (X_i-\mu )^2 + (\bar{X}-\mu )^2 n -2 (\bar{X}-\mu )n \bar{X}+2 (\bar{X}-\mu )n\mu 　\\&=\sum^n_{i=1} (X_i-\mu )^2 + (\bar{X}-\mu )^2 n -2 n(\bar{X}-\mu )(\bar{X}-\mu)\\&=\sum^n_{i=1} (X_i-\mu )^2 - n(\bar{X}-\mu )^2\end{align}$

$\sum^n_{i=1} (X_i-\bar{X})^2=\sum^n_{i=1} (X_i-\mu )^2 - (\bar{X}-\mu )^2$ と変形できる。

$\begin{align}E[\sum^n_{i=1} (X_i-\bar{X})^2]&=E[\sum^n_{i=1} (X_i-\mu )^2 - n(\bar{X}-\mu )^2] \\&= E[\sum^n_{i=1} (X_i-\mu )^2]-nE[(\bar{X}-\mu )^2] \\&= \sum^n_{i=1} E[ (X_i-\mu )^2]-nE[(\bar{X}-\mu )^2] \\&= \sum^n_{i=1} E[ (X_i-E[X_i] )^2]-nE[(\bar{X}-E[\bar{X}] )^2] \\&=n \sigma^2-n\frac{\sigma^2}{n} = \sigma^2(n-1)$\end{align}$

$E[S^2]=\frac{n-1}{n}\sigma^2$ 。 $S^2$ の期待値は $\sigma^2$ にはならない。

$V^2=\frac{1}{n-1}(X_i-\bar{X})^2$ の期待値は $\sigma^2$ になる。 $V^2$ を不偏分散という。