標本平均の期待値と分散

平均 $\mu$ 分散 $\sigma^2$ のランダムサンプルを考える。

$X_1, \ldots , X_n ,i.i.d. \sim (\mu, \sigma^2)$

このときに標本平均 $\bar{X}$ の期待値と分散を求める。標本平均の定義とは $\bar{X}=\frac{1}{n} \sum^n_{i=1} X_i$ である。 $n$ はサンプルサイズである。

$\begin{align}E[\bar{X}]&=E[\frac{1}{n}(X_1+X_2 + \dots + X_n)] \\ &=\frac{1}{n}E[X_1]+\frac{1}{n}E[X_2]+\dots +\frac{1}{n}E[X_n] \\ &= \frac{1}{n}\mu n=\mu\end{align}$

$Var(\bar{X})=Var[\frac{1}{n}(X_1+X_2 + \dots + X_n)]$

互いに独立なので、共分散が0であるため下のように変形できます。

$\begin{align}Var[\frac{1}{n}(X_1+X_2 + \dots + X_n)]&=\frac{1}{n^2}Var[X_1]+\frac{1}{n^2}Var[X_2]+\dots +\frac{1}{n^2}Var[X_n] \\ &=\frac{1}{n^2}n \sigma^2=\frac{\sigma^2}{n}\end{align}$

ちなみに $Var(aX+bY)=a^2Var(X)+b^2Var(Y)+2abCov(X,Y)$ となる。 $X,Y$ が互いに独立な時は $Cov(X,Y)$ が0になる。

$Var(\bar{X})=E[(\bar{X}-E[\bar{X}])^2]=E[(\bar{X}-\mu)^2]$ となるので、 $Var(\bar{X})$ は $\bar{X}$ が $\mu$ から平均的にどれくらい離れているのかになる。よって、 $\frac{\sigma^2}{n}$ になるためサンプルサイズ $n$ が大きくなればなるほど、標本平均の誤差は小さくなることがわかる。