手帳と試行

学んだことをアウトプットしていきます。 日々、ノートあるのみ。
2023-02-03
統計分析

不偏推定量

標本をもとに母数を推定するときに重要な量である「不偏推定量」を導入する。

目次
不偏推定量 期待値の不偏推定量 分散の不偏推定量 分散の不偏推定量の平方根は、標準偏差の不偏推定量ではない まとめ

不偏推定量

統計量を変形して得られた w^\hat w の期待値 E[w^]\mathop{\rm E}[\hat w] が母数 ww に一致するとき、w^\hat w を母数 ww の不偏推定量 (unbiased estimator) という。

E[w^]=w  ⟹  w^ is an unbiased estimator of w\begin{aligned} \mathop{\rm E}[\hat w] = w \implies \hat w \text{ is an unbiased estimator of } w \end{aligned}

期待値の不偏推定量

標本平均の期待値 E[x‾]\mathop{\rm E}[\overline x] を計算してみる。

E[x‾]=⟨x‾⟩=⟨1N∑i=1Nxi⟩=1N∑i=1N⟨x⟩=⟨x⟩=E[x]\begin{aligned} \mathop{\rm E}[\overline x] ={}& \langle \overline x \rangle \\ ={}& \left\langle \frac{1}{N} \sum_{i=1}^N x_i \right\rangle \\ ={}& \frac{1}{N} \sum_{i=1}^N \langle x \rangle \\ ={}& \langle x \rangle \\ ={}& \mathop{\rm E}[x] \end{aligned}

よって期待値 E[x]\mathrm E[x] の不偏推定量は標本平均 x‾\overline x であることがわかった。

E[x]=E[x‾]\begin{aligned} \mathop{\rm E}[x] = \mathop{\rm E}[\overline x] \end{aligned}

分散の不偏推定量

続いて標本分散 s2s^2 の期待値 E[s2]\mathop{\rm E}[s^2] を計算する。

E[sx2]=⟨sx2⟩=⟨x2‾−x‾2⟩=⟨x2‾⟩⏟(1)−⟨x‾2⟩⏟(2)∣(1)=⟨1N∑i=1Nxi2⟩=1N∑i=1N⟨x2⟩=⟨x2⟩(2)=⟨1N∑i=1Nxi×1N∑j=1Nxj⟩=1N2∑i=j⟨xixj⟩+1N2∑i≠j⟨xixj⟩=1N2∑i=j⟨xixj⟩+1N2∑i≠j⟨xi⟩⟨xj⟩=1N⟨x2⟩+N−1N⟨x⟩2=⟨x2⟩−1N⟨x2⟩−N−1N⟨x⟩2=N−1N(⟨x2⟩−⟨x⟩2)=N−1NV[x]\begin{aligned} \mathop{\rm E}[s_x^2] ={}&\langle s_x^2 \rangle \\ ={}&\langle \overline{x^2} - \overline{x}^2 \rangle \\ ={}&\underbrace{\langle \overline{x^2} \rangle}_{(1)} - \underbrace{\langle \overline{x}^2 \rangle}_{(2)} \\ & \quad\left|\small\quad\begin{aligned} (1) ={}&\left\langle \frac{1}{N} \sum_{i=1}^N x_i^2 \right\rangle = \frac{1}{N} \sum_{i=1}^N \langle x^2 \rangle = \langle x^2 \rangle \\ (2) ={}&\left\langle \frac{1}{N} \sum_{i=1}^N x_i \times \frac{1}{N} \sum_{j=1}^N x_j \right\rangle \\ ={}&\frac{1}{N^2} \sum_{i = j} \langle x_i x_j \rangle + \frac{1}{N^2} \sum_{i \ne j} \langle x_i x_j \rangle \\ ={}&\frac{1}{N^2} \sum_{i = j} \langle x_i x_j \rangle + \frac{1}{N^2} \sum_{i \ne j} \langle x_i \rangle \langle x_j \rangle \\ ={}&\frac{1}{N} \langle x^2 \rangle + \frac{N-1}{N} \langle x \rangle^2 \end{aligned} \right. \\ ={}&\langle x^2 \rangle - \frac{1}{N} \langle x^2 \rangle - \frac{N-1}{N} \langle x \rangle^2 \\ ={}&\frac{N-1}{N} \left( \langle x^2 \rangle - \langle x \rangle^2 \right) \\ ={}&\frac{N-1}{N} \mathop{\rm V}[x] \end{aligned}

以上により、分散 V[x]\mathop{\rm V}[x] の不偏推定量は標本分散 sx2s_x^2 の NN−1\dfrac{N}{N-1} 倍であることがわかった。

V[x]=NN−1E[sx2]\begin{aligned} \mathrm V[x] = \frac{N}{N-1} \mathrm E[s_x^2] \end{aligned}

分散の不偏推定量の平方根は、標準偏差の不偏推定量ではない

もしも E[sx2]=E[sx]\sqrt{\mathrm E[s_x^2]} = \mathrm E[s_x] が成り立つならば、標準偏差 V[x]\sqrt{\mathrm V[x]} は

V[x]=NN−1E[sx2]=NN−1E[sx]\begin{aligned} \sqrt{\mathrm V[x]} &= \sqrt{\frac{N}{N-1} \mathrm E[s_x^2]} \\ &= \sqrt\frac{N}{N-1} \mathrm E[s_x] \end{aligned}

で推定することが可能である。

ところが、ほとんどの場合において E[sx2]=E[sx]\sqrt{\mathrm E[s_x^2]} = \mathrm E[s_x] は厳密には成り立たないため、

NN−1E[sx2]≠NN−1E[sx]\sqrt{\frac{N}{N-1} \mathrm E[s_x^2]} \neq \sqrt\frac{N}{N-1} \mathrm E[s_x]

となる。

それゆえ、分散の不偏推定量の平方根 NN−1sx\sqrt\dfrac{N}{N-1}s_x は標準偏差 V[x]\sqrt{\mathrm V[x]} の不偏推定量ではない。

まとめ

  • 期待値の不偏推定量は標本平均である
    E[x]=E[x‾]\begin{aligned} \mathop{\rm E}[x] ={}& \mathrm E[\overline x] \end{aligned}
  • 分散の不偏推定量は標本分散の NN−1\dfrac{N}{N-1} 倍である
    V[x]=NN−1E[sx2]\begin{aligned} \mathop{\rm V}[x] ={}& \frac{N}{N-1} \mathop{\rm E}[s_x^2] \end{aligned}

統計分析