信頼区間 - 手帳と試行

標本統計量から推定された母数の信頼区間を求める。

推定量の分布

何らかの実験を $N$ 回行なって、データ $\{ x_i \}_{i=1}^N$ を採取するという操作が、次のように書けると仮定する。

x_i \mathop{\sim}\limits_{\rm i.i.d.} p(x)

こうして得られたサイズ $N$ の標本 $\{x_i\}_{i=1}^N$ から期待値 $\mathop{\rm E}[x]$ を推定するには、不偏推定量である標本平均 $\overline x$ を用いればよい。

\mathop{\rm E}[x] = \mathop{\rm E}[\overline x] \simeq \overline x

ただし、計算された標本平均 $\overline x$ は「 $N$ 回の実験を行なう」という操作を行なうたびに変動する。そこで $\overline x$ もまた確率分布 $\tilde p(\overline x)$ からサンプルされたものとして取り扱う。

\overline x \sim \tilde p(\overline x)

中心極限定理

「中心極限定理」によれば、「標本 $\{ x_i \}_{i=1}^N$ を採取して標本平均 $\overline x$ を得る」という操作を何度も繰り返すと、次第に標本平均 $\overline x$ は正規分布に従うようになる。

\tilde p(\overline x) \approx \mathcal N(\mathop{\rm E} [\overline x], \mathop{\rm V} [\overline x])

すると、正規分布の性質により、 $68~\%$ の頻度で標本平均 $\overline x$ が $\mathrm E[\overline x] \pm \sqrt{\mathrm V[\overline x]}$ の範囲に入っていることになる。これは「 $N$ 個のデータを得て標本平均 $\overline x$ を計算する」という操作を $10,\!000$ 回繰り返した場合、標本平均 $\overline x$ が区間 $\mathrm E[\overline x] \pm \sqrt{\mathrm V[\overline x]}$ に含まれているという事象がだいたい6,800回くらい生じるということを意味している。以降ではこのことを次のように表すことにしよう。

\overline x \mathop{\sim}\limits_{68~\%} \mathop{\rm E}[\overline x] \pm \sqrt{\mathop{\rm V}[\overline x]}

区間推定

これらの関係は次のように変形することができる。

\begin{aligned} \mathrm E[x] \mathop{\sim}\limits_{68~\%} \overline x \pm \sqrt{\mathrm V[\overline x]} \\ \end{aligned}

期待値 $\mathrm E[x]$ が $68~\%$ の頻度で $\overline x \pm \sqrt{\mathrm V[\overline x]}$ の範囲に入っているのである。このとき、推定された区間 $\overline x \pm \sqrt{\mathrm V[\overline x]}$ を期待値 $\mathrm E[x]$ の $68~\%$ 信頼区間 (68% confidence interval; CI) という。

まとめ

標本平均は $68 ~ \%$ の頻度で $\mathrm E[\overline x] \pm \sqrt{\mathrm V[\overline x]}$ の範囲に入る
$\begin{aligned} \overline x \mathop{\sim}\limits_{68~\%} \mathop{\rm E}[\overline x] \pm \sqrt{\mathop{\rm V}[\overline x]} \end{aligned}$
期待値 $\mathop{\rm E}[x]$ は $68~\%$ の頻度で $\overline x \pm \sqrt{\mathrm V[\overline x]}$ の範囲に入る
$\begin{aligned} \mathrm E[x] \mathop{\sim}\limits_{68~\%} \overline x \pm \sqrt{\mathrm V[\overline x]} \\ \end{aligned}$