誤差伝播

標本統計量を関数に入力したときの誤差伝播の考え方を導入する。

関数への入力

とある実験を $N$ 回行なってサイズ $N$ の標本 $\{x_i\}_{i=1}^N$ を得たとき、「中心極限定理」が成り立つ場合には標本平均 $\overline x$ は $68~\%$ の頻度で $\mathop{\rm E}[\overline x] \pm \sqrt{\mathop{\rm V}[\overline x]}$ の範囲に入る。

\overline x \mathop{\sim}\limits_{68~\%} \mathop{\rm E}[\overline x] \pm \sqrt{\mathop{\rm V}[\overline x]}

\left\lbrace \begin{aligned} \mathop{\rm E}[\overline x] &= \mathop{\rm E}[x] \\ \mathop{\rm V}[\overline x] &= \frac{\mathop{\rm V}[x]}{N} = \frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned} \right.

ここで標本平均 $\overline x$ を何らかの関数に入力して、出力 $f(\overline x)$ を得る場合を考える。標本平均 $\overline x$ は確率変数とみなしているため、 $f(\overline x)$ もまた確率的な値となる。よって、単なる出力値 $f(\overline x)$ ではなく、その期待値 $\mathop{\rm E}[f(\overline x)]$ と分散 $\mathop{\rm V}[f(\overline x)]$ に興味がある。

\begin{alignedat}{3} && \overline x &\sim \mathop{\rm E}[\overline x]&&\pm \sqrt{\mathop{\rm V}[\overline x]} \\ &\to\qquad& f(\overline x) &\sim \mathop{\rm E}[f(\overline x)] &&\pm \sqrt{\mathop{\rm V}[f(\overline x)]} \end{alignedat}

関数 $f$ がよほど「都合の良い」関数でもない限り、期待値に対する関数値 $f(\mathop{\rm E}[\overline x])$ と、関数値に対する期待値 $\mathop{\rm E}[f(\overline x)]$ は異なった値となる。それらの両者の差分をバイアス (bias) などという。わかりやすさのためにバイアスを $f_\text{bias}$ と書くことにすれば、次のようになる。

\begin{aligned} \mathop{\rm E}[f(\overline x)] = f(\mathop{\rm E}[\overline x]) + f_\text{bias} \end{aligned}

以降、期待値 $\mathop{\rm E}[\overline x] = \mathop{\rm E}[x]$ を $\mu_x$ と表すことにする。

\begin{aligned} \mathop{\rm E}[f(\overline x)] = f(\mu_x) + f_\text{bias} \end{aligned}

この $f_\text{bias}$ という量を意識し、 $f(\overline x)$ が $f(\mu_x)$ からどれほどずれているかという観点で計算しよう。すなわち $f$ を点 $\mathop{\rm E}[\overline x]$ の周りでテイラー展開する。

\begin{aligned} f(\overline x) &\approx f(\mu_x) + \frac{df}{d \mu_x} (\overline x - \mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} (\overline x - \mu_x)^2 + \dots \\ \end{aligned}

このような「ずれ」が伝播するという観点での推定方法を誤差伝播 (error propagation) などという。

期待値の推定量

関数 $f$ のテイラー展開の2次の項までを取り込む。

\begin{aligned} f(\overline x) &\approx f(\mu_x) + \frac{df}{d \mu_x} (\overline x - \mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} (\overline x - \mu_x)^2 \\ \end{aligned}

さらに期待値を計算する。

\begin{aligned} \mathop{\rm E}[f(\overline x)] ={}& \langle f(\overline x) \rangle \\ \approx{}& \left\langle f(\mu_x) + \frac{df}{d \mu_x} \underbrace{(\overline x - \mu_x)}_{0} + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \underbrace{(\overline x - \mu_x)^2}_{\text{variance}} \right\rangle \\ ={}& f(\mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \mathop{\rm V}[\overline x] \\ ={}& f(\mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \frac{\mathop{\rm V}[x]}{N} \\ ={}& f(\mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \frac{\mathop{\rm E}[s_x^2]}{N-1} \\ \end{aligned}

分散の推定量

今度は $f$ を1次まで展開する。

\begin{aligned} f(\overline x) \approx f(\mu_x) + \frac{df}{d \mu_x} (\overline x - \mu_x) \end{aligned}

すると分散は次のようになる。

\begin{aligned} \mathop{\rm V}[f(\overline x)] ={}& \underbrace{\langle f(\overline x) \rangle^2}_{(1)} - \underbrace{\langle f^2(\overline x) \rangle}_{(2)} \\ &\left\| \small \quad \begin{aligned} (1) \approx{}& \left\langle f(\mu_x) + \frac{df}{d \mu_x} \underbrace{(\overline x - \mu_x)}_{0} \right\rangle^2 \\ ={}& f^2(\mu_x), \\ (2) \approx{}& \left\langle \left( f(\mu_x) + \frac{df}{d \mu_x} (\overline x - \mu_x) \right)^2 \right\rangle \\ ={}& \left\langle f^2(\mu_x) + 2 f^2(\mu_x) \frac{df}{d \mu_x} \underbrace{(\overline x - \mu_x)}_{0} + \left(\frac{df}{d \mu_x}\right)^2 \underbrace{(\overline x - \mu_x)^2}_{\text{variance}} \right\rangle \\ &= f^2(\mu_x) + \left(\frac{df}{d \mu_x}\right)^2 \mathop{\rm V}[\overline x] \\ \end{aligned}\right. \\ \approx{}& \left(\frac{df}{d \mu_x}\right)^2 \mathop{\rm V}[\overline x] \\ ={}& \left(\frac{df}{d \mu_x}\right)^2 \frac{\mathop{\rm V}[x]}{N} \\ ={}& \left(\frac{df}{d \mu_x}\right)^2 \frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned}

この推定量の平方根をとったものを標準偏差の推定量として採用することで、標準偏差の推定量を得ることができる。ただし分散の不偏推定量の平方根は標準偏差の不偏推定量ではない問題が生じるので、これを使うかどうかは少し慎重になったほうがいいかもしれない。

\begin{aligned} \sqrt{\mathop{\rm V}[f(\overline x)]} = \frac{df}{d \mu_x} \sqrt\frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned}

まとめ

以上をまとめると次のとおりである。

\begin{aligned} \mathop{\rm E}[f(\overline x)] ={}& f(\mu_x) + \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \frac{\mathop{\rm E}[s_x^2]}{N-1} \\ \mathop{\rm V}[f(\overline x)] ={}& \left(\frac{df}{d \mu_x}\right)^2 \frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned}

バイアスをはっきり書くと

\begin{aligned} \mathop{\rm E}[f(\overline x)] ={}& f(\mu_x) + f_\text{bias} \\ \mathop{\rm V}[f(\overline x)] ={}& \left(\frac{df}{d \mu_x}\right)^2 \frac{\mathop{\rm E}[s_x^2]}{N-1} \\ f_\text{bias} ={}& \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned}

と書くこともできる。

信頼区間

以上の結果を利用すれば、 $f(\mu_x)$ の信頼区間も計算できる。 $f(\overline x)$ の期待値±1標準偏差の区間を考えよう。

\begin{aligned} f(\overline x) \sim{}& \mathop{\rm E}[f(\overline x)] \pm \mathop{\rm V}[f(\overline x)] \\ \approx{}& f(\mu_x) + f_\text{bias} \pm \mathop{\rm V}[f(\overline x)] \end{aligned}

ここから $f(\mu_x)$ を抜き出してくる。

f(\mu_x) \sim f(\overline x) - f_\text{bias} \pm \mathop{\rm V}[f(\overline x)]

\begin{aligned} f_\text{bias} ={}& \frac{1}{2} \frac{d^2 f}{d \mu_x^2} \frac{\mathop{\rm E}[s_x^2]}{N-1} \\ \mathop{\rm V}[f(\overline x)] ={}& \left(\frac{df}{d \mu_x}\right)^2 \frac{\mathop{\rm E}[s_x^2]}{N-1} \end{aligned}