ジャックナイフ法によるバイアスの推定

ジャックナイフ法によって期待値のバイアスを計算する。

期待値

出力値 $f(\overline x)$ の期待値 $\mathop{\rm V}[f(\overline x)]$ は次式で表される。

\begin{aligned} \mathop{\rm E}[f(\overline x)] \approx f(\mu_x) + \frac{1}{2} \frac{1}{N} \frac{d^2 f}{d \mu_x^2} \mathop{\rm V}[x] \end{aligned}

期待値 $\mathop{\rm V}[f(\overline x)]$ と出力f(\mu_x)の差分をバイアスという。バイアスは次式で表される。

\begin{aligned} f_\text{bias} = \frac{1}{2} \frac{1}{N} \frac{d^2 f}{d \mu_x^2} \mathop{\rm V}[x] \end{aligned}

バイアス項の計算

ジャックナイフ標本 $x_i^{\rm jack}$ を関数 $f$ に入力し、さらに $\mu_x$ の周りで2次の項までテイラー展開する。

\begin{aligned} f(x_i^{\rm jack}) &\approx f(\mu_x) + \frac{df}{d\mu_x} (x_i^{\rm jack} - \mu_x) + \frac{1}{2} \frac{d^2f}{d\mu_x^2} (x_i^{\rm jack} - \mu_x)^2 \end{aligned}

これの標本平均を $\overline{f(x^{\rm jack})}$ とすると、その期待値は次のように計算される。

\begin{aligned} \mathop{\rm E}[\overline{f(x^{\rm jack})}] \approx{}& \left\langle \overline{f(\mu_x) + \frac{df}{d\mu_x} (x^{\rm jack} - \mu_x) + \frac{1}{2} \frac{d^2f}{d\mu_x^2} (x^{\rm jack} - \mu_x)^2 } \right\rangle \\ ={}& f(\mu_x) + \frac{df}{d\mu_x}\underbrace{ \langle \overline x - \mu_x \rangle }_{0} + \frac{1}{2} \frac{d^2f}{d\mu_x^2} \underbrace{ \langle \overline{(x^{\rm jack} - \mu_x)^2} \rangle }_{(1)} \\ &\left|\small\quad\begin{aligned} (1) ={}& \langle \overline{(x^{\rm jack})^2 - 2 x^{\rm jack} \mu_x + \mu_x^2} \rangle \\ ={}& \langle \overline{(x^{\rm jack})^2} \rangle - 2 \langle \overline{x} \rangle \mu_x + \mu_x^2 \\ ={}& \langle \overline{(x^{\rm jack})^2} \rangle - 2 \mu_x^2 + \mu_x^2 \\ ={}& \langle \underbrace{\overline{(x^{\rm jack})^2}}_{(2)} \rangle - \mu_x^2 \\ &\left|\small\quad\begin{aligned} (2) ={}& \overline{x}^2 + \frac{1}{(N-1)^2} s_x^2 \end{aligned}\right. \\ ={}& \left\langle \overline{x}^2 + \frac{1}{(N-1)^2} s_x^2 \right\rangle - \mu_x^2 \\ ={}& \underbrace{\langle \overline{x}^2 \rangle}_{(3)} + \frac{1}{(N-1)^2} \underbrace{\langle s_x^2 \rangle}_{(4)} - \mu_x^2 \\ &\left|\small\quad\begin{aligned} (3) ={}& \left\langle \frac{1}{N} \sum_{i=1}^N x_i \times \frac{1}{N} \sum_{j=1}^N x_j \right\rangle \\ ={}& \frac{1}{N^2} \sum_{i = j} \langle x_i x_j \rangle + \frac{1}{N^2} \sum_{i \ne j} \langle x_i \rangle \langle x_j \rangle \\ ={}& \frac{1}{N} \langle x^2 \rangle + \frac{N-1}{N} \langle x \rangle^2 \\ ={}& \frac{1}{N} (\langle x^2 \rangle - \langle x \rangle^2) + \langle x \rangle^2 \\ ={}& \frac{1}{N} \mathop{\rm V}[x] + \mu_x^2 \\ (4) ={}& \frac{N-1}{N} \mathop{\rm V}[x] \quad \left( \because \mathop{\rm V}[x] = \frac{N}{N-1} \mathop{\rm E}[s_x^2] \right) \end{aligned}\right. \\ ={}& \frac{1}{N} \mathop{\rm V}[x] + \frac{1}{N(N-1)} \mathop{\rm V}[x] \\ ={}& \frac{1}{N-1} \mathop{\rm V}[x] \end{aligned}\right. \\ ={}& f(\mu_x) + \frac{1}{2} \frac{1}{N-1} \frac{d^2f}{d\mu_x^2} \mathop{\rm V}[x] \\ &\left|\small\quad\begin{aligned} f_\text{bias} = \frac{1}{2} \frac{1}{N} \frac{d^2 f}{d \mu_x^2} \mathop{\rm V}[x] \end{aligned}\right. \\ ={}& f(\mu_x) + \frac{N}{N-1} f_{\text{bias}} \end{aligned}

こうして連立方程式

\left\lbrace \begin{aligned} \mathop{\rm E}[f(\overline x)] &\approx f(\mu_x) + f_\text{bias} \\ \mathop{\rm E}[\overline {f(x^{\rm jack})}] &\approx f(\mu_x) + \frac{N}{N-1} f_\text{bias} \end{aligned} \right.

が得られた。第1項を $N$ 倍、第2項を $N-1$ 倍して $f_\text{bias}$ を消去すれば、次のように推定することができる。

\begin{aligned} f(\mu_x) &\approx N \mathop{\rm E}[f(\overline x)] - (N-1) \mathop{\rm E}[\overline{f(x^{\rm jack})}] \\ &= \mathop{\rm E}[f(\overline x)] - (N-1) \left( \mathop{\rm E}[\overline{f(x^{\rm jack})} - f(\overline x)] \right) \end{aligned}

こうして得られた $f(\mu_x)$ の推定量をジャックナイフ推定量 (jackknife estimator) という。