手帳と試行

学んだことをアウトプットしていきます。 日々、ノートあるのみ。
2023-02-13
統計分析

ジャックナイフ法による標準誤差の推定

ジャックナイフ法によって標準誤差を計算する。

目次
標準誤差 標準誤差の計算

標準誤差

出力値 f(x‾)f(\overline x) の分散 V[f(x‾)]\mathop\mathrm V[f(\overline x)] は次式で表されたことを確認しておく。

V[f(x‾)]≈1N(dfdμx)2V[x]\begin{aligned} \mathop{\rm V}[f(\overline x)] \approx \frac{1}{N} \left(\frac{df}{d \mu_x}\right)^2 \mathop{\rm V}[x] \end{aligned}

標準誤差の計算

再び、ff を μx\mu_x の周りで1次まで展開し、ジャックナイフ標本を入力する。

f(xijack)≈f(μx)+dfdμx(xijack−μx)\begin{aligned} f(x_i^{\rm jack}) &\approx f(\mu_x) + \frac{df}{d\mu_x} (x_i^{\rm jack} - \mu_x) \end{aligned}

そしてこれの標本分散を sfjack2s_{f^{\rm jack}}^2 とすると、その期待値は次のように計算される。

E[sfjack2]=⟨f2(xjack)‾−f(xjack)‾2⟩=⟨f2(xjack)‾⟩⏟(1)−⟨f(xjack)‾2⟩⏟(2)∣(1)≈⟨(f(μx)+dfdμx(xjack−μx)+… )2‾⟩=f2(μx)+2f(μx)dfdμx⟨x‾−μx⟩⏟0+(dfdμx)2⟨(xjack−μx)2‾⟩⏟(3)∣(3)=1N−1V[x]=f2(μx)+1N−1(dfdμx)2V[x](2)≈⟨f(μx)+dfdμx(xijack−μx)‾2⟩=f2(μx)+2f(μx)⟨x‾−μx⟩⏟0+(dfdμx)2⟨(x‾−μx⏟V[x‾])2⟩=f2(μx)+(dfdμx)2V[x‾]=f2(μx)+1N(dfdμx)2V[x]=(1N−1−1N)(dfdμx)2V[x]=1N(N−1)(dfdμx)2V[x]∣V[f(x‾)]≈1N(dfdμx)2V[x]≈V[f(x‾)]N−1\begin{aligned} \mathop{\rm E}[s_{f^{\rm jack}}^2] ={}& \left\langle \overline{f^2(x^{\rm jack})} - \overline{f(x^{\rm jack})}^2 \right\rangle \\ ={}& \underbrace{ \langle \overline{f^2(x^{\rm jack})} \rangle }_{(1)} - \underbrace{ \langle \overline{f(x^{\rm jack})}^2 \rangle }_{(2)} \\ &\left|\small\quad\begin{aligned} (1) \approx{}& \left\langle \overline{ \left( f(\mu_x) + \frac{df}{d\mu_x} (x^{\rm jack} - \mu_x) + \dots \right)^2 } \right\rangle \\ ={}& f^2(\mu_x) + 2 f(\mu_x) \frac{df}{d\mu_x} \underbrace{ \langle \overline{x} - \mu_x \rangle }_{0} + \left( \frac{df}{d\mu_x} \right)^2 \underbrace{ \langle \overline{(x^{\rm jack} - \mu_x)^2} \rangle }_{(3)} \\ &\left|\small\quad\begin{aligned} (3) = \frac{1}{N-1} \mathop{\rm V}[x] \end{aligned}\right.\\ ={}& f^2(\mu_x) + \frac{1}{N-1} \left( \frac{df}{d\mu_x} \right)^2 \mathop{\rm V}[x] \\ (2) \approx{}& \left\langle \overline{f(\mu_x) + \frac{df}{d\mu_x} (x_i^{\rm jack} - \mu_x)}^2 \right\rangle \\ ={}& f^2(\mu_x) + 2f(\mu_x) \underbrace{\langle \overline x - \mu_x \rangle}_{0} + \left( \frac{df}{d\mu_x}\right)^2 \langle \underbrace{(\overline x - \mu_x}_{\mathop{\rm V}[\overline x]})^2 \rangle \\ ={}& f^2(\mu_x) + \left( \frac{df}{d\mu_x}\right)^2 \mathop{\rm V}[\overline x] \\ ={}& f^2(\mu_x) + \frac{1}{N} \left( \frac{df}{d\mu_x}\right)^2 \mathop{\rm V}[x] \end{aligned}\right. \\ ={}& \left( \frac{1}{N-1} - \frac{1}{N} \right) \left( \frac{df}{d\mu_x}\right)^2 \mathop{\rm V}[x] \\ ={}& \frac{1}{N(N-1)} \left( \frac{df}{d\mu_x}\right)^2 \mathop{\rm V}[x] \\ &\left|\small\quad\begin{aligned} \mathop{\rm V}[f(\overline x)] \approx \frac{1}{N} \left(\frac{df}{d \mu_x}\right)^2 \mathop{\rm V}[x] \end{aligned}\right. \\ \approx{}& \frac{\mathop{\rm V}[f(\overline x)]}{N-1} \end{aligned}

よって分散は

V[f(x‾)]≈(N−1)E[sfjack2]\begin{aligned} \mathop{\rm V}[f(\overline x)] \approx (N-1) \mathop{\rm E}[s_{f^{\rm jack}}^2] \end{aligned}

と推定できる。

さらにこれの平方根を取ることで標準誤差が推定できる。もちろん、もはや耳タコだが、平方根を取ることで不偏性が崩れてしまうことに注意しよう。

V[f(x‾)]≈(N−1)E[sfjack2]\begin{aligned} \sqrt{\mathop{\rm V}[f(\overline x)]} \approx \sqrt{(N-1) \mathop{\rm E}[s_{f^{\rm jack}}^2]} \end{aligned}
統計分析