手帳と試行

学んだことをアウトプットしていきます。 日々、ノートあるのみ。

回帰モデル

ガウス過程回帰モデル

カーネル法を用いた事後予測分布を、さらに別の角度から解釈する。

事後予測分布とカーネルトリック

事後予測分布の式を、もう少し簡単にする。

事後予測分布とWoodburyの公式

事後予測分布の式を、もう少し簡単にする。

事後予測分布

未知の入力値に対する出力を確率的に計算するために、事後予測分布を計算する。

カーネルリッジ回帰

カーネル法を用いてリッジ回帰を行なう。

線形回帰とカーネル法

線形回帰に「カーネル法」を導入する。

線形回帰と特徴量

正規逆ガンマ分布を事前分布とした場合の線形回帰モデルの事後分布を導出する。

線形回帰モデルと正規逆ガンマ事前分布

正規逆ガンマ分布を事前分布とした場合の線形回帰モデルの事後分布を導出する。

線形回帰モデルと正規事前分布

線形回帰モデルに対して、MAP推定ではなく、事後分布を計算することによるパラメータの推定を考える。

線形回帰モデルのL1正則化

事前分布に独立なラプラス分布を仮定してMAP推定を行なうと、L1正則化の効果が出現する。