Non-parametric Regression
(X1, Y1), ⋯, (Xn, Yn) ∼ F というデータを観測したとき，
r(x) = 𝔼[Y|X = x]
というCEFを推定するのがゴールとなります．このとき，r̂(x) を回帰関数とすると r(x) との距離を考える必要があります． 距離の一例として
L(r̂, r) = ∫(r̂(x) − r(x))2 dx
とするとリスク関数は
R(r̂, r) = 𝔼[∫(r̂(x) − r(x))2 dx]
- このとき，r′′(y) < ∞ であると仮定しています
回帰関数のBiasとVarianceを b(x), v(x) とすると，
R(r̂, r) = ∫b2(x) dx + ∫v(x) dx
Non-parametric Regressionの方針
Non-parametric Regression推定の考え方は，データの「局所平均」をとることでです． ある点における回帰関数の推定値は，その点の近傍にある Y の値の平均として求めることになります．
バンド幅は Bias と Variance に影響を与えますが，
- 近傍が広すぎると，Bias が大きく Variance が小さい状態へ（oversmoothing）
- 逆に近傍が狭すぎると，Bias は小さいが Variance が大きい状態へ（undersmoothing）
Kernel Regression
定義 1 Kernel Regression Estimator
$$ \hat r(x) = \sum_{i=1}^n w_i(x) Y_i $$
wi(x): importance weight and the form is following
$$ w_i(x) = \frac{K\left(\frac{x - X_i}{h}\right)}{\sum_{i=1}^nK\left(\frac{x - X_i}{h}\right)} $$
表記簡略化のため $K\left(\frac{x - X_i}{h}\right) = K_h(X_i)$ とし，Xi は １変数の場合とします．
$$ \begin{align} \hat r(x) &= \frac{\sum Y_i K_h(X_i)}{\sum K_h(X_i)}\\ &= \frac{\frac{1}{n}\sum Y_i K_h(X_i)}{\frac{1}{n}\sum K_h(X_i)}\\ &= \frac{\frac{1}{n}\sum Y_i K_h(X_i)}{\hat p(x)}\\ &\approx \frac{\frac{1}{n}\sum Y_i K_h(X_i)}{p(x)} \end{align} $$
このとき numerator 側の期待値を考えると
$$ \begin{align} \mathbb{E}[Y K_h(X - x)] &= \iint y K_h(u - x) p(u, y)\, dy\, du \\ &= \int K_h(u - x) \left( \int y p(y \mid u)\, dy \right) p(u)\, du \\ &= \int K_h(u - x) r(u) p(u)\, du \\ &= \int K(t)\, r(x + th)\, p(x + th)\, dt \\ &\approx \int K(t) \left[ r(x) + th r'(x) + \frac{t^2 h^2}{2} r''(x) \right] \left[ p(x) + th p'(x) + \frac{t^2 h^2}{2} p''(x) \right] dt \\ &= r(x)p(x) + \frac{c h^2}{2} \left[ r(x)p''(x) + 2 r'(x)p'(x) + r''(x)p(x) \right] \end{align} $$
このとき c = ∫t2K(t)．したがって，
𝔼[r̂(x)] = r(x) + Ch2
分散の導出
$$ \begin{align} \mathbb E[Y^2K^2_h(X - x)] &= \int \mathbb E[Y^2 | X=u]K^2_h(u - x)p(u)\, du \\ &= \int (r^2(u) + \sigma^2(u))K^2_h(u - x)p(u)\, du \\ &= \int \left( \sigma^{2}(x + th) + r^{2}(x + th) \right) \frac{1}{h^{2}} K^{2}(t)\, p(x + th)\, h\, dt \\ &= \frac{1}{h} \int \left( \sigma^{2}(x) + r^{2}(x) \right) p(x)\, K^{2}(t)\, dt + o\!\left(\frac{1}{h}\right). \end{align} $$
したがって， 𝒪(1/h). h → 0 の状況では 𝔼[Y2Kh2(X − x)] のオーダーが支配的になるので
Var (YKh(X − x)) ≈ 𝒪(1/h)
したがって，i.i.dと $\sum_{i=1}^n$ より
$$ \operatorname{Var}(\hat r(x)) = \frac{C}{nh} $$
これらを踏まえるとIMSEは
$$ \operatorname{IMSE} = ch^4 + \frac{c}{nh} $$
d 次元を考えるとリスク関数は次のオーダーになります
R(r̂, r) ≈ n−4/(4 + d)
d が大きくなるほど，IMSEのオーダーは悪くなることから curse of dimensionality と呼びます．