5  期待値

確率的変動を考慮する際に，ランダムネスを要約した統計量として期待値を用いる場面は多いです．例えば， マーケティング担当者は，プロモーションの提供によって得られるリターンの期待値に基づいてプロモーションの実施を判断しますし， 投資家はさまざまな金融商品の期待リターンとリスクに基づいてポートフォリオを選択したりします．

期待値の性質

Def: 連続確率変数の期待値

$f$ を確率変数 $X$ の確率密度関数とする．${\int }_{\mathbb{R}}|x|f(x)\mathrm{d}x<\mathrm{\infty }$ のとき，$X$ の期待値は以下のように定義する:

$$\mathbb{E}[X]={\int }_{\mathbb{R}}xf(x)\mathrm{d}x$$

また，$X$ の関数 $g(X)$ の期待値は ${\int }_{\mathbb{R}}|g(x)|f(x)\mathrm{d}x<\mathrm{\infty }$ ならば

$$\mathbb{E}[g(X)]={\int }_{\mathbb{R}}g(x)f(x)\mathrm{d}x$$

定義より確率密度関数で重みづけた平均が確率変数の期待値になると解釈することができます．meanは分布の位置を表すパラメーターとも解釈できるので location parameter（位置母数）と呼ぶこともあります．一方，標準偏差 $\sigma$ はscale parameter（尺度母数）といいます．

▶  Example 5.1 指数分布の期待値

rate parameter $\lambda$ の指数分布に従う確率変数 $X$ を考えます．

$$\begin{array}{rl}\mathbb{E}[X]& ={\int }_0^{\mathrm{\infty }}x\lambda \exp (-\lambda x)\mathrm{d}x\\ & =[-x\exp (-\lambda x){]}_0^{\mathrm{\infty }}+{\int }_0^{\mathrm{\infty }}\exp (-\lambda x)\mathrm{d}x\\ & ={\int }_0^{\mathrm{\infty }}\exp (-\lambda x)\mathrm{d}x\\ & =-\frac{1}{\lambda }[\exp (-\lambda x){]}_0^{\mathrm{\infty }}\\ & =\frac{1}{\lambda }\end{array}$$

指数分布は電球の寿命などに応用される分布ですが，rate parameter $\lambda$ が小さいほど期待値（= 電球の寿命）が大きくなることが分かります．

▶  Example 5.2 期待値が定義できない離散分布

確率変数 $X$ のsupportを加算集合 $\{2,2^2,2^3,\cdots \}$ とする．確率関数を

$$Pr(X=2^i)=\frac{1}{2^i}(i=1,2,\cdots )$$

このとき，

$$\sum _{i=1}^{\mathrm{\infty }}Pr(X=2^i)=\sum _{i=1}^{\mathrm{\infty }}\frac{1}{2^i}=1$$

と確率の公理を満たしていることが分かる．一方，

$$\begin{array}{rl}\mathbb{E}[X]& =\sum _{i=1}^{\mathrm{\infty }}{2}^i\frac{1}{2^i}\\ & =\sum _{i=1}^{\mathrm{\infty }}1=\mathrm{\infty }\end{array}$$

従って，確率変数 $X$ の分布は，期待値が定義できない分布であることがわかる．

▶  Example 5.3 期待値が定義できない連続分布

確率密度関数 $$f(x)=\{\begin{array}{ll}0& x<1\\ \frac{1}{x^2}& x\ge 1\end{array}$$

という確率変数 $X$ を考える．

$$\begin{array}{rl}{\int }_1^{\mathrm{\infty }}f(x)\mathrm{d}x& ={\left[\frac{1}{x}\right]}_{\mathrm{\infty }}^1=1\end{array}$$

一方，

$$\begin{array}{rl}\mathbb{E}[X]& ={\int }_1^{\mathrm{\infty }}xf(x)\mathrm{d}x\\ & ={\int }_1^{\mathrm{\infty }}\frac{1}{x}\mathrm{d}x\\ & ={[\log (x)]}_1^{\mathrm{\infty }}=\mathrm{\infty }\end{array}$$

従って，確率変数 $X$ の分布は，期待値が定義できない分布であることがわかる．

▶  離散確率変数の変数変換と期待値

離散型確率変数 $X$ について $Y=g(X)$ を考えたとき，$A_y=\{x|g(x)=y\}$ とおくと

$$\begin{array}{rl}\mathbb{E}[g(X)]& =\sum _{x}p(x)g(x)\\ & =\sum _y\sum _{A_y}p(x)g(x)\\ & =\sum _y\sum _{A_y}p(x)y\\ & =\sum _{y}y\sum _{A_y}p(x)\\ & =\sum _{y}Pr(Y=y)y\\ & =\mathbb{E}[Y]\end{array}$$

上の式展開では, $Pr(X=x)=p(x)$ としています．

▶  期待値と重心

期待値の解釈の１つとして 確率変数 $X$ の重心と考えるパターンがあります．$x_i$ の値を $p_i$ の確率でとる離散型確率変数 $X$ の場合，

• 重さのない棒の中央を原点とする
• 原点から右側をプラス，左側をマイナスとして，原券からの距離 $x_i$ の場所に重さ $p_i$ のおもりを吊り下げる

このとき，重心 $\mu$ はモーメントの釣り合い = 右回りモーメントが0になる地点となりますが

$$\begin{array}{rl}\text{右回りモーメント}& =\sum _i(x_i-\mu )p_i\\ & =\sum x_i{p}_i-\sum _i{p}_i\mu \\ & =\mathbb{E}[X]-\mu =0\end{array}$$

従って，$\mathbb{E}[X]=\mu$ より，期待値と重心が対応することがわかります．連続型確率変数でも確率密度関数を重さのある棒の断面積と みなすことで離散型と同じく期待値と重心が対応することを確かめることができます．

Theorem 5.1 Tail probabilities

$[0,b]$ の定義域をもつ非負確率変数 $X$ を考える．$F$ を累積分布関数とするとき

$$\mathbb{E}[X]={\int }_0^b(1-F(x))\mathrm{d}x$$

Proof

$$[xF(x){]}_0^b={\int }_0^{b}xf(x)\mathrm{d}x+{\int }_0^{b}F(x)\mathrm{d}x$$

を用いると

$$\begin{array}{rl}\mathbb{E}[X]& =b-{\int }_0^{b}F(x)\mathrm{d}x\\ & ={\int }_0^{b}1\mathrm{d}x-{\int }_0^{b}F(x)\mathrm{d}x\\ & ={\int }_0^b(1-F(x))\mathrm{d}x\end{array}$$

Theorem 5.2 Tail probabilities

$\mathbb{E}[|X|]<\mathrm{\infty }$ をもつ非負の確率変数 $X$ について，$F(x)$ を分布関数とすると

$$\mathbb{E}[X]={\int }_0^{\mathrm{\infty }}(1-F(x))\mathrm{d}x$$

Proof

$$\begin{array}{rl}{\int }_0^{\mathrm{\infty }}(1-F(x))\mathrm{d}x& ={\int }_0^{\mathrm{\infty }}Pr(X\ge x)\mathrm{d}x\\ & ={\int }_0^{\mathrm{\infty }}\mathbb{E}[\mathbb{1}(X\ge x)]\mathrm{d}x\\ & ={\int }_0^{\mathrm{\infty }}{\int }_0^{\mathrm{\infty }}\mathbb{1}(X\ge x)\mathrm{d}F(x)\mathrm{d}x\\ & ={\int }_0^{\mathrm{\infty }}\{{\int }_0^{\mathrm{\infty }}\mathbb{1}(X\ge x)\mathrm{d}x\}\mathrm{d}F(x)\because \text{積分の順序交換}\\ & =\mathbb{E}[{\int }_0^{\mathrm{\infty }}\mathbb{1}(X\ge x)\mathrm{d}x]\\ & =\mathbb{E}\left[{\int }_0^{X}1\mathrm{d}x\right]\\ & =\mathbb{E}[X]\end{array}$$

$\underset{b\to \mathrm{\infty }}{lim}[x(1-F(x)){]}_0^b$ について，$\underset{b\to \mathrm{\infty }}{lim}b(1-F(b))=0$ とは限らない点に注意が必要です．

Theorem 5.3

$[0,\mathrm{\infty })$ の定義域をもつ非負確率変数 $X$ を考える．$\mathbb{E}[|X^{p+1}|]<\mathrm{\infty }$ が定義可能及び， $F$ を累積分布関数とするとき

$$\mathbb{E}[X^p]={\int }_0^{\mathrm{\infty }}p{x}^{p-1}(1-F(x))\mathrm{d}x\text{where }p>0$$

Proof

$$\begin{array}{r}[x^p(1-F(x)){]}_0^{\mathrm{\infty }}={\int }_0^{\mathrm{\infty }}p{x}^{p-1}(1-F(x))\mathrm{d}x-{\int }_0^{\mathrm{\infty }}{x}^{p}f(x)\mathrm{d}x\end{array}$$

$\text{RHS}=0$ であるので

$$\mathbb{E}[X^p]={\int }_0^{\mathrm{\infty }}p{x}^{p-1}(1-F(x))\mathrm{d}x$$

▶  Example 5.4 : Discrete Tail Probability

同様の考えで定義域を $0,1,2,3,\cdots$ とする離散確率変数 $X$ について

$$\mathbb{E}[X]=\sum _{k=0}^{\mathrm{\infty }}Pr(X>k)$$

が成立します．

$$\begin{array}{rl}Pr(X>k)& =Pr(X=k+1)+Pr(X=k+2)+\cdots \\ & =\sum _{l=k+1}^{\mathrm{\infty }}Pr(X=l)\end{array}$$

従って，

$$\begin{array}{rl}\sum _{k=0}^{\mathrm{\infty }}Pr(X>k)& =\sum _{k=0}^{\mathrm{\infty }}\sum _{l=k+1}^{\mathrm{\infty }}Pr(X=l)\\ & =\sum _{l=1}^{\mathrm{\infty }}\sum _{k=0}^{l-1}Pr(X=l)\because Pr(X=l)>0\\ & =\sum _{l=1}^{\mathrm{\infty }}lPr(X=l)\\ & =\sum _{l=0}^{\mathrm{\infty }}lPr(X=l)\\ & =\mathbb{E}[X]\end{array}$$ $$\begin{array}{}◼& \end{array}$$

▶  Example 5.5

$0,1,2,3,\cdots$ とする離散確率変数 $X$ について

$$\mathbb{E}[X^2]=\sum _{k=0}^{\mathrm{\infty }}Pr(X>k)(2k+1)$$

も成立する．

$$\begin{array}{rl}\sum _{k=0}^{\mathrm{\infty }}Pr(X>k)(2k+1)& =\sum _{k=0}^{\mathrm{\infty }}\sum _{l=k+1}^{\mathrm{\infty }}Pr(X=l)(2k+1)\\ & =\sum _{l=1}^{\mathrm{\infty }}\sum _{k=0}^{l-1}Pr(X=l)(2k+1)\\ & =\sum _{l=1}^{\mathrm{\infty }}Pr(X=l)\sum _{k=0}^{l-1}(2k+1)\\ & =\sum _{l=1}^{\mathrm{\infty }}{l}^{2}Pr(X=l)\\ & =\mathbb{E}[X^2]\end{array}$$

$$\begin{array}{}◼& \end{array}$$

Theorem 5.4 期待値の線型性

$a,b$ を実数，確率変数 $X,Y$ について以下が成り立つ

$$\mathbb{E}[aX+bY]=a\mathbb{E}[X]+b\mathbb{E}[Y]$$

Proof

確率変数 $X,Y$ が有限加算な標本空間で定義されているケースにて以下を示す．

1. $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$
2. $\mathbb{E}[cX]=c\mathbb{E}[X]$

▶  1. $\mathbb{E}[X+Y]=\mathbb{E}[X]+\mathbb{E}[Y]$

確率変数 $X$ は $\{x_1,\cdots ,x_m\}$, 確率変数 $Y$ は $\{y_1,\cdots ,y_n\}$ の値をそれぞれ取りうるとする． このとき，$Z=X+Y$ の標本空間 $\{z_1,\cdots ,z_k\}$ について $k\le m+n$ が成り立つ．

$A_l=\{(i,j):x_i+y_j=z_l\}$ としたとき，

$$\begin{array}{rl}\mathbb{E}[X+Y]& =\sum _{l=1}^k{z}_{l}Pr(A_l)\\ & =\sum _{l=1}^k\sum _{(i,j)\in Z_l}(x_i+y_j)Pr(x_i,y_j)\\ & =\sum _{i=1}^m\sum _{j=1}^n(x_i+y_j)Pr(x_i,y_j)\\ & =\sum _{i=1}^m\sum _{j=1}^n{x}_{i}Pr(x_i,y_j)+y_{j}Pr(x_i,y_j)\\ & =\sum _{i=1}^m\sum _{j=1}^n[x_{i}Pr(x_i,y_j)+y_{j}Pr(x_i,y_j)]\\ & =\sum _{i=1}^m{x}_i\sum _{j=1}^{n}Pr(x_i,y_j)+\sum _{j=1}^n{y}_j\sum _{i=1}^{m}Pr(x_i,y_j)\\ & =\sum _{i=1}^m{x}_{i}Pr(x_i)+\sum _{j=1}^n{y}_{j}Pr(y_j)\\ & =\mathbb{E}[X]+\mathbb{E}[Y]\end{array}$$

▶  2. $\mathbb{E}[cX]=c\mathbb{E}[X]$

$$\begin{array}{rl}\mathbb{E}[cX]& =\sum _{i=1}^{m}c{x}_i=Pr(cX=c{x}_i)\\ & =c\sum _{i=1}^m{x}_i=Pr(X=x_i)\\ & =c\mathbb{E}[X]\end{array}$$

期待値の線型性定理の応用として, 期待値が定義できるという前提の下，

$$\begin{array}{rl}\mathbb{E}[g(X,Y)+h(X,Y)]& =\mathbb{E}[g(X,Y)]+\mathbb{E}[h(X,Y)]\\ \mathbb{E}[ag(X,Y)+b]& =a\mathbb{E}[g(X,Y)]+b(a,b\text{: constants})\end{array}$$ が成り立ちます．

$$\begin{array}{rl}\mathbb{E}[g(X,Y)+h(X,Y)]& ={\int }_{\mathbb{R}}{\int }_{\mathbb{R}}(g(x,y)+h(x,y))f(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\int }_{\mathbb{R}}{\int }_{\mathbb{R}}g(x,y)f(x,y)\mathrm{d}x\mathrm{d}y+{\int }_{\mathbb{R}}{\int }_{\mathbb{R}}h(x,y)f(x,y)\mathrm{d}x\mathrm{d}y\\ & =\mathbb{E}[g(X,Y)]+\mathbb{E}[h(X,Y)]\end{array}$$

上記のように確認できます．

▶  Example 5.6 : 変数変換と分散

mean $\mu$ をもつ確率変数 $X$ と実数 $a,b$ について

$$\mathrm{Var}(aX+b)=a^2\mathrm{Var}(X)$$

が成立します．証明は以下，

$$\begin{array}{rl}\mathrm{Var}(aX+b)& =\mathbb{E}[(aX+b)-(a\mu +b{)}^2]\\ & =\mathbb{E}[a^2(X-\mu {)}^2]\\ & =a^2\mathbb{E}[(X-\mu {)}^2]\\ & =a^2\mathrm{Var}(X)\end{array}$$

$$\begin{array}{}◼& \end{array}$$

Theorem 5.5 : 確率変数の標準化

確率変数 $X$ について, $\mathbb{E}[X]=\mu ,\mathrm{Var}(X)={\sigma }^2$ が存在するとき，

$$Z=\frac{X-\mu }{\sigma }$$

とおくと，$\mathbb{E}[Z]=0,\mathrm{Var}(Z)=1$ が成立する．

Proof

$$\begin{array}{rl}\mathbb{E}[Z]& =\mathbb{E}\left[\frac{X-\mu }{\sigma }\right]\\ & =\frac{\mathbb{E}[X]-\mu }{\sigma }\\ & =0\end{array}$$

$$\begin{array}{rl}\mathrm{Var}(Z)& =\mathbb{E}[Z^2]\\ & =\mathbb{E}\left[\frac{(X-\mu {)}^2}{{\sigma }^2}\right]\\ & =\frac{{\sigma }^2}{{\sigma }^2}\\ & =1\end{array}$$

Theorem 5.6 positive operator

確率変数 $X,Y$ について，$X\ge Y$ が成り立つとき，

$$\mathbb{E}[X]\ge \mathbb{E}[Y]$$

Proof

$X\ge Y$ より $X-Y\ge 0$. 期待値はpositive operatorなので

$$\mathbb{E}[X-Y]\ge 0$$

従って，期待値の線型性を用いると

$$\begin{array}{rl}\mathbb{E}[X-Y]& =\mathbb{E}[X]-\mathbb{E}[Y]\ge 0\end{array}$$

Theorem 5.7

確率変数 $X$ について,

$$\mathbb{E}[|X|]\ge |\mathbb{E}[X]|$$

Proof

$|X|\ge X$ より

$$\mathbb{E}[|X|]\ge \mathbb{E}[X]$$

また, $|X|+X\ge 0$ より，$\mathbb{E}[|X|+X]\ge 0$， つまり，

$$\mathbb{E}[|X|]\ge -\mathbb{E}[X]$$

以上より，$\mathbb{E}[|X|]\ge |\mathbb{E}[X]|$

Theorem 5.8 Schwarz inquality

確率変数 $X,Y$ についてシュワルツの不等式が成立することを示せ

$${(\mathbb{E}[XY])}^2\le \mathbb{E}[X^2]\mathbb{E}[Y^2]$$

Proof

Quadratic functionを以下のように定義します

$$\begin{array}{rl}g(t)& =\mathbb{E}[(tX-Y{)}^2]\\ & =t^2\mathbb{E}[X^2]-2t\mathbb{E}[XY]+E[Y^2]\\ & \ge 0\end{array}$$

このとき，$g(t)$ はnon-negativeなので判別式について以下が成立する

$$D/4={(\mathbb{E}[XY])}^2-\mathbb{E}[X^2]\mathbb{E}[Y^2]\le 0$$

従って，${(\mathbb{E}[XY])}^2\le \mathbb{E}[X^2]\mathbb{E}[Y^2]$

Theorem 5.9 : Triangle inequality

確率変数 $X,Y$ について，以下のような三角不等式が成立することを示せ

$$\sqrt{\mathbb{E}[(X+Y{)}^2]}\le \sqrt{\mathbb{E}[X^2]}+\sqrt{\mathbb{E}[Y^2]}$$

Proof

シュワルツの不等式を用いて以下のように示せる

$$\begin{array}{rl}\mathbb{E}[(X+Y{)}^2]& =\mathbb{E}[X^2]+2\mathbb{E}[XY]+\mathbb{E}[Y^2]\\ & =\mathbb{E}[X^2]+2\sqrt{(\mathbb{E}[XY]{)}^2}+\mathbb{E}[Y^2]\\ & \le \mathbb{E}[X^2]+2\sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2]}+\mathbb{E}[Y^2]\\ & =(\sqrt{\mathbb{E}[X^2]}+\sqrt{\mathbb{E}[Y^2]}{)}^2\end{array}$$

両辺について，square rootをとると，

$$\sqrt{\mathbb{E}[(X+Y{)}^2]}\le \sqrt{\mathbb{E}[X^2]}+\sqrt{\mathbb{E}[Y^2]}$$

独立な確率変数と期待値

Theorem 5.10 互いに独立な確率変数の積の期待値

$\mathbb{E}[|X|]<\mathrm{\infty },\mathbb{E}[|Y|]<\mathrm{\infty }$ を満たす, 確率空間 $(\mathrm{\Omega },\mathcal{F},P)$ 上で定義された確率変数 $X,Y$ を考える． $X\perp Y$ であるとき，次が成立する

$$\mathbb{E}[XY]=\mathbb{E}[X]\mathbb{E}[Y]$$

Proof

$$\begin{array}{rl}\mathbb{E}[XY]& =\int {\int }_{\mathrm{\Omega }}xyf(x,y)\mathrm{d}x\mathrm{d}y\\ & =\int {\int }_{\mathrm{\Omega }}xy{f}_X(x)f_Y(y)\mathrm{d}x\mathrm{d}y\because \text{independence}\\ & =(\int x{f}_X(x)\mathrm{d}x)(\int y{f}_Y(y)\mathrm{d}y)\\ & =\mathbb{E}[X]\mathbb{E}[Y]\end{array}$$

Theorem 5.11 互いに独立な確率変数についての関数の積の期待値

$\mathbb{E}[|X|]<\mathrm{\infty },\mathbb{E}[|Y|]<\mathrm{\infty }$ を満たす, 確率空間 $(\mathrm{\Omega },\mathcal{F},P)$ 上で定義された確率変数 $X,Y$ を考える． また，関数 $g(X)$, $h(Y)$ は期待値が存在するとする．$X\perp Y$ であるとき，次が成立する

$$\mathbb{E}[g(X)h(Y)]=\mathbb{E}[g(X)]\mathbb{E}[h(Y)]$$

Proof

$X\perp Y$ なので，確率密度関数について $f(x,y)=f_X(x)f_Y(y)$ が成立します．

$$\begin{array}{rl}\mathbb{E}[g(X)h(Y)]& ={\int }_{\mathbb{R}}{\int }_{\mathbb{R}}g(x)h(x)f(x,y)\mathrm{d}x\mathrm{d}y\\ & ={\int }_{\mathbb{R}}{\int }_{\mathbb{R}}g(x)h(x)f(x,y)\mathrm{d}x\mathrm{d}y\\ & =\{{\int }_{\mathbb{R}}g(x)f_X(x)\mathrm{d}x\}\{{\int }_{\mathbb{R}}h(x)f_Y(y)\mathrm{d}y\}\\ & =\mathbb{E}[g(X)]\mathbb{E}[h(Y)]\end{array}$$

条件付き期待値

Theorem 5.12 Law of Total Expectation

$$\mathbb{E}[Y]=\mathbb{E}[\mathbb{E}[Y|X]]$$

Proof

▶  連続確率変数の場合

$$\begin{array}{rl}\mathbb{E}[\mathbb{E}[Y|X]]& =\int \mathbb{E}[Y|X=u]f_X(u)\mathrm{d}u\\ & =\int [\int t{f}_Y(t|x=u)\mathrm{d}t]f_X(u)\mathrm{d}u\\ & =\int \int t{f}_Y(t|x=u)f_X(u)\mathrm{d}u\mathrm{d}t\\ & =\int t[\int f_{X,Y}(u,t)\mathrm{d}u]\mathrm{d}t\\ & =\int t{f}_Y(t)\mathrm{d}t\\ & =\mathbb{E}[Y]\end{array}$$

▶  離散確率変数の場合

$$\begin{array}{rl}\mathbb{E}[\mathbb{E}[Y|X]]& =\sum _{x\in \mathcal{X}}\mathbb{E}[Y|X]f_X(x)\\ & =\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}y{f}_{Y|X}(y|x)f_X(x)\\ & =\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}yf(x,y)\\ & =\sum _{y\in \mathcal{Y}}y{f}_Y(y)\\ & =\mathbb{E}[Y]\end{array}$$

LTEの法則より

$$\begin{array}{rl}\mathbb{E}[Y]& =\mathbb{E}[\mathbb{E}[Y|X,Z]]\\ \mathbb{E}[Y|X]& =\mathbb{E}[\mathbb{E}[Y|X,Z]|X]\end{array}$$

が成立します．

なお，$\mathbb{E}[Y|X],\mathbb{E}[Y|X=x]$ の違いには注意が必要です．前者は確率変数ですが， 後者は確率変数の実現値の取りうる値を表しています．$X$ を $x_1,\cdots ,x_k$ の値を取る離散確率変数とすると， $\mathbb{E}[Y|X]$ は $k$ 個の値を取る離散確率変数となります．

Theorem 5.13

$g(\cdot )$ を $\mathbb{E}[g(X)Y]<\mathrm{\infty }$ を満たす $X$ の任意の関数とする．このとき，

$$\mathbb{E}[\mathbb{E}[g(X)Y|X]]=\mathbb{E}[g(X)Y]$$

が成り立つ．

Proof

${\mu }_Y(x)=\mathbb{E}[Y|X=x]$ とする．このとき，

$$\begin{array}{rl}\mathbb{E}[g(X)\mathbb{E}[Y|X]]& =\mathbb{E}[g(X){\mu }_Y(X))\\ & =\sum _{x\in \mathcal{X}}g(x){\mu }_Y(x)f_X(x)\\ & =\sum _{x\in \mathcal{X}}g(x)\sum _{y\in \mathcal{Y}}y{f}_{Y|X}(y|x)f_X(x)\\ & =\sum _{x\in \mathcal{X}}g(x)\sum _{y\in \mathcal{Y}}yf(x,y)\\ & =\sum _{x\in \mathcal{X}}\sum _{y\in \mathcal{Y}}g(x)yf(x,y)\\ & =\mathbb{E}[g(X)Y]\end{array}$$

Theorem 5.14 : CEF Decomposition Property

確率変数 $X,Y$ について，

$$Y=\mathbb{E}[Y|X]+ϵ$$

としたとき，

1. $ϵ$ は $X$ について mean-independent, つまり, $$\mathbb{E}[ϵ|X]=0$$
2. $ϵ$ は $X$ の任意の関数に対して無相関, つまり, $$\mathrm{Cov}(h(X),ϵ)=0$$
3. $\mathrm{Var}(ϵ)=\mathbb{E}[\mathrm{Var}(Y|X)]$

Proof

▶  (1)

$$\begin{array}{rl}\mathbb{E}[ϵ|X]& =\mathbb{E}[Y-\mathbb{E}[Y|X]|X]\\ & =\mathbb{E}[Y|X]-\mathbb{E}[Y|X]\\ & =0\end{array}$$

▶  (2)

$$\begin{array}{rl}\mathbb{E}[h(X)ϵ]& =E[\mathbb{E}[h(X)ϵ|X]]\\ & =E[h(X)\mathbb{E}[ϵ|X]]\\ & =0\because \text{mean independence}\end{array}$$

▶  (3)

条件付き期待値の公式 $\mathbb{E}[g(X,Y)]={\mathbb{E}}_X[{\mathbb{E}}_{Y|X}[g(X,Y)|X]]$ より

$$\begin{array}{rl}\mathrm{Var}(ϵ)& =\mathbb{E}[(Y-\mathbb{E}[Y|X]{)}^2]\\ & =\mathbb{E}\{\mathbb{E}[(Y-\mathbb{E}[Y|X]{)}^2|X]\}\\ & =\mathbb{E}[\mathrm{Var}(Y|X)]\end{array}$$

CEF Decomposition Propertyは，確率変数 $Y$ は確率変数 $X$ で説明できるパートと，$X$ の任意の関数と直行（orthogonal） な誤差項のパートに分解できることを示しています．

Theorem 5.15 : MSE minimizer

$g(\cdot )$ を $X$ の任意の関数とする．このとき，

$$\mathbb{E}[(Y-g(X){)}^2]\ge \mathbb{E}[(Y-\mathbb{E}[Y|X]{)}^2]$$

が成立する．つまり，$\mathbb{E}[Y|X]$ は，$X$ のすべての関数の中で，MSEの意味で $Y$ の最良近似を与える．

Proof

${\mu }_Y(X)=\mathbb{E}[Y|X]$ とする．

$$\begin{array}{rl}\mathbb{E}[(Y-g(X){)}^2]=& \mathbb{E}[(Y-g(X)+{\mu }_Y(X)-{\mu }_Y(X){)}^2]\\ =& \mathbb{E}[(Y-{\mu }_Y(X){)}^2+({\mu }_Y(X)-g(X){)}^2\\ & +2(Y-{\mu }_Y(X))({\mu }_Y(X)-g(X))]\\ =& \mathbb{E}[(Y-{\mu }_Y(X){)}^2]+\mathbb{E}[({\mu }_Y(X)-g(X){)}^2]\\ & +2\mathbb{E}[(Y-{\mu }_Y(X))({\mu }_Y(X)-g(X))]\\ =& \mathbb{E}[(Y-{\mu }_Y(X){)}^2]+\mathbb{E}[({\mu }_Y(X)-g(X){)}^2]\\ \ge & \mathbb{E}[(Y-{\mu }_Y(X){)}^2]\end{array}$$

Moments

Def: モーメント

$0<r<\mathrm{\infty }$ を満たすような正の整数 $r$ に対して，確率変数 $X$ のthe r-th moment（原点周りのモーメント）は以下のように定義される

$$\mathbb{E}[X^r]={\int }_{\mathbb{R}}{x}^r\mathrm{d}{F}_X(x)$$

the r-th central moment(平均周りのモーメント)は $\mathbb{E}[(X-\mathbb{E}[X]{)}^r]$ と定義される．

原点周りのモーメントと平均周りのモーメントは以下のような関係で理解することができます．$\mathbb{E}[X]=\mu$ とすると，

$$\begin{array}{rl}(X-\mu +\mu {)}^r& =\sum _{k=0}^k\left(\begin{array}{c}r\\ k\end{array}\right)(X-\mu {)}^k{\mu }^{r-k}\end{array}$$

両辺の期待値をとると

$$\begin{array}{r}\mathbb{E}[X^r]=\sum _{k=0}^k\left(\begin{array}{c}r\\ k\end{array}\right)\mathbb{E}[(X-\mu {)}^k]{\mu }^{r-k}\end{array}$$

また，平均周りのモーメントを原点周りのモーメントで表すとなると，

$$\begin{array}{r}(X-\mu {)}^r=\sum _{k=0}^r(-1{)}^{r-k}{X}^r{\mu }^{r-k}\end{array}$$

同様に期待値をとると

$$\begin{array}{r}\mathbb{E}[(X-\mu {)}^r]=\sum _{k=0}^r(-1{)}^{r-k}\mathbb{E}[X^r]{\mu }^{r-k}\end{array}$$

Theorem 5.16 : higher moment and lower moment

$\mathbb{E}[|X{|}^r]<\mathrm{\infty }$ のとき，$0<q<r$ について，$\mathbb{E}[|X{|}^q]<\mathrm{\infty }$ が成立する．

Proof

関数 $g:\mathbb{R}\to \mathbb{R}$ を

$$g(x)=|x{|}^r+1$$

関数 $g:\mathbb{h}\to \mathbb{R}$ を $h(x)=|x{|}^q$ と定義する．$0<q<r$ より，

$$h(x)<g(x)\mathrm{\forall }x\in \mathrm{support}(X)$$

このとき，

$$\begin{array}{rl}{\int }_{\mathbb{R}}|x{|}^r+1\mathrm{d}F& ={\int }_{\mathbb{R}}|x{|}^r\mathrm{d}F+\underset{=1}{\underbrace{{\int }_{\mathbb{R}}1\mathrm{d}F}}\\ & >{\int }_{\mathbb{R}}|x{|}^s\mathrm{d}F\end{array}$$

従って，

$$\begin{array}{rl}\mathrm{\infty }& >\mathbb{E}[|X{|}^r]+1\\ & >{\int }_{\mathbb{R}}|x{|}^q\mathrm{d}F\\ & =\mathbb{E}[|X{|}^q]\end{array}$$

Theorem 5.17 : Mean minimizes squared error

確率変数 $X$ について，$\mathbb{E}[|X{|}^2]<\mathrm{\infty }$ とする．このとき，

$$\mathbb{E}[X]=\arg \underset{b}{min}\mathbb{E}[(X-b{)}^2]$$

Proof

${\mu }_X=\mathbb{E}[X],{\sigma }^2=\mathbb{E}[(X-{\mu }_X{)}^2]$ とおく．

$$\begin{array}{rl}E[(X-b{)}^2]& =\mathbb{E}[(X-{\mu }_X+{\mu }_X-b{)}^2]\\ & =\mathbb{E}[(X-{\mu }_X{)}^2]+\mathbb{E}[({\mu }_X-b{)}^2]+\mathbb{E}[(X-{\mu }_X)({\mu }_x-b)]\\ & ={\sigma }^2+\mathbb{E}[({\mu }_X-b{)}^2]+({\mu }_X-b)\mathbb{E}[X-{\mu }_X]\\ & ={\sigma }^2+\mathbb{E}[({\mu }_X-b{)}^2]\end{array}$$

$\mathbb{E}[({\mu }_X-b{)}^2]\ge 0$ が成立し，また, 等号成立条件は ${\mu }_X=b$．従って，

$$\mathbb{E}[X]=\arg \underset{b}{min}\mathbb{E}[(X-b{)}^2]$$

Markov and Chebyshev Inequalities

確率変数 $X$ について，確率密度関数や分布関数がわかっている状況は少ないです．また，データが得られたとしても それらを計算することはかんたんではありません．その中で，

• $X$ が mean $\mu$ からどれくらい離れる可能性があるのか
• $Pr(|X\le a|)$ のupper boundはどれくらいか？

という統計的推測をしたいときに使用されるMarkov and Chebyshev Inequalitiesを解説します．

Theorem 5.18 Markov’s Inequality

non-negative 確率変数 $X\ge 0$，constant $k>0$ について以下が成立する

$$Pr(X\ge k)\le \frac{\mathbb{E}[X]}{k}$$

つまり，

$$Pr(X\ge k\mathbb{E}[X])\le \frac{1}{k}$$

Proof

$$\begin{array}{rl}\mathbb{E}[X]& ={\int }_0^{\mathrm{\infty }}xf(x)\mathrm{d}x\\ & ={\int }_0^{k}xf(x)\mathrm{d}x+{\int }_k^{\mathrm{\infty }}xf(x)\mathrm{d}x\\ & \ge {\int }_k^{\mathrm{\infty }}xf(x)\mathrm{d}x\\ & \ge {\int }_k^{\mathrm{\infty }}kf(x)\mathrm{d}x\\ & =kPr(X\ge k)\end{array}$$

Proof: 変数変換

$$Y=\{\begin{array}{ll}0& \text{if}X<k\\ k& \text{if}X\ge k\end{array}$$

のように変数変換をすると常に $Y\le X$ であるので $\mathbb{E}[Y]\le \mathbb{E}[X]$.

$$\begin{array}{rl}& \mathbb{E}[Y]=kPr(X\ge k)\\ \Rightarrow & Pr(X\ge k)\le \frac{\mathbb{E}[X]}{k}\end{array}$$

Theorem 5.19 Markov’s Inequality with function

確率変数 $X$ の関数 $g(X)$ が $g(X)\ge 0$ を満たすとする．任意の正の実数 $c\in {\mathbb{R}}_{++}$ に対して

$$Pr(g(X)\ge c)\le \frac{\mathbb{E}[g(X)]}{c}$$

が成立する．

Proof

$$\begin{array}{rl}\mathbb{E}[g(X)]& =\mathbb{E}[g(X)(\mathbb{1}(g(X)\ge c)+\mathbb{1}(g(X)<c))]\\ & \ge \mathbb{E}[g(X)\mathbb{1}(g(X)\ge c)]\\ & \ge c\mathbb{E}[\mathbb{1}(g(X)\ge c)]\\ & =cPr(g(X)\ge c)\end{array}$$

Theorem 5.20

確率変数 $X$ の関数 $g(X)$ が $g(X)\ge 0$ かつ $\mathbb{E}[g(X)]=0$ を満たすとする． このとき，

$$Pr(g(X)=0)=1$$

Proof

背理法で示します．$Pr(g(X)=0)<1$ とすると，ある $c>0$ について $Pr(g(X)\ge c)>0$ となります．

マルコフ不等式より，

$$Pr(g(X)\ge c)\le \frac{\mathbb{E}[g(X)]}{c}=0$$

となるはずですが，これは $Pr(g(X)\ge c)>0$ に矛盾．従って，．$Pr(g(X)=0)=1$ が成り立ちます．

📘 REMARKS

• Markov’s inequalityは 確率変数 $X$ がnon-negative, population mean $\mu$ の知識のみで使用可能
• 一方，bound幅は大きく，weakest inequalityである

▶  Example 5.7

点数範囲が ${\mathrm{\Omega }}_x=[0,110]$ の試験をついて，そのテストスコア確率変数 $X$ を考える．分布の情報はわからないが population meanは 25 であることが知られている．このとき，$Pr(X\ge 100)$ のupper boundはMarkov’s inequalityを用いて 以下のように計算できます．

$X$ がnon-negativeなので

$$\begin{array}{rl}Pr(X\ge 100)& \le \frac{25}{100}\\ & =\frac{1}{4}\end{array}$$

▶  Example 5.8 : weak inequality

$X_i\stackrel{\mathrm{iid}}{\sim }\mathrm{Bernoulli}(0.2)$ を20回繰り返す試行を考える．この試行の結果のアウトカムを $Y$ としたとき，

$$Pr(Y\ge 16)=\sum _{k=16}^{20}{}_{20}{C}_k{0.2}^k{0.8}^{20-k}\approx 1.38\cdot {10}^{-8}$$

一方，Markov’s inequalityを用いると

$$\begin{array}{r}Pr(Y\ge 16)\le \frac{4}{16}=\frac{1}{4}\end{array}$$

このように，bound幅は大きいことが分かる．

Theorem 5.21 Chebyshev’s inequality

$X\sim D(\mu ,{\sigma }^2)$ とする．ただし，$D$ の形状はわからない．実数 $\alpha >0$ について，以下が成立する

$$Pr(|X-\mu |\ge \alpha )\le \frac{{\sigma }^2}{{\alpha }^2}$$

つまり，

$$Pr(|X-\mu |\ge \alpha \sigma )\le \frac{1}{{\alpha }^2}$$

Proof

$I=\{x:|x-\mu |\ge k\}$ とする．

$$\begin{array}{rl}{\sigma }^2& ={\int }_{\mathbb{R}}(x-\mu {)}^{2}f(x)\mathrm{d}x\\ & \ge {\int }_I(x-\mu {)}^{2}f(x)\mathrm{d}x\\ & \ge {\int }_I{k}^{2}f(x)\mathrm{d}x\\ & =k^{2}Pr(|x-\mu |\ge k)\end{array}$$

以上より，${\displaystyle Pr(|X-\mu |\ge k)\le \frac{{\sigma }^2}{k^2}}$ を得る．

Proof: using Markov’s inequality

$(x-\mu {)}^2$ を確率変数と考えると，non-negative確率変数になる，つまりMarkov’s inequalityを用いることができるので

$$\begin{array}{rl}Pr(|x-\mu |\ge k)& =Pr((x-\mu {)}^2\ge k^2)\\ & \le \frac{\mathbb{E}[(x-\mu {)}^2]}{k^2}\because \text{Markov’s inequality}\\ & =\frac{{\sigma }^2}{k^2}\end{array}$$

▶  Example 5.9 Markov’s inequality vs Chebyshev’s inequality

$X\sim \mathrm{Binom}(n=20,p=0.2)$ について，weak inequality で確認したように，Markov’s inequalityのより

$$Pr(X\ge 16)=Pr(X\ge 4\mathbb{E}[X])\le \frac{1}{4}$$

一方，Chebyshev’s inequalityを用いると

$$\begin{array}{rl}Pr(X\ge 16)& \le Pr(|X-4|\ge 12)\\ & \le \frac{\mathrm{Var}(X)}{{12}^2}\\ & \le \frac{3.2}{{12}^2}\\ & =\frac{1}{45}\end{array}$$

🍵 Green Tea Break

• Chebyshev’s inequalityはMarkov’s inqualityと異なり，確率変数 $X$ がnon-negativeである必要はない
• meanからの距離についての情報を得ることができる

▶  Example 5.10 : フェアなサイコロと出た目の範囲

$n$ 回独立に６面のフェアなサイコロを投げる試行を考えます．このとき，6の目が出た回数 $X$ が $[n/6-\sqrt{n},n/6+\sqrt{n}]$ に収まる確率は exactに計算するには大変ですが，Chebyshev inequalityを用いてlower bouldを計算することができます．

サイコロをi回目投げたときに出た目について

$$\begin{array}{r}{Z}_i=\{\begin{array}{cc}1& \text{if 6の目がでる}\\ 0& \text{otherwise}\end{array}\end{array}$$

という確率変数を考えたとき，

$$X=\sum _{i=1}^n{Z}_i\sim \mathrm{Binom}(n,1/6)$$

と表すことができます．このときChebyshev inequalityより

$$\begin{array}{r}P(|X-\mu |\ge k)\le \frac{{\sigma }^2}{k^2}\\ \Rightarrow P(|X-\mu |\ge \sqrt{n})\le \frac{1}{n}\frac{5n}{36}=\frac{5}{36}\end{array}$$

したがって，

$$P(|X-\mu |<\sqrt{n})\ge 1-\frac{5}{36}=\frac{31}{36}$$

▶  PythonでのBoundの確認

$n$ の回数を増やしてlower-boundに近づいていくのか確認した所，そのような挙動は以下のように確認されませんでした． 一方，正規分布での近似の値に収束していくことが確認できます．収束先の値 $p^{\ast }$ は

$$p^{\ast }=\mathrm{\Phi }(1/\sqrt{5/36})-\mathrm{\Phi }(-1/\sqrt{5/36})\approx 0.9927$$

import numpy as np
from scipy.stats import binom
import plotly.graph_objects as go
from scipy.stats import norm
from regmonkey_style import stylewizard as sw

sw.set_templates("regmonkey_twoline")

N = np.arange(1, 1000)
p = 1 / 6
norm_instance = norm(N / 6, np.sqrt(N * 5 / 36))

exact_prob = binom.cdf(N / 6 + np.sqrt(N), N, p) - binom.cdf(N / 6 - np.sqrt(N), N, p)
norm_approx = norm_instance.cdf(N / 6 + np.sqrt(N)) - norm(
    N / 6, np.sqrt(N * 5 / 36)
).cdf(N / 6 - np.sqrt(N))
lowerbound_prob = 31 / 36

# Create the plot
fig = go.Figure()

# Add exact probability line
fig.add_trace(
    go.Scatter(
        x=N, y=exact_prob, mode="lines", line=dict(width=3), name="Exact Probability"
    )
)

fig.add_trace(
    go.Scatter(
        x=N,
        y=norm_approx,
        mode="lines",
        line=dict(width=3),
        name="Normal-approx Probability",
    )
)

# Add approximate probability line
fig.add_trace(
    go.Scatter(
        x=N, y=[lowerbound_prob] * len(N), mode="lines", name="Lower-bound Probability"
    )
)

# Add labels and title
fig.update_layout(
    title="Exact vs normal-approx vs lower-bound Probability",
    xaxis_title="N (log-scale)",
    yaxis_title="Probability",
    legend=dict(x=0.8, y=0.99),
    yaxis_range=[0.85, 1.05],
        xaxis=dict(
        type='log',
        tickvals=[1, 10, 100, 1000, 10000, 100000],
        ticktext=['1', '10', '100', '1k', '10k', '100k']
    )
)

# Show the plot
fig.show()

Weak Law of Large Numbers

Theorem 5.22 Weak Law of Large Numbers

平均 $\mu$, 分散 ${\sigma }^2$ の分布に独立に従う確率変数 $X_1,\cdots ,X_n$ を考える．標本平均を $\overline{X_n}=\frac{1}{n}\sum _{i=1}^n{X}_i$ とする．

このとき，任意の実数 $ϵ>0$ に対して，

$$\underset{n\to \mathrm{\infty }}{lim}Pr(|\overline{X_n}-\mu |>ϵ)=0$$

つまり，標本平均は母平均に確率収束する．

Proof

Chebyshev’s inequalityを用いて以下のように示せる

$$\begin{array}{rl}\underset{n\to \mathrm{\infty }}{lim}Pr(|\overline{X_n}-\mu |>ϵ)& \le \underset{n\to \mathrm{\infty }}{lim}\frac{\mathrm{Var}(\overline{X_n})}{{ϵ}^2}\\ & =\underset{n\to \mathrm{\infty }}{lim}\frac{{\sigma }^2}{n{ϵ}^2}\\ & =0\end{array}$$

Stein identity

Theorem 5.23 : スタインの等式

確率変数 $X\sim N(\mu ,{\sigma }^2)$ とする．$g(\cdot )$ が微分可能で $\mathbb{E}[|g^{\prime }(X)|]<\mathrm{\infty }$ 及び $\mathbb{E}[|g(X)|]<\mathrm{\infty }$ のとき，

$$\mathbb{E}[(X-\mu )g(X)]={\sigma }^2\mathbb{E}[g^{\prime }(X)]$$

が成り立つ．

Proof

$$\mathbb{E}[(X-\mu )g(X)]=\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)(x-\mu )(-\frac{(x-\mu {)}^2}{2{\sigma }^2})\mathrm{d}x$$

ここで，

$$h(x)=-{\sigma }^2\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

とおくと，

$$h^{\prime }(x)=(x-\mu )(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

従って，

$$\begin{array}{rl}\mathbb{E}[(X-\mu )g(X)]=& \frac{1}{\sqrt{2\pi {\sigma }^2}}[h(x)g(x){]}_{-\mathrm{\infty }}^{\mathrm{\infty }}-\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{g}^{\prime }(x)h(x)\mathrm{d}x\\ =& \frac{1}{\sqrt{2\pi {\sigma }^2}}{[-{\sigma }^2\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})g(x)]}_{-\mathrm{\infty }}^{\mathrm{\infty }}\\ & +\frac{{\sigma }^2}{\sqrt{2\pi {\sigma }^2}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{g}^{\prime }(x)\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\mathrm{d}x\\ =& {\sigma }^2\mathbb{E}[g^{\prime }(X)]\end{array}$$

▶  スタインの等式とモーメント計算

$m$ 次のモーメントは

$$\begin{array}{rl}\mathbb{E}[X^m]& =\mathbb{E}[(X-\mu )X^{m-1}+\mu X^{m-1}]\\ & =\mathbb{E}[(X-\mu )X^{m-1}]+\mu \mathbb{E}[X^{m-1}]\end{array}$$

ここでスタインの等式を用いると

$$\mathbb{E}[(X-\mu )X^{m-1}]={\sigma }^2\mathbb{E}[(m-1)X^{m-2}]$$

従って，

$$\mathbb{E}[X^m]={\sigma }^2\mathbb{E}[(m-1)X^{m-2}]+\mu \mathbb{E}[X^{m-1}]$$

分散

Theorem 5.24 : Bienaymé Equality

互いに独立な確率変数 $X,Y$ について以下が成立する

$$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$$

Proof

$$\begin{array}{rl}\mathrm{Var}(X+Y)& =\mathbb{E}[((X+Y)-({\mu }_X+{\mu }_Y){)}^2]\\ & =\mathbb{E}[((X-{\mu }_X)+(Y-{\mu }_Y){)}^2]\\ & =\mathbb{E}[(X-{\mu }_X{)}^2]+2\mathbb{E}[(X-{\mu }_X)(Y-{\mu }_Y)]+\mathbb{E}[(Y-{\mu }_Y{)}^2]\\ & =\mathbb{E}[(X-{\mu }_X{)}^2]+2\mathbb{E}[(X-{\mu }_X)]\mathbb{E}[(Y-{\mu }_Y)]+\mathbb{E}[(Y-{\mu }_Y{)}^2]\because \text{独立性}\\ & =\mathrm{Var}(X)+\mathrm{Var}(Y)\end{array}$$

なお，確率変数 $X,Y$ が独立ではない場合は

$$\mathrm{Var}(X+Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)$$

が成立します．${\mu }_X=\mathbb{E}[X],{\mu }_Y=\mathbb{E}[Y]$ とすると，

$$\begin{array}{rl}\mathrm{Var}(X+Y)& =\mathbb{E}[(X+Y-{\mu }_x-{\mu }_y{)}^2]\\ & =\mathbb{E}[(X-{\mu }_x{)}^2]+2\mathbb{E}[(X-{\mu }_x)(Y-{\mu }_y)]+\mathbb{E}[(Y-{\mu }_y{)}^2]\\ & =\mathrm{Var}(X)+\mathrm{Var}(Y)+2\mathrm{Cov}(X,Y)\end{array}$$

Theorem 5.25 : n個の確率変数の和の分散

確率変数 $X_1,\cdots ,X_n$, それぞれの期待値が存在し ${\mu }_1,\cdots ,{\mu }_n$ と表せるとき，

$$\mathrm{Var}(X_1+X_2+\cdots +X_n)=\sum _i^n\mathrm{Var}(X_i)+2\sum _{i<j}\mathrm{Cov}(X_i,X_j)$$

Proof

$$\begin{array}{rl}\mathrm{Var}(X_1+\cdots +X_n)& =\mathbb{E}[(X_1+\cdots +X_n-{\mu }_1-\cdots -{\mu }_n{)}^2]\\ & =\mathbb{E}[\{(X_1+{\mu }_1)\cdots +\cdots +(X_n-{\mu }_n){\}}^2]\\ & =\mathbb{E}[\sum (X_i-{\mu }_i{)}^2+2\sum _{i<j}(X_i-{\mu }_i)(X_j-{\mu }_j)]\\ & =\sum \mathbb{E}[(X_i-{\mu }_i{)}^2]+2\sum _{i<j}\mathbb{E}[(X_i-{\mu }_i)(X_j-{\mu }_j)]\\ & =\sum _i^n\mathrm{Var}(X_i)+2\sum _{i<j}\mathrm{Cov}(X_i,X_j)\end{array}$$

条件付き分散

確率変数 $X,Y$ についての条件付き分散は以下のような意味を持つ

• $\mathrm{Var}(X|Y=y)$ は，$Y=y$ と固定したときの $X$ の分散
• $\mathrm{Var}(X|Y)$ は，$Y$ がランダムに選ばれた値に固定された場合の $X$ の分散

$\mathrm{Var}(X|Y)$ は $Y$ のランダムネスに依存した確率変数である一方， $\mathrm{Var}(X|Y=y)$ は $y$ の関数という違いがある

Def: 条件付き分散

$$\mathrm{Var}(Y|X)=\mathbb{E}[(Y^2|X)]-(\mathbb{E}[(Y|X)]{)}^2=\mathbb{E}[(Y-\mathbb{E}[Y|X]{)}^2|X]$$

Theorem 5.26 Law of Total Variance

$$\mathrm{Var}(Y)=\mathrm{Var}(\mathbb{E}[Y|X])+{\mathbb{E}}_X[\mathrm{Var}(Y|X)]$$

Proof

$ϵ=Y-\mathbb{E}[Y|X]$ としたとき，$ϵ$ と $\mathbb{E}[Y|X]$ は無相関なので，

$$\mathrm{Var}(Y)=\mathrm{Var}(\mathbb{E}[Y|X])+\mathrm{Var}(ϵ)$$

$\mathbb{E}[ϵ]=0$ より，

$$\begin{array}{rl}\mathrm{Var}(ϵ)& =\mathbb{E}[{ϵ}^2]-(\mathbb{E}[ϵ]{)}^2\\ & =\mathbb{E}[{ϵ}^2]\\ & ={\mathbb{E}}_X(\mathbb{E}[{ϵ}^2|X])\\ & ={\mathbb{E}}_X[\mathrm{Var}(Y|X)]\end{array}$$

従って，

$$\mathrm{Var}(Y)=\mathrm{Var}(\mathbb{E}[Y|X])+{\mathbb{E}}_X[\mathrm{Var}(Y|X)]$$

Law of Total Varianceより $Y$ の分散は，CEFの分散 + 誤差項の分散に分解できることを示しています． 実務における分析において，賃金のバラツキを

• 賃金を説明する各個人の特徴のバラツキ
• 特徴で説明することのできない賃金のバラツキ(=誤差項)の期待値

に分解して考察する際にLaw of Total Varianceを使用したりします．

歪度と尖度

$X_1\sim N(1,1)$ と $X_2\sim \mathrm{Exponential}(1)$ を２つの分布を考えます．どちらも平均，分散共に 1 で一致していますが以下のように分布の形状は大きく異なります．

import numpy as np
import plotly.express as px
import polars as pl

np.random.seed(42)
n = 1000

x1 = np.random.normal(loc=1, scale=1, size=n)
x2 = np.random.exponential(scale=1, size=n)

df = pl.DataFrame({"normal_dist": x1, "exp_dist": x2})

px.histogram(df, histnorm="probability density",
             opacity=0.8, barmode="overlay",
             title='Exp(1) vs Normal(1, 1): same mean and variance')

平均や分散(locationとscale)によって確率分布の様子はある程度わかりますが，locationとscaleが同じにもかかわらず上記の指数分布は $N(1,1)$ に対して，右の裾が長い分布になっています．分布の非対称性や尖りの程度を理解するにあたって尖度と歪度を用いることがあります．

Def: 歪度(skewness)と尖度(kurtosis)

確率変数 $X$ について，歪度と尖度は以下のように定義される

$$\begin{array}{c}\mathrm{skewness}=\mathbb{E}\left[{\left(\frac{X-\mathbb{E}[X]}{\sqrt{\mathrm{Var}(X)}}\right)}^3\right]\\ \mathrm{kurtosis}=\mathbb{E}\left[{\left(\frac{X-\mathbb{E}[X]}{\sqrt{\mathrm{Var}(X)}}\right)}^4\right]\end{array}$$

🍵 Green Tea Break

• skewnessはpositiveならば右の裾が長く，negativeならば左に裾が長い, 0ならば対称分布
• kurtosisは大きいほど，鋭いピークと長く太い裾をもった分布になる
• skewness,kurtosisともに標準化してから3rd-moment, 4th-momentを計算しているので，non-zeroの $a,b$ を定数としたとき，$aX+b$ と変数変換を行っても，計算結果は変わらない = 尺度の変換関して不変

▶  Example 5.11 : 一様分布の歪度と尖度

$X\sim \mathrm{Unif}(0,1)$ としたとき，一様分布はlocationから左右対称の分布なので計算することなく

$$\mathrm{skewness}=0$$

とわかる．一方，尖度は

$$\begin{array}{rl}\mathrm{kurtosis}& =\frac{1}{{\sigma }^4}{\int }_0^1{(x-\frac{1}{2})}^4\mathrm{d}x\\ & =144\times \frac{1}{5}{\left[{(x-\frac{1}{2})}^5\right]}_0^1\\ & =\frac{9}{5}\end{array}$$

標準正規分布の尖度を基準にして

$$\mathrm{kurtosis}=\frac{9}{5}-3=-\frac{6}{5}$$

と表現する場合もある