16  正規分布

正規分布の性質

Def: 正規分布

確率変数 $X$ が平均と分散 $\mu ,{\sigma }^2$ をもつ正規分布に従う，つまり $X\sim N(\mu ,{\sigma }^2)$ のとき，$X$ の確率密度関数 $f_X(x)$ は

$$f_X(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\},-\mathrm{\infty }<x<\mathrm{\infty }$$

$X\sim N(\mu ,{\sigma }^2)$ について，標準化変換(standardization)

$$Z=\frac{X-\mu }{\sigma }$$

を行うと，変数変換の公式より

$$f_Z(z)=\sigma f_X(\sigma z+\mu )=\frac{1}{\sqrt{2\pi }}\exp \{-\frac{z^2}{2}\}$$

となります．$N(0,1)$ のことを特に標準正規分布とよび，そのpdfを $\varphi (z)$, CDFを $\mathrm{\Phi }(z)$ で表します．

$f_X(x)$ の形状から，location parameter $\mu$ を中心に対称であることが分かる．つまり, $\varphi (z)$ は $z=0$ で対称であり

$$\begin{array}{c}\mathrm{\Phi }(0)=\frac{1}{2}\\ \mathrm{\Phi }(-z)=1-\mathrm{\Phi }(z)\end{array}$$

がわかる．

▶  $\sigma$ 範囲

$X\sim N(\mu ,{\sigma }^2)$ という確率分布を考えたとき，シグマ範囲の目安として以下が知られてます

$$\begin{array}{c}Pr(|X-\mu |>\sigma )\approx \frac{1}{3}\\ Pr(|X-\mu |>2\sigma )\approx \frac{1}{20}\\ Pr(|X-\mu |>3\sigma )\approx \frac{3}{1000}\\ Pr(|X-\mu |>4\sigma )\approx \frac{1}{10000}\end{array}$$

大体の目安として, $3\sigma$ 範囲はいわゆる「千三つ」であることは覚えといて損はないと思います．

Theorem 16.1

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}\mathrm{d}x=1$$

が成立する．

Proof

$z=\frac{x-\mu }{\sigma }$ と変数変換をすると

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}\exp \{-\frac{z^2}{2}\}\mathrm{d}z=1$$

が示せれば良い．

$$I={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \{-\frac{z^2}{2}\}\mathrm{d}z$$

とおくと，

$$\begin{array}{rl}{I}^2& ={({\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \{-\frac{z^2}{2}\}\mathrm{d}z)}^2\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \{-\frac{a^2+b^2}{2}\}\mathrm{d}a\mathrm{d}b\end{array}$$

ここで，$a=r\cos \theta ,b=r\sin \theta$ と極座標変換を行う. ヤコビアン $J$ は

$$\begin{array}{rl}|J|& =|\frac{\partial a}{\partial r}\frac{\partial b}{\partial \theta }-\frac{\partial a}{\partial \theta }\frac{\partial b}{\partial r}|\\ & =r\end{array}$$

より $$\begin{array}{rl}{I}^2& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \{-\frac{a^2+b^2}{2}\}\mathrm{d}a\mathrm{d}b\\ & ={\int }_0^{\mathrm{\infty }}{\int }_0^{2\pi }\exp \{-\frac{r^2}{2}\}r\mathrm{d}\theta \mathrm{d}r\\ & =2\pi {\int }_0^{\mathrm{\infty }}\exp \{-\frac{r^2}{2}\}r\mathrm{d}r\\ & =2\pi {[\exp \{-\frac{r^2}{2}\}]}_{\mathrm{\infty }}^0\\ & =2\pi \end{array}$$

以上より, $I=\sqrt{2\pi }$ を得る．

$$\begin{array}{rl}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{\sqrt{2\pi }}\exp \{-\frac{z^2}{2}\}\mathrm{d}z& =\frac{1}{\sqrt{2\pi }}I\\ & =1\end{array}$$

Theorem 16.2

標準正規分布の確率密度関数を $\varphi (x)$ とするとき，

$$\begin{array}{c}{\int }_{\mathbb{R}}x\varphi (x)\mathrm{d}x=0\\ {\int }_{\mathbb{R}}{x}^2\varphi (x)\mathrm{d}x=1\end{array}$$

が成立する．

Proof

$\varphi (x)$ が偶関数，$x$ が奇関数より, $x\varphi (x)$ は奇関数になる．従って，

$${\int }_{\mathbb{R}}x\varphi (x)\mathrm{d}x=0$$

2次モーメントについては

$$\begin{array}{rl}{\int }_{\mathbb{R}}{x}^2\varphi (x)\mathrm{d}x& =2{\int }_0^{\mathrm{\infty }}{x}^2\varphi (x)\mathrm{d}x\\ & =2[-x\exp (-x^2/2){]}_0^{\mathrm{\infty }}+2{\int }_0^{\mathrm{\infty }}\varphi (x)\mathrm{d}x\\ & =0+2\times \frac{1}{2}\\ & =1\end{array}$$

Theorem 16.3

確率変数 $X\sim N(\mu ,{\sigma }^2)$ のとし，$f(x)$ をその確率密度関数とする，このとき，

$$\begin{array}{c}{\int }_{\mathbb{R}}xf(x;\mu ,{\sigma }^2)\mathrm{d}x=\mu \\ {\int }_{\mathbb{R}}(x-\mu {)}^{2}f(x;\mu ,{\sigma }^2)\mathrm{d}x={\sigma }^2\end{array}$$

が成立する．

Proof

▶  location parameterについて

$z=x-\mu$ と変数変換をすると，$\frac{\mathrm{d}}{\mathrm{d}z}x=1$ より

$$\begin{array}{rl}{\int }_{\mathbb{R}}xf(x;\mu ,{\sigma }^2)\mathrm{d}x=& \frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})x\mathrm{d}x\\ =& \frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (-\frac{z^2}{2{\sigma }^2})(z+\mu )\mathrm{d}z\\ =& \frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\underset{\text{偶関数}\times \text{奇関数}}{\underbrace{\exp (-\frac{z^2}{2{\sigma }^2})z\mathrm{d}z}}\\ & +\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (-\frac{z^2}{2{\sigma }^2})\mu \mathrm{d}z\\ =& \mu \end{array}$$

▶  scale parameterについて

確率密度関数より

$${\int }_{\mathbb{R}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\mathrm{d}x=\sqrt{2\pi {\sigma }^2}$$

両辺について ${\sigma }^2$ で微分すると

$$\begin{array}{rl}\text{RHS}& =\frac{1}{2}\sqrt{2\pi }({\sigma }^2{)}^{-\frac{1}{2}}\\ \text{LHS}& ={\int }_{\mathbb{R}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\frac{(x-\mu {)}^2}{2}({\sigma }^2{)}^{-2}\mathrm{d}x\end{array}$$

これを整理すると

$$\begin{array}{r}\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})(x-\mu {)}^2\mathrm{d}x={\sigma }^2\end{array}$$

これは

$$\mathbb{E}[(X-\mu {)}^2]={\sigma }^2$$

に相当する．

▶  Example 16.1 : 標準正規分布の4次モーメントの導出

$X\sim N(0,1)$ の4次モーメントについて，ガンマ関数 $\mathrm{\Gamma }(1/2)=\sqrt{\pi }$ を用いて以下のように計算できます．

$$\begin{array}{rl}\mathbb{E}[X^4]& =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^4\exp (-\frac{x^2}{2})\mathrm{d}x\\ & =\frac{2}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{x}^4\exp (-\frac{x^2}{2})\mathrm{d}x\because \text{偶関数より}\end{array}$$

ここで, $x^2=u$ という変数変換を行う．

$$\begin{array}{rl}\frac{2}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{x}^4\exp (-\frac{x^2}{2})\mathrm{d}x& =\frac{2}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{u}^2\exp (-\frac{u}{2})\frac{u^{-1/2}}{2}\mathrm{d}u\\ & =\frac{1}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{u}^{\frac{5}{2}-1}\exp (-\frac{u}{2})\mathrm{d}u\\ & =\frac{1}{\sqrt{2\pi }}\mathrm{\Gamma }\left(\frac{5}{2}\right){\left(\frac{1}{2}\right)}^{-5/2}\\ & =\frac{\sqrt{\pi }\frac{1}{2}\frac{3}{2}}{\sqrt{2\pi }}{2}^{5/2}\\ \\ & =3\end{array}$$

$$\begin{array}{}◼& \end{array}$$

▶  標準正規分布のn次モーメントについて

標準正規分布について，$\varphi (z)$ が偶関数であることから，$n$ が奇数のときは

$$\mathbb{E}[X^n]=0$$

であることはすぐに分かります．一方，$l$ を自然数として, $n=2l$ と表せるときは

$$\begin{array}{rl}\mathbb{E}[X^n]& =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^n\exp (-\frac{x^2}{2})\mathrm{d}x\\ & =\frac{2}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{x}^{2l}\exp (-\frac{x^2}{2})\mathrm{d}x\end{array}$$

$x^2/2=u$ と変数変換を行うと，$\frac{\mathrm{d}x}{\mathrm{d}u}=\frac{1}{\sqrt{2u}}$ より

$$\begin{array}{rl}\mathbb{E}[X^n]& =\frac{2^{l+1}}{\sqrt{2\pi }}{\int }_0^{\mathrm{\infty }}{u}^l\exp (-u)\frac{1}{\sqrt{2u}}\mathrm{d}u\\ & =\frac{2^l}{\sqrt{\pi }}{\int }_0^{\mathrm{\infty }}{u}^{l-\frac{1}{2}}\exp (-u)\mathrm{d}u\\ & =\frac{2^l}{\sqrt{\pi }}{\int }_0^{\mathrm{\infty }}{u}^{l+\frac{1}{2}-1}\exp (-u)\mathrm{d}u\\ & =\frac{2^l}{\sqrt{\pi }}\mathrm{\Gamma }(l+\frac{1}{2})\end{array}$$

$\mathrm{\Gamma }(1/2)=\sqrt{\pi }$ であることに留意すると

$$\begin{array}{rl}\mathrm{\Gamma }\left(\frac{3}{2}\right)& =\frac{1}{2}\mathrm{\Gamma }\left(\frac{1}{2}\right)\\ \mathrm{\Gamma }\left(\frac{5}{2}\right)& =\frac{3}{2}\mathrm{\Gamma }\left(\frac{3}{2}\right)\\ & =\frac{1\times 3}{2^2}\sqrt{\pi }\end{array}$$

になるので

$$\begin{array}{rl}\mathbb{E}[X^n]& =1\times 3\times 5\times \cdots \times (2l-1)\\ & =\prod _{i=1}^l(2i-1)\end{array}$$

またはこれを変形して，

$$\frac{1}{2l!}\mathbb{E}[X^{2l}]=\prod _{k=1}^l\frac{1}{2k}$$

と表すこともできます．

MGFと特性関数

Theorem 16.4 : 標準正規分布の積率母関数と特性関数

$X\sim N(0,1)$ としたとき，積率母関数 $M_Z(t)$ 及び，特性関数 ${\phi }_Z(t)$ は以下のようになる

$$\begin{array}{rl}{M}_Z(t)& =\exp (t^2/2)\\ {\phi }_Z(t)& =\exp (-t^2/2)\end{array}$$

Proof

$$\begin{array}{rl}{M}_Z(t)& =\mathbb{E}[\exp (tZ)]\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (tz-z^2/2)\mathrm{d}z\\ & =\exp (t^2/2)\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (-(t-z{)}^2/2)\mathrm{d}z\\ & =\exp (t^2/2)\end{array}$$

特性関数は $\phi (t)=M_Z(it)$ より $\phi (t)=\exp (-t^2/2)$ とわかるが，以下のように計算することもできる．

$$\begin{array}{rl}{\phi }_Z(t)& =\mathbb{E}[\exp (itZ)]\\ & =\mathbb{E}[\cos (tZ)+i\sin (tZ)]\\ & =\mathbb{E}[\cos (tZ)]+i\mathbb{E}[\sin (tZ)]\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\cos (tz)\varphi (z)\mathrm{d}z+i{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\sin (tz)\varphi (z)\mathrm{d}z\\ & ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\cos (tz)\varphi (z)\mathrm{d}z\because \text{奇関数}\end{array}$$

次に，$t$ について ${\phi }_Z(t)$ を微分すると

$$\begin{array}{rl}\frac{\mathrm{d}}{\mathrm{d}t}{\phi }_Z(t)& =\frac{\mathrm{d}}{\mathrm{d}t}\mathbb{E}[\exp (itZ)]\\ & =\mathbb{E}[\frac{\mathrm{d}}{\mathrm{d}t}\exp (itZ)]\because \text{期待値と微分の順序交換性}\\ & =i\mathbb{E}[Z\exp (itZ)]\\ & =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}z\sin (tz)\varphi (z)\mathrm{d}z\end{array}$$

このとき，

$$\frac{\mathrm{d}}{\mathrm{z}}\varphi (z)=-z\varphi (z)$$

であるので

$$\begin{array}{rl}-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}z\sin (tz)\varphi (z)\mathrm{d}z& =[\sin (tz)\varphi (z){]}_{-\mathrm{\infty }}^{\mathrm{\infty }}-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}t\cos (tz)\varphi (z)\mathrm{d}z\\ & =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}t\cos (tz)\varphi (z)\mathrm{d}z\\ & =-t{\phi }_Z(t)\end{array}$$

$$\frac{\mathrm{d}}{\mathrm{d}t}{\phi }_Z(t)=-t{\phi }_Z(t)$$

${\phi }_Z(0)=1$ より，

$${\phi }_Z(t)=\exp (-t^2/2)$$

Theorem 16.5 : MGF of non-standard normal distribution

$X\sim N(\mu ,{\sigma }^2)$ の積率母関数および特性関数は

$$\begin{array}{rl}{M}_X(t)& =\exp (\mu t+\frac{1}{2}{\sigma }^2{t}^2)\\ {\phi }_X(t)& =\exp (i\mu t-\frac{t^2{\sigma }^2}{2})\end{array}$$

Proof

$Z\sim N(0,1)$ とすると，$Z=\sigma Z+\mu$ と表せるので，

$$\begin{array}{rl}{M}_X(t)& =\mathbb{E}[\exp (t(\sigma Z+\mu ))]\\ & =\exp (t\mu )\mathbb{E}[\exp (t\sigma Z)]\\ & =\exp (t\mu )\exp \left(\frac{1}{2}{t}^2{\sigma }^2\right)\\ & =\exp (\mu t+\frac{1}{2}{\sigma }^2{t}^2)\end{array}$$

同様に

$$\begin{array}{rl}{\phi }_X(t)& =\mathbb{E}[\exp (it(\sigma z+\mu ))]\\ & =\exp (it\mu )\mathbb{E}[\exp (it\sigma z)]\\ & =\exp (i\mu t-\frac{t^2{\sigma }^2}{2})\end{array}$$

Proof: 直接計算

$$\begin{array}{rl}{M}_X(t)& =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (tx)\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\mathrm{d}x\\ & =\frac{1}{\sqrt{2\pi {\sigma }^2}}{\int }_{\mathbb{R}}\exp (-\frac{(x-(t{\sigma }^2+\mu ){)}^2}{2{\sigma }^2})\exp (t\mu +\frac{t^2{\sigma }^2}{2})\mathrm{d}x\\ & =\exp (t\mu +\frac{t^2{\sigma }^2}{2})\end{array}$$

Theorem 16.6

$X\sim N(\mu ,{\sigma }^2)$ とする．定数 $a,b$ に対して

$$Y=aX+b$$

としたとき，$Y\sim N(a\mu +b,a^2{\sigma }^2)$ となる．

Proof

$N(a\mu +b,a^2{\sigma }^2)$ に従う確率変数の特性関数は

$$\phi (t)=\exp [(a\mu +b)it-\frac{a^2{\sigma }^2{t}^2}{2}]$$

なので，$Y$ の特性関数がこれと一致することを示せば良い．

$$\begin{array}{rl}{\phi }_Y(t)& =\mathbb{E}[\exp (itY)]\\ & =\mathbb{E}[\exp (it(aX+b))]\\ & =\exp (itb)\exp (ia\mu t-\frac{a^2{\sigma }^2{t}^2}{2})\\ & =\exp [(a\mu +b)it-\frac{a^2{\sigma }^2{t}^2}{2}]\end{array}$$

正規分布の再生性

Def: 確率分布の再生性

確率分布 $F$ について，2 つの独立な確率変数 $X,Y$ が $F$ に従うとする．このとき，

$$\begin{array}{rl}Z& =X+Y\\ Z& \sim F\end{array}$$

が成立するとき，確率分布 $F$ は再生性をもつという．

二項分布，負の二項分布，ポアソン分布，正規分布などは，再生性を持つことがしられています．

Theorem 16.7 : 正規分布の再生性

正規分布は，location parameter, scale parameter両方について再生性を持つ．つまり，

$$\begin{array}{rl}& X\sim N({\mu }_x,{\sigma }_x^2),Y\sim N({\mu }_y,{\sigma }_y^2)\\ \Rightarrow & X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)\end{array}$$

Proof: MGFを用いた証明

確率変数 $X,Y$ は独立なので

$$\begin{array}{rl}{M}_{X+Y}(t)& =M_X(t)M_Y(t)\\ & =\exp ({\mu }_{x}t+\frac{{\sigma }_x^{2}t}{2})\exp ({\mu }_{y}t+\frac{{\sigma }_y^{2}t}{2})\\ & =\exp (({\mu }_x+{\mu }_y)t+\frac{({\sigma }_x^2+{\sigma }_y^2)t}{2})\end{array}$$

$X+Y$ のMGFが $N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$ のMGFと一致するので

$$X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$$

Proof: 畳み込みを用いた証明

確率変数 $X,Y$ のそれぞれの密度関数を $f_X(x),f_Y(y)$ で表したとき，$Z=X+Y$ の確率密度関数 $p(z)$ は畳み込みにより以下のように表せます．

$$p(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x$$

従って，

$$\begin{array}{rl}p(z)& =\frac{1}{2\pi {\sigma }_X{\sigma }_Y}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (-\frac{(x-{\mu }_x{)}^2}{2{\sigma }_X^2}-\frac{((z-x)-{\mu }_y{)}^2}{2{\sigma }_Y^2})\mathrm{d}x\end{array}$$

ここで，最終項の指数部分について，$x$ についてまとめると

$$\begin{array}{rl}& -\frac{(x-{\mu }_x{)}^2}{2{\sigma }_X^2}-\frac{((z-x)-{\mu }_y{)}^2}{2{\sigma }_Y^2}\\ & =-\frac{{\sigma }_x^2+{\sigma }_y^2}{2{\sigma }_x^2{\sigma }_y^2}{(x-\frac{z{\sigma }_x^2-{\mu }_x{\sigma }_y^2+{\mu }_y{\sigma }_x^2}{{\sigma }_x^2+{\sigma }_y^2})}^2-\frac{(z-({\mu }_x+{\mu }_y){)}^2}{2({\sigma }_x^2+{\sigma }_y^2)}\end{array}$$

ここでガウス積分より，

$${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (-\frac{{\sigma }_x^2+{\sigma }_y^2}{2{\sigma }_x^2{\sigma }_y^2}{(x-C)}^2)\mathrm{d}x=\sqrt{\frac{2\pi {\sigma }_x^2{\sigma }_y^2}{{\sigma }_x^2+{\sigma }_y^2}}$$

以上より，

$$p(z)=\frac{1}{\sqrt{2\pi {\sigma }_x^2{\sigma }_y^2}}\exp (-\frac{(z-({\mu }_x+{\mu }_y){)}^2}{2({\sigma }_x^2+{\sigma }_y^2)})$$

これは，$N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$ の確率密度関数と一致するので，

$$X+Y\sim N({\mu }_x+{\mu }_y,{\sigma }_x^2+{\sigma }_y^2)$$

Theorem 16.8 : $n$個の正規分布の再生性

確率変数 $X_1,\cdots ,X_n$ が互いに独立に $N({\mu }_i,{\sigma }_i^2)$ に従うとする． $(a_1,\cdots ,a_n,b)$を定数としたとき，確率変数 $Y=\sum _i{a}_i{X}_i+b$ について，

$$Y\sim N(a_1{\mu }_1+\cdots +a_n{\mu }_n+b,a_1^2{\sigma }^2+\cdots ,+a_n^s{\sigma }^2)$$

が成立する．

Proof

$a_i{X}_i\sim N(a_i{\mu }_i,a_i^2{\sigma }^2)$ 及び，互いに独立な確率変数の合計和なので

$$\begin{array}{rl}{M}_Y(t)& =\mathbb{E}[\exp (tY)]\\ & =\mathbb{E}[\exp (t(a_1{X}_1+\cdots +a_n{X}_n+b))]\\ & =\exp (tb)\prod _{i=1}^n\exp [t{a}_i{\mu }_i+\frac{t^2{a}_i^2{\sigma }_i^2}{2}]\\ & =\exp [(a_1{\mu }_i+\cdots +a_1{\mu }_n+b)t+\frac{t^2(a_1^2{\sigma }_1^2+\cdots +a_n^2{\sigma }_n^2)}{2}]\end{array}$$

これは確率分布 $N(a_1{\mu }_1+\cdots ,+a_n{\mu }_n+b,a_1^2{\sigma }^2+\cdots ,+a_n^s{\sigma }^2)$ の積率母関数と一致するので

$$Y\sim N(a_1{\mu }_1+\cdots +a_n{\mu }_n+b,a_1^2{\sigma }^2+\cdots ,+a_n^s{\sigma }^2)$$

が成立する．

Differential Entropy

Def: 微分エントロピー

連続確率変数 $X$ について，確率密度関数が $p(x)$ で与えられているとする．このとき，微分エントロピーは以下の形で定義される

$$\mathrm{H}(X)=-{\int }_{\mathcal{X}}p(x){\log }_{b}p(x)\mathrm{d}x$$

なお，$b$ は通常 $2,e$ が用いられる

平均 $\mu$, 分散 ${\sigma }^2$ をもつ確率分布のうち，正規分布は微分エントロピーを最大にする分布として知られています．

▶  $N(\mu ,{\sigma }^2)$ の微分エントロピー

$N(\mu ,{\sigma }^2)$ の確率密度関数を $f(x)$ として，微分エントロピーの定義より

$$\begin{array}{rl}\mathrm{H}& =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x){\log }_{2}f(x)\mathrm{d}x\\ & =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x){\log }_2(\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}))\mathrm{d}x\\ & =\frac{{\log }_2(2\pi {\sigma }^2)}{2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)\mathrm{d}x+\frac{{\log }_{2}e}{2{\sigma }^2}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu {)}^{2}f(x)\mathrm{d}x\\ & =\frac{1}{2}{\log }_2(2\pi e{\sigma }^2)\end{array}$$

なお，自然対数で表現する場合，$\mathrm{H}=\frac{1}{2}[1+\ln (2\pi {\sigma }^2)]$

$$\begin{array}{}◼& \end{array}$$

Theorem 16.9

平均 $\mu$, 分散 ${\sigma }^2$ をもつ確率分布のうち，正規分布は微分エントロピーを最大にする分布である．

Proof: ラグランジュの未定係数法

（注意: 制約付き最大化問題を解くにあたって，ラグランジュの未定係数法が使用できると仮定してます）

▶  汎関数の定義

$$\begin{array}{rl}& F(p(x),{\lambda }_1,{\lambda }_2,{\lambda }_3)\\ & =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\ln (p(x))\mathrm{d}x+{\lambda }_1[{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\mathrm{d}x-1]\\ & +{\lambda }_2{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu )p(x)\mathrm{d}x+{\lambda }_3[{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu {)}^{2}p(x)\mathrm{d}x-{\sigma }^2]\end{array}$$

▶  極値条件の計算

$$\begin{array}{}\text{(A)}& \frac{\partial F}{\partial p(x)}& =-{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(1+\ln (p(x))-{\lambda }_1-{\lambda }_2(x-\mu )-{\lambda }_3(x-\mu {)}^2)\mathrm{d}x=0\text{(B)}& \frac{\partial F}{\partial {\lambda }_1}& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\mathrm{d}x-1=0\text{(C)}& \frac{\partial F}{\partial {\lambda }_2}& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu )p(x)\mathrm{d}x=0\text{(D)}& \frac{\partial F}{\partial {\lambda }_3}& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}(x-\mu {)}^{2}p(x)\mathrm{d}x-{\sigma }^2=0\end{array}$$

▶  条件(A)の整理

条件 $(\mathrm{A})$ より以下を得る

$$\begin{array}{}\text{(E)}& p(x)=\exp (-1+{\lambda }_1+{\lambda }_2(x-\mu )+{\lambda }_3(x-\mu {)}^2)\end{array}$$

なお扱いやすいように $z=x-\mu$ として以下の形で表す．

$$\begin{array}{}\text{(E’)}& p(x)=\exp (-1+{\lambda }_1+{\lambda }_{2}z+{\lambda }_3{z}^2)\end{array}$$

▶  ${\lambda }_1$ の消去

$({\mathrm{E}}^{\prime })$ を $(\mathrm{B})$ に代入すると，$\frac{\mathrm{d}x}{\mathrm{d}z}=1$ より

$$\begin{array}{rl}& {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp (-1+{\lambda }_1++{\lambda }_{2}z+{\lambda }_3{z}^2)\mathrm{d}z\\ & =\exp (-1+{\lambda }_1)\exp (-\frac{{\lambda }^2}{4{\lambda }_3}){\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \left({\lambda }_3{(z+\frac{{\lambda }_2}{2{\lambda }_3})}^2\right)\mathrm{d}z\\ & =1\end{array}$$

このとき，等号が成立するためには ${\lambda }_3<0$ が必要であることが分かる．また，ガウス積分より

$$\begin{array}{}\text{(F)}& {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\exp \left({\lambda }_3{(z+\frac{{\lambda }_2}{2{\lambda }_3})}^2\right)\mathrm{d}z=\frac{\sqrt{\pi }}{\sqrt{-{\lambda }_3}}\end{array}$$

従って，

$$\begin{array}{}\text{(G)}& p(x)=\frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}\exp \left({\lambda }_3{(z+\frac{{\lambda }_2}{2{\lambda }_3})}^2\right)\end{array}$$

▶  ${\lambda }_2$ の消去

$(\mathrm{G})$ と $(\mathrm{C})$ より

$$\begin{array}{}\text{(H)}& \frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}z\exp \left({\lambda }_3{(z+\frac{{\lambda }_2}{2{\lambda }_3})}^2\right)\mathrm{d}z=0\end{array}$$

$(\mathrm{H})=0$ が成立するためには，$\exp \left({\lambda }_3{(z+\frac{{\lambda }_2}{2{\lambda }_3})}^2\right)$ が偶関数になる必要があるので

$$\begin{array}{c}\frac{{\lambda }_2}{2{\lambda }_3}=0\\ \Rightarrow {\lambda }_2=0\end{array}$$

従って，

$$\begin{array}{}\text{(I)}& p(x)=\frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}\exp \left({\lambda }_3{z}^2\right)\end{array}$$

▶  ${\lambda }_3$ の消去

$(\mathrm{I}),(\mathrm{D})$ を整理すると

$$\begin{array}{r}\frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{z}^2\exp \left({\lambda }_3{z}^2\right)\mathrm{d}z={\sigma }^2\end{array}$$

${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^2\exp (-a{x}^2)\mathrm{d}x=\frac{\sqrt{\pi }}{2a\sqrt{a}}$ より

$$\begin{array}{rl}\frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{z}^2\exp \left({\lambda }_3{z}^2\right)\mathrm{d}z& =\frac{\sqrt{-{\lambda }_3}}{\sqrt{\pi }}\frac{\sqrt{\pi }}{-2{\lambda }_3\sqrt{-{\lambda }_3}}\\ & =\frac{1}{-2{\lambda }_3}\end{array}$$

従って，

$${\lambda }_3=-\frac{1}{2{\sigma }^2}$$

以上より, 微分エントロピーを最大化する $p^{\ast }(x)$ は

$$p^{\ast }(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$$

となり，正規分布となることが分かる．

📘 REMARKS

• ${\lambda }_2=0$ より location paramter $\mu$ を変化させても，微分エントロピーは限界的には増えないことが分かります
• ${\lambda }_3<0$ より scale paramter ${\sigma }^2$ を増大させると，微分エントロピーは限界的に増大することも分かります

他の確率分布との関係性

▶  Example 16.2 : 二項分布の極限分布としての正規分布<

$n$ を正の整数として，$Y_n\sim \mathrm{Binom}(n,1/2)$ とし，

$$X_n=\frac{Y_n-n/2}{\sqrt{n}/2}$$

という確率変数を考えます．$X_n\in (x-2/\sqrt{n},x]$ となるような確率を考えてみると

$$\begin{array}{rl}& Pr(x-2/\sqrt{n}<X_n\le x)\\ & =Pr(\frac{\sqrt{n}}{2}x+\frac{n}{2}-1<Y_n\le \frac{\sqrt{n}}{2}x+\frac{n}{2})\\ & =Pr(\lfloor Y_n=\frac{\sqrt{n}}{2}x+\frac{n}{2}\rfloor )\\ & =\frac{n!}{\lfloor \frac{\sqrt{n}}{2}x+\frac{n}{2}\rfloor !\lceil -\frac{\sqrt{n}}{2}x+\frac{n}{2}\rceil !}{\left(\frac{1}{2}\right)}^n\end{array}$$

ここでスターリングの公式より十分大きい正の整数 $m$ について

$$m!\approx \sqrt{2\pi m}{m}^m\exp (-m)$$

と近似できるので

$$\begin{array}{rl}& \underset{n\to \mathrm{\infty }}{lim}Pr(x-2/\sqrt{n}<X_n\le x)\\ & =\underset{n\to \mathrm{\infty }}{lim}\frac{n!}{\lfloor \frac{\sqrt{n}}{2}x+\frac{n}{2}\rfloor !\lceil -\frac{\sqrt{n}}{2}x+\frac{n}{2}\rceil !}{\left(\frac{1}{2}\right)}^n\\ & =\underset{n\to \mathrm{\infty }}{lim}\frac{1}{\sqrt{2\pi (\frac{n}{4}-\frac{x^2}{4})}{(1-\frac{x^2}{n})}^{\frac{n}{2}}{(1+\frac{x}{\sqrt{n}})}^{\frac{\sqrt{n}}{2}x}{(1-\frac{x}{\sqrt{n}})}^{-\frac{\sqrt{n}}{2}x}}{\left(\frac{1}{2}\right)}^n\\ & =\frac{1}{\sqrt{2\pi }\exp (-x^2/2)\exp (x^2/2)\exp (x^2/2)}\\ & =\frac{1}{\sqrt{2\pi }}\exp (-x^2/2)\\ & =\varphi (x)\end{array}$$

$$\begin{array}{}◼& \end{array}$$