Def: 指数分布
連続確率変数 \(X\) がパラメータ \(\lambda > 0\) の指数分布に従う， \(X \sim \operatorname{Exp}(\lambda)\)，のとき，その確率密度関数 \(f(x)\) は
\[ f(x) = \left\{\begin{array}{c} \lambda \exp(-\lambda x) & (x > 0)\\ 0 & \text{otherwise} \end{array}\right. \]
累積分布関数 \(F(x)\) は
\[ \begin{align*} F(x) & = \int^x_{-\infty}f(x)\,\mathrm{d}x\\ &= [1 - \exp(-\lambda x)]\mathbb 1(X >0) \end{align*} \]
指数分布は連続的な待ち時間分布の性質(=幾何分布の連続変数版)という特徴を持ちます．そのため後述しますが無記憶性の性質を持っています． 指数分布は，故障率が一定のシステムの偶発的な故障までの待ち時間（耐用年数や寿命）を当てはめる際に用いられたりします．
from scipy import stats
import matplotlib.pyplot as plt
import matplotlib as mpl
import numpy as np
from regmonkey_style import stylewizard as sw
sw.set_templates("regmonkey_line")
fig, ax = plt.subplots()
lambda_vals = [0.5, 1, 2]
x_grid = np.linspace(0, 6, 200)
for _lambda in lambda_vals:
z = stats.expon(scale=1 / _lambda)
ax.plot(x_grid, z.pdf(x_grid), alpha=0.8, lw=2, label=f"$\lambda={_lambda}$")
ax.set_xlabel("x")
ax.set_ylabel("PDF")
plt.legend()
plt.show()
▶ 期待値の導出
\[ \begin{align*} \mathbb E[X] &= \int^\infty_0 x \lambda \exp(-\lambda x)\,\mathrm{d}x\\ &= \underbrace{[-x\exp(-\lambda x)]^\infty_0}_{=0} + \int^\infty_0 \exp(-\lambda x)\,\mathrm{d}x\\ &= \frac{1}{\lambda}\left[- \exp(-\lambda x)\right]^\infty_0\\ &= \frac{1}{\lambda} \end{align*} \]
▶ 分散の導出
\[ \begin{align*} \mathbb E[X^2] &= \int^\infty_0 x^2 \lambda \exp(-\lambda x)\,\mathrm{d}x\\ &= \underbrace{[-x^2\exp(-\lambda x)]^\infty_0}_{=0} + \frac{2}{\lambda}\underbrace{\int^\infty_0 x \lambda \exp(-\lambda x)\,\mathrm{d}x}_{=\mathbb E[X]}\\ &= \frac{2}{\lambda^2} \end{align*} \]
従って，
\[ \begin{align*} \operatorname{Var}(X) &= \mathbb E[X^2] - (\mathbb E[X])^2\\ &= \frac{2}{\lambda^2} - \frac{1}{\lambda^2}\\ &= \frac{1}{\lambda^2} \end{align*} \]
\[\tag*{\(\blacksquare\)}\]
\(\mathbb E[X] = \frac{1}{\lambda}\), \(\operatorname{Var}(x) = \frac{1}{\lambda^2}\) より， 生起までの年数が指数分布かつ希少事例(\(\lambda\) が小さい)場合，\(\mathbb [X] \pm \sigma\) が0まで伸びています． 確率が小さいことと遠い将来にしか発生しないは同じではないことがわかります．
▶ Modeの導出
最頻値(Mode)はPDF \(f_X(x)\) を最大化する \(x \in\mathcal{X}\) なので
\[ \operatorname{Mode}(X) = \arg\max_x f_X(x) \]
\(f_X(0) = \lambda\) また \(x > 0\) の範囲で \(0 < \exp(-\lambda x) < 1\) なので，
\[ \operatorname{Mode}(X) = 0 \]
\[\tag*{\(\blacksquare\)}\]
Theorem 17.1 : Median
確率変数 \(X \sim \operatorname{Exp}(\lambda)\) について，
\[ \operatorname{Median}(X) = \frac{\log 2}{\lambda} \]
Theorem 17.2 : Quantile function
確率変数 \(X \sim \operatorname{Exp}(\lambda)\) について，分位点関数は
\[ Q_X(p) = \left\{ \begin{array}{rl} -\infty \; , & \text{if} \; p = 0 \\ -\frac{\ln(1-p)}{\lambda} \; , & \text{if} \; p > 0 \; . \end{array}\right. \]
Theorem 17.3 : MGF
\(X\sim\operatorname{Exp}(\lambda)\) について，MGFは
\[ M_X(t) = \frac{\lambda}{\lambda - t} \]
ただし，\(t < \lambda\) の範囲でのみ定義される．
Theorem 17.4 ガンマ分布と指数分布
確率変数 \(X \sim \operatorname{Gam}(1, \lambda^{-1})\) は \(\operatorname{Exp}(\lambda)\) と一致する．
Theorem 17.5 : 指数分布に従う確率変数の和とガンマ分布
\(\operatorname{Exp}(\lambda)\) に独立に従う確率変数 \(X_1, \cdots, X_n\) について，
\[ Z = X_1 + \cdots + X_n \]
このとき，
\[ Z \sim \operatorname{Gam}(n, \lambda^{-1}) \]
例として，あるシステムは５回の故障が発生すると，全面的にシステムダウンしてしまうケースを考えます． 一回の故障時間間隔 \(T_i \overset{\mathrm{iid}}{\sim} \operatorname{Exp}(1/\lambda)\) とすると，システムダウンまでの時間 \(X\) は
\[ X = T_1 + T_2 + T_3 +T_4 + T_5 \]
と表すことができ，Theorem 17.5 より
\[ X \sim \operatorname{Gam}(5, \lambda) \]
となります．
Theorem 17.6 : 指数分布の無記憶性
\(s, t\) を非負の実数とし，確率変数 \(X \sim \operatorname{Exp}(\lambda)\) のとき．
\[ P(X \geq s + t\vert X \geq s) = P(X\geq t) \]
が成立する．
Theorem 17.7 : 無記憶性を持つ連続型分布は指数分布のみ
\(\mathbb R_{+} = [0, \infty)\) で定義される連続型確率確率変数 \(X\) が，任意の \(s, t\geq 0\) について
\[ P(X > s + t \vert X > s) = P(X > t) \]
を満たすとする．このとき \(X\) は指数分布に従う．
Def: ハザード関数
非負の確率変数 \(T\) のハザード関数は次のように定義される
\[ \lambda(t) = \lim_{\mathrm{d}t\rightarrow0} \frac{P\{t \le T < t + \mathrm{d}t | T \ge t \} }{\mathrm{d}t} = \frac{f(t)}{1 - F(t)} \]
\(t\) まで動作している条件のもとで次の瞬間に故障する確率密度を表していると解釈できます．
\[ \begin{align*} P\{t \le T < t + dt \vert T \ge t \} &= \frac{P\{t \le T < t + \mathrm{d}t , T \geq t\}}{P(T\geq t)}\\ &= \frac{P\{t \le T < t + \mathrm{d}t\}}{P(T\geq t)}\\ &= \frac{F(t + \mathrm{d}t) - F(t)}{1 - F(t)} \end{align*} \]
と展開できるので，\(\mathrm{d}t\) で割り，\(\lim_{\mathrm{d}t\to 0}\) とすることで \(\frac{f(t)}{1 - F(t)}\) が得られることがわかります．
▶ 指数分布のハザード関数
\(\lambda \in \{0.2, 1, 2\}\) のパラメータを用いて各指数分布のハザード関数をplotしたのが次です．
from scipy import stats
import matplotlib.pyplot as plt
import matplotlib as mpl
import numpy as np
fig, ax = plt.subplots()
lambda_vals = [0.5, 1, 2]
x_grid = np.linspace(0, 6, 200)
for _lambda in lambda_vals:
z = stats.expon(scale=1 / _lambda)
ax.plot(x_grid, z.pdf(x_grid)/(1 - z.cdf(x_grid)), alpha=0.8, lw=2, label=f"$\lambda={_lambda}$")
ax.set_xlabel("x")
ax.set_ylabel("hazard function")
plt.legend()
plt.show()
このようにしす分布については常に \(\lambda(x) = \lambda\) で時間 \(x\) には無関係になる = 瞬間故障確率は常に一定であることがわかります．これは指数分布の無記憶性とも整合的です．
\[ \begin{align*} \frac{f(x)}{1 - F(x)} = \frac{\lambda\exp(-\lambda x)}{\exp(-\lambda x)} = \lambda \end{align*} \]
のように確かめることもできます
Theorem 17.8
非負の連続型確率変数 \(X\) が \(t \geq 0\) について
\[ P(t < X \leq t + \Delta t\vert X > t) = \lambda \Delta t + o(\Delta t), \quad\lambda > 0 \]
をみたすとき, \(X\) は指数分布に従う