4  確率変数

Author

Ryo Nakagami

Published

2024-09-12

Modified

2024-10-19

実務の分析における測定は有理数となりますが，値が任意の実数である確率変数を考えた方が分析上扱いやすくなる場合があります． 定義域が実数となると標本空間が非可算集合となるため，測度論的確率による理解が必要となりますが，その説明は別のノートで行います．

確率変数

Def: 確率変数

\(\Omega\) を全事象，\(\mathcal{B}\) を \(\Omega\) の可測集合族，\(P\) を \((\Omega, \mathcal{B})\) 上の確率とするとき， \(\omega\in\Omega\) に対して実数値 \(X(\omega) \in \mathbb{R}\) を対応させる関数 \(X\) を確率変数という．

\[ \{\omega\in\Omega\vert X(\omega)\leq x\} \subset \Omega \]

が可測集合であるならば，つまり，

\[ \{\omega\in\Omega\vert X(\omega)\leq x\} \in \mathcal{B} \]

であるとき，任意の実数 \(x\) に対して，\(X\leq x\) である確率は

\[ \Pr(X\leq x) = P(\{\omega\in\Omega\vert X(\omega)\leq x\}) \]

として確率 \(P\) を用いて与えることができます．なお，この \(x\) を実現値 といい，一般的には確率変数を大文字， 実現値を小文字で表します．実現値の全体を，\(X\) の標本空間といい，

\[ \mathcal{X} = \{X(\omega)\vert\omega\in\Omega\} \]

と表されます．

Def: 累積分布関数

確率変数 \(X\) の累積分布関数を \(F_X(x)\) で表し，

\[ F_X(x) = \Pr(X\leq x) \quad x\in \mathbb{R} \]

で定義する．

Theorem 4.1

関数 \(F\) がある確率変数の分布関数になるために必要十分条件は，３つの条件が成り立つことである

  1. \(\lim_{x\to-\infty}F(x) = 0, \lim_{x\to\infty}F(x) = 1\)
  2. \(F(x)\) は \(x\) の非減少関数である
  3. \(F(x)\) は右連続関数である

任意の \(a\in\mathbb R\) に対して, \(x\) を右から \(a\) に近づけると \(F_X(x)\) が \(F_X(a)\) に収束するとき， \(F_X(x)\) は右連続といいます．\(F_X(x)\) が右連続かつ左連続であるとき，\(F_X(x)\) は点 \(a\) で連続であるといいます．

Code 
import numpy as np
from scipy.stats import binom
import plotly.graph_objs as go
import plotly.io as pio

from regmonkey_style import stylewizard as sw

sw.set_templates("regmonkey_line")

n, p = 5, 0.4
x = np.arange(-1, 7)
prob = binom.cdf(x, n, p)

# Create a step plot with right-continuous steps
trace = go.Scatter(
    x=x,
    y=prob,
    mode='lines+markers',
    line_shape='hv',  # Horizontal then vertical step-wise
    marker=dict(symbol='0'),
    name='CDF is Right-Continuous',
)

# Layout for the plot
layout = go.Layout(
    title='CDF is Right-Continuous',
    xaxis=dict(title='X'),
    yaxis=dict(title='累積確率')
)

# Create the figure
fig = go.Figure(data=[trace], layout=layout)

# Display the plot
pio.show(fig)

上記は \(X\sim\operatorname{Binom}(5, 0.4)\) のCDFを描いたもので，右側連続で階段関数の形状になっています．一般的に，CDFの形状が階段関数のとき，\(X\) は離散型確率変数，\(F_X(x)\) が連続関数のとき \(X\) は連続型確率変数と分類します．

Theorem 4.2

連続型確率変数 \(X\) について，その分布関数を \(F_X(x)\) とする．新たに \(Y = F_X(x)\) という確率変数を考えたとき，

\[ Y \sim \operatorname{Uniform}(0, 1) \]

Proof

\(F_X: \mathbb R\to [0, 1]\) なので, \(\operatorname{support}(Y) = [0, 1]\). \(Y\) についての累積分布関数を \(G(y)\) とすると，

\[ \begin{align*} G(y) &= \Pr(Y \leq y) \end{align*} \]

関数 \(F_X(\cdot)\) は単調増加関数で，区間 \(y\in [0, 1]\) で逆関数 \(X = F^{-1}_X(Y)\) が定義できるため

\[ \begin{align*} G(y) &= \Pr(Y \leq y)\\ &= \Pr(F_X(X)\leq y)\\ &= \Pr(X\leq F^{-1}_X(y))\\ &= F_X(F^{-1}_X(y)) \end{align*} \]

このとき，両辺を \(y\) で微分する．

\[ \frac{\mathrm{d}G(y)}{\mathrm{d}y}=g(y) \]

とすると，\(g(y)\) はpdfに相当する．RHSについて，

\[ \begin{align*} \frac{\mathrm{d}F_X(F^{-1}_X(y))}{\mathrm{d}y} &= f_X(F^{-1}_X(y))[f_X(F^{-1}_X(y))]^{-1} = 1 \end{align*} \]

\(y\in [0, 1]\) において \(g(y) = 1\) が成立することから，

\[ Y\sim\operatorname{Uniform}(0, 1) \]

Def: Quantile function（分位点関数）

確率変数 \(X\) についての quantile function \(Q_X: (0, 1)\to \mathbb R\) は

\[ Q_X(u) = \inf\{x\in\mathbb R: F_X(x) \geq u\} \]

と左連続で定義される．

Quantile関数は，累積分布関数の逆関数に相当する関数ですが，左連続という点で違いがあります． \(X\sim\operatorname{Bernoulli}(p)\) を考えたとき，

\[ \begin{align*} F_X(x) &= (1-p)\mathbb 1(x\geq 0) + p\mathbb 1(x\geq 1)\\ Q_X(u) &= \mathbb 1(u > 1-p) \end{align*} \]

と定義されます．\(p=0.5\) とすると，\(F_X(1) = 1, Q_X(0.6) = 1\) となります．

連続確率変数

Def: 絶対連続型の確率変数

累積分布関数 \(F\) をもつ確率変数 \(X\) が次の条件を満たす確率密度関数 \(f\) を持つとき，絶対連続(absolutely continuous)という：

\[ \begin{gather} f(x) \geq 0 \quad \forall x\\ F(b) - F(a) = \int^b_a f(x)\mathrm{d}x \quad \text{where } a\leq b \end{gather} \]


\(f\) のnon-negativity性質は，累積分布関数はnon-decreasingであること，及び \(F^\prime(x) = f(x)\) であることから分かる． また確率変数 \(X\) が確率密度関数 \(f(x)\) を持つとき，「\(X\) は \(f(x)\) に従う」とよく言われる．

Theorem 4.3 変数変換と確率密度関数

\(f\) を確率密度関数，\(a > 0\) とし，

\[ g(x) = af(ax) \]

と関数 \(g\) を定義すると

\[ \int^\infty_{-\infty} g(x)\mathrm{d} x = 1 \]

となる

Proof

\(a > 0, f\geq 0\) より \(g\geq 0\) は自明．また，\(ax = z\) と変数変換すると

\[ \begin{align*} \int^\infty_{-\infty} g(x)\mathrm{d} x &= \int^\infty_{-\infty} af(ax)\mathrm{d} x \\ &= \int^\infty_{-\infty} af(z) \frac{\mathrm{d} x}{\mathrm{d} z}\mathrm{d} z\\ &= \int^\infty_{-\infty} af(z) \frac{1}{a}\mathrm{d} z = 1 \end{align*} \]