Review Question
Exercise 1 WLLN
\(|m|< \infty, |\sigma| < \infty\) として \(X_i \overset{\mathrm{iid}}{\sim} D(m, \sigma^2)\) とする．このとき任意の \(\epsilon > 0\) について，
\[ \lim_{n\to\infty} P\left[\left|\frac{X_1 + \cdots + X_n}{n} - m\right| > \epsilon\right] = 0 \]
が成り立つ．
The Weak Law of Large Numbers
Theorem 1 The Weak Law of Large Numbers
\(X_i\) がi.i.d.にmean \(\mu\) の分布に従うとする．このとき，任意の \(\epsilon >0\) について
\[ \lim_{n\to\infty} P\left[\left|\frac{X_1 + \cdots + X_n}{n} - \mu\right| > \epsilon\right] = 0 \]
- WLLNは，\(n\) が十分大きいとき，標本平均の分布の大部分が母平均 \(\mu\) の近くに集中することを示しています
- \(\mu\) を中心とした長さのある正の区間 \([\mu−\epsilon, \mu+\epsilon]\) を考えると、\(\frac{\sum X_i}{N}\) がその区間内に入る確率は高い
Example 1 conservativeな出口調査推定
有権者の内，\(p\) の割合がA党を支持しているとします．\(n\) 人を”randomly selected”して，その結果 \(M_n\) の割合の人がA等を支持していたとします．マルコフ不等式より
\[ P(|M_n - p|>\epsilon)\leq \frac{p(1-p)}{n\epsilon^2} \]
\(p(1-p)\leq \frac{1}{4}\) から保守的に見積もると
\[ P(|M_n - p|>\epsilon)\leq \frac{1}{4n\epsilon^2} \]
例として \(\epsilon =0.01, n=50,000\) の水準を考えると
\[ P(|M_n - p|>\epsilon)\leq \frac{1}{4\cdot 10,000\cdot 0.01^2} = 0.05 \]
つまり，\(n=50,000\) インタビューしてようやく誤差 \(0.01\) 未満の水準となることがわかります．
- CLTを用いるともっと少ないサンプルサイズ \(n\) で誤差 \(0.01\) 未満の水準を達成できます
The Strong Law of Large Numbers
Theorem 2 The Strong Law of Large Numbers
\(X_i\) がi.i.d.にmean \(\mu\) の分布に従うとする．また，\(\mathbb E[|X_i|] < \infty\) であるとする．このとき，sample mean列
\[ M_n = \frac{X_1 + \cdots + X_n}{n} \]
について
\[ P\left(\lim_{n\to\infty}\frac{X_1 + \cdots + X_n}{n} = \mu\right) = 1 \]
が成り立つことを強大数の法則という．これはつまり，
\[ M_n \overset{a.s.}{\to} \mu \]
ボレル＝カンテリの補題
Theorem 3 ボレル＝カンテリの補題 I
\((\Omega, \mathcal{F}, P)\) を確率空間とするとき，\(A_i \in \mathcal{F}\) に対して，
\[ \sum_{i=1}^\infty P(A_i) < \infty \Rightarrow P(\underset{n\to\infty}{\lim\sup} A_n) = 0 \]
Theorem 3 は \((A_i)_{i\in\mathbb N}\) のうち高々有限個の \(A_i\) しか起こらないことを意味します．また，書き換えると
\[ P(\underset{n\to\infty}{\lim\sup} A_n) = 0 \Leftrightarrow P(\underset{n\to\infty}{\lim\inf} A^c_n)= 1 \]
Example 2 コイン投げ問題とボレル＝カンテリの補題 I
コインを何度も独立に投げる試行を考えます．ただし，毎回投げるコインは違いものとし，\(n\) 回目に投げるコインの表の出る確率は
\[ p_n \in (0, 1) \]
とします．このとき，ボレル＝カンテリの補題 Iより
\[ \sum_{n=1}^\infty p_n < \infty \Rightarrow P(\text{表が出る回数は有限回}) = 1 \]
となります．（\(\sum_{n=1}^\infty p_n < \infty\) の一例としてはバーゼル問題など参照）
例として，確率変数
\[ X_n = \left\{\begin{array}{c} 1 & \text{$n$回目に表が出る}\\ 0 & \text{$n$回目に裏が出る} \end{array}\right. \]
として，\(A_n = \{X_n = 1\} \in \mathcal{F}\) を考えると，
\[ \sum_{n=1}^\infty P(A_n) = \sum_{n=1}^\infty p_n < \infty \]
ボレル=カンテリの補題 I を用いると
\[ P(\underset{n\to\infty}{\lim\inf} A^c_n) = P\left(\lim_{n\to\infty}\bigcup_{n=1}^\infty\bigcap_{k=n}^\infty\{X_n = 0\} \right) = 1 \]
これは，確率1で，ある \(n = N\) が存在して \(k\geq n\) に対して \(\{X_n = 0\}\), つまり裏が出るということを意味します．これは，表が出る回数は有限回と同じ意味です．
Theorem 4 Almost surely convergence
確率変数列 \(\{X_n\}\) について，任意の \(\epsilon >0\) に対して
\[ \sum_{n=1}^\infty P(|X_n - X| > \epsilon) < \infty \]
を満たすとします．このとき，
\[ X_n \overset{\text{a.s.}}{\to}X \]