2  相関関係

二つの変数間の関係のことを一般には相関関係と呼びますが，統計学では二つの変数の間に直線関係に近い傾向が見られるときに 「相関関係がある」ということが多いです．相関関係を形容する言葉として，「強い vs 弱い」と「正 vs 負」のふたつのレベルがあります．

• 強い vs 弱い: 直線的な傾向の程度の表現
• 正 vs 負: 一方の変数の増加ともう他方の変数の増加の関係が見られる場合は正の関係，一方が増加し他方が減少する傾向がある場合は負の関係

相関係数

Def: Pearson相関係数

確率変数 $X,Y$ のPearson相関係数は

$$\mathrm{Corr}(X,Y)=\frac{{\sigma }_{XY}}{{\sigma }_X{\sigma }_Y}$$

${\sigma }_{XY}$ は $X,Y$ の共分散, ${\sigma }_X,{\sigma }_Y$ は標準偏差を表す．

▶  Pearson相関係数の値域

Pearson相関係数 $|\mathrm{Corr}(X,Y)|\le 1$ という性質があります．

$\tilde{X}=X-{\mu }_x,\tilde{Y}=Y-{\mu }_y$ とおきます．シュワルツの不等式を用いると

$$\begin{array}{rl}|\mathrm{Corr}(X,Y){|}^2& =\frac{|{\sigma }_{XY}{|}^2}{{\sigma }_X^2{\sigma }_Y^2}\\ & =\frac{\mathbb{E}[\tilde{X}\tilde{Y}{]}^2}{E[\tilde{X}{]}^{2}E[\tilde{Y}{]}^2}\\ & \le 1\end{array}$$

従って，$|\mathrm{Corr}(X,Y)|\le 1$

$$\begin{array}{}◼& \end{array}$$

▶  互いに独立な確率変数と相関係数

互いに独立な確率変数 $X,Y$ について，

$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]\\ & =\mathbb{E}[X]\mathbb{E}[Y]-\mathbb{E}[X]\mathbb{E}[Y]\\ & =0\end{array}$$

よりPeasorn相関係数の分子が0になるので，$\mathrm{Corr}(X,Y)=0$ となることがわかります． ただし，Peasorn相関係数が 0 だとしても，独立性が成立するとは限りません．

▶  Example 2.1 : 単位円周上の点

一様分布に従う確率変数 $\mathrm{\Theta }\sim \mathrm{U}(0,2\pi )$ を考えます．この確率変数を変数変換し，

$$\begin{array}{rl}X& =\cos \mathrm{\Theta }\\ Y& =\sin \mathrm{\Theta }\end{array}$$

このとき，$X,Y$ の確率密度関数はそれぞれ

$$f_X(t)=f_Y(t)=\frac{1}{2\pi }\frac{1}{\sqrt{1-t^2}}$$

となります．独立でない関係は定義より $X^2+Y^2=1$ と明らかですが，同時密度関数 $f(x,y)$ について

$$f(0,0)\ne f_X(0)f_Y(0)$$

で確認できます．このときのPearson相関係数は

$$\begin{array}{rl}\mathbb{E}[X]& =\frac{1}{2\pi }{\int }_0^{2\pi }\cos \theta \mathrm{d}\theta =0\\ \mathbb{E}[Y]& =\frac{1}{2\pi }{\int }_0^{2\pi }\sin \theta \mathrm{d}\theta =0\\ \mathbb{E}[XY]& =\frac{1}{2\pi }{\int }_0^{2\pi }\cos \theta \sin \theta \mathrm{d}\theta \\ & =\frac{1}{4\pi }{\int }_0^{2\pi }\sin (\theta +\theta )-\sin (\theta -\theta )\mathrm{d}\theta \\ & =\frac{1}{4\pi }{\int }_0^{2\pi }\sin (2\theta )\mathrm{d}\theta \\ & =0\end{array}$$

従って，$\mathrm{Corr}(X,Y)=0$

$$\begin{array}{}◼& \end{array}$$

図で確認してみると以下のように，一つの $x$ に対して，２つの $y$ の値が存在しています．このように $y$ が $x$ に対してユニークにおおよその位置が定まらないときはPearson相関係数は0に近い値が出力される傾向にあります．

import numpy as np
import plotly.io as pio
import plotly.express as px
import regmonkey_style.stylewizard as sw


# Register custom template
sw.set_templates("regmonkey_scatter")

# Data preparation
np.random.seed(42)

N = 200
theta = np.random.uniform(0, 2 * np.pi, N)
X, Y = np.cos(theta), np.sin(theta)

# Create the figure with the template
fig = px.scatter(
    x=X,
    y=Y,
    title="一様分布乱数の単位円周上の点への変数変換<br><sup>Sample size = {}, Pearson相関係数={:.2f}</sup>".format(
        N, np.corrcoef(X, Y)[0, 1]
    ),
)

# equal xy scale
sw.equal_xy_scale(fig)
fig.show()

Theorem 2.1

$\mathrm{Var}(X)>0,\mathrm{Var}(Y)>0$ の確率変数 $X,Y$ について，

$$f_{X,Y}(x,y)=f_{X,Y}(-x,y)$$

が成立するとする．このとき，

$$\mathrm{Corr}(X,Y)=0$$

が成立する．

Proof

$\mathrm{Cov}(X,Y)=0$ を示せば十分です．

$$\begin{array}{rl}\mathrm{Cov}(X,Y)& =\int \int f_{X,Y}(x,y)(x-{\mu }_x)(y-{\mu }_y)\mathrm{d}x\mathrm{d}y\\ & =\int (y-{\mu }_y)(\int \underset{\text{偶関数}}{\underbrace{f_{X,Y}(x,y)}}\underset{\text{奇関数}}{\underbrace{(x-{\mu }_x)}}\mathrm{d}x)\mathrm{d}y\\ & =\int (y-{\mu }_y)\times 0\mathrm{d}y\\ & =0\end{array}$$

従って，$\mathrm{Corr}(X,Y)=0$

Theorem 2.2 : 平行移動 & スケール変換に対して不変

$a_1\ne 0,a_2\ne 0,b_1,b_2$ を定数として, 確率変数 $X,Y$ に対して以下のような変数変換を考える

$$\begin{array}{rl}U& =a_{1}X+b_1\\ V& =a_{2}Y+b_2\end{array}$$

このとき，

$${\mathrm{Corr}}_{uv}=\text{sgn}(a_1{a}_2){\mathrm{Corr}}_{xy}$$

Proof

$$\begin{array}{rl}{\mathrm{Corr}}_{uv}& =\frac{\mathrm{Cov}(U,V)}{\sqrt{\mathrm{Var}(U)}\sqrt{\mathrm{Var}(V)}}\\ & =\frac{a_1{a}_2\mathrm{Cov}(X,Y)}{\sqrt{a_1^2\mathrm{Var}(X)}\sqrt{a_2^2\mathrm{Var}(Y)}}\\ & =\frac{a_1{a}_2}{|a_1{a}_2|}\mathrm{Corr}(X,Y)\\ & =\mathrm{sgn}(a_1{a}_2)\mathrm{Corr}(X,Y)\end{array}$$

Pearson相関係数はスケール及び平行移動について不変である性質を確認できましたが，２つの確率変数の関係性を捉える指標として相関係数の他に共分散があります． 共分散はスケールに依存じます．上の例をベースに確認してみると．

$$\begin{array}{r}\mathrm{Cov}(U,V)=a_1{a}_2\mathrm{Cov}(X,Y)\end{array}$$

より平行移動に関しては不変だが，スケール変換に対して不変ではありません．

Theorem 2.3 正の相関係数の非推移性

３つの確率変数 $X,Y,Z$ について

$$\begin{array}{rlr}\mathrm{Corr}(X,Y)>0& & \mathrm{Corr}(Y,Z)>0\end{array}$$

が成立したとしても，$\mathrm{Corr}(X,Z)>0$ とは限らない

Proof

3つの独立な確率変数 $X,Y,Z$ にたいして

$$\begin{array}{c}U=X+Y\\ V=Y+Z\\ W=Z-X\end{array}$$

とおくと

$$\begin{array}{rl}\text{Cov}(U,V)& =\text{Var}(Y)>0\\ \text{Cov}(V,W)& =\text{Var}(Z)>0\\ \text{Cov}(U,W)& =-\text{Var}(X)<0\end{array}$$

となり, 正の推移性が成立しないことがわかる．

Theorem 2.4 : A measure of Linear relation

確率変数 $X,Y$ について，$|\mathrm{Corr}(X,Y)|=1$ とする．このとき，$X,Y$ は完全な線形関係で表せる．

Proof

$$\mathrm{Corr}(X,Y{)}^2=\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}=1$$

$Y$ を $X$ に線形回帰するとき, $X$ の係数 $\beta$ について

$$\beta =\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}$$

であるので，$|\mathrm{Corr}(X,Y)|=1$ より

$$\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}=\frac{1}{\beta }$$

である必要があります．$e=Y-{\mu }_y-\beta (X-{\mu }_x)$ と定義すると

$$\mathrm{Var}(Y)={\beta }^2(Var)(X)+\mathrm{Var}(e)$$

であるので，

$$\begin{array}{rl}\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(Y)}& =\frac{\mathrm{Cov}(X,Y)}{\mathrm{Var}(X)}\frac{\mathrm{Var}(X)}{\mathrm{Var}(Y)}\\ & =\beta \frac{\mathrm{Var}(X)}{{\beta }^2\mathrm{Var}(X)+\mathrm{Var}(e)}\\ & =\frac{1}{\beta }\frac{\mathrm{Var}(X)}{\mathrm{Var}(X)+\mathrm{Var}(e)/{\beta }^2}\end{array}$$

従って，

$$\mathrm{Var}(e)=0$$

が必要条件であることが分かります．従って，

$$\begin{array}{c}Y=\alpha +\beta X\\ \text{where}\alpha ={\mu }_y-\beta {\mu }_x\end{array}$$

が導けます．

$$\begin{array}{}◼& \end{array}$$

▶  Pythonでの確認

Pearson相関係数が強いほど，線形回帰及び逆線形回帰の予測ラインが近づいていくことを以下で確認しています．

from plotly.subplots import make_subplots
import plotly.graph_objects as go
import statsmodels.api as sm


X1, Y1 = np.random.multivariate_normal([0, 0], [[1, 0.4], [0.4, 1]], N).T

X2, Y2 = np.random.multivariate_normal([0, 0], [[1, 0.95], [0.95, 1]], N).T

# Set common x and y ranges
x_range = np.array([-3, 3])  # Define your desired x range
y_range = np.array([-3, 3])  # Define your desired y range

# regression
result_1_yx = sm.OLS(Y1, sm.add_constant(X1)).fit()
result_1_xy = sm.OLS(X1, sm.add_constant(Y1)).fit()
result_2_yx = sm.OLS(Y2, sm.add_constant(X2)).fit()
result_2_xy = sm.OLS(X2, sm.add_constant(Y2)).fit()

fig = make_subplots(rows=1, cols=2)
fig.add_trace(go.Scatter(x=X1, y=Y1, name="相関係数:0.4"), row=1, col=1)
fig.add_trace(
    go.Scatter(
        x=x_range,
        y=result_1_yx.predict(sm.add_constant(x_range)),
        mode="lines",
        line=dict(color='gray'),
        showlegend=False,
        name="coef: {:.2f}".format(result_1_yx.params[1]),
    ),
    row=1,
    col=1,
)
fig.add_trace(
    go.Scatter(
        x=result_1_xy.predict(sm.add_constant(y_range)),
        y=y_range,
        mode="lines",
        line=dict(color='gray'),
        showlegend=False,
        name="coef: {:.2f}".format(result_1_xy.params[1]),
    ),
    row=1,
    col=1,
)

fig.add_trace(go.Scatter(x=X2, y=Y2, name="相関係数:0.95"), row=1, col=2)
fig.add_trace(
    go.Scatter(
        x=x_range,
        y=result_2_yx.predict(sm.add_constant(x_range)),
        mode="lines",
        line=dict(color='gray'),
        showlegend=False,
        name="coef: {:.2f}".format(result_2_yx.params[1]),
    ),
    row=1,
    col=2,
)
fig.add_trace(
    go.Scatter(
        x=result_2_xy.predict(sm.add_constant(y_range)),
        y=y_range,
        mode="lines",
        line=dict(color='gray'),
        showlegend=False,
        name="coef: {:.2f}".format(result_2_xy.params[1]),
    ),
    row=1,
    col=2,
)

fig.update_layout(title='相関係数水準に応じた回帰係数と逆回帰係数の比較')
fig.update_xaxes(
    range=x_range, scaleanchor="y", scaleratio=1, row=1, col=1
)  # Link x-axis of plot 1 to y-axis
fig.update_yaxes(
    range=y_range, scaleanchor="x", scaleratio=1, row=1, col=1
)  # Link y-axis of plot 1 to x-axis
fig.update_xaxes(
    range=x_range, scaleanchor="y2", scaleratio=1, row=1, col=2
)  # Link x-axis of plot 2 to y-axis
fig.update_yaxes(range=y_range, scaleanchor="x2", scaleratio=1, row=1, col=2)
fig.show()

▶  Example 2.2

単位円周上の一様分布に従う確率変数 $\mathrm{\Theta }$ を考えます．円周がこの $\mathrm{\Theta }$ によって分割されるとき，ふたつの線分ができます．このうち長い方を $X$, 短い方を $Y$ とすると，

$$\begin{array}{rl}X& \sim U(\pi ,2\pi )\\ Y& \sim U(0,\pi )\\ X& =2\pi -Y\end{array}$$

と表せます．このとき，$X,Y$ の相関係数は

$$\begin{array}{rl}\mathrm{Corr}(X,Y)& =\frac{\mathbb{E}[XY]-\mathbb{E}[X]\mathbb{E}[Y]}{\sqrt{\mathbb{V}(X)\mathbb{V}(Y)}}\\ & =\frac{\mathbb{E}[Y(2\pi -Y)]-\pi /2\cdot 3\pi /2}{{\pi }^2/12}\\ & =-1\end{array}$$

と計算できます．

Def: 標本Pearson相関係数

確率変数の組 $\{(x_i,y_i){\}}_{i=1}^n$ について，それぞれの標本平均を $\bar{x},\bar{y}$ とする．このとき標本Pearson相関係数 ${\rho }_{xy}$ は

$$\begin{array}{}\text{(2.1)}& {\rho }_{xy}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2}\sqrt{\sum (y_i-\bar{y}{)}^2}}\end{array}$$

標本Peason相関係数の値域もpopulationPeason相関係数と同様に $[-1,1]$ となります． シュワルツの不等式より

$$\sum a_i^2\sum b_i^2\ge (\sum a_i{b}_i{)}^2$$

ここで，$a_i=(x_i-\bar{x}),y_i=(y_i-\bar{y})$ とすると

$$\begin{array}{}\text{(2.2)}& \sum _{i=1}^n(x_i-\overline{x}{)}^2\sum _{i=1}^n(y_i-\overline{y}{)}^2\ge (\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y}){)}^2\end{array}$$

従って，${\rho }_{xy}^2\le 1$ が成立することがわかります．

また，シュワルツの不等式のの等号成立条件の必要十分条件は, すべての $i$ について $a_i:b_i$ が一定(ここではその比率を $k$ とおく) なので,

$$y_i=k{x}_i+\overline{y}-k\overline{x}=k{x}_i+c(c:\text{定数})$$

のとき，$|{\rho }_{xy}|=1$．また，変数感に１次式の関係があるとき $|{\rho }_{xy}|=1$ が成立することがわかります．

▶  ベクトルのなす角との関係

Equation 2.1 について，ノルムで表現することもできます．$n$ 次元実ベクトル $uu,vv$ に対し，その内積を

$$(uu,vv)=\sum _{i=1}^n{u}_i{v}_i$$

とします．$xx=(x_1-\bar{x},\cdots ,x_n-\bar{x}{)}^T,yy=(y_1-\bar{y},\cdots ,y_n-\bar{y}{)}^T$ とすると，

$$\begin{array}{}\text{(2.3)}& {\rho }_{xy}=\frac{(xx,yy)}{\parallel xx\parallel \parallel yy\parallel }\end{array}$$

Equation 2.3 について，ベクトル $xx,yy$ のなす角と理解することができます．実際に２つのベクトルのなす角は

$$\cos \theta =\frac{(uu,vv)}{\parallel uu\parallel \parallel vv\parallel }$$

Appendix

▶  母集団相関係数の絶対値が1以下になる証明

Proof: 判別式を用いた証明

任意の $t\in \mathbb{R}$ について

$$\begin{array}{rl}\mathrm{Var}(tX+Y)& =t^2\mathrm{Var}(X)+2t\mathrm{Cov}(X,Y)+\mathrm{Var}(Y)\\ & \ge 0\end{array}$$

非負の２次形式の判別式 $D$ は0以下なので

$$\begin{array}{rl}D& =\mathrm{Cov}(X,Y{)}^2-\mathrm{Var}(X)\mathrm{Var}(Y)\\ & \le 0\end{array}$$

整理すると

$$\begin{array}{rl}& \frac{\mathrm{Cov}(X,Y{)}^2}{\mathrm{Var}(X)\mathrm{Var}(Y)}\le 1\\ & \Rightarrow |{\mathrm{Corr}}_{xy}{|}^2\le 1\\ & \Rightarrow -1\le {\mathrm{Corr}}_{xy}\le 1\end{array}$$

Proof: 分散標準化した変数の和

確率変数 $X,Y$ の標準偏差をそれぞれ ${\sigma }_x,{\sigma }_y$ とします．

$$\begin{array}{rl}0& \le \mathrm{Var}(\frac{X}{{\sigma }_x}\pm \frac{Y}{{\sigma }_y})\\ & =\mathrm{Var}(\frac{X}{{\sigma }_x})\pm 2\mathrm{Cov}(\frac{X}{{\sigma }_x},\frac{Y}{{\sigma }_y})+\mathrm{Var}(\frac{Y}{{\sigma }_y})\\ & =\frac{1}{{\sigma }_x^2}\mathrm{Var}(X)\pm \frac{2}{{\sigma }_x{\sigma }_y}\mathrm{Cov}(X,Y)+\frac{1}{{\sigma }_y^2}\mathrm{Var}(Y)\\ & =2\pm \frac{2}{{\sigma }_x{\sigma }_y}\mathrm{Cov}(X,Y)\\ & =2\pm 2{\mathrm{Corr}}_{xy}\end{array}$$

従って，$-1\le {\mathrm{Corr}}_{xy}\le 1$ を得ます．