키와 몸무게, 온도와 습도, 이미지의 이웃한 픽셀처럼 여러 확률변수는 함께 움직입니다. 이 장에서는 여러 변수를 한꺼번에 다루는 결합분포, 두 변수가 함께 움직이는 정도(공분산, 상관), 그리고 그것들을 모은 공분산 행렬을 다룹니다. 마지막에 다변량 정규분포를 보면 선형대수(대칭행렬의 고유벡터)와 확률이 하나로 만납니다. 머신러닝의 PCA, 가우스 과정, 칼만 필터가 모두 이 장 위에 있습니다.
4.1 결합분포와 주변분포
정의 4.1 (결합분포). 두 확률변수 X X X Y Y Y 결합분포 (joint distribution)는 이산이면 p ( x , y ) = P ( X = x , Y = y ) p(x, y) = P(X = x, Y = y) p ( x , y ) = P ( X = x , Y = y ) P ( ( X , Y ) ∈ D ) = ∬ D f ( x , y ) d A P((X, Y) \in D) = \iint_Df(x, y)\,dA P (( X , Y ) ∈ D ) = ∬ D f ( x , y ) d A f ( x , y ) f(x, y) f ( x , y )
정의 4.2 (주변분포). 다른 변수에 대해 더하거나 적분해 없앤 것: p X ( x ) = ∑ y p ( x , y ) p_X(x) = \sum_yp(x, y) p X ( x ) = ∑ y p ( x , y ) f X ( x ) = ∫ f ( x , y ) d y f_X(x) = \int f(x, y)\,dy f X ( x ) = ∫ f ( x , y ) d y
정의 4.3 (독립). 모든 x , y x, y x , y f ( x , y ) = f X ( x ) f Y ( y ) f(x, y) = f_X(x)f_Y(y) f ( x , y ) = f X ( x ) f Y ( y ) X X X Y Y Y 독립 (independent)입니다.
예제 4.4. 동전 두 개(각각 앞 1, 뒤 0)를 던진 X X X Y Y Y S = X + Y S = X + Y S = X + Y X X X Y Y Y X X X S S S X = 1 X = 1 X = 1 S ≥ 1 S \ge 1 S ≥ 1
4.2 공분산과 상관계수
정의 4.5 (공분산). C o v ( X , Y ) = E [ ( X − μ X ) ( Y − μ Y ) ] = E [ X Y ] − E [ X ] E [ Y ] \mathrm{Cov}(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] = E[XY] - E[X]E[Y] Cov ( X , Y ) = E [( X − μ X ) ( Y − μ Y )] = E [ X Y ] − E [ X ] E [ Y ]
두 변수가 함께 평균보다 크거나 함께 작으면 양수, 엇갈리면 음수입니다. C o v ( X , X ) = V a r ( X ) \mathrm{Cov}(X, X) = \mathrm{Var}(X) Cov ( X , X ) = Var ( X )
정의 4.6 (상관계수). ρ = C o v ( X , Y ) σ X σ Y \rho = \dfrac{\mathrm{Cov}(X, Y)}{\sigma_X\sigma_Y} ρ = σ X σ Y Cov ( X , Y )
정리 4.7. − 1 ≤ ρ ≤ 1 -1 \le \rho \le 1 − 1 ≤ ρ ≤ 1 ∣ ρ ∣ = 1 |\rho| = 1 ∣ ρ ∣ = 1 Y = a X + b Y = aX + b Y = a X + b a ≠ 0 a \ne 0 a = 0
증명 개요. 중심화한 확률변수를 벡터, E [ U V ] E[UV] E [ U V ] ρ \rho ρ
정리 4.8. 독립이면 공분산이 0입니다. 거꾸로는 성립하지 않습니다.
예제 4.9. X X X { − 1 , 0 , 1 } \{-1, 0, 1\} { − 1 , 0 , 1 } Y = X 2 Y = X^2 Y = X 2 E [ X Y ] = E [ X 3 ] = 0 E[XY] = E[X^3] = 0 E [ X Y ] = E [ X 3 ] = 0 E [ X ] = 0 E[X] = 0 E [ X ] = 0 C o v = 0 \mathrm{Cov} = 0 Cov = 0 Y Y Y X X X 직선적인 관계만 잽니다.
정리 4.10. V a r ( X + Y ) = V a r ( X ) + V a r ( Y ) + 2 C o v ( X , Y ) \mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X, Y) Var ( X + Y ) = Var ( X ) + Var ( Y ) + 2 Cov ( X , Y )
4.3 공분산 행렬
확률벡터 X = ( X 1 , … , X n ) \mathbf{X} = (X_1, \dots, X_n) X = ( X 1 , … , X n ) μ = E [ X ] \boldsymbol\mu = E[\mathbf{X}] μ = E [ X ]
정의 4.11 (공분산 행렬). Σ = E [ ( X − μ ) ( X − μ ) T ] \Sigma = E[(\mathbf{X} - \boldsymbol\mu)(\mathbf{X} - \boldsymbol\mu)^T] Σ = E [( X − μ ) ( X − μ ) T ] Σ i j = C o v ( X i , X j ) \Sigma_{ij} = \mathrm{Cov}(X_i, X_j) Σ ij = Cov ( X i , X j )
정리 4.12. Σ \Sigma Σ Y = A X + b \mathbf{Y} = A\mathbf{X} + \mathbf{b} Y = A X + b E [ Y ] = A μ + b E[\mathbf{Y}] = A\boldsymbol\mu + \mathbf{b} E [ Y ] = A μ + b C o v ( Y ) = A Σ A T \mathrm{Cov}(\mathbf{Y}) = A\Sigma A^T Cov ( Y ) = A Σ A T
증명 (양반정치). v T Σ v = E [ ( v T ( X − μ ) ) 2 ] = V a r ( v T X ) ≥ 0 \mathbf{v}^T\Sigma\mathbf{v} = E[(\mathbf{v}^T(\mathbf{X} - \boldsymbol\mu))^2] = \mathrm{Var}(\mathbf{v}^T\mathbf{X}) \ge 0 v T Σ v = E [( v T ( X − μ ) ) 2 ] = Var ( v T X ) ≥ 0
방향 v \mathbf{v} v v T Σ v \mathbf{v}^T\Sigma\mathbf{v} v T Σ v Σ \Sigma Σ 주성분 (PCA, 선형대수 31장)입니다.
4.4 다변량 정규분포
정의 4.13 (다변량 정규분포). 밀도
f ( x ) = 1 ( 2 π ) n det Σ exp ( − 1 2 ( x − μ ) T Σ − 1 ( x − μ ) ) f(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n\det\Sigma}}\exp\!\left(-\tfrac12(\mathbf{x} - \boldsymbol\mu)^T\Sigma^{-1}(\mathbf{x} - \boldsymbol\mu)\right) f ( x ) = ( 2 π ) n det Σ 1 exp ( − 2 1 ( x − μ ) T Σ − 1 ( x − μ ) ) 인 분포를 N ( μ , Σ ) \mathcal{N}(\boldsymbol\mu, \Sigma) N ( μ , Σ ) Σ \Sigma Σ
지수 안의 ( x − μ ) T Σ − 1 ( x − μ ) (\mathbf{x} - \boldsymbol\mu)^T\Sigma^{-1}(\mathbf{x} - \boldsymbol\mu) ( x − μ ) T Σ − 1 ( x − μ ) 마할라노비스 거리 의 제곱이라 합니다. 밀도의 등위선은 이 값이 일정한 타원(타원체)이고, 그 축은 Σ \Sigma Σ λ i \sqrt{\lambda_i} λ i det Σ \det\Sigma det Σ
정리 4.14 (정규분포의 좋은 성질).
선형변환 A X + b A\mathbf{X} + \mathbf{b} A X + b N ( A μ + b , A Σ A T ) \mathcal{N}(A\boldsymbol\mu + \mathbf{b}, A\Sigma A^T) N ( A μ + b , A Σ A T )
주변분포와 조건부분포(5장)도 정규분포입니다.
정규분포에서는 공분산 0과 독립이 같습니다 .
예제 4.15 (만들기). Z ∼ N ( 0 , I ) \mathbf{Z} \sim \mathcal{N}(\mathbf{0}, I) Z ∼ N ( 0 , I ) n n n Σ = L L T \Sigma = LL^T Σ = L L T X = μ + L Z ∼ N ( μ , Σ ) \mathbf{X} = \boldsymbol\mu + L\mathbf{Z} \sim \mathcal{N}(\boldsymbol\mu, \Sigma) X = μ + L Z ∼ N ( μ , Σ ) z = μ + σ ⊙ ϵ \mathbf{z} = \boldsymbol\mu + \boldsymbol\sigma\odot\boldsymbol\epsilon z = μ + σ ⊙ ϵ L L L
4.5 이 장의 요약
결합분포에서 다른 변수를 더하거나 적분하면 주변분포. 독립은 곱으로 나뉨.
공분산·상관은 직선적 관계. 독립 ⇒ 무상관, 거꾸로는 아님(정규분포는 예외).
공분산 행렬은 대칭·양반정치, 선형변환에서 A Σ A T A\Sigma A^T A Σ A T
쓰이는 곳. PCA(공분산 행렬의 고유벡터), 가우스 과정 회귀(공분산 = 커널 행렬), 칼만 필터(공분산의 전파 A Σ A T A\Sigma A^T A Σ A T w T Σ w \mathbf{w}^T\Sigma\mathbf{w} w T Σ w
문제
4.1 [계산] · 확인 문제
X X X Y Y Y p ( 0 , 0 ) = 0.3 p(0,0) = 0.3 p ( 0 , 0 ) = 0.3 p ( 0 , 1 ) = 0.2 p(0,1) = 0.2 p ( 0 , 1 ) = 0.2 p ( 1 , 0 ) = 0.1 p(1,0) = 0.1 p ( 1 , 0 ) = 0.1 p ( 1 , 1 ) = 0.4 p(1,1) = 0.4 p ( 1 , 1 ) = 0.4
값
답
P ( X = 1 ) P(X = 1) P ( X = 1 ) [?]
E [ X Y ] E[XY] E [ X Y ] [?]
C o v ( X , Y ) \mathrm{Cov}(X, Y) Cov ( X , Y ) [?]
정답 풀이 P ( X = 1 ) = 0.1 + 0.4 = 0.5 P(X = 1) = 0.1 + 0.4 = 0.5 P ( X = 1 ) = 0.1 + 0.4 = 0.5 P ( Y = 1 ) = 0.6 P(Y = 1) = 0.6 P ( Y = 1 ) = 0.6 E [ X Y ] = P ( X = 1 , Y = 1 ) = 0.4 E[XY] = P(X = 1, Y = 1) = 0.4 E [ X Y ] = P ( X = 1 , Y = 1 ) = 0.4 C o v = 0.4 − 0.5 ⋅ 0.6 = 0.1 \mathrm{Cov} = 0.4 - 0.5\cdot0.6 = 0.1 Cov = 0.4 − 0.5 ⋅ 0.6 = 0.1
4.2 [계산] · 확인 문제
V a r ( X ) = 4 \mathrm{Var}(X) = 4 Var ( X ) = 4 V a r ( Y ) = 9 \mathrm{Var}(Y) = 9 Var ( Y ) = 9 ρ = 0.5 \rho = 0.5 ρ = 0.5 V a r ( X − Y ) \mathrm{Var}(X - Y) Var ( X − Y )
정답 풀이 C o v = 0.5 ⋅ 2 ⋅ 3 = 3 \mathrm{Cov} = 0.5\cdot2\cdot3 = 3 Cov = 0.5 ⋅ 2 ⋅ 3 = 3 V a r ( X − Y ) = 4 + 9 − 2 ⋅ 3 = 7 \mathrm{Var}(X - Y) = 4 + 9 - 2\cdot3 = 7 Var ( X − Y ) = 4 + 9 − 2 ⋅ 3 = 7
4.3 [계산] · 확인 문제
Σ = [ 2 1 1 2 ] \Sigma = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} Σ = [ 2 1 1 2 ]
정답 풀이 고윳값은 2 ± 1 2 \pm 1 2 ± 1 ( 1 , 1 ) / 2 (1, 1)/\sqrt2 ( 1 , 1 ) / 2 ( 1 , − 1 ) / 2 (1, -1)/\sqrt2 ( 1 , − 1 ) / 2
4.4 [계산]
X ∼ N ( 0 , Σ ) \mathbf{X} \sim \mathcal{N}(\mathbf{0}, \Sigma) X ∼ N ( 0 , Σ ) Σ = [ 1 0.5 0.5 1 ] \Sigma = \begin{bmatrix} 1 & 0.5 \\ 0.5 & 1 \end{bmatrix} Σ = [ 1 0.5 0.5 1 ] Y = X 1 + X 2 Y = X_1 + X_2 Y = X 1 + X 2 V a r ( Y ) \mathrm{Var}(Y) Var ( Y )
정답 풀이 A = [ 1 1 ] A = [1\ 1] A = [ 1 1 ] A Σ A T = 1 + 0.5 + 0.5 + 1 = 3 A\Sigma A^T = 1 + 0.5 + 0.5 + 1 = 3 A Σ A T = 1 + 0.5 + 0.5 + 1 = 3
4.5 [증명]
정리 4.10 을 기댓값의 선형성으로 보입니다.
풀이 U = X − μ X U = X - \mu_X U = X − μ X V = Y − μ Y V = Y - \mu_Y V = Y − μ Y V a r ( X + Y ) = E [ ( U + V ) 2 ] = E [ U 2 ] + 2 E [ U V ] + E [ V 2 ] = V a r ( X ) + 2 C o v ( X , Y ) + V a r ( Y ) \mathrm{Var}(X + Y) = E[(U + V)^2] = E[U^2] + 2E[UV] + E[V^2] = \mathrm{Var}(X) + 2\mathrm{Cov}(X, Y) + \mathrm{Var}(Y) Var ( X + Y ) = E [( U + V ) 2 ] = E [ U 2 ] + 2 E [ U V ] + E [ V 2 ] = Var ( X ) + 2 Cov ( X , Y ) + Var ( Y )