5장의 베이즈 정리는 사건의 확률을 증거로 고치는 공식이었습니다. 이 장에서는 같은 정리를 모수 자체에 씁니다. 모수를 모르는 값이라 확률분포로 표현하고(사전분포), 데이터를 보면 그 분포를 고칩니다(사후분포). 이렇게 하면 “모수가 이 구간에 있을 확률이 95%”라는, 8장에서 신뢰구간으로는 말할 수 없던 문장을 말할 수 있습니다. 머신러닝의 정규화, 베이즈 신경망, 불확실성 추정, 가우시안 과정이 이 틀 위에 있습니다.
10.1 사전·가능도·사후
정리 10.1 (모수에 대한 베이즈 정리).
p ( θ ∣ D ) ⏟ 사후 = p ( D ∣ θ ) ⏞ 가능도 p ( θ ) ⏞ 사전 p ( D ) ⏟ 증거 ∝ p ( D ∣ θ ) p ( θ ) . \underbrace{p(\theta \mid D)}_{\text{사후}} = \frac{\overbrace{p(D \mid \theta)}^{\text{가능도}}\;\overbrace{p(\theta)}^{\text{사전}}}{\underbrace{p(D)}_{\text{증거}}} \;\propto\; p(D \mid \theta)\,p(\theta). 사후 p ( θ ∣ D ) = 증거 p ( D ) p ( D ∣ θ ) 가능도 p ( θ ) 사전 ∝ p ( D ∣ θ ) p ( θ ) .
사전분포 (prior) p ( θ ) p(\theta) p ( θ ) 가능도 (likelihood) p ( D ∣ θ ) p(D \mid \theta) p ( D ∣ θ ) 사후분포 (posterior) p ( θ ∣ D ) p(\theta \mid D) p ( θ ∣ D ) 증거 (evidence) p ( D ) = ∫ p ( D ∣ θ ) p ( θ ) d θ p(D) = \int p(D \mid \theta)p(\theta)\,d\theta p ( D ) = ∫ p ( D ∣ θ ) p ( θ ) d θ θ \theta θ
∝ \propto ∝
10.2 켤레 사전분포: 베타–이항
정의 10.2 (베타 분포). 0 < p < 1 0 < p < 1 0 < p < 1 f ( p ) ∝ p α − 1 ( 1 − p ) β − 1 f(p) \propto p^{\alpha - 1}(1 - p)^{\beta - 1} f ( p ) ∝ p α − 1 ( 1 − p ) β − 1 B e t a ( α , β ) \mathrm{Beta}(\alpha, \beta) Beta ( α , β ) α α + β \frac{\alpha}{\alpha + \beta} α + β α
B e t a ( 1 , 1 ) \mathrm{Beta}(1, 1) Beta ( 1 , 1 ) α \alpha α β \beta β
정리 10.3. 사전분포가 B e t a ( α , β ) \mathrm{Beta}(\alpha, \beta) Beta ( α , β ) n n n k k k B e t a ( α + k , β + n − k ) \mathrm{Beta}(\alpha + k, \beta + n - k) Beta ( α + k , β + n − k )
증명. 사후 ∝ p k ( 1 − p ) n − k ⋅ p α − 1 ( 1 − p ) β − 1 = p α + k − 1 ( 1 − p ) β + n − k − 1 \propto p^k(1 - p)^{n - k}\cdot p^{\alpha - 1}(1 - p)^{\beta - 1} = p^{\alpha + k - 1}(1 - p)^{\beta + n - k - 1} ∝ p k ( 1 − p ) n − k ⋅ p α − 1 ( 1 − p ) β − 1 = p α + k − 1 ( 1 − p ) β + n − k − 1
사전과 사후가 같은 분포족이면 켤레 (conjugate)라 합니다. 데이터를 볼 때마다 숫자 두 개만 더하면 됩니다.
예제 10.4. 균등 사전 B e t a ( 1 , 1 ) \mathrm{Beta}(1, 1) Beta ( 1 , 1 ) p ^ = 1 \hat p = 1 p ^ = 1 B e t a ( 4 , 1 ) \mathrm{Beta}(4, 1) Beta ( 4 , 1 ) 4 / 5 = 0.8 4/5 = 0.8 4/5 = 0.8
10.3 MAP 추정과 정규화
정의 10.5. 사후분포를 최대로 하는 θ ^ M A P = arg max θ [ ln p ( D ∣ θ ) + ln p ( θ ) ] \hat\theta_{\mathrm{MAP}} = \arg\max_\theta[\ln p(D \mid \theta) + \ln p(\theta)] θ ^ MAP = arg max θ [ ln p ( D ∣ θ ) + ln p ( θ )] 최대 사후 추정 (maximum a posteriori, MAP)이라 합니다.
정리 10.6 (정규화 = 사전분포). 가중치에 사전분포 w j ∼ N ( 0 , τ 2 ) w_j \sim \mathcal N(0, \tau^2) w j ∼ N ( 0 , τ 2 ) − ln p ( w ) = 1 2 τ 2 ∥ w ∥ 2 + 상수 -\ln p(w) = \frac{1}{2\tau^2}\|w\|^2 + \text{상수} − ln p ( w ) = 2 τ 2 1 ∥ w ∥ 2 + 상수 λ ∥ w ∥ 2 \lambda\|w\|^2 λ ∥ w ∥ 2 p ( w ) ∝ e − ∣ w ∣ / b p(w) \propto e^{-|w|/b} p ( w ) ∝ e − ∣ w ∣/ b
예제 10.7. B e t a ( α , β ) \mathrm{Beta}(\alpha, \beta) Beta ( α , β ) B e t a ( α + k , β + n − k ) \mathrm{Beta}(\alpha + k, \beta + n - k) Beta ( α + k , β + n − k ) α + k − 1 α + β + n − 2 \frac{\alpha + k - 1}{\alpha + \beta + n - 2} α + β + n − 2 α + k − 1 α = β = 1 \alpha = \beta = 1 α = β = 1 k / n k/n k / n
10.4 사후 예측과 신용구간
사후 예측. 다음 관측의 확률은 모수 하나를 고르지 않고 사후분포로 평균합니다: p ( x new ∣ D ) = ∫ p ( x new ∣ θ ) p ( θ ∣ D ) d θ p(x_{\text{new}} \mid D) = \int p(x_{\text{new}} \mid \theta)p(\theta \mid D)\,d\theta p ( x new ∣ D ) = ∫ p ( x new ∣ θ ) p ( θ ∣ D ) d θ α + k α + β + n \frac{\alpha + k}{\alpha + \beta + n} α + β + n α + k α = β = 1 \alpha = \beta = 1 α = β = 1 k + 1 n + 2 \frac{k + 1}{n + 2} n + 2 k + 1 계승 규칙 입니다.
정의 10.8 (신용구간). P ( L ≤ θ ≤ U ∣ D ) = 0.95 P(L \le \theta \le U \mid D) = 0.95 P ( L ≤ θ ≤ U ∣ D ) = 0.95 신용구간 (credible interval)이라 합니다. 이것은 말 그대로 “데이터를 보고 나니 θ \theta θ
10.5 빈도주의와 베이즈
빈도주의
베이즈
모수
고정된 미지수
확률변수(믿음)
추정
MLE, 신뢰구간
사후분포, 신용구간
사전 정보
쓰지 않음
사전분포로 넣음
데이터가 많을 때
둘이 거의 같아집니다
사후분포 계산의 어려움은 증거 p ( D ) p(D) p ( D )
10.6 이 장의 요약
사후 ∝ 가능도 × 사전.
베타–이항 켤레: B e t a ( α , β ) → B e t a ( α + k , β + n − k ) \mathrm{Beta}(\alpha, \beta) \to \mathrm{Beta}(\alpha + k, \beta + n - k) Beta ( α , β ) → Beta ( α + k , β + n − k )
MAP = 정규화된 최대우도. L2 = 정규 사전, L1 = 라플라스 사전.
신용구간은 “모수가 이 안에 있을 확률”을 직접 말합니다.
쓰이는 곳. 가중치 감쇠의 해석, 베이즈 최적화(하이퍼파라미터 탐색), 변분 오토인코더(VAE)의 “prior/posterior”, 확산 모델의 조건부 생성, 강화학습의 톰슨 샘플링(베타 사후분포에서 뽑기), 물리학의 매개변수 추정(우주론의 사후분포 그림)이 이 장의 말을 씁니다.
문제
10.1 [계산] · 확인 문제
사전 B e t a ( 2 , 2 ) \mathrm{Beta}(2, 2) Beta ( 2 , 2 )
값
답
사후분포의 α \alpha α
[?]
사후분포의 β \beta β
[?]
사후 평균
[?]
정답 풀이 B e t a ( 2 + 7 , 2 + 3 ) = B e t a ( 9 , 5 ) \mathrm{Beta}(2 + 7, 2 + 3) = \mathrm{Beta}(9, 5) Beta ( 2 + 7 , 2 + 3 ) = Beta ( 9 , 5 ) 9 / 14 ≈ 0.643 9/14 \approx 0.643 9/14 ≈ 0.643
10.2 [계산] · 확인 문제
정답 풀이 최빈값 9 − 1 9 + 5 − 2 = 8 12 = 2 3 \frac{9 - 1}{9 + 5 - 2} = \frac{8}{12} = \frac23 9 + 5 − 2 9 − 1 = 12 8 = 3 2 0.7 0.7 0.7 0.5 0.5 0.5
10.3 [계산] · 확인 문제
균등 사전에서 시도 8번 중 성공 0번을 봤을 때, 계승 규칙에 따른 다음 시도의 성공 확률은?
정답 풀이 0 + 1 8 + 2 = 1 10 \frac{0 + 1}{8 + 2} = \frac{1}{10} 8 + 2 0 + 1 = 10 1
10.4 [개념]
손실 함수에 λ ∥ w ∥ 2 \lambda\|w\|^2 λ ∥ w ∥ 2
균등분포
평균 0인 정규분포
라플라스 분포
지수분포
정답 풀이 − ln -\ln − ln ∥ w ∥ 2 \|w\|^2 ∥ w ∥ 2
10.5 [증명]
사전 μ ∼ N ( 0 , 1 ) \mu \sim \mathcal N(0, 1) μ ∼ N ( 0 , 1 ) x ∣ μ ∼ N ( μ , 1 ) x \mid \mu \sim \mathcal N(\mu, 1) x ∣ μ ∼ N ( μ , 1 ) N ( x / 2 , 1 / 2 ) \mathcal N(x/2, 1/2) N ( x /2 , 1/2 )
풀이 사후 ∝ e − ( x − μ ) 2 / 2 e − μ 2 / 2 \propto e^{-(x - \mu)^2/2}e^{-\mu^2/2} ∝ e − ( x − μ ) 2 /2 e − μ 2 /2 − 1 2 ( 2 μ 2 − 2 x μ + x 2 ) = − ( μ − x / 2 ) 2 + 상수 -\frac12(2\mu^2 - 2x\mu + x^2) = -(\mu - x/2)^2 + \text{상수} − 2 1 ( 2 μ 2 − 2 xμ + x 2 ) = − ( μ − x /2 ) 2 + 상수 x / 2 x/2 x /2 1 / 2 1/2 1/2