7장. 추정과 최대우도

데이터를 보고 그것을 만든 분포의 모수(동전의 앞면 확률, 정규분포의 평균)를 알아내는 것이 추정입니다. 이 장의 주인공인 최대우도 추정은 “이 데이터가 나올 확률을 가장 크게 하는 모수”를 고르는 방법입니다. 머신러닝 논문의 손실 함수는 대부분 음의 로그 가능도입니다. 평균제곱오차는 정규분포를, 교차 엔트로피는 범주형 분포를 가정한 최대우도입니다. 이 사실 하나로 많은 손실 함수가 왜 그 모양인지 설명됩니다.

7.1 추정량

정의 7.1. 데이터 $X_1, \dots, X_n$의 함수로 모수 $\theta$를 어림하는 $\hat\theta = T(X_1, \dots, X_n)$를 추정량(estimator)이라 합니다.

추정량도 데이터에 따라 달라지는 확률변수입니다. 좋은 추정량은 평균적으로 맞고(불편), 흔들림이 작아야(분산이 작음) 합니다.

정의 7.2. $E[\hat\theta] = \theta$이면 불편(unbiased)이고, $\mathrm{bias} = E[\hat\theta] - \theta$를 편향이라 합니다.

정리 7.3 (편향–분산 분해). 평균제곱오차(mean squared error) $\mathrm{MSE}(\hat\theta) = E[(\hat\theta - \theta)^2] = \mathrm{bias}^2 + \mathrm{Var}(\hat\theta)$.

편향을 조금 허용하고 분산을 크게 줄이면 전체 오차가 줄 수 있습니다. 머신러닝의 정규화(가중치 감쇠)가 그런 거래입니다.

예제 7.4. 표본평균 $\bar X$는 $\mu$의 불편추정량입니다. 분산의 추정량 $\frac1n\sum(X_i - \bar X)^2$는 편향되어 있고($E = \frac{n-1}n\sigma^2$), $n - 1$로 나눈 표본분산 $s^2 = \frac{1}{n - 1}\sum(X_i - \bar X)^2$가 불편입니다. $\bar X$를 쓰면서 자유도 하나를 잃기 때문입니다.

7.2 가능도

정의 7.5 (가능도). 관측한 데이터 $x_1, \dots, x_n$을 고정하고, 모수 $\theta$의 함수로 본

를 가능도(likelihood)라 합니다(i.i.d. 가정). 그 로그 $\ell(\theta) = \sum_i\ln f(x_i \mid \theta)$를 로그 가능도(log-likelihood)라 합니다.

식은 확률(밀도)과 같지만, 데이터가 아니라 모수의 함수로 봅니다. 로그를 쓰는 이유는 곱을 합으로 바꿔 미분하기 쉽고, 작은 확률을 많이 곱해 컴퓨터에서 0이 되어 버리는 것을 막기 위해서입니다.

7.3 최대우도 추정

정의 7.6. $\hat\theta_{\mathrm{MLE}} = \arg\max_\theta\ell(\theta)$를 최대우도 추정량(maximum likelihood estimator, MLE)이라 합니다.

$\arg\max$는 “최댓값 자체가 아니라, 최댓값을 주는 $\theta$”라는 뜻입니다. 보통 $\ell'(\theta) = 0$을 풉니다.

예제 7.7 (동전). $n$번 중 $k$번 앞면이면 $\ell(p) = k\ln p + (n - k)\ln(1 - p)$. $\ell'(p) = \frac kp - \frac{n - k}{1 - p} = 0$에서 $\hat p = k/n$. 직관 그대로입니다.

예제 7.8 (정규분포). $\ell(\mu, \sigma^2) = -\frac n2\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum(x_i - \mu)^2$. $\mu$로 미분하면 $\hat\mu = \bar x$, $\sigma^2$로 미분하면 $\hat\sigma^2 = \frac1n\sum(x_i - \bar x)^2$(예제 7.4의 편향된 추정량).

예제 7.9 (지수분포). $\ell(\lambda) = n\ln\lambda - \lambda\sum x_i$이므로 $\hat\lambda = n/\sum x_i = 1/\bar x$.

정리 7.10 (MLE의 성질, 개요). 적당한 조건에서 $n \to \infty$이면 MLE는 참값으로 수렴하고(일치성), 대략 정규분포를 따르며, 그 분산은 가능한 추정량 가운데 가장 작은 수준(크라메르–라오 하한)에 이릅니다.

7.4 손실 함수의 정체

정리 7.11 (최소제곱 = 정규 잡음의 MLE). 모델 $y_i = g(x_i; \theta) + \varepsilon_i$, $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ i.i.d.이면, 음의 로그 가능도는 $\frac{1}{2\sigma^2}\sum(y_i - g(x_i; \theta))^2 + (\text{상수})$입니다. 그러므로 MLE는 제곱오차를 최소로 하는 $\theta$입니다.

정리 7.12 (교차 엔트로피 = 범주형 분포의 MLE). 분류 모델이 $p_\theta(y \mid x)$를 내고 데이터가 $(x_i, y_i)$이면 음의 로그 가능도는 $-\sum_i\ln p_\theta(y_i \mid x_i)$이고, 이것이 교차 엔트로피 손실(다변수 미적분 11장)입니다.

손실 함수를 바꾸는 것은 잡음의 분포 가정을 바꾸는 것입니다. 절댓값 오차는 라플라스 분포 잡음의 MLE이고, 이상치에 더 강합니다.

7.5 이 장의 요약

• 추정량의 오차 = 편향² + 분산. 표본분산은 $n - 1$로 나눕니다.
• MLE = 로그 가능도를 최대로 하는 모수. 미분해 0으로 둡니다.
• 제곱오차는 정규 잡음, 교차 엔트로피는 범주형 분포의 음의 로그 가능도입니다.

쓰이는 곳. 머신러닝 논문의 “negative log-likelihood(NLL)”, “we maximize the log-likelihood”, 언어 모델의 학습 목표(다음 토큰의 로그 확률 합), 통계 모델 적합, 물리 실험의 매개변수 맞춤(카이제곱 최소화 = 정규 오차의 MLE)이 모두 이 장입니다.

문제

0.35

5
36/5
9

1/3

2