6장. 큰 수의 법칙과 중심극한정리

동전을 많이 던지면 앞면의 비율은 $\frac12$에 가까워지고(큰 수의 법칙), 그 비율의 흔들림은 어떤 분포에서 시작하든 종 모양(정규분포)이 됩니다(중심극한정리). 이 두 정리가 “데이터가 많으면 평균을 믿을 수 있다”, “오차 막대는 $\sigma/\sqrt n$”이라는 실험 과학과 머신러닝의 상식을 정당화합니다. 정규분포가 어디에나 나오는 이유도 여기에 있습니다.

6.1 확률 부등식

분포를 몰라도 평균과 분산만으로 꼬리 확률을 막을 수 있습니다.

정리 6.1 (마르코프 부등식). $X \ge 0$이고 $a > 0$이면 $P(X \ge a) \le \dfrac{E[X]}{a}$.

증명. $X \ge a\cdot[X \ge a]$(지시변수)이므로 양변의 기댓값을 취하면 $E[X] \ge aP(X \ge a)$. □

정리 6.2 (체비쇼프 부등식). $P(|X - \mu| \ge k\sigma) \le \dfrac{1}{k^2}$.

증명. $(X - \mu)^2$에 마르코프 부등식을 씁니다. □

어떤 분포든 평균에서 $2\sigma$ 이상 벗어날 확률은 25% 이하입니다(정규분포라면 약 5%). 분포를 모를 때 쓰는 보수적인 상한입니다.

6.2 표본평균

독립이고 같은 분포(independent and identically distributed, i.i.d.)를 따르는 $X_1, \dots, X_n$(평균 $\mu$, 분산 $\sigma^2$)의 표본평균 $\bar X_n = \frac1n\sum X_i$에 대해

표준편차는 $\sigma/\sqrt n$입니다. 데이터를 4배 모으면 오차가 절반이 됩니다. 이 $\sigma/\sqrt n$을 표준오차(standard error)라 합니다.

6.3 큰 수의 법칙

정리 6.3 (큰 수의 약법칙). 모든 $\varepsilon > 0$에 대해 $\displaystyle\lim_{n\to\infty}P(|\bar X_n - \mu| \ge \varepsilon) = 0$.

증명. 체비쇼프 부등식으로 $P(|\bar X_n - \mu| \ge \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \to 0$. □

몬테카를로 방법(12장)이 정당한 이유입니다: $E[g(X)]$를 표본 평균 $\frac1n\sum g(X_i)$로 어림하면 $n$이 클수록 맞습니다.

6.4 중심극한정리

정리 6.4 (중심극한정리). i.i.d. $X_i$의 평균이 $\mu$, 분산이 $\sigma^2 < \infty$이면

곧 모든 $z$에 대해 $P\!\left(\frac{\bar X_n - \mu}{\sigma/\sqrt n} \le z\right) \to \Phi(z)$입니다.

증명 개요. 표준화한 합의 적률생성함수(3장)는 $\left(M(t/\sqrt n)\right)^n$ 꼴이고, $M(s) = 1 + \frac{s^2}2 + O(s^3)$(평균 0, 분산 1)를 넣으면 $\left(1 + \frac{t^2}{2n} + \cdots\right)^n \to e^{t^2/2}$, 곧 표준정규분포의 적률생성함수로 갑니다. □

원래 분포가 균등이든, 치우친 지수분포든, 0과 1만 나오는 동전이든 상관없습니다. 많은 작은 독립 효과의 합은 정규분포가 됩니다. 측정 오차, 키, 시험 점수가 정규분포에 가까운 이유입니다.

6.5 정규근사와 오차 막대

예제 6.5. 공정한 동전을 100번 던져 앞면이 60번 이상 나올 확률: $S \approx \mathcal{N}(50, 25)$이므로 $P(S \ge 60) \approx 1 - \Phi\!\left(\frac{59.5 - 50}{5}\right) = 1 - \Phi(1.9) \approx 0.0287$. (59.5는 이산을 연속으로 바꿀 때의 연속성 보정입니다. 정확한 이항 값은 $0.0284$.)

예제 6.6 (오차 막대). 실험을 $n$번 반복해 평균 $\bar x$와 표본 표준편차 $s$를 얻으면, 결과를 $\bar x \pm s/\sqrt n$으로 적습니다. 중심극한정리로 참값이 $\bar x \pm 1.96\,s/\sqrt n$ 안에 있을 확률이 약 95%입니다(8장의 신뢰구간).

6.6 이 장의 요약

• 마르코프 $P(X \ge a) \le E[X]/a$, 체비쇼프 $P(|X - \mu| \ge k\sigma) \le 1/k^2$.
• 표본평균의 표준오차 $\sigma/\sqrt n$. 큰 수의 법칙: $\bar X_n \to \mu$.
• 중심극한정리: 표준화한 평균은 분포와 상관없이 표준정규분포로.

쓰이는 곳. 미니배치 SGD가 작동하는 이유(미니배치 그래디언트는 평균이라 분산이 $1/|B|$로 줄어듭니다, 다변수 미적분 5장), 실험 결과의 오차 막대와 A/B 테스트, 몬테카를로 적분의 오차 $O(1/\sqrt n)$, 학습 이론의 일반화 상한(호에프딩 부등식은 체비쇼프의 강화판)이 이 장의 정리를 씁니다.

문제

1/9

2

0.0395

25