2장. 주요 분포

세상의 무작위 현상은 놀랍게도 몇 가지 분포로 대부분 설명됩니다. 성공·실패를 세면 이항분포, 드문 사건의 횟수는 포아송분포, 기다리는 시간은 지수분포, 많은 작은 효과의 합은 정규분포입니다. 이 장에서는 각 분포가 어떤 상황에서 나오는지, 식은 무엇인지, 그리고 서로 어떻게 이어지는지를 정리합니다. 논문에서 $X \sim \mathcal{N}(\mu, \sigma^2)$ 나 $\mathrm{Bern}(p)$ 를 보면 이 장의 표를 떠올리면 됩니다.

2.1 이산분포

정의 2.1 (베르누이 분포). 성공(1) 확률이 $p$ , 실패(0) 확률이 $1 - p$ 인 분포를 베르누이 분포(Bernoulli distribution) $\mathrm{Bern}(p)$ 라 합니다.

정의 2.2 (이항분포). 독립인 베르누이 시행 $n$ 번에서 성공 횟수의 분포를 이항분포(binomial distribution) $\mathrm{Bin}(n, p)$ 라 합니다.

P(X = k) = \binom nkp^k(1 - p)^{n-k}, \quad k = 0, 1, \dots, n.

$\binom nk$ 는 성공할 $k$ 번을 고르는 방법의 수입니다(이산수학 7강).

정의 2.3 (기하분포). 첫 성공까지 시행한 횟수 $X$ : $P(X = k) = (1 - p)^{k-1}p$ ( $k = 1, 2, \dots$ ).

정의 2.4 (포아송 분포). 평균 $\lambda$ 번 일어나는 드문 사건이 실제로 일어난 횟수:

P(X = k) = e^{-\lambda}\frac{\lambda^k}{k!}, \quad k = 0, 1, 2, \dots

이것을 포아송 분포(Poisson distribution) $\mathrm{Pois}(\lambda)$ 라 합니다. 전체 합이 1인 것은 $e^\lambda$ 의 테일러 급수(미적분학 12장) 덕분입니다.

정리 2.5 (이항분포의 포아송 근사). $n$ 이 크고 $p$ 가 작아 $np = \lambda$ 가 적당하면 $\mathrm{Bin}(n, p) \approx \mathrm{Pois}(\lambda)$ 입니다.

예제 2.6. 하루 1000명이 방문하고 한 명이 결제할 확률이 0.003이면, 결제 수는 $\mathrm{Pois}(3)$ 에 가깝습니다. 결제가 한 건도 없을 확률은 $e^{-3} \approx 0.0498$ 입니다(정확한 이항 값 $0.997^{1000} \approx 0.0496$ ).

2.2 연속분포

정의 2.7 (균등분포). $[a, b]$ 에서 밀도가 $\frac1{b - a}$ 로 일정한 분포 $U(a, b)$ .

정의 2.8 (지수분포). 밀도 $f(x) = \lambda e^{-\lambda x}$ ( $x \ge 0$ )인 분포 $\mathrm{Exp}(\lambda)$ . $P(X > t) = e^{-\lambda t}$ 입니다.

정리 2.9 (무기억성). 지수분포에서 $P(X > s + t \mid X > s) = P(X > t)$ .

증명. $\frac{e^{-\lambda(s + t)}}{e^{-\lambda s}} = e^{-\lambda t}$ . □

이미 $s$ 분을 기다렸어도 앞으로 $t$ 분 더 기다릴 확률은 처음과 같습니다. 방사성 붕괴나 고장처럼 “나이를 먹지 않는” 현상의 모델입니다.

정의 2.10 (정규분포). 밀도

f(x) = \frac{1}{\sqrt{2\pi}\,\sigma}\exp\!\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)

인 분포를 평균 $\mu$ , 분산 $\sigma^2$ 인 정규분포(normal distribution, Gaussian) $\mathcal{N}(\mu, \sigma^2)$ 라 합니다. $\mu = 0$ , $\sigma = 1$ 이면 표준정규분포이고, 그 누적분포함수를 $\Phi$ 로 씁니다.

전체 적분이 1인 것은 가우스 적분(다변수 미적분 8장)입니다. 종 모양이고, $\mu$ 를 중심으로 대칭이며, $\sigma$ 가 폭을 정합니다.

2.3 표준화

정리 2.11. $X \sim \mathcal{N}(\mu, \sigma^2)$ 이면 $Z = \dfrac{X - \mu}{\sigma} \sim \mathcal{N}(0, 1)$ 입니다. 따라서 $P(X \le x) = \Phi\!\left(\dfrac{x - \mu}{\sigma}\right)$ .

밀도의 변수 변환(다변수 미적분 8장)으로 확인할 수 있습니다. 그래서 정규분포의 확률은 표 하나( $\Phi$ )로 모두 구합니다.

범위	확률
$\mu \pm \sigma$	약 68.3%
$\mu \pm 2\sigma$	약 95.4%
$\mu \pm 3\sigma$	약 99.7%
$\Phi(1.645)$	0.95
$\Phi(1.96)$	0.975

예제 2.12. 키가 $\mathcal{N}(170, 6^2)$ 이면 182cm 이상일 확률은 $1 - \Phi(2) \approx 0.0228$ 입니다.

2.4 분포 사이의 관계

관계	설명
$\mathrm{Bin}(1, p) = \mathrm{Bern}(p)$	이항은 베르누이의 합
$\mathrm{Bin}(n, p) \approx \mathrm{Pois}(np)$	$n$ 크고 $p$ 작을 때
$\mathrm{Bin}(n, p) \approx \mathcal{N}(np, np(1-p))$	$n$ 클 때 (중심극한정리, 6장)
포아송 과정의 사건 간격 $\sim \mathrm{Exp}(\lambda)$	사건 수와 기다림의 관계
기하분포 ↔ 지수분포	이산·연속의 기다림, 둘 다 무기억

2.5 이 장의 요약

셈: 베르누이·이항·포아송. 기다림: 기하·지수. 합과 잡음: 정규.
정규분포는 표준화 $Z = (X - \mu)/\sigma$ 로 $\Phi$ 하나로 계산합니다.
68–95–99.7 규칙.

쓰이는 곳. 분류 모델의 출력은 베르누이(이진)나 범주형 분포, 회귀 모델의 잡음 가정은 정규분포, 사건 수 데이터(클릭, 방사선 측정)는 포아송 모델을 씁니다. 가중치 초기화( $\mathcal{N}(0, 2/n)$ ), 확산 모델의 잡음, 변분 오토인코더의 잠재변수가 모두 정규분포입니다.

문제

2.1 [계산] · 확인 문제

$X \sim \mathrm{Bin}(5, 0.4)$ 일 때 확률을 씁니다. (소수 넷째 자리까지)

확률	값
$P(X = 0)$	[?]
$P(X = 2)$	[?]
$P(X \ge 4)$	[?]

정답

0.0778
0.3456
0.087

풀이

$0.6^5 = 0.07776$ , $\binom52(0.4)^2(0.6)^3 = 10\cdot0.16\cdot0.216 = 0.3456$ , $P(X = 4) + P(X = 5) = 5\cdot0.0256\cdot0.6 + 0.01024 = 0.0768 + 0.01024 = 0.08704$ .

2.2 [계산] · 확인 문제

$X \sim \mathrm{Pois}(2)$ 일 때 $P(X = 3)$ 은? (소수 넷째 자리까지)

정답

0.1804

풀이

$e^{-2}\frac{2^3}{3!} = \frac{8}{6}e^{-2} \approx 0.1804$ 입니다.

2.3 [계산] · 확인 문제

$X \sim \mathcal{N}(100, 15^2)$ 일 때 $P(X \le 130)$ 은? (소수 넷째 자리까지)

정답

0.9772

풀이

$\Phi\!\left(\frac{130 - 100}{15}\right) = \Phi(2) \approx 0.9772$ 입니다.

2.4 [계산]

고장 사이 시간이 평균 10시간인 지수분포( $\lambda = 0.1$ )일 때, 5시간 안에 고장 날 확률은? (소수 넷째 자리까지)

정답

0.3935

풀이

$1 - e^{-0.5} \approx 0.3935$ 입니다.

2.5 [증명]

기하분포 $P(X = k) = (1 - p)^{k-1}p$ 의 확률의 합이 1임과, $P(X > n) = (1 - p)^n$ 임을 보입니다.

풀이

$\sum_{k\ge1}(1-p)^{k-1}p = p\cdot\frac{1}{1 - (1 - p)} = 1$ (등비급수). $X > n$ 은 처음 $n$ 번이 모두 실패라는 뜻이므로 독립성으로 $(1 - p)^n$ 입니다. 또는 $\sum_{k > n}(1-p)^{k-1}p = (1-p)^n$ 으로 계산해도 됩니다.