13강. 이산확률

확률은 경우의 수를 비율로 바꾼 것에서 출발합니다. 이 강에서는 결과가 유한하거나 셀 수 있는 경우(이산확률)만 다룹니다. 7강과 8강의 셈 도구가 그대로 쓰이고, 기댓값의 선형성이라는 강력한 도구가 새로 나옵니다.

13.1 표본공간과 사건

정의 13.1. 실험에서 나올 수 있는 모든 결과의 집합을 표본공간(sample space) $S$, 그 부분집합을 사건(event)이라 합니다.

정의 13.2 (확률). 표본공간의 각 결과 $s$에 $0 \le p(s) \le 1$, $\sum_{s \in S} p(s) = 1$인 수를 정한 것을 확률분포(probability distribution)라 하고, 사건 $E$의 확률을 $P(E) = \sum_{s \in E} p(s)$로 정합니다.

모든 결과가 같은 가능성을 가지면 $P(E) = |E|/|S|$이고, 확률 계산은 셈이 됩니다.

정리 13.3. $P(E^c) = 1 - P(E)$, $P(E \cup F) = P(E) + P(F) - P(E \cap F)$.

두 번째 식은 4강의 정리 4.10을 확률로 옮긴 것입니다.

예제 13.4. 주사위 두 개를 던져 합이 7일 확률: 36가지 중 $(1,6), (2,5), \dots, (6,1)$의 6가지이므로 $1/6$입니다.

예제 13.5 (생일 문제). 23명 가운데 생일이 같은 두 사람이 있을 확률은? 모두 다를 확률은 $\frac{365 \cdot 364 \cdots 343}{365^{23}} \approx 0.4927$이므로, 같은 쌍이 있을 확률은 약 $0.5073$으로 절반을 넘습니다. 쌍이 $\binom{23}{2} = 253$개나 되기 때문입니다.

13.2 조건부확률과 독립

정의 13.6 (조건부확률). $P(F) > 0$일 때 $P(E \mid F) = \dfrac{P(E \cap F)}{P(F)}$를 “$F$가 일어났을 때 $E$의 확률”이라 합니다.

정의 13.7 (독립). $P(E \cap F) = P(E)P(F)$이면 $E$와 $F$는 독립(independent)입니다. $P(F) > 0$이면 $P(E \mid F) = P(E)$와 같습니다.

예제 13.8. 아이가 둘인 가정에서 “적어도 한 명이 딸”일 때 “둘 다 딸”일 확률은 $\{$딸딸$\}$ / $\{$딸딸, 딸아들, 아들딸$\}$ = $1/3$입니다. “첫째가 딸”일 때라면 $1/2$입니다. 조건을 정확히 읽는 것이 중요합니다.

13.3 베이즈 정리

정리 13.9 (전확률 정리). $F_1, \dots, F_n$이 표본공간을 나누면 $P(E) = \sum_i P(E \mid F_i)P(F_i)$.

정리 13.10 (베이즈 정리). $P(F \mid E) = \dfrac{P(E \mid F)P(F)}{P(E \mid F)P(F) + P(E \mid F^c)P(F^c)}$.

증명. $P(F \mid E)P(E) = P(E \cap F) = P(E \mid F)P(F)$이고, 분모는 전확률 정리로 $P(E)$입니다. □

예제 13.11 (검사의 함정). 어떤 병의 유병률이 1%이고, 검사는 환자의 99%를 양성으로, 건강한 사람의 5%를 (잘못) 양성으로 판정합니다. 양성이 나왔을 때 실제 환자일 확률은

입니다. 검사가 정확해 보여도 병이 드물면 양성의 대부분이 거짓 양성입니다.

13.4 확률변수와 기댓값

정의 13.12 (확률변수). 표본공간에서 실수로 가는 함수 $X : S \to \mathbb{R}$를 확률변수(random variable)라 합니다.

정의 13.13 (기댓값). $E[X] = \sum_{s \in S} p(s) X(s) = \sum_x x \cdot P(X = x)$.

예제 13.14. 주사위 한 개의 눈 $X$: $E[X] = (1 + \cdots + 6)/6 = 3.5$.

정리 13.15 (기댓값의 선형성). 확률변수 $X$, $Y$와 상수 $a$, $b$에 대해 $E[aX + bY] = aE[X] + bE[Y]$. $X$와 $Y$가 독립이 아니어도 성립합니다.

증명. $E[aX + bY] = \sum_s p(s)(aX(s) + bY(s)) = a\sum_s p(s)X(s) + b\sum_s p(s)Y(s)$. □

선형성의 힘은 복잡한 확률변수를 단순한 것(0 또는 1인 지시변수(indicator variable))의 합으로 쪼개는 데 있습니다.

예제 13.16 (모자 문제). $n$명이 모자를 무작위로 돌려받을 때, 자기 모자를 받는 사람 수의 기댓값은? $X_i$를 “$i$가 자기 모자를 받으면 1, 아니면 0”이라 하면 $E[X_i] = 1/n$이고, $X = X_1 + \cdots + X_n$이므로 $E[X] = n \cdot \frac1n = 1$입니다. 8강의 교란순열을 몰라도 답이 나옵니다.

예제 13.17 (쿠폰 모으기). $n$종류의 쿠폰이 같은 확률로 하나씩 나올 때 모두 모으는 데 필요한 횟수의 기댓값은 $n\left(1 + \frac12 + \cdots + \frac1n\right)$입니다. $k$종류를 모은 뒤 새 쿠폰이 나올 확률은 $\frac{n-k}{n}$이고, 처음 성공까지의 기댓값은 그 역수 $\frac{n}{n-k}$이기 때문입니다. 6종류이면 $6 \cdot 2.45 = 14.7$번입니다.

13.5 분산

정의 13.18 (분산). $V(X) = E[(X - E[X])^2] = E[X^2] - E[X]^2$. 표준편차는 $\sqrt{V(X)}$입니다.

정리 13.19. $X$와 $Y$가 독립이면 $V(X + Y) = V(X) + V(Y)$. 또 $V(aX + b) = a^2 V(X)$.

예제 13.20 (이항분포). 성공 확률 $p$인 시행을 독립으로 $n$번 할 때 성공 횟수 $X$는 $P(X = k) = \binom{n}{k}p^k(1-p)^{n-k}$입니다. 시행마다의 지시변수(기댓값 $p$, 분산 $p(1-p)$)를 더하면 $E[X] = np$, $V(X) = np(1-p)$입니다.

쓰이는 곳. 머신러닝의 거의 모든 것이 확률입니다. 베이즈 정리는 베이지안 추론과 스팸 필터의 바탕이고, 기댓값의 선형성은 알고리즘 분석과 손실 함수의 계산에 매일 쓰입니다. 연속 확률변수는 미적분학 10장에서 이어집니다.

13.6 이 장의 요약

• 같은 가능성이면 확률 = 셈의 비율.
• 베이즈 정리: 드문 사건의 검사에서는 거짓 양성이 많습니다.
• 기댓값의 선형성 + 지시변수 = 가장 쓸모 있는 계산 도구.

문제

1/6

0.6875

0.2461

35/12

4.5

23