1장. 확률변수와 분포함수

주사위 눈처럼 셀 수 있는 결과와, 키나 대기 시간처럼 연속적인 결과는 확률을 주는 방식이 다릅니다. 앞의 것은 각 값에 확률을 붙이고(확률질량함수), 뒤의 것은 구간에 확률을 붙입니다(확률밀도함수의 적분). 이 장에서는 두 경우를 하나의 언어로 묶는 누적분포함수를 중심으로, 이 과목 전체에서 쓸 기호를 정리합니다. 논문의 $X \sim p$, $P(X \le x)$, $F^{-1}(0.95)$ 같은 표기가 모두 여기서 나옵니다.

1.1 확률의 공리

정의 1.1 (확률). 표본공간 $\Omega$의 사건 $A$마다 수 $P(A)$를 정하되

1. $P(A) \ge 0$
2. $P(\Omega) = 1$
3. 서로소인 사건 $A_1, A_2, \dots$에 대해 $P(A_1 \cup A_2 \cup \cdots) = P(A_1) + P(A_2) + \cdots$

를 만족하면 $P$를 확률(probability)이라 합니다.

이산수학 13강의 정의를 무한히 많은 사건까지 허용한 것입니다. 여기서 $P(\varnothing) = 0$, $P(A^c) = 1 - P(A)$, $A \subseteq B$이면 $P(A) \le P(B)$가 모두 나옵니다.

1.2 확률변수

정의 1.2 (확률변수). 표본공간의 각 결과에 실수를 대응시키는 함수 $X : \Omega \to \mathbb{R}$를 확률변수(random variable)라 합니다.

이름은 “변수”지만 함수입니다. 동전 세 번의 결과 HTH에 “앞면의 수” 2를 대응시키는 것이 확률변수입니다. 대문자 $X$는 확률변수, 소문자 $x$는 그것이 가질 수 있는 값으로 씁니다.

1.3 이산 확률변수

정의 1.3 (확률질량함수). 값이 셀 수 있는(유한하거나 자연수처럼 늘어놓을 수 있는) $X$에 대해 $p(x) = P(X = x)$를 확률질량함수(probability mass function, pmf)라 합니다. $p(x) \ge 0$이고 $\sum_xp(x) = 1$입니다.

예제 1.4. 주사위 두 개 눈의 합 $X$: $p(2) = \frac1{36}$, $p(7) = \frac6{36}$, $p(12) = \frac1{36}$ 등.

1.4 연속 확률변수

키가 정확히 170.000…cm일 확률은 0입니다. 연속적인 값에서는 한 점의 확률 대신 구간의 확률을 다룹니다.

정의 1.5 (확률밀도함수). $f(x) \ge 0$이고 $\int_{-\infty}^\infty f(x)\,dx = 1$이며

이면 $f$를 $X$의 확률밀도함수(probability density function, pdf)라 하고 $X$를 연속 확률변수라 합니다.

밀도는 확률이 아니므로 1보다 클 수 있습니다. $f(x)\,dx$가 “$x$ 근처 폭 $dx$인 구간의 확률”입니다. 연속 확률변수에서는 $P(X = a) = 0$이므로 $\le$와 $<$를 구분하지 않아도 됩니다.

예제 1.6. $f(x) = 2x$ ($0 \le x \le 1$), 그 밖에서 0. 전체 적분은 $[x^2]_0^1 = 1$이고, $P(X \le 1/2) = \frac14$입니다.

1.5 누적분포함수

정의 1.7 (누적분포함수). $F(x) = P(X \le x)$를 누적분포함수(cumulative distribution function, cdf)라 합니다.

이산이든 연속이든 같은 정의로 씁니다.

정리 1.8. $F$는 증가함수이고, $\lim_{x\to-\infty}F = 0$, $\lim_{x\to\infty}F = 1$이며, $P(a < X \le b) = F(b) - F(a)$입니다. $X$가 연속이면 $F(x) = \int_{-\infty}^xf(t)\,dt$이고 $F' = f$입니다.

마지막 식은 미적분학의 기본정리(미적분학 8장)입니다. 이산이면 $F$는 계단함수이고, 계단의 높이가 $p(x)$입니다.

예제 1.9. 예제 1.6이면 $F(x) = x^2$ ($0 \le x \le 1$), $x < 0$에서 0, $x > 1$에서 1입니다.

1.6 분위수

정의 1.10 (분위수). $0 < q < 1$에 대해 $F(x_q) = q$인 $x_q$를 $q$-분위수(quantile)라 합니다. $q = 0.5$이면 중앙값(median)입니다.

연속이고 $F$가 증가하면 $x_q = F^{-1}(q)$입니다. 예제 1.9에서 중앙값은 $x^2 = 0.5$의 해 $\frac{1}{\sqrt2} \approx 0.707$입니다.

역변환 샘플링. $U$가 $[0, 1]$에서 균등하면 $X = F^{-1}(U)$의 누적분포함수는 $F$입니다($P(F^{-1}(U) \le x) = P(U \le F(x)) = F(x)$). 컴퓨터가 균등 난수로 원하는 분포를 만드는 기본 방법입니다. 예: 지수분포 $F(x) = 1 - e^{-x}$이면 $X = -\ln(1 - U)$.

1.7 이 장의 요약

• 확률변수는 결과에 수를 붙이는 함수. 이산은 pmf $p(x)$, 연속은 pdf $f(x)$.
• 누적분포함수 $F(x) = P(X \le x)$가 둘을 함께 다룹니다. 연속이면 $F' = f$.
• 분위수 $F^{-1}(q)$, 역변환 샘플링 $F^{-1}(U)$.

쓰이는 곳. 논문의 $x \sim p(x)$(“$x$를 분포 $p$에서 뽑는다”), 확률 모델의 출력(분류 모델의 pmf, 회귀 모델의 pdf), 신뢰구간과 검정의 분위수, 생성 모델의 샘플링이 모두 이 장의 표기입니다. 물리에서는 양자역학의 위치 확률밀도 $|\psi(x)|^2$와 통계역학의 분포함수가 확률밀도입니다.

문제

1/8
7/8
0.7937

2

1/2

0.6931