8장. 신뢰구간과 가설검정

“새 모델의 정확도가 2% 높다”는 결과가 진짜 차이일까요, 우연일까요? 추정값 하나만으로는 알 수 없고, 그 값이 얼마나 흔들릴 수 있는지 함께 말해야 합니다. 이 장에서는 추정의 불확실성을 구간으로 나타내는 신뢰구간과, “차이가 없다”는 가정 아래 이런 결과가 나올 확률을 재는 가설검정(p값)을 다룹니다. 논문의 “± 표준편차”, “95% CI”, “$p < 0.05$”, “통계적으로 유의하다”를 정확히 읽는 것이 목표입니다.

8.1 신뢰구간

정의 8.1 (신뢰구간). 데이터로 계산한 구간 $[L, U]$가 $P(L \le \theta \le U) = 1 - \alpha$를 만족하면, 이를 $\theta$의 $100(1 - \alpha)\%$ 신뢰구간(confidence interval)이라 합니다.

여기서 무작위인 것은 $\theta$가 아니라 구간입니다. “95% 신뢰구간”은 “이런 방법으로 구간을 100번 만들면 약 95번은 참값을 포함한다”는 뜻이지, “참값이 이 구간 안에 있을 확률이 95%”라는 뜻이 아닙니다(그 해석은 10장의 베이즈 추론에서 가능합니다).

정리 8.2 (평균의 신뢰구간). $\sigma$를 알면, 중심극한정리(6장)로 $\mu$의 95% 신뢰구간은

예제 8.3. $n = 100$, $\bar x = 72$, $\sigma = 10$이면 $72 \pm 1.96$, 곧 $[70.04, 73.96]$입니다.

8.2 t 분포

$\sigma$를 모르면 표본표준편차 $s$로 바꾸는데, 그러면 흔들림이 하나 더 생깁니다.

정리 8.4. 정규분포에서 뽑은 데이터이면 $T = \dfrac{\bar X - \mu}{s/\sqrt n}$는 자유도 $n - 1$인 t 분포(Student's t-distribution)를 따릅니다.

t 분포는 정규분포보다 꼬리가 두껍고, $n$이 커지면 정규분포에 가까워집니다. 그래서 작은 표본의 95% 신뢰구간은 1.96 대신 더 큰 값을 씁니다(자유도 9이면 2.262, 29이면 2.045).

8.3 가설검정의 틀

1. 귀무가설 $H_0$: “차이가 없다”(예: 두 모델의 정확도가 같다). 대립가설 $H_1$: “차이가 있다”.
2. 검정통계량: 데이터를 요약한 수(예: $z = \frac{\bar x - \mu_0}{\sigma/\sqrt n}$).
3. p값: $H_0$이 참이라고 할 때, 지금만큼 또는 더 극단적인 통계량이 나올 확률.
4. p값이 미리 정한 유의수준 $\alpha$(보통 0.05)보다 작으면 $H_0$을 기각합니다.

정의 8.5 (p값). $p = P(|Z| \ge |z_{\text{관측}}| \mid H_0)$ (양측검정).

p값은 “$H_0$이 참일 확률”이 아닙니다. “$H_0$이 참이라면 이런 데이터가 얼마나 드문가”입니다.

예제 8.6. 동전을 100번 던져 앞면 60번. $H_0: p = 0.5$이면 $z = \frac{60 - 50}{5} = 2$, 양측 p값 $= 2(1 - \Phi(2)) \approx 0.0455 < 0.05$이므로 5% 수준에서 “공정하다”를 기각합니다.

8.4 두 종류의 오류

• 1종 오류: 효과가 없는데 있다고 함(거짓 양성). 유의수준 $\alpha$로 정합니다.
• 2종 오류: 효과가 있는데 놓침(거짓 음성). 검정력 $1 - \beta$는 표본이 클수록, 효과가 클수록 커집니다.

“유의하지 않다”는 “효과가 없다”가 아니라 “이 데이터로는 효과를 보일 수 없었다”입니다.

8.5 다중 비교

검정을 20번 하면, 모든 귀무가설이 참이어도 적어도 하나가 $p < 0.05$로 나올 확률은 $1 - 0.95^{20} \approx 0.64$입니다. 여러 조건을 비교하는 실험에서는 본페로니 보정(각 검정을 $\alpha/m$으로)처럼 기준을 엄하게 해야 합니다. 하이퍼파라미터를 많이 시험해 가장 좋은 것만 보고하는 것도 같은 함정입니다.

8.6 A/B 테스트

예제 8.7. 버튼 A의 클릭률 $\hat p_A = 0.10$($n_A = 2000$), B는 $\hat p_B = 0.12$($n_B = 2000$). 차이의 표준오차는 $\sqrt{\frac{p(1-p)}{n_A} + \frac{p(1-p)}{n_B}}$이고, 합친 비율 $p = 0.11$로 계산하면 $\sqrt{2\cdot\frac{0.11\cdot0.89}{2000}} \approx 0.00989$. $z = \frac{0.02}{0.00989} \approx 2.02$, 양측 p값 $\approx 0.043$입니다.

8.7 이 장의 요약

• 95% 신뢰구간 $\bar x \pm 1.96\,\sigma/\sqrt n$(σ를 모르고 표본이 작으면 t 분포).
• p값 = $H_0$ 아래에서 이만큼 극단적인 결과가 나올 확률. $H_0$이 참일 확률이 아닙니다.
• 1종·2종 오류, 검정력, 다중 비교 보정.

쓰이는 곳. 논문의 실험 결과 표(“평균 ± 표준편차, 5번 반복”), “유의한 향상”, A/B 테스트, 임상시험, 물리학의 “5σ 발견 기준”(p ≈ 3×10⁻⁷)이 이 장의 개념입니다. 여러 시드로 실험을 반복하고 신뢰구간을 보고하는 것이 좋은 머신러닝 논문의 기본입니다.

문제

48.04
51.96

2

0.4013

4

3