확률의 공리, 이산·연속 확률변수, 확률질량함수와 확률밀도함수, 누적분포함수, 분위수
확률과 통계 (PS)
확률변수와 분포, 기댓값과 분산, 결합분포와 다변량 정규분포, 조건부 기댓값, 큰 수의 법칙과 중심극한정리, 최대우도 추정, 신뢰구간과 가설검정, 베이즈 추론, 정보이론, 마르코프 체인과 몬테카를로까지 다룹니다.
데이터에는 언제나 잡음이 있고, 모델의 예측은 언제나 불확실합니다. 확률은 그 불확실성을 수로 다루는 언어이고, 통계는 데이터에서 거꾸로 세상에 대한 결론을 끌어내는 방법입니다. 머신러닝은 “데이터를 가장 잘 설명하는 확률 모델 찾기”로 볼 수 있으므로, 이 과목의 개념(가능도, 사후분포, KL 발산)이 논문의 손실 함수와 이론을 거의 모두 설명합니다.
- 이산수학 13강(이산확률)과 미적분학 10장(확률밀도)을 바탕으로 합니다. 고등학교 확률과 통계를 배웠다면 1·2장은 빠르게 읽어도 됩니다.
- 머신러닝 논문의 손실 함수(로그 가능도, 교차 엔트로피, KL 발산)는 7·10·11장, 생성 모델과 샘플링은 12장과 이어집니다.
- 수치 답은 분수, π·√가 든 식, 소수로 써도 채점됩니다.
| 부 | 단원 | 수 | 진도 |
|---|---|---|---|
| 1부. 확률변수와 분포 | PS.1–PS.5 | 5 | |
| 2부. 극한정리 | PS.6 | 1 | |
| 3부. 통계적 추론 | PS.7–PS.9 | 3 | |
| 4부. 정보와 샘플링 | PS.10–PS.12 | 3 |
1부. 확률변수와 분포
- PS.1
- PS.2
- 베르누이·이항·기하·포아송 분포, 균등·지수·정규 분포, 표준화와 정규분포표, 분포 사이의 관계
- PS.3
- 기댓값의 정의와 선형성, 함수의 기댓값, 분산과 표준편차, 주요 분포의 평균과 분산, 적률과 적률생성함수
- PS.4
- 결합분포와 주변분포, 독립, 공분산과 상관계수, 공분산 행렬, 다변량 정규분포와 그 기하
- PS.5
- 조건부 분포, 연속 베이즈 정리, 조건부 기댓값, 반복 기댓값의 법칙, 전분산 공식, 최선의 예측
2부. 극한정리
- PS.6
- 마르코프·체비쇼프 부등식, 표본평균의 분포, 큰 수의 법칙, 중심극한정리, 정규근사와 오차 막대
3부. 통계적 추론
- PS.7
- 모수와 추정량, 불편성과 평균제곱오차, 편향–분산 분해, 가능도와 로그 가능도, 최대우도 추정, 최소제곱과 교차 엔트로피의 정체
- PS.8
- 신뢰구간의 뜻과 계산, t 분포, 가설검정의 틀, p값, 1종·2종 오류와 검정력, 다중 비교, A/B 테스트
- PS.9
- 단순선형회귀와 최소제곱, 상관계수와 결정계수, 다중회귀와 정규방정식, 로지스틱 회귀, 과적합과 정규화
4부. 정보와 샘플링
- PS.10
- 사전분포·가능도·사후분포, 켤레 사전분포(베타–이항), MAP 추정과 정규화, 사후 예측, 신용구간, 빈도주의와의 비교
- PS.11
- 정보량과 엔트로피, 결합·조건부 엔트로피, 교차 엔트로피, KL 발산, 상호정보량, 비트와 압축
- PS.12
- 몬테카를로 적분과 오차, 중요도 표집, 마르코프 체인과 전이행렬, 정상분포, 메트로폴리스–헤이스팅스, 강화학습과 확산 모델로의 연결