Linearism › 논문 읽기 › PR.2

2장. 논문 읽는 법

논문 읽기 · 1부. 도구

기본 · 약 9분 · 연습문제 5

요약

논문의 구조, 세 번 읽기, 식을 읽는 다섯 질문(무엇의 함수인가·차원·극단값·특수한 경우·어디서 왔는가), 차원 검사, 실험 표 읽기, 주장과 증거 구별

논문은 처음부터 끝까지 순서대로 읽는 글이 아닙니다. 연구자들도 초록과 그림을 먼저 보고, 핵심 식 하나를 붙잡고, 필요할 때만 증명과 부록으로 내려갑니다. 이 장에서는 그런 읽는 순서와, 낯선 식을 만났을 때 던질 다섯 가지 질문을 정리합니다. 특히 “차원(모양) 검사”는 식을 이해했는지 스스로 확인하는 가장 빠른 방법입니다.

2.1 논문의 구조

대부분의 논문은 같은 뼈대를 가집니다.

부분 내용 처음 읽을 때
초록(Abstract) 문제, 방법, 결과를 한 문단으로 반드시
서론(Introduction) 왜 중요한가, 기여 목록 마지막 문단(기여)을 먼저
관련 연구(Related Work) 다른 연구와의 관계 나중에
방법(Method) 핵심 식과 알고리즘 핵심 식 한두 개
실험(Experiments) 표와 그림 주요 표 하나
결론, 한계 반드시
부록(Appendix) 증명, 세부 설정 필요할 때

2.2 세 번 읽기

정의 2.1. 세 번 읽기(three-pass reading)는 논문을 깊이를 달리해 세 번 훑는 방법입니다.

  1. 첫째 (10분): 제목, 초록, 그림과 표, 결론. “무엇을 했고 무엇을 주장하는가?”
  2. 둘째 (1시간): 방법 절의 핵심 식을 따라가고, 실험 표를 읽습니다. 모르는 기호는 표시만 해 둡니다.
  3. 셋째 (몇 시간): 식을 손으로 유도하고, 가정을 하나씩 의심하고, 할 수 있다면 작은 예로 직접 계산합니다.

대부분의 논문은 첫째에서 멈춰도 됩니다. 셋째까지 가는 논문은 자기 연구와 직접 관련된 몇 편뿐입니다.

2.3 식을 읽는 다섯 질문

낯선 식을 만나면 다음을 차례로 묻습니다.

  1. 무엇의 함수인가? 어떤 기호가 입력이고 어떤 것이 고정된 상수·매개변수인가. L(θ)\mathcal L(\boldsymbol\theta)라면 θ\boldsymbol\theta를 바꾸며 최소화하는 것입니다.
  2. 모양(차원)은 맞는가? 행렬과 벡터의 크기를 적어 곱이 성립하는지, 결과가 스칼라인지 벡터인지 확인합니다.
  3. 극단값에서는? 매개변수를 0이나 무한대로 보내면 식이 어떻게 되는가.
  4. 특수한 경우는 아는 것인가? 차원을 1로, 분포를 정규분포로, 행렬을 단위행렬로 두면 아는 식이 나오는가.
  5. 어디서 왔는가? 최대우도인가, 테일러 근사인가, 라그랑주 승수인가, 그냥 경험적으로 정한 것인가.

예제 2.2. 릿지 회귀의 해 β^=(X⊤X+λI)−1X⊤y\hat{\boldsymbol\beta} = (X^\top X + \lambda I)^{-1}X^\top\mathbf y에 다섯 질문을 던져 봅니다.

  1. 데이터 X,yX, \mathbf y와 상수 λ\lambda의 함수.
  2. XX가 n×pn \times p이면 X⊤XX^\top X는 p×pp \times p, X⊤yX^\top\mathbf y는 pp차원, 결과는 pp차원 벡터. 맞습니다.
  3. λ→0\lambda \to 0이면 보통 최소제곱(확률과 통계 9장), λ→∞\lambda \to \infty이면 β^→0\hat{\boldsymbol\beta} \to \mathbf 0(벌점이 이김).
  4. p=1p = 1, X⊤X=∑xi2X^\top X = \sum x_i^2이면 β^=∑xiyi∑xi2+λ\hat\beta = \frac{\sum x_iy_i}{\sum x_i^2 + \lambda}.
  5. 정규 사전분포를 준 MAP 추정(확률과 통계 10장).

2.4 차원 검사

정의 2.3. 식의 각 기호에 모양(행렬은 행×열, 벡터는 길이)을 적고, 모든 연산이 성립하며 양변의 모양이 같은지 확인하는 것을 차원 검사(shape check)라 합니다. 물리에서는 같은 방법을 단위에 대해 하며 차원 분석이라 부릅니다.

예제 2.4. 신경망 한 층 h=σ(Wx+b)\mathbf h = \sigma(W\mathbf x + \mathbf b)에서 x∈R784\mathbf x \in \mathbb R^{784}, h∈R256\mathbf h \in \mathbb R^{256}이면 WW는 256×784256 \times 784, b∈R256\mathbf b \in \mathbb R^{256}입니다. 매개변수는 256⋅784+256=200,960256\cdot784 + 256 = 200{,}960개입니다.

예제 2.5 (물리). 진자의 주기 T=2πℓ/gT = 2\pi\sqrt{\ell/g}: ℓ\ell은 m, gg는 m/s²이므로 ℓ/g\ell/g는 s², 제곱근은 s. 시간이 맞습니다. 만약 g/ℓ\sqrt{g/\ell}로 잘못 적었다면 단위가 1/s라 바로 틀렸음을 알 수 있습니다.

2.5 실험 표 읽기

  • 기준선(baseline)이 무엇인지, 공정하게 조정되었는지 봅니다.
  • 차이가 오차 막대(± 값)보다 큰지 봅니다(확률과 통계 8장). 시드 하나로 낸 0.3% 차이는 우연일 수 있습니다.
  • 굵은 글씨(최고값)가 여러 열에서 다른 방법이라면 “모든 면에서 낫다”는 주장은 아닙니다.
  • 절제 실험(ablation)은 구성 요소를 하나씩 빼서 각각의 기여를 보는 표입니다. 방법의 어느 부분이 실제로 중요한지 알려 줍니다.

2.6 주장과 증거

논문의 문장을 세 종류로 나누어 읽습니다.

  • 증명된 것: 정리와 증명(가정을 확인).
  • 실험으로 보인 것: 표와 그림(조건과 오차를 확인).
  • 해석과 추측: “this suggests”, “we hypothesize”, “intuitively”. 다음 연구의 출발점이지 결론이 아닙니다.

2.7 이 장의 요약

  • 초록·그림·결론 → 핵심 식 → 유도의 세 번 읽기.
  • 다섯 질문: 무엇의 함수, 모양, 극단값, 특수한 경우, 출처.
  • 차원 검사(모양·단위)는 이해를 확인하는 가장 빠른 방법.
  • 실험 표는 기준선, 오차 막대, 절제 실험을 봅니다. 증명·실험·추측을 구별합니다.

쓰이는 곳. 2부의 해부 단원은 모두 이 장의 다섯 질문과 차원 검사를 따릅니다. 앞으로 읽는 모든 논문에서도 같습니다.

문제

2.1 [계산] · 확인 문제

x∈R512\mathbf x \in \mathbb R^{512}를 h∈R2048\mathbf h \in \mathbb R^{2048}로 보내는 층 h=Wx+b\mathbf h = W\mathbf x + \mathbf b의 매개변수 수는?

정답
1050624
풀이

2048⋅512+2048=1,048,576+2,048=1,050,6242048\cdot512 + 2048 = 1{,}048{,}576 + 2{,}048 = 1{,}050{,}624입니다.

2.2 [계산] · 확인 문제

Q∈R10×64Q \in \mathbb R^{10 \times 64}, K∈R20×64K \in \mathbb R^{20 \times 64}, V∈R20×32V \in \mathbb R^{20 \times 32}일 때 결과 행렬의 모양을 씁니다.

식 행 수 열 수
QK⊤QK^\top [?] [?]
(QK⊤)V(QK^\top)V [?] [?]
정답
10
20
10
32
풀이

QK⊤QK^\top는 (10×64)(64×20)=10×20(10 \times 64)(64 \times 20) = 10 \times 20, 여기에 VV를 곱하면 10×3210 \times 32입니다. 3장의 어텐션 식의 모양입니다.

2.3 [계산] · 확인 문제

예제 2.2의 p=1p = 1 릿지 회귀에서 x=(1,2,3)x = (1, 2, 3), y=(2,4,6)y = (2, 4, 6), λ=1\lambda = 1일 때 β^\hat\beta는?

정답
28/15
풀이

∑xiyi∑xi2+λ=2814+1=2815\frac{\sum x_iy_i}{\sum x_i^2 + \lambda} = \frac{28}{14 + 1} = \frac{28}{15}입니다. 최소제곱 해 22보다 0쪽으로 줄었습니다.

2.4 [개념]

어떤 논문에 에너지 E=12mv2+mgh+12kxE = \frac12mv^2 + mgh + \frac12kx라는 식이 나옵니다. 차원 분석으로 의심되는 항은? (kk는 용수철 상수 N/m)

  1. 12mv2\frac12mv^2
  2. mghmgh
  3. 12kx\frac12kx
  4. 모두 맞음
정답
3
풀이

kxkx의 단위는 N으로 에너지(J = N·m)가 아닙니다. 탄성 에너지는 12kx2\frac12kx^2입니다.

2.5 [개념]

소프트맥스에 온도를 넣은 pi=ezi/T∑jezj/Tp_i = \dfrac{e^{z_i/T}}{\sum_je^{z_j/T}}에 “극단값” 질문을 던집니다. T→0+T \to 0^+와 T→∞T \to \infty에서 분포가 어떻게 되는지 설명합니다.

풀이

T→0+T \to 0^+이면 가장 큰 ziz_i의 항이 다른 항보다 기하급수적으로 커져, 분포가 최댓값 위치에 모두 몰립니다(argmax, 원-핫). T→∞T \to \infty이면 모든 zi/T→0z_i/T \to 0이라 e0=1e^0 = 1로 같아져 균등분포가 됩니다. 언어 모델의 샘플링 온도가 이것으로, 낮으면 결정적이고 높으면 다양합니다.