1장. 다변수 함수

넓이 $xy$, 부피 $\pi r^2h$, 온도 $T(x, y, z)$, 신경망의 손실 $L(w_1, \dots, w_n)$처럼 세상의 양은 대부분 여러 값에 함께 따라 달라집니다. 이 장에서는 변수가 여럿인 함수를 그림(그래프와 등위선)으로 보는 법과, 미적분학 1·2장의 극한과 연속을 여러 변수로 넓히는 법을 다룹니다. 한 변수와 달리 “어느 방향에서 다가가느냐”가 문제가 된다는 것이 핵심입니다.

1.1 다변수 함수

정의 1.1 (다변수 함수). $\mathbb{R}^n$의 부분집합 $D$의 각 점 $\mathbf{x} = (x_1, \dots, x_n)$에 실수 하나를 대응시키는 함수 $f : D \to \mathbb{R}$를 $n$변수 함수(function of several variables)라 합니다.

$\mathbb{R}^n$은 실수 $n$개의 목록 전체입니다(선형대수 2장). 점을 굵은 글씨 $\mathbf{x}$로 쓰는 것은 “수 하나가 아니라 목록”이라는 표시입니다.

예:

• $f(x, y) = x^2 + y^2$: 원점에서의 거리의 제곱.
• $f(x, y) = \sqrt{1 - x^2 - y^2}$: 정의역은 $x^2 + y^2 \le 1$(원판).
• 평균제곱오차 $L(a, b) = \frac1n\sum_{i=1}^n(y_i - ax_i - b)^2$: 직선 $y = ax + b$가 데이터에 얼마나 안 맞는지를 두 변수 $a, b$의 함수로 본 것.

값이 벡터인 함수 $\mathbf{f} : \mathbb{R}^n \to \mathbb{R}^m$도 있습니다. 성분마다 $n$변수 함수 $m$개를 모아 놓은 것입니다. 예: 신경망의 한 층 $\mathbf{x} \mapsto \sigma(W\mathbf{x} + \mathbf{b})$.

1.2 그래프와 등위선

정의 1.2 (그래프). 2변수 함수 $f$의 그래프는 $\{(x, y, f(x, y))\}$로, 3차원 공간의 곡면입니다.

정의 1.3 (등위선). 상수 $c$에 대해 $\{(x, y) \mid f(x, y) = c\}$를 $f$의 등위선(level curve, contour)이라 합니다. 변수가 셋이면 등위면입니다.

지도의 등고선이 바로 등위선입니다. 높이가 같은 곳을 이은 선이고, 등고선이 촘촘하면 경사가 급합니다.

머신러닝 논문의 “손실 지형(loss landscape)” 그림은 손실 함수의 등위선입니다. 길쭉한 타원 모양이면 경사하강법이 지그재그로 느리게 내려간다는 것을 5장에서 봅니다.

1.3 ℝⁿ의 거리

정의 1.4 (거리). 두 점 $\mathbf{x}, \mathbf{a} \in \mathbb{R}^n$ 사이의 거리는 $\|\mathbf{x} - \mathbf{a}\| = \sqrt{(x_1 - a_1)^2 + \cdots + (x_n - a_n)^2}$입니다.

피타고라스 정리를 $n$차원으로 늘인 것이고, 선형대수 2장의 노름(길이)과 같습니다. 이것으로 “가까움”을 잴 수 있습니다: $\|\mathbf{x} - \mathbf{a}\| < \delta$는 $\mathbf{a}$를 중심으로 하는 반지름 $\delta$인 공(평면에서는 원판)의 안입니다.

1.4 극한

정의 1.5 (극한). $\displaystyle\lim_{\mathbf{x} \to \mathbf{a}} f(\mathbf{x}) = L$이란, 모든 $\varepsilon > 0$에 대해 어떤 $\delta > 0$이 있어 $0 < \|\mathbf{x} - \mathbf{a}\| < \delta$이면 $|f(\mathbf{x}) - L| < \varepsilon$이라는 뜻입니다.

미적분학 1장의 정의에서 $|x - a|$를 $\|\mathbf{x} - \mathbf{a}\|$로 바꾼 것뿐입니다. 그런데 한 변수에서는 왼쪽·오른쪽 두 방향에서만 다가갔지만, 평면에서는 모든 방향, 모든 곡선을 따라 다가가도 같은 값으로 가야 합니다.

예제 1.6 (극한이 없는 경우). $f(x, y) = \dfrac{xy}{x^2 + y^2}$ ($(x, y) \ne (0, 0)$). $x$축을 따라($y = 0$) 다가가면 값이 0, 직선 $y = x$를 따라 다가가면 $\frac{x^2}{2x^2} = \frac12$입니다. 다가가는 길에 따라 값이 다르므로 극한은 없습니다.

예제 1.7 (모든 직선은 같아도 극한이 없는 경우). $f(x, y) = \dfrac{x^2y}{x^4 + y^2}$. 직선 $y = mx$를 따라가면 $\frac{mx^3}{x^4 + m^2x^2} = \frac{mx}{x^2 + m^2} \to 0$입니다. 그러나 포물선 $y = x^2$을 따라가면 $\frac{x^4}{2x^4} = \frac12$입니다. 직선만 확인해서는 극한이 있다고 말할 수 없습니다.

극한이 있음을 보일 때는 1변수처럼 부등식(조임 정리)을 씁니다.

예제 1.8. $\displaystyle\lim_{(x,y)\to(0,0)}\frac{x^2y}{x^2 + y^2} = 0$. $\frac{x^2}{x^2 + y^2} \le 1$이므로 $\left|\frac{x^2y}{x^2 + y^2}\right| \le |y| \to 0$입니다.

극좌표 $x = r\cos\theta$, $y = r\sin\theta$로 바꾸면 편리할 때가 많습니다. 값이 $\theta$와 상관없이 $r \to 0$에서 0으로 가면(그리고 $\theta$에 대해 고르게 가면) 극한은 0입니다. 예제 1.8은 $r\cos^2\theta\sin\theta$이고 $|r\cos^2\theta\sin\theta| \le r$입니다.

1.5 연속

정의 1.9 (연속). $\lim_{\mathbf{x}\to\mathbf{a}}f(\mathbf{x}) = f(\mathbf{a})$이면 $f$는 $\mathbf{a}$에서 연속입니다.

한 변수와 마찬가지로 다항식, 지수·삼각함수, 그리고 그들의 합·곱·몫(분모 ≠ 0)·합성은 정의되는 곳에서 연속입니다. 예제 1.6의 함수는 $f(0, 0)$을 어떻게 정해도 원점에서 연속이 될 수 없습니다.

1.6 이 장의 요약

• 다변수 함수는 그래프(곡면)나 등위선(등고선)으로 봅니다.
• 극한은 모든 방향, 모든 곡선에서 같아야 합니다. 두 길에서 다르면 극한이 없습니다.
• 있음을 보일 때는 부등식이나 극좌표를 씁니다.

쓰이는 곳. 머신러닝 모델과 손실 함수 $L(\theta_1, \dots, \theta_n)$은 파라미터 수만큼 변수가 있는 함수이고, 논문의 손실 지형 그림은 등위선입니다. 물리에서는 온도·압력·퍼텐셜이 공간 좌표의 다변수 함수이고, 등위면(등전위면)이 중요한 역할을 합니다.

문제

5
3
3

2/5

3

2