다변수 미적분 정의·정리

$\mathbb{R}^n$의 부분집합 $D$의 각 점 $\mathbf{x} = (x_1, \dots, x_n)$에 실수 하나를 대응시키는 함수 $f : D \to \mathbb{R}$를 $n$변수 함수(function of several variables)라 합니다.

2변수 함수 $f$의 그래프는 $\{(x, y, f(x, y))\}$로, 3차원 공간의 곡면입니다.

상수 $c$에 대해 $\{(x, y) \mid f(x, y) = c\}$를 $f$의 등위선(level curve, contour)이라 합니다. 변수가 셋이면 등위면입니다.

두 점 $\mathbf{x}, \mathbf{a} \in \mathbb{R}^n$ 사이의 거리는 $\|\mathbf{x} - \mathbf{a}\| = \sqrt{(x_1 - a_1)^2 + \cdots + (x_n - a_n)^2}$입니다.

$\displaystyle\lim_{\mathbf{x} \to \mathbf{a}} f(\mathbf{x}) = L$이란, 모든 $\varepsilon > 0$에 대해 어떤 $\delta > 0$이 있어 $0 < \|\mathbf{x} - \mathbf{a}\| < \delta$이면 $|f(\mathbf{x}) - L| < \varepsilon$이라는 뜻입니다.

$\lim_{\mathbf{x}\to\mathbf{a}}f(\mathbf{x}) = f(\mathbf{a})$이면 $f$는 $\mathbf{a}$에서 연속입니다.

한 변수와 마찬가지로 다항식, 지수·삼각함수, 그리고 그들의 합·곱·몫(분모 ≠ 0)·합성은 정의되는 곳에서 연속입니다. 예제 1.6의 함수는 $f(0, 0)$을 어떻게 정해도 원점에서 연속이 될 수 없습니다.

$f(x, y)$의 $x$에 대한 편미분(partial derivative)은

$f_{xy}$와 $f_{yx}$가 연속이면 $f_{xy} = f_{yx}$입니다.

예제 2.4. 예제 2.2에서 $f_{xy} = 6x^2y + \cos(xy) - xy\sin(xy) = f_{yx}$. 미분하는 순서를 바꿔도 같습니다. 4장의 헤세 행렬이 대칭인 이유입니다.

단위벡터 $\mathbf{u}$ 방향의 방향도함수(directional derivative)는

$f$가 미분 가능하면(3장) $D_{\mathbf{u}}f = f_x u_1 + f_y u_2$.

편미분을 모은 벡터 $\nabla f = \left(\dfrac{\partial f}{\partial x_1}, \dots, \dfrac{\partial f}{\partial x_n}\right)$를 $f$의 그래디언트(gradient)라 합니다.

$\nabla f(\mathbf{a}) \ne \mathbf{0}$이면

1. $D_{\mathbf{u}}f$가 가장 큰 방향은 $\nabla f$의 방향이고, 그 최댓값은 $\|\nabla f\|$입니다.
2. 가장 작은(가장 가파르게 내려가는) 방향은 $-\nabla f$입니다.
3. $\nabla f$에 수직인 방향으로는 기울기가 0입니다.

$\nabla f(\mathbf{a})$는 $\mathbf{a}$를 지나는 등위선(등위면)에 수직입니다.

$\displaystyle\lim_{\mathbf{h}\to\mathbf{0}}\frac{f(\mathbf{a} + \mathbf{h}) - f(\mathbf{a}) - \nabla f(\mathbf{a})\cdot\mathbf{h}}{\|\mathbf{h}\|} = 0$이면 $f$는 $\mathbf{a}$에서 미분 가능(differentiable)합니다.

편미분들이 $\mathbf{a}$ 근처에서 연속이면 $f$는 $\mathbf{a}$에서 미분 가능합니다.

식으로 만든 함수는 대부분 이 조건을 만족하므로, 실제로는 편미분을 구해 쓰면 됩니다.

$\mathbf{f} = (f_1, \dots, f_m)$의 야코비 행렬(Jacobian matrix)은 $m \times n$ 행렬

$\mathbf{g} : \mathbb{R}^n \to \mathbb{R}^m$, $\mathbf{f} : \mathbb{R}^m \to \mathbb{R}^p$가 미분 가능하면

$\nabla f(\mathbf{a}) = \mathbf{0}$인 점을 임계점(critical point)이라 합니다.

이계 편미분을 모은 $n \times n$ 행렬

$\mathbf{a}$가 임계점이고 $H = H(\mathbf{a})$일 때

1. $H$가 양정치(모든 고윳값 $> 0$)이면 극소.
2. $H$가 음정치(모든 고윳값 $< 0$)이면 극대.
3. $H$의 고윳값에 양수와 음수가 모두 있으면 안장점.
4. 고윳값에 0이 있고 나머지 부호가 같으면 이 판정으로는 알 수 없음.

모든 $\mathbf{x}, \mathbf{y}$와 $0 \le t \le 1$에 대해 $f(t\mathbf{x} + (1 - t)\mathbf{y}) \le tf(\mathbf{x}) + (1 - t)f(\mathbf{y})$이면 $f$는 볼록(convex)합니다. 그래프 위의 두 점을 이은 선분이 그래프보다 위(또는 같은 곳)에 있다는 뜻입니다.

두 번 미분 가능한 $f$가 볼록일 필요충분조건은 모든 점에서 $H$가 양반정치(고윳값 $\ge 0$)인 것입니다.

볼록함수의 임계점은 최소점(전역 최소)입니다. 극소가 곧 최소입니다.

시작점 $\mathbf{x}_0$에서

$f(\mathbf{x}) = \frac12\mathbf{x}^TA\mathbf{x}$($A$는 대칭·양정치, 고윳값 $0 < \lambda_{\min} \le \cdots \le \lambda_{\max}$)이면 경사하강법은

매 단계 데이터 몇 개(미니배치 $B$)를 무작위로 골라 $\frac{1}{|B|}\sum_{i\in B}\nabla\ell_i$로 그래디언트를 어림해 씁니다. 이것을 확률적 경사하강법(stochastic gradient descent, SGD)이라 합니다.

속도 $\mathbf{v}$를 두고

$\mathbf{x}_{k+1} = \mathbf{x}_k - H(\mathbf{x}_k)^{-1}\nabla f(\mathbf{x}_k)$.

$f(\mathbf{x}_k + \mathbf{h}) \approx f + \nabla f\cdot\mathbf{h} + \frac12\mathbf{h}^TH\mathbf{h}$를 $\mathbf{h}$로 미분해 0으로 두면 $H\mathbf{h} = -\nabla f$이기 때문입니다. 미적분학 6장의 뉴턴 방법($f'$의 근 찾기)을 여러 변수로 넓힌 것입니다.

$f$와 $g$가 미분 가능하고, 제약 $g(\mathbf{x}) = c$ 위에서 $f$가 $\mathbf{a}$에서 극값을 가지며 $\nabla g(\mathbf{a}) \ne \mathbf{0}$이면

최적값을 제약의 상수 $c$의 함수 $f^*(c)$로 보면 $\dfrac{df^*}{dc} = \lambda$입니다.

직사각형 $R = [a, b] \times [c, d]$를 작은 직사각형으로 나누고, 각 조각의 넓이 $\Delta A$에 그 조각 안의 함숫값을 곱해 더한 리만 합의 극한을

$f$가 $R$에서 연속이면

영역 $D = \{(x, y) \mid a \le x \le b,\ g_1(x) \le y \le g_2(x)\}$(위아래가 곡선)이면

$f(x, y) \ge 0$이고 $\iint_{\mathbb{R}^2}f\,dA = 1$이면 $(X, Y)$의 결합 확률밀도(joint density)이고, $P((X, Y) \in D) = \iint_Df\,dA$입니다.

$T$가 영역 $S$를 $D$로 일대일로 보내고 미분 가능하면

$\displaystyle\int_{-\infty}^{\infty}e^{-x^2}\,dx = \sqrt\pi$.

정규분포 $\frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/(2\sigma^2)}$의 전체 적분은 1입니다($x = \mu + \sqrt2\sigma u$로 치환).

확률변수 $\mathbf{X}$의 밀도가 $p_X$이고 $\mathbf{Y} = T(\mathbf{X})$($T$는 미분 가능한 일대일 함수)이면

영역의 각 점 $\mathbf{x}$에 벡터 $\mathbf{F}(\mathbf{x})$를 대응시키는 함수를 벡터장(vector field)이라 합니다. 평면에서는 $\mathbf{F}(x, y) = (P(x, y), Q(x, y))$로 씁니다.

곡선 $C$를 $\mathbf{r}(t) = (x(t), y(t))$, $a \le t \le b$로 쓰는 것을 매개화(parametrization)라 합니다. $\mathbf{r}'(t)$는 속도(접선 방향)입니다.

$\mathbf{F} = \nabla f$인 함수 $f$가 있으면 $\mathbf{F}$를 보존장(conservative field), $f$를 퍼텐셜(potential)이라 합니다. (물리에서는 퍼텐셜 에너지 $U = -f$로 써서 $\mathbf{F} = -\nabla U$.)

$\mathbf{F} = \nabla f$이고 $C$가 $\mathbf{p}$에서 $\mathbf{q}$로 가는 곡선이면

보존장에서는 일이 길과 상관없고, 닫힌 곡선을 도는 일은 0입니다. (중력이 보존장이므로 높이만 같으면 어떤 길로 올라가도 한 일이 같습니다.)

$C$가 영역 $D$를 반시계로 한 바퀴 도는 경계이면

$P = -y/2$, $Q = x/2$로 두면 $\text{넓이}(D) = \frac12\oint_Cx\,dy - y\,dx$. 경계만 따라 돌면 넓이를 잴 수 있습니다(구적기의 원리).

$\mathbf{F} = (P, Q, R)$의 발산(divergence)은

$\mathbf{F}$의 회전(curl)은

충분히 매끄러운 $f$, $\mathbf{F}$에 대해

1. $\nabla\times(\nabla f) = \mathbf{0}$ (그래디언트장은 소용돌이가 없습니다)
2. $\nabla\cdot(\nabla\times\mathbf{F}) = 0$ (회전장은 샘이 없습니다)

$\nabla^2f = \nabla\cdot\nabla f = f_{xx} + f_{yy} + f_{zz}$를 라플라시안(Laplacian)이라 합니다. $\Delta f$로도 씁니다.

$\displaystyle\iint_S\mathbf{F}\cdot\mathbf{n}\,dS$.

곡면을 $\mathbf{r}(u, v)$로 매개화하면 $\mathbf{n}\,dS = (\mathbf{r}_u\times\mathbf{r}_v)\,du\,dv$로 계산합니다. 예를 들어 반지름 $a$인 구면에서 $\mathbf{n} = \mathbf{x}/a$, $dS = a^2\sin\phi\,d\phi\,d\theta$입니다(8장의 구면좌표).

닫힌 곡면 $S$가 입체 $E$를 감싸고 $\mathbf{n}$이 바깥 법선이면

곡면 $S$의 테두리가 곡선 $C$이고 방향이 오른손 법칙으로 맞으면

$\mathbf{a} \in \mathbb{R}^n$, $A \in \mathbb{R}^{n\times n}$에 대해

1. $\nabla_{\mathbf{x}}(\mathbf{a}^T\mathbf{x}) = \mathbf{a}$
2. $\nabla_{\mathbf{x}}(\mathbf{x}^TA\mathbf{x}) = (A + A^T)\mathbf{x}$, $A$가 대칭이면 $2A\mathbf{x}$
3. $\nabla_{\mathbf{x}}\|\mathbf{x}\|^2 = 2\mathbf{x}$
4. $\nabla_{\mathbf{x}}\|A\mathbf{x} - \mathbf{b}\|^2 = 2A^T(A\mathbf{x} - \mathbf{b})$ ($A$는 $m \times n$)

크기가 맞는 행렬에 대해

1. $\dfrac{\partial}{\partial X}\operatorname{tr}(AX) = A^T$
2. $\dfrac{\partial}{\partial X}\operatorname{tr}(X^TAX) = (A + A^T)X$
3. $\dfrac{\partial}{\partial X}\|X\|_F^2 = 2X$ (프로베니우스 노름, $\|X\|_F^2 = \operatorname{tr}(X^TX) = \sum X_{ij}^2$)
4. $\dfrac{\partial}{\partial X}\mathbf{a}^TX\mathbf{b} = \mathbf{a}\mathbf{b}^T$
5. $\dfrac{\partial}{\partial X}\ln\det X = (X^{-1})^T$ ($X$ 가역, $\det X > 0$)

$\nabla_{\mathbf{z}}L = \mathbf{p} - \mathbf{y}$.