6장. 최적화와 근사

5장의 도구로 실제 문제를 풉니다. 가장 큰 넓이, 가장 적은 재료, 가장 짧은 시간을 찾는 최적화와, 복잡한 함수를 직선으로 바꿔 어림하는 선형근사, 그리고 그 직선을 되풀이해 방정식의 근을 찾는 뉴턴 방법입니다.

6.1 닫힌구간의 최대·최소

최대·최소 정리(2장)에 따라 닫힌구간의 연속함수는 최대·최소를 갖습니다. 최대·최소는 내부의 극값(임계점)이거나 끝점에서 나오므로, 다음 순서면 충분합니다.

정리 6.1 (닫힌구간법). $f$가 $[a, b]$에서 연속일 때 최댓값과 최솟값은 (1) $(a, b)$ 안의 임계점에서의 값, (2) $f(a)$, $f(b)$ 가운데 가장 큰 것과 가장 작은 것입니다.

예제 6.2. $f(x) = x^3 - 3x^2 + 1$, $[-1, 4]$. $f'(x) = 3x(x - 2)$이므로 임계점은 $0, 2$입니다. $f(-1) = -3$, $f(0) = 1$, $f(2) = -3$, $f(4) = 17$이므로 최댓값 17, 최솟값 $-3$입니다.

6.2 최적화 문제 세우기

1. 무엇을 최대·최소로 할지 정하고 변수로 씁니다.
2. 조건을 써서 변수 하나의 함수로 만듭니다.
3. 정의역(구간)을 정합니다.
4. 임계점과 끝점을 비교합니다.

예제 6.3 (울타리). 길이 100 m의 울타리로 직사각형 밭을 두르되 한 변은 강이라 울타리가 필요 없습니다. 넓이를 최대로 하려면? 강과 수직인 변을 $x$라 하면 평행한 변은 $100 - 2x$, 넓이 $A(x) = x(100 - 2x)$, $0 \le x \le 50$. $A'(x) = 100 - 4x = 0$에서 $x = 25$, $A(25) = 1250$ m²이고 끝점에서는 0이므로 최대입니다.

예제 6.4 (깡통). 부피 $V$인 원기둥 깡통의 겉넓이를 최소로 하려면? $\pi r^2 h = V$에서 $h = V/(\pi r^2)$이고 $S(r) = 2\pi r^2 + 2\pi rh = 2\pi r^2 + \frac{2V}{r}$입니다. $S'(r) = 4\pi r - \frac{2V}{r^2} = 0$에서 $V = 2\pi r^3$, 곧 $h = 2r$입니다. 높이가 지름과 같을 때 재료가 가장 적게 듭니다.

예제 6.5 (빛의 굴절). 공기에서 속력 $v_1$, 물에서 $v_2$인 빛이 가장 짧은 시간이 걸리는 길을 따른다고 하면(페르마 원리), 시간을 미분해 0으로 두는 계산에서 $\frac{\sin\theta_1}{v_1} = \frac{\sin\theta_2}{v_2}$(스넬의 법칙)가 나옵니다.

6.3 선형근사

정의 6.6 (선형근사). $a$ 근처에서 $f(x) \approx L(x) = f(a) + f'(a)(x - a)$. $L$은 $a$에서의 접선입니다.

예제 6.7. $\sqrt{4.1}$을 어림합니다. $f(x) = \sqrt x$, $a = 4$이면 $f'(4) = 1/4$이므로 $\sqrt{4.1} \approx 2 + \frac14(0.1) = 2.025$입니다. (실제 $2.02485\ldots$)

예제 6.8. $x$가 0에 가까우면 $\sin x \approx x$, $e^x \approx 1 + x$, $\ln(1 + x) \approx x$, $(1 + x)^r \approx 1 + rx$. 물리에서 진자의 작은 진동을 $\sin\theta \approx \theta$로 푸는 것이 이 근사입니다.

정의 6.9 (미분). $dx$를 $x$의 변화량으로 두고 $dy = f'(x)\,dx$를 $y$의 미분(differential)이라 합니다. 실제 변화량 $\Delta y = f(x + dx) - f(x)$를 $dy$로 어림합니다.

예제 6.10 (오차 전파). 반지름을 $r = 10$ cm로 재었는데 오차가 $\pm 0.1$ cm이면 구의 부피 $V = \frac43\pi r^3$의 오차는 $dV = 4\pi r^2 dr = 4\pi\cdot100\cdot0.1 = 40\pi \approx 126$ cm³입니다. 상대오차는 $\frac{dV}{V} = 3\frac{dr}{r} = 3\%$로, 반지름의 상대오차 1%의 세 배입니다.

선형근사의 오차는 $x - a$의 제곱에 비례합니다. 더 정확한 근사(이차, 삼차, …)는 12장의 테일러 다항식입니다.

6.4 뉴턴 방법

$f(x) = 0$의 근을 찾을 때, 현재 어림값 $x_n$에서의 접선이 $x$축과 만나는 점을 다음 어림값으로 삼습니다.

정의 6.11 (뉴턴 방법). $x_{n+1} = x_n - \dfrac{f(x_n)}{f'(x_n)}$.

예제 6.12. $\sqrt2$, 곧 $x^2 - 2 = 0$의 근. $x_{n+1} = x_n - \frac{x_n^2 - 2}{2x_n} = \frac12\left(x_n + \frac2{x_n}\right)$입니다.

근 근처에서는 맞는 자릿수가 매번 약 두 배가 됩니다(2차 수렴). 2장의 이분법(한 번에 한 비트)보다 훨씬 빠르지만, 시작점이 나쁘거나 $f'(x_n)$이 0에 가까우면 엉뚱한 곳으로 갈 수 있습니다.

쓰이는 곳. 머신러닝의 학습은 손실 함수를 최소로 하는 최적화 문제이고, 뉴턴 방법은 이계도함수를 쓰는 최적화 알고리즘의 원형입니다. 선형근사는 물리의 작은 진동 근사와 오차 전파 계산에 쓰입니다.

6.5 이 장의 요약

• 닫힌구간: 임계점과 끝점의 값을 비교합니다.
• 최적화: 변수 하나의 함수와 구간으로 바꾸는 것이 절반입니다.
• 선형근사 $f(a) + f'(a)(x - a)$, 뉴턴 방법 $x - f/f'$.

문제

9
0

100

2

2.005

2.1