7장. 수치 풀이

요약

오일러 방법, 국소·전역 오차와 정확도의 차수, 개선된 오일러(호인) 방법, 4차 룽게–쿠타(RK4), 안정성과 강성 방정식, 후진 오일러, 적응 간격, 신경 ODE

대부분의 미분방정식은 식으로 풀리지 않습니다. 날씨 예보, 로켓의 궤도, 단백질의 움직임, 신경 ODE는 모두 컴퓨터로 조금씩 앞으로 나아가며 근사해를 계산합니다. 이 장에서는 가장 단순한 오일러 방법에서 시작해, 오차가 간격에 따라 얼마나 빨리 줄어드는지(정확도의 차수)를 따지고, 실제로 가장 많이 쓰이는 RK4까지 갑니다. 간격을 너무 크게 잡으면 해가 폭발하는 안정성 문제도 다룹니다.

7.1 오일러 방법

$y' = f(t, y)$ , $y(t_0) = y_0$ 를 간격 $h$ 로 풉니다. 현재 점에서의 기울기 $f(t_n, y_n)$ 로 직선을 따라 $h$ 만큼 갑니다.

정의 7.1 (오일러 방법). $y_{n+1} = y_n + hf(t_n, y_n)$ , $t_{n+1} = t_n + h$ .

1장의 기울기장에서 선분을 따라 한 걸음씩 걷는 것과 같습니다. 연립계 $\mathbf y' = \mathbf f(t, \mathbf y)$ 도 같은 식을 벡터로 씁니다.

예제 7.2. $y' = y$ , $y(0) = 1$ , $h = 0.5$ 로 $y(1)$ 을 어림합니다. $y_1 = 1 + 0.5 = 1.5$ , $y_2 = 1.5 + 0.75 = 2.25$ . 정확한 값 $e \approx 2.718$ 보다 작습니다. 일반적으로 $h = 1/n$ 이면 $y_n = (1 + \frac1n)^n$ 이고, $n \to \infty$ 에서 $e$ 로 갑니다.

7.2 오차와 차수

국소 오차(local error): 한 걸음에서 생기는 오차. 테일러 전개 $y(t + h) = y + hy' + \frac{h^2}2y'' + \cdots$ 와 비교하면 오일러 방법은 $\frac{h^2}2y''$ 부터 버리므로 국소 오차가 $O(h^2)$ 입니다.
전역 오차(global error): 끝 시각 $T$ 까지 $T/h$ 걸음 동안 쌓인 오차. 대략 $(T/h)\cdot O(h^2) = O(h)$ .

정의 7.3. 전역 오차가 $O(h^p)$ 인 방법을 $p$ 차 방법이라 합니다.

오일러 방법은 1차입니다. 간격을 절반으로 하면 오차가 절반, 정확도 한 자리를 얻으려면 계산이 10배입니다. $p$ 차 방법은 간격을 절반으로 하면 오차가 $2^p$ 분의 1이 됩니다.

7.3 룽게–쿠타 방법

한 걸음 안에서 기울기를 여러 번 재어 평균합니다.

개선된 오일러(호인) 방법: 오일러로 끝점을 미리 가 보고, 시작점과 끝점의 기울기를 평균합니다.

k_1 = f(t_n, y_n), \quad k_2 = f(t_n + h, y_n + hk_1), \quad y_{n+1} = y_n + \frac h2(k_1 + k_2).

2차 방법입니다(적분의 사다리꼴 공식과 같은 생각).

정의 7.4 (RK4).

\begin{aligned} k_1 &= f(t_n, y_n), & k_2 &= f(t_n + \tfrac h2, y_n + \tfrac h2k_1),\\ k_3 &= f(t_n + \tfrac h2, y_n + \tfrac h2k_2), & k_4 &= f(t_n + h, y_n + hk_3),\\ y_{n+1} &= y_n + \tfrac h6(k_1 + 2k_2 + 2k_3 + k_4). \end{aligned}

4차 방법입니다. 가중치 $1, 2, 2, 1$ 은 $f$ 가 $t$ 만의 함수일 때 심프슨 공식이 됩니다. 한 걸음에 $f$ 를 네 번 계산하지만, 같은 정확도를 얻는 데 오일러보다 훨씬 적은 걸음이 듭니다.

예제 7.5. $y' = y$ , $y(0) = 1$ , $h = 1$ 로 RK4 한 걸음: $k_1 = 1$ , $k_2 = 1.5$ , $k_3 = 1.75$ , $k_4 = 2.75$ , $y_1 = 1 + \frac16(1 + 3 + 3.5 + 2.75) = 2.708\overline3$ . 걸음 하나로 $e$ 와 $0.01$ 차이입니다. (오일러는 같은 간격에서 2.)

7.4 안정성과 강성

예제 7.6. $y' = -\lambda y$ ( $\lambda > 0$ )에 오일러 방법을 쓰면 $y_{n+1} = (1 - h\lambda)y_n$ . 참 해는 0으로 줄어들지만, $|1 - h\lambda| > 1$ , 곧 $h > 2/\lambda$ 이면 수치해는 부호를 바꾸며 폭발합니다. 최적화 3장에서 학습률이 $2/L$ 을 넘으면 경사하강법이 발산하는 것과 같은 현상입니다.

강성(stiffness): 빠르게 감쇠하는 성분( $\lambda$ 가 큼)과 느리게 변하는 성분이 섞여 있으면, 빠른 성분은 금방 사라지는데도 안정성 때문에 간격을 $2/\lambda_{\max}$ 보다 작게 해야 합니다. 화학 반응, 회로 시뮬레이션에서 흔합니다.

후진 오일러 방법(backward Euler): $y_{n+1} = y_n + hf(t_{n+1}, y_{n+1})$ . 끝점의 기울기를 쓰므로 $y_{n+1}$ 에 대한 방정식을 풀어야 합니다(음함수 방법, implicit method). 대신 $y' = -\lambda y$ 에서 $y_{n+1} = \frac{y_n}{1 + h\lambda}$ 로 어떤 $h$ 에서도 안정합니다. 강성 방정식에는 이런 음함수 방법을 씁니다.

7.5 실제 풀이기

적응 간격(adaptive step size): 4차와 5차 근사를 함께 계산해(예: RK45, 도르만–프린스 방법) 차이로 오차를 어림하고, 오차가 크면 간격을 줄이고 작으면 키웁니다. SciPy의 solve_ivp, MATLAB의 ode45가 기본으로 씁니다.
에너지 보존: 행성 궤도처럼 오래 계산할 때는 RK4도 에너지가 천천히 새어 나갑니다. 보존 구조를 지키는 심플렉틱 방법(예: 립프로그·베를레 방법)을 씁니다.

신경 ODE. 잔차 신경망 $\mathbf h_{k+1} = \mathbf h_k + f_\theta(\mathbf h_k)$ 는 $\mathbf h' = f_\theta(\mathbf h)$ 를 간격 1의 오일러 방법으로 푼 것으로 볼 수 있습니다. 신경 ODE(neural ODE)는 거꾸로 연속 방정식을 모델로 삼고 적응 간격 풀이기로 계산합니다. 확산 모델의 샘플링 단계 수를 줄이는 연구(DDIM, DPM-Solver)도 이 장의 고차 수치 방법을 쓰는 것입니다.

7.6 이 장의 요약

오일러 $y_{n+1} = y_n + hf$ : 1차(전역 오차 $O(h)$ ).
개선된 오일러 2차, RK4 4차: 간격을 절반으로 하면 오차가 $1/16$ .
안정성: 오일러는 $h < 2/\lambda$ . 강성 방정식에는 후진 오일러 같은 음함수 방법.
실제로는 적응 간격(RK45). 잔차망 = 오일러 방법, 신경 ODE.

쓰이는 곳. 물리 시뮬레이션(분자 동역학, 천체 역학, 게임 물리 엔진), 회로 시뮬레이터(SPICE), 기후 모형, 제어 시스템 시뮬레이션, 신경 ODE와 연속 정규화 흐름, 확산 모델의 고속 샘플러, 경사하강법의 해석(오일러 방법으로서의 경사하강법)이 이 장의 방법입니다.

문제

7.1 [계산] · 확인 문제

$y' = t + y$ , $y(0) = 1$ 에 $h = 0.1$ 로 오일러 방법을 두 번 쓰면 $y_2$ 는?

정답

1.22

풀이

$y_1 = 1 + 0.1(0 + 1) = 1.1$ , $y_2 = 1.1 + 0.1(0.1 + 1.1) = 1.22$ 입니다.

7.2 [계산] · 확인 문제

$y' = y$ , $y(0) = 1$ 에 $h = 1$ 로 개선된 오일러 방법을 한 번 쓰면 $y_1$ 은?

정답

2.5

풀이

$k_1 = 1$ , $k_2 = f(1, 2) = 2$ , $y_1 = 1 + \frac12(1 + 2) = 2.5$ 입니다.

7.3 [계산] · 확인 문제

4차 방법에서 간격을 $1/10$ 로 줄이면 전역 오차는 대략 몇 분의 1이 되나요?

정답

풀이

$10^4 = 10000$ 분의 1입니다.

7.4 [계산] · 확인 문제

$y' = -50y$ 에 오일러 방법을 쓸 때 수치해가 폭발하지 않는 간격의 상한은?

정답

0.04

풀이

$|1 - 50h| \le 1$ 에서 $h \le 2/50 = 0.04$ 입니다.

7.5 [증명]

$y' = -\lambda y$ ( $\lambda > 0$ )에 후진 오일러 방법을 쓰면 모든 $h > 0$ 에서 수치해가 0으로 감을 보입니다.

풀이

$y_{n+1} = y_n - h\lambda y_{n+1}$ 에서 $y_{n+1} = \frac{y_n}{1 + h\lambda}$ 입니다. $h\lambda > 0$ 이므로 $0 < \frac{1}{1 + h\lambda} < 1$ 이고, $y_n = \frac{y_0}{(1 + h\lambda)^n} \to 0$ 입니다.