Linearism › 선형대수 › LA.25

25장. 내적공간

선형대수 · 3부. 추상 선형대수

심화 · 약 45분 · 연습문제 15 · 그림 1

요약

내적의 공리와 복소 내적, 노름과 수직, 피타고라스와 코시–슈바르츠, 정규직교 기저와 파르스발 등식, 그람–슈미트와 슈어의 정리, 리스 표현 정리, 직교여공간과 직교사영, 함수의 근사와 푸리에 급수

내적은 길이와 각도를 재는 도구입니다. 이 장에서는 숫자 목록의 내적을 함수의 내적 ∫f(x)g(x)dx 같은 것까지 넓혀 내적공간을 정의합니다. 그러면 '함수 사이의 거리'나 '함수를 다른 함수들로 가장 잘 근사하기'가 기하 문제가 됩니다. 푸리에 급수와 양자역학의 수학적 바탕입니다(심화).

25.1 길이와 각을 추상화하기

질문. 두 함수 사이의 “거리”나 “각”을 말할 수 있을까요? 복소 벡터 (1,i)(1, i)의 길이는 얼마일까요? 12+i2=01^2 + i^2 = 0이라고 하면 영이 아닌 벡터의 길이가 0이 되어 버립니다. 무엇을 바꿔야 할까요?

20–24장은 길이도 각도 없는 선형대수였습니다. 2장과 13–14장에서는 내적 덕분에 수직, 사영, 최소제곱, 정규직교 기저를 얻었습니다. 이 장에서는 내적을 공리로 정의해 그 결과들을 추상적인 공간으로 옮깁니다. 그러면 함수 공간에서의 “최소제곱 근사”가 곧 푸리에 급수라는 것을 보게 됩니다.

이 장에서 F\mathbb{F}는 R\mathbb{R} 또는 C\mathbb{C}이고, aˉ\bar a는 aa의 켤레복소수입니다(aa가 실수이면 aˉ=a\bar a = a).

25.2 내적

정의 25.1 (내적). VV 위의 내적(inner product)은 u,v∈Vu, v \in V의 순서쌍에 수 ⟨u,v⟩∈F\langle u, v \rangle \in \mathbb{F}를 대응시키는 함수로, 다음을 만족합니다.

  1. (양수성) ⟨v,v⟩≥0\langle v, v \rangle \ge 0 (특히 실수입니다).
  2. (정부호성) ⟨v,v⟩=0  ⟺  v=0\langle v, v \rangle = 0 \iff v = 0.
  3. (첫째 자리 선형성) ⟨au+bw,v⟩=a⟨u,v⟩+b⟨w,v⟩\langle au + bw, v \rangle = a\langle u, v \rangle + b\langle w, v \rangle.
  4. (켤레 대칭) ⟨u,v⟩=⟨v,u⟩‾\langle u, v \rangle = \overline{\langle v, u \rangle}.

내적이 주어진 벡터공간을 내적공간(inner product space)이라 합니다.

실수 공간에서는 (4)가 그냥 대칭 ⟨u,v⟩=⟨v,u⟩\langle u, v \rangle = \langle v, u \rangle입니다. 복소 공간에서 켤레가 필요한 이유는 (1) 때문입니다. ⟨iv,iv⟩=i⟨v,iv⟩=i⟨iv,v⟩‾=ii⟨v,v⟩‾=iiˉ⟨v,v⟩=⟨v,v⟩\langle iv, iv \rangle = i\langle v, iv \rangle = i\overline{\langle iv, v \rangle} = i\overline{i\langle v, v \rangle} = i\bar i\langle v, v \rangle = \langle v, v \rangle가 되어야 양수성이 유지됩니다. 켤레 없이 정의하면 ⟨iv,iv⟩=i2⟨v,v⟩=−⟨v,v⟩\langle iv, iv \rangle = i^2\langle v, v \rangle = -\langle v, v \rangle가 되어 길이의 제곱이 음수가 됩니다.

(3)과 (4)를 합치면 둘째 자리에서는

⟨u,av+bw⟩=aˉ⟨u,v⟩+bˉ⟨u,w⟩\langle u, av + bw \rangle = \bar a\langle u, v \rangle + \bar b\langle u, w \rangle

입니다(켤레선형(conjugate linear)). 물리학 책은 반대로 둘째 자리를 선형으로 잡는 경우가 많으니 주의합시다.

예제 25.2.

  • Rn\mathbb{R}^n: ⟨x,y⟩=xTy=∑xiyi\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{x}^T\mathbf{y} = \sum x_iy_i (2장의 내적).
  • Cn\mathbb{C}^n: ⟨z,w⟩=∑ziwˉi=w∗z\langle \mathbf{z}, \mathbf{w} \rangle = \sum z_i\bar w_i = \mathbf{w}^*\mathbf{z}. (w∗=wˉT\mathbf{w}^* = \bar{\mathbf{w}}^T는 켤레전치.) 질문의 (1,i)(1, i)는 ⟨(1,i),(1,i)⟩=1⋅1+i⋅iˉ=2\langle (1, i), (1, i) \rangle = 1 \cdot 1 + i \cdot \bar i = 2, 길이 2\sqrt2.
  • 가중 내적: R2\mathbb{R}^2에서 ⟨x,y⟩=2x1y1+5x2y2\langle \mathbf{x}, \mathbf{y} \rangle = 2x_1y_1 + 5x_2y_2. 일반적으로 양정치 SS에 대해 ⟨x,y⟩=yTSx\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{y}^TS\mathbf{x} (문제 25.2).
  • (†) 연속함수 f,g:[−1,1]→Rf, g : [-1, 1] \to \mathbb{R}에 대해 ⟨f,g⟩=∫−11f(x)g(x) dx\langle f, g \rangle = \int_{-1}^1 f(x)g(x)\,dx. 성질 (2)는 “연속이고 음이 아닌 함수의 적분이 0이면 그 함수는 0”에서 나옵니다.

마지막 예는 Rn\mathbb{R}^n의 내적에서 합 ∑i\sum_i를 적분 ∫dx\int dx로 바꾼 것입니다. 함수를 “무한히 많은 성분을 가진 벡터”로 보면 자연스럽습니다.

▶ 문제 25.1–25.3

25.3 노름, 수직, 코시–슈바르츠

정의 25.3 (노름과 수직). ∥v∥=⟨v,v⟩\lVert v \rVert = \sqrt{\langle v, v \rangle}를 vv의 노름(norm)이라 합니다. ⟨u,v⟩=0\langle u, v \rangle = 0이면 uu와 vv가 수직(orthogonal)이라 합니다.

정리 25.4 (피타고라스). u⊥vu \perp v이면 ∥u+v∥2=∥u∥2+∥v∥2\lVert u + v \rVert^2 = \lVert u \rVert^2 + \lVert v \rVert^2.

증명. ∥u+v∥2=⟨u+v,u+v⟩=⟨u,u⟩+⟨u,v⟩+⟨v,u⟩+⟨v,v⟩=∥u∥2+∥v∥2\lVert u + v \rVert^2 = \langle u + v, u + v \rangle = \langle u, u \rangle + \langle u, v \rangle + \langle v, u \rangle + \langle v, v \rangle = \lVert u \rVert^2 + \lVert v \rVert^2. ■

정리 25.5 (수직 분해). v≠0v \ne 0이면 모든 uu는 u=cv+wu = cv + w (w⊥vw \perp v)로 쓰이며, c=⟨u,v⟩∥v∥2c = \dfrac{\langle u, v \rangle}{\lVert v \rVert^2}입니다.

증명. w=u−cvw = u - cv로 두면 ⟨w,v⟩=⟨u,v⟩−c∥v∥2=0\langle w, v \rangle = \langle u, v \rangle - c\lVert v \rVert^2 = 0인 cc가 정확히 위의 값입니다. ■

13장의 직선 위로의 사영입니다. 이것만으로 코시–슈바르츠를 판별식 없이 증명할 수 있습니다.

정리 25.6 (코시–슈바르츠 부등식). ∣⟨u,v⟩∣≤∥u∥∥v∥\lvert \langle u, v \rangle \rvert \le \lVert u \rVert\lVert v \rVert. 등호는 한쪽이 다른 쪽의 스칼라배일 때만 성립합니다.

증명. v=0v = 0이면 양변이 모두 0이므로 성립합니다. 아니면 u=cv+wu = cv + w (w⊥vw \perp v, c=⟨u,v⟩/∥v∥2c = \langle u, v \rangle/\lVert v \rVert^2)로 쓰고 피타고라스를 쓰면

∥u∥2=∣c∣2∥v∥2+∥w∥2≥∣c∣2∥v∥2=∣⟨u,v⟩∣2∥v∥2.\lVert u \rVert^2 = \lvert c \rvert^2\lVert v \rVert^2 + \lVert w \rVert^2 \ge \lvert c \rvert^2\lVert v \rVert^2 = \frac{\lvert \langle u, v \rangle \rvert^2}{\lVert v \rVert^2}.

등호는 w=0w = 0, 즉 u=cvu = cv일 때. ■

직관. uu를 vv 방향 성분과 수직 성분으로 나누면, uu의 길이는 vv 방향 성분의 길이보다 깁니다. 빗변이 밑변보다 긴 것과 같습니다.

예제 25.7 (†). 함수 내적에 적용하면 (∫−11fg)2≤∫−11f2⋅∫−11g2\left(\int_{-1}^1 fg\right)^2 \le \int_{-1}^1 f^2 \cdot \int_{-1}^1 g^2입니다. 적분 부등식이 기하학적인 사실에서 나왔습니다.

삼각부등식 ∥u+v∥≤∥u∥+∥v∥\lVert u + v \rVert \le \lVert u \rVert + \lVert v \rVert와 평행사변형 법칙 ∥u+v∥2+∥u−v∥2=2∥u∥2+2∥v∥2\lVert u + v \rVert^2 + \lVert u - v \rVert^2 = 2\lVert u \rVert^2 + 2\lVert v \rVert^2도 13장, 2장과 같은 증명으로 성립합니다(문제 25.5).

▶ 문제 25.4–25.6

25.4 정규직교 기저

정의 25.8 (정규직교 목록). ⟨ej,ek⟩=δjk\langle e_j, e_k \rangle = \delta_{jk} (j=kj = k이면 1, 아니면 0)인 목록을 정규직교(orthonormal)라 합니다.

예: R2\mathbb{R}^2에서 (12,12)\left(\tfrac{1}{\sqrt2}, \tfrac{1}{\sqrt2}\right), (−12,12)\left(-\tfrac{1}{\sqrt2}, \tfrac{1}{\sqrt2}\right)는 정규직교입니다. 함수에서는 내적을 ⟨f,g⟩=1π∫−ππf(x)g(x) dx\langle f, g\rangle = \frac1\pi\int_{-\pi}^{\pi} f(x)g(x)\,dx로 재면 cos⁡x\cos x, sin⁡x\sin x, cos⁡2x\cos 2x, sin⁡2x\sin 2x, …가 정규직교 목록이고, 이것이 푸리에 급수의 바탕입니다.

정리 25.9 (정규직교 기저에서의 좌표). e1,…,ene_1, \ldots, e_n이 VV의 정규직교 기저이면 모든 vv에 대해

v=⟨v,e1⟩e1+⋯+⟨v,en⟩en,∥v∥2=∣⟨v,e1⟩∣2+⋯+∣⟨v,en⟩∣2.v = \langle v, e_1 \rangle e_1 + \cdots + \langle v, e_n \rangle e_n, \qquad \lVert v \rVert^2 = \lvert \langle v, e_1 \rangle \rvert^2 + \cdots + \lvert \langle v, e_n \rangle \rvert^2.

증명. v=∑ajejv = \sum a_je_j이면 ⟨v,ek⟩=∑aj⟨ej,ek⟩=ak\langle v, e_k \rangle = \sum a_j\langle e_j, e_k \rangle = a_k. 둘째 식은 피타고라스를 반복한 것입니다. ■

둘째 식을 파르스발 등식(Parseval's identity)이라 합니다. 길이의 제곱은 각 방향 성분의 제곱의 합입니다.

정리 25.10 (그람–슈미트). v1,…,vmv_1, \ldots, v_m이 독립이면, 각 kk에 대해 span⁡(e1,…,ek)=span⁡(v1,…,vk)\operatorname{span}(e_1, \ldots, e_k) = \operatorname{span}(v_1, \ldots, v_k)인 정규직교 목록 e1,…,eme_1, \ldots, e_m이 있습니다. 구체적으로

fk=vk−⟨vk,e1⟩e1−⋯−⟨vk,ek−1⟩ek−1,ek=fk∥fk∥.f_k = v_k - \langle v_k, e_1 \rangle e_1 - \cdots - \langle v_k, e_{k-1} \rangle e_{k-1}, \qquad e_k = \frac{f_k}{\lVert f_k \rVert}.

증명은 14장과 같습니다. 복소수에서는 계수가 ⟨vk,ej⟩\langle v_k, e_j \rangle (순서 주의)인 것만 확인하면 됩니다: ⟨fk,ej⟩=⟨vk,ej⟩−⟨vk,ej⟩⟨ej,ej⟩=0\langle f_k, e_j \rangle = \langle v_k, e_j \rangle - \langle v_k, e_j \rangle\langle e_j, e_j \rangle = 0.

따름정리 25.11 (정규직교 기저의 존재). 모든 유한차원 내적공간은 정규직교 기저를 갖습니다. 또 모든 정규직교 목록은 정규직교 기저로 늘릴 수 있습니다.

정리 25.12 (슈어의 정리). F=C\mathbb{F} = \mathbb{C}이면 모든 T∈L(V)T \in \mathcal{L}(V)는 어떤 정규직교 기저에 대해 위삼각행렬을 갖습니다.

증명. 정리 24.13으로 TT를 위삼각으로 만드는 기저 v1,…,vnv_1, \ldots, v_n을 잡습니다. 정리 24.12에 의해 각 span⁡(v1,…,vk)\operatorname{span}(v_1, \ldots, v_k)가 불변입니다. 그람–슈미트를 적용하면 span⁡(e1,…,ek)=span⁡(v1,…,vk)\operatorname{span}(e_1, \ldots, e_k) = \operatorname{span}(v_1, \ldots, v_k)이므로 같은 부분공간들이 불변이고, 다시 정리 24.12에 의해 e1,…,ene_1, \ldots, e_n에 대해서도 위삼각입니다. ■

행렬로는 모든 복소 정사각행렬 AA를 A=QTQ∗A = QTQ^* (QQ는 유니터리, TT는 위삼각)로 쓸 수 있다는 뜻입니다. 대각화는 안 될 수 있지만, 직교하는 좌표계에서 삼각화는 항상 됩니다. 26장의 스펙트럴 정리는 이 정리에서 바로 나옵니다.

▶ 문제 25.7–25.10

25.5 리스 표현 정리

정리 25.13 (리스 표현 정리). VV가 유한차원 내적공간이면, VV 위의 모든 선형범함수 φ\varphi에 대해

φ(v)=⟨v,u⟩(∀v∈V)\varphi(v) = \langle v, u \rangle \quad (\forall v \in V)

인 u∈Vu \in V가 정확히 하나 존재합니다.

증명. 존재: 정규직교 기저 e1,…,ene_1, \ldots, e_n을 잡고 u=φ(e1)‾e1+⋯+φ(en)‾enu = \overline{\varphi(e_1)}e_1 + \cdots + \overline{\varphi(e_n)}e_n으로 두면

⟨v,u⟩=∑jφ(ej)⟨v,ej⟩=φ(∑j⟨v,ej⟩ej)=φ(v).\langle v, u \rangle = \sum_j \varphi(e_j)\langle v, e_j \rangle = \varphi\left(\sum_j \langle v, e_j \rangle e_j\right) = \varphi(v).

유일: ⟨v,u⟩=⟨v,u′⟩\langle v, u \rangle = \langle v, u' \rangle가 모든 vv에 대해 성립하면 ⟨v,u−u′⟩=0\langle v, u - u' \rangle = 0이고, v=u−u′v = u - u'을 넣으면 u=u′u = u'. ■

22장의 쌍대공간 V′V'의 모든 원소가 “어떤 벡터와의 내적”으로 표현된다는 뜻입니다. 내적이 있으면 V′V'를 VV와 동일시할 수 있습니다. Rn\mathbb{R}^n에서 행벡터 aT\mathbf{a}^T와 열벡터 a\mathbf{a}를 같은 것으로 보는 이유가 이것입니다.

예제 25.14 (†). P2(R)\mathcal{P}_2(\mathbb{R})에서 ⟨p,q⟩=∫−11pq\langle p, q \rangle = \int_{-1}^1 pq, φ(p)=p(0)\varphi(p) = p(0)이라 합시다. 리스 정리에 의해 모든 p∈P2(R)p \in \mathcal{P}_2(\mathbb{R})에 대해 p(0)=∫−11p(x)u(x) dxp(0) = \int_{-1}^1 p(x)u(x)\,dx인 다항식 uu가 있습니다. 계산하면 u(x)=98−158x2u(x) = \frac98 - \frac{15}{8}x^2입니다(문제 25.12). 한 점에서의 값이 적분으로 표현되었습니다.

▶ 문제 25.11–25.12

25.6 직교여공간과 사영

정의 25.15 (직교여공간). U⊆VU \subseteq V에 대해 U⊥={v∈V:⟨v,u⟩=0 ∀u∈U}U^\perp = \{v \in V : \langle v, u \rangle = 0\ \forall u \in U\}.

예: R3\mathbb{R}^3에서 UU가 zz축이면 U⊥U^\perp는 xyxy평면입니다. UU가 평면 x+y+z=0x + y + z = 0이면 U⊥U^\perp는 법선벡터 (1,1,1)(1, 1, 1)이 생성하는 직선입니다.

정리 25.16 (직교 분해). UU가 유한차원 부분공간이면

V=U⊕U⊥,(U⊥)⊥=U.V = U \oplus U^\perp, \qquad (U^\perp)^\perp = U.

증명. UU의 정규직교 기저 e1,…,eme_1, \ldots, e_m을 잡고, v∈Vv \in V에 대해

u=⟨v,e1⟩e1+⋯+⟨v,em⟩em,w=v−uu = \langle v, e_1 \rangle e_1 + \cdots + \langle v, e_m \rangle e_m, \qquad w = v - u

로 두면 u∈Uu \in U이고 ⟨w,ek⟩=⟨v,ek⟩−⟨v,ek⟩=0\langle w, e_k \rangle = \langle v, e_k \rangle - \langle v, e_k \rangle = 0이므로 w∈U⊥w \in U^\perp. 따라서 V=U+U⊥V = U + U^\perp. U∩U⊥U \cap U^\perp의 원소는 자기 자신과 수직이므로 0. 둘째 식은 문제 25.13. ■

정의 25.17 (직교사영). v=u+wv = u + w (u∈Uu \in U, w∈U⊥w \in U^\perp)일 때 PUv=uP_Uv = u로 정의한 PU∈L(V)P_U \in \mathcal{L}(V)를 UU 위로의 직교사영(orthogonal projection)이라 합니다. UU의 정규직교 기저로

PUv=⟨v,e1⟩e1+⋯+⟨v,em⟩em.P_Uv = \langle v, e_1 \rangle e_1 + \cdots + \langle v, e_m \rangle e_m.

예: UU가 R2\mathbb{R}^2의 xx축이면 e1=(1,0)e_1 = (1, 0)이고 PU(3,4)=⟨(3,4),e1⟩e1=(3,0)P_U(3, 4) = \langle (3, 4), e_1\rangle e_1 = (3, 0)입니다. 빛을 위에서 비출 때 xx축에 떨어지는 그림자입니다.

14장의 P=QQTP = QQ^T입니다. 직교사영의 성질: PU2=PUP_U^2 = P_U, range⁡PU=U\operatorname{range} P_U = U, null⁡PU=U⊥\operatorname{null} P_U = U^\perp, ∥PUv∥≤∥v∥\lVert P_Uv \rVert \le \lVert v \rVert.

정리 25.18 (최소화). UU가 유한차원 부분공간이고 v∈Vv \in V이면, 모든 u∈Uu \in U에 대해

∥v−PUv∥≤∥v−u∥\lVert v - P_Uv \rVert \le \lVert v - u \rVert

이고, 등호는 u=PUvu = P_Uv일 때만 성립합니다. 즉 PUvP_Uv는 UU에서 vv에 가장 가까운 점입니다.

증명. v−u=(v−PUv)+(PUv−u)v - u = (v - P_Uv) + (P_Uv - u)에서 첫째는 U⊥U^\perp, 둘째는 UU에 있으므로 피타고라스에 의해 ∥v−u∥2=∥v−PUv∥2+∥PUv−u∥2\lVert v - u \rVert^2 = \lVert v - P_Uv \rVert^2 + \lVert P_Uv - u \rVert^2. ■

13장의 최소제곱 정리와 같은 증명입니다. 그런데 이제 VV는 함수 공간일 수도 있습니다.

25.7 (†) 함수의 근사와 푸리에 급수

질문. 구간 [−π,π][-\pi, \pi]에서 함수 f(x)=xf(x) = x를 sin⁡x,sin⁡2x,…\sin x, \sin 2x, \ldots의 일차결합으로 가장 잘 근사하려면 계수를 어떻게 정해야 할까요?

[−π,π][-\pi, \pi] 위의 연속함수 공간에 내적 ⟨f,g⟩=∫−ππf(x)g(x) dx\langle f, g \rangle = \int_{-\pi}^{\pi} f(x)g(x)\,dx를 줍시다. 적분 계산으로 다음을 확인할 수 있습니다.

⟨sin⁡jx,sin⁡kx⟩={π(j=k)0(j≠k),⟨cos⁡jx,sin⁡kx⟩=0,⟨1,sin⁡kx⟩=0.\langle \sin jx, \sin kx \rangle = \begin{cases} \pi & (j = k) \\ 0 & (j \ne k) \end{cases}, \qquad \langle \cos jx, \sin kx \rangle = 0, \qquad \langle 1, \sin kx \rangle = 0.

즉 1,cos⁡x,sin⁡x,cos⁡2x,sin⁡2x,…1, \cos x, \sin x, \cos 2x, \sin 2x, \ldots는 서로 수직입니다. 정규화하면 정규직교 목록이 됩니다.

UN=span⁡(1,cos⁡x,sin⁡x,…,cos⁡Nx,sin⁡Nx)U_N = \operatorname{span}(1, \cos x, \sin x, \ldots, \cos Nx, \sin Nx)라 하면, ff에 가장 가까운 UNU_N의 원소는 정리 25.18에 의해 직교사영

PUNf=a02+∑k=1N(akcos⁡kx+bksin⁡kx),ak=1π∫−ππf(x)cos⁡kx dx,bk=1π∫−ππf(x)sin⁡kx dxP_{U_N}f = \frac{a_0}{2} + \sum_{k=1}^N (a_k\cos kx + b_k\sin kx), \qquad a_k = \frac1\pi\int_{-\pi}^{\pi} f(x)\cos kx\,dx, \qquad b_k = \frac1\pi\int_{-\pi}^{\pi} f(x)\sin kx\,dx

입니다. 이것이 푸리에 급수의 부분합입니다. 계수 공식은 “정규직교 기저에서 좌표는 내적”(정리 25.9)을 그대로 쓴 것입니다.

f(x)=xf(x) = x이면 홀함수이므로 ak=0a_k = 0이고, 부분적분으로 bk=2(−1)k+1kb_k = \dfrac{2(-1)^{k+1}}{k}입니다. 따라서

x≈2(sin⁡x−sin⁡2x2+sin⁡3x3−⋯ ).x \approx 2\left(\sin x - \frac{\sin 2x}{2} + \frac{\sin 3x}{3} - \cdots\right).
항의 개수 N을 늘리면 톱니파 f(x) = x에 대한 직교사영(푸리에 부분합)이 원래 함수에 가까워집니다

이 위젯은 JavaScript가 필요합니다

직관. 푸리에 급수는 함수를 “서로 수직인 진동들”로 분해하는 것입니다. 신호처리에서 소리를 주파수 성분으로 나누는 것, 이미지 압축(JPEG)에서 블록을 코사인 성분으로 나누는 것이 모두 이 직교 분해입니다. 행렬의 언어로는 Rn\mathbb{R}^n에서 정규직교 기저 qk\mathbf{q}_k를 써서 x=∑(qkTx)qk\mathbf{x} = \sum (\mathbf{q}_k^T\mathbf{x})\mathbf{q}_k로 쓰는 것과 같습니다(14장). 유한한 경우가 이산 푸리에 변환(DFT)입니다.

▶ 문제 25.13–25.15

쓰이는 곳. 함수의 내적 ⟨f,g⟩=∫fg\langle f, g\rangle = \int f g는 푸리에 계수, 최소제곱 함수 근사, 양자역학의 확률 진폭 ⟨ψ∣ϕ⟩\langle\psi|\phi\rangle에 쓰입니다. 커널 방법은 데이터를 내적이 정의된 큰 공간으로 보내는 기법입니다.

이 장의 요약

  • 내적: 양수성, 정부호성, 첫째 자리 선형, 켤레 대칭. 복소수에서는 ⟨z,w⟩=∑ziwˉi\langle \mathbf{z}, \mathbf{w} \rangle = \sum z_i\bar w_i.
  • 피타고라스, 수직 분해, 코시–슈바르츠, 삼각부등식이 공리만으로 증명됩니다.
  • 정규직교 기저에서 v=∑⟨v,ej⟩ejv = \sum \langle v, e_j \rangle e_j, ∥v∥2=∑∣⟨v,ej⟩∣2\lVert v \rVert^2 = \sum \lvert \langle v, e_j \rangle \rvert^2. 그람–슈미트로 언제나 만들 수 있습니다.
  • 슈어: 복소 연산자는 정규직교 기저에서 위삼각화됩니다.
  • 리스: 모든 선형범함수는 ⟨⋅,u⟩\langle \cdot, u \rangle 꼴입니다.
  • V=U⊕U⊥V = U \oplus U^\perp. 직교사영 PUvP_Uv는 UU에서 vv에 가장 가까운 점입니다.
  • 함수 공간에서 삼각함수로의 직교사영이 푸리에 급수입니다.

문제

25.1 [계산] · 확인 문제

C2\mathbb{C}^2에서 u=(1,i)u = (1, i), v=(2,1+i)v = (2, 1 + i)에 대해 ⟨u,v⟩\langle u, v \rangle, ⟨v,u⟩\langle v, u \rangle, ∥u∥\lVert u \rVert, ∥v∥\lVert v \rVert를 구하고 코시–슈바르츠 부등식을 확인합니다. 노름은 소수 셋째 자리까지 적습니다.

값 실수부 허수부
⟨u,v⟩\langle u, v \rangle [?] [?]
⟨v,u⟩\langle v, u \rangle [?] [?]
∥u∥\lVert u \rVert [?] 0
∥v∥\lVert v \rVert [?] 0
정답
3
1
3
-1
1.414
2.449
풀이

⟨u,v⟩=1⋅2+i⋅(1+i)‾=2+i(1−i)=3+i\langle u, v \rangle = 1 \cdot 2 + i \cdot \overline{(1 + i)} = 2 + i(1 - i) = 3 + i. ⟨v,u⟩=3+i‾=3−i\langle v, u \rangle = \overline{3 + i} = 3 - i. ∥u∥=1+1=2\lVert u \rVert = \sqrt{1 + 1} = \sqrt2, ∥v∥=4+2=6\lVert v \rVert = \sqrt{4 + 2} = \sqrt6. ∣3+i∣=10≤12\lvert 3 + i \rvert = \sqrt{10} \le \sqrt{12}.

25.2 [증명]

SS가 n×nn \times n 실대칭 양정치 행렬이면 ⟨x,y⟩=yTSx\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{y}^TS\mathbf{x}는 Rn\mathbb{R}^n 위의 내적임을 보입니다.

풀이

첫째 자리 선형: yTS(ax+bz)=ayTSx+byTSz\mathbf{y}^TS(a\mathbf{x} + b\mathbf{z}) = a\mathbf{y}^TS\mathbf{x} + b\mathbf{y}^TS\mathbf{z}. 대칭: yTSx=(yTSx)T=xTSy\mathbf{y}^TS\mathbf{x} = (\mathbf{y}^TS\mathbf{x})^T = \mathbf{x}^TS\mathbf{y}. 양수성·정부호성: xTSx>0\mathbf{x}^TS\mathbf{x} > 0 (x≠0\mathbf{x} \ne \mathbf{0}).

25.3 [계산] · 확인 문제

R2\mathbb{R}^2 위의 내적인지 판정합니다. (x=(x1,x2)\mathbf{x} = (x_1, x_2), y=(y1,y2)\mathbf{y} = (y_1, y_2).) 내적이면 O, 아니면 X를 적습니다.

식 내적인가
(a) x1y1+x1y2+x2y1+x2y2x_1y_1 + x_1y_2 + x_2y_1 + x_2y_2 [?]
(b) x1y1−x2y2x_1y_1 - x_2y_2 [?]
(c) 2x1y1+x1y2+x2y1+2x2y22x_1y_1 + x_1y_2 + x_2y_1 + 2x_2y_2 [?]
정답
X
X
O
풀이

(a) (x1+x2)(y1+y2)(x_1 + x_2)(y_1 + y_2), x=(1,−1)\mathbf{x} = (1, -1)이면 ⟨x,x⟩=0\langle \mathbf{x}, \mathbf{x} \rangle = 0. 아님.

(b) x=(0,1)\mathbf{x} = (0, 1)이면 −1<0-1 < 0. 아님.

(c) S=[2112]S = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}는 양정치. 내적.

25.4 [계산] · 확인 문제

(†) [−1,1][-1, 1] 위의 연속함수에 ⟨f,g⟩=∫−11fg\langle f, g \rangle = \int_{-1}^1 fg를 줍시다. ∥1∥\lVert 1 \rVert, ∥x∥\lVert x \rVert, ⟨1,x⟩\langle 1, x \rangle, ⟨1,x2⟩\langle 1, x^2 \rangle을 구하고, 11과 x2x^2 사이의 각의 코사인을 구합니다. 소수 셋째 자리까지 적습니다.

∥1∥\lVert 1 \rVert ∥x∥\lVert x \rVert ⟨1,x⟩\langle 1, x \rangle ⟨1,x2⟩\langle 1, x^2 \rangle cos⁡θ\cos\theta
[?] [?] [?] [?] [?]
정답
1.414
0.816
0
0.667
0.745
풀이

∥1∥=2\lVert 1 \rVert = \sqrt2, ∥x∥=2/3\lVert x \rVert = \sqrt{2/3}, ⟨1,x⟩=0\langle 1, x \rangle = 0 (수직), ⟨1,x2⟩=23\langle 1, x^2 \rangle = \frac23. ∥x2∥=2/5\lVert x^2 \rVert = \sqrt{2/5}, cos⁡θ=2/322/5=53\cos\theta = \dfrac{2/3}{\sqrt2\sqrt{2/5}} = \dfrac{\sqrt5}{3}.

25.5 [증명]

내적공간에서 삼각부등식과 평행사변형 법칙을 증명합니다.

풀이

∥u+v∥2=∥u∥2+2Re⁡⟨u,v⟩+∥v∥2≤∥u∥2+2∣⟨u,v⟩∣+∥v∥2≤(∥u∥+∥v∥)2\lVert u + v \rVert^2 = \lVert u \rVert^2 + 2\operatorname{Re}\langle u, v \rangle + \lVert v \rVert^2 \le \lVert u \rVert^2 + 2\lvert \langle u, v \rangle \rvert + \lVert v \rVert^2 \le (\lVert u \rVert + \lVert v \rVert)^2 (코시–슈바르츠). 평행사변형: ∥u±v∥2=∥u∥2±2Re⁡⟨u,v⟩+∥v∥2\lVert u \pm v \rVert^2 = \lVert u \rVert^2 \pm 2\operatorname{Re}\langle u, v \rangle + \lVert v \rVert^2를 더합니다.

25.6 [도전]

실내적공간에서 ⟨u,v⟩=14(∥u+v∥2−∥u−v∥2)\langle u, v \rangle = \frac14\left(\lVert u + v \rVert^2 - \lVert u - v \rVert^2\right)임을 보입니다(편극 항등식). 노름이 내적을 결정한다는 뜻입니다.

풀이

문제 25.5의 전개에서 두 식을 빼면 ∥u+v∥2−∥u−v∥2=4⟨u,v⟩\lVert u + v \rVert^2 - \lVert u - v \rVert^2 = 4\langle u, v \rangle (실수).

25.7 [계산]

(†) P2(R)\mathcal{P}_2(\mathbb{R})에 ⟨p,q⟩=∫−11pq\langle p, q \rangle = \int_{-1}^1 pq를 주고 1,x,x21, x, x^2에 그람–슈미트를 적용합니다. (결과는 르장드르 다항식의 상수배입니다.)

풀이

e1=12e_1 = \frac{1}{\sqrt2}. ⟨x,e1⟩=0\langle x, e_1 \rangle = 0이므로 f2=xf_2 = x, e2=32xe_2 = \sqrt{\frac32}x. f3=x2−⟨x2,e1⟩e1−⟨x2,e2⟩e2=x2−13f_3 = x^2 - \langle x^2, e_1 \rangle e_1 - \langle x^2, e_2 \rangle e_2 = x^2 - \frac13. ∥f3∥2=∫−11(x2−13)2=25−49+29=845\lVert f_3 \rVert^2 = \int_{-1}^1 \left(x^2 - \frac13\right)^2 = \frac25 - \frac49 + \frac29 = \frac{8}{45}. e3=458(x2−13)e_3 = \sqrt{\frac{45}{8}}\left(x^2 - \frac13\right).

25.8 [계산]

C2\mathbb{C}^2에서 (1,i)(1, i), (1,1)(1, 1)에 그람–슈미트를 적용합니다. 결과가 정규직교임을 확인합니다.

풀이

e1=12(1,i)e_1 = \frac{1}{\sqrt2}(1, i). ⟨(1,1),e1⟩=1−i2\langle (1, 1), e_1 \rangle = \frac{1 - i}{\sqrt2}. f2=(1,1)−1−i2(1,i)=(1+i2,1−i2)f_2 = (1, 1) - \frac{1 - i}{2}(1, i) = \left(\frac{1 + i}{2}, \frac{1 - i}{2}\right). ∥f2∥2=24+24=1\lVert f_2 \rVert^2 = \frac24 + \frac24 = 1, e2=f2e_2 = f_2. ⟨e2,e1⟩=12(1+i2+1−i2⋅i‾)=12⋅1+i−i−12=0\langle e_2, e_1 \rangle = \frac{1}{\sqrt2}\left(\frac{1 + i}{2} + \frac{1 - i}{2} \cdot \overline{i}\right) = \frac{1}{\sqrt2} \cdot \frac{1 + i - i - 1}{2} = 0.

25.9 [증명]

파르스발 등식 ∥v∥2=∑∣⟨v,ej⟩∣2\lVert v \rVert^2 = \sum \lvert \langle v, e_j \rangle \rvert^2을 증명합니다.

풀이

v=∑ajejv = \sum a_je_j, aj=⟨v,ej⟩a_j = \langle v, e_j \rangle. ∥v∥2=⟨∑ajej,∑akek⟩=∑j,kajaˉk⟨ej,ek⟩=∑∣aj∣2\lVert v \rVert^2 = \left\langle \sum a_je_j, \sum a_ke_k \right\rangle = \sum_{j,k} a_j\bar a_k\langle e_j, e_k \rangle = \sum \lvert a_j \rvert^2.

25.10 [도전] · 확인 문제

A=[11−13]A = \begin{bmatrix} 1 & 1 \\ -1 & 3 \end{bmatrix}을 슈어 분해합니다. 즉 정규직교 기저 q1,q2q_1, q_2를 찾아 QTAQQ^TAQ가 위삼각이 되게 합니다. q1=12(1,1)q_1 = \frac{1}{\sqrt2}(1, 1), q2=12(1,−1)q_2 = \frac{1}{\sqrt2}(1, -1)로 잡았을 때 QTAQQ^TAQ를 적습니다.

1열 2열
1행 [?] [?]
2행 [?] [?]
정답
2
-2
0
2
풀이

tr⁡=4\operatorname{tr} = 4, det⁡=4\det = 4, λ=2\lambda = 2 (중근). 고유벡터 q1=12(1,1)q_1 = \frac{1}{\sqrt2}(1, 1). q2=12(1,−1)q_2 = \frac{1}{\sqrt2}(1, -1). Aq1=2q1Aq_1 = 2q_1, Aq2=12(0,−4)=−2q1+2q2Aq_2 = \frac{1}{\sqrt2}(0, -4) = -2q_1 + 2q_2. QTAQ=[2−202]Q^TAQ = \begin{bmatrix} 2 & -2 \\ 0 & 2 \end{bmatrix}.

25.11 [계산] · 확인 문제

R3\mathbb{R}^3의 선형범함수 φ(x)=2x1−x2+3x3\varphi(\mathbf{x}) = 2x_1 - x_2 + 3x_3을 ⟨x,u⟩\langle \mathbf{x}, \mathbf{u} \rangle로 나타내는 u\mathbf{u}를 구합니다.

u1u_1 u2u_2 u3u_3
[?] [?] [?]
정답
2
-1
3
풀이

u=(2,−1,3)\mathbf{u} = (2, -1, 3).

25.12 [계산] · 확인 문제

(†) 25.5절의 예제에서 u(x)=98−158x2u(x) = \frac98 - \frac{15}{8}x^2을 유도합니다. (u=a+bx+cx2u = a + bx + cx^2로 놓고 p=1,x,x2p = 1, x, x^2을 넣습니다.)

aa bb cc
[?] [?] [?]
정답
9/8
0
-15/8
풀이

p=1p = 1: 2a+23c=12a + \frac23c = 1. p=xp = x: 23b=0\frac23b = 0. p=x2p = x^2: 23a+25c=0\frac23a + \frac25c = 0. c=−53ac = -\frac53a, 2a−109a=12a - \frac{10}{9}a = 1, a=98a = \frac98, c=−158c = -\frac{15}{8}.

25.13 [증명]

UU가 유한차원 부분공간이면 (U⊥)⊥=U(U^\perp)^\perp = U임을 보입니다.

풀이

u∈Uu \in U이면 모든 w∈U⊥w \in U^\perp와 수직이므로 U⊆(U⊥)⊥U \subseteq (U^\perp)^\perp. 역으로 v∈(U⊥)⊥v \in (U^\perp)^\perp이면 v=PUv+wv = P_Uv + w (w∈U⊥w \in U^\perp)이고 0=⟨v,w⟩=⟨PUv,w⟩+∥w∥2=∥w∥20 = \langle v, w \rangle = \langle P_Uv, w \rangle + \lVert w \rVert^2 = \lVert w \rVert^2이므로 w=0w = 0, v∈Uv \in U.

25.14 [계산] · 확인 문제

U=span⁡{(1,1,0),(0,1,1)}⊆R3U = \operatorname{span}\{(1, 1, 0), (0, 1, 1)\} \subseteq \mathbb{R}^3의 정규직교 기저를 구하고, (1,2,3)(1, 2, 3)을 UU 위로 직교사영합니다. 잔차가 UU의 법선 방향인지 확인합니다.

사영의 첫째 성분 둘째 성분 셋째 성분
[?] [?] [?]
정답
1/3
8/3
7/3
풀이

e1=12(1,1,0)e_1 = \frac{1}{\sqrt2}(1, 1, 0), f2=(0,1,1)−12(1,1,0)=(−12,12,1)f_2 = (0, 1, 1) - \frac12(1, 1, 0) = \left(-\frac12, \frac12, 1\right), e2=16(−1,1,2)e_2 = \frac{1}{\sqrt6}(-1, 1, 2). Pv=32(1,1,0)+76(−1,1,2)=(13,83,73)P\mathbf{v} = \frac32(1, 1, 0) + \frac76(-1, 1, 2) = \left(\frac13, \frac83, \frac73\right). 잔차 23(1,−1,1)\frac23(1, -1, 1), 법선 (1,1,0)×(0,1,1)=(1,−1,1)(1, 1, 0) \times (0, 1, 1) = (1, -1, 1)과 평행.

25.15 [계산] · 확인 문제

(†) [−1,1][-1, 1]에서 f(x)=x2f(x) = x^2에 가장 가까운 일차함수 a+bxa + bx를 ⟨f,g⟩=∫−11fg\langle f, g \rangle = \int_{-1}^1 fg에 대해 구합니다. 그 결과를 그래프로 설명합니다.

aa bb
[?] [?]
정답
1/3
0
풀이

span⁡(1,x)\operatorname{span}(1, x)의 정규직교 기저 12\frac{1}{\sqrt2}, 32x\sqrt{\frac32}x. ⟨x2,1⟩=23\langle x^2, 1 \rangle = \frac23, ⟨x2,x⟩=0\langle x^2, x \rangle = 0. 사영 =2/32=13= \frac{2/3}{2} = \frac13. 가장 가까운 일차함수는 상수 13\frac13. 포물선 y=x2y = x^2을 위아래로 균형 있게 가르는 수평선이며, x2−13x^2 - \frac13이 1과 xx 모두와 수직입니다.