線性代數
|
![{\displaystyle \mathbf {A} ={\begin{bmatrix}1&2\\3&4\end{bmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a31efc33ac33577d719a3ccd162a9bf21e4847ea)
|
向量 · 向量空間 · 基底 · 行列式 · 矩陣
|
|
|
在線性代數中,如果內積空間上的一組向量能夠組成一個子空間,那麼這一組向量就稱為這個子空間的一個基。Gram-Schmidt正交化提供了一種方法,能夠通過這一子空間上的一個基得出子空間的一個正交基,並可進一步求出對應的標準正交基。
這種正交化方法以約爾根·佩德森·格拉姆和艾哈德·施密特命名,然而比他們更早的拉普拉斯(Laplace)和柯西(Cauchy)已經發現了這一方法。在李群分解中,這種方法被推廣為岩澤分解(Iwasawa decomposition)。
在數值計算中,Gram-Schmidt正交化是數值不穩定的,計算中累積的捨入誤差會使最終結果的正交性變得很差。因此在實際應用中通常使用豪斯霍爾德轉換或Givens旋轉進行正交化。可以用於矩陣計算。
記法
:維數為n 的內積空間
:
中的元素,可以是向量、函數,等等
:
與
的內積
:
、
……
張成的子空間
:
在
上的投影
基本思想
圖1
在
上投影,構造
上的正交基
Gram-Schmidt正交化的基本想法,是利用投影原理在已有正交基的基礎上構造一個新的正交基。
設
。
是
上的
維子空間,其標準正交基為
,且
不在
上。由投影原理知,
與其在
上的投影
之差
![{\displaystyle {\boldsymbol {\beta }}={\boldsymbol {v}}-\sum _{i=1}^{k}\mathrm {proj} _{{\boldsymbol {\eta }}_{i}}\,{\boldsymbol {v}}={\boldsymbol {v}}-\sum _{i=1}^{k}\langle {\boldsymbol {v}},{\boldsymbol {\eta }}_{i}\rangle {\boldsymbol {\eta }}_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/93fc46c8b8373c209a276f1ef2b19928c7915c13)
是正交於子空間
的,亦即
正交於
的正交基
。因此只要將
單位化,即
![{\displaystyle {\boldsymbol {\eta }}_{k+1}={\frac {\boldsymbol {\beta }}{\|{\boldsymbol {\beta }}\|}}={\frac {\boldsymbol {\beta }}{\sqrt {\langle {\boldsymbol {\beta }},{\boldsymbol {\beta }}\rangle }}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e71a788f60ff79f4e86bc7b58cacf286024ad678)
那麼
就是
在
上擴展的子空間
的標準正交基。
根據上述分析,對於向量組
張成的空間
(
),只要從其中一個向量(不妨設為
)所張成的一維子空間
開始(注意到
就是
的正交基),重複上述擴展構造正交基的過程,就能夠得到
的一組正交基。這就是Gram-Schmidt正交化。
算法
首先需要確定已有基底向量的順序,不妨設為
。Gram-Schmidt正交化的過程如下:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
這樣就得到
上的一組正交基
,以及相應的標準正交基
。
- 例
考察如下歐幾里得空間Rn中向量的集合,歐氏空間上內積的定義為<a, b> = bTa:
![{\displaystyle S=\lbrace {\boldsymbol {v}}_{1}={\begin{pmatrix}3\\1\end{pmatrix}},{\boldsymbol {v}}_{2}={\begin{pmatrix}2\\2\end{pmatrix}}\rbrace .}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fb7624d157cbb5ce779e810cddf8355ae29fd5b)
下面作Gram-Schmidt正交化,以得到一組正交向量:
![{\displaystyle {\boldsymbol {\beta }}_{1}={\boldsymbol {v}}_{1}={\begin{pmatrix}3\\1\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/57184e729f741179489172409e3eb16a99cd71cf)
![{\displaystyle {\boldsymbol {\beta }}_{2}={\boldsymbol {v}}_{2}-\mathrm {proj} _{{\boldsymbol {\beta }}_{1}}\,{\boldsymbol {v}}_{2}={\begin{pmatrix}2\\2\end{pmatrix}}-\mathrm {proj} _{\begin{pmatrix}3\\1\end{pmatrix}}\,{\begin{pmatrix}2\\2\end{pmatrix}}={\begin{pmatrix}-2/5\\6/5\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/daa1e55675cf75a1c33cc8dc331bf55149c056b2)
下面驗證向量
與
的正交性:
![{\displaystyle \langle {\boldsymbol {\beta }}_{1},{\boldsymbol {\beta }}_{2}\rangle =\left\langle {\begin{pmatrix}3\\1\end{pmatrix}},{\begin{pmatrix}-2/5\\6/5\end{pmatrix}}\right\rangle =-{\frac {6}{5}}+{\frac {6}{5}}=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3bc0f877152551b791bbd7a650d79941a80de56e)
將這些向量單位化:
![{\displaystyle {\boldsymbol {\eta }}_{1}={1 \over {\sqrt {10}}}{\begin{pmatrix}3\\1\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/323988f6487fc36e1bb1b05bb850352687e9b93b)
![{\displaystyle {\boldsymbol {\eta }}_{2}={1 \over {\sqrt {8 \over 5}}}{\begin{pmatrix}-2/5\\6/5\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c43fd87f76b9f3356fac557dd92d7f95e9b88d29)
於是
就是
的一組標準正交基底。
不同的形式
隨著內積空間上內積的定義以及構成內積空間的元素的不同,Gram-Schmidt正交化也表現出不同的形式。
例如,在實向量空間上,內積定義為:
![{\displaystyle \langle {\boldsymbol {a}},{\boldsymbol {b}}\rangle ={\boldsymbol {b}}^{T}{\boldsymbol {a}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2a63b0e685689e58731fb2a09415845fd33ec84a)
在複向量空間上,內積定義為:
![{\displaystyle \langle {\boldsymbol {a}},{\boldsymbol {b}}\rangle ={\boldsymbol {b}}^{H}{\boldsymbol {a}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/aba87c6f30beb502fdc33865516a1d493a6965e7)
函數之間的內積則定義為:
![{\displaystyle \langle f(x),g(x)\rangle =\int _{-\infty }^{\infty }f(x)g(x)dx}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2206d06c9f16a36a6f83a293d73f08403cdeb5b1)
與之對應,相應的Gram-Schmidt正交化就具有不同的形式。
參見
外部連結