從線性代數看微分方程

Posted on 11/18/2009 by
本文的閱讀等級：中級
大學理工科系經常將微分方程和線性代數分為兩門獨立課程講授，表面上兩者處理的問題對象不同，使用的分析運算技巧也相異，在這種認知下，我們很自然會將微分方程和線性代數看成平行進展的數學領域。抱持懷疑態度的學生可能發現兩者間存在一些概念和形式交集，例如，微分方程與線性代數都有特徵方程式 (characteristic equation) 一詞，難免心中納悶：究竟微分方程和線性代數有什麼關係？對多數人來說，這並不是一個顯而易見的問題，我也不認為可以三言兩語就說清楚。以下我選擇幾個重要的線性代數主題──線性函數、零空間、特徵值和特徵向量，以及齊次和非齊次方程，從這些角度檢視微分方程與線性代數的關連。開始之前，如果讀者還不能接受函數也是向量這個觀念，請先閱讀“從幾何向量空間到函數空間”。


1. 線性函數
設 f 是由向量空間 V 映射至另一向量空間 W 的函數，標記為 f:V\rightarrow W。對於 V 裡的任意向量 \mathbf{x} 和 \mathbf{y}，以及任意實數 c，如果總是滿足
\begin{aligned} f(\mathbf{x}+\mathbf{y})&=f(\mathbf{x})+f(\mathbf{y})\\ f(c\mathbf{x})&=cf(\mathbf{x})\end{aligned}
我們稱 f 是線性函數，也稱為線性算子、線性映射或線性變換，之所以有這些不同的名稱是為了配合強調 f 的具體作用。

下面我們看幾個建立於具有實際用途的向量空間的線性函數。

1A. 幾何向量空間
設 A 是 m\times n 階實矩陣，\mathbf{x}\in\mathbb{R}^n，f(\mathbf{x})=A\mathbf{x} 是一個由 \mathbb{R}^n 映至 \mathbb{R}^m 的線性函數，執行矩陣乘法計算可以確認
\begin{aligned} f(\mathbf{x}+\mathbf{y})&=A(\mathbf{x}+\mathbf{y})=A\mathbf{x}+A\mathbf{y}=f(\mathbf{x})+f(\mathbf{y})\\ f(c\mathbf{x})&=A(c\mathbf{x})=c(A\mathbf{x})=cf(\mathbf{x})\end{aligned}

1B. 多項式空間
令 \mathcal{P} 為所有多項式形成的向量空間，微分算子 D=d/dx 可視為由 \mathcal{P} 映至 \mathcal{P} 的函數，例如，D(2-x+x^3)=-1+3x^2。微分算子 D 是一個線性函數，利用導數基本性質可知
\begin{aligned} D(p(x)+q(x))&=D(p(x))+D(q(x))\\ D(cp(x))&=cD(p(x))\end{aligned}
求導兩次可記為 DD=D^2，不難檢查 D^2p= p'' 是線性函數，推廣至更高次冪， D,D^2,\ldots,D^k 全部都是線性函數。

1C. 連續實函數空間
令 C(-\infty,\infty) 表示所有連續實函數形成的空間，設 L:C(-\infty,\infty)\rightarrow C(-\infty,\infty)，對於 u(x)，q(x)\in C(-\infty,\infty)，考慮以下的例子：
L(u(x))=q(x)u(x)
L 是線性函數，因為
\begin{aligned} L(u(x)+v(x))&=q(x)(u(x)+v(x))=L(u(x))+L(v(x))\\ L(cu(x))&=q(x)(cu(x))=c(q(x)u(x))=cL(u(x))\end{aligned}
將微分算子 D 與線性函數 L 結合成一條方程式便得到微分方程
D(u(x))=L(u(x))=q(x)u(x)
例如，設 y=u(x)，q(x)=x，就有 Dy=xy 或寫為 y'=xy。求解微分方程等於尋找 y 使得 Dy=Ly，這是一個相當重要的觀念，由此可以逐步建立微分方程與線性代數的關連性。

2. 零空間
設 f:V\rightarrow W 是一個線性函數，所有滿足 f(\mathbf{x})=\mathbf{0} 的 \mathbf{x} 所形成的集合構成 V 裡的一個子空間，稱為零空間 (nullspace) 或核 (kernel)，記作 N(f) 或 \mathrm{ker}f。設 \mathbf{u},\mathbf{v}\in N(f)，利用線性函數的基本性質，就有
\begin{aligned} f(\mathbf{u}+\mathbf{v})&=f(\mathbf{u})+f(\mathbf{v})=\mathbf{0}+\mathbf{0}=\mathbf{0}\\ f(c\mathbf{u})&=cf(\mathbf{u})=c\mathbf{0}=\mathbf{0}\end{aligned}
以上二式指出 N(f) 滿足向量加法和純量乘法封閉性，所以確定 N(f) 是 V 裡的子空間。

計算零空間的條件式 f(\mathbf{x})=\mathbf{0} 稱為齊次方程 (homogeneous equation)，辨識特點是等號右側為零。齊次線性方程至少有一零解，f(\mathbf{0})=\mathbf{0}，也就是說零空間 N(f) 必定包含零向量，理由如下： f(\mathbf{0})=f(\mathbf{x}-\mathbf{x})=f(\mathbf{x})-f(\mathbf{x})=\mathbf{0}，或者 f(\mathbf{0})=f(0\mathbf{x})=0\cdot f(\mathbf{x})=\mathbf{0}。經常我們有興趣知道除了平凡解 \mathbf{x}=\mathbf{0} 之外，零空間是否尚包含非零向量，原因是這能讓我們檢查線性函數 f 是否為一對一 (one-to-one)。函數 f 稱為一對一，若 f(\mathbf{x}_1)=f(\mathbf{x}_2) 僅發生於 \mathbf{x}_1=\mathbf{x}_2。對於線性函數 f，有這個性質：f 是一對一，若 f 的零空間僅包含零向量 \mathbf{x}=0，反向陳述也為真。

很明顯，連續實函數空間 C(-\infty,\infty) 有無限維，因此沒有如 m\times n 階矩陣那般有四個基本子空間的分析平台 (參見“線性代數基本定理 (二)”)，但建立於 C(-\infty,\infty) 之上的線性函數 f 仍然有定義良好的零空間 N(f) 與值域 (range) R(f)，詳細請見“線性代數基本定理 (一)”。

下面我們探討幾個常見的線性函數的零空間。
2A. 齊次線性聯立方程
考慮以下齊次線性聯立方程
\begin{aligned} x+y-z&=0\\ x-y+z&=0\end{aligned}
或改寫為矩陣形式表示的線性方程：
f(\mathbf{x})=A\mathbf{x}=\left[\!\!\begin{array}{crr} 1&1&-1\\ 1&-1&1 \end{array}\!\!\right]\begin{bmatrix} x\\ y\\ z \end{bmatrix}=\begin{bmatrix} 0\\ 0 \end{bmatrix}
利用高斯消去法求出齊次解 (x,y,z)=t(0,1,1)，t 為任意實數，也就是說 A 的零空間由向量 \begin{bmatrix} 0\\ 1\\ 1 \end{bmatrix} 擴張而成，零空間 N(f) 與其表示矩陣 A 的零空間 N(A) 指的是同一回事。

2B. 微分算子
將微分算子 D=d/dx 施行於 C(-\infty,\infty)，D 的零空間包含所有一次導數為零之實函數，由導數基本性質可知 N(D) 是一個包含所有常數函數 y(x)=c 的子空間。

2C. 齊次微分方程
考慮下面的常係數齊次微分方程
y''-3y'+2y=0
也可以用微分算子表示為
(D^2-3D+2)y=0
線性算子的線性組合仍為線性算子，所以 L=D^2-3D+2 也是線性的。求解齊次微分方程 Ly=0 等於是計算 L 的零空間。下面將詳細說明求解齊次常係數微分方程的過程，在此先給出結果。線性算子 L 的零空間由線性獨立的函數 e^x 和 e^{2x} 擴張而成，e^x 和 e^{2x} 是零空間 N(L) 的基底函數，故齊次解為其線性組合 y=c_1e^x+c_2e^{2x}。從線性函數的角度，齊次解必定落在 L 的零空間內，亦即
Ly=L(c_1e^x+c_2e^{2x})=c_1L(e^x)+c_2L(e^{2x})=c_1 0+c_2 0=0

3. 特徵值與特徵向量
給定一線性變換 L:V\rightarrow V 與向量 \mathbf{x}\in V，經常 \mathbf{x} 和 L(\mathbf{x}) 沒有什麼簡單關係，但下面這種不改變向量方向的關係卻非常有用：
L(\mathbf{x})=\lambda\mathbf{x}
若 \mathbf{x} 為非零向量，我們稱 \mathbf{x} 為 L 的特徵向量，而 \lambda 則稱為對應 \mathbf{x} 的特徵值。請特別注意，零向量不被視為特徵向量，既使對於任意線性變換 L，任何 \lambda 都滿足 L(\mathbf{0})=\lambda\cdot\mathbf{0}=\mathbf{0}。但是我們接受特徵值為零的情況，只要存在 \mathbf{x}\neq\mathbf{0} 滿足L(\mathbf{x})=0\mathbf{x}=\mathbf{0} 就行。很明顯地，若線性變換 L 有零特徵值，則 L 的零空間必定包含非零向量。這個結論非常的重要，請讀者弄清楚後再繼續往下閱讀。

3A. 矩陣變換
設 L:\mathbb{R}^n\rightarrow\mathbb{R}^n 為線性變換，以矩陣表示為 L(\mathbf{x})=A\mathbf{x}。考慮下例，n=2，
A=\begin{bmatrix} 1&4\\ 2&8 \end{bmatrix}
設 \lambda 為 A 的特徵值滿足方程式 L(\mathbf{x})=A\mathbf{x}=\lambda\mathbf{x}，亦即 (A-\lambda I)\mathbf{x}=\mathbf{0}，因為我們要求特徵向量 \mathbf{x} 不得為零，矩陣 A-\lambda I 的零空間包含非零向量，推知 A-\lambda I 是不可逆的。由行列式性質，\mathrm{det}(A-\lambda I)=0，將上例代入得到 \lambda^2-9\lambda=0，線性代數課本稱之為矩陣 A 的特徵方程式。由此可解出 A 有特徵值 \lambda=0, 9，對應的特徵向量分別為 \left[\!\!\begin{array}{r} 4\\ -1 \end{array}\!\!\right]，\begin{bmatrix} 1\\ 2 \end{bmatrix}。注意，齊次方程 A\mathbf{x}=\mathbf{0} 對應 \lambda=0，故特徵向量 \left[\!\!\begin{array}{r} 4\\ -1 \end{array}\!\!\right] 擴張出 A 的零空間。

3B. 微分算子
考慮以下微分算式：De^{x}=e^{x}，De^{2x}=2e^{2x}，De^{-3x}=-3e^{-3x}，函數 e^{x}，e^{2x}，e^{-3x} 是微分算子 D 的特徵向量，對應的特徵值分別為 1，2，-3。繼續推廣，r 是任意數，D^ke^{rx}=r^ke^{rx}，得知 e^{rx} 是 D^k 的特徵向量，對應的特徵值為 r^k。

再考慮下面微分算子的線性組合：
L=D^2-3D+2
線性算子 L 的特徵向量 y 滿足 Ly=\lambda y，既然 D^k 有特徵向量 e^{rx}，不妨嘗試代入計算
Le^{rx}=( D^2-3D+2)e^{rx}=D^2e^{rx}-3De^{rx}+2e^{rx}=(r^2-3r+2)e^{rx}
我們發現 L 的特徵向量也是 e^{rx}，對應的特徵值則為 \lambda=r^2-3r+2。

3C. 齊次微分方程
再次考慮上述常係數齊次微分方程，抄錄於下：
y''-3y'+2y=0
或寫為 Ly=(D^2-3D+2)y=0，前面說過求解齊次微分方程等於是計算 L 的零空間，也就是找出對應特徵值 \lambda=0 的特徵向量，如下：
Le^{rx}=(r^2-3r+2)e^{rx}=0
因為 e^{rx}\neq 0，必定有 \lambda=r^2-3r+2=0，此即為微分方程教科書所稱的特徵方程式。解出 r=1, 2，特徵向量為 e^{x}，e^{2x}，它們都對應特徵值 0。我們得到一個重要的結論：求解齊次微分方程的本質就是問線性算子 L 的那些特徵向量對應零特徵值。

我猜想此處正是令莘莘學子困惑不已的地方，線性代數的特徵方程式是解出方陣 A 的特徵值所使用的條件式，而微分方程所稱的特徵方程式卻是線性微分算子 L 的特徵值 \lambda=0 所必須要滿足的條件。這太奇怪了！怎麼可能兩者所稱的特徵方程式指的是不完全相同的事情？

轉一個彎就可以看清原來微分方程和線性代數講的特徵方程式確實是同一個東西，關鍵在於將微分方程表示為線性系統。用上面的例子說明，令向量 \mathbf{u}=\begin{bmatrix} y'\\ y \end{bmatrix}，齊次微分方程 y''-3y'+2y=0 可用矩陣形式表示為
\mathbf{u}'=\begin{bmatrix} y''\\ y' \end{bmatrix}=\left[\!\!\begin{array}{cr} 3&-2\\ 1&0 \end{array}\!\!\right]\begin{bmatrix} y'\\ y \end{bmatrix}=A\mathbf{u}
微分方程所說的齊次方程的特徵方程式 r^2-3r+2=0 正是線性代數所說的齊次線性系統裡方陣 A 的特徵方程式
\det(A-rI)=\begin{vmatrix} 3-r&-2\\ 1&-r \end{vmatrix}=0
請讀者計算 A 的特徵向量並解釋其意義，這部份的工作就留給讀者朋友們自行發掘釐清。

4. 非齊次方程
考慮線性函數 f:V\rightarrow W 的非齊次方程式
f(\mathbf{x})=\mathbf{b}
上式中我們假設 \mathbf{b} 是 f 的值域 R(f) 中的固定向量，因此保證必定存在解。在求非齊次方程式的通解時，函數 f 的零空間也扮演非常重要的角色。下面這個定理不僅適用於線性代數的聯立方程，也適用於線性微分方程，微分方程教科書通常叫它做疊加原理 (superposition principle)：
若 \mathbf{x}_p 是線性方程 f(\mathbf{x})=\mathbf{b} 的某個合法解，稱為特解 (particular solution)，則方程式可能的解所形成的集合稱為通解 (general solution，或一般解)，它包含所有的 \mathbf{x}_p+\mathbf{x}_h，其中 \mathbf{x}_h 為齊次方程 f(\mathbf{x})=\mathbf{0} 的一解，稱為齊次解 (homogeneous solution)。
證明非常簡單，假設 f(\mathbf{x}_p)=\mathbf{b}，並有 f(\mathbf{x})=\mathbf{b}，因為 f 是線性函數，
f(\mathbf{x}-\mathbf{x}_p)=f(\mathbf{x})-f(\mathbf{x}_p)=\mathbf{b}-\mathbf{b}=\mathbf{0}
可知 \mathbf{x}-\mathbf{x}_p=\mathbf{x}_h，\mathbf{x}_h 是零空間中的某一個向量，故 \mathbf{x}=\mathbf{x}_p+\mathbf{x}_h 就是我們一心想得到的通解。

4A. 線性聯立方程
觀察以下的非齊次線性聯立方程
\begin{aligned} x+y-z&=2\\ x-y+z&=4\end{aligned}
不難得到一個特解 (x,y,z)=(3,1,2)，對應的齊次方程解為 (x,y,z)=t(0,1,1)，t 是任意實數，故通解可表示為 (x,y,z)=(3,1,2)+t(0,1,1)。

4B. 常係數微分方程
考慮這個非齊次微分方程
y''-3y'+2y=e^{x}
將它以微分算子表示為 Ly=(D^2-3D+2)y=e^{x}。下面使用未定係數法求出特解，由於 (D-1)e^{x}=0，對於任何解 y(x)，就有
(D-1)(D^2-3D+2)y=(D-1)^2(D-2)y=0
上式等於解一個新的齊次微分方程，所以任意特解必定有以下形式 (請讀者參閱手邊的微分方程教科書，建議閱讀“利用 Jordan form 解差分方程與微分方程”)：
y(x)=c_1e^{x}+c_2e^{2x}+c_3xe^{x}
由於前兩項即為齊次解，y_h(x)=c_1e^{x}+c_2e^{2x}，我們僅需專注於第 3 項，因此設 y_p(x)=c_3xe^{x}。為求出 c_3，可計算
\begin{aligned} y'_p(x)&=c_3(xe^{x}+e^{x})\\ y''_p(x)&=c_3(xe^{x}+2e^{x})\end{aligned}
一併代入原式，就有
c_3(xe^{x}+2e^{x})-3c_3(xe^{x}+e^{x})+2c_3(xe^{x})=e^{x}
整理後得到 (2c_3-3c_3)e^{x}=e^{x}，比較等號兩端係數於是解出 c_3=-1，故特解為 y_p=-xe^{x}，所以有通解
y(x)=c_1e^{x}+c_2e^{2x}-xe^{x}

最後我將本文推論得到的幾個觀念整理於下。常係數微分方程可以視為由線性微分算子 L:C(-\infty,\infty)\rightarrow C(-\infty,\infty) 產生的方程式，L(y)=f，其中 L=a_nD^n+\cdots+a_1D+a_0，f 是任意屬於 C(-\infty,\infty) 的函數向量。求解齊次微方方程 L(y)=0 的實際作用就是計算線性算子 L 的零空間，亦即計算線性算子 L 的那些特徵向量對應零特徵值。如果又將 L(y)=0 改寫為齊次線性系統 \mathbf{u}'=A\mathbf{u}，n\times n 階常係數矩陣 A 的特徵方程式就是我們在微分方程裡看到的同一條式子 a_nr^n+\cdots+a_1r+a_0=0。撇開微分方程底下偽裝的線性變換、零空間和通解的結構，僅就特徵方程式而言，微分方程與線性代數確實有著密切的關係。
About these ads
This entry was posted in 特別主題, 主題專欄 and tagged , , , , . Bookmark the permalink.

9 則回應給 從線性代數看微分方程

  1. Watt Lin 說:
    02/08/2010 at 1:10 下午
    請問周老師：
    Laplace Transformation 可以說是一種「線性微分算子」的運作嗎？
    或者只能說拉普拉斯轉換與線性變換，有點類似而已？
    不能化作矩陣運算？
    假如可以化為矩陣，要如何作？
    也許上面的問題有點幼稚，但我基於好奇心而發問。1989年我修完大一微積分之後，學校再也沒有相關課程，買書自學微分方程，只懂得粗淺概念，例題幾乎沒作過。
    現在看周老師的DVD，看到Lecture 7-1，越來越精彩，可是我對例題仍無興趣，因為我不必準備考試。但是其中的思考邏輯，我覺得可以應用在很多方面，收穫良多。
    回覆
  2. 大俠 說:
    02/08/2010 at 2:59 下午
    你問了一個很基本也很重要的問題，L變換的定義為
    F(s)=L\{f(t)\}=\int_0^{\infty}e^{-st}f(t)dt
    逆變換為
    f(t)=L^{-1}\{F(s)\}=\frac{1}{2\pi j}\inf_{c-j\infty}^{c+j\infty}F(s)e^{et}ds
    可見L變換是積分變換而非微分算子，但它肯定是線性變換。事實是所有我們在大學裡學到的不管什麼XX變換都是線性變換。L變換屬於傅立葉變換家族的一員，常作為系統分析和公式推導之用。與矩陣運算有關係的是離散傅立葉轉換，其用途在訊號處理。
    回覆
  3. Watt Lin 說:
    02/08/2010 at 4:11 下午
    再請問老師：
    對於L變換的應用，解出微分方程的答案，
    我們可否說它是「轉到另一個向量空間，作一些處理，再轉換回到原來的向量空間」？
    或者，應該怎麼講，才會更適當？
    我覺得 (L變換) –> (處理) –> (L逆變換) 整個過程，
    真的很像線性變換，把一個問題拿到另一個地方，變得很容易處理，處理完，再拿回原來的地方，比起在原地處理，輕鬆許多，這顯出「變換」帶來的優點。
    另外，老師回答提到的逆變換：
    在ds左方的exp(et)，是不是exp(st)才對？
    ‘inf’是’\int’嗎？
    抱歉，Latex的語法我不熟。
    回覆
  4. ccjou 說:
    02/08/2010 at 4:54 下午
    你說的對，包含兩件事：
    (1) L變換將問題由原來的時間函數空間的物件f(t)轉移至另一個複數函數空間的物件F(s)，在那兒進行分析處理，之後才還原回原空間。有一個小一的孩子他曾經如此計算 15-8，他先算8-5=3，再計算10-3=7。他將問題切成兩個不需要借位的簡單減法。L變換，F轉換，或線性代數裡的座標變換背後多少隱含了這個道理。
    (2) 我的確打錯了兩個地方，應該是
    \frac{1}{2\pi j}\int_{c-j\infty}^{c+j\infty}F(s)e^{st}ds
    回覆
  5. andy 說:
    12/04/2010 at 12:56 上午
    請問周老師：
    非齊次的常微分方程式最後找出來的特解(就由老師本文說講的)
    請問特解是不是只有一個呢(唯一)，還是有很多個呢？
    這跟微分方程介紹「解的存在性和唯一性的想法」一樣嗎？
    如果是只有一個，那 y" + 3y’ + 2y = 2
    y = ( c1 e^-t + c2 e^-2t ) + 1
    怎麼看就那個"1″是唯一的特解，零空間的反倒是無限多
    那這又該如何解釋呢？微分方程和線性代數的特解形式，是有差別的嗎？
    程度很差問了愚蠢的問題，希望老師可以指點迷津，再次謝謝周老師！
    回覆
  6. ccjou 說:
    12/04/2010 at 8:20 上午
    To andy:
    特解的名稱很容易使人混淆，前兩天也有同學問我這個問題。所謂的特解(particular solution)其實就是"任何一個解"，而不是指某個很特別的解。齊次方程式 y^{ \prime\prime}+3y^{\prime}+2y=0 的解，也就是線性算子 L=D^2+3D+2 的零空間向量，有無窮多個，因此我們先去找他們的解基(basis of solutions)，這些解基當然也可以稱為特解，解基的數量就等於零空間維度，齊次方程的通解(一般解)即為解基的線性組合。
    對於非齊次方程 y^{ \prime\prime}+3y^{\prime}+2y=2，其通解為
    y=c_1e^{-t}+c_2e^{-2t}+1
    這個結果可以如此解讀:
    (1) 齊次方程的解基為 \{e^{-t},e^{-2t}\}，其通解為 y_h=c_1e^{-t}+c_2e^{-2t}
    (2) 非齊次方程的特解有無窮多個，例如，y_p=1，y_p=2e^{-t}+1，y_p=3e^{-t}-e^{-2t}+1，但是確實有一個特解很特殊，那就是 y_p 的成分不含齊次方程的解基，亦即 y_p=1，這個情況僅有唯一的特解。從線性方程解的角度就是說，列空間中僅存在唯一解或特解。
    你說的唯一特解 y_p=1 是非齊次方程不含零空間向量的那個解，而零空間的無窮多個特解 y_h=c_1e^{-t}+c_2e^{-2t} 則是齊次方程的特解。
    回覆
  7. andy 說:
    12/04/2010 at 5:44 下午
    十分感謝周老師的詳細回答
    所以我可以說：
    非齊次方程不含零空間向量的那個解，yp = 1，是唯一的特解？
    我在網路上看到一個網頁，好像是在講述抽象代數的
    裡面有提到ring、group、field，好像也跟線性代數有關係？
    其中：
    http://math.ntnu.edu.tw/~li/algebra-html/node87.html
    這裡面感覺很有趣且豐富，周老師的blog好像沒有類似的文章
    如果用周老師簡潔明瞭的敘述方式，相信會更好懂、好玩的！
    回覆
  8. ccjou 說:
    12/05/2010 at 9:47 下午
    是的，非齊次方程不含零空間向量的那個解，yp = 1，是唯一的特解。
    你提到的 ring(環), group(群), field(體)的抽象代數是數學系講授的內容，台灣在1960 年代採行"新數學"時期也曾經將這些主題放進高中數學，但在我進入中學前，這些內容又被移除了。過去我一直避開引用 field 一詞，而直接稱它為數域，即 \mathbb{R} 或 \mathbb{C}。也許改日我再撰文解釋這些代數結構。
    回覆
  9. Watt Lin 說:
    10/25/2013 at 6:26 下午
    使「微分方程」與「線性代數」兩門課程連結，
    其重要關鍵，我猜想，大概是自然指數函數吧！
    回覆

發表迴響