發刊日期 |
2020年6月
|
---|---|
標題 | 理論與計算的結合 —迭代法 |
作者 | |
關鍵字 | |
檔案下載 | |
全文 |
1. 前言『 真正有效率的高速計算, 不論在非線性偏微分方程領域或是他很多困難尚無法探索的領域, 都提供了推動數學各方面進步所需要的啟發。』 『 計算可以提示我們到底真相是甚麼。』 --- John von Neumann (1903$\sim$1957) --- 逐步逼近法 (method of successive approximation) 或疊 (迭) 代法 (method of iteration 1 1 疊(迭)代(iteration), 字源是拉丁文 iterare 意思是 《再造》。 ) 是數學中重要的組成部分。 古希臘人(阿基米德)用它來逼近圓面積, 牛頓根據它來找函數的零點(就是一般熟悉的牛頓法 )。 Cauchy, Liouville 與 Picard 運用它來構造微分方程的解, 而計算數學則是天天都在用。 迭代法的意義在於提供了一個系統步驟的演算法 2 2 演算法或算法 (algorithm) 這個字源於第九世紀波斯數學家兼天文學家花拉子模 (Muhammad ibn Musa al-Khwarizmi, 780 $\sim$850), 這個字是從同一個 al-Khwarizmi 的名字而來。 他在公元 825 年左右寫了一本影響深遠的《 代數對話錄》。 這個字現在被拼寫為"algorithm" 而不是更精確的"algorism", 可能是由於和"算術(arithmetic)"相關而來的。 另外值得一提的是"代數 (algebra)" 這個字就是源自這本書的書名(阿拉伯文, al jabr)。 , 藉此得到一個確定的答案。 歷史上最著名(也是最悠久)的演算法就屬歐幾里得輾轉相除法 (Euclidean algorithm) 以求得兩個自然數的最大公約數。 儘管這個特殊的演算法已經有悠久的歷史但一般的演算法卻是等到 20 世紀 30 年代由於計算機的發明才有明確的定義與記載。 所謂迭代, 簡單而言就是對某個初始值 $x_0$ 反復地將函數(算子或變換) $T$ 作用上去從而得出一串數列(將 $T$ 視為公比就可以想像成等比數列!) \begin{align} x_0,\quad x_1= T(x_0),\quad \cdots\quad x_n= T(x_{n-1}) = T^n(x_0), \quad \cdots \label{1.1}\end{align} 對數學家而言他們關心的是這一串數列是否收斂到一固定值, 也就是定點或不動點 (fixed point) 是否存在的問題, 而這正是數學分析最核心的主題。 如果 $T$ 略為複雜我們很快就發現傳統的分析方法不敷使用。 這也是為什麼 John von Neumann 提倡要讓電子計算機變得更加有效率、 快速且更有彈性, 如此使用這些新的電子計算機的關鍵技術便是有可能, 而且最終可以促進數學分析的重要進展。 高速計算機可以出色地完成大量的重複運算, 這使得原先那些由於太過複雜而難以處理的問題現在都可以由計算機直接給出其數值解。 計算機的這一用途幫助所有的應用數學取得了引人注目的成就, 並且還意義深遠地改變了我們對甚麼是 (令人滿意的) 數學的解之概念。 我個人深刻體會一個進步的數學系(特別是應用數學系)應該將計算的能力之培養引入到我們的教學。 例如, 微積分搭配(0學分)微積分軟體、其他的基礎課(線性代數、 微分方程, $\cdots$) 也是如此, 訓練我們數學系的學生熟悉 Maple, Mathematica, Wolfram Alpha $\cdots$ 等套裝軟體。 逐步逼近法可追朔到 Liouville (1938)處理二階線性微分方程, 而後有 J. Caqu'e (1864)、 L. Fuchs (1870)、 G. Peano (1888)。 但最成功的則是 Emile Picard (1890) 將之推廣至非線性微分方程, 因此特別將之稱為 Picard 方法。 爾後將 Picard 的方法加以一般化將逐次逼近抽象化為算子的迭代 則是波蘭數學家 Stefan Banach (1892$\sim$1945) 之貢獻, 我們稱之為 Banach 定點定理 (Banach Fixed Point Theorem)。 這個定理是數學美的典型代表; 假設條件簡潔、 結論重要、 證明直接不拐彎抹角而且有廣泛的應用。 愛因斯坦曾經提出 : 『 一切科學的偉大目標是要從盡可能少的假設或公理出發, 通過邏輯的演繹, 涵蓋盡可能多的經驗事實。』 一個有品味的數學家會感覺一個領域比另一個領域更具吸引力, 那是因為他們發現它更美, 並且會尋求漂亮的方法而竭力避免那些笨拙或醜陋的論證方式。 一戰期間(1916)還在服役中的 Hugo Steinhaus (1887$\sim$1972) 有一天在去大學取郵件的路上, 碰巧 (實際上是刻意的) 聽到兩個數學系的學生談論《 Lebesgue 測度》 於是 Steinhaus 主動向前自我介紹, 而這兩個學生正是 Stefan Banach 與 Otto Nikodym (1887$\sim$1974)。 之後他們就有固定的聚會並決定成立數學社, 最終在 1920 年成為波蘭數學會。 在首次見面之後沒多久 Steinhaus 將他正在思索卻無法克服的問題告訴 Banach, 過幾日 Banach 就把如何找到反例 (counterexample) 的想法解釋給 Steinhaus, 雖然戰爭延緩了這篇文章的發表但卻開啟了兩人長期合作與友誼。 而見證他們的友誼就是泛函分析(Functional Analysis)四大定理中的 Banach-Steinhaus 定理或一致有界定理(Uniform Boundedness Theorem) 另外著名的期刊 Studia Mathematica 就是他們兩人創辦的, 這是泛函分析草創時期最重要的期刊之一。 除了學術研究之外, 事實上也是 Steinhaus 的緣故, Banach 才遇見他生命中的另一半。
Stefan Banach 是二十世紀上半葉波蘭數學輝煌歷史的創始人之一,
他同時也是泛函分析的開拓者, 這可由 Banach 空間、 Hahn-Banach 定理、 Banach-Alaoglu 定理,
還有 Banach 定點定理 $\cdots$ 等視出一些端倪。1930$\sim$1940年間 Stefan Banach 大部分的工作都是在咖啡廳完成的, 隨著 Banach、
Steinhaus、 Nikodym 等人在數學上的貢獻, 也使得他們聚會的地點蘇格蘭人咖啡廳 (Scottish Coffee) 成為數學史上最著名的咖啡廳, 而他們討論之後所記錄下來的筆記本就是
The Scottish Book 2. 從牛頓法談起談迭代法當然要從牛頓法 (Newton's method) 或 Newton-Raphson's method 開始, 這可說是逐步逼近法之濫觴, 幾乎所有的計算數學與數值方法都是從這個例子出發。既然要求解首先必須確定解的存在性。 定理 2.1 (勘根定理): 若 $f: [a,b]\mapsto {\Bbb R}$ 為一連續函數且滿足 $f(a)f(b)\lt 0$, 則由連通性知必存在 $c$ 介於 $a$、 $b$ 之間使得 $f(c)=0$, 也就是說 $c$ 為函數$f(x)$ 的一個零根。 將 $x$-軸上下平移, 很容易看出勘根定理相當於以下的中間值定理 (Intermediate value theorem) 也稱為 Bolzano 3 3 Bernard Bolzano(1781$\sim$1848) 的故事很有趣, 他出生於奧匈帝國相當於現在的捷克 (波希米亞省), 是一個接受經院哲學教育的天主教神父, 他是最早將嚴格的概念引進數學分析的拓荒者之一。 雖然 Bolzano 的觀點已明確指出數學分析(特別是微積分)嚴格化的方向, 但由於與主流數學界的隔離, 他的著作基本上無人注意, 直到半個世紀之後才被 Hermann Hankel (1839$\sim$1873) 發現。 其中主要原因是他在世時是以神學家與哲學家的身分為人所知。 中間值定理。 定理 2.2 (Bolzano 中間值定理): 若 $f: [a,b]\mapsto {\Bbb R} $ 為一連續函數且 $f(a)\not= f(b)$, $k$ 為介於 $f(a)$ 與 $f(b)$ 之間的任意數, 則存 在 $c\in (a, b)$ 使得 $f(c) = k$。 Bolzano 中間值定理與微積分基本定理一樣其內在本質是 連通性 (connectedness), 這是一個拓樸性質 : 一個連通集經過連續變換之後仍然是一個連通集。 勘根定理只告訴我們存在性 (existence)。 但到底解是什麼呢? 是否有具體的表現式呢? 4 4 例如; 圓周率 $\pi$, 它只是一個符號代表圓周與直徑的比率。 雖然我們將之視為精確值, 對純數學家而言這已經是完美了, 但在實用上必須表示為可操作的範圍之內。 這個差異也正是純數學與應用數學(或工程)的差別。 這就是牛頓法所要談的。 我們從任一點 $x_0$ 開始, 則通過 $(x_0,f(x_0))$ 之切線方程式為 $$ y=f'(x_0)(x-x_0)+f(x_0)\,, $$ 此切線與 $x$-軸之交點為(令 $y=0$) \begin{align} x_1=T(x_0)=x_0 -{{f(x_0)\over{f'(x_0)}}}\,. \label{2.1}\end{align} 同理再由 $x_1$ 開始仿前步驟; 可得 $$ x_2=T(x_1)=x_1-{{f(x_1)\over{f'(x_1)}}}\,, $$ 如此下去得 \begin{align} x_{n+1}=T(x_n)=x_n -{f(x_n)\over f'(x_n)}\,,\qquad n=0,1,2, \cdots \label{2.2}\end{align} 如果數列 $\{x_n\}$ 收斂到 $x^*$ (這裡需默認實數 ${\Bbb R}$ 是完備的!) 則由連續性知 $$ x^*= x^* - {f(x^*)\over f'(x^*)} \quad\Longrightarrow\quad f(x^*)=0\,. $$ 由 \eqref{2.2} 式可定義新的函數 \begin{align} T(x_{n})=x_n-{f(x_n)\over{f'(x_n)}}\,. \label{2.3}\end{align} 因此牛頓法可視為函數 $T$ 之迭代, 而原函數 $f$ 之根 (root) 則成為新函數 $T$ 之定點 (fixed point)。 \begin{align} f(x)=0\quad \Longleftrightarrow\quad x= T(x)\equiv x-{f(x)\over f'(x)}\,. \label{2.4}\end{align} 方程式求解的問題等價於函數)是否有定點(或不動點)的問題, 而且由 \eqref{2.4} 也可猜出來定點的存在與曲線 $f(x)$ 的斜率 $f'(x)$ 有關, 這現象會一再出現例如 : 反 (隱) 函數定理。
例題 2.3: 試利用牛頓法計算無理數 $\sqrt2$ 之值至小數點第九位。 [解]: 令 $x=\sqrt 2$, 因此 $\sqrt2$ 相當於是 $f(x)=x^{2}-2$ 之根。 此時 $f'(x)=2x$, 由牛頓法 \eqref{2.2} 或 \eqref{2.3} 可定義數列 ${x_n}$ 如下 \begin{align} x_{n+1}=x_n-{x_n^2-2\over 2x_n} = {1\over 2}\bigg( x_n +{2\over x_n}\bigg)\,. \label{2.5}\end{align} 取 $x_0=1$ 則經計算可知 $$ x_5={{1}\over 2}\bigg(x_4+{{2}\over {x_4}}\bigg)\approx 1.41421135562. $$ 這個數列的收斂值得在此談一談。 根據遞迴關係(2.5)得 $$ x_{n+1}- x_n = -{x_n^2-2\over 2x_n}\lt 0,\qquad x_n\ge \sqrt{2}\,. $$ 如果不計 $x_0=1$ 則 $\{x_n\}_{n=1}^\infty$ 是一遞減數列, 另外 $$ x_{n+1}- x_n = \bigg({1\over 2}+{1\over x_n x_{n-1}}\bigg)(x_n - x_{n-1})\,, $$ 迭代得 $$ |x_{n+1}- x_n| \le {1\over 2}|x_n - x_{n-1}| \quad\Longrightarrow\quad |x_{n+1}- x_n| \le {1\over 2^n}|x_1 - x_0|={1\over 2^{n+1}}. $$ 因為 $\{x_n\}_{n=1}^\infty$ 是一遞減數列, 級數 $ %\displaystyle \sum_{n=1}^\infty (x_{n+1}-x_n) $ 每一項都是負數而且可以被等比級數 $ %\displaystyle \sum_{n=1}^\infty {1\over 2^{n+1}}$ 所控制 (dominate) 因此級數收斂(我們已默認實數的完備性) $$ \sum_{n=1}^\infty x_{n+1}-x_n=\lim_{n\to \infty} x_n - x_1=x_\infty -x_1\,, $$ 且極限 $x^*$ 滿足 $$ x^*= {1\over 2}\bigg(x^*+{1\over x^*}\bigg) \quad\Longrightarrow\quad x^* = \sqrt{2}. $$ 另外也可以這麼看, 根據 \eqref{2.4} 定義 $$ T(x)= {1\over 2}\bigg(x+{1\over x}\bigg) \quad\Longrightarrow\quad |T'(x)|={1\over 2}\bigg|1-{1\over x^2}\bigg|\le {1\over 2}\lt 1\,, $$ 則利用第三節的 Banach 定點定理也可結論極限 $x^*\in {\Bbb R}$ 的存在。 如此得到的近似解序列 $x_1, x_2, x_3,\ldots $ 好到超乎想像 : 它們收斂到『 真』 解的速度出奇地快, 只需要四、五步就可以得到精確度很高的近似解。 據說巴比倫人在四千年前就用這個方法計算平方根, 但除了平方根之外牛頓的方法可以用來計算任意(適當)函數的根。 牛頓法之所以可用是在於函數 $f$ 本身之性質(如連續性、 可微性)相當好, 此時 \begin{align} T'(x)={{f(x)f"(x)}\over{(f'(x))^{2}}}\,, \label{2.6}\end{align} 因此由均值定理(Mean Value Theorem)可知存在 $\xi\in (x,y)$ \begin{align}\begin{aligned} |T(x)-T(y)| &=\bigg|x-{{{f(x)}\over{f'(x)}}}-y+{{f(y)}\over {f'(y)}}\bigg| \\ &=\bigg| (x-y)-\bigg(1+{{f(\xi)f"(\xi)}\over {(f'(\xi))^{2}}}\bigg)(x-y)\bigg| \\ &=\bigg|{{f(\xi)f"(\xi)}\over{(f'(\xi))^2 }}\bigg| |x-y|\,. \end{aligned} \label{2.7}\end{align} 如果能要求 $\big|{{f(\xi)f"(\xi)}\over{(f'(\xi))^{2}}}\big|\le\alpha \lt 1 $則 $$ |T(x)-T(y)|\le\alpha |x-y|\,, $$ 這就是縮像(contraction mapping)之雛形。 其實牛頓法提供了定點定理(fixed point theorem)之靈感與第一個例子。 爾後也幫助我們明白隱函數定理、反函數定理, 甚至是解微分方程 (線性或非線性)的內涵。關於牛頓法我們並不詳細在此討論, 有興趣之讀者可參閱相關材料。 我們是以此例子 做為我們整個思考的依據, 到目前為止可確定的是 $ \big|{{f(\xi)f"(\xi) }\over{(f'(\xi))^2}}\big| $ 之大小直接影響到解之存在與否? 我們看個例子
例題 2.4: 試以牛頓法探討 $f(x)=x^{1\over3} =0 $ 之根。 [解]: $f(x)=x^{1\over3}=0$ 之根為 $x=0$, 由牛頓法知 $$ x_{n+1}=x_n-{{3x_n^{1\over3}}\over x_n^{-{2\over3}}}=x_n-3x_n=-2x_n\,. $$ 若取 $x_0=1$ 則 $$x_1=-2,\quad x_2=4,\quad \ldots $$ 顯然數列 $\{x_n\}_n$ 並不收斂, 而其原因就在於 $ \big|\frac{f(\xi)f"(\xi)}{f'(\xi)^2}\big| $ 這個值不夠小, 直觀而言就是函數 $y=f(x)=x^{1\over3}$ 不夠陡。
[註解]:
3. Banach 定點定理『A mathematician is a person who can find analogies between theorems; a better mathematician is one who can see analogies between proofs and the best mathematician can notice analogies between theories. One can imagine that the ultimate mathematician is one who can see analogies between analogies.』 --- Stefan Banach (1892$\sim$1945) --- 要談 Banach 定點定理, 我們先定義 何謂縮像(contraction map) 5 5 縮像有時也稱為壓縮函數,但是我個人比較偏愛縮像這個翻譯。 。 定義 3.1: $T$ 為從度量空間 $(X,d)$ 映射到它自身的算子; $$ T :(X, d) \mapsto (X,d)\,. $$ 若存在常數 $\alpha$, $0\le\alpha\lt 1$, 使得任意 $x,y\in X$ 都滿足 \begin{align} d(T(x),T(y))\le\alpha d(x,y)\,, \label{3.1}\end{align} 則稱 $T$ 是 $X$ 之縮像而 $\alpha$ 則稱為縮像常數。 直觀而言, 縮像是將距離縮短至少 $\alpha$ 倍, 顯然一個縮像必定是連續函數。 定理 3.2 (Banach定點定理): $(X, d)$ 為完備度量空間 $($complete metric space$)$ 而 $$ T:(X, d)\mapsto (X, d) $$ 為一縮像常數為 $\alpha$ 之縮像, 則必存在唯一 $x^*\in X$ 滿足 $T(x^*)=x^*$, 即 $x^*$ 為 $T$ 之唯一定點。 [證明]: 我們從任意點 $x_0 \in X$ 開始, 根據迭代法定義 \begin{align} x_{n+1}=T(x_n), \qquad n=0,1,2,\ldots \label{3.2}\end{align} 我們希望所得數列 {$\{x_n\}_{n=0}^{\infty}$} 是一 Cauchy 數列。 先看相鄰兩點 $x_n,x_{n+1}$ 之關係 $$ d(x_{n+1},x_n)=d(T(x_n),T(x_{n-1})) \le \alpha d(x_n,x_{n-1}),\qquad n=1,2,\ldots\,. $$ 利用此式可得 \begin{align} d(x_{n+1},x_n)\le \alpha d(x_n,x_{n-1}) \le \alpha^2 d(x_{n-1},x_{n-2}) \le \alpha^{n}d(x_1,x_0),\ n=1,2,\ldots, \label{3.3}\end{align} 再由三角不等式與 \eqref{3.3} 可得 $$ \begin{aligned} d(x_m,x_n)&\le d(x_m,x_{m-1})+ \cdots\cdots +d(x_{n+1},x_n) \\ &\le {(\alpha^{m-1}+\cdots\cdots +\alpha^n)}d(x_1,x_0) \\ &={{\alpha^{n}-\alpha^{m}}\over{1-\alpha}}d(x_1,x_0) \\ &\le {{\alpha^{n}}\over{1-\alpha}}d(x_1,x_0)\,. \end{aligned} $$ 因此 $\{x_n\}_n$ 為一 Cauchy 數列。 由 $X$ 之完備性知存在 $x^* \in X$ 使得 $$ d(x_n,x^*)\longrightarrow 0, \quad \hbox{當}\quad x_n\longrightarrow x^* $$ 這個極限點 $x^*$ 就是所要的定點 $$ \begin{aligned} d(x^*,T(x^*))&\le d(x^*,x_n)+d(x_n,T(x^*)) \\ &= d(x^*,x_n)+d(T(x_{n-1}),T(x^*)) \\ &\le d(x^*,x_n)+\alpha d(x_{n-1},x^*) \longrightarrow 0. \end{aligned} $$ 因此 $T(x^*)=x^*$。 現在證明唯一性, 假設有兩個定點 $x^*$、 $y^*$ $T(x^*)=x^*,T(y*)=y^*$ 則 $$ d(x^*,y^*)=d(T(x^*),T(y^*))\le \alpha d(x^{*},y^{*}). $$ 但 $0 \le \alpha \lt 1$ 故 $x^*=y^*$。
這個定理不難想像(參考圖 6)。 當壓縮產生時原來平面上任意的點 $P_0$ 會變換到 $P_1$, 而 $P_1$ 則跑到 $P_2$、 $P_2$ 則占據了原來 $P_3$ 的位置; $\cdots$ 等等。 因為我們考慮的是一個縮像, $P_1$ 與 $P_2$ 之間的距離必定小於 $P_0$ 與 $P_1$ 之間的距離, 同理 $P_2$ 與 $P_3$ 之間的距離必定小於 $P_1$ 與 $P_2$ 之間的距離 $\cdots$ 等等。 於是我們就得到一串的點 $P_0, P_1, P_2,\ldots$ 彼此間越來越近, 它蘊涵著這個序列必定有一個極限, 而這極限點就是這個變換的定點(不動點)。 [註解]:
4. 應用一 : 反函數與隱函數定理反函數與隱函數定理本質上就是方程式求解的問題 \begin{align} \begin{aligned} f(x)=y\qquad&\Longleftrightarrow\qquad x = f^{-1}(y)\,, \\ F(x,y)=0\qquad&\Longleftrightarrow\qquad y = f(x)\,. \end{aligned} \label{4.1}\end{align} 這裡 $F$ 與 $f$ 可以是函數更可以是算子 (operator)。 由 \eqref{4.1} 直觀來看將 $x\mapsto y$ 視為變數變換, 則反函數定理提供了座標變換的條件, 而隱函數定理則給了方程式解的表現之條件。 以一階偏微分方程而言, 根據 Lagrange 的理論, 是透過特徵線 (characteristic) 將一階偏微分方程轉換成常微分方程組 (假設是兩個變數則會有兩個常微分方程!)。 解決常微分方程組之後再利用隱函數定理得到原先一階偏微分方程的解, 如果有初始值的話則由反函數定理可以將特徵線與初始值這兩個變數轉換成原先的兩個變數, 並由此結論一階偏微分方程的解。 關於反函數定理還是要從解線性方程式(或線性聯立方程組) 來看 (假設 $A$ 是一個與變數 ${\bf x}$ 無關的方陣) \begin{align} \begin{aligned} ax=y \qquad&\Longrightarrow \qquad x=a^{-1}y\,,\\ A{\bf x}={\bf y}\qquad&\Longrightarrow \qquad {\bf x}=A^{-1}{\bf y}\,. \end{aligned} \label{4.2}\end{align} \eqref{4.2} 式可解的重要因素是 $a\not= 0,\,\, \det A=|A|\not=0$, 換句話說 (從微分的角度) \begin{align} {{dy}\over{dx}}=a\not=0,\qquad \det{{\partial {\bf y}} \over{\partial {\bf x}}}=\det A=|A|\not=0\,, \label{4.3}\end{align} 就是藉由微分才真正理解 \eqref{4.2}。 對於非線性函數 $y=f(x)$ 就沒有那麼直接, 但 \eqref{4.3} 已指出可以用微分來刻畫反函數之存在。 假設 $$ f: I\subset {\Bbb R}\mapsto {\Bbb R},\qquad f(a)=b\,, $$ 因此我們的問題變為 : 在 $y$ 靠近 $b$ 是否可找到 $x$ 在 $a$ 附近使得 $f(x)=y$? 這就是 《 反函數定理》。 給定 $y$ 如果 $f(x)=y$ 有解則由均值定理 (mean value theorem) 可得 \begin{align} y-b=f(x)-f(a) =f'(\xi)(x-a)\cong f'(a)(x-a)\,, \label{4.4}\end{align} 這一步就是線性逼近(也可視為線性化(linearization))。若 $ f'(a)\not=0 $ 則由 \eqref{4.4} 得 \begin{align} x=f^{-1}(y)\simeq a-{{f(a)-y}\over{f'(a)}}\,. \label{4.5}\end{align} 這個式子與牛頓法實在是很相似。由 \eqref{4.5} 式可取數列 \begin{align} x_0=a,\quad x_1=x_0-{{f(x_0)-y} \over{f'(x_0)}},\quad \cdots,\quad x_{n+1}={x_n-{{f(x_n)-y}\over{f'(x_n)}}}\,, \label{4.6}\end{align} 由於 $x_n\approx a=x_0$ 可以將 \eqref{4.6} 的分母都換為固定的 $f'(x_0)$ 使得實際計算變得比較簡單 \begin{align} x_0=a,\quad x_1=x_0-{{f(x_0)-y} \over{f'(x_0)}},\quad \cdots,\quad x_{n+1}={x_n-{{f(x_n)-y}\over{f'(x_0)}}}\,. \label{4.7}\end{align} 仿牛頓法定義算子 \begin{align} T(x) = x- {1\over f'(x_0)}(f(x)-y)\,, \label{4.8}\end{align} 則求反函數 $x=f^{-1}(y)$ 就等價於求 $T$ 的定點。 如果存在 $x^*$ 滿足 $ x_n\rightarrow x^* $ 則由前面之經驗, 可大膽猜測 $x^*$ 就是所欲求的解。 我們看個例子: 例題 4.1: 令 $y=f(x)=x^2-4 $, $a=2 $, $b=0$。 因為 $x_0=a=2$, $f'(x)=2x$, 由 \eqref{4.7} 所定義的數列 $\{x_n\}$ 為 $$ \begin{aligned} x_0&=a=2\,, \\ x_1&=2-{{f(2)-y}\over{f'(2)}}=2+{{y }\over {4}}\,, \\[2mm] x_2&=2+{{y}\over {4}}-{{1\over{4}}}\bigg[\Big((2+{{y}\over {4}})^{2}-4\Big)-y\bigg] =2+{{y}\over{4}}-{1\over 4}\bigg({y\over 4}\bigg)^2\,, \\[2mm] x_3&=2+{{y}\over{4}}-{1\over 4}\bigg({y\over 4}\bigg)^2 -{1\over 4}\bigg[\bigg(2+{{y}\over{4}}-{1\over 4}\bigg({y\over 4}\bigg)^2\bigg)^2-4-y\bigg] \\ &= 2+{{y}\over{4}}-{1\over 4}\bigg({y\over 4}\bigg)^2+{1\over 32}\bigg({y\over 4}\bigg)^3 -{1\over 64}\bigg({y\over 4}\bigg)^4\,. \end{aligned} $$ 依此類推, 因此存在 $x^*$ 使得 $$ x_n\to x^*=2+{{y}\over{4}}-{1\over 4}\bigg({y\over 4}\bigg)^2+{1\over 32}\bigg({y\over 4}\bigg)^3 -{1\over 64}\bigg({y\over 4}\bigg)^4+\cdots=(4+y)^{1\over 2}\,, $$ 所以 $x^*=(4+y)^{1\over 2}$ 正是 $ f(x)=x^{2}-4$ 之反函數。 由 \eqref{4.5} 知道反函數的構造是建立在均值定理, 因此可以直接推廣到 $n$ 維空間的向量函數。 令 ${\bf x}=(x_1, x_2,\ldots, x_n)^T$, ${\bf f}({\bf x})=(f_1({\bf x}), f_2({\bf x}),\ldots, f_n({\bf x}))^T$ 則 \eqref{4.5} 可以推廣為 \begin{align} {\bf x}={\bf f}^{-1}({\bf y}) \simeq {\bf a} - (D_{{\bf a}}{\bf f})^{-1} ({\bf f}({\bf a}) -{\bf y})\,, \label{4.9}\end{align} 其中 $D{\bf f}$ 是Jacobian矩陣 \begin{align} D{\bf f} = \bigg[{\partial (f_1, f_2,\ldots, f_n)\over \partial (x_1, x_2, \cdots, x_n)}\bigg] =\left [\begin{matrix} {{\partial f_1}\over{\partial x_1}}& \cdots& {{\partial f_1}\over{\partial x_n}} \\ \vdots & \ddots & \vdots \\ ~{{\partial f_n}\over{\partial x_1}}~&~\cdots~&~{{\partial f_n}\over{\partial x_n}}~ \end{matrix} \right ]\,. \label{4.10}\end{align} 當${\bf x}={\bf a}$時則表示為$D_{{\bf a}}{\bf f}=D{\bf f}|_{{\bf x}={\bf a}}$。 Jacobian矩陣基本上就是向量函數的梯度(gradient), 可以視為單變數微分的替代品, 而其行列式則稱為 Jacobian 行列式 \begin{align} \det(D{\bf f}) = {\partial (f_1, f_2,\ldots, f_n)\over \partial (x_1, x_2, \cdots, x_n)} =\left |\begin{matrix} {{\partial f_1}\over{\partial x_1}}& \cdots& {{\partial f_1}\over{\partial x_n}} \\ \vdots & \ddots & \vdots \\ ~{{\partial f_n}\over{\partial x_1}}~&~\cdots~&~{{\partial f_n}\over{\partial x_n}}~ \end{matrix} \right |\,. \label{4.11}\end{align} 它反映了函數 ${\bf f}$ 在該點對空間的局部影響, 如果視為變數變換則 Jacobian 行列式的幾何意義就是 $n$ 維體積的變化率。 例題 4.2: 考慮向量函數 ${\bf f}:{\Bbb R}^2\mapsto {\Bbb R}^2$ $$ \left[\begin{matrix} y_1 \\ y_2 \end{matrix}\right] ={\bf y} = {\bf f}({\bf x}) ={\bf f} \left[\begin{matrix} x_1 \\ x_2 \end{matrix}\right] = \left[\begin{matrix} x_1^3 e^{x_2}+x_2-2x_1 \\ 2x_1x_2+ 2x_1 \end{matrix}\right],\qquad {\bf f} \left[\begin{matrix} 1 \\ 0 \end{matrix}\right] = \left[\begin{matrix} -1 \\ ~~2 \end{matrix}\right]\,. $$ 試利用 \eqref{4.9} 估計 ${\bf f}^{-1}\left[\begin{matrix} -1.2 \\ ~~2.1 \end{matrix}\right]$。 [解]: 這問題相當於 $$ \left[\begin{matrix} x_1\\ x_2 \end{matrix}\right]= {\bf f}^{-1}\left[\begin{matrix} -1.2 \\ ~~2.1 \end{matrix}\right] \quad\Longleftrightarrow\quad \left\{ \begin{aligned} x_1^3 e^{x_2}+x_2-2x_1&=-1.2\\ 2x_1x_2+ 2x_1&=2.1\,. \end{aligned} \right. $$ 首先計算 Jacobian 矩陣 $$ D{\bf f}({\bf x})= D{\bf f}\left[\begin{matrix} x_1 \\ x_2 \end{matrix}\right] = \bigg[{\partial (f_1, f_2)\over \partial (x_1, x_2)}\bigg] =\left[\begin{matrix} 3x_1^2 e^{x_2}-2 & x_1^3 e^{x_2}+1\\ 2x_2+ 2 & 2x_1 \end{matrix}\right]\,, $$ $$ D{\bf f}\left[\begin{matrix} 1 \\ 0 \end{matrix}\right]= \left[\begin{matrix} ~1~ & ~2~\\ ~2~ & ~2~ \end{matrix}\right] \quad\Longrightarrow\quad \det D{\bf f}\left[\begin{matrix} 1 \\ 0 \end{matrix}\right]=-2\not=0\,. $$ 所以由反函數定理得 $$ D{\bf f}^{-1}\left[\begin{matrix} -1 \\ ~~2 \end{matrix}\right]=\bigg(D{\bf f}\left[\begin{matrix} 1 \\ 0 \end{matrix}\right]\bigg)^{-1}={1\over -2}\left[\begin{matrix} ~~2 & -2\\ -2 & ~~1 \end{matrix}\right]=\left[\begin{matrix} -1 & ~~1\\ ~~1 & -{1\over 2} \end{matrix}\right]\,, $$ 而且根據 \eqref{4.9} 得 $$ \left[\begin{matrix} x_1\\ x_2 \end{matrix}\right] ={\bf f}^{-1}\left[\begin{matrix} -1.2 \\ ~~2.1 \end{matrix}\right] \simeq \left[\begin{matrix} 1\\ 0 \end{matrix}\right] +\left[\begin{matrix} -1 & ~~1\\ ~~1 & -{1\over 2} \end{matrix}\right] \left[\begin{matrix} -0.2\\ ~~0.1 \end{matrix}\right]=\left[\begin{matrix} ~~1.3\\ -0.25 \end{matrix}\right]\,.{\Box} $$
定理 4.3 (反函數定理): 已知 $U\subset {\Bbb R}^n$ 是一開集, ${\bf f}: U \mapsto {\Bbb R}^n$ 是一連續可微函數。 令 ${\bf a}\in U$ 且 $\det (D_{\bf a}{\bf f})\not=0$ 即 $D_{\bf a} {\bf f}$ 為一非奇異矩陣, 則存在 ${\bf a}$ 之開鄰域 ${\bf N}_{\bf a}\subset U$ 與 ${\bf b} = {\bf f}({\bf a})$ 之鄰域 ${\bf N}_{\bf b}$ 使得 ${\bf f}:{\bf N}_{\bf a}\rightarrow {\bf N}_{{\bf b}}$ 為 1-1 且映成 $($onto$)$ 函數, ${\bf f}({\bf N}_{\bf a})={\bf N}_{\bf b}$, 即對任意 ${\bf y}\in {\bf N}_{\bf b}$方程式 ${\bf f}({\bf x})={\bf y}$ 在 ${\bf N}_{\bf a}$ 內有唯一解, 換句話說, 反函數 ${\bf f}^{-1}: {\bf N}_{\bf b} \mapsto {\bf N}_{\bf a}$ 存在而且在 ${\bf N}_{\bf b}$ 內也是連續可微且滿足 \begin{align} D{\bf f}^{-1}({\bf y}) = [ D{\bf f}({\bf x})]^{-1}\,. \label{4.12}\end{align} 如果 ${\bf f}$ 是 $p$ 次可微則 ${\bf f}^{-1}$ 也是 $p$ 次可微, 反函數 ${\bf f}^{-1}$ 與函數 ${\bf f}$ 本身有相同的光滑性。
[證明]:
整個想法是利用 Banach 定點定理, 由 \eqref{4.9} 可以定義算子
\begin{align}
T({\bf x})= {\bf a} - (D_{{\bf a}}{\bf f})^{-1} ({\bf f}({\bf a}) -{\bf y})\,,
\label{4.13}\end{align}
並證明 $T$ 是一個縮像, 有興趣的讀者可參閱 [註解]:
通常我們對函數的概念, 例如 $$ \begin{aligned} y&=ax+b\hskip1.95cm \hbox{(直線)} \\ y&=ax^2+bx+c\qquad \hbox{(拋物線)} \\ y&={\pm}\sqrt{1-x^2}\hskip1.35cm \hbox{(圓)} \end{aligned} $$ 或者表為一般式 \begin{align} y=f(x). \label{4.14}\end{align} 這是一個明顯 (explicit) 式, 即將 $y$ 直接表示為 $x$ 的函數。 但實際上能夠如此表示的函數實在太少, 而且也太侷限。 但 \eqref{4.14} 可以另外表示為 \begin{align} y=f(x) \quad\Longleftrightarrow\quad F(x,y)=y-f(x)=0. \label{4.15}\end{align} 這式子同時說明了一件事實:求$y=f(x)$之反函數等價於求函數方程的根 $F(x,y)=0$ $$ (x,y)\in \hbox{Ker } F \quad\Longleftrightarrow\quad y=f(x). $$ 由此可以理解從分析的角度來看: 隱函數定理就方程式求解的問題。 而這也告訴我們 反函數定理與隱函數定理是等價的: 即求反函數實際上就是解方程式, 求根的問題。 例題 4.4: 圓方程式 \begin{align} F(x,y)=x^2+y^{2}-1=0 \quad \Longleftrightarrow\quad y= \pm \sqrt{1-x^2}\,. \label{4.16}\end{align} [解]: 由 \eqref{4.16} 之右式可知 $$ y'={{-x}\over \sqrt{1-x^2}}=-{x\over f(x)}\,. $$ 但這個事實亦可由左式而得。取全微分 \begin{align*} dF=\,&{{\partial F}\over{\partial x}}dx+{{\partial F}\over{\partial y}}dy =2xdx+2ydy=0\,,\\ {\hbox{故}} y'=\,&{{dy}\over{dx}} =-{{{\partial F}/{\partial x}}\over{{\partial F}/{\partial y}}} =-{{x}\over{y}} =-{{x}\over {f(x)}}\,. \end{align*} 這個方向有個好處: 就算$y$無法明顯表為$x$之函數, 仍然可得其微分 \begin{align} y'=-{{{\partial F}/{\partial x}}\over {{\partial F} /{\partial y}}}= -{F_x\over F_y}, \qquad F_y={{\partial F}\over{\partial y}}\not=0\,. \label{4.17}\end{align} 當然前題是分母 $ {{\partial F}\over{\partial y}}\not=0 $。有興趣當然可繼續微分 \begin{align} y" =-{{F_y^2F_{xx}-2F_xF_yF_{xy}-F_x^2F_{yy}}\over{F_y^3}}\,, \label{4.18}\end{align} 分母始終出現都是$F_y ={{\partial F}\over {\partial y}}$的函數, 因此對於隱函數定理我們僅需要求$F_y\not=0$ 就足夠。同理對高維空間也可如此分析, 此時$F_y$則換為Jacobian行列式。 讀者有興趣可參考相關資料, 我們在此只是要引出隱函數定理之動機。 基本上問題是 : 已知 $F(a,b)=F(x_0, y_0)=0$, 我們想要解方程式 $F(x,y)=0$, 意思是要解$y$並將之表為$x$的函數。換句話說:是否存在函數 $f(x)$ 滿足 $b=f(a)$ 使得 $y=f(x)$ 且 $F(x,y)=F(x,f(x))=0$? 既然隱函數定理是方程式求根之問題(從分析的角度來看!), 我們可摹仿牛頓法利用迭代法來逼近。 仍然是從均值定理出發 \begin{align} F(x,y)-F(x,b)={{\partial F}\over{\partial y}}(x,b)(y-b)+o(y-b) \simeq {{\partial F}\over{\partial y}}(x,b)(y-b)\,, \label{4.19}\end{align} 但 $F(x,y)=0$ 而且 $x\approx a$ 可以將 \eqref{4.19} 與 $x$ 有關的 ${{\partial F}\over{\partial y}}(x,b)$ 取代為固定 $x=a$ 的 ${{\partial F}\over{\partial y}}(a,b)$ \begin{align} y \simeq b-{ F(x,b)\over F_y(x,b)} \simeq b-{ F(x,b)\over F_y(a,b)} =y_{0}- {{F(x,y_0)}\over{ F_{y}(x_0,y_0)}}\,. \label{4.20}\end{align} 利用此式可定義數列 $\{y_n\}_n$ 如下 \begin{align} y_{1}=y_{0}- {{F(x,y_0)}\over{ F_{y}(x_0,y_0)}},\quad \cdots,\quad y_{n+1}=y_n-{{F(x,y_n)} \over{ F_{y}(x_0,y_0)}},\qquad n=0,1,2,\ldots\,. \label{4.21}\end{align} 如果存在 $y$ 滿足 $ y_n\rightarrow y, $ 則由前面之經驗可大膽猜測 $y$ 就是原方程式 $F(x,y)=0$ 之根, 同時 \eqref{4.21} 也提供了證明隱函數定理之方法。而且透過均值定理由 \eqref{4.19}$-$\eqref{4.20} 看出來由函數方程 $F(x,y)=0$ 所定義的函數 $y$ 隱約是 $x$ 的函數, 也因為這緣故此我們稱之為隱函數定理。 例題 4.5: 試利用迭代法 \eqref{4.21} 解方程式 $F(x,y)={x^2}+{y^2}-1=0$。 [解]: 取$(a,b)=(x_0,y_0)=(0,1), F(0,1)=0,$ 且 $F_y(0,1)=2\gt 0$ 由$ \eqref{4.21} $得 $$ \begin{aligned} y_0&=1\,,\\ y_1&=y_0-{F(x,y_0)\over F_{y}(x_0,y_0)} =1-{{F(x,1)}\over{F_{y}(0,1)}} =1-{{x^{2}+1-1}\over{2}} =1-{{x^{2}}\over{2}},\\ y_2&=y_1-{{F(x,y_1)}\over{F_{y}(x_0,y_0)}} =1-{x^{2}\over{2}}-{{x^{2}+(1-{x^2\over{2}^{2}})-1}\over {2}} =1-{x^{2}\over{2}}-{{x^{4} }\over{8}}\,,\\ y_3&=1-{x^{2}\over{2}}-{x^{4}\over{8}}-{x^{6}\over{16}}-{x^{8}\over{128}}\,, \\ y&=\lim_{n\to \infty}y_{n} =1-{x^{2}\over {2} }-\sum_{k=2}^{\infty}{{1\cdot 3\cdot 5 \cdots (2k-3)}\over{2^{k}k!}}x^{2k} = \sqrt{1-x^2},\quad -1\lt x\lt 1\,. \end{aligned} $$ 這相當於 $$ F(x,y)={x^2}+{y^2}-1=0 \quad\Longleftrightarrow\quad y = f(x) =\sqrt{1-x^2}\,.{\Box} $$ 現在將前面的討論推廣為多變數與向量函數, 先看線性方程組 \begin{align} A{\bf x} +B{\bf y} = {\bf 0},\qquad {\bf x}\in {\Bbb R}^n,\quad {\bf y} \in {\Bbb R}^m\,, \label{4.22}\end{align} 其中 $A=[a_{ij}]\in {\Bbb R}^{m\times n},B=[b_{ij}]\in {\Bbb R}^{m\times m}$。 由 \eqref{4.22} 定義線性變換 ${\bf T}: {\Bbb R}^n \times {\Bbb R}^m \mapsto {\Bbb R}^m$ \begin{align} {\bf T}({\bf x}, {\bf y})= [A\quad B] \left[\begin{matrix} {\bf x} \\ {\bf y}\end{matrix}\right]= A{\bf x} +B{\bf y}\,. \label{4.23}\end{align} 如果$B^{-1}$存在則隱函數定理可以表示為 $$ {\bf T}({\bf x}, {\bf y})=A{\bf x} +B{\bf y}={\bf 0} \quad\Longleftrightarrow\quad ({\bf x}, {\bf y}) \in \hbox{Ker }{\bf T} \quad\Longleftrightarrow\quad {\bf y} = f({\bf x}) = - B^{-1}A{\bf x}\,. $$ 現在將線性變換 ${\bf T}$ 換為一般的函數 ${\bf F}: {\Bbb R}^n \times {\Bbb R}^m \mapsto {\Bbb R}^m$。 隱函數定理的問題相當於 : 已知 ${\bf F}({\bf a}, {\bf b}) = {\bf F}({\bf x}_0, {\bf y}_0)={\bf 0}$, 是否存在函數 ${\bf f}({\bf x})$ 滿足 ${\bf b}={\bf f}({\bf a})$ 使得方程式 ${\bf F}({\bf x}, {\bf y})={\bf 0}$ 的解可以表示為 ${\bf y}={\bf f}({\bf x})$? 通常是得不到 ${\bf y}$ 這個解。 類似於 \eqref{4.19}$-$\eqref{4.21} 的討論, 最重要的一步仍然是均值定理 \begin{align} {\bf F}({\bf x},{\bf y})-{\bf F}({\bf x},{\bf b})={{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x},{\bf b})({\bf y}-{\bf b})+o({\bf y}-{\bf b}) \simeq {{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x},{\bf b})({\bf y}-{\bf b})\,,\nonumber\\ {\bf y} \simeq {\bf b}- \bigg({{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}, {\bf b})\bigg)^{-1} {\bf F}({\bf x},{\bf b}) \simeq{\bf y}_{0}- \bigg({{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0, {\bf y}_0)\bigg)^{-1} {\bf F}({\bf x},{\bf y}_0)\,, \label{4.24}\end{align} 其中 ${{\partial {\bf F}}\over{\partial {\bf y}}}$ 是Jacobian矩陣 \begin{align} {{{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0,{\bf y}_0)}= \left [\begin{matrix} {{{\partial f_1}\over{\partial y_1}}({\bf x}_0,{\bf y}_0)}& \cdots& {{{\partial f_1}\over{\partial y_m}}({\bf x}_0,{\bf y}_0)} \\ \vdots & \ddots & \vdots \\ {{{\partial f_m}\over{\partial y_1}}({\bf x}_0,{\bf y}_0)}&\cdots&{{{\partial f_m}\over{\partial y_m}}({\bf x}_0,{\bf y}_0)} \end{matrix} \right ]\,. \label{4.25}\end{align} 利用 \eqref{4.24} 定義迭代數列 $\{{\bf y}_n\}_n$ \begin{align} \left\{ \begin{aligned} {\bf y}_{1}&={\bf y}_{0}- \bigg({{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0, {\bf y}_0)\bigg)^{-1} {\bf F}({\bf x},{\bf y}_0)\,, \\ &\cdots\cdots \\ {\bf y}_{n+1}&={\bf y}_n- \bigg({{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0, {\bf y}_0)\bigg)^{-1} {\bf F}({\bf x},{\bf y}_n),\qquad n=0,1,2,\ldots\,. \end{aligned} \right. \label{4.26}\end{align} 定理 4.6 (隱函數定理): 已知向量函數 $$ {\bf F}=(f_1, f_2,\ldots, f_m)^T: {\Bbb R}^{n}\times {\Bbb R}^{m} \mapsto {\bf F}({\bf x},{\bf y}) \in {\Bbb R}^{m}\,. $$ 在 $ ({\bf a},{\bf b})=({\bf x}_0,{\bf y}_0) $ 附近是連續可微, 且 $ {\bf F}({\bf x}_0,{\bf y}_0)={\bf 0}, $ 其 Jacobian 矩陣為一非奇異 $m \times m$ 矩陣, $\det {{{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0,{\bf y}_0)}\not=0$, 則存在 ${\bf x}_0$ 之開鄰域 ${\bf N}_{\bf x} \subset {\Bbb R}^{n}$ 及 ${\bf y}_0$ 之開鄰域 ${\bf N}_{\bf y} \subset {\Bbb R}^{m}$ 與唯一的連續可微函數 $\hat {\bf y}: {\bf N}_{\bf x} \mapsto {\bf N}_{\bf y}$ 滿足 \begin{align} \hat{ {\bf y}} ({\bf x}_0)={\bf y}_0 ,\quad {\bf F}({\bf x},\hat {{\bf y}}({\bf x}))={\bf 0},\qquad \forall {\bf x} \in {\bf N}_{\bf x}\,, \label{4.27}\end{align} 而且 \begin{align} {\partial \hat{{\bf y}}\over \partial {\bf x}} = -\bigg({\partial {\bf F}\over \partial {\bf y}}\bigg)^{-1}{\partial {\bf F}\over \partial {\bf x}} =\left[\begin{matrix} {\partial f_1\over \partial y_1}& \cdots& {\partial f_1\over \partial y_m} \\ \vdots & \ddots & \vdots \\ {\partial f_m\over \partial y_1}&\cdots&{\partial f_m\over \partial y_m} \end{matrix} \right]^{-1}\left[\begin{matrix} {\partial f_1\over \partial x_1}& \cdots& {\partial f_1\over \partial x_n} \\ \vdots & \ddots & \vdots \\ {\partial f_m\over \partial y_1}&\cdots&{\partial f_m\over \partial x_n} \end{matrix} \right]\,. \label{4.28}\end{align} 此外 ${\bf F}$ 與 $\hat {{\bf y}}$ 有相當的光滑性, 也就是說 : 如果 ${\bf F}$ 是 $k$ 次/無限次連續可微則 $\hat {{\bf y}}$ 也是 $k$ 次/無限次連續可微。 要使得隱函數存在又有好的性質就必需要求原來的函數也有等程度的 好性質。
[證明]:
與反函數定理一樣的想法是利用 Banach 定點定理, 由 \eqref{4.26} 可以定義算子
\begin{align}
T_{\bf x}({\bf y})= {\bf y}- \bigg({{\partial {\bf F}}\over{\partial {\bf y}}}({\bf x}_0, {\bf y}_0)\bigg)^{-1} {\bf F}({\bf x},{\bf y})\,,
\label{4.29}\end{align}
並證明 $T_{\bf x}$ 是一個縮像, 有興趣的讀者可參閱 [註解]:
5. 應用二: 微分方程 (Picard 迭代法)歷史上逐次逼近法第一次有系統地被使用是法國數學家 Charles Émile Picard (1856$\sim$ 1941) 6 6 微分方程之外 Picard 在複變函數也留下腳蹤, 就是 Picard 大、 小定理(Great Picard's Theorem, Little Picard's Theorem)但一個學期的複變是絕對學不到這兩個漂亮的定理。 在處理微分方程的存在性與唯一性時所建立起來的。 我們考慮一階微分方程的初值問題 \begin{align} {dx\over dt} = \dot x = f(t,x),\qquad x(0)=x_0\,. \label{5.1}\end{align} 直接積分所以 \eqref{5.1} 等價於積分方程 \begin{align} x(t)= x_0 + \int_0^t f(s, x(s)) ds\,, \label{5.2}\end{align} 將 \eqref{5.2} 的右邊定義為 \begin{align} T(x) = x_0 +\int_0^t f(s, x(s)) ds\,. \label{5.3}\end{align} 這就說明我們可以將微分方程解的存在問題轉化為算子的定點 (fixed point) 問題。 由 \eqref{5.3} 自然得出所謂的 Picard 迭代法 (Picard iteration) \begin{align} x_{n+1} = x_0 +\int_0^t f(s, x_n(s)) ds,\qquad n=0,1,2,\ldots\,. \label{5.4}\end{align} Picard 迭代法在理論上的價值遠高於實用, 因為對於複雜的函數 $f(t,x)$, 用這個迭代法 \eqref{5.4} 來得到逼近解 (approximate solution) 是非常不實際的。 例題 5.1: 試利用 Picard 迭代法得一階微分方程的解 \begin{align} {dx\over dt} = \dot x =tx,\quad x(0)=1\,. \label{5.5}\end{align} [解]: 此時 $f(s,x_n(s))=sx_n(s)$, 根據 \eqref{5.4} 可以得出迭代數列 $$ \begin{aligned} x_0 &= x(0)=1\,,\\ x_1 &= T(x_0)= 1 + \int_0^t 1\cdot s ds = 1+{t^2\over 2}\,,\\ x_2 &= T^2 (x_0) = T (x_1) = 1 + \int_0^t \bigg(1+{s^2\over 2}\bigg)s ds = 1+ {t^2\over 2}+{t^4 \over 8}\,,\\ x_3 &= T^3 (x_0) = T (x_2) = 1 + \int_0^t \bigg(1+{s^2\over 2}+{s^4\over 4}\bigg)s ds = 1+ {t^2\over 2}+{t^4 \over 8}+{t^6\over 48}\,,\\ &\cdots\cdots\cdots\cdots\\ x_n &=T^n (x_0) = 1 + {{t^2 \over 2}\over 1!} +{({t^2 \over 2})^2\over 2!} +{({t^2\over 2})^3\over 3!}+\cdots\,. \end{aligned} $$ 所以 $$ x= \lim_{n\to \infty} x_n = \sum_{n=0}^\infty {({t^2\over 2})^n \over n!} = e^{t^2\over 2}\,.{\Box} $$ 將 \eqref{5.5} 右邊的係數 $t$ 換為虛數 $i$ \begin{align} {dx\over dt} =\,&ix,\qquad x(0)=1\,,\nonumber\\ {\hbox{其解為}} x(t) = e^{it} =& \sum_{n=1}^\infty {(it)^n \over n!} = \cos t +i \sin t\,. \label{5.6}\end{align} 從微分方程的角度而言, 一個從 $0$ 出發, $x(0)=1$ 微分(變化)等於自己尺寸 $i$ 倍的函數必然是一個在單位圓上逆時針旋轉 $t$ 度的函數; $x(t)=e^{it}=\cos t +i\sin t$。 取 $t=\pi$ 就是著名的 Euler 等式 (Euler identity) 7 7 英國 BBC 電視台的數學科普節目曾播放過『 Euler 等式』, 但該節目主持人將 Euler 等式表示為 $e^{i\pi}=-1$, 雖然這沒有錯但卻不是 Euler 的原意。 如果不是表示為 \eqref{5.7} 的形式, 就說明他(她)不懂 Euler 等式。 \begin{align} e^{i\pi} +1=0\,. \label{5.7}\end{align} Euler 稱她為最美的公式, 因為 \eqref{5.7} 包含了加法與乘法這兩個基本運算還有 $0$ 與 $1$ 這兩個基本運算的單位元素 (identity), 另外數學中會出現的常數 $i, \pi, e$ 都在這裡邊。 從 Picard 迭代法(逐步逼近)來看 Euler 等式是非常有趣: $$ e^{i\pi} = 1+ i\pi + {(i\pi)^2\over 2!} + {(i\pi)^3\over 3!}+\cdots\,, $$ 我們逐步將這些向量加起來, 可以看出這些點(向量) $$ \begin{aligned} x_0 &=1,\quad x_1 = 1+ i\pi,\quad x_2 = 1+ i\pi + {(i\pi)^2\over 2!},\\ x_3 &= 1+ i\pi + {(i\pi)^2\over 2!} + {(i\pi)^3\over 3!},\quad \cdots \end{aligned} $$ 依逆時針旋轉形成一個螺旋朝 $x= -1$ 這個點逼近(參考圖9)。
定理 5.2 (Picard): 已知 $a,b\in {\Bbb R}$ \begin{align} \Omega=\{(t,x)| |t-t_0|\le a, |x-x_0|\le b\} \label{5.8}\end{align} 是一矩形、 而 $f(t,x)$ 是定義在 $\Omega$ 上的連續函數, 因為 $\Omega$ 是一緊緻集所以 $f$ 在 $\Omega$ 是有界 \begin{align} |f(t,x)|\le c\qquad (t,x) \in \Omega\,, \label{5.9}\end{align} 且對 $x$ 滿足 Lipschitz 8 8 Rudolf Lipschitz (1832$\sim$1903) 是德國數學家, 他最被人所知大概就是這個工作, 他另一個重要的成果是利用力學定律來詮釋 Riemann 幾何, 這對於後來愛因斯坦發展相對論有所貢獻。 條件 \begin{align} |f(t,x_1)-f(t,x_2)|\le k |x_1-x_2|,\qquad (t,x_1), (t, x_2)\in \Omega\,, \label{5.10}\end{align} 則一階微分方程 \begin{align} {dx\over dt} = \dot x =f(t,x),\qquad x(t_0)=x_0 \label{5.11}\end{align} 總是存在唯一解$x(t)$ 而且$t\in I=[t_0-\beta, t_0+\beta]$, 其中 \begin{align} \beta \lt \min \bigg\{a, {b\over c}, {1\over k} \bigg\}\,. \label{5.12}\end{align}
[證明]:
詳細的證明可參考 (
[註解]:
另一個微分方程的存在性定理也很出名, 這是義大利數學家 Giuseppe Peano (1858$\sim$ 1932) 9 9 Giuseppe Peano (1858$\sim$1932) 最著名的工作是數理邏輯 (Mathematical Logic) 與集合論 (Set Theory)。 自然數的 Peano 公設就是他的傑作, 他同時也是拉丁文專家。 的貢獻。 定理 5.3 (Peano): 已知 $\Omega$ 同定理 5.2 之 \eqref{5.8}, 而且$f(t,x)$是定義在 $\Omega$ 上的連續函數。 如果 \begin{align} |f(t,x)|\le c,\qquad (t,x)\in \Omega \label{5.17}\end{align} 則至少存在一可微連續函數 $x(t)$ 滿足一階微分方程 \begin{align} {dx\over dt} = \dot x =\,&f(t,x),\qquad x(t_0)=x_0\nonumber\\ {\hbox{其中}} |t-t_0|\le \,&\beta\equiv \min\bigg\{a, {b\over c}\bigg\}\,. \label{5.18}\end{align}
[證明]:
這個證明要用到 Arzela-Ascoli 定理詳細可參考 ( [註解]:
誌謝: 自從大四跟李育嘉教授學了 Banach 定點定理之後, 就一直深愛著這個定理。 育嘉老師詮釋了一個漂亮定理的美學標準而且如何正確地鑑賞數學美, 這讓我擺脫大二以來 $\epsilon$-$\delta$ 的糾葛並影響了我的數學觀。 在此謹將此文獻給李育嘉教授並祝他 70 歲生日快樂。 參考文獻兩位作者都是蜚聲國際的數學家, 寫的書自然有一定的可看性。 第一位作者的父親 George Birkhoff (1884$\sim$1944) 可以稱為美國(本土)第一位國際級的大數學家。 歷史上父子同為數學家的例子倒是不少。 其實 Garrett Birkhoff 更被人所知是因為另一本與 Saunder MacLane 合寫的代數教科書《 A Survey of Modern Algebra》。 這本書是進階的微分方程, 讀者學過基礎的(偏計算)微分方程之後想更深入理解微分方程(但不包括動態系統; Dynamical System), 我會推薦此書。 作者就是寫工程數學的 E. Kreyzig (Advanced Ehgineering Mathematics, 9 edition, Wiley, 2006)。 這本書的特色就是不需要 Topology 所以讀起來特別輕鬆, 連工學院的學生也不太困難, 讀者若想自修泛函分析這本應該非常合適。 我大四修泛函分析時李育嘉教授就是用這本書, 這門課除了是應數研究所的基本課之外也開給電機研究所的學生(因為學控制需要泛函分析)。 這本書的寫作方式非常不同於傳統的教科書 (定義、 定理、 證明這種無血、 無淚、 沒有感情之三段式論證)。 介紹完基本概念與定理之後作者並沒有急著給出證明, 而是先舉了一些簡單的例子之後馬上有一些類似題讓讀者練習。 作者應該是想藉由例子來幫助讀者理解定理。 一旦讀者了解定理的意義之後才移動到每一章最後面的定理證明, 以掌握證明的技巧。 這實在是非常友善(friendly)的安排, 讀數學一定要有感覺而好的例子(example)則提供了數學思考的模式。 我第一次教高等微積分就是用這本書。 正如 Bernoulli 兄弟、 作者也是兄弟檔數學家。 這是我所看過中文數學分析教科書最好的一套書, 理由很簡單這兩本書是作者讀過且消化過後的傑作, 而且是用自己的語言所表達所以沒有閱讀外文著作之文化的隔閡。 這套書非常適合自修但要慢慢讀因為思想轉化為文字有一定的困難度與抽象的程度。 在那個『 來來來、 來台大; 去去去、 去美國。』的年代, 作者肯花心思寫這一套書實在是令人欽佩。 ---本文作者為國立交通大學應用數學系退休教授--- |