Monday, January 20, 2014

Gauss 分佈的確有最大的 Boltzmann 熵

Gauss 分佈的確有最大的 Boltzmann 熵

什么是熵-------第四部分
分类： 学习笔记 2013-07-29 12:00 48人阅读 评论(0) 收藏 举报
信息论ShannonBoltzmann中央極限定理遍歷理論
4. Boltzmann 熵
熱力學中熵是一個極其重要的概念，最初由 Clausius 引進。 後來 L. Boltzmann 在他發表在1866年關於氣體動力學理論的開創性工作中給出了熵的另一形式。 這個熵在物理、化學的若干領域裡自始至終扮演著關鍵性的角色。 可是 Boltzmann 熵和我們先前定義的 Kolmogorov 熵或拓樸熵並非一致。 儘管如此，它們在數學的背景下，仍存在著千絲萬縷的聯繫。 在這最後一節，我們將遨遊於 Boltzmann 熵的數學描述。
設 $(X,p_1,\cdots,p_n)$ 為一有限樣本空間， 則其 Shannon 熵為$H(p_1,\cdots,p_n)=-\sum_{i=1}^{n}p_i \log{p_i}$ ，現設 $(X,\Sigma,\mu)$ 為一測度空間。 記 L'(X) 為定義在 X 上的 Lebesgue 可積函數全體。 L'(X) 中滿足等式 

\begin{displaymath}\int_{x} f(x)d \mu =1\end{displaymath}


的非負函數了 f(x) 稱為密度函數，其集合記為 D。 易見等式 

\begin{displaymath}\mu_f(A)=\int_{A}f(x)d\mu \quad A\in \Sigma\end{displaymath}


定義了 $(X,\Sigma)$ 上的一個概率測度，其對應的密度就是 f(x)。 概率空間$(X,\Sigma,\mu_f)$ 可看成是無窮樣本空間。 由 Shannon 熵的啟迪，我們可以如下定義 f的 Boltzmann 熵。 為此，令函數 $\eta(\mu)$ 定義為 

\begin{displaymath}\eta(\mu)=\left\{\begin{array}{cc}-u\log{u} & u>0 \\0 & u=0\\\end{array}\right.\end{displaymath}


$\eta(u)$ 的圖像由圖4-1表示。
圖4-1



定義4-1：
設 $f\in D$ 且 $\eta(f)\in L'(X)$ 則 f 的 Boltzamann 熵定義為 

\begin{displaymath}H(f)=\int_{x} \eta(f(x)) d \mu=-\int_{x} f(x) \log{f(x)}d \mu\end{displaymath}


由 $\eta(u)$ 定義知， $\eta '(\mu)=-(\log{u}+1)$， $\eta ''(u) = -\frac{1}{u} <0$。因而η是$[0,\infty)$上的嚴格遞增凹函數， 由Taylor展式，任給$u,v \geq 0$， 
$\displaystyle \eta(u)$=$\displaystyle \eta(v)+\eta '(v)(u-v)+ \frac{\eta ''(\xi)}{2!}(u-v)^2$(1)
 <$\displaystyle \eta(v) + \eta '(v)(u-v)$(2)


即， 

\begin{displaymath}-u\log{u} \leq -v \log{v}-(\log{v}+1)(u-v)\end{displaymath}


簡化之，我們便有有名的 Gibbs 不等式， 

\begin{displaymath}u-u \log{u} \leq v- u\log{v}\end{displaymath}


任給函數 $f,g \in D$，由 Gibbs 不等式和積分的單調性， 

\begin{displaymath}\int_{X} (f(x)-f(x)\log{f(x)}) d\mu\leq \int_{X} (g(x)-f(x) \log{g(x)}d \mu\end{displaymath}


由於 $\int_{x}f(x)d\mu =\int_{x} g(x) d \mu =1$，我們有如下重要的積分不等式： $\forall f,g \in D$ 

\begin{displaymath}-\int_{X} f(x) \log{f(x)}d\mu\leq \int_{X} f(x) \log{g(x)}d\mu \eqno{(4-1)}\end{displaymath}


在有限的樣本空間 (X,p1,…,pn) 中，Shannon 熵在 p1=p2= … =pn=n 時為最大，Boltzmann 熵在概率測度空間裡也有類似的性質。
命題4-2：
設 $\mu(X) < + \infty$，則密度函數 $f_0(x)\equiv \frac{1}{\mu(X)}$ 滿足 

\begin{displaymath}H(f_0)= \log{\mu (X)} = \mbox{max}\{ H(f): f \in D\}\end{displaymath}


證明：
首先易見 $f_0 \in D$。其次，任給 $f\in D$，由不等式(4-1) 

\begin{eqnarray*}H(f)&=& -\int_{X} f(x) \log{f(x)} d\mu \\&\leq& -\int_{X} f......& \log{\mu(X)} \int_{X} f(x) d\mu \\&=& \log{\mu(X)} = H(f_0)\end{eqnarray*}

為了描述一些與Boltzmann熵有關的條件極值問題。 我們引進一些概率論常用的術語。設X為一個隨機變量(Random Variable) ，即X為某一固定樣本空間上的可測實函數。 f(x)為這個測度空間的密度函數，則 

\begin{displaymath}\mbox{E}(X)=\int_{\infty}^{\infty} xf(x)dx\end{displaymath}


稱為 X 的期望值 (Expected Value 或 Expectation)。 而數 

\begin{displaymath}\mbox{Var}(X)=\int_{-\infty}^{\infty} (x-\mbox{E}(X))^2f(x)dx\end{displaymath}


則稱為 X 的變異數 (variance)。期望值是關於於隨機變量 X 平均值的一個度量， 變異數則表示隨機變量偏離其平均值的程度。下列性質，可以輕易的被驗證：
(i) $\mbox{E}(aX+bY)=a\mbox{E}(X)+b\mbox{E}(Y)$
(ii) $\mbox{Var}(cX)=c^2 \mbox{Var}(X)$
(iii) $\mbox{Var}(X)=\mbox{E}(X^2)-\mbox{E}(X)^2$
(iv) 若 X 和 Y「獨立(independent)」則 $\mbox{Var}(X+Y)=\mbox{Var}(X)+\mbox{Var}(Y)$
設有一列獨立隨機變量 $\{X_{k}\}_{k \geq 1}$， $\mbox{E}(X_k)=m_k$， $\mbox{Var}(X_k-m_k)=\sigma_k^2$，令 

\begin{displaymath}S_n=\sum_{k=1}^{n}(X_k-m_k)\end{displaymath}


則， 

\begin{eqnarray*}\mbox{Var}(S_n)&=&\mbox{Var}(\sum_{k=1}^{n}(X_k-m_k)) \\&=& \sum_{k=1}^{n} \mbox{Var}(X_k-m_k)= \sum_{k=1}^{n} \sigma_k^2\end{eqnarray*}


我們標準化 Sn，即令 

\begin{displaymath}T_n = \frac{S_n}{\sqrt{\mbox{Var}(S_n)}}\end{displaymath}


則 $E(T_n)=0,\mbox{Var}(T_n)=1$ 概率理論中有個非常重要的基本定理：中央極限定理 (central limit theorem)。它大概的意思是說， 在漸近狀態下，通常隨機變量 Tn 的概率分佈 (Probability distribution) 是遵循 Gauss 分佈規律的，也就是說， 

\begin{displaymath}\lim_{n \rightarrow \infty } P(a \leq T_n \leq b) =\frac{1}{\sqrt{2\pi}} \int_{a}^{b} e^{-\frac{u^2}{2}} du\end{displaymath}


其中 P 為樣本空間的概率分佈。 但是，為什麼大家都遵循的是 Gauss 分佈規律，而不是其他的分佈規律呢？事實上， 這和熱力學第二定律有異曲同工之妙。熱力學第二定律大致上說，自然界的規律是，一切動態系統都是在向「熵」高的方向發展。 從這個角度來看，在$\mbox{E}(T_n)=0$, $\mbox{Var}(T_n)=1$ 的條件下， Gauss 分佈的確有最大的 Boltzmann 熵，我們用下面的命題，對這點略加說明。
記 $\overline{D}=\{ f \in D : \int_{-\infty}^{\infty} xf(x) dx =0,\int_{-\infty}^{\infty} x^2 f(x)dx =1 \}$

命題4-3
設 $f_0(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$，則 $f\in D$ 且 

\begin{displaymath}H(f_0)= \mbox{max} \{ H(f): f \in \overline{D}\}= \log{\sqrt{2 \pi}}+\frac{1}{2}\end{displaymath}



證明：
由公式 $\int_{-\infty}^{\infty} e^{-x^2} dx = \sqrt{\pi}$ ，易知 $\int_{-\infty}^{\infty} f_0(x)dx= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx =1$ 即$f_0 \in D$，又由部分積分法易證 

\begin{displaymath}\int_{-\infty}^{\infty} x f_0(x)dx =0\end{displaymath}


以及 

\begin{displaymath}\int_{-\infty}^{\infty} x^2f_0(x) dx =1\end{displaymath}


則 $f_0(x) \in \overline{D}$，由不等式(4-1) 

\begin{eqnarray*}H(f) &= & \int_{-\infty}^{\infty} f(x) \log{f(x)}dx\\&\leq&......sqrt{2\pi}} ]dx \\&=& \log{(\sqrt{2\pi})}+\frac{1}{2} = H(f_0)\end{eqnarray*}

類似地，記 $\overline{\overline{D}}=\{f \in D,\int_{0}^{\infty} xf(x) = \frac{1}{\lambda} \}$ 比照上述證明，我們有

命題4-4：
設 $f_0(x)=\lambda e^{- \lambda x}$，則 $f_0 \in \overline{\overline{D}}$， 且 

\begin{displaymath}H(f_0) =\mbox{max}\{ H(f): f \in \overline{\overline{D}} \}=1 -\log{\lambda}\end{displaymath}


上述兩命題，可推廣到下述一般情形。設 $g\in L^{\infty}$，給定約束 

\begin{displaymath}\int_{x} g(x)f(x)dx = \overline{g}\end{displaymath}


則H(f)在此約束下，最大值的密度函數應為 

\begin{displaymath}f_0(x) = \frac{e^{- rg(x)} }{\int_X e^{-rg(x)}dx}\end{displaymath}


其中r為一常數。同樣，若有兩個約束 

\begin{displaymath}\int_{X} g_1(x)f(x)dx = \overline{g_1}\end{displaymath}


和 

\begin{displaymath}\int_{X} g_2(x)f(x)dx = \overline{g_2}\end{displaymath}


則密度函數 

\begin{displaymath}f(x)= \frac{e^{-(r_1g_2(x)+r_2g_2(x))}}{\int_X e^{-(r_1g_2(x)+r_2g_2(x))} dx }\end{displaymath}


給出了H(f)在這兩個約束下的最大值H(f0)， 其中r1,r2為兩常數。更一般地，我們有
命題4-4：
設 $(X,\Sigma,\mu)$ 為一測度空間，非負函數 $g_1,\cdots,g_m \in L^{\infty}(X)$ 及正常數 r1,…,rm 滿足條件 

\begin{displaymath}\frac{\int_{X} g_i(x) \prod_{i=1}^{m} e^{-r_jg_j(x)} d \mu}......{m} e^{-r_jg_j(x)} d \mu }=\overline{g_i},\quad i=1.\cdots,m\end{displaymath}


則 H(f) 在約束 

\begin{displaymath}\int_{X} g_i(x)f(x) dx = \overline{g}_i,\quad i=1,\cdots,m\end{displaymath}


下最大密度值函數為 

\begin{displaymath}f_0(x)=\frac{\prod_{i=1}^{m} e^{-r_i}{g_i(x)}}{\int_{X} \prod_{i=1}^{m} e^{-r_ig_i(x)} d \mu }\end{displaymath}



證明：
為簡單起見，令 $z= \int_X \prod_{i=1}^{m}e^{-r_ig_i(x)} d \mu $，則 $f_0(x)= z^{-1} \prod_{i=1}^{m} e^{-r_i}{g_i(x)}$。 不難算出 

\begin{displaymath}H(f_0)= \log{z}+ \sum_{i=1}^{m} r_i \overline{g}_i\end{displaymath}


任給密度函數 f 滿足上述約束條件，由不等式(4-1)知， 

\begin{eqnarray*}H(f)&\leq& -\int_X f(x) \log{[z^{-1} \prod_{i=1}^{m} e^{-r_ig......] d\mu \\&=& \log{z} + \sum_{i=1}^{m} r_i\overline{g}_i=H(f_0)\end{eqnarray*}

特別，當 m=1 時，若 g(x) 看成是系統的能量時， f0(x)= z-1 e-rg(x) 恰好就是 Gibbs 典型分怖函數，且 $z=\int_X e^{-rg(x)d\mu}$ 為其分析函數，而對應的最大熵$H(f_0)=\log{z}+r\overline{g}$ 恰好就是眾所周知的熱力學熵。

转载自：http://episte.math.ntu.edu.tw/articles/mm/mm_13_3_01/index.html
at

No comments:

Post a Comment