看~我這麼低調

(1)音：ㄉㄧ 一聲

(2)義：熵Shannon

在我們日常生活中，似乎經常存在看「不確定性」的問題。比方說，天氣預報員常說「明天下雨的可能性是 70%。這是我們習以為常的「不確定性」問題的一個例子。一般不確定性問題所包含「不確定」(uncertainty) 的程度可以用數學來定量地描述嗎？在多數的情況下是可以的。

本世紀40年代末，由於信息理論 (information theory) 的需要而首次出現的 Shannon 熵，

50年代末以解決遍歷理論 (ergodic theory) 經典問題而嶄露頭角的 Kolmogorov 熵，

以及60年代中期，為研究拓樸動力系統 (topological dynamical system) 而產生的拓樸熵 (topological entropy) 等概念， 都是關於不確定性的數學度量。

它們在現代動力系統和遍歷理論中，扮演看十分重要的角色。在自然科學和社會科學中的應用也日趨廣泛。 熵的概念最先在1864年首先由克勞修斯提出，並應用在熱力學中。

後來在1948年由克勞德•艾爾伍德•香農第一次引入到資訊理論中來。

[編輯] 定義 熵在資訊理論的定義如下：

如果有一個系統S記憶體在多個事件S = {E1,...,En}, 每個事件的概率分佈 P = {p1, ..., pn}，則每個事件本身的資訊為 He = - logpi

如英語有26個字母，每個字母的信息量為 (對數以2為底，單位是比特）；

而漢字常用的有2500個，每個漢字的信息量為 整個系統的平均信息量為 這個平均信息量就是資訊熵。因為和熱力學中描述熵的玻耳茲曼公式一樣，所以也稱為熵

1. Shannon 熵
2. Kolmogorov 熵
3. 拓樸熵 (Topological Entropy)
4. Boltzmann 熵 【事】 熵

(1)【理】熱力學均衡狀態之一
(2)【統計力學】系統隨機變化的程度
(3)【資訊理論】平均資訊量 【事】 一致,均質性 【理】 等熵的,定熵的分享