上課筆記

資訊熵(Shannon entropy) 在資訊理論中，熵是指接收的每條消息中包含的資訊的平均量，為不確定性的量度，越隨機的信源熵越大，又被稱為資訊熵、信源熵、平均資訊本體。依據 Boltzmann's H-theorem，Shannon 把隨機變量 $X$ 的熵值 $H$（希臘字母Eta）定義如下，其值域為 $\{x_1, \cdots, x_n\}$： $$\mathrm {H}(X)=\mathrm {E}[\ \mathrm {I} (X)\ ]=\mathrm {E} [-\ln(\mathrm {P} (X))]$$ 其中，$\mathrm {P}$ 為 $X$ 的機率質量函數（probability mass function），$\mathrm {E}$ 為期望函數，而 $\mathrm{I}(X)$ 是 $X$ 的資訊量（又稱為資訊本體）。 $\mathrm{I}(X)$ 本身是個隨機變數。當取自有限的樣本時，熵的公式可以表示為： $$\mathrm {H} (X)=\sum _{i}{\mathrm {P} (x_{i})\,\mathrm {I} (x_{i})}=-\sum _{i}{\mathrm {P} (x_{i})\,\log_b\mathrm {P} (x_{i})}$$ 在這裡 $b$ 是對數所使用的底，當 $b = 2$，熵的單位是 bit；當 $b = e$，熵的單位是 nat；而當 $b = 10$，熵的單位是 Hart。 若存在 $p_i = 0$ 時，對應的被加數值將會是 $0$，這與極限一致。 $$\begin{align}\lim _{p\to 0^+}p\log p &=\lim _{q\to \infty}\frac{1}{q}\log{\frac{1}{q}}\\ &=\lim _{q\to \infty}\frac{-\log q}{q}\\&=\lim _{q\to \infty}\frac{-1}{q}\qquad\qquad\qquad\qquad\text{(by L'Hospital's rule)}\\&=0 \end{align}$$ 最大熵(Maximum entropy) 熵...

機率(probability) 機率是人類基於不確定性的描述，對於已經發生或確定的事情，我們一般會說機率為 1；對於不太可能發生的事，我們會說發生機率接近於 0 ，以上這段描述說明了機率的上界與下界。接下來以投擲硬幣為例，列出在機率會用到的相關名詞定義： 試驗(trail)：投擲一次硬幣。 試驗結果(outcome)：投擲硬幣的結果(正面 <H>、反面 <T>)。 樣本空間(sample space)：所有試驗結果所產生的集合 $\mathrm{U} =\{\ H,\ T \ \}$ 。 事件(event)：符合設定條件的樣本空間子集合。 隨機變數(random variable)：將樣本空間的元素對應到實數的對應函數。 機率密度函數(probability density function, PDF)：$(x, y):y=\mathrm{P}(X=x)$，其中 $X$ 為一連續型隨機變數(continuous random variable)。 機率質量函數(probability mass function, PMF)：$(x, y):y=\mathrm{P}(X=x)$，其中 $X$ 為一離散型隨機變數(discrete random variable)。 累積分布函數(cumulative distribution function, CDF)：$F_X(x) = \mathrm{P}\{X \leq x\}.$。 蒙特霍問題(Monty Hall problem) 蒙特霍問題又稱三門問題，是一個源自博弈論的數學遊戲問題，大致出自美國的電視遊戲節目Let's Make a Deal，問題的名字來自該節目的主持人蒙蒂·霍爾，該問題的修正描述如下： 參賽者在三扇門中挑選一扇。他並不知道內裏有甚麼。 主持人知道每扇門後面有什麼。 主持人必須開啓剩下的其中一扇門，並且必須提供換門的機會。 主持人永遠都會挑一扇有山羊的門。 如果參賽者挑了一扇有山羊的門，主持人必須挑另一扇有山羊的門。 如果參賽者挑了一扇有汽車的門，主持人隨機（機率均勻分布）在另外兩扇門中挑一扇有山羊的門。 參賽者會被問是否保持他的原來選擇，還是轉而選擇剩下的那一道門。 節錄自 維基百科 要解決...

前言 機器學習是從 模型識別(pattern recognition) 以及 計算學習原理(computational learning theory) 所衍生出來的學科，其主要目標為藉由提供的資料來達到特定的目的。目前已廣泛應用於資料探勘、電腦視覺、自然語言處理、生物特徵識別、搜尋引擎、醫學診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰略遊戲和機器人等領域。依照有無資料標籤（Label）可以分為 監督式學習（Supervised Learning）以及 非監督式學習（Unsupervised Learning）。 監督式學習（Supervised Learning）: 在訓練的過程中告訴機器答案、也就是「有標籤」的資料，比如給機器各看了 1000 張蘋果和橘子的照片後、詢問機器新的一張照片中是蘋果還是橘子。 非監督式學習（Unsupervised Learning）: 訓練資料沒有標準答案、不需要事先以人力輸入標籤，故機器在學習時並不知道其分類結果是否正確。訓練時僅須對機器提供輸入範例，它會自動從這些範例中找出潛在的規則。 簡單來說，若輸入資料有標籤，即為監督式學習；資料沒標籤，讓機器自行摸索出資料規律的則為非監督式學習，如 集群（Clustering）演算法。 非監督式學習本身沒有 標籤（Label）的特點，使其難以得到如監督式一樣近乎完美的結果。就像兩個學生一起準備考試，一個人做的練習題都有答案（有標籤）、另一個人的練習題則都沒有答案，想當然爾正式考試時，第一個學生容易考的比第二個人好。另外一個問題在於不知道 特徵（Feature）的重要性，在資料量較少的情況下，可能無法歸納出對預期結果佔有較大權重的 特徵（Feature）。 監督式學習（Supervised Learning） 一般在學習機器學習時，會先從 監督式學習（Supervised Learning）開始。給定資料對 $(x, y)$，$x$為輸入資料、$y$為預期結果，我們可以假設 $y=f(x)$，亦即 $y$ 和 $x$ 是有相關性的，此假設也可以推廣： \begin{array}{ll} 假設輸入\ m\ 個特徵（Feature），分別為\ x_{1}\ ,\ x_{2}\ ,\ x_{3}\ ,\ \cdots\...