上課筆記

頻率學派(Frequentist) 與貝葉斯學派(Bayesian) 頻率學派與貝葉斯學派都是用來估計未知參數(機率)的方法，兩者最大的不同點是： 頻率學派主張的是一種評價範式。它沒有先驗，更加的客觀。貝葉斯學派主張的是一種模型方法，通過建立未知參數的模型，在沒有觀測到樣本之前，一切參數都是不確定的。使用觀測的樣本值來估計參數，得到的參數帶入模型使當前模型最佳的擬合觀測到的數據。 頻率學派(Frequentist) 頻率學派一般採用的是 最大似然估計(Maximum likelihood estimation, MLE)，在給定資料 $\mathcal{D}$ 以及機率分布模型，我們想找出在此特定模型下的參數，使得資料 $\mathcal{D}$ 發生的可能性最大。定義 似然函數(likelihood function)： $$\mathcal {L}(\theta \mid \mathcal{D})=P(\mathcal{D}\mid \theta)$$ 其中 $\theta$ 為模型所需的參數。可以看到似然函數的變數為 $\theta$，而非一隨機變量。如果套用貝式定理： $$P(\theta\mid\mathcal{D})=\frac{P(\theta)P(\mathcal{D}\mid \theta)}{P(\mathcal{D})}$$ 以貝葉斯學派觀點來說明的話， MLE 對先驗分布做了均勻分布的假設 ($P(\theta)$ 為定值)，因此若要最大化 $P(\theta\mid\mathcal{D})$，等價於最大化 $P(\mathcal{D}\mid \theta)$，換句話說，均勻部分的先驗並不影響我們最大化的結果，也可以說是不考慮先驗。頻率學派不考慮先驗的原因是因為其認為客觀先驗不存在，要得到準確的機率只能靠增大數據量來逼近。以數學可以表示如下： $$\widehat{\theta}_{MLE} = \arg\max_{\theta}f(x\mid\theta)$$ 其中 $x$ 為獨立同分佈的採樣，$\theta$ 為模型參數，$f$ 為我們所使用的模型。 貝葉斯學派(Bayesian) 貝葉斯學派其中一個估計方式為 最大後驗估計(Maximum a posteriori, MA...