極大似然估計法


極大似然估計法是一種參數估計方法,即‘模型已知,參數未知’,再機器學習中,邏輯斯蒂回歸和朴素貝特斯中都可用極大似然估計法來估計參數。下面先解釋極大似然估計法,在總結其在logistic regression中的應用。


原理:一次實驗中就出現的事件(應該)有較大概率,這是很多地方的流行解釋,換種說法,有一個事件A,為簡單起見,我們假設其會發生的事件類別有2種,並且這2種事件類別需是獨立同分布的,接着再一次試驗中,我們獲得了樣本G=(y1,y2,y1,y1,y1,y1,y2),我們現在想知道y1發生的概率p,y2發生的概率就是1-p,極大似然估計就是幫我們找到這樣一個p,它會讓這個樣本G發生的概率最大

計算過程:構造似然函數,兩邊取對數,對未知參數求導數,找到其駐點作為估計參數


logistic regression是liner regression的進化版本,他使線性回歸可以用來做分類問題,線性回歸中我們的模型是 w*x+b,w向量就是我們要求的未知參數,這個模型的值是連續的,無法用來預測,為此我們引入邏輯斯蒂分布,其分布函數是F(x) = 1/1+e^-(x-u)/y,u,y分別為位置和形狀參數,將線性回歸的值帶入分布函數,將其轉換為概率,即p = exp(w*x+b)/(1+exp(w*x+b)),之所以可以這么轉換,是因為x是p的線性函數,也就是說x越大p越大,發生的概率就越大,越偏向於該類別,假設對於2分類問題,我們就可以對訓練數據集使用極大似然估計來對w,b進行參數估計,當然再找駐點時候我們需要使用優化算法,比如梯度下降算法,來找到駐點。


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com