Logistic Regression 筆記與理解


Logistic Regression 筆記與理解

Logistic Regression

Hypothesis 記為 H(theta)

H(theta)=g(z)
其中g(z),是一個叫做Logistic Function的函數,g(z)函數定義如下:
image
對應圖像如下:
image
這是一個值域為0~1的s型函數,在理解中可以認為:
落在曲線上的任意一點A
A的橫坐標對應的縱坐標值是z參數,或者說z對象屬於“1”的概率。
在Logistic Regression中

g(z)的參數z為:

一個線性或非線性函數的向量化表示
這個函數對應的圖像被稱作決策邊界
兩種決策邊界的例子:
線性:
image
非線性:
image
為了方便,以下我們只討論線性邊界的情況
線性邊界的表示為
X’*theta
image
所以Logistic Regression Hypothesis 定義如下:
image
如上所說,Hypothesis定義了結果取1的概率,因此對於輸入x分類結果為類別1和類別0的概率分別為:
image
以上是Logistic Regression Hypothesis 的理解

Logistic Regression Cost Function 記為 J(theta)

Cost 的主要功能是計算H(theta)和答案Y的差距,在線性回歸中這個差距可以用方差解決,但是Logistic問題只有+-兩種答案,所以Logistic Regression的Cost函數應該是這樣的:
image
整合為一個函數
image
我們便得到了Logistic Regression的Cost Function。

接下來就是求解Cost Function最小值的方法-梯度下降

或使用Matlab 內建miniziae函數


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2020 ITdaan.com