機器學習筆記(五)續——朴素貝葉斯算法的后驗概率最大化含義


  上一節中講了朴素貝葉斯算法將實例分到后驗概率最大的類。這等價於期望風險最小化。

假設使用0-1損失函數:
L(Y,f(X))={1,0,Yf(X)Y=f(X)

上式中的 f(x) 是分類決策函數, 這時,期望風險函數是:
Rexp(f)=E[L(Y,f(X))]

此期望是對聯合分布 P(X,Y) 取的。由此取條件期望
Rexp(f)=EXk=1K[L(ck,f(X))]P(ck|X)
為了使期望風險最小化,只需對 X=x 逐個極小化:
f(x)=argminyYk=1KL(ck,y)P(ck|X=x)=argminyYk=1KP(ckY|X=x)=argminyYk=1K(1P(ckY|X=x))=argmaxyYk=1KP(ck=Y|X=x)
通過以上推導,根據期望風險最小化得到了后驗概率最大化:
f(x)=argmaxckP(ck|X=x)
這就是朴素貝葉斯算法所使用的原理。


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com