机器学习笔记(五)续——朴素贝叶斯算法的后验概率最大化含义


  上一节中讲了朴素贝叶斯算法将实例分到后验概率最大的类。这等价于期望风险最小化。

假设使用0-1损失函数:
L(Y,f(X))={1,0,Yf(X)Y=f(X)

上式中的 f(x) 是分类决策函数, 这时,期望风险函数是:
Rexp(f)=E[L(Y,f(X))]

此期望是对联合分布 P(X,Y) 取的。由此取条件期望
Rexp(f)=EXk=1K[L(ck,f(X))]P(ck|X)
为了使期望风险最小化,只需对 X=x 逐个极小化:
f(x)=argminyYk=1KL(ck,y)P(ck|X=x)=argminyYk=1KP(ckY|X=x)=argminyYk=1K(1P(ckY|X=x))=argmaxyYk=1KP(ck=Y|X=x)
通过以上推导,根据期望风险最小化得到了后验概率最大化:
f(x)=argmaxckP(ck|X=x)
这就是朴素贝叶斯算法所使用的原理。


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com