候選消除算法


假設與樣例一致:當一個假設能正確分類一組樣例的時候,我們稱這個假設是與這些樣例一致的。具體定義如下:一個假設h與訓練樣例集合D一致,當且僅當對D中的每一個樣例<x,c(x)>都有h(x)=c(x)。即:Consistent(h, D)=(∀<x, c(x)>∈D) h(x)=c(x)。這里的一致和前面定義的滿足時不同的。一個樣例x無論是目標概念的正例還是反例,在h(x)=1的時候成為滿足假設h。然而,這一樣例是否與h一致則與目標概念有關,即是否h(x)=c(x)。

變型空間:候選消除算法能夠表示與訓練樣例一致的所有假設。在假設空間中的這一自己被稱為關於假設空間H的訓練樣例D的變型空間,因為它包含了目標概念的所有合理的變型。VSh,d={h∈H | Consistent(h, D)}。

列表后消除算法:獲取變型空間

1.變型空間VersionSpace<-包含H中的所有假設的列表

2.對每個訓練樣例<x, c(x)>,從變型空間中移除所有h(x) != c(x)的假設h

3.輸出VersionSpace中的假設列表

列表后消除算法首先將變型空間初始化為包含H中所有的假設,然后從中去除與任一訓練樣例不一致的假設。包含候選假設是變型空間隨着觀察到越來越多的樣例縮減,直到只剩一個(理想情況下)與所有樣例一致的假設,這可能就是所有的目標概念。如果沒有充足的數據使得變型空間縮減到只有一個假設,那么該算法將輸出一個集合,這個集合中所有的假設與訓練樣例都一致。

一般邊界:關於假設空間H和訓練數據D的一般邊界G,是在H中與D相一致的最一般(maximally general)成員的集合。

特殊邊界:關於假設空間H和訓練數據D的特殊邊界S,是在H中與D相一致的最特殊(maximally specific)成員的集合。

變型空間的表示定理:令X為一個任意的實例集合,H為X上的定義的布爾假設的集合。令c:X->{0, 1}為X上定義的任一目標概念,並令D為任一訓練樣例的集合{<x, c(x)>}。對於一個假設空間子集H的任一一個h,如果存在一個s∈S,一個g∈G,而且這個h處於s和g之間,則這個假設空間子集就是該假設空間的變型空間。

使用變型空間的候選消除算法

將G集合初始化為H中最一般假設

將S集合初始化為H中最特殊假設

對每個訓練樣例d,進行以下操作:

如果d是一個正例

====從G中移去所有與d不一致的假設

====從S中每個與d不一致的假設s

========從S中移去s

========把s的所有的極小泛化式h加入到S中,其中h滿足

============h與d一致,而且G的某個成員比h更一般

========從S中移去所有這樣的假設:它比S中的另一個假設更一般,也就是留下最特殊的?

如果d是一個反例

====從S中移去所有與d不一致的假設

====從G中每個與d不一致的假設g

========從G中移去g

========把g的所有的最特殊化式h加入到G中,其中h滿足

============h和d一致,而且S的某個成員比h更加特殊

========從G中移去所有這樣的假設:它比G中另一假設更特殊,也就是留下最一般的?


查詢:表示學習器建立的用於由外界進行分類的實例。而概念學習的最優查詢策略,是產生實例以滿足當前變型空間中大約半數的假設。這種查詢是最有分類歧義性的,也是最能提供新的分類信息的。















注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com