CPM論文翻譯(CVPR2016)


ABSTRACT

姿態機提供了一種對豐富隱空間模型的學習的連續幀估計。我們為姿態識別系統地設計了一個卷積網絡,可以學習圖像特征和依賴圖像的空間模型。論文貢獻:隱含地對長距離關系建模(關節)。我們設計了一個級聯網絡結構,由輸入為前一個網絡的信任圖的卷積網絡構成。它一層一層改進對部件的估計,不用顯式的圖模型作為參照。我們運用中間監視層解決了權重消失的問題,它可以再豐富反向傳播權重並且調整學習過程。我們在。。。三個數據集上取得了很好效果。

INTRO

為了估計姿態,我們介紹CPM。CPM繼承了PM的架構——從圖片和多部件線索之間的長距離關系進行隱含學習,讓學習和輸出推斷(一個模塊化串聯設計)緊密整合,並和卷積架構的優點(直接從數據讀出圖像和空間的特征表達)結合;整個網絡可導,可以用BP進行全局聯合訓練;應對大數據量。
CPM包含串聯卷積網絡,重復為區域產生2D信任圖。每一個時期,圖特征和前一時期的信任圖是輸入。信任圖為下一階段產生空間不確定度的無參數編碼,讓CPM學習有較強圖片依賴的部分間的空間模型。我們沒有用圖片模型或特殊事后處理方法來剖析信任圖,而是用卷機網絡直接作用於中間層,學習部件之間關系的隱含的圖依賴空間模型。整體來說,多步的架構是完全可導的,因此可以從頭到尾用BP來訓練。
在CPM一個特殊階段,部件信任的空間信息為下一時期提供了一個強大的解釋性線索。結果每一個時期CPM表現都在進步。為了捕捉長距離部件之間的信息,每一個串聯網絡的設計任務核心是得到圖像和信任圖的大感受野。我們發現其中信任圖的大感受野尤為重要,影響結果准確性。
用多層多個網絡組成一個CPM,有權重消失的風險。因為BP的層太多,所以會消失。近期研究,中間層進行監督學習會改善結果,但只限於經典問題。我們周期性添加中間監視層來讓權重保留。我們也討論了這個預測網絡的不同訓練策略。
我們主要貢獻:
a。利用串聯卷積網絡學習隱含空間模型
b. 為完成結構的預測任務,系統化設計架構學習架構來學習圖特征和圖依賴空間模型,而不用任何圖片模型。我們在訓練集取得很好效果,分析了用中間監視層的聯合訓練效果。

姿態估計經典方法:用形象化結構,部件的空間關系用樹結構圖像來表示,其中用人體四肢耦合的動力學的先驗知識。這方法在所有四肢都可見的情況有用,但可能在樹結構沒有捕捉到兩變量之間關系時發生重復計數的錯誤。K的工作,基於圖結構模型但在圖像表示上有差別。
階層模型:產生不同大小的階層樹結構。隱含假設是這些模型是容易辨認的結構,能幫助推導小的難以檢測的部件。
非樹結構模型,運用交互,對有多余邊界樹結構引入循環,可以捕捉對審,遮擋,和長距離關系。這些方法通常在學習和測試時期依賴大概的推斷,因此必須讓精確建模和高效推斷(經常是簡單的允許快速推斷的參數模式)相平衡。
相反,基於串聯預測的方法框架學習隱含空間模型,直接訓練推斷過程,可發掘變量間許多復雜的關系。
。。。

METHOD

我們把結構標簽(也就是部件)的第p個像素位置叫Yp,Z是圖像中所有(u,v)位置的集合。我們目標是為所有P部件預測圖像位置

姿態機包含級聯的多分類的預測器gt(.),被訓練來預測階層中每一級別每一個部分的位置。在每一個階段t中,分類器gt(.)預測將位置划分為這一軀干Yp=z的信任度,基於從圖片中提取的特征(用Xz表示,d維)和周圍像素產生的前一個分類器的組織信息。第一階段的一個分類器,產生如下信任度:

bp是由分類器預測的把p個部分分配給z個位置的score。我們把所有位置z的部件p的所有信任度表示為bt,其中w和h是寬和高。

方便起見,我們用信任圖來表示所有部件的bt(P個部件加上背景)
接下來的階段,分類器預測了把一個位置分配到各個部件Yp的信任度,基於
1.圖像數據xz的特征,
2.上一個分類器產生的Yp附近的組織信息:

其中fai(t>1)是從b(t-1)到組織信息的映射。每一個階段,計算出的信任度讓每一個部件的位置估計都在不斷被改善。注意到:我們讓后面階段的圖像特征xz和第一階段不同。PM用boost隨機森林來預測gt,讓手部圖像特征在每個階段都一樣,並在每個階段手模型映射都捕捉空間環境。

CPM
我們展示了預測和圖像特征計算模塊可以被深度網絡架構來取代,其中圖像和組織特征的表達可以從數據中直接學習。卷積架構讓全局可導,因此可以CPM所有階段聯合訓練。CPM可以描述為在PM隱含空間模型框架下的卷積架構。

1)用局部圖線索來進行關鍵定位
第一階段只用局部圖線索來預測部件信任度。figure 2c展示用本地圖信息的部件檢測的深度網絡。先序哦是局部的因為第一階段感知野只是輸出像素附近的一小塊。我們用5層卷機網絡組成的結構(尾部是量個1x`1卷積層的全卷積架構)。實踐中,為了得到一定精度,我們把圖片標准化為368x368,感受野是160x160.網絡可以看成讓深度網絡在圖像上滑動,並將160x160中局部圖像線索回歸至代表了各個部件在各個位置的score的P+1大小輸出向量。
2)基於空間環境信息的級聯預測
對於性狀穩定的頭和肩膀,檢測效果很好,然而人體骨架的連接處准確率就很低,因為形狀差異很大。部件周圍的信任映射,雖然有噪聲,但是很有價值。figure 3中,當檢測右手肘時,右肩膀的信任映射達到高峰,可以成為一個很強的線索。后續階段的預測器(gt)可以用圖位置z附近含有噪聲的信任映射里的空間組織信息(fai),並且利用“部件的幾何設定都是恆定的”這一事實來提高改善預測。
第二個階段,分類器g2接收特征x2和前一階段fai的輸入。前一階段不同部件的位置z附近的空間區域產生信任映射,特征方程是把信任映射出的特點編碼。CPM不用顯式方程來計算環境特征,而是定義含有前一階段信任度的fai作為預測機的感受野。
這個網絡的設計為了在第二階段輸出層得到一個足夠大的感知野,可以學習復雜和長距離的部件關系。通過應用遷移階段的輸出層特征(而不是用圖模型的顯式方程),后續卷積層自由結合最有預測力的特征,來形成環境信息。第一階段的信任映射來自用小感知野來檢驗局部圖像的網絡。第二階段,我們設計了一個極大擴充的等價感知野。大感知野可以用兩種方法實現:犧牲准確度的池化,增加參數為代價的加大卷積核大小,或者冒着可能讓反傳消失風險增加網絡層數。我們選擇增加卷積層,在8x降維熱力圖上達到大感知野,讓我們盡可能減少參數數量。8步網絡更容易獲得大感知野,它和4步網絡表現一樣好(在高精確度區域也是)。我們也在PM之后圖像特征上映射上重復了類似架構,讓空間組織依賴圖像而且允許錯誤關聯。
我們發現,感受野變大,准確性也變大。通過一系列實驗,figure 4的准確度隨着感受野的變化曲線,改變感受野只通過改變結構而不是增加參數。准確度隨着感受野變大而變大,在250像素飽和,這也大概是歸一化物體的大小。這說明,網絡確實讓遠距離物體關系編碼,並且這是有益的。我們最好的數據集中,我們把圖像歸一化為368x368,基於第一級信任映射的第二級感知野輸出是31x31,這和原始圖片的400x400像素等價,其半徑可以覆蓋任何部件。當階段增多,有效感知野就會變大。我們有6個階段。
3)用CPM學習
這個深度架構可以有許多層。訓練這個網可能讓梯度消失,就是反向傳播在中間層會減弱。
pm級聯預測框架有一個自然的解決這個問題的方法。我們不斷激勵這個網絡,通過在每個階段t的輸出定義一個損失函數,讓預測的和實際信任映射的距離最小化。部件p理想的信任映射是bp,通過把p部件的最可能點設定在ground truth位置。損失函數是

整個架構得到的物體可以通過將各階段損失累加得到:

我們用標准st梯度下降來訓練所有T階段。為了分享所有后續階段的特征,我們共享t>=2階段對應卷積層的權重。

EVALUATION

1)分析
解決權重消失。上一個公式描述了一個可以分解的損失函數。和中每一個周期都作用於網絡,加強了中間層的監督。中間監督層優勢:即使全架構有許多層,也不會陷入權重消失的困境。
在有監督和無監督架構,我們觀察不同深度的梯度高度來驗證。我們發現在較早的epoch中,從輸出到輸入,無監視層的模型在0附近有沖激高峰,這是因為權重消失。有中間監視層的就會有大方差,說明所有層之間都在學習。我們也注意到訓練進行中,梯度高度分布的方差減少直到模型收斂。
對全階段學習的好處。我們看到figure 6 用設計合理的卷積架構來代替PM的模塊,相比14年的方法帶來結果極大提升。
訓練策略的對比。我們比較了在帶有標簽的人為中心的LSP訓練集的不同訓練。為了顯示中間監視層的優越,我們用下列方法:
1.用強化監視層的全局損失函數訓練scratch
2.每一個階段用前向傳播,並且堆砌結果
3.和1.一樣,但將2的結果作為初始化參數
4.和1.一樣但是沒有中間監視層。
我們發現1.表現最好,顯示了中間監視層和聯合訓練是好結果的必需。2.中的stage-wise在未達到最優時飽和,3.中聯合精細調節改善了結果,使之接近於1.,但是需要更多迭代。
階段間表現。可以從figure6看出,表現從1到5單調增,下一階段的預測機用了上一階段的感知野中的環境信息,可以分辨前景和背景。我們看到第6階段不再增長,於是這是我們最優結果。
2)數據集和定量分析
我們在不同數據集里。。。測試。為了讓樣本歸一化到368x368,我們先resize圖片,讓樣本大小相同,根據中心位置修剪、填補圖片,如果可能,應用數據集來估計粗略大小。在沒有這些信息的LSP,我們根據聯合位置和圖片大小來估計。為了測試,我們做了類似變形修剪填補,但必要時估計中心位置和大小。另外,我們將不同大小信任映射融合,解決給定大小不准確的情況。
下文略


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com