1 - 線性降維

樣本在高維情形下會出現數據樣本稀疏（因為樣本不是均勻分布在每個維度表示的空間中），距離計算困難（歐式距離也不如人想象的那么有效），可視化困難，容易過擬合等問題。所以不論是機器學習，還是人類理解角度，高維都是個不喜歡的話題（當然對於低維樣本線性不可分而上升到高維線性可分的情形並不是這里指的情況）。

因為基於大多人類觀測和收集到的樣本，與學習任務密切相關的也許只是某些低維分布。所以如果適當的降維，可以讓樣本在所需維度上達到更密集的分布，且距離計算問題也能緩解不少。
一般來說，想要獲得低維子空間，最簡單的是對原始高維空間進行線性變換。給定$d$維空間中的樣本${\bf X}=({\bf x}_1,{\bf x}_2,...,{\bf x}_N)\in R_{d \times N}$,變換后得到$d{'} \leq d$維空間中的樣本：
$$\bf X' = W^TX$$
其中${\bf W} \in R^{d\times d{'}}$是變換矩陣，${\bf X'}\in R^{d{'}\times N}$是樣本在新坐標空間中的表達。變換矩陣$\bf W$可以看成是$d'$個$d$維基向量，${\bf x'}_i={\bf W}^T{\bf x}_i$是第$i$個樣本(即$\bf X$中的第$i$個列向量)與這$d'$個基向量分別做內積而得到的$d'$維特征列向量。${\bf x'}_i$同時也可以看成是第$i$個$d$維的樣本${\bf x}_i$在新坐標系$\{{\bf w}_1,{\bf w}_2,...,{\bf w}_{d{'}}\}$中的坐標向量，若${\bf w}_i$與${\bf w}_j$，$(i\neq j)$，則新的坐標系是一個正交坐標系（我們通常的$x,y,z$就是一個正交坐標系），此時$\bf W$為正交變換。顯然，新空間中的特征是原空間中特征的線性組合。
基於線性變換來降維的方法稱為線性降維方法，不同的線性降維方法基本上就是對低維子空間的性質有不同要求，對降維效果的評估，就是比較降維前后學習器的性能。其中主成分分析是一種無監督的線性降維方法，線性判別分析(LDA)是一種有監督線性降維方法。

2 - PCA

PCA是一種降維方法，其可以用來1）可視化；2）預處理；3）建模；4）壓縮。
假設有$N$個樣本$\{{\bf x}_i\}$,其中每個樣本都是$d$維：${\bf x}_i\in R^d$。我們的目標就是用更低維的樣本表示$\{{\bf x}_i'\}$來代替這些高維樣本，其中低維樣本維度為$d'$且$d'<d$。
這可以看成是一個線性變換的形式:
$$\bf { x = Wx'+b}=\sum_{\cal i=1}^{d'}\bf {w}_{\cal i}x_{\cal i}'+b \tag{2.1}$$
其中$\bf W$是一個$d\times d'$的變換矩陣；$x_i$為一個低維樣本表示的列向量，${\bf w}_i$為矩陣$\bf W$的第$i$個列向量。矩陣$\bf W$同樣可以看成是$d'$個基向量即$\bf W=[w_1,...,w_{d'}]$。如果假定樣本獲取過程中會混入高斯噪音，那么該模型就是一個線性回歸模型了，只是這里$\bf x'$是一個未知的線性參數。
為了學習這個模型，對該模型建立目標函數，這里采用最小二乘方法：
$$arg\min_{{\bf W,b},{{\bf x}_i'}}\quad \sum_i||{\bf x}_i-({\bf Wx}_i'+{\bf b})||^2\\subject \quad to \quad {\bf W}^T{\bf W}=\bf I \tag{2.2}$$
這里的限制使得求得的變換矩陣式一個正交矩陣，即等同於:
$${\bf w}_i^T{\bf w}_j=\begin{cases}1 & i=j\\0 & i\neq j\end{cases}$$
其中$\bf x'$所在空間的坐標系為潛在坐標系。具體過程如下：
1）先計算原有樣本矩陣基於樣本的均值向量：
$${\bf b}=\frac{1}{N}\sum_i{\bf x}_i$$
2）:計算原有樣本矩陣中心化后的協方差均值矩陣:
$${\bf K}=\frac{1}{N}\sum_i({\bf x}_i-{\bf b})({\bf x}_i-{\bf b})^T$$
3）:對上述矩陣進行矩陣分解，並計算其特征值和特征向量:
$${\bf K}={\bf V\Lambda V^T}$$
其中$\bf \Lambda$是由特征值組成的對角矩陣${\bf \Lambda}=diag(\lambda_1,...\lambda_d)$;$\bf V$是對應特征值的特征向量，且該矩陣是正交矩陣即，${\bf V}=[{\bf V}_1,...{\bf V}_d]$，$\bf V^TV=I$
對特征值矩陣進行從大到小排序，選取足夠多精度的特征值（即丟棄特征值較小的）
4）:用保留的特征值對應的特征向量組成正交矩陣${\bf W}=[{\bf V}_1,...{\bf V}_{d'}]$
5）:從而新的樣本為${\bf x}_i'={\bf W}^T({\bf x}_i-{\bf b})$,$i\in{1,2,...,N}$

2.1 為什么選取特征值較大的，而不是較小的

假設投影后空間的坐標系為${\bf W} = \{{\bf w}_1,{\bf w}_2,{\bf w}_3,...{\bf w}_{d'}\}$,且其兩兩正交，且原始樣本已經進行了中心化,即均值為0。原始樣本$\{{\bf x}_i\}$在新空間中投影為$\{{\bf x}_i'\}$,且${x}_{ij}'={\bf w}_j^T{\bf x}_i$,是$\{{\bf x}_i'\}$在低維坐標系下第$j$維的坐標值。以此重構得到$\hat {\bf x}_i={\bf Wx}_i'=\sum_{j=1}^{d'}{ x}_{ij}'{\bf w}_j$
基於整個訓練集，原樣本點${\bf x}_i$與基於新空間樣本點重構的樣本點$\hat {\bf x}_i$之間距離為:
$$\begin{eqnarray}\sum_{i=1}^N\left|\left| \sum_{j=1}^{d'}x_{ij}'{\bf w}_j-{\bf x}_i\right|\right|_2^2&=& \sum_{i=1}^N{\bf x'}_{i}^T{\bf x'}_i - 2\sum_{i=1}^N{\bf x'}_i^T{\bf W}^T{\bf x}_i+const\\&=&-\sum_{i=1}^N{\bf x'}_i^T{\bf x'}_i+const\\&=&-\sum_{i=1}^Ntr({\bf x'}_i{\bf x'}_i^T)+const\\&=&-tr\left({\bf W}^T\left(\sum_{i=1}^N{\bf x}_i^T{\bf x}_i\right){\bf W}\right)+const\\&=&-tr\left({\bf W}^T\left({\bf X}{\bf X}^T\right){\bf W}\right)+const\end{eqnarray}\tag{2.1.1}$$
因為訓練集給定，所以基於當前訓練集樣本自我相乘可以看成是一個固定常數const。上式即PCA的目標函數。
假設當前得到了低維空間樣本$X'$，為了使在低維上盡可能分開，則應該使低維樣本集的方差盡可能大。
投影到新空間的樣本方差為:$\sum_{i=1}^N{\bf x'}_i{\bf x'}_i^T$即$\sum_{i=1}^N{\bf W}^T{\bf x}_i{\bf x}_i^T{\bf W}$
等同於求樣本矩陣相乘后的矩陣的跡，即：
$$\max_{\bf w} \quad tr({\bf W}^T{\bf XX}^T{\bf W})\\s.t.\quad {\bf W}^T{\bf W}={\bf I}$$
通過使用拉格朗日乘子法：
$$f(x)=tr({\bf W}^T{\bf XX}^T{\bf W})+\lambda({\bf W^TW-I})$$
因為有公式$\frac{dtr(\bf X^TBX)}{d\bf X}=\bf BX+B^TX$,

將上式關於$\bf W$求導得：
$$2{\bf XX^TW}+2\lambda\bf W=0$$
即 $${\bf XX^TW}=\lambda\bf W$$
剛好是求$\bf XX^T$的特征值問題

3 - LDA

ps：這里所說的LDA用來降維指的是1936年fisher的論文。
決策分析是分類問題的一個生成模型方法，需要對特征擬合一個多元高斯變量模型，正如之前說的，這在高維情況下問題比較棘手，所以如果能將特征從$d$維降低到$d'$維，那么困難就能緩解一些。最簡單的線性投影方法，也就是${\bf X'}=\bf W^TX$。PCA是一種尋找$\bf W$的無監督方法，可是卻沒利用上當樣本有標簽時候的標簽信息；一種代替方法就是使用高斯條件類別密度模型(gaussian class-conditional density model).該方法的合理之處在於我們只是計算潛在特征（非高斯）的線性組合而已。該方法也叫做fisher的線性決策分析（FLDA）.
FLDA是一種決策和生成方法的混合模型，它的缺點在於其映射后的維度$d'<|c|-1$這里$|c|$是類別個數。例對於2類問題，那么只能尋找一個向量$\bf w$來作為變化矩陣。

3.1 兩類問題

對於2類問題，先分別求出不同類別的均值向量：
$${\bf \mu}_1=\frac{1}{N}\sum_{i:{c_1}}{\bf x}_i；{\bf \mu}_2=\frac{1}{N}\sum_{i:{c_2}}{\bf x}_i\tag{3.1.1}$$
假設均值向量映射在某個1維坐標（一條直線）后，得$m_k={\bf w}^T{\bf \mu}_k$且每個樣本映射后$x'_i={\bf w}^T{\bf x}_i$,那么投影后新樣本點的方差正比於:
$$s_k^2=\sum_{i:c_k}(x'_i-m_k)^2\tag{3.1.2}$$
當前目標是找到能夠讓在新樣本空間中類間距離最大，類內距離最小，即:
$$\max J({\bf w})=\frac{(m_2-m_1)^2}{s_1^2+s_2^2}\tag{3.1.3}$$
將上式寫成關於$\bf w$的式子:
$$\begin{eqnarray}\max J({\bf w})&=&\frac{({\bf w}^T{\bf \mu}_2-{\bf w}^T{\bf \mu}_1)({\bf w}^T{\bf \mu}_2-{\bf w}^T{\bf \mu}_1)}{\sum_{i:c_1}({\bf w}^T{\bf x}_i-{\bf w}^T{\bf \mu}_1)^2+\sum_{i:c_2}({\bf w}^T{\bf x}_i-{\bf w}^T{\bf \mu}_2)^2}\\&=&\frac{{\bf w^T\mu}_2{\bf w^T\mu}_2-{\bf w^T\mu}_2{\bf w^T\mu}_1-{\bf w^T\mu}_1{\bf w^T\mu}_2+{\bf w^T\mu}_1{\bf w^T\mu}_1}{\sum_{i:c_1}({\bf w}^T{\bf x}_i-{\bf w}^T{\bf \mu}_1)^2+\sum_{i:c_2}({\bf w}^T{\bf x}_i-{\bf w}^T{\bf \mu}_2)^2}\\&=&\frac{{\bf w^T\mu}_2\mu_2^T{\bf w}-{\bf w^T\mu}_2\mu_1^T{\bf w}-{\bf w^T\mu}_1\mu_2^T{\bf w}+{\bf w^T\mu}_1\mu_1^T{\bf w}}{...}\\&=&\frac{{\bf w}^T(\mu_2\mu_2^T-\mu_1\mu_2^T-\mu_2\mu_1^T+\mu_1\mu_1^T){\bf w}}{...}\\&=&\frac{{\bf w^TS_Bw}}{\bf w^TS_Ww}\end{eqnarray}\tag{3.1.4}$$
上式只做了分子的運算，分母運算省略了，且因為新空間是1維樣本，所以${\bf w^T\mu}_2=({\bf w^T\mu}_2)^T=\mu_2^T{\bf w}$
其中$\bf S_B$是類別之間的距離矩陣：
${\bf S_B}=({\bf \mu_2-\mu_1})({\bf \mu_2-\mu_1})^T\tag{3.1.5}$；
而$\bf S_W$是類間距離矩陣：
${\bf S_W}=\sum_{i:c_1}({\bf x}_i-\mu_1)({\bf x}_i-\mu_1)^T+\sum_{i:c_2}({\bf x}_i-\mu_2)({\bf x}_i-\mu_2)^T\tag{3.1.6}$

因為式子3.1.3分子分母都是標量，故而，3.1.4可以表示成:
$${\bf S_Bw}=\lambda {\bf S_Ww}$$
即轉換成了一個求特征值的問題，如果${\bf S_W}$可逆的話，則:
$${\bf S_W^{-1}}{\bf S_Bw}=\lambda{\bf w}$$
且${\bf S_Bw}=(\mu_2-\mu_1)(\mu_2-\mu_1)^T{\bf w}=(\mu_2-\mu_1)(m_2-m_1)$
所以:
$$\lambda{\bf w}={\bf S_W^{-1}}(\mu_2-\mu_1)(m_2-m_1)$$
左右消去標量值，因為只關心坐標系，即方向，而不關心縮放因子，即縮放多少，所以：
$${\bf w}={\bf S_W^{-1}}(\mu_2-\mu_1)\frac{m_2-m_1}{\lambda}$$
故而最后可以直接取:${\bf w}={\bf S_W^{-1}}(\mu_2-\mu_1)$

3.2 多類問題

因為主旨還是為了新空間中類間最大，類內最小的fisher准則。因為LDA的限制，$d'\leq |c|-1$。
假定類別$k$的樣本均值以及所有類的樣本均值為：
$$\mu_{c_k}=\sum_{i:c_k}\frac{1}{N_{c_k}}{\bf x}_i;\quad \mu=\sum_{i:c}\frac{1}{N_{c}}{\bf x}_i=\sum_{k=1}^{|c|}P_k\mu_k\tag{3.2.1}$$
假設${\bf x}_i^k,{\bf x}_j^l$分別為類$c_k,c_l$類的原始$d$維特征向量，$\delta({\bf x}_i^k,{\bf x}_j^l)$為這兩個向量的距離，則各類特征向量之間的平均距離為：
$$D_d({\bf x})=\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\frac{1}{N_kN_l}\sum_{i=1}^{N_k}\sum_{j=1}^{N_l}\delta({\bf x}_i^k,{\bf x}_j^l)\tag{3.2.2}$$
其中$|c|$為類別個數，$N_k,N_l$為對應類別中樣本個數，$P_k,P_l$為對應類別的先驗概率。
對於簡單的歐式距離來說：
$$\delta({\bf x}_i^k,{\bf x}_j^l)=({\bf x}_i^k-{\bf x}_j^l)^T({\bf x}_i^k-{\bf x}_j^l)\tag{3.2.3}$$
將3.2.3，3.2.1帶入3.2.2，得
$$\begin{eqnarray}D_d({\bf x})&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\frac{1}{N_kN_l}\sum_{i=1}^{N_k}\sum_{j=1}^{N_l}\delta({\bf x}_i^k,{\bf x}_j^l)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\frac{1}{N_kN_l}\sum_{i=1}^{N_k}\sum_{j=1}^{N_l}\left(({\bf x}_i^k)^T{\bf x}_i^k-({\bf x}_i^k)^T{\bf x}_j^l-({\bf x}_j^l)^T{\bf x}_i^k+({\bf x}_j^l)^T{\bf x}_j^l\right)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\frac{1}{N_k}\sum_{i=1}^{N_k}\left(({\bf x}_i^k)^T{\bf x}_i^k-({\bf x}_i^k)^T\mu_l-\mu_l^T{\bf x}_i^k+\frac{1}{N_l}\sum_{j=1}^{N_l}({\bf x}_j^l)^T{\bf x}_j^l\right)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\left(\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k)^T{\bf x}_i^k-2\mu_k^T\mu_l+\frac{1}{N_l}\sum_{j=1}^{N_l}({\bf x}_j^l)^T{\bf x}_j^l\right)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\left(\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k)^T{\bf x}_i^k+\frac{1}{N_l}\sum_{j=1}^{N_l}({\bf x}_j^l)^T{\bf x}_j^l-\mu_k^T\mu_k-\mu_l^T\mu_l+\mu_k^T\mu_k+\mu_l^T\mu_l-2\mu_k^T\mu_l\right)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\left(\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k)^T{\bf x}_i^k+\frac{1}{N_l}\sum_{j=1}^{N_l}({\bf x}_j^l)^T{\bf x}_j^l-\mu_k^T\mu_k-\mu_l^T\mu_l\right)+\sum_{i=1}^{|c|}P_k(\mu_k-\mu)^T(\mu_k-\mu)\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l\left(\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k)^T{\bf x}_i^k-\mu_k^T(\frac{1}{N_k}\sum_{i=1}^{N_k}{\bf x}_i)-(\frac{1}{N_k}\sum_{i=1}^{N_k}{\bf x}_i)^T\mu_k+\mu_k^T\mu_k\right)+與k對稱的l+上面第2項\\&=&\frac{1}{2}\sum_{k=1}^{|c|}P_k\left(\sum_{l=1}^{|c|}P_l\right)\left(\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k-\mu_k)^T({\bf x}_i^k-\mu_k)\right)+與k對稱的l+上面第3項\\&=&\sum_{k=1}^{|c|}P_k\left[\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k-\mu_k)^T({\bf x}_i^k-\mu_k)+(\mu_k-\mu)^T(\mu_k-\mu)\right]\end{eqnarray}$$
上式中括號第二項為第$k$類的均值向量與總體均值向量之間的歐式距離，用先驗概率加權平均后可以代表各類均值向量的平均平方距離,即類間距離：
$$\sum_{i=1}^{|c|}P_k(\mu_k-\mu)^T(\mu_k-\mu)=\frac{1}{2}\sum_{k=1}^{|c|}P_k\sum_{l=1}^{|c|}P_l(\mu_k-\mu_l)^T(\mu_k-\mu_l)$$
令：
${\bf S_B}= \sum_{i=1}^{|c|}P_k(\mu_k-\mu)(\mu_k-\mu)^T$
${\bf S_W}=\sum_{k=1}^{|c|}P_k\left[\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k-\mu_k)({\bf x}_i^k-\mu_k)^T\right]$
那么$D_d({\bf x})=tr({\bf S_B}+{\bf S_W})$
因為對於原始空間，$\max J_d({\bf x})=\frac{tr({\bf S_B})}{tr({\bf S_W})}$~$\frac{|{\bf S_B}|}{|{\bf S_W}|}$
則 $$\begin{eqnarray}\max J_d'({\bf x})&=&\frac{|\sum_{i=1}^{|c|}P_k({\bf W}^T\mu_k-{\bf W}^T\mu)({\bf W}^T\mu_k-{\bf W}^T\mu)^T|}{|\sum_{k=1}^{|c|}P_k\left[\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf W}^T{\bf x}_i^k-{\bf W}^T\mu_k)({\bf W}^T{\bf x}_i^k-{\bf W}^T\mu_k)^T\right]|}\\&=&\frac{|{\bf W}^T\sum_{i=1}^{|c|}P_k(\mu_k-\mu)(\mu_k-\mu)^T{\bf W}|}{|{\bf W}^T\sum_{k=1}^{|c|}P_k\left[\frac{1}{N_k}\sum_{i=1}^{N_k}({\bf x}_i^k-\mu_k)({\bf x}_i^k-\mu_k)^T\right]{\bf W}|}\\&=&\frac{|{\bf W}^T{\bf S_B}{\bf W}|}{|{\bf W}^T{\bf S_W}{\bf W}|}\\\end{eqnarray}$$
上式可以如2類情況一樣得到結果：
$${\bf S_B}{\bf W}=\lambda{\bf S_W}{\bf W}$$
當${\bf S_W}$非奇異時，可得：
$${\bf S_W^{-1}}{\bf S_B}{\bf W}=\lambda{\bf W}$$
即。得到最后的解（個人認為mlapp這部分有問題，prml這部分是對的）：
${\bf W}$就是矩陣${\bf S_W^{-1}}{\bf S_B}$的前$d'$個特征向量構成的矩陣（從大到小的特征值排序）

ps:矩陣的秩小於等於各個相加矩陣的秩的和，所以一共$|c|$類，那么${\bf S_B}$的秩最多為$|c|-1$（第$|c|$個矩陣可以通過前面矩陣線性表示出來）。

參考資料：
[] 周志華 機器學習
[] Computer Science Department University of Toronto. Machine Learning and Data Mining Lecture Notes
[] Machine learning A Probabilistic Perspective
[] 邊肇祺，模式識別第二版
[] http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html
[] Introduction to Statistical Pattern Recognition 2nd ed. - K. Fukunaga p454
[] prml p192