【機器學習】數據降維—線性判別分析(LDA)


本文代碼推薦使用Jupyter notebook跑,這樣得到的結果更為直觀。

線性判別分析(Linear Discriminant Analysis,LDA)是一種可作為特征抽取的技術

LDA可以提高數據分析過程中的計算效率,對於未能正則化的模型,可以降低維度災難帶來的過擬合

 

LDA與PCA相似:

 PCA試圖尋找到方差最大的正交的主成分分量軸,

 LDA發現可以最優化分類的特征子空間

 LDA和PCA都是可用於降低數據集維度的線性轉換技巧。

 PCA是無監督算法

 LDA是監督算法

 LDA是一種更優越的用於分類的特征提取技術


二分類中的LDA圖:


LD1通過線性判定,可以很好的將呈正態分布的兩個類分開。

LD2的線性判定保持了數據集的較大方差,但LD2無法提供關於類別的信息,因此LD2不是一個好的線性判定



LDA方法步驟:

 1、       對d維數據集進行標准化處理(d為特征數量)

 2、       對每一類別計算d維的均值向量

 3、           構造類間的散布矩陣以及類內的散布矩陣

 4、           計算矩陣的特征值所對應的特征向量

 5、       選取前k個特征值對應的特征向量,構造一個d x k維的轉換矩陣W特征向量以列的形式排列

 6、       使用轉換矩陣W將樣本映射到新的特征子空間上



計算散布矩陣:

均值向量m存儲了類別i中樣本的特征均值μm



# 數據集的三個類別對應的均值向量
np.set_printoptions(precision=4)

mean_vecs = []
for label in range(1,4):
mean_vecs.append(np.mean(X_train_std[y_train==label], axis=0))
print('MV %s: %s\n' %(label, mean_vecs[label-1]))


通過均值向量計算類內散布矩陣Sw:


通過累加各類別i的散布矩陣Si來計算:



d = 13 # number of features
S_W = np.zeros((d, d))
for label,mv in zip(range(1, 4), mean_vecs):
class_scatter = np.zeros((d, d)) # scatter matrix for each class
for row in X[y == label]:
row, mv = row.reshape(d, 1), mv.reshape(d, 1) # make column vectors
class_scatter += (row-mv).dot((row-mv).T)
S_W += class_scatter # sum class scatter matrices
print('Within-class scatter matrix: %sx%s' % (S_W.shape[0], S_W.shape[1]))

print('Class label distribution: %s'
% np.bincount(y_train)[1:])

# 訓練集的類標不均勻分布


因此計算散布矩陣前,對各類別的散布矩陣做縮放處理

協方差矩陣可以看做歸一化的散布矩陣



# 類內散布矩陣計算
d = 13 # number of features
S_W = np.zeros((d, d))
for label,mv in zip(range(1, 4), mean_vecs):
class_scatter = np.cov(X_train_std[y_train==label].T)
S_W += class_scatter
print('Scaled within-class scatter matrix: %sx%s' % (S_W.shape[0], S_W.shape[1]))


計算類間散布矩陣:



# 計算類間散射矩陣:
mean_overall = np.mean(X_train_std, axis=0)
d = 13 # number of features
S_B = np.zeros((d, d))
for i,mean_vec in enumerate(mean_vecs):
n = X[y==i+1, :].shape[0]
mean_vec = mean_vec.reshape(d, 1) # make column vector
mean_overall = mean_overall.reshape(d, 1) # make column vector
S_B += n * (mean_vec - mean_overall).dot((mean_vec - mean_overall).T)

print('Between-class scatter matrix: %sx%s' % (S_B.shape[0], S_B.shape[1]))

在新特征子空間上選取線性判別算法

求解的廣義特征值:

eigen_vals, eigen_vecs = np.linalg.eig(np.linalg.inv(S_W).dot(S_B))

# 特征值降序排序
#列出(特征值,特征向量)元組。
eigen_pairs = [(np.abs(eigen_vals[i]), eigen_vecs[:,i]) for i in range(len(eigen_vals))]
# 從高到低排序(特征值,特征向量)元組。
eigen_pairs = sorted(eigen_pairs, key=lambda k: k[0], reverse=True)
# 通過減少特征值來直觀地確定列表是否正確排序。
print('Eigenvalues in decreasing order:\n')
for eigen_val in eigen_pairs:
print(eigen_val[0])



d x d維協方差矩陣的秩最大為d-1,得到兩個非0的特征值。


# 度量線性判別可以獲得多少可區分類別信息
tot = sum(eigen_vals.real)
discr = [(i / tot) for i in sorted(eigen_vals.real, reverse=True)]
cum_discr = np.cumsum(discr)

plt.bar(range(1, 14), discr, alpha=0.5, align='center',
label='individual "discriminability"')
plt.step(range(1, 14), cum_discr, where='mid',
label='cumulative "discriminability"')
plt.ylabel('"discriminability" ratio')
plt.xlabel('Linear Discriminants')
plt.ylim([-0.1, 1.1])
plt.legend(loc='best')
plt.tight_layout()
# plt.savefig('./figures/lda1.png', dpi=300)
plt.show()



# 疊加兩個判別能力最強的特征向量列來構建轉換矩陣W
w = np.hstack((eigen_pairs[0][1][:, np.newaxis].real,
eigen_pairs[1][1][:, np.newaxis].real))
print('Matrix W:\n', w)


將樣本映射到新的特征空間

# 對訓練集進行轉換X’=XW
X_train_lda = X_train_std.dot(w)
colors = ['r', 'b', 'g']
markers = ['s', 'x', 'o']

for l, c, m in zip(np.unique(y_train), colors, markers):
plt.scatter(X_train_lda[y_train==l, 0],
X_train_lda[y_train==l, 1],
c=c, label=l, marker=m)

plt.xlabel('LD 1')
plt.ylabel('LD 2')
plt.legend(loc='upper right')
plt.tight_layout()
# plt.savefig('./figures/lda2.png', dpi=300)
plt.show()


使用SKlearn進行LDA分析

from sklearn.lda import LDA

lda = LDA(n_components=2)
X_train_lda = lda.fit_transform(X_train_std, y_train)
# 邏輯回歸在相對低維數據上的表現
from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr = lr.fit(X_train_lda, y_train)

plot_decision_regions(X_train_lda, y_train, classifier=lr)
plt.xlabel('LD 1')
plt.ylabel('LD 2')
plt.legend(loc='lower left')
plt.tight_layout()
# plt.savefig('./figures/lda3.png', dpi=300)
plt.show()



# 應用在測試集上的效果
X_test_lda = lda.transform(X_test_std)

plot_decision_regions(X_test_lda, y_test, classifier=lr)
plt.xlabel('LD 1')
plt.ylabel('LD 2')
plt.legend(loc='lower left')
plt.tight_layout()
# plt.savefig('./figures/lda4.png', dpi=300)
plt.show()


模型效果完美!








注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
  © 2014-2022 ITdaan.com 联系我们: