核心思想#

将 $d$ 维数据投影到 $k$ 维子空间 ($k < d$)，使得投影后的数据方差最大化（或重构误差最小化）。

数学推导#

给定中心化后的数据矩阵 $\mathbf{X} \in \mathbb{R}^{n \times d}$（每行为一个样本，已减去均值），协方差矩阵为：

寻找投影方向 $\mathbf{w}$，使得投影后方差最大：

由拉格朗日乘子法得 $\mathbf{\Sigma} \mathbf{w} = \lambda \mathbf{w}$，即 $\mathbf{w}$ 为 $\mathbf{\Sigma}$ 的特征向量，$\lambda$ 为对应特征值。

算法步骤#

1. 对数据中心化：$\mathbf{x}_i \leftarrow \mathbf{x}_i - \bar{\mathbf{x}}$
2. 计算协方差矩阵 $\mathbf{\Sigma}$
3. 对 $\mathbf{\Sigma}$ 进行特征值分解，得到特征值 $\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_d$ 及对应特征向量
4. 取前 $k$ 个最大特征值对应的特征向量构成投影矩阵 $\mathbf{W} \in \mathbb{R}^{d \times k}$
5. 得到降维后数据：$\mathbf{Z} = \mathbf{X} \mathbf{W}$

方差解释率#

第 $i$ 个主成分的方差解释率为 $\lambda_i / \sum_{j=1}^d \lambda_j$，前 $k$ 个主成分的累积方差解释率为 $\sum_{i=1}^k \lambda_i / \sum_{j=1}^d \lambda_j$，常以此选择 $k$。

SVD 实现#

实际中通过对 $\mathbf{X}$ 进行 SVD 分解 $\mathbf{X} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T$ 实现，$\mathbf{V}$ 的列即为主成分方向，计算更稳定。

性质与局限#

• 无监督，不使用标签信息
• 假设数据分布为高斯分布
• 对离群点敏感
• 仅能捕获线性结构
• 主成分方向通常是不可解释的（每个主成分是所有原始特征的线性组合）

核心思想#

与 PCA 最大化整体方差不同，LDA 利用标签信息，找到使类间距离最大、类内距离最小的投影方向。

散度矩阵#

给定 $c$ 类数据，第 $i$ 类样本集 $D_i$，样本数 $n_i$，均值 $\mathbf{m}_i$，全局均值 $\mathbf{m}$：

• 类内散度矩阵（反映类内紧密程度）：

  $$\mathbf{S}_w = \sum_{i=1}^c \sum_{\mathbf{x} \in D_i} (\mathbf{x} - \mathbf{m}_i)(\mathbf{x} - \mathbf{m}_i)^T$$

• 类间散度矩阵（反映类间分离程度）：

  $$\mathbf{S}_b = \sum_{i=1}^c n_i (\mathbf{m}_i - \mathbf{m})(\mathbf{m}_i - \mathbf{m})^T$$

• 总体散度矩阵：$\mathbf{S}_t = \mathbf{S}_w + \mathbf{S}_b$

Fisher 准则#

寻找投影方向 $\mathbf{w}$，最大化 Fisher 准则：

等价于求解广义特征值问题：

投影方向 $\mathbf{w}$ 为 $\mathbf{S}_w^{-1} \mathbf{S}_b$ 的最大特征值对应的特征向量。

算法步骤#

1. 计算每类均值 $\mathbf{m}_i$ 和全局均值 $\mathbf{m}$
2. 计算 $\mathbf{S}_w$ 和 $\mathbf{S}_b$
3. 求解 $\mathbf{S}_w^{-1} \mathbf{S}_b$ 的特征值问题
4. 取前 $k$ 个最大特征值对应的特征向量构成投影矩阵 $\mathbf{W}$
5. 得到降维后数据：$\mathbf{Z} = \mathbf{X} \mathbf{W}$

降维上限#

$\mathbf{S}_b$ 的秩最多为 $c-1$，因此 LDA 最多将数据降至 $c-1$ 维，与原始维度无关。

局限#

• 小样本问题：样本数小于特征数时 $\mathbf{S}_w$ 奇异，不可逆
• 假设各类的协方差矩阵相同（类内分布相同）
• 对非高斯分布数据效果较差
• 降维维度受类别数限制

PCA vs LDA#