【矩阵论】矩阵分解

满秩分解(Full Rank Factorization)

将一个矩阵分解为两个较小矩阵的乘积，并且这两个矩阵的秩与原矩阵相同。满秩分解的目的是把矩阵表示为两个更简单矩阵的乘积，同时保持原矩阵的秩。

前置定理

• 任何非零矩阵都存在满秩分解
• 满秩分解可分为行满秩分解和列满秩分解
• 满秩分解不唯一

行满秩分解步骤

1. 对矩阵$A$进行行变换，化为行最简形$\hat A$，即每一行的第一个非零元素为1，并且是其所在的列的唯一一个非零元素
2. 标记每一个非零行的第一个非零元素所在的列，此处假设为1，2，3
3. $B$为$A$的第1，2，3列，$C$为$\hat A$的第1，2，3行
4. $A=BC$即为行满秩分解

列满秩分解步骤

1. 对矩阵$A$进行列变换，化为列最简形$\hat A$，即每一列的第一个非零元素为1，并且是其所在的行的唯一一个非零元素
2. 标记每一个非零列的第一个非零元素所在的行，此处假设为1，2，3
3. $C$为$A$的第1，2，3行，$B$为$\hat A$的第1，2，3列
4. $A=BC$即为列满秩分解

UR分解

也被称为QR分解或正交三角分解。

前置定理

• 若$A$为列满秩矩阵，则$A$可以唯一地被分解为$A=UR$，其中$U$为列满秩矩阵，$R$为正线上三角阵。
• UR分解是一种特殊的满秩分解。

步骤

1. 令$A=[\alpha_1,\alpha_2,\alpha_3]$
2. 将$[\alpha_1,\alpha_2,\alpha_3]$正交化、单位化，重新组合，即得到$U$
3. 根据$A=UR$，有$R=U^H A$，求出$R$
4. UR分解即为$A=UR$

奇异值分解

奇异值分解的形式为：

A=U \begin{bmatrix} \Delta & 0 \\ 0 & 0\ \end{bmatrix} V^H

前置定理

• $A^H A$和$AA^H$均为半正定，特征值均为非负实数
• $A^H A$和$AA^H$的非零特征值相同
• 奇异值分解通常不唯一

步骤（方法一）

该方法由$AA^H$求$U_1$。

1. 求出$AA^H$的全部非零特征值，由大到小排列，并以此为序写出奇异值矩阵$\Delta$
2. 求出$AA^H$的所有特征值对应的特征向量，正交化加单位化后组合，得到矩阵$U$
3. 设$AA^H$有$n$个非零奇异值，则取出$U$的前$n$列，组合得到$U_1$
4. 由$V_1=A^HU_1\Delta^{-H}$，求得$V_1$
5. 扩展$V_1$至$V$，其中新添加的列向量$V_2$应与$V_1$正交化、单位化
6. 解毕

步骤（方法二）

该方法由$A^HA$求$V_1$。

1. 求出$A^HA$的全部非零特征值，由大到小排列，并以此为序写出奇异值矩阵$\Delta$
2. 求出$A^HA$的所有特征值对应的特征向量，正交化加单位化后组合，得到矩阵$V$
3. 设$A^HA$有$n$个非零奇异值，则取出$V$的前$n$列，组合得到$V_1$
4. 由$U_1 = AV_1\Delta^{-1}$，求得$U_1$
5. 扩展$U_1$至$U$，其中新添加的列向量$U_2$应与$U_1$正交化、单位化
6. 解毕

谱分解

谱分解不唯一。

步骤

1. 求特征值及其所对应的特征向量
2. 无需进行正交化或单位化，组合特征向量，得到矩阵$P$
3. 求$P^{-1}$

若特征值无重根：

4. 按照特征值次序$i$，依次取$P$的第$i$列和$P^{-1}$的第$i$列，二者相乘，得到$H_i$

若特征值有重根：

4. 按照特征值次序$i$，若某特征值有$n$重根，则在取列和行时一次性取$n$次，然后二者相乘，得到$H_i$

5. 组合，证毕