线性代数常用知识点总结

矩阵的四个基本子空间

矩阵的四个基本子空间分别是列空间、零空间、行空间、左零空间。

对于m×n维的矩阵A：

  • 列空间C(A)，是方程Ax=b中b的解空间。可以理解为有列向量组成的矩阵A的线性组合。维数是rank(A)。
  • 零空间N(A)，是方程Ax=0中x的可行解空间。维数是n-rank(A)。
  • 行空间C(A^T)，是A转置的列空间。维数是rank(A)。
  • 左零空间N(A^T)，是A转置的零空间。维数是m-rank(A)。

可以把行空间和零空间看做一组，列空间和左零空间看做一组，利用Gauss-Jordan消元法可以方便的同时求解两个空间的基。

正交矩阵

实矩阵A满足：

则A为正交矩阵其中E为单位矩阵。正交矩阵是标准正交基)按列排列起来得到的矩阵。

正交矩阵是酉矩阵的在实数域的一种特殊形式。

特征向量&特征值

设A是n阶方阵，如果存在数λ和非零向量ε，使得：

则称λ为方阵A的特征值，ε称为方阵A的特征向量。

相似矩阵

设A，B都是n阶矩阵，如果存在可逆矩阵P，使得：

则称A与B相似。

相似矩阵有相同的特征多项式，也就是说A与B有相同的特征值和相同的行列式（det），这是相似矩阵的一个重要性质。下面给出证明：

矩阵对角化

对于一个矩阵来讲，对角矩阵在各种计算上比较简单，比如二次型中的标准型就可以用对角矩阵表示。所以如果能将矩阵对角化，就可以方便计算。

n阶方阵A可对角化的充要条件是它有n个线性无关的特征向量。则有：

P由特征向量组成，Λ由特征值组成，即：

若A为实对称矩阵，则有：

其中Q是A的特征向量经过施密特正交化和单位化后得到正交矩阵。

奇异值分解（SVD）

当矩阵A不为方阵的时候，如果仍然想将矩阵A变为对角化的形式，则需要用到奇异值分解（SVD）的方法。

直接说结论。矩阵A可以分解为下面的形式：

其中：

如果矩阵A为m×n维矩阵，那么矩阵U为m×m维矩阵，矩阵D为m×n维矩阵，矩阵V为n×n维矩阵。

介绍一个用到奇异值分解的PCA算法：

主成分分析（PCA）

  • 去平均值，即每一位特征减去各自的平均值。
  • 计算协方差矩阵。
  • 通过SVD计算协方差矩阵的特征值与特征向量。（因为是方阵，我觉的也可以直接求特征值和特征向量再归一化。）
  • 对特征值从大到小排序（计算时往往已经排好），选择其中最大的k个。然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。
  • 将数据转换到k个特征向量构建的新空间中，即取矩阵U或矩阵V的前k行或前k列与原矩阵相乘。

具体证明过程

LU分解

矩阵的LU分解常用于解方程组。

将矩阵A（方阵）分解为：

其中L为下三角矩阵，U为上三角矩阵。

LU分解可以理解为对矩阵A构成的行列式进行初等变换（消元），如果这样理解的话，矩阵U可以看成简化后的行列式矩阵。

假设A为三阶方阵，将A消元的过程可以写成下式：

其中，E21是指消元第二行第一列的操作，形式如下：

所以，E21A执行的初等变化为r2=r2+kr1。即第二行更新为第二行加k倍的第一行。E31、E32的作业以此类推。

所以：

至于为什么是A=LU的形式，而不是EA=U的形式，可能是因为对E矩阵求逆后的乘法运算较为简便。

其实，这些矩阵的逆矩阵很好求解，如：

二次型

二次型表示的是二次齐次多项式，用矩阵表示。二次型常用来表示求二阶偏导数的情况。

二次齐次多项式形式如下：

令：

所以函数f可以写成矩阵的形式：

只含有平方项的二次型称为标准型。一般的二次型可以通过正交矩阵对角化变换得到标准型。

对于非零向量x∈R，如果总有f(x)>0，则称这个二次型为正定二次型，A为正定矩阵。

对于非零向量x∈R，如果总有f(x)>=0，则称这个二次型为半正定二次型，A为半正定矩阵。

行列式

行列式的研究对象是方阵。

行列式的四条基本性质：

  • 单位阵的行列式等于1。
  • 交换行列式的两行，行列式符号取反。
  • 矩阵某行的元素都乘以一个系数t，它的行列式是原先的t倍。即：
  • 矩阵某行的元素都加任意一个数，它的行列式等于原先的行列式加用被加数替换的矩阵的行列式。即：

由以上四条基本性质可以推导出以下几条常用的性质：

  • 矩阵存在任意两行相等时，其行列式为0。
  • 经过行初等变换的矩阵，其行列式不变。
  • 若有一行全为0，则其行列式为0。
  • 矩阵为奇异矩阵时，其行列式为0。
  • 一个矩阵和它的转置矩阵行列式相等。
  • 上三角矩阵（下三角矩阵）的行列式等于对角线元素的乘积。
  • 两个矩阵相乘的行列式等于两个矩阵的行列式相乘。即det(AB)=det(A)×det(B)。