线性代数14-正交向量与子空间

Linear Algebra-正交向量与子空间-14

一、知识概要

从本节开始，我们将进入线性代数一个新的研究篇章。之前我们已经认识了矩阵的四个基本子空间，今天我们换一个角度，从正交性出发，重新来看看这些子空间之间有什么特殊的性质。

正交是一个非常重要的概念，它不仅能帮助我们理解子空间的结构，还是后续处理无解方程、最小二乘问题的理论基础。我们先把这四个基本子空间的关键性质总结在下表中，然后一步步展开讨论：

子空间	维数	与矩阵关系
列空间 $C(A)$	$r$	由矩阵 $A$ 的列向量生成的空间
行空间 $C(A^T)$	$r$	由矩阵 $A$ 的行向量转置后生成的空间
零空间 $N(A)$	$n - r$	满足 $Ax = 0$ 的所有解向量构成的空间
左零空间 $N(A^T)$	$m - r$	满足 $A^T y = 0$ 的所有解向量构成的空间

这张表我们之前已经见过，今天我们要深入挖掘一个隐藏在这张表中的重要关系：这些子空间之间不仅仅维数满足一些关系，它们之间还是互相正交的。

二、正交向量与子空间

2.1 基本正交概念

在谈论正交之前，我们先明确一个简单的结论：在线性代数中，正交就是垂直。不管是说两个向量正交，还是说两个空间正交，你都可以直接用几何中”垂直”这个概念来理解它，这不会出错。

向量正交

我们先从最简单的情况开始：两个向量正交意味着什么？

如果我们从几何直观上来看，向量 $x$ 和向量 $y$ 垂直，那么它们满足什么关系呢？很直观就能得到：它们的点积等于零，也就是 $x^T y = 0$。

这个结论其实还可以通过勾股定理推导出来。让我们一起来走一遍这个推导过程，加深理解：

根据勾股定理，如果向量 $x$ 和 $y$ 垂直，那么以它们为直角边的直角三角形中，满足：

$$|x|^2 + |y|^2 = |x + y|^2$$

把这个等式转换成向量形式：

$$x^T x + y^T y = (x + y)^T(x + y)$$

我们把右边展开看看：

$$(x + y)^T(x + y)=(x^T + y^T)(x + y)=x^T x + x^T y + y^T x + y^T y$$

左右两边消掉相同的项，我们得到：

$$x^T y + y^T x = 0$$

注意到 $x^T y$ 和 $y^T x$ 其实是同一个东西，它们都是两个向量点积的结果，都是标量，所以等式可以化简为 $2x^T y = 0$，也就是：

两个向量正交的充要条件是：$x^T y = 0$

这里有个特殊情况：如果其中一个向量是零向量，那么这个等式一定成立，所以零向量和任何向量都正交。

空间正交

理解了向量正交，我们再来定义什么是两个空间正交。定义很简单：

如果两个空间正交，意味着一个空间中的任意向量，都与另一个空间中的任意向量正交。

这个定义听起来简单，但有个容易搞错的地方。比如，黑板所在的平面和地面所在的平面，这两个平面作为子空间，它们正交吗？答案是不正交。为什么呢？因为黑板和地面相交于一条交线，这条交线上的非零向量既在黑板平面上又在地面平面上，它和自己不正交（除非它是零向量），所以不满足空间正交的定义。这其实告诉我们一个结论：如果两个平面相交于非零向量，那么它们一定不正交。

为了帮助理解，我们来看 $R^2$ 中所有子空间的正交情况。在 $R^2$ 中，子空间只有三种类型：

• 整个平面 $R^2$ 本身
• 过原点的直线 $L$
• 仅仅包含原点 $O$

我们来看各种组合：

• 直线 $L$ 和整个平面 $R^2$：不可能正交。因为在平面中找一个不与直线垂直的向量太容易了，直线不可能垂直于平面内所有向量。
• 直线 $L$ 和原点 $O$：永远正交。因为原点只有零向量，零向量和任何向量都正交。
• 直线 $L$ 和另一条直线 $L'$：只有当两条直线在原点处互相垂直的时候，它们才正交。这符合我们的几何直觉。

这个例子帮助我们验证了空间正交定义的合理性。

2.2 零空间与行空间的正交关系

现在我们来看矩阵最重要的一个正交关系：零空间和行空间是正交的。这种关系就像是把整个 $R^n$ 空间一刀切成两半，得到的两个子空间互相垂直。

证明正交关系

我们把矩阵 $A$ 写成行向量的形式，那么方程 $Ax = 0$ 就可以写成：

$$\begin{bmatrix} R_1 \\ R_2 \\ \vdots \\ R_m \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \end{bmatrix} = \begin{bmatrix} R_1(x_1, x_2, \cdots) \\ R_2(x_1, x_2, \cdots) \\ \vdots \\ R_m(x_1, x_2, \cdots) \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$$

从这个表达式可以很清楚地看到：$A$ 的每一行 $R_i$ 和零空间中的任意向量 $x$ 相乘结果都是 0，也就是说，每一行都和 $x$ 正交。

而行空间是什么？行空间是 $A$ 的所有行向量的线性组合。设行空间中任意一个向量 $v = c_1 R_1 + c_2 R_2 + \cdots + c_m R_m$，那么对于零空间中任意一个 $x$：

$$v^T x = (c_1 R_1 + c_2 R_2 + \cdots + c_m R_m)^T x = c_1 R_1^T x + c_2 R_2^T x + \cdots + c_m R_m^T x = 0$$

这就证明了行空间中任意向量都和零空间中任意向量正交，所以零空间与行空间正交，完美符合我们对空间正交的定义。

维数关系与正交补

我们知道，行空间的维数是 $r$，零空间的维数是 $n - r$，它们加起来正好是 $n$，也就是整个 $R^n$ 空间的维数。

我们来看一个具体例子帮助理解。设矩阵：

$$A = \begin{bmatrix}1 & 2 & 5 \\ 2 & 4 & 10\end{bmatrix}$$

那么方程 $Ax = 0$ 就是：

$$\begin{bmatrix}1 & 2 & 5 \\ 2 & 4 & 10\end{bmatrix} \begin{bmatrix}x_1 \\ x_2 \\ x_3\end{bmatrix} = \begin{bmatrix}0 \\ 0\end{bmatrix}$$

在这个例子中，$A$ 的两行是线性相关的，所以秩 $r = 1$，行空间是一维的。对应的零空间维数就是 $3 - 1 = 2$，是一个平面。

这个平面是什么呢？其实就是所有满足 $x_1 + 2x_2 + 5x_3 = 0$ 的点，这正好就是三维空间中垂直于向量 $(1, 2, 5)$ 的平面！完美符合我们的结论：行空间是过原点沿 $(1, 2, 5)$ 方向的直线，零空间是垂直于这条直线的平面，它们确实正交，并且它们维数之和是 $1 + 2 = 3$，正好是整个空间的维数。

这种关系我们称之为正交补：零空间是行空间在 $R^n$ 中的正交补，反过来行空间也是零空间的正交补。也就是说，正交补包含了所有与整个空间正交的向量，不只是一部分正交，而是全部都包含了。

我们可以用下面这个图来直观理解这个关系：

2.3 无解方程的最优解

讲到这里，你可能会问：我们研究这些正交关系到底有什么用呢？其实它直接解决了一个非常实际的问题：当 Ax = b 无解时，我们该怎么办？

在实际应用中，矩阵的数据往往来自测量，测量总有误差，所以当我们方程个数很多的时候，经常会遇到无解的情况。这时候我们不能就这么放弃了，我们需要找到一个最优近似解，也就是让误差最小的解。

而正交关系告诉我们，找最优解的方法就是把原方程改写为：

$$A^T A \hat{x} = A^T b$$

解出来的 $\hat{x}$ 就是我们要找的最优解。注意这里很重要：$\hat{x}$ 并不是原方程 $Ax = b$ 的解，它是我们在最小二乘意义下得到的最优近似。

接下来我们来研究一下 $A^T A$ 这个矩阵有什么重要性质。

$A^T A$ 的基本性质

首先，看最基本的性质：

1. 方阵性质：如果 $A$ 是 $m \times n$ 矩阵，那么 $A^T$ 是 $n \times m$ 矩阵，相乘之后得到的 $A^T A$ 就是 $n \times n$ 方阵，所以它永远是方阵。

2. 对称性质：我们来验证一下它的转置：$(A^T A)^T = A^T (A^T)^T = A^T A$，所以 $(A^T A)^T = A^T A$，说明 $A^T A$ 永远是对称矩阵。

这两个性质很好记，也很直观。

$A^T A$ 的可逆性判断

一个关键问题来了：$A^T A$ 一定可逆吗？答案是不一定。什么时候不可逆呢？当 $A$ 的列向量线性相关时，$A^T A$ 就不可逆。

我们来证明一个重要结论：$N(A^T A) = N(A)$，也就是说，$A^T A$ 和 $A$ 有相同的零空间。

证明过程很巧妙：

如果 $x$ 在 $A$ 的零空间里，那么 $Ax = 0$，两边同时左乘 $A^T$，得到 $A^T Ax = 0$，所以 $x$ 也在 $A^T A$ 的零空间里。这证明了 $N(A) \subset N(A^T A)$。

反过来，如果 $x$ 在 $A^T A$ 的零空间里，那么 $A^T Ax = 0$，我们两边同时左乘 $x^T$：

$$x^T A^T Ax = (Ax)^T (Ax) = \|Ax\|^2 = 0$$

一个向量的模长平方等于零，只能说明这个向量本身就是零向量，所以 $Ax = 0$，说明 $x$ 也在 $A$ 的零空间里。这证明了 $N(A^T A) \subset N(A)$。

两边互相包含，所以 $N(A^T A) = N(A)$。

从这个结论可以直接得到两个推论：

1. $A^T A$ 与 $A$ 的秩相同：因为秩等于列数减去零空间维数，它们列数相同，零空间维数相同，所以秩一定相同。

2. $A^T A$ 可逆当且仅当 $A$ 的列向量线性无关：因为可逆意味着零空间只有零向量，也就是 $N(A)$ 只有零向量，说明 $A$ 的列向量线性无关。

这个结论非常重要，它告诉我们：在使用最小二乘法求最优解的时候，首先要保证 $A$ 的列向量线性无关，这样才能保证 $A^T A$ 可逆，我们才能解出唯一的最优解。

三、学习感悟

本节围绕正交这个核心概念层层展开，从最基本的向量正交讲到空间正交，再深入揭示了矩阵的零空间与行空间之间的正交补关系，最后引出了处理无解方程的方法。整个脉络很清晰，每一步都建立在前一步的基础上。

笔者认为，正交补这个概念是本节最值得回味的点。它不仅仅是说两个子空间正交，更重要的是它把整个空间完整地分解为两个正交部分，这种分解思想在很多工程问题中都有应用。比如在通信IC设计中，我们经常需要把信号分解到正交子空间上进行处理，这样各个分量之间不会互相干扰，大大简化了计算，这其实就是正交思想的直接应用。

最后引入的 $A^T A \hat{x} = A^T b$ 是本章后续内容的核心，理解正交与子空间的关系，是学好这部分内容的重要基础。只有真正搞懂了为什么我们需要用 $A^T A$，它为什么可逆，什么时候可逆，后续学习最小二乘法才能知其然也知其所以然。