线性代数 学习笔记

Chapter 1.

线性方程组 Linear System

• 相容（Consistent）：线性方程组有至少一组解。

  行观点 Row Picture：方程组相容，则直线 / 平面相交。

  列观点 Column Picture：列向量的和（线性组合）：$u \vec\alpha + v \vec\beta + w \vec\gamma = \vec b$。

• 非奇异（Nonsingular）：线性方程组恰有一组解。

• 等价线性方程组（Equivalent Systems）：有相同解集的线性方程组。

高斯消元法

基本操作：

1. 任意改变两行顺序。

2. 同行乘以非零数。

3. 某一行乘上一个非零数后加到另一行上。

不断进行操作 1、3，直到消为上三角矩阵，代入。

矩阵 Matrix：

$$A = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\ \end{bmatrix} = (a_{ij})_{m \times n}$$

增广矩阵 Augmented Matrix：

$$[A \mid b] = \left[\begin{array}{cccc|c} a_{11} & a_{12} & \cdots & a_{1n} & b_1 \\ a_{21} & a_{22} & \cdots & a_{2n} & b_2 \\ \vdots & \vdots & \ddots & \vdots & \vdots \\ a_{n1} & a_{n2} & \cdots & a_{nn} & b_n \end{array}\right]$$

上三角矩阵 (Upper-)Triangle System $U$

下三角矩阵 Lower-Triangle System $L$

主元 Pivot：非零行的第一个非零元素。

行阶梯型 Row Echelon Form：形如 $\begin{bmatrix}1 & 1 & 1 \\ 0 & 0 & 1 \\ 0 & 0 & 0\end{bmatrix}$。

基本运算

矩阵加法：$(a_{ij})_{m \times n} \pm (b_{ij})_{m \times n} = (a_{ij} \pm b_{ij})_{m \times n}$。要求两个矩阵大小一致。

矩阵数乘：$cA = (c a_{i, j})_{m \times n}$。

矩阵乘法：若 $A = (a_{ij})_{m \times n}$，$B = (b_{ij})_{n \times l}$，则 $AB = A(b_1, b_2, \cdots, b_l) = (Ab_1, Ab_2, \cdots, Ab_l)$。要求 $A$ 的列数等于 $B$ 的行数。

解线性方程组即求 $A x = b$ 中的 $x$（$x$ 和 $b$ 均为列向量）。

• 恒等矩阵 / 单位矩阵 $I$：形如 $\begin{bmatrix}1 & & \\ & 1 & \\ & & 1\end{bmatrix}$。

• 方阵 Square：行列数相等。

• 定义 $E_{ij}(l)$ 为恒等矩阵的基础上，第 $i$ 行第 $j$ 列为 $l$ 的矩阵。

  左乘 $E_{ij}(l)$，相当于把第 $j$ 行乘 $l$ 加到第 $i$ 行上。

  右乘 $E_{ij}(l)$，相当于把第 $i$ 列乘 $l$ 加到第 $j$ 列上。

• 两个下三角矩阵（默认为方阵）的乘积仍为下三角矩阵。

初等行变换：

• 任意改变两行顺序：左乘交换了两行的恒等矩阵。

• 同行乘以非零数：左乘某个 $1 \to c$ 的恒等矩阵。

• 某一行乘上一个非零数后加到另一行上。

矩阵的次方：

要求 $A$ 是方阵。设 $A = (a_{ij})_{n \times n}$。

• $A^0 = I_{n}$。

• 设 $A = \begin{bmatrix} 1 & 2 \\ 1 & 2 \end{bmatrix} = \begin{bmatrix} 1 \\ 1 \end{bmatrix} \begin{bmatrix} 1 & 2 \end{bmatrix} = ab$，则 $A^n = a(ba)(ba) \cdots b = a \cdot 3^{n - 1} \cdot b = 3^{n - 1} A$。

运算律

加法结合律：满足。

加法交换律：满足。

乘法结合律：$(AB)C = A(BC)$。

证明：设 $A = (a_{ij})_{m \times n}$，$B = (b_{jk})_{n \times s}$，$C = (c_{kl})_{s \times r}$，$V = AB = (v_{ik})_{m \times s}$，$W = BC = (w_{jl})_{n \times r}$，有 $v_{ik} = \sum_{j = 1}^{n} a_{ij} b_{jk}$，$w_{jl} = \sum_{k = 1}^{s}b_{jk} c_{kl}$。

计算 $((AB)C)_{il} = (VC)_{il} = \sum_{k = 1}^{s} v_{ik} c_{kl} = \sum_{k = 1}^{s} \sum_{j = 1}^{n} a_{ij} b_{jk} c_{kl}$。

计算 $(A(BC))_{il} = (AW)_{il} = \sum_{j = 1}^{n} a_{ij} w_{jl} = \sum_{j = 1}^{n} a_{ij} \sum_{k = 1}^{s}b_{jk} c_{kl}$。

二者一致。得证。

乘法交换律：不满足。

$(\alpha \beta) A = \alpha (\beta A)$。

$\alpha (AB) = A (\alpha B)$。

数乘对数加的分配律：$(\alpha + \beta) A = \alpha A + \beta A$。

数乘对矩阵加法的分配律：$\alpha (A + B) = \alpha A + \alpha B$。

矩阵乘法对矩阵加法的分配律：$A (B + C) = AB + AC$。

初等矩阵 Elementry Matrix

Type I：左乘交换两行，右乘交换两列：（左行右列）

$$\begin{bmatrix} & 1 & \\ 1 & & \\ & & 1 \end{bmatrix}$$

Type II：左乘改变第 $i$ 行，右乘改变第 $i$ 列：

$$\begin{bmatrix} 2 & & \\ & 1 & \\ & & 1 \end{bmatrix}$$

Type III：$E_{ij}(l)$：

$$\begin{bmatrix} 1 & & \\ 2 & 1 & \\ & & 1 \end{bmatrix}$$

LU 分解

$U$ 就是高斯消元得到的上三角矩阵。

如果一个矩阵能仅通过第三种初等行变换就得到一个上三角矩阵，那么这个矩阵就有一个 $LU$ 分解。下三角矩阵 $L$ 中记录了消元过程中的乘子（的相反数）。

LU 分解不具有唯一性。

$$Ax = b \Rightarrow \begin{cases} Lc = b \\ Ux = c \end{cases}$$

LDU 分解

$D$ 是对角矩阵，用以将 $U$ 的对角线全部变成 $1$。

$$\begin{bmatrix} 2 & 6 & 6 \\ & -3 & -6 \\ & & 1 \end{bmatrix} = \begin{bmatrix} 2 & & \\ & -3 & \\ & & 1 \end{bmatrix} \begin{bmatrix} 1 & 3 & 3 \\ & 1 & 2 \\ & & 1 \end{bmatrix}$$

$LDU$ 分解具有唯一性。

分块矩阵 Partitioned Matrix

• $$\begin{aligned} AB &= A \begin{bmatrix} b_1 & b_2 & \cdots & b_l \end{bmatrix} = \begin{bmatrix} A b_1 & A b_2 & \cdots & A b_l \end{bmatrix} \\ &= \begin{bmatrix} a_1 \\ a_2 \\ \vdots \\ a_n \end{bmatrix} B = \begin{bmatrix} a_1 B \\ a_2 B \\ \vdots \\ a_n B \end{bmatrix} \end{aligned}$$

  $b_k$ 可以是某几列一起，$a_i$ 也可以是某几行一起。

• $$AB = \begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix} \begin{bmatrix} B_{11} & B_{12} \\ B_{21} & B_{22} \end{bmatrix} = \begin{bmatrix} A_{11}B_{11} + A_{12}B_{21} & A_{11}B_{12} + A_{12}B_{22} \\ A_{21}B_{11} + A_{22}B_{21} & A_{21}B_{12} + A_{22}B_{22} \end{bmatrix}$$

• $AB$ 的每一列都是 $A$ 的列向量的线性组合，每一行都是 $B$ 的行向量的线性组合。

置换矩阵 Permutation Matrix

$n$ 阶置换矩阵有 $n!$ 个。

借助置换矩阵，我们可以使任意矩阵可以被 LU 分解，即：$PA = LU$。

逆矩阵 Inverse Matrix

对于 $n$ 阶方阵 $A$，其逆矩阵 $A^{-1}$ 满足 $A A^{-1} = A^{-1} A = I_n$。有 $\left(A^{-1}\right)^{-1} = A$。

• $2$ 阶方阵 $\begin{bmatrix} a & b \\ c & d \end{bmatrix}$ 的逆存在，当且仅当 $ad - bc \neq 0$。其逆为 $\frac{1}{ad - bc}\begin{bmatrix} d & -b \\ -c & a \end{bmatrix}$。

• 对角矩阵 $\begin{bmatrix} d_1 & & \\ & \ddots & \\ & & d_n \end{bmatrix}$（$\forall d_i \neq 0$）的逆为 $\begin{bmatrix} d_1^{-1} & & \\ & \ddots & \\ & & d_n^{-1} \end{bmatrix}$

注意 $(AB)^{-1} = B^{-1} A^{-1}$。【交换顺序】

逆矩阵具有唯一性。

证明：若 $B, C$ 都是 $A$ 的逆，那么 $(BA)C = C = B(AC) = B$，即 $B = C$。

若 $Ax = 0$ 有非零解，那么 $A$ 不可逆。

证明：假设 $A$ 可逆，那么 $A^{-1} (Ax) = A^{-1} 0$，则 $x = 0$，矛盾。

求逆方法：

• 把 $A^{-1}$ 和 $I_n$ 分成 $n$ 列，即求 $n$ 个方程 $Ax_i = e_i$ 的解。

• 可使用高斯约旦法消元 $[A \mid I_n]$ 得到

$n$ 阶方阵 $A$ 可逆的充要条件：

• 主元有 $n$ 个，即高斯约旦法有解。

• $\forall b$，$Ax = b$ 非奇异。

  证明：

  • 充分性：

    由 $A^{-1}(Ax) = A^{-1} b$，得 $x = A^{-1} b$。

    由 $A (A^{-1} b) = b$，得 $A$ 是非奇异的。

  • 必要性：

    若 $Ax = b$ 奇异，则 $Ax = 0$ 有非零解，故 $A$ 不可逆。

可逆 = 非奇异 = $n$ pivots！

上（下）三角矩阵的逆仍是上（下）三角矩阵。

高斯约旦法 Gauss-Jordan

$$[A \mid I_n] = \left[\begin{array}{ccc|ccc} a_{11} & a_{12} & a_{13} & 1 & & \\ a_{21} & a_{22} & a_{23} & & 1 & \\ a_{31} & a_{32} & a_{33} & & & 1 \end{array}\right]$$

先进行高斯消元，使其变为上三角矩阵：

$$\left[\begin{array}{ccc|ccc} a_{11}' & a_{12}' & a_{13}' & ? & & \\ & a_{22}' & a_{23}' & ? & ? & \\ & & a_{33}' & ? & ? & ? \end{array}\right]$$

再从最后一行开始向上消元，使其变为对角矩阵：

$$\left[\begin{array}{ccc|ccc} a_{11}'' & & & ? & ? & ? \\ & a_{22}'' & & ? & ? & ? \\ & & a_{33}'' & ? & ? & ? \end{array}\right]$$

最后每一行乘上 $\frac{1}{a_{ii}''}$，变为：

$$\left[\begin{array}{ccc|ccc} 1 & & & ? & ? & ? \\ & 1 & & ? & ? & ? \\ & & 1 & ? & ? & ? \end{array}\right]$$

此时竖线右边是 $A^{-1}$。

转置矩阵 Transpose Matrix

性质：

• $\left(A^{T}\right)^{T} = A$。

• $(\alpha A)^T = \alpha A^T$。

• $(A + B)^T = A^T + B^T$。

• $(AB)^T = B^T A^T$。【交换顺序】

• $\left(A^{-1}\right)^T = \left(A^T\right)^{-1}$。

对称矩阵 Symetric Matrix

满足 $A = A^T$ 的 $n$ 阶方阵 $A$。

性质：

• 对称矩阵的逆也是对称矩阵。

• 对于任意 $m \times n$ 的矩阵 $R$，$R R^T$ 和 $R^T R$ 都是对称矩阵。

• 对称矩阵 $A = LDU$，那么 $L^T = U$。

矩阵与幂级数

定义 $N = \begin{bmatrix}0 & 1 & 0 \\ & 0 & 1 \\ & & 0 \end{bmatrix}$，则 $N^2 = \begin{bmatrix}0 & 0 & 1 \\ & 0 & 0 \\ & & 0 \end{bmatrix}$，$N^3 = 0$。

那么 $\sum_{n = 0}^{\infty}(aN)^n = 1 + aN + aN^2 = (1 - aN)^{-1}$。（$I = 1$）

更高维度时相同。

---

Chapter 2.

向量空间 Vector Space

公理：

• $x + y = y + x$。

• $(x + y) + z = x + (y + z)$。

• 存在唯一的零向量 $\vec 0$，使得 $x + \vec 0 = \vec 0 + x = x$。

• $\forall x$，存在唯一的 $-x$，使得 $x + (-x) = \vec 0$。

• $1 \cdot x = x$。

• $(c_1 c_2) x = c_1 (c_2 x)$。

• $c (x + y) = cx + cy$。

• $(c_1 + c_2) x = c_1 x + c_2 x$。

实向量空间 Real Vector Space：是一个满足加法和数乘的“向量”集合，也即满足上述 8 条公理。它是抽象的。

性质（$x, y, z \in V$）：

• $0 \cdot x = \vec 0$。

  证明：$0 \cdot x + x = 0 \cdot x + 1 \cdot x = (0 + 1) \cdot x = x$，同理 $x + 0 \cdot x = x$，所以 $0 \cdot x = \vec 0$。

• $(-1) \cdot x = -x$。

• 若 $x + y = x + z$，则 $x = z$。

• $\beta \cdot \vec 0 = \vec 0$。

• 若 $\alpha x = \vec 0$，则 $\alpha = 0$ 或 $x = \vec 0$。

子空间 Subspace：$W$ 是 $V$ 的非空子集，满足：

• $\forall x, y \in W$，$x + y \in W$。

• $\forall x \in W, c \in \R$，$cx \in W$。

  （任意线性组合也在 $W$ 中）

  推出：$\vec 0 \in W$。

零空间 Zero Space：$W = \left\{\vec 0\right\}$。

列空间 Column Space

一个 $m \times n$ 的矩阵 $A$ 的列空间是它所有列的线性组合，记为 $C(A)$。显然 $C(A) \subseteq \R^m$。

应用：

• 方程 $Ax = b$ 有解（相容）等价于 $b \in C(A)$。

核空间 Nullspace / 零空间

一个 $m \times n$ 的矩阵 $A$ 的核空间是所有满足 $Ax = 0$ 的 $n$ 维向量 $x$ 的集合，记为 $N(A) = \{x \in \R^n \mid Ax = 0\}$。显然 $N(A) \subseteq \R^n$。

求核空间：

• 定义行最简型（Reduced Row Echelon Form）矩阵为消元后满足如下条件的矩阵：

  • 非零行都在全零行的上方，且主元列号递增。

  • 主元全为 $1$。

  • 主元所在列其它元素都为 $0$。

• 定义自由变量为没有主元的列的元素。当未知元的个数（列数 $n$）大于主元个数（行数 $m$）时，就会出现自由变量；此时 $Ax = 0$ 就有非零解。

• 定义矩阵的秩（Rank）为化为行最简型后主元的个数，记为 $r(A)$ 或 $\text{rank}(A)$。

求解步骤：

• 高斯消元，得到行最简型矩阵，例如：

  $$\begin{bmatrix} 1 & 3 & & -1 \\ & & 1 & 1 \\ & & & \end{bmatrix}$$

• 将每个非零行，把主元写在左边，自由变量写在右边，得到一个方程组，例如：

  $$\begin{cases} x_1 = -3x_2 + x_4 \\ x_3 = -x_4 \end{cases}$$

• 为自由变量设未知数，例如 $x_2 = a$、$x_4 = b$，得到核空间为：

  $$N(A) = \left\{\begin{bmatrix} -3a + b \\ a \\ -b \\ b\end{bmatrix} \in \R^4 \mid a, b \in \R\right\}$$

• 我们也可以通过设某自由变量为 $1$，其它自由变量为 $0$，得到特解：

  $$x = a \begin{bmatrix} -3 \\ 1 \\ 0 \\ 0 \end{bmatrix} + b \begin{bmatrix} 1 \\ 0 \\ -1 \\ 1 \end{bmatrix} \Rightarrow C \left(\begin{bmatrix} -3 & 1 \\ 1 & 0 \\ 0 & -1 \\ 0 & 1 \end{bmatrix}\right)$$

应用：

• 如果找到 $Ax = b$ 的特解，那么该特解加上核空间内向量可以得到所有解。

  直接求 $Ax = b$ 的解集：

  在求行最简型矩阵过程中，右边增广一列：

  $$b = \begin{bmatrix} b_1 \\ b_2 \\ \vdots \\ b_n \end{bmatrix}$$

  消元得到行最简型时，有解等价于全零行右边全为零。

  由非零行，可以得到如下方程：

  $$\begin{cases} x_1 = -2 - 3x_2 + x_4 \\ x_3 = 1 - x_4 \end{cases}$$

  把所有自由变量设为 $0$，可以得到一组 $Ax = b$ 的特解：

  $$x_p = \begin{bmatrix} -2 \\ 0 \\ 1 \\ 0 \end{bmatrix}$$

  那么加上 $N(A)$ 即可得到解集。

线性无关 Linear Independent

定义：若向量 $v_1, v_2, \cdots, v_n$ 满足方程 $c_1 v_1 + c_2 v_2 + \cdots + c_n v_n = 0$ 只在 $c_1 = c_2 = \cdots = c_n = 0$ 时成立，那么这 $n$ 个向量线性无关。

据此，重新定义 $A$ 的秩 $r(A)$ 为最多的线性无关的行的数量。

$A$ 所有行线性无关，等价于 $Ax = 0$ 只有全零解（没有非零解），等价于 $N(A) = \{0\}$。

判断 $n$ 个列向量 $v_i \in \R^m$ 是否线性无关（$n \le m$）：

• 设 $A = \begin{bmatrix} v_1 & v_2 & \cdots & v_n \end{bmatrix}$，解 $Ax = 0$。

• 若 $N(A) = \{0\}$，则线性无关。

判断 $n$ 个行向量 $v_i \in \R^m$ 是否线性无关（$n \le m$）：

• 设 $A = \begin{bmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{bmatrix}$，解 $A^T x = 0$。

• 若 $N(A^T) = \{0\}$，则线性无关。

基 Basis

向量空间 $V$ 由一组向量张（Span）出，即 $V$ 是这组向量的线性组合，记为 $V = \text{span}\{v_1, v_2, \cdots, v_n\}$。等价于，$\forall v \in V$，$\exists! c_1, c_2, \cdots, c_n \in \R$，使得 $v = c_1 v_1 + c_2 v_2 + \cdots + c_n v_n$。（$\exists!$ 表示“存在唯一”）

若这组向量线性无关，则我们称这组向量是 $V$ 的基。

标准基 Standerd Basis：$e_1, e_2, \cdots, e_n$ 是 $\R^n$ 的标准基。其中 $e_i$ 是仅第 $i$ 个元素为 $1$、其余元素为 $0$ 的列向量。

定理：$V$ 的所有基的向量个数相等。据此定义向量空间的维数（Dimension）为它的基的向量个数。

证明：假设两个基 $V = \text{span}(v_1, v_2, \cdots, v_m) = \text{span}(w_1, w_2, \cdots, w_n)$，且 $m < n$。

则 $\forall i$，$w_i = a_{1i} v_1 + a_{2i} v_2 + \cdots a_{mi} v_m$，即：

$$\begin{bmatrix} w_1 & \cdots & w_n \end{bmatrix} = \begin{bmatrix} v_1 & \cdots & v_m \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$

因为 $m < n$，所以 $Ax = 0$ 有无穷多个解。设一个非零解 $x = \begin{bmatrix} c_1 \\ \vdots \\ c_n \end{bmatrix}$，那么有：

$$\begin{bmatrix} w_1 & \cdots & w_n \end{bmatrix} \begin{bmatrix} c_1 \\ \vdots \\ c_n \end{bmatrix} = \begin{bmatrix} v_1 & \cdots & v_m \end{bmatrix} \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix} \begin{bmatrix} c_1 \\ \vdots \\ c_n \end{bmatrix} = 0$$

即 $c_1 w_1 + c_2 w_2 + \cdots c_n w_n = 0$。故 $w_1, w_2, \cdots, w_n$ 线性相关，不是 $V$ 的基。矛盾。

判断 $v_1, v_2, \cdots, v_n \in \R^n$ 是否是 $\R^n$ 的基：

设 $A = \begin{bmatrix} v_1 & v_2 & \cdots & v_n \end{bmatrix}$。由定义，需要满足以下两个条件：

• $\text{span}\{v_1, v_2, \cdots, v_n\} = \R^n$。等价于 $\forall b$，$Ax = b$ 相容。

• $v_1, v_2, \cdots, v_n$ 线性无关。等价于 $Ax = 0$ 非奇异（没有非零解），即 $N(A) = \{0\}$。

由上可知，$\forall b$，$Ax = b$ 非奇异。等价于矩阵 $A$ 可逆。

四个基本子空间

设 $A$ 是 $m \times n$ 的矩阵。

• $C(A)$ 和 $N\left(A^T\right)$ 在 $\R^m$ 中正交补。

• $C\left(A^T\right)$ 和 $N(A)$ 在 $\R^n$ 中正交补。

求列空间 $C(A)$ 的基：

• 主元所在的（$A$ 中的）列构成 $C(A)$ 的一组基。

  因此，$\dim C(A)$（列秩）等于 $\text{rank}(A)$。

求行空间 $C\left(A^T\right)$ 的基：

• 初等行变换不会改变行空间。我们将 $A$ 消为行阶梯型 $U$ 后，$U$ 的每一个非零行都线性无关，这些行构成 $C\left(A^T\right)$ 的一组基。

  因此，$\dim C\left(A^T\right)$（行秩）等于 $\text{rank}(A)$。（行秩等于列秩等于秩，$\text{rank}(A) = \text{rank}\left(A^T\right)$）

求零空间 $N(A)$ 的基：

• $Ax = 0$ 的一组特解构成 $N(A)$ 的一组基。

  因此，$\dim N(A)$（零化度 Nullity）等于 $n - \text{rank}(A)$。

• 秩-零化度定理：

  $$\dim C(A) + \dim N(A) = r + n - r = n$$

求左零空间 $N\left(A^T\right)$ 的基：

• 即求 $A^T y = \left(A^T y\right)^T = y^T A = 0$。根据秩-零化度定理，$\dim C\left(A^T\right) + \dim N\left(A^T\right) = m$，故 $\dim N\left(A^T\right) = m - \text{rank}(A)$。

• 利用 $A = LU$，得到：

  $$L^{-1} A = \begin{bmatrix} y_1^T \\ y_2^T \\ \vdots \\ y_m^T \end{bmatrix} A = U$$

  其中，$y_i^T$ 是 $L^{-1}$ 的每一行。最后 $m - r$ 行构成 $N\left(A^T\right)$ 的一组基。

  可以直接对 $[A \mid I_m]$ 消元，左边全零行对应的右边构成基。

总结：

• $A$ 可逆，等价于：

  • $\text{rank}(A) = n$；

  • $C(A) = C\left(A^T\right) = \R^n$；

  • $N(A) = N(A^T) = \{0\}$。

秩不等式 Rank Inequality

$$\text{rank}(AB) \le \min\{\text{rank}(A), \text{rank}(B)\}$$

• 推论：任意矩阵 $A$ 乘上（左乘或右乘）可逆矩阵 $P$ 秩不变。

  证明：只需证 $\text{rank}(PA) \ge \text{rank}(A)$。

  注意到 $A = P^{-1} P A$，再用一次秩不等式即可。

右逆和左逆 Right-Inverse & Left-Inverse

定义：$m \times n$ 的矩阵 $A$ 和 $n \times m$ 的矩阵 $B$ 若满足 $AB = I_n$，那么 $A$ 是 $B$ 的右逆，$B$ 是 $A$ 的左逆。

存在性：

• $A$ 存在右逆的充要条件是 $\text{rank}(A) = m$（行满秩）。

  $A$ 存在左逆的充要条件是 $\text{rank}(A) = n$（列满秩）。

  可以通过例子 $A = \begin{bmatrix} 1 & 0\end{bmatrix}$，$B = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$，$AB = \begin{bmatrix} 1 \end{bmatrix}$ 来记忆。

• 推论：$A$ 既有右逆右有左逆，当且仅当 $\text{rank}(A) = m = n$。

最好的右 / 左逆：

• 若存在右 / 左逆，那就有无穷多个。

  其中最好的右逆为 $C = A^T \left(A A^T\right)^{-1}$，最好的左逆为 $B = \left(A^T A\right)^{-1} A^T$。

秩一矩阵 Rank 1 Matrix

定理：任意一个秩一矩阵都可以被写成一个行向量乘以一个列向量。我们已经使用此性质来计算秩一矩阵的 $n$ 次方。

线性变换 Linear Transformation

$n \times n$ 的矩阵左乘在（列）向量 $\in \R^n$ 上，得到一个新的向量。

• 伸缩：$A = \begin{bmatrix} c & \\ & c \end{bmatrix}$，$A \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} cx \\ cy \end{bmatrix}$。

• 旋转：$A = \begin{bmatrix} & -1 \\ 1 & \end{bmatrix}$，$A \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} -y \\ x \end{bmatrix}$（逆时针旋转 $90°$）。

• 反射：$A = \begin{bmatrix} 1 & \\ & -1 \end{bmatrix}$，$A \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} x \\ -y \end{bmatrix}$。

• 投影：$A = \begin{bmatrix} 1 & \\ & \end{bmatrix}$，$A \begin{bmatrix} x \\ y \end{bmatrix} = \begin{bmatrix} x \\ 0 \end{bmatrix}$。

定义：

• 定义：两个向量空间 $V, W$ 的映射 $T : V \to W$ 满足：

  • $T(v_1 + v_2) = T(v_1) + T(v_2)$。

  • $T(cv_1) = cT(v_1)$。

  则 $T$ 是线性变换 / 线性映射。

• 性质：原点永远不变。

• 定理：如果我们知道 $V$ 和 $W$ 的基 $v_1, \cdots, v_n$ 和 $w_1, \cdots, w_m$，那么 $T$ 可以由 $A_{m \times n}$ 表示。$A$ 被称为表示矩阵。

  具体地，$T(v_j) = a_{1j} w_1 + a_{2j} w_2 + \cdots + a_{mj} w_m$，也即：

  $$\begin{aligned} T\left(\begin{bmatrix} v_1 & \cdots & v_n \end{bmatrix}\right) &= \begin{bmatrix} T(v_1) & \cdots & T(v_n)\end{bmatrix} \\ &= \begin{bmatrix} w_1 & \cdots & w_m \end{bmatrix} A \end{aligned}$$

复合：

• 设线性变换 $T : U \to V$，$S : V \to W$，则 $S \circ T$ 也是一个线性变换。

  设 $T$ 的表示矩阵是 $A$，$S$ 的表示矩阵是 $B$，则 $S \circ T$ 的表示矩阵是 $BA$。

坐标变换 Coordinate Transformation：

• 旋转 $\theta$：$T_\theta = \begin{bmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{bmatrix}$。易证 $T_\gamma \circ T_\theta = T_{\theta + \gamma}$。

• 投影到直线 $\theta$：$P_\theta = \begin{bmatrix} \cos^2\theta & \cos\theta \sin\theta \\ \cos\theta \sin\theta & \sin^2\theta \end{bmatrix}$。易证 $P_\theta \circ P_\theta = P_\theta$。

• 反射在直线 $\theta$：$R_\theta = \begin{bmatrix} \cos2\theta & \sin2\theta \\ \sin2\theta & -\cos2\theta \end{bmatrix}$。易证 $R_\theta \circ R_\theta = I$。

相似变换：

• 设 $T : V \to V$，$A$ 是关于基 $v_1, \cdots, v_n$ 的表示矩阵，$B$ 是关于基 $w_1, \cdots, w_n$ 的表示矩阵，那么存在矩阵 $S$，使得 $B = S^{-1}AS$。

  证明：由 $T(vS) = (vS)B$ 且 $T$ 是线性的，得 $T(v)S = v(SB)$。

  而 $T(v) = vA$，故 $(vA)S = v(SB)$，即 $AS = SB$，即 $B = S^{-1}AS$。

---

Chapter 3.

正交 Orthogonal

定义：

• 长度：$\|x\| = \sqrt{\sum x_i^2} = \sqrt{x^T x}$。

• 垂直：$x \perp y$ 当且仅当 $\sum x_i y_i = x^T y = 0$。

• 角度：$\cos\theta = \frac{x^T y}{\|x\| \|y\|}$。用柯西证得它的绝对值不超过 $1$。

定理：

• 若 $v_1, \cdots, v_n$ 互相垂直，则 $v_1, \cdots, v_n$ 线性无关。

• 余弦定理：$\|y - x\|^2 = \|x\|^2 + \|y\|^2 - 2 \|x\| \|y\| \cos\theta$。

正交基：

• 我们称互相垂直且能张出整个空间的一组向量 $v_1, \cdots, v_n$ 为正交基。

正交补 Orthogonal Complement

• 对于 $V \subseteq U$，定义 $V^{\perp} = \{u \in U \mid u \perp V\}$。

• 维数关系：$\dim V + \dim V^{\perp} = \dim U$。

• 性质：$\left(V^{\perp}\right)^{\perp} = V$。

四个基本子空间：

• $C(A)^\perp = N\left(A^T\right)$，$N\left(A^T\right)^\perp = C(A)$。

  $C\left(A^T\right)^{\perp} = N(A)$，$N(A)^{\perp} = C\left(A^T\right)$。

• 推论：$Ax = b$ 有解，等价于 $b \in C(A)$，等价于 $b \perp N\left(A^T\right)$。

投影 Projection

• $b$ 在 $a$ 方向上的投影为 $\frac{a^T b}{a^T a} a = \frac{a a^T}{a^T a} b$。

  $$\begin{aligned} P : \R^n &\longrightarrow \R^n \\ b &\longmapsto \frac{a a^T}{a^T a} \cdot b \end{aligned}$$

• 易证 $P^2 = P$，$P^T = P$。

• $C(P) = \text{span}\{a\}$，$N(P) = \{v \mid v \perp a\}$。

最小平方法 Least Square Solution

$$A^T A x = A^T b$$

若有截距，则在 $A$ 右边增广一列全 $1$ 列，$x$ 的最后一位就是截距。

证明：给出向量 $a, b$，做拟合 $xa = b$（$x \in \R$）的误差的平方 $E^2 = \|xa - b\|^2$ 最小时，$xa$ 是 $b$ 在 $a$ 方向上的投影。画图几何分析易证。

给出向量 $a_1, a_2, \cdots, a_n, b$，做拟合 $x_1 a_1 + x_2 a_2 + \cdots + x_n a_n = b$ 的误差的平方 $E^2 = \|x_1 a_1 + x_2 a_2 + \cdots + x_n a_n - b\|$ 最小时，相似地，答案是 $b$ 在 $C(A)$（$A = \begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix}$）上的投影（由余弦定理）。设投影点为 $p = A \hat x$（$\hat x$ 是向量），则 $p - b \in C(A)^{\perp} = N\left(A^T\right)$，则：

$$\begin{aligned} A^T (p - b) &= 0 \\ A^T A \hat x &= A^T b \end{aligned}$$

• 据此定义空间 $C(A)$ 上的投影：

  $$\begin{aligned} P : \R^n &\longrightarrow R^n \\ b &\longmapsto p \end{aligned}$$

  其中，$\text{rank}(A) = n$，使 $A^T A$ 可逆；$\hat x = \left(A^T A\right)^{-1} A^T b$，$p = A \hat x = A \left(A^T A\right)^{-1} A^T b$。

  故 $P = A \left(A^T A\right)^{-1} A^T$，$p = Pb$。

• 若 $\text{rank}(A) = n = m$，则 $A$ 可逆，$\hat x = A^{-1} b$。

投影矩阵 Projection Matrix：

• 定义：$n$ 阶方阵 $P$ 是投影矩阵，当且仅当：

  • $P^2 = P$，

  • $P^T = P$。

• 定理：$I - P$ 也是投影矩阵。$(I - P) b = b - Pb$，即 $b$ 对 $C(A)$ 作投影的垂线，即 $b$ 在 $N\left(A^T\right)$ 上的投影。

带权重的最小平方问题：

$m$ 个方程的权重分别为 $w_i$，$E^2 = \sum_{i = 1}^m w_i^2 (a_{i1} x_1 + \cdots + a_{in} x_n - b_i)^2$。

把 $w_i$ 乘给 $a_{ij}$ 和 $b_i$ 即可。设 $m$ 阶对角方阵 $W$ 为 $W_{ii} = w_i$，则：

$$\begin{aligned} (WA)^T (WA) \hat x &= (WA)^T (Wb) \\ A^T \left(W^T W\right) \hat x &= A^T W^T W b \end{aligned}$$

柯西-施瓦茨不等式的一个证明：

证明 $\left(a^T b\right)^2 \le \|a\| \|b\|$：

$$\begin{aligned} \|b - p\|^2 &= (b - p)^T (b - p) \\ &= b^T b - 2 p^T b - p^T p \\ &= \|b\|^2 - 2 \left(\frac{a^T b}{a a^T}\right) a^T b + \frac{\left(a^T b\right)^2}{a^T a} \\ &= \|b\|^2 - \frac{\left(a^T b\right)^2}{\|a\|^2} \ge 0 \end{aligned}$$

正交基 Orthogonal Basis

由单位向量组成的、两两正交的一组基称为规范正交基。

判断 $q_1, q_2, \cdots, q_m \in \R^n$ 是否是 $R^n$ 的规范正交基：

• 令 $Q = \begin{bmatrix} q_1 & q_2 & \cdots & q_m \end{bmatrix}$，若 $Q^T Q = I$，则它们两两正交。

• 还需要 $m = n$。此时，称满足 $Q^T Q = I$ 的方阵 $Q$ 为正交矩阵。

正交矩阵 Orthogonal Matrix

性质：

• 保长度：$\|Qx\| = \|x\|$。

• 保内积：$(Qx)^T (Qy) = x^T y$。

• 保角度。

优势：

• $b = \sum x_i q_i = \sum \left(q_i^T b\right) q_i$。

• 也就是说，若要求 $b \in \R^n$ 在 $Qx = b$ 下的坐标 $x$ 时：

  $$x = Q^{-1} b = Q^T b = \begin{bmatrix} q_1^T b \\ \vdots \\ q_n^T b \end{bmatrix}$$

• 几何意义上，$x$ 的每一项就是 $b$ 在每一条直线上的投影。

  $\|b\|^2 = \sum \left(q_i^T b\right)^2$。

结论：

• $Q^T$ 也是正交矩阵。也就是说，$Q$ 的每一行也两两正交。

格拉姆-施密特正交化 Gram-Schmidt

给出一组基 $v_1, v_2, \cdots, v_n$，按照如下步骤求其规范正交基：

• $q_1 = \frac{v_1}{\|v_1\|}$。

• 对于 $2 \le i \le n$，我们将 $v_i$ 减去前面的 $q_j$ 上的投影 $\frac{q_j^T v_i}{\|q_j^T q_j\|} q_j = \left(q_j^T v_i\right) q_j$：

  $$q_i = \frac{v_i - \sum_{j = 1}^{i - 1} \left(q_j^T v_i\right) q_j}{\left\|v_i - \sum_{j = 1}^{i - 1} \left(q_j^T v_i\right) q_j\right\|} = \frac{v_i - p_i}{\|v_i - p_i\|}$$

  其中：

  $$p_i = \sum_{j = 1}^{i - 1} \left(q_j^T v_i\right) q_j = \begin{bmatrix} q_1 & \cdots & q_{i - 1} \end{bmatrix} \begin{bmatrix} q_1^T v_i \\ \vdots \\ q_{i - 1}^T v_i \end{bmatrix}$$

  设 $Q = \begin{bmatrix} q_1 & \cdots & q_{i - 1} \end{bmatrix}$，则 $p_i$ 是 $Qx = v_i$ 的最小二乘解，即：

  $$Q^T Q p_i = Q^T v_i$$

QR 分解：

• 这对应着 $A = \begin{bmatrix} v_1 & v_2 & \cdots & v_n \end{bmatrix}$ 的 QR 分解 $A = QR$，其中 $Q$ 满足 $Q^T Q = I$，$R$ 是对角线元素为正的 上三角矩阵：

  $$A = \begin{bmatrix} q_1 & q_2 & \cdots & q_n \end{bmatrix} \begin{bmatrix} \|v_1 - p_1\| & q_1^T v_2 & \cdots & q_1^T v_n \\ & \|v_2 - p_2\| & \cdots & q_2^T v_n \\ & & \ddots & \vdots \\ & & & \|v_n - p_n\| \end{bmatrix}$$

  当 $A$ 是方阵时，$Q$ 是正交矩阵。

• $A$ 有 QR 分解，当且仅当 $A$ 列满秩（$\text{rank}(A) = n$）。

应用：

最小二乘法 $A^T A \hat x = A^T b$ 中的 $A$ 如果有 QR 分解 $A = QR$，那么：

$$\begin{aligned} (QR)^T QR \hat x &= (QR)^T b \\ R^T Q^T Q R \hat x &= R^T Q^T b \\ R^T R \hat x &= R^T Q^T b \\ R \hat x &= Q^T b \end{aligned}$$

一般化

定义广义的内积 $\lang *, * \rang$ 是 $v \times v \to \R$ 的映射，满足：

• 双线性型：

  $\lang ax_1 + bx_2, y \rang = a \lang x_1, y \rang + b \lang x_2, y \rang$；

  $\lang x, cy_1 + dy_2 \rang = c \lang x, y_1 \rang + d \lang x, y_2 \rang$。

• 对称性：$\lang x, y \rang = \lang y, x \rang$。

• 正定性：$\lang x, x \rang \ge 0$，当且仅当 $x = 0$ 时取等。

依此定义：

• 长度：$\|v\| = \sqrt{\lang v, v \rang}$。

• 距离：$\|u - v\| = \sqrt{\lang u - v, u - v \rang}$。

• 垂直：$\lang u, v \rang = 0$。

• 角度：$\cos\theta = \frac{\lang u, v \rang}{\|u\| \|v\|}$。需要证明 $|\cos\theta| \le 1$：

  证明：由正定性，$\forall t \in \R$，$\lang u + tv, u + tv \rang \ge 0$。即：

  $$\begin{aligned} & \lang u + tv, u + tv \rang \\ =& \lang u, u + tv \rang + t \lang v, u + tv \rang \\ =& \lang u, u \rang + t \lang u, v \rang + t \lang v, u \rang + t^2 \lang v, v \rang \\ =& \lang u, u \rang + 2t \lang u, v \rang + t^2 \lang v, v \rang \ge 0 \end{aligned}$$

  根据二次函数 $at^2 + bt + c \ge 0$ 的判别式 $b^2 - 4ac \le 0$，得：

  $$\left(2 \lang u, v \rang\right)^2 - 4 \lang u, u \rang \lang v, v \rang \le 0$$

  即：

  $$\lang u, v \rang^2 \le \lang u, u \rang \lang v, v \rang = \|u\| \|v\|$$

应用：

• 求一低次函数，对一给定高次函数的最佳逼近，即求该高次函数在此低次函数空间上的投影。

---

Chapter 4.

行列式 Determinant

定义：

• $n$ 阶方阵 $A$ 可逆，当且仅当其行列式 $\det(A) \ne 0$。

几何意义：

• 高维空间平行多面体的体积。

性质：

• $\det(I) = 1$。

• 若 $A$ 中有两行相同，则 $\det(A) = 0$。

• $\det(A)$ 线性依赖于每行。即：

  $$a \begin{vmatrix} v_1^T \\ v_2^T \\ \vdots \\ v_n^T \end{vmatrix} + b \begin{vmatrix} w_1^T \\ v_2^T \\ \vdots \\ v_n^T \end{vmatrix} = \begin{vmatrix} a v_1^T + b w_1^T \\ v_2^T \\ \vdots \\ v_n^T \end{vmatrix}$$

• 交换 $A$ 中两行得 $A'$，则 $\det(A) = -\det(A')$。

• 第三种初等行变换不改变行列式。即：

  $$\begin{vmatrix} v_1^T \\ v_2^T \\ \vdots \\ v_n^T \end{vmatrix} = \begin{vmatrix} v_1^T + v_2^T \\ v_2^T \\ \vdots \\ v_n^T \end{vmatrix}$$

  （以上三条性质告诉我们，初等行变换如何影响行列式）

• 若 $A$ 有全零行，则 $\det(A) = 0$。

• 上三角矩阵 $U$ 的 $\det(U)$ 等于主对角线元素的积。

• $A$ 奇异，等价于 $\det(A) = 0$。

  $A$ 可逆，等价于 $\det(A) \ne 0$。

• $\det(AB) = \det(A) \det(B)$。

  • 推论：$\det(A) \det\left(A^{-1}\right) = 1$。

• $\det(A) = \det\left(A^T\right)$。

总结：

• 若 $PA = LU$，其中 $P$ 是置换矩阵，则 $\det(A) = \pm \det(L) \det(U)$，符号取决于交换行的次数。

计算公式：

• 对于所有 $1 \sim n$ 的排列 $P$，计算 $n$ 阶方阵 $A$ 的行列式为：

  $$\det(A) = \sum_P \det(P) \prod_{i = 1}^{n} a_{i, P_i}$$

  其中，$\det(P) = (-1)^{\text{inv}(P)}$，$\text{inv}(P)$ 是 $P$ 的逆序对（Inversion）数。

• 删掉第 $i$ 行和第 $j$ 列后得到的 $n - 1$ 阶矩阵的行列式，称为余子式（Minor），$M_{ij} = \det(\text{rest of }A)$。加上符号，变成代数余子式（Cofactor），$C_{ij} = (-1)^{i + j} M_{ij}$。

  按第 $i$ 行展开（按列展开同理），得到 $A$ 的行列式的递归公式为：

  $$\det(A) = \sum_{j = 1}^{n} a_{ij} C_{ij}$$

应用：

• 求逆 $A^{-1}$：设余子式矩阵为 $C$，则：

  $$A^{-1} = \frac{C^T}{\det(A)}$$

• 克莱恩法则：解 $Ax = b$：

  $$x = A^{-1} b = \frac{C^T b}{\det(A)} = \frac{1}{\det(A)} \begin{bmatrix} \sum_{i = 1}^n b_{i1} C_{i1} \\ \sum_{i = 1}^n b_{i2} C_{i2} \\ \vdots \\ \sum_{i = 1}^n b_{in} C_{in} \end{bmatrix}$$

  那么，$x_j$ 即 $A$ 的第 $j$ 列换作 $b$ 后的行列式（设为 $B_j$），即：

  $$x_j = \frac{\det(B_j)}{\det(A)}$$

• 计算主元：第 $k$ 个主元 $d_k$ 可由前 $k$ 阶顺序主子式确定：

  $$d_k = \frac{\det(A_k)}{\det(A_{k - 1})}$$

计算方法：

• 消元。

• 大公式。

• 递归。

• 对于分块矩阵：

  $$\begin{vmatrix} A_1 & \cdots & * \\ & \ddots & \vdots \\ & & A_n \end{vmatrix} = C \cdot \begin{vmatrix} U_1 & \cdots & * \\ & \ddots & \vdots \\ & & U_n \end{vmatrix}$$

  其中，$C$ 是把 $A_1, \cdots, A_n$ 变成 $U_1, \cdots, U_n$ 的行列式系数之积。

• $A$ 可逆，$\forall \alpha, \beta \in \R^n$，有：

  $$\left|A + \alpha \beta^T\right| = |A| \left(1 + \beta^T A^{-1} \alpha\right)$$

  证明：

  $$\begin{aligned} \begin{vmatrix} A & -\alpha \\ \beta^T & 1 \end{vmatrix} &= \begin{vmatrix} A + \alpha \beta^T & 0 \\ \beta^T & 1 \end{vmatrix} = |A + \alpha \beta^T| \\ &= \begin{vmatrix} A & 0 \\ \beta^T & 1 + \beta^T A^{-1} \alpha \end{vmatrix} = |A| \left(1 + \beta^T A^{-1} \alpha\right) \end{aligned}$$

  • 应用：对于加扰动的秩一矩阵：

    $$\begin{bmatrix} x_1 + m & x_2 & \cdots & x_n \\ x_1 & x_2 + m & \cdots & x_n \\ \vdots & \vdots & \ddots & \vdots \\ x_1 & x_2 & \cdots & x_n + m \end{bmatrix} = mI + \begin{bmatrix} 1 \\ \vdots \\ 1 \end{bmatrix} \begin{bmatrix} x_1 & \cdots & x_n \end{bmatrix}$$

    得：

    $$|A| = m^n \left(1 + \frac{\sum x_i}{m}\right)$$

    或使用加边法：

    $$\begin{bmatrix} 1 & x_1 & x_2 & \cdots & x_n \\ 0 & x_1 + m & x_2 & \cdots & x_n \\ 0 & x_1 & x_2 + m & \cdots & x_n \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & x_1 & x_2 & \cdots & x_n + m \end{bmatrix}$$

    向下消元再向左消元即可。

• 设 $A_{m \times n}$，$B_{n \times m}$，则：

  $$|I_m - AB| = |I_n - BA|$$

  证明：

  $$\begin{aligned} \begin{vmatrix} I_m & A \\ B & I_n \end{vmatrix} &= \begin{vmatrix} I_m - AB & A \\ 0 & I_n \end{vmatrix} = |I_m - AB| \\ &= \begin{vmatrix} I_m & A \\ 0 & I_n - BA \end{vmatrix} = |I_n - BA| \end{aligned}$$

范德蒙德矩阵 Vandermonde Matrix：

$$\begin{aligned} \Delta_n(x_1, x_2, \cdots, x_n) &= \begin{vmatrix} 1 & 1 &\cdots & 1 \\ x_1 & x_2 & \cdots & x_n \\ x_1^2 & x_2^2 & \cdots & x_n^2 \\ \vdots & \vdots & \ddots & \vdots \\ x_1^{n - 1} & x_2^{n - 1} & \cdots & x_n^{n - 1} \end{vmatrix} \\ &= \prod_{i > j} (x_i - x_j) \end{aligned}$$

---

Chapter 5.

特征值和特征向量

称 $p(A) = |A - \lambda I|$ 为 $A$ 的特征多项式。

使特征方程 $|A - \lambda I| = 0$ 的 $\lambda$，称为 $A$ 的特征值（Eigenvalue）。

满足 $(A - \lambda I) x = 0$ 的 $x$，称为对应 $\lambda$ 的特征向量（Eigenvector）。

• 上三角矩阵的特征值是他的对角线元素。

迹 Trace：

定义 $n$ 阶矩阵的迹为：

$$\text{tr}(A) = \sum_{i = 1}^n a_{ii}$$

性质：

• $\lambda_1 + \cdots + \lambda_n = \text{tr}(A)$。

• $\lambda_1 \cdot \cdots \cdot \lambda_n = |A|$。

代数重数：$\lambda_i$ 在特征方程中是几重根。

几何重数：$\dim N(A - \lambda_i I)$。

可对角化 Diagonalizable

假设 $n$ 阶方阵 $A$ 有 $n$ 组特征值和特征向量 $Ax_i = \lambda_i x_i$，设 $S = \begin{bmatrix} x_1 & \cdots & x_n \end{bmatrix}$，则：

$$S^{-1} A S = \Lambda = \begin{bmatrix} \lambda_1 & & \\ & \ddots & \\ & & \lambda_n \end{bmatrix}$$

其中，称 $S$ 为特征向量矩阵；称 $\Lambda$ 为特征值矩阵。此时，$A$ 可对角化。

$n$ 阶方阵 $A$ 可对角化的条件为：

• 充分条件：
  • $n$ 个特征值两两互异。（引理：特征值互异 $\Rightarrow$ 对应的特征向量线性无关）
• 充要条件：
  • $n$ 个特征向量线性无关。
  • 所有特征值，代数重数等于几何重数。

性质：

• 若 $A$ 可对角化，则 $A^k$ 可对角化，且二者特征向量矩阵相同。

• 两个可对角化 $n$ 阶矩阵 $A, B$ 有相同的特征向量矩阵，当且仅当 $AB = BA$。

差分方程：

设差分方程 $u_{n + 1} = A u_n$，其中 $A$ 是 $k$ 阶方阵且 $A = S \Lambda S^{-1}$，则 $u_n$ 的通项为：

$$\begin{aligned} u_n &= A^n u_0 \\ &= A^n (c_1 x_1 + \cdots + c_k x_k) \\ &= c_1 \lambda_1^n x_1 + \cdots c_k \lambda_k^n x_k \end{aligned}$$

因为 $k$ 个特征向量线性无关，所以 $u_n$ 一定可以表示为它们的线性组合。

称该差分方程：

• 稳定，若所有 $|\lambda| < 1$。

• 中稳定，若 $A$ 是马尔可夫矩阵。

• 不稳定，若有的 $|\lambda| > 1$。

马尔可夫矩阵 Markov Matrix：

每一列加起来都为 $1$ 的方阵。

性质：

• 一定有一个特征值为 $1$。

• $1$ 对应的特征向量每一项都 $> 0$。

• 其它所有特征值 $|\lambda| \le 1$。

• 若 $\forall a_{ij} < 0$，那么所有特征值 $|\lambda| < 1$。

复数矩阵 Complex Matrix

复数 Complex：

• 共轭：$\overline{a + ib} = a - ib$。$|z|^2 = z \overline{z} = a^2 + b^2$。

  • $\overline{z_1 z_2} = \overline{z_1} \cdot \overline{z_2}$。

• 极化：$(a + ib) (c + id) = r (\cos\theta + i \sin\theta) = r e^{i \theta}$。

  称 $\theta$ 为辐角。

• 乘法：$z_1 z_2 = r_1 r_2 e^{i (\theta_1 + \theta_2)}$。

复向量空间：$\mathbb{C}^n$。

设复向量 $x$ 的共轭 $\overline{x}$ 是每一项都与之共轭的复向量，定义：

• 长度：$\|x\|^2 = \overline{x}^T x = x^H x$。

• 内积：$\lang x, y \rang = \overline{x}^T y = x^H y$。（Hermitian Inner Product）

  垂直：$\lang x, y \rang = 0$。

  （注意，$x^H y = \overline{y^H x}$）

设复数矩阵 $A$ 的共轭 $\overline{B}$ 是每一项都与之共轭的复数矩阵，则：

• $\overline{AB} = \overline{A} \cdot \overline{B}$。

• $\overline{\lambda A} = \overline{\lambda} \cdot \overline{B}$。

共轭转置 Conjugate Transpose：

$$A^H = \overline{A}^T = \overline{A^T}$$

性质：

• $(AB)^H = B^H A^H$。

Hermitian Matrix

满足 $A^H = A$ 的矩阵。

性质：

• $\forall x \in \mathbb{C}^n$，$x^H A x$ 是实数。

• $A$ 的所有特征值是实数。

• $A$ 的不同特征值的特征向量互相垂直。

谱分解定理 Spectral Theorem（实数版本）：

• 若 $A$ 是实对称矩阵（$A^T = A$），则：

  $$\begin{aligned} A &= Q \Lambda Q^T = \begin{bmatrix} x_1 & \cdots & x_n \end{bmatrix} \begin{bmatrix} \lambda_1 & & \\ & \ddots & \\ & & \lambda_n \end{bmatrix} \begin{bmatrix} x_1^T \\ \cdots \\ x_n^T \end{bmatrix} \\ &= \lambda_1 x_1 x_1^T + \cdots + \lambda_n x_n x_n^T \end{aligned}$$

  其中 $Q$ 是正交矩阵（$Q^T = Q^{-1}$）。或者说：$Q^{-1} A Q = \Lambda$ 是对角矩阵。

• 若 $x_1, \cdots, x_n$ 都是单位向量，那么 $x_i x_i^T$ 是投影矩阵。即：$A$ 可以被分解为 $n$ 个投影矩阵的和。

• 把相同的特征值合并，得到：$A = \lambda_1 P_1 + \cdots + \lambda_k P_k$，其中 $P_i$ 是 $N(A - \lambda_i I)$ 的投影矩阵，且：

  • $\forall i \ne j$，$P_i P_j = 0$。
  • $P_1 + \cdots + P_k = I$。

Skew-Hermitian Matrix：

满足 $A^H = -A$ 的矩阵。

性质：

• $iA$ 是 Hermitian Matrix。

• $A$ 的所有特征值是纯虚数。

• $A$ 的不同特征值的特征向量互相垂直。

酉矩阵 Unitary Matrix

满足 $U^H U = I$ 的矩阵。

性质：

• 保长度：$\|Ux\| = x$。

• 保内积：$(Ux)^H (Uy)= x^H y$。

性质：

• $U$ 的所有特征值 $|\lambda| = 1$，落在单位圆上。（正交矩阵是特殊的酉矩阵，也有此性质）

  推论：奇数阶正交矩阵一定有实特征值 $\lambda = \pm 1$。

• $U$ 的不同特征值的特征向量互相垂直。

相似矩阵 Similar Matrix

若有可逆矩阵 $M$，使得 $B = M^{-1} A M$，则称 $A$ 和 $B$ 相似。

特别地，$A$ 可对角化时，$A$ 与对角矩阵相似。

性质：

• $A$ 和 $B$ 有相同的特征值和特征方程。因此，$\text{tr}(A) = \text{tr}(B)$，$\det(A) = \det(B)$。

对于线性变换：

$$\begin{aligned} T : \R^n &\longrightarrow \R^n \\ x &\longmapsto Ax \end{aligned}$$

现有新坐标 $y$ 满足 $x = My$，则：

$$\begin{aligned} T' : \R^n &\longrightarrow \R^n \\ y &\longmapsto M^{-1} A x = M^{-1} A M y \end{aligned}$$

舒尔引理 Schur Lemma

任意复数矩阵 $A$ 总是与一个上三角矩阵酉相似，即一定存在酉矩阵 $U$，使得 $U^{-1} A U$ 是上三角矩阵。

求 $A$ 对应的酉矩阵 $U$：

这是一个递归的构造过程：

1. 将 $A$ 的特征向量进行格拉姆-施密特正交化，得到酉矩阵 $U_1 = \left[\begin{array}{c|c|c} u_1 & \cdots & u_n \end{array}\right]$。计算：

   $$A_1 = U_1^{-1} A U_1 = \begin{bmatrix} \lambda_1 & \mathbf{x}^T \\ \mathbf{0} & A' \end{bmatrix}$$

   其中 $A'$ 是一个 $(n-1)$ 阶的子矩阵，$\mathbf{x}^T$ 是一个行向量。

2. 递归处理子矩阵 $A'$：对 $(n-1)$ 阶矩阵 $A'$ 递归应用此过程，找到一个 $(n-1)$ 阶的酉矩阵 $U_2$，使得 $U_2^{-1} A' U_2$ 是上三角矩阵。直到 $n - 1 = 1$ 时，$A'$ 本身就是上三角矩阵，$U_{n - 1} = I$。

3. 倒序合并得到最终的 $U$：

   $$U = U_1 \begin{bmatrix} 1 & \mathbf{0}^T \\ \mathbf{0} & U_2 \end{bmatrix}$$

   这个 $U$ 就是所求的酉矩阵。可以验证 $U$ 是酉矩阵，且 $U^{-1} A U$ 是上三角矩阵，且此上三角矩阵的对角线元素即为 $A$ 的特征值。

谱分解定理 Spectral Theorem（虚数版本）：

• 任意 Hermitian 矩阵 $A$，存在酉相似矩阵 $U^{-1} A U = \Lambda$ 是实对角矩阵。（因为 Hermitian 矩阵的特征值是实数）

• 定义正规矩阵（Normal Matrix）$A$ 满足 $A^H A = A A^H$。显然 Hermitian 矩阵、Skew Hermitian 矩阵、酉矩阵都是正规矩阵。

  若 $A$ 是正规矩阵，则 $A$ 存在酉相似矩阵 $U^{-1} A U = T$ 是对角矩阵。

约当标准型 Jordan Form

定义约当块 $J = \begin{bmatrix} \lambda_1 & 1 & & & \\ & \lambda_2 & 1 & & \\ & & \ddots & \ddots & \\ & & & \lambda_{n - 1} & 1 \\ & & & & \lambda_n \end{bmatrix}$。

定义约当标准型 $J = \begin{bmatrix} J_1 & & \\ & \ddots & \\ & & J_s \end{bmatrix}$。

定理：如果 $A$ 有至多 $s$ 个线性无关的特征向量，那么 $A$ 和有 $s$ 个约当块的约当标准型相似。

---

Chapter 6.

正定 Positive Definite

对于齐次二次函数 $f(x_1, x_2) = a x_1^2 + 2b x_1 x_2 + c x_2^2$，其对称的系数矩阵为 $A = \begin{bmatrix} a & b \\ b & c \end{bmatrix}$（多变元类似）。那么，$f(x) = x^T A x$。

配方 $f = a \left(x_1 + \frac{b}{a} x_2\right)^2 + \frac{ac - b^2}{a} y^2$。$f > 0$ 即 $ac - b^2 > 0$ 且 $a > 0$。此时，$A$ 是正定矩阵。

实对称方阵 $A$ 是正定的（记为 $A > 0$），有如下等价命题：

• $x^T A x > 0$。（正定的定义）

• $A$ 的所有特征值 $\lambda > 0$。

• $A$ 的所有左上子矩阵 $A_k$ 满足 $\det(A_k) > 0$。或称所有顺序主子式（Leading Pricipal Minor）$D_k > 0$。

• $A$ 的所有主元 $> 0$。

• 存在可逆矩阵 $R$，$A = R^T R$。

  • 作谱分解：$A = Q \Lambda Q^T = \left(Q \sqrt{\Lambda} Q^T\right) \left(Q \sqrt{\Lambda} Q^T\right) = R^2$，这个 $R = \sqrt{A}$ 是正定的。

    所以，$R$ 有无穷多个，但是正定的 $R$ 只有一个。

  • 作 LDU 分解：

    $A = L D L^T = \left(L \sqrt{D}\right) \left(\sqrt{D} L^T\right) = R^T R$，这个 $R$ 是上三角的。

    所以，$R$ 有无穷多个，但是上三角的 $R$ 只有一个。

负定 Negative Definite

$x^T A x < 0$。记为 $A < 0$。

若 $A > 0$，则 $-A < 0$。

等价命题：

• $A$ 的所有左上子矩阵 $A_k$ 满足 $(-1)^k |A_k| > 0$。

半正定 Semipositive Definite

$x^T A x \ge 0$。记为 $A \ge 0$。

等价命题：

• $A$ 的所有特征值 $\lambda \ge 0$。

• $A$ 的所有主子式 $P_k$ 满足 $P_k \ge 0$。

• $A$ 的所有主元 $\ge 0$。

• 存在矩阵 $R$，$A = R^T R$。

主子式 Principal Minor：删除 $A$ 的某些行和相同号码的列后的矩阵的行列式，剩下的矩阵为 $k$ 阶，称为 $k$ 阶主子式。主子式有 $2^n - 1$ 个。例如：

$$\begin{bmatrix} a_{11} & * & a_{13} & a_{14} & * \\ * & * & * & * & * \\ a_{31} & * & a_{33} & a_{34} & * \\ a_{41} & * & a_{43} & a_{44} & * \\ * & * & * & * & * \\ \end{bmatrix}$$

半负定 Seminegative Definite

$x^T A x \le 0$。记为 $A \le 0$。

若 $A \ge 0$，则 $-A \le 0$。

等价命题：

• $A$ 的所有主子式 $P_k$ 满足 $(-1)^k P_k \ge 0$。

合同 / 相合 Congruence

将 $f = x^T A x$ 中的 $x$ 用 $x = Cy$（$C$ 可逆）替换，得到 $f = y^T (C^T A C) y$。令 $B = C^T A C$，称 $A$ 与 $B$ 合同。

Sylvester’s Law of Inertia 惯性定律：

一种形式：

• 合同矩阵 $A, B$ 拥有相同数量的正特征值 / 负特征值 / 零特征值。

  • 定义正惯性指数（Positive Index of Inertia）$p$ 为矩阵正特征值的数量。

    定义负惯性指数（Positive Index of Inertia）$q$ 为矩阵负特征值的数量。

    显然，$p + q = r$。

    定义符号差（Signature）为 $p - q$。

  所以，$p(A) = p(B)$，$q(A) = q(B)$，$\text{rank}(A) = \text{rank}(B)$。

另一种形式：

• $f(x_1 \cdots x_n) = x^T A x$，设 $\text{rank}(A) = r$，则存在线性变量替换 $x = Cy$，把 $f$ 变为标准型：

  $$g(y_1 \cdots y_n) = y_1^2 + y_2^2 + \cdots + y_p^2 - y_{p + 1}^2 - y_{p + 2}^2 - \cdots - y_r^2$$

二次超曲面分类

定义二次超曲面（Quadric Hypersurfaces）为 $x^T A x = 1$。

• $A = \frac{1}{k} I_n$：$k (x_1^2 + x_2^2 + \cdots + x_n^2) = 1$。

  • $n = 2$：圆
  • $n = 3$：球

• $A$ 是对角矩阵：

  • $n = 2$：椭圆 / 双曲线

  • $n = 3$：

    曲面	$\lambda_1$	$\lambda_2$	$\lambda_3$
    椭球体 Ellipsoid	$+$	$+$	$+$
    单叶双曲面 Hyperboloid of One Sheet	$+$	$+$	$-$
    双叶双曲面 Hyperboloid of Two Sheets	$+$	$-$	$-$
    $\times$	$-$	$-$	$-$
    椭圆柱面 Elliptic Cylinder	$+$	$+$	$0$
    双曲柱面 Hyperbolic Cylinder	$+$	$-$	$0$
    $\times$	$-$	$-$	$0$
    两个平行平面 Two Parallel Planes	$+$	$0$	$0$
    $\times$	$-$	$0$	$0$
    $\times$	$0$	$0$	$0$

• $A$ 不是对角矩阵：

  • 把 $A$ 对角化，$A = Q \Lambda Q^T$。令 $y = Q^T x$，$y^T \Lambda y = x^T A x = 1$ 是上面的情况。

    $A$ 的特征值与长短轴有关，特征向量与长短轴位置有关。

SVD 分解 Singular Value Decomposition

任意 $m \times n$ 矩阵 $A$ 可以被分解为 $A = U \Sigma V^T$，其中 $U$ 是 $m \times m$ 的正交矩阵，$\Sigma$ 是 $m \times n$ 的广义对角矩阵，$V$ 是 $n \times n$ 的正交矩阵。

（$\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^T A) = \text{rank}(A A^T)$）

• $U$ 的列向量是 $A A^T$ 的特征向量。

• $V$ 的列向量是 $A^T A$ 的特征向量。

• $\Sigma$ 的对角线上前 $\text{rank}(A)$ 个元素是 $A$ 的 $\text{rank}(A)$ 个非零奇异值。后面的元素为 $0$。

  $A$ 的奇异值是 $A A^T$ 和 $A^T A$ 的非零特征值的平方根。

$$\begin{aligned} A A^T &= \left(U \Sigma V^T\right) \left(U \Sigma V^T\right)^T \\ &= U \Sigma V^T V \Sigma^T U^T \\ &= U \left(\Sigma \Sigma^T\right) U^T \end{aligned}$$

这是 $A A^T$ 的谱分解。

步骤：

• 求 $A^T A$（或 $A A^T$）的特征值，得到 $A$ 的奇异值，得到 $\Sigma$。

• 求 $A^T A$ 的标准正交特征向量，得到 $V$。

• $i \le r$ 时，对于非零的奇异值 $\sigma_i$，对应的 $U$ 的列向量 $u_i$ 为 $u_i = \frac{A v_i}{\sigma_i}$。（因为 $A v_i = \sigma_i u_i$）

  $i > r$ 时，剩下的 $m - r$ 个列向量张成了 $N\left(A^T\right)$。（因为 $A v_i = 0$，我们需要向量张成 $C(A)$ 的补空间 $N\left(A^T\right)$）

性质：

• $U$ 的前 $r$ 列给出了 $C(A)$ 的规范正交基，后 $m - r$ 列给出了 $N\left(A^T\right)$ 的规范正交基。

• $V$ 的前 $r$ 列给出了 $C\left(A^T\right)$ 的规范正交基，后 $n - r$ 列给出了 $N(A)$ 的规范正交基。

推论：

• 任何秩为 $r$ 的矩阵 $A$ 可以写成 $r$ 个秩一矩阵的线性组合。

  $$A = \sigma_1 u_1 v_1^T + \sigma_2 u_2 v_2^T + \cdots + \sigma_r u_r v_r^T$$