矩阵 I : 矩阵基础

Posted by Useless Programmer on January 12, 2018

    学习机器学习, 基础的线性代数知识是必备的基础功, 对于线性代数的探索, 矩阵是线性代数的主要研究对象. 今天我们就开始学习一下矩阵的基础知识. 这是本人关于线性代数矩阵的第一篇分享.

章节目录

  1. 矩阵及其基本运算
    1.1 矩阵定义
    1.2 矩阵基本运算(+,-,*)
    1.3 转置矩阵
    1.4 方阵的行列式
    1.5 伴随矩阵
    1.6 逆矩阵
  2. 矩阵的初等变换
    2.1 矩阵的秩
    2.2 矩阵的初等变换
    2.3 求解线性方程组
    2.4 初等矩阵

本文是一篇包含大量枯燥数学知识的文章, 作者能力有限, 如果您在阅读过程中发现任何错误, 还请您务必联系本人,指出错误, 避免后来读者再学习错误的知识.谢谢!

矩阵及其基本运算 ##

本章我们将主要介绍矩阵的概念以及其基本运算.

什么是矩阵:

由 m*n 个数 $a_{ij} (i=1,2,…,m; j=1,2,…,n)$ 排成的 m 行 n 列的数表

称为矩阵, $a_{ij}$ 称为这个矩阵的第 i 行第 j 列的元素. 当 m=n时, 矩阵称为方阵.

通常用大写字母 $\mathsf{A}, \mathsf{B}…$ 表示矩阵. 矩阵有时也简记为

当无需指明元素时, m*n 矩阵 $\mathsf{A}$ 也记为 $\mathsf{A_{m*n}}$.

元素都是零的 m*n 矩阵称为零矩阵, 记作 $\mathsf{O_{m*n}}$. 在不会产生混淆的情况下简记为 $\mathsf{O}$.

n 阶方阵

称为 n 阶的单位矩阵. 在不会产生混淆的情况下简记为 $\mathsf{E}$.

n 阶方阵

称为对角矩阵. 简记为 $\mathsf{\Lambda}=diag{\lambda_1,\lambda_2,…,\lambda_{n}}$.

系数矩阵增广矩阵:

假设有线性方程组:

其中线性方程组系数组成的矩阵

称为线性方程组的系数矩阵, 而

称为线性方程组的增广矩阵, 通常用 $\hat {\mathsf{A}}$ 表示.

如果两个矩阵的行数相同, 列数也相同, 就称他们是同型矩阵.

矩阵基本运算

  • 同型矩阵 $\mathsf{A}=(a_{ij})_{m*n}, \mathsf{B}=(b_{ij})_{m*n}$ 的加法定义为: $$\mathsf{A}+\mathsf{B}=(a_{ij}+b_{ij})_{m*n}$$

  • 数 k 与矩阵 $\mathsf{A}=(a_{ij})_{m*n}$ 的数乘定义为: $$k*\mathsf{A}=\mathsf{A}*k=(k*a_{ij})_{m*n}$$

  • 矩阵 $\mathsf{A}=(a_{ij})_{m*n}$ 对应的负矩阵定义为: $$-\mathsf{A}=(-1)\mathsf{A}=(-a_{ij})_{m*n}$$

  • 同型矩阵 $\mathsf{A}=(a_{ij})_{m*n}, \mathsf{B}=(b_{ij})_{m*n}$ 的减法定义为: $$\mathsf{A}-\mathsf{B}=(a_{ij}-b_{ij})_{m*n}$$

矩阵乘法:

假定有 $\mathsf{A}=(a_{ij})$ 是一个 m*s 矩阵, $\mathsf{B}=(b_{ij})$ 是一个 s*n 矩阵, 那么矩阵 $\mathsf{A}$ 与矩阵 $\mathsf{B}$ 的乘积是一个 m*n 的矩阵 $\mathsf{C}=(c_{ij})$, 其中:

并把此乘积记作 $\mathsf{C}=\mathsf{A}\mathsf{B}$.

只有当 $\mathsf{A}$ 的列数等于 $\mathsf{B}$ 的行数时, 乘积才有意义.乘积为 m*n 的矩阵. 乘积 $\mathsf{A}\mathsf{B}$ 的第 i 行第 j 列元素时矩阵 $\mathsf{A}$ 的第 i 行各元素分别与矩阵 $\mathsf{B}$ 的第 j 列 各对应元素的乘积之和.

矩阵乘法的一些性质:
(1) $(\mathsf{A}\mathsf{B})\mathsf{C}=\mathsf{A}(\mathsf{B}\mathsf{C})$
(2) $\mathsf{A}(\mathsf{B}+\mathsf{C})=\mathsf{A}\mathsf{B}+\mathsf{A}\mathsf{C}$
(3) $k(\mathsf{A}\mathsf{B})=(k\mathsf{A})\mathsf{B}=\mathsf{A}(k\mathsf{B})$
(4) $\mathsf{E_m}\mathsf{A_{m*n}}=\mathsf{A_{m*n}}\mathsf{E_n}=\mathsf{A_{m*n}}$

转置矩阵:

关于矩阵的转置定义与行列式转置相似, 这里我们不赘述, 我们主要了解一下矩阵转置的一些性质:
(1) $(\mathsf{A^T})^T=\mathsf{A}$
(2) $(\mathsf{A}+\mathsf{B})^T=\mathsf{A^T}+\mathsf{B^T}$
(3) $(k\mathsf{A})^T=k\mathsf{A}^T$
(4) $(\mathsf{A}\mathsf{B})^T=\mathsf{B^T}\mathsf{A^T}$

性质(4)理解: 将 $\mathsf{A}$ 与 $\mathsf{B}$ 相等, 等于将 $\mathsf{A}$ 的每行元素与 $\mathsf{B}$ 的每列元素相乘所得的矩阵, 然后将矩阵逆时针旋转九十度. 也就是将 $\mathsf{A}$ 的每一列与 $\mathsf{B}$ 的每一行元素相乘. 而 $\mathsf{A}$ 是 m*s 矩阵, $\mathsf{B}$ 是 s*n 矩阵, 为了让他们可以相乘, 为了 $\mathsf{A}$ 的列与 $\mathsf{B}$ 的行可以相乘, 我们需要交换他们的相乘位置, 再次之前将他们进行转置. 证明也非常简单, 只需要按照矩阵乘法定义列出公式, 结论就很明显了.

方阵的行列式:

由方阵 $\mathsf{A}$ 的元素按原始位置排列所构成的行列式, 称为方阵的行列式. 记作 $det\mathsf{A}$. (det 是 Determinant 的缩写).

det 这个运算满足以下运算性质:
(1) $det\mathsf{A^T}=det\mathsf{A}$
(2) $det(l\mathsf{A})=l^ndet\mathsf{A}$
(3) $det(\mathsf{A}\mathsf{B})=det\mathsf{A}det\mathsf{B}$
这三条性质非常重要.

伴随矩阵

设 $\mathsf{A}=(a_{ij})_{m*n}$, 行列式 $det\mathsf{A}$ 的各元素的代数余子式所构成的如下方阵

称为方阵 $\mathsf{A}$ 的伴随矩阵.


证明:

证明过程使用到行列式按行展开的定理: n 阶行列式 D 等于它的任一行(列)各元素与其对应的代数余子式乘积之和.

逆矩阵
对于 n 阶方阵 $\mathsf{A}$, 如果存在 n 阶方阵 $\mathsf{B}$, 使

则称方阵 $\mathsf{A}$ 是可逆的. 并把 $\mathsf{B}$ 称为 $\mathsf{A}$ 的逆矩阵.

n 阶方阵 $\mathsf{A}$ 可逆的充分必要条件是 $det\mathsf{A}\neq0$, 且

其中 $\mathsf{A^*}$ 是 $\mathsf{A}$ 的伴随矩阵.

证明:

必要性:

若 $\mathsf{A}$ 可逆, 则有 $\mathsf{A^-}$ 使得

两边同时取行列式, 得到:

因此 $\mathsf{A}\neq0$.
充分性:
当 $det\mathsf{A}\neq0$ 时, 由上述伴随矩阵的性质可知:

从而矩阵 $\mathsf{A}$ 可逆, 且 $\mathsf{A^-}=\frac{1}{\mathsf{det\mathsf{A}}}\mathsf{A^*}$

当 $det\mathsf{A}\neq0$ 时, $\mathsf{A}$ 称为奇异矩阵, 否则称为非奇异矩阵

方阵的逆矩阵的运算律:
(1) 若 $\mathsf{A}$ 可逆, 则 $\mathsf{A^-}$ 也可逆. 且 $\mathsf{(A^-)^-}=\mathsf{A}$
(2) 若 $\mathsf{A}$ 可逆, 数 $k\neq0$, 则 $k\mathsf{A}$ 也可逆, 且 $(k\mathsf{A})^-=\frac{1}{k}\mathsf{A^-}$
(3) 若 $\mathsf{A}, \mathsf{B}$ 为同阶矩阵且均可逆, 则 $\mathsf{A}\mathsf{B}$ 也可逆, 且 $(\mathsf{A}\mathsf{B})^-=\mathsf{B^-}\mathsf{A^-}$
(4) 若 $\mathsf{A}$ 可逆, 则 $\mathsf{A^T}$ 也可逆, 且 $(\mathsf{A^T})^-=(\mathsf{(A^-)^T})$
(5) 若 $\mathsf{A}$ 可逆, 则 $det\mathsf{A^-}=(det\mathsf{A})^-$

矩阵的初等变换 ##

矩阵的秩(rank)

在 m*n 矩阵 $\mathsf{A}$ 中, 任取 k 行与 k 列($k \le min(m,n)$), 位于这些行列交叉处的 $k^2$ 个元素, 按原来的次序所组成的 k 阶行列式称为 $\mathsf{A}$ 的一个 k 阶子式.

若 m*n 矩阵 $\mathsf{A}$ 中有一个 r 阶子式不为零, 而所有的 k+1 阶子式(如果存在)都为零, 则称 r 为 $\mathsf{A}$ 的秩, 记为 rank$\mathsf{A}$. 规定零矩阵的秩为0.

由行列式按行(列)展开定理可知, 当 $\mathsf{A}$ 中所有 r+1 阶子式全为零时, 所有高于 r+1 阶的子式也为零. 因此 rank$\mathsf{A}$ 就是 $\mathsf{A}$ 中不为零的子式的最高阶数.

设 $\mathsf{A}$ 是 m*n 矩阵, 若 rank$\mathsf{A}$=m, 则称 $\mathsf{A}$ 为行满秩矩阵, 若 rank$\mathsf{A}$=n, 则称 $\mathsf{A}$ 为列满秩矩阵, 若 n 阶方阵 $\mathsf{A}$的秩为 n, 则称 $\mathsf{A}$ 为满秩矩阵.

由秩的定义可知: 方阵 $\mathsf{A}$ 满秩的充分必要条件是 $det\mathsf{A}\neq0$, 即 $\mathsf{A}$ 非奇异, 而 $det\mathsf{A}\neq0$ 的充分必要条件是 $\mathsf{A}$ 可逆, 因此对方阵而言, “满秩”, “非奇异”和”可逆”这三个概念是等价的.

矩阵的初等变换

对矩阵进行的如下三种变换:
(1) 对调两行(列)
(2) 以数 $k\neq0$, 乘某一行(列)的所有元素
(3) 把某一行(列)的所有元素的 k 倍加到另一行(列)的对应元素上
称为矩阵的初等行(列)变换. 初等行变换和初等列变换统称为矩阵的初等变换.

为方便起见, 对调矩阵的 i,j 两行(列), 记作 $r_i \leftrightarrow r_j(c_i \leftrightarrow c_j)$; 矩阵的第 i 行(列)乘 k, 记作 $r_i*k(c_i*k)$; 把矩阵第 j 行(列)的 k 倍加到第 i 行(列)上, 记作 $r_i+kr_j(c_i+kc_j)$.
可以求得: 变换 $r_i \leftrightarrow r_j$ 的逆变换就是本身; 变换 $r_i*k$ 的逆变换为 $r_i*\frac{1}{k}$; 变换 $r_i+kr_j$ 的逆变换为 $r_i+(-
k)r_j$. 对于列变换也由类似的结论.

如果矩阵 $\mathsf{A}$ 经过有限次初等矩阵变换变成矩阵 $\mathsf{B}$, 则称矩阵 $\mathsf{A}$ 与 $\mathsf{B}$ 等价, 记为 $\mathsf{A} \cong \mathsf{B}$ 或者 $\mathsf{A} \rightarrow \mathsf{B}$

如果 $\mathsf{A} \cong \mathsf{B}$, 则 rank$\mathsf{A}$=rank$\mathsf{B}$.
证明:

显然前两种变换都不会改变矩阵的秩, 因此我们只需证明第三种变换不会改变矩阵的秩即可.
设 rank$\mathsf{A}$=r, 且 $\mathsf{A}$ 的某个 r 阶子式 $D_r\neq0$. 当 $\mathsf{A} \xrightarrow{r_i+kr_j} \mathsf{B}$ 时, 分三种情况讨论:

① $D_r$ 不含 $\mathsf{A}$ 的第 i 行, 则 $\mathsf{B}$ 中与 $D_r$ 对应的 r 阶子式 $\hat D_r=D_r \neq 0$, 故 rank$\mathsf{B} \ge r$;
② $D_r$ 同时含 $\mathsf{A}$ 的第 i 行和第 j 行, 由行列式性质知, $\mathsf{B}$ 中与 $D_r$ 对应的 r 阶子式 $\hat D_r=D_r \neq 0$, 也有 rank$\mathsf{B} \ge r$;
③ $D_r$ 含 $\mathsf{A}$ 的第 i 行但不含第 j 行, 则 $\mathsf{B}$ 中与 $D_r$ 对应的 r 阶子式 $\hat D_r=D_r+k\tilde D_r$, 其中 $\tilde D_r$ 与 $\mathsf{A}$ 的第 i 行的某个 r 阶子式相等或者差一个符号,如果 $\tilde D_r\neq0$, 根据情况 ① 知 rank$\mathsf{B} \ge r$, 如果 $\tilde D_r=0$, 则 $\tilde D_r=D_r \neq0$, 也有 rank$\mathsf{B} \ge r$. 这表明 $\mathsf{A} \xrightarrow{r_i+kr_j} \mathsf{B}$ 时, rank$\mathsf{B} \ge$ rank$\mathsf{A}$. 又由 $\mathsf{B} \xrightarrow{r_i+(-k)r_j} \mathsf{A}$ 知, rank$\mathsf{A} \ge$ rank$\mathsf{B}$. 因此 rank$\mathsf{B}$= rank$\mathsf{A}$. 因此, 定理得证.

显然, 用初等变换将矩阵 $\mathsf{A}$ 变成矩阵 $\mathsf{B}$ 时, $\mathsf{B}$ 越简单, 它的秩就越容易计算.

秩为 r 的 m*n 矩阵 $\mathsf{A}$ 可通过初等变换变换成如下的最简形式:

称之为 $\mathsf{A}$ 的等价标准型.

推论1: 设 $\mathsf{A}$ 是 n 阶满秩矩阵, 则 $\mathsf{A} \cong \mathsf{E_n}$

推论2: 两个 m*n 矩阵等价的充分必要条件是他们具有相同的秩.

求解线性方程组

设 $\mathsf{A}=(a_{ij})_{m*n}$ 是线性方程组的系数矩阵, 而 $\mathsf{\hat A}$ 是增广矩阵, 则线性方程组有解的充分必要条件是 rank$\mathsf{\hat A}$=rank$\mathsf{A}$. 当方程组有解时, 若 rank$\mathsf{A}$=n, 则他有唯一解; 若 rank$\mathsf{A} \lt n$, 则它有无穷多解.

齐次线性方程组有非零解的充分必要条件是 rank$\mathsf{A}\lt n$.
推论: 齐次线性方程组有非零解的充分必要条件是 $det\mathsf{A}=0$.

初等矩阵

由单位矩阵经过一次初等变换的得到的矩阵称为初等矩阵.

设 $\mathsf{A}$ 是 m*n 矩阵, 对 $\mathsf{A}$ 施行一次初等行变换, 其结果等于在 $\mathsf{A}$ 的左边乘以相应的 m 阶初等矩阵; 对 $\mathsf{A}$ 施行一次初等列变换, 其结果等于在 $\mathsf{A}$ 的右边乘以相应的 n 阶初等矩阵;

这样, 就在矩阵的初等变换与矩阵乘法之间建立起了联系, 即对 $\mathsf{A}$ 施行一次初等变换就相当于给 $\mathsf{A}$ 左乘或右乘一个初等矩阵.

n 阶方阵可逆的充分必要条件是该方阵能表示成有限个初等矩阵的乘积.
证明:

必要性:

因为 $\mathsf{A}$ 可逆, 从而 $\mathsf{A}$ 是满秩矩阵, 由 $\mathsf{A}$ 是 n 阶满秩矩阵, 则 $\mathsf{A} \cong \mathsf{E_n}$ 可知 $\mathsf{A} \cong \mathsf{E_n}$, 故存在 n 阶初等矩阵 $\mathsf{P_1},\mathsf{P_2},…,\mathsf{P_s}$ 及 $\mathsf{Q_1},\mathsf{Q_2},…,\mathsf{Q_t}$, 使

于是

而 $\mathsf{P_i}^-$ 与 $\mathsf{Q_i}^-$ 都是初等矩阵.

充分性:
若 $\mathsf{A}=\mathsf{P_1}\mathsf{P_2}…\mathsf{P_s}$, 其中 $\mathsf{P_i}$ 是初等矩阵, 则

故 $\mathsf{A}$ 可逆.

设 $\mathsf{A},\mathsf{B}$ 均是 m*n 矩阵, 则 $\mathsf{A}$ 与 $\mathsf{B}$ 等价的充分必要条件是存在 m 阶可逆矩阵 $\mathsf{P}$ 和 n 阶矩阵 $\mathsf{Q}$, 使得 $\mathsf{P}\mathsf{A}\mathsf{Q}=\mathsf{B}$.
证明:

必要性:

若 $\mathsf{A} \cong \mathsf{B}$, 则存在 m 阶初等矩阵 $\mathsf{P_1},\mathsf{P_2},…,\mathsf{P_s}$ 和 n 阶初等矩阵 $\mathsf{Q_1},\mathsf{Q_2},…,\mathsf{Q_t}$, 使得

令 $\mathsf{P}=\mathsf{P_1},\mathsf{P_2},…,\mathsf{P_s},\mathsf{Q}=\mathsf{Q_1},\mathsf{Q_2},…,\mathsf{Q_t}$, 即得 $\mathsf{P}\mathsf{A}\mathsf{Q}=\mathsf{B}$

充分性:
若 $\mathsf{P}\mathsf{A}\mathsf{Q}=\mathsf{B}$, 由上一条定理可知, 存在 m 阶初等矩阵 $\mathsf{P_1},\mathsf{P_2},…,\mathsf{P_s}$ 和 n 阶初等矩阵 $\mathsf{Q_1},\mathsf{Q_2},…,\mathsf{Q_t}$, 使得 $\mathsf{P}=\mathsf{P_1},\mathsf{P_2},…,\mathsf{P_s},\mathsf{Q}=\mathsf{Q_1},\mathsf{Q_2},…,\mathsf{Q_t}$, 于是定理得证.

到此为止, 我对于矩阵的学习分享就结束了. 读完之后, 有任何看法见解, 欢迎与我分享. 谢谢!