内积具有比较明显的物理意义, 即“恒力作功”. 范数则揭示了内积的几何意义
一般地, 齐次线性方程组Ax = 0 的解集是Fn 的关于向量加法与数乘向量两种运算均封
闭的特殊子集合, 称为Fn 的子空间, 其维数为n − r(A). 值得指出的是, n 维线性空间Fn 是
一般抽象线性空间的原型, 对Fn 的几乎所有研究方法和结果均可以不加改动地移植到任何一
个线性空间中去,
第一章线性代数概要与提高
引言线性代数是什么？
除非特别说明, 本书的讨论均假定是在复数域C 的某子域F 上进行的. 但读者容易看出,
大部分内容实际上并不需要“除法”运算甚至不需要限定在复数域内讨论, 因此这些内容可以
不加任何修饰地移植到没有“除法”的C 的适当子集上, 比如整数集合Z 或者其它的系统, 比
如有限域Fq, 其中q = pm , p 是素数(在编码, 密码, 通信等领域有限域甚至比复数域C 更加重
要, 实际上, 许多计算机软件系统并不处理任意实数或复数, 而是代之以某个较大的有限域Fq).
本章概括了后续章节要用到的线性代数的基本知识, 也引入了一些简单而自然的概念, 如
满秩分解, 矩阵的谱以及线性空间的构造等, 除了利用分块初等矩阵证明了Sylvester1 不等式
以及矩阵对角化的主定理外, 其余结论均不加证明或仅略加提示, 请参看([12]).
本科阶段的线性代数课程讨论两个相关问题, 一个是引入矩阵来解线性方程组, 另一个是
利用线性方程组来研究矩阵.
解线性方程组是线性代数课程的初等部分. 首先, 矩阵的引入给了线性方程组两种简洁的
表达, 即Ax = b(称为矩阵形式) (矩阵也给了二次型
f(x) = f(x1, x2, ・ ・ ・ , xn) =
Xn
i,j=1
aijxixj
一个简洁的表达, 即f(x) = xTAx). 因此线性方程组解的存在性取决于系数矩阵A 与增广矩
阵(A, b) 的秩相等与否. 其次, 利用矩阵的运算, 还可以将线性方程组Ax = b 再次改写为向量
形式
x1α1 + x2α2 + ・ ・ ・ + xnαn = b.
可以看出, 线性方程组的解实际上是向量b 关于A 的列α1, ・ ・ ・ , αn 的组合系数. 最后, 通过研
究齐次线性方程组Ax = 0 的解的结构, 可以知道任意解均可表为任一基础解系的线性组合,
而Ax = b 如果有解, 则可将其化为相应的齐次线性方程组.
矩阵运算的难点在于其“乘法”. 理解n 阶方阵A 的高次幂Am 是理解矩阵乘法的关
键(也是理解和化简二次型的关键). 利用特征值与特征向量, 一些矩阵可以化为对角形, 即存在
可逆矩阵P 使得P¡1AP = D = diag (λ1, λ2 ・ ・ ・ , λn), 因此
Am = PDmP
¡1 = Pdiag (λm1
, λm2
・ ・ ・ , λmn
)P
¡1.
特别地, 实对称矩阵可以正交对角化, 即存在正交矩阵Q 使得
Q
¡1AQ = QTAQ = diag (λ1, λ2 ・ ・ ・ , λn).
于是利用坐标变换x = Qy 即可将实二次型f(x) = xTAx 化为标准型
f = λ1y2
1 + λ2y2
2 + ・ ・ ・ + λny2n
.
本章即是上述两条主线的总结与提高.
1James Joseph Sylvester(1814-1897), 英国数学家, 著名护士F.Nightingale (南丁格尔) 的老师, 是19 世纪后半
叶美国最著名的数学家, 美国历史最悠久的著名数学期刊American Journal of Mathematics 的创始人, 去世前为
英国牛津大学教授.
1
第一节矩阵乘法与分块矩阵
设m, n 是正整数. 数域F 上m×n 矩阵(也称为m 行n 列矩阵, m×n 阶矩阵, m×n 型
矩阵等) 全体记为Fm£n, 其中零矩阵记为0. 全体n 阶方阵构成的集合记为Mn(F) 或Fn£n,
其中单位矩阵记为In 或I(线性代数课程中多用E). 设矩阵A = (aij) ∈ Fm£n, 将A 的每个
元素改为其共轭元素所得的矩阵称为A 的共轭矩阵, 记为A¯, 即A¯ = (a¯ij)m£n. 显然, A 的
共轭转置矩阵等于它的转置共轭矩阵, (A¯)T = (AT ), 记为A¤ = A¯T (也常用AH, 其中的H
是Hermite 2的首字母).
第i 行第j 列元素为1, 其余元素均为0 的m × n 矩阵称为基本矩阵, 记为Eij , 1 ≤i ≤m, 1 ≤j ≤n. 借助于这些矩阵, 任意m × n 矩阵A = (aij) 均能唯一地表示成
A =
0
BBB@
a11 a12 ・ ・ ・ a1n
a21 a22 ・ ・ ・ a2n
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・
am1 am2 ・ ・ ・ amn
1
CCCA
= a11E11 + ・ ・ ・ + a1nE1n + ・ ・ ・ + am1Em1 + ・ ・ ・ + amnEmn
=
Xm
i=1
Xn
j=1
aijEij .
因为
EijEkl = δjkEil, 1 ≤i ≤m, 1 ≤j, k ≤p, 1 ≤l ≤n,
其中
δjk =
½
1, 如果j = k;
0, 其他.
是Kronecker3 符号. 于是矩阵的乘法可表为:
AB = (
Xm
i=1
Xp
j=1
aijEij)(
Xp
i=1
Xn
j=1
bijEij)
=
X
i,j,k,l
(aijEij)(bklEkl) =
X
i,j,k,l
(aijbkl)(EijEkl)
=
X
i,j,k,l
(aijbkl)(δjkEil) =
X
i,j,k,l
(δjkaijbkl)Eil
=
Xm
i=1
Xn
j=1
(
Xp
k=1
aikbkj)Eij ,
即乘积AB 的第i 行第j 列的元素等于
Xp
k=1
aikbkj , 这正是矩阵乘法的“左行右列”规则, 是按
每个“元素”来做“乘法”运算, 从中可以看出该“乘法”实际上不是通常的(数字) 乘法, 而
是数字乘法与加法的混合体.
2Charles Hermite(1822-1901), 法国著名数学家与数学教育家, 其最著名的学生是法国历史上最伟大的数学
家Henri Poincare (也是著名的物理学家和哲学家). 他第一个证明了自然对数的底e 是超越数, 德国数学家Carl
Louis Ferdinand von Lindemann 利用同样的方法证明了圆周率π 是超越数.
3Leopold Kronecker(1823 – 1891) 是著名德国数学家, 逻辑学家, 其名言: God made the integers; all else is
the work of man. 此处的符号是最著名的数学符号之一, 被称为Kronecker delta.
2
矩阵乘法还可以按照“行向量”与“列向量”来进行. 设A 是m×n 矩阵, 分别以Aj , Ai
表示A 的第j 列和第i 行, 则有
A
0
BBB@
x1
x2
...
xn
1
CCCA
=
0
BB@
a11 a12 ・ ・ ・ a1n
a21 a22 ・ ・ ・ a2n
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・
am1 am2 ・ ・ ・ amn
1
CCA
0
BBB@
x1
x2
...
xn
1
CCCA
=
0
BBB@
a11x1 + a12x2 + ・ ・ ・ + a1nxn
a21x1 + a22x2 + ・ ・ ・ + a2nxn
...
am1x1 + am2x2 + ・ ・ ・ + amnxn
1
CCCA
= x1
0
BBB@
a11
a21
...
am1
1
CCCA
+ x2
0
BBB@
a12
a22
...
am2
1
CCCA
+ ・ ・ ・ + xn
0
BBB@
a1n
a2n
...
amn
1
CCCA
= x1A1 + x2A2 + ・ ・ ・ + xnAn.
因此, 矩阵乘一个列向量等于该矩阵所有列的线性组合, 组合系数即是该列向量的对应元素. 同
理, 一个行向量左乘一个矩阵等于该矩阵所有行的线性组合, 组合系数即是该行向量的对应元
素, 即有
(y1 y2 ・ ・ ・ ym)
0
BB@
a11 a12 ・ ・ ・ a1n
a21 a22 ・ ・ ・ a2n
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・
am1 am2 ・ ・ ・ amn
1
CCA
= y1A1 + y2A2 + ・ ・ ・ + ymAm.
于是两个矩阵的乘积C = AB 的行向量与列向量的结构为(这实际上是优化的计算机算法):
Cj = ABj , Ci = AiB.
即矩阵AB 的第j 列是A 的列向量的线性组合, 组合系数恰为矩阵B 的第j 列的相应元素;
AB 的第i 行是B 的行向量的线性组合, 组合系数恰为矩阵A 的第i 行的相应元素. 特别,
用ej 表示第j 个基本列向量(第j 个元素为1 其余元素均为0), 则Aej = Aj , eTi
A = Ai 以
及Eij = eieTj
(此处默认ei 与eTj
有合适的行数与列数).
例1.1.1 (矩阵乘法的行列结构)
(1)
0
@
0 0 x
0 y 0
z 0 0
1
A
0
@
a11 a12 a13
a21 a22 a23
a31 a32 a33
1
A =
0
@
xa31 xa32 xa33
ya21 ya22 ya23
za11 za12 za13
1
A (行结构);
(2)
0
@
a11 a12 a13
a21 a22 a23
a31 a32 a33
1
A
0
@
0 0 0
x y 0
0 1 z
1
A =
0
@
xa12 ya12 + a13 za13
xa22 ya22 + a23 za23
xa32 ya32 + a33 za33
1
A (列结构).
3
例1.1.2 (AB = 0 的意义) 若AB = 0, 则ABj = 0, 故B 的每个列向量都是齐次线
性方程组Ax = 0 的解向量(特别, 若A 是方阵, 则B 的每个非零列向量都是A 的属于特征
值0 的特征向量). 同理, 由于AiB = 0, 故A 的每个行向量都是齐次线性方程组yTB = 0 的解
向量或BT y = 0 的解向量的转置.
例1.1.3 (线性方程组的分类) 如果一个线性方程组有解, 则称它是相容方程组; 否则
就称其为矛盾方程组. 方程组Ax = b 有解⇐⇒ b 是系数矩阵A 的列的线性组合⇐⇒
r(A) = r(A, b), 即系数矩阵的秩等于增广矩阵的秩. 特别地, 齐次线性方程组Ax = 0 有非零
解⇐⇒ A 的列向量线性相关; 有唯一解(即零解) ⇐⇒ A 的列向量线性无关.
设A 是n 阶方阵, f(x) = a0 + a1x + ・ ・ ・ + amxm 是F 上的一个多项式, 称n 阶方阵
a0I + a1A + ・ ・ ・ + amAm
为A 的多项式, 记为f(A). 易知, 同一方阵的两个多项式是可以交换的, 即若
f(x) = a0 + a1x + ・ ・ ・ + amxm, g(x) = b0 + b1x + ・ ・ ・ + blxl,
则f(A)g(A) = g(A)f(A).
n 阶方阵A = (aij) 的行列式记为|A| (另一个通用记号是detA), 它具有性质|AB| =
|A| |B|. 方阵A 的迹trA 是A 的对角线元素之和
Xn
i=1
aii. 矩阵的迹具有下列基本性质:
命题1.1.1 设A = (aij), B 均为n 阶方阵, λ 是数, 则
(1) tr(A + B) = trA + trB;
(2) tr (λA) = λ(trA);
(3) tr (AB) = tr (BA) (此仅需A, B 分别为m × n 和n × m 矩阵即可);
(4) trAT = trA;
(5) tr(AA¤) =
Pn
i,j=1
|aij |2. 特别地, tr (AA¤) = 0 ⇐⇒ A = 0.
其中性质(5) 是因为AA¤ 的第j 个对角线元素为
Xn
k=1
|ajk|2, 即A 的第j 行作为n 维向量的
长度的平方.
与矩阵密切相关的另一个数字是矩阵的秩. 矩阵A 的所有不为零的子式的最高阶数称为
矩阵A 的秩, 记为r(A). 约定零矩阵的秩是0.
对任意n 阶方阵A = (aij ), 去掉第i 行第j 列后所剩余的n −1 阶方阵的行列式称为元
素aij 的余子式, 记为Mij . 而(−1)i+jMij 称为元素aij 的代数余子式, 记为Aij . n 阶方阵
0
BB@
A11 A21 ・ ・ ・ An1
A12 A22 ・ ・ ・ An2
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・
A1n A2n ・ ・ ・ Ann
1
CCA
4
称为方阵A 的伴随矩阵, 记为adjA(如果仅在实数域范围内讨论, 则常用符号A¤). 伴随矩阵
的重要性由下式体现:
A(adjA) = (adjA)A = |A|I. (1.1.1)
对n 阶方阵而言, “秩为n”(也称为“满秩”), “非奇异”与“可逆”是等价的三个概
念. 可逆矩阵的逆矩阵是唯一的, 记为A¡1. 逆矩阵具有下述性质:
命题1.1.2 (1) A¡1 = 1
jAjadjA;
(2) (A¡1)¡1 = A;
(3) (AT )¡1 = (A¡1)T ;
(4) (AB)¡1 = B¡1A¡1;
(5) 若数λ 6= 0, 则(λA)¡1 = λ¡1A¡1;
(6) |A¡1| = |A|¡1;
(7) 设A 是m × n 矩阵, P 是m 阶可逆方阵, Q 是n 阶可逆方阵, 则
r(A) = r(PA) = r(AQ) = r(PAQ),
即可逆矩阵与任何矩阵乘积的秩等于该矩阵的秩.
矩阵秩的另一个极端是1. 一个非零矩阵A 的秩为1 ⇐⇒ A 是一个非零列矩阵与一个非
零行矩阵的乘积, 即存在列向量α, β 使得A = αβT . 因此秩为1 的方阵的高次幂可以如下算出:
Am = (αβT )m = (βTα)m¡1αβT = (βTα)m¡1A.
(注意上式中βTα 是数.)
对矩阵的和与乘积的秩的估计由下述不等式给出.
定理1.1.1 (1) r(A + B) ≤r(A) + r(B);
(2)(Sylvester 不等式) 设A,B 分别为m × p, p × n 矩阵, 则
r(A) + r(B) −p ≤r(AB) ≤min{r(A), r(B)}. (1.1.2)
定理1.1.1(1) 中的不等式和(2) 中右边的不等式都容易用矩阵的和与乘积的行列结构来证
明, 但(2) 中左边的不等式则有更好的办法, 即利用分块矩阵.
分块初等矩阵是由分块单位矩阵经过一次行(或列) 初等变换得到的分块矩阵. 它们的作
用与普通初等矩阵一样, 即设P 是一个初等分块矩阵, A 是一个适当分块的分块矩阵, 则PA
等于对A 的行作与P 匹配的初等变换. 类似地, 用一个初等分块矩阵Q 右乘A 则是对A 的
列作与Q 匹配的初等变换.
现考虑下面的矩阵等式
µ
Im A
0 Ip
¶µ
AB 0
0 Ip
¶µ
In 0
−B Ip
¶
=
µ
0 A
−B Ip
¶
.
右端的矩阵的秩显然不小于
r
µ
0 A
−B 0
¶
= r(A) + r(B),
5
而左端矩阵的秩恰好是r(AB) + p, Sylvester 不等式得证.
分块对角矩阵是分块矩阵的最简形式, 它们有一种非常简洁的记法, 即
0
BBB@
A1
A2
. . .
As
1
CCCA
= A1 ⊕A2 ⊕・ ・ ・ ⊕As =
Xs
i=1
⊕Ai,
这种表示称为矩阵的直和, 每个子矩阵Ai 称为一个直和项.
例1.1.4 (分块对角矩阵乘分块矩阵) 设A = A1 ⊕A2 ,B =
µ
B11 B12
B21 B22
¶
. 则
AB =
µ
A1B11 A1B12
A2B21 A2B22
¶
, BA =
µ
B11A1 B12A2
B21A1 B22A2
¶
.
例1.1.4 显然可以推广到任意有限多直和项的情形, 它实际上是对角矩阵与一般矩阵乘积
的推广(请注意其中的“左行右列”规则):
µ
λ1
λ2
¶µ
α11 a12
a21 a22
¶
=
µ
λ1a11 λ1a12
λ2a21 λ2a22
¶
,
µ
α11 a12
a21 a22
¶µ
λ1
λ2
¶
=
µ
λ1a11 λ2a12
λ1a21 λ2a22
¶
.
分块矩阵是研究矩阵的强有力工具, 值得多加学习.
思考题
1. 秩为0 的n 阶矩阵只有1 个. 秩为1 的矩阵与秩为2 的矩阵是否可以比较多少?
2. 当n ≥2 时, n 阶可逆矩阵与不可逆矩阵都是无限的. 是否存在某种方式可以比较它们的多少?
3. 试给出矩阵秩的一种直观意义.
第二节线性方程组与n 维线性空间Fn
如果线性方程组Ax = b 有解x0, 则b = Ax0, 从而原方程组可化为A(x −x0) = 0, 因此
解线性方程组的根本在于解齐次线性方程组.
定理1.2.1 (Ax = 0 的解的结构) 设α, β 是Ax = 0 的两个解向量, λ ∈ F, 则
(1) α + β 也是Ax = 0 的解;
(2) λα 也是Ax = 0 的解.
由此定理知齐次线性方程组的任意有限个解α1, α2, ・ ・ ・ , αs 的线性组合
k1α1 + k2α2 + ・ ・ ・ + ksαs
也是解, 因此最好可以找到能够表示所有解的一组向量, 这就是极大线性无关组. 为此, 需要线
性无关的概念.
定义1.2.1 (线性无关与线性相关) 设S = {α1, α2, ・ ・ ・ , αs} 是Fn 的一组向量, 如果线
性方程组x1α1 + x2α2 + ・ ・ ・ + xsαs = 0 仅有零解, 则称向量组S 是线性无关的. 否则就称S
是线性相关的.
6
定义1.2.2 (极大线性无关组) 设S = { α1, α2, ・ ・ ・ , αs, ・ ・ ・ } 是Fn 的一组向量(有限或
无限), 设其中部分向量M = {αi1 , αi2 , ・ ・ ・ , αir
} 满足下列条件:
(1) M 线性无关;
(2) S 中任何向量均能由M 线性表示;
则称M 是S 的一个极大线性无关组. 特别, 齐次线性方程组Ax = 0 的解集的一个极大线性
无关组称为该方程组的一个基础解系.
向量组的极大线性无关组可能不唯一(何时唯一?), 但每个极大线性无关组包含的向量个
数均相同, 称为该向量组的秩. 矩阵的列向量组与行向量组的秩分别称为该矩阵的列秩与行秩,
它们与该矩阵的秩相等.
定理1.2.2 (齐次线性方程组的基本定理) 齐次线性方程组Am£nx = 0 的任何一个基础
解系恰含n −r(A) 个解向量, 它的全体解为:
x = c1α1 + c2α2 + ・ ・ ・ + cn¡rαn¡r
其中c1, c2, ・ ・ ・ , cn¡r 是任意常数, α1, α2, ・ ・ ・ , αn¡r 是该方程组的一个基础解系.
定理1.2.3 (线性方程组的基本定理) 设线性方程组Am£nx = b 有解, 则它的全体解为:
x = x0 + c1α1 + c2α2 + ・ ・ ・ + cn¡rαn¡r
其中x0 是其任意一个解(称为特解), c1, c2, ・ ・ ・ , cn¡r 是任意常数, α1, α2, ・ ・ ・ , αn¡r 是Ax = 0
的一个基础解系.
当系数矩阵A = 0 时, 齐次线性方程组Ax = 0 的解是整个Fn, 它是2 维平面或3 维空间
的自然推广, 因此称为n 维线性空间或向量空间. 此时的基础解系称为该线性空间的基, 一组
基包含的向量个数称为该线性空间的维数, 比如标准单位向量e1, ・ ・ ・ , en 构成Fn 的一组基, 因
此Fn 的维数是n. 设α1, α2, ・ ・ ・ , αn 是Fn 的一组基, 则Fn 的任何向量α 均可唯一地表示为
α = x1α1 + x2α2 + ・ ・ ・ + xnαn,
有序数组(x1, x2, ・ ・ ・ , xn) 称为向量α 在基α1, α2, ・ ・ ・ , αn 下的坐标.
一般地, 齐次线性方程组Ax = 0 的解集是Fn 的关于向量加法与数乘向量两种运算均封
闭的特殊子集合, 称为Fn 的子空间, 其维数为n −r(A). 值得指出的是, n 维线性空间Fn 是
一般抽象线性空间的原型, 对Fn 的几乎所有研究方法和结果均可以不加改动地移植到任何一
个线性空间中去, 这正是本章第四节的内容.
计算线性方程组的解和矩阵的秩等需要合适的办法, 这就是Gauss 4消元法或初等变换. 初
等变换可以通过下面的初等矩阵来实现.
1. (重排变换) 交换第i 行(列) 与第j 行(列) 的初等矩阵为I −Eii −Ejj + Eij + Eji;
2. (倍乘变换) 给第i 行
Gauss 消元法或初等变换的基本目的是将任意一个矩阵通过适当的初等变换化成结构比
较简单的另一个矩阵, 其中由行初等变换能够得到的最简形式称为该矩阵的Hermite 标准形
或简化行阶梯形.
第五节内积空间与正定二次型
由定理1.3.3 知, 并非每个矩阵都可以对角化, 但任何实对称矩阵却可以以更精细的方式
对角化. 为此需要正交矩阵的概念, 由于这个概念有很强的几何背景, 引出该概念的自然方式是
先在一般实或复线性空间内引入长度, 而内积较长度更容易处理(因为内积具有双线性性质),
因此有下面的定义.
定义1.5.1 设F 是实数域或复数域, V 是F 上的线性空间. 若对V 中任意两个向
量α, β, 都定义了F 中一个数(α, β)(称为向量α 与β 的内积), 使得
(1) (共轭对称性) (α, β) = (β, α), 其中(β, α) 是复数(β, α) 的共轭复数;
(2) (正定性) (α, α) ≥ 0, 且等号成立⇐⇒ α = 0;
(3) (双线性) (aα + bβ, γ) = a(α, γ) + b(β, γ), 对任意α, β, γ ∈ V, a, b ∈ F 成立;
则称V 为一个内积空间.
请注意, 由于内积的共轭对称性, 内积的第三个条件“双线性”仅对第一个变量成立, 而对
第二个变量是“共轭双线性”的, 即
(α, aβ + bγ) = ¯a(α, β) +¯b(α, γ).
若F = R 是实数域, 则内积确为对称的(也称为可交换的), 即(α, β) = (β, α), 故此时
的内积对两个变量均为“双线性”的; 有限维实内积空间又称为欧几里得空间或欧氏空间;
当F = C 是复数域, 则内积空间称为酉空间(或复内积空间). 除特别说明, 本书仅限于讨论有
限维内积空间.
7Pierre-Simon Laplace(1749-1827), 著名法国数学家, 物理学家, 天文学家, 被称为法国的Newton (牛顿).
No comments:
Post a Comment