学了线性代数的一些内容。简单做一个笔记。
前置内容
什么是线性代数?
线性代数是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题。 线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型,使得线性代数被广泛地应用于自然科学和社会科学中,因而在各种代数分支中占居首要地位。(摘自百度)
学完线性代数,就有了对空间抽象成代数的思想。但是不一定有这个能力
前置数学知识
向量:,在计算机领域表示一个一维数组,在几何领域,表示一个有方向的线段。
矩阵:形如 之类的东西,记高为 ,宽为 ,则这是一个 的矩阵,写出下标时先行后列,如 的下标为 。
笛卡尔坐标系:平面直角坐标系和斜坐标系的统称。平面直角坐标系不必多说,斜坐标系就是平面直角坐标系中 轴不一定互相垂直。
其他有关线性代数的符号会在后文提到。如果出现了这里没提到的符号,可以转步我的另一篇文章,里面会提到一些,如果一些符号在那里出现过,这里不会过多赘述。
关于本文
- 如果有误,洛谷私信。
- 本文不带有任何网上找的例题,如果有需要自行查找。
- 没有提到的变量范围请根据上下文情景判断,一般为有理数范围或正整数范围。
- 线性代数是一门深奥的学科,本文仅为信息学竞赛需要的内容。
- 大部分内容源自校内讲课和视频讲解。
向量
向量的表示和定义
向量有着多重含义。在计算机上,向量可以视为一个一维数组,在数学上,则是坐标系上一个带有方向的线段,在物理里,它是一个有方向和大小的标量(物理里一般称“矢量”)
向量可以视为一个有向的线段,如果对于一个线段 ,记它的方向为从端点 到端点 ,则线段就具有了它的方向和长度。向量的长度就是有向线段的长度,向量 的长度记为 。向量的长度也称作向量的模。
因为长度之间是有长短关系的,所以向量的模具备大小关系。但是注意向量本身不具备大小关系,因为方向是不能比较大小的。对向量之间进行“大于”或“小于”等比较没有意义。
长度为一个单位长度的向量称为单位向量,若存在一个向量 与向量 方向相同(同向),且 ,则称 是 方向上的单位向量。
如果两个向量的模相同,但是方向相反,称为两个向量互为负向量。也可以成为互为相反向量;如果两个向量的模相同,方向也相同,则它们为相等向量,例如一对相等向量 和 ,可以记为 。
如果一个向量的模为 ,则称这个向量为零向量。零向量的起点和重点重合,因此没有方向,或者也可以说其方向是任意方向。所有零向量都相等。
(如果正在讨论一个二维平面)向量一般认为是一个平面直角坐标系上的一个有向线段,且一般认为它的起始点都是原点。这时一个向量可以用它的终点的坐标 表示,本文也会大量使用这种表示方法。此外向量还可以用一个 的矩阵表示,例如
如果两个向量或几个向量共线,则称这些向量是线性相关的,反之则为线性无关的。
向量的运算
向量的加法:两个向量 ,它们相加记为 ,两个向量的和也是一个向量,在代数意义上,记两个向量为 ,则它们的和为 。在几何意义上,可以视为将一个向量的起点挂到另一个向量的终点上,它们的和的向量的起点是第一个向量的起点,终点是“挂起来的”那一个向量的终点。

如图,,感性理解的表示为 。
向量的减法:一个向量减去另一个向量,相当于一个向量加上另一个向量的负向量。在几何上,可以将两个向量的起点都放在原点,则两个向量的终点组成的就是差的向量,向量的方向是从作为减数向量的终点连向作为被减数的向量的终点,还是上面的图,。
向量的数乘:数乘也叫叉积。一个向量乘上一个实数,实数和向量的乘积是一个向量。实数 乘上向量 记作 (这里不能写乘号)。一个数称一个向量,就是将向量内的每一个元素都乘上这个数。举例为:。
在几何意义上,向量的数乘可以对这个向量的缩放(保持起点不变,缩放长度),即假设有 ,则意味着将 缩放 ( 的绝对值)倍。如果 ,则意味着将 反向。

如图,标记为绿色的向量 (一部分与 重合)为 ,标记为淡紫色的向量 为 。
向量的点积:也叫做数量积。一个向量乘上另一个向量,乘积是一个实数。记作 (只能用 表示乘号,不能用 或 ),设向量 ,向量 。则
还是上面那个图,有 ,因此 。
向量的叉积:也叫向量积。一个向量乘上另一个向量,乘积是一个向量。记作 (只能用 表示乘号,不能用 和 ),设 ,将 和 的夹角记为 ,有 。且 的方向垂直于 所决定的平面,且指向按 转向 的右手定则确定。
右手定则:
的方向:伸出右手,四指由 开始,指向 ,拇指的指向就是 的方向,且垂直于 和 所在的平面。
矩阵
向量向矩阵的过度
在平面直角坐标系上,有两个重要的向量,一个从原点出发,方向为 轴正方向,模为 ,记为 ,另一个从也原点出发,方向为 轴正方向,模为 ,记为 ,当然如果是三维的,还有 轴方向的 ,等等。我们将 和 的坐标标记下来,就是 和 。这些特殊的向量称为基向量。
现在做一个奇特的幻想:假设我改变了 和 这两个向量,使得整个 轴和 轴的方向(以及单位长度)都发生了改变,整个平面直角坐标系就会倾斜扭曲。但无论如何,总会保证 方向或 方向之间的单位长度等距,而且没有曲线。
这一过程实在比较抽象,需要视频理解。
将 和 的坐标放在一起,按 的方式排放,就变成了一个 的矩阵。此时 和 还没有任何改变,因此这个矩阵是 。如果你非常无聊把三维的空间的三个基向量放在一起,就是 的。如果你强大到可以想象出一个四维空间,并标出四个基向量放进去,就是这样: 的……
我们发现这几个矩阵都有一个共同的特点,它们的行数和列数相同(设为 ),且只有 到 这一条对角线上的数是 ,其他的数都是 。这样的矩阵就是矩阵的单位元。
至此,我们慢慢过度到了矩阵……
矩阵的表示和定义
矩阵的表示比较简单,形如 的东西都是矩阵……这在前置知识以及提及。矩阵的官方定义如下:
在数学中,矩阵(Matrix)是一个按照长方阵列排列的复数或实数集合 ,最早来自于方程组的系数及常数所构成的方阵。矩阵的运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实际应用上简化矩阵的运算。对一些应用广泛而形式特殊的矩阵,例如稀疏矩阵和准对角矩阵,有特定的快速运算算法。(摘自百度)
矩阵的单位元已经在上文解释过。关于矩阵的常用定义还有如下一些:
的矩阵 的从 到 的这条对角线的元素之和被称为矩阵的迹,记为 ,用公示表达为:。
矩阵可以进行转置,转置即将矩阵的行和列交换, 矩阵的转置矩阵记为 ,举例如下:
如果一个矩阵的转置矩阵还是它自己,则称这个矩阵为对称矩阵。
如果一个矩阵 中,对于每一个元素 ,如果 ,都满足 的矩阵,称为上三角矩阵,如果 ,都满足 的矩阵,称为下三角矩阵,这两种矩阵统称为三角矩阵。
如果一个矩阵和另外一个矩阵相乘,可以得到单位元矩阵,则称它们互为对方的逆矩阵(矩阵乘法的操作在下文有提到)。
可以将矩阵的一整行或一整列“拆下来”,用一部分向量的定义简化表述。比如可以称一个矩阵的某两行是线性相关的。
矩阵的运算
矩阵的加法:两个矩阵 ,可以进行加法当且仅当这两个矩阵的行数和列数都对应相等。两个矩阵的和为一个矩阵,两个矩阵相加,就是对应位置的数相加。
矩阵的减法:两个矩阵 ,可以进行减法当且仅当这两个矩阵的行数和列数都对应相等。两个矩阵的差为一个矩阵,两个矩阵相减,就是对应位置得数相减。
矩阵之间的乘法:两个矩阵 ,可以进行乘法当且仅当一个矩阵的行数和另一个矩阵的列数相等(设相等的这个数为 ),两个矩阵的积为一个矩阵,积的矩阵中的各个元素计算方法如下:
矩阵乘法满足结合律和分配率,不满足交换律。
矩阵和数的数乘:一个矩阵 和另一个数相乘,乘积是一个矩阵。一个矩阵和一个数字相乘,就是矩阵的各个元素分别和这个数字相乘。
矩阵的初等变换:将一个矩阵的某一行(或某一列)记为 ,则将原矩阵的另一行(或另一列,可以是原来那一行或原来那一列)加上 ( 为非零实数),称为矩阵的初等变换。
值得注意的是:矩阵与矩阵的乘法不满足交换律,但是满足结合律和分配率。
矩阵的幂,矩阵的平方就是这个矩阵乘自己(因此要求这个矩阵行数和列数相等),矩阵的几次幂就是自乘几次,可以类比数的快速幂的算法求矩阵快速幂。
矩阵进阶
从排列到矩阵
想必大家对排列并不陌生。一个 的排列指的就是一个长度为 的数列,其中 的数每一个数都恰好出现了一次,在后文中,我们记这个排列为 。
而一个排列中的一对逆序对,指的是一对数 ,满足 ,且在排列 中有 。一个排列没有逆序对,当且仅当这个排列就是 按小到大排好的顺序的排列。
定义一个排列的奇偶性就是这个排列的逆序对个数的奇偶性。考虑我们任意交换一个排列中相邻的两个数。只有这两个数要么本来是一对逆序对变成了不是逆序对,要么就是本来不是逆序对变成了是逆序对,而且这两个数改变对别的地方都没有影响(顶多就是本来和其中一个位置匹配逆序对变成了和另一个位置)。因此交换任意两个相邻的数,排列的奇偶性会变成和原来相反。
如果交换的不是相邻的两个数,而是任意位置的两个数呢?其实这就可以视为将左边那个数向右不停两两交换到目标位置。再将本来在目标位置的要换的数(因为已经换过了一次,所以是目标位置向左一格的位置)不断向左两两交换到它的目标位置即可。假设第一波交换换了 次,那么第二波就换了 次。一共换了 次,显然这个数是一个奇数。因此改变了奇数次奇偶性。最终得出:一个排列交换任意两个数,奇偶性都会改变。
在排列奇偶性的定义之上,我们将奇偶性是奇的排列称为奇排列,反之则为偶排列。
矩阵的行列式入门
对于一个 的矩阵 ,它的行列式记为 ,行列式是一个确切的数值,这个矩阵的行列式的值为 。
这只是因为 的矩阵比较常见,所以放了一个简单的公式,专门计算 的矩阵的行列式。如果你遇到的是另一个矩阵(不过行数和列数不相等的矩阵是没有行列式的),那就不能用这个小公式了。只能用一个奇妙的通式:
记矩阵行数和列数相等,都为 ,设 表示这个矩阵中选出 个数,且不存在任意两个数在同一行或同一列的情况中,每一个选出的数所在的列数的排列。 表示排列的逆序对个数, 表示第 行的选出的数的列数(即排列的第 项)。有:
显然直接算这个式子需要枚举每行选一个数的排列个数,一共有 个不同的排列,因此总的复杂度是 的,后续会有优化计算行列式的方法。
矩阵行列式的性质
- 一个矩阵的转置矩阵和原矩阵的行列式相同。(这也告诉我们每一行选一个数,算列数的排列,或者每一列选一个数算行数的排列,对行列式计算无影响)
- 交换一个矩阵的两行,或者交换一个矩阵的两列,行列式的绝对值不变,符号取反。
- 如果一个矩阵存在若干行(或若干列)是线性相关的,矩阵的行列式一定为 。
- 将矩阵的某一行(或某一列)的数全部乘一个实数 ,它的行列式对应地也会乘上 。
- 如果两个矩阵只有一行(或一列)不同,其他部分相同,记 为两个矩阵的行列式之和, 为两个矩阵不同的这一行的所有元素相加,其他相同行元素不变的矩阵的行列式。一定有 。
- 对矩阵进行初等变换,矩阵的行列式不变。
- 三角矩阵(包括上三角和下三角)的行列式是 到 的对角线上所有元素之积。
高斯消元及升级运用
考虑一个形如下方的方程组:
不难发现这是一个 元一次方程。高斯消元正是处理这里方程的好算法。
高斯消元算法
考虑将以上的方程组转化为一个系数矩阵:
因为是给计算机设计一个算法,不能加减消元和代入消元乱用。不妨怎么简单怎么来:先全部用加减消元,把它变成一个上三角矩阵,然后从最后一行开始一步一步回代。高斯消元和核心内容有三点:
- 两个方程交换位置,解不变。(矩阵交换两行)
- 一个方程整体乘一个数,解不变。(矩阵初等变换)
- 一个方程整体乘一个数,与另一个方程相加,解不变。(矩阵初等变换)
因此我们可以从矩阵的第一列开始,每次把这一列消成下面若干个都是 的形式即可。对于第一列可以这么操作:匹配第一行和其他所有行(假设目前在匹配第 行),每次匹配将第一行乘上一个系数,使得 和 互为相反数,然后将第 行每个数都加上第一行对应数。
可是处理后面的列能不能还是用第一行来和其他行匹配呢?当然不行。因为此时其他行的第一列已经都是 了,第一行不是 ,这样子会让本来安排好为 的地方变为不是 了。实际上第一行本来就不需要所有数字都是 ,第一行随便什么数都可以。因此处理第二列时,可以从第二行开始向后匹配,处理第三列时,从第三行开始……
还有一个细节,如果求解的 是有理数范围而不是整数范围,每次可以将当前这一列中最小的元素换上去,用这一行来匹配。
回代的时候,因为最后一行一定是 的形式,可以求出 ,回代到第 行,第 行是 的形式,回代 后可以求出 ……以此类推向上回代即可。
有时方程会出现无数解或无解。无解的情况就是出现某一行为 的情况。无数解就是出现 的情况。在消元/回代时注意即可。
高斯-约旦消元算法
高斯-约旦消元是对高斯消元的一种改进。相比于朴素的高斯消元,高斯-约旦消元算法的优势在于:
- 可以保证有理数解的精度更高。
- 代码比朴素的高斯消元简单,且和高斯消元同样易读。
- 没有回代的过程,消元时可以直接将矩阵消为只有对角线为非 数其他地方都是 的情况。
高斯-约旦消元法步骤如下:
- 选择一个没有被选过的未知数和包含这个未知数(即系数不为 )的方程。
- 将它的系数化为 。
- 匹配其他行,加减消元消去其他方程的这个未知数。
- 重复 步,直到每一个未知数都被选过一次,此时每一行只会有一项有系数。
以上步骤结束后,你将会得到这样一个方程组:
显然不需要回代,方程组的解为 ,不难发现其基本思路和高斯消元差不太多,因为不需要回代码量少了些许。
高斯-约旦消元的参考代码如下:
for(register int j=1;j<=n;++j){ // 枚举列
int k=j;
for(register int i=j+1;i<=n;++i) // 这里找的是最大项,好直接判断是否有唯一解,见后面
if(ab(a[i][j])-ab(a[k][j])>=eps) // double 类型直接判相等容易出锅
k=i; // 找到系数最大的那一行
if(!a[k][j]) // 最大的都消成 0 了,说明这里所有的系数都是 0 了
return -1; // 不是唯一解的情况
for(register int i=1;i<=n+1;++i) // 第 n+1 项是系数后面的常数(即前文的 b)
swap(a[k][i],a[j][i]); // 为了方便操作,交换一下
for(register int i=1;i<=n;++i){
if(i==j) continue; // 消掉别的行
double p=a[i][j]/a[j][j]; // 计算我要乘的系数
for(register int k=j+1;k<=n+1;++k)
a[i][k]-=a[j][k]*p; // 加减消元
}
}
高斯消元优化行列式计算
这里只需要简单提一下即可。前面我们提到一个矩阵进行初等变换,行列式是不会变的,如果交换两行,行列式的符号会取反。所以可以用高斯消元的方法,将原矩阵消成一个上三角矩阵,中途可以开一个变量 统计一下交换了几次行。
上三角矩阵的行列式就是对角线上的元素之积(前文有提过),因此只要求出这个上三角矩阵的行列式 (),然后乘上一个 ,就得出最后的答案了。
很明显瓶颈不在于求上三角矩阵的行列式,而是 的高斯消元,整体复杂度是 级别的,但至少已经比原来的朴素枚举排列的 好得多了。
余子式和代数余子式
对于一个矩阵 ,定义其中一个元素 的代数余子式 ,为去掉这个元素所在的一整行和所在的一整列,剩下的部分“拼成”一个矩阵后,这个矩阵的行列式。而这个元素的余子式(记为 )为 。
余子式和代数余子式的性质
对于某一个 的矩阵,存在某一行(设为第 行)中,除了某一列 (设为第 列)的数,这一行的其他数都是 。(即存在一对数 ,满足 ,且 且 ,有 )整个矩阵可以用这个元素的余子式和这个数本身求出来。
我们考虑去掉第 行第 列,可以视为将这一行不断交换,换到第一行;将这一列不断交换,换到第一列,此时去掉新矩阵的第一行第一列,剩下的矩阵就不需要“分开”再“拼”了。此时总的积就是这个数的余子式乘上这个数本身。(即枚举排列是因为那一行都是 所以只能选它,对应的它所在列也选不了别的了)总的式子为 。
再考虑另一个问题,如果我只知道某一行(记为第 行)的所有元素以及它们的余子式,怎么求出整个矩阵的行列式?
显然余子式就是我删掉这一行这一列剩下的矩阵的行列式(并乘上一个 的幂),不妨就视为这一行这一列我就选了 ,因此和上面类似的做法,对于每一个元素,都对答案造成了 的贡献。因此一共的贡献(也就是整个矩阵的行列式)就是 。
另一个奇怪的性质是:如果存在某两行(记为第 行和第 行),满足 恰好等于整个矩阵的行列式,则原矩阵的行列式为 。
证明也比较抽象,考虑余子式的计算就是把它所在的行和列全部删掉,又因为整体的行列式不变,因此可以视为直接将第 行的内容全部赋给第 行,对行列式无影响。构造出的新矩阵满足有两行完全相同,也就是它们是线性相关的,因此行列式一定为 。
关于余子式的性质,可以上一个这样的例题,作为全文的结尾:
余子式例题及解析
例题:给出一个 的矩阵,并标记一个特殊行 ,在线支持两种操作:修改特殊行的某一个数;查询整个矩阵的行列式。记操作次数为 ,数据范围:。
考虑运用到矩阵的行列式和某一行所有数的值和余子式的关系。考虑到即使是同一行,修改一个数的值并不影响其他数的余子式。
因此不难想出一个算法:预处理特殊行所有数的余子式,维护 ,对于每次单点修改,假设修改 为 ,令 减去 ,然后加上 即可。每次查询的时候直接输出 。
预处理部分复杂度为 ,每一次查询都是 的,非常巧妙地通过了。