Vector Space

前言

线性方程组可以用矩阵-向量表示法来表示

更深入地了解向量空间，即向量所在的结构化空间

本章的开头，我们非正式地将向量描述为相加并乘以标量后，仍然是相同类型的对象。现在，我们准备将其形式化，我们将首先介绍群的概念，它包含一组元素和一个定义在这些元素上的操作，该操作可以保持集合的某些结构完整

群

群在计算机科学中扮演着重要的角色。除了为集合上的运算提供一个基本框架外，它们还被大量应用于密码学、编码理论和图形学

定义 2.7 群

考虑一个集合 和一个定义在 上的运算 ： ，则 称之为群( group)：

• 1 在 运算下的封闭性(Closure):

• 2 结合律(Associativity)：

• 3 单位元(Neutral element)： ： and

• 4 逆元(Inverse element)： : and ，其中 e是单位元。我们经常写 来表示 的逆元

备注 逆元是针对运算 定义的，并不一定意味着逆元一定是

阿贝尔群： ，那么 是阿贝尔群

例如

: 整数， ：自然数， ：实数， ：复数

• 是一个阿贝尔群

• 不是一个群：虽然有一个单位元，但是缺少逆元

• 不是一个群：虽然 包含一个单位元 ，但是任何 的逆元都不是整数

• 不是群：因为不具有逆元

• 是阿贝尔群

• ， ， 是阿贝尔群，前提是 是按分量定义的，即

  为逆元； 为单位元

• ， -矩阵集是阿贝尔集，前提是具有上面例子一样的分量加法

• 仔细看 ，即之前定义的具有矩阵乘法的 -矩阵集

  • 封闭性和结合性来自于矩阵乘法的定义

  • 单位元：单位矩阵

  • 逆元：如果矩阵 的逆存在（ 是正则的），那么 是 的逆元，在这种情况下， 就是一群，称为 一般线性群(general liner group)

定义一般线性群

正则（可逆）矩阵集 关于矩阵乘法的群，称为一般线性群 。然而，由于矩阵的乘法是不可逆的，所以改群不是阿贝尔群

向量空间

当我们讨论群时，我们研究集合的内部运算，即内部元素的运算的映射 。在下面，除了考虑 内部运算(inner operation) " "外的 外部运算(outer operation) " ",向量乘以一个标量 。 我们可以把内部运算看作是加法的形式，外部运算看作是缩放的形式。请注意，内部/外部操作 与内积/外积 无关。

定义 向量空间

实值向量空间(Vector Space) 是一个具有两类运算的集合

其中

1. 是阿贝尔群

2. 分配律

• ：

• :

3. 结合律（外部操作） :

4. 关于外部操作的单位元： ：

元素 称为向量。 的单位元向量是 ，内部运算 称为 向量加法(vector addition)。 元素 称为 标量(scalars) ，外部运算 是 被标量乘(multiplication by scalars) 。注意 标量积(scalar product) 与这个是不同的。

备注

向量乘法(vector multiplication) 是没有定义的。理论上，我们可以定义按元素的乘法 ,其中 。这种数组乘法(array multiplication)在许多编程语言中都很常见，但这使得使用矩阵乘法的标准规则在数学意义上有限：通过将向量视为 的矩阵，可以使用之前定义的矩阵乘法进行运算。可这样的话，向量与向量直接相乘的维度却不匹配。仅以下向量乘法有定义

• （外积 outer product）

• (内积/标量积/点积 inner/scalar/dot product)

例 向量空间重要例子

• 是一个向量空间，其运算定义如下

  • 相加：对于

  • 与标量相乘：对于

• 是一个向量空间

  • 相加：对于 逐元素相加

  • 与标量相乘，记住相当于

  • 也是向量空间

备注

在下面，当 和 是标准向量加法和标量乘法时，我们将用 表示向量空间 。 此外，我们将使用符号 表示 中的向量，以简化符号

备注

向量空间 只是我们写向量的方式不同。在下文中，我们将不区分 和 ，这允许我们用 元组用列向量(column vectors)表示

这样简化了向量运算的表示法。但是我们要区分 和 (行向量row vectors)， 以避免在矩阵乘法时混淆。默认情况下

• 来表示列向量

• 来表示行向量，即列向量的转置

向量子空间

向量子空间是原始向量空间中的集合，且具有这样的性质

• 对子空间的元素进行向量空间运算，结果不会超出子空间。从这个意义上说，它是封闭的

向量子空间是机器学习的一个重要概念，利用向量子空间进行降维

定义 向量子空间

令 为向量空间，且 ，如果 是一个向量空间，且它的向量空间运算 和 限制为 和 ，那么 称为 的 向量子空间(vector subspace 或 liner subspace) 。用 表示 的子空间

如果 且 是向量空间，那么自然地直接从 继承了许多性质，因为这些性质适用于所有的 ， 特别是所有 。这包括阿贝尔群的性质，分配律、结合律和基元。

为了确定 是否是 的子空间，还需要确定

1. ，特别地，单位元

2. 的封闭性：

• 关于外部操作：

• 关于内部操作：

例 向量子空间

对于每个向量空间 ，其 平凡子空间(trivial subspaces) 是 本身和

具有个未知量 的齐次线性方程组 的解集是 的一个子空间

非齐次线性方程组 的解不是 的子空间

任意子空间的交集是它们本身的子空间

备注

对于 ，每个子空间 是齐次方程组 的解空间