Inner Product

内积可以引入一些直观的几何概念，例如向量的长度和两个向量之间的角度或距离。内积的一个主要目的是确定向量之间是否正交。

3.2.1 点积

我们可能已经熟悉了一种特殊类型的内积， 中的标量积/点积(scalar product/dot product)

在这本书中，我们将把这种特殊的内积称为点积。但是，内积是具有特定性质的更一般的概念，我们现在将介绍这些概念。

3.2.2 一般内积

回想一下2.7节中的线性映射，我们可以重新排列与标量的相加和乘相相关的映射。而双线性映射(bilinear mapping) 是有两个参数的的映射， 且对于每个参数它都是线性的，即对于 以及 ，以下成立：

这里，第一个式子表明 关于第一个参数中是线性的，第二个式子表明 关于第二个参数中是线性的。

定义 3.2

令 为向量空间， 为双线性映射， 它取 中的两个向量并将它们映射到一个实数，那么：

• 对于所有 ，如果 ， 则称 为对称的（symmetric ），即参数的顺序没有影响。

• 如果对任意 ，有 ， 且 ， 则称 为正定的（positive definite）。

定义 3.3

设 为向量空间， 为双线性映射， 它取 中的两个向量并将它们映射到一个实数，那么：

• 一个正定且对称的双线性映射 称为 上的内积（inner product）， 我们通常写成 而不是 。

• 称为内积空间或带内积的（实）向量空间。 如果我们以点积为内积，则称 为欧氏向量空间（Euclidean vector space）。

在本书中，我们将这些空间统称为内积空间。

例 3.3 非点积的内积

考虑 ，我们定义

其中 为非点积的内积。

3.2.3 对称正定矩阵

对称正定矩阵在机器学习中起着重要的作用，它们是通过内积定义的。 在 4.3 节矩阵分解中将涉及到对称正定矩阵。 对称半正定矩阵的思想也是机器学习中核技巧的关键（12.4 节）。

考虑一个 维向量空间 及其内积 （见定义 3.3）， 以及 的有序基 。 对于合适的 ， 任意向量 都可以写成基向量的线性组合： ， 。 由于内积的双线性，对于所有 ，有：

以 为例，

其中 ， 为 和 相对于基 的坐标。 这意味着 是由 唯一确定的。 由于内积是对称的，所以 是对称的。 此外，内积的正定性意味着

定义 3.4 对称正定矩阵

考虑矩阵

为正定的，因为对于任意 ，它是对称的且

而 仅仅是对称的，它不是正定的，因为 可能小于 ，例如当 时。

如果 是对称且正定的， 那么

定义 关于有序基 的内积， 其中 、 为 、 相对于基 的坐标。

定理 3.5 对于一个实值，有限维向量空间和的一个有序基， 为一个内积 当且仅当存在一个对称的，正定矩阵 使得

如果 是对称且正定的，那么它有以下属性：

• 的零空间（核）只能由 组成，因为对于所有 , 这意味着如果 那么

• 的对角元素 是正的, 因为 其中 为标准基的第个向量