Loading...
墨滴

张春成

2021/09/21  阅读:37  主题:默认主题

卷积定理的矩阵巧合

卷积定理的矩阵巧合

从矩阵的角度来看“卷积定理”, 仿佛它只是数字角频率完备正交基下的一个特例。


傅氏变换的矩阵表示

一段信号, 在剥离了它无聊的物理意义之后, 就单纯地剩下一个骨感的 维向量

其中,

它总可以分解为一组完备正交基的线性组合

其中, 为数字角频率, 代表虚数单位。 此即傅氏变换的反变换。

由于三角函数基具有其正交性, 有下式成立

此即傅氏变换的正变换。

我们考察这种先乘再加的模式, 可以将其表示成矩阵乘法。

先将完备正交基表示为方阵 , 它的第 列为

再考虑它的共轭转秩

无疑的有

另有

其中, 为单位阵。

因此,傅氏变换的反变换为

正变换为

卷积计算的矩阵表示

卷积可以由求和式来表示

其中, 是代表卷积核的实数序列, 一般可以安全地指定其长度$K < p> <>

将它看作是对原序列 的周围项的加权求和, 我们引入这样一个矩阵 如下

这里为了对齐方便, 使用了与定义式相反的下标方式

这并不影响之后的推导。

因此,卷积计算可以等价于矩阵乘法

下面我们将上式与傅氏变换的矩阵表示相结合, 试图说明卷积定理。

卷积定理与矩阵乘法

卷积定理

这个定理具有很好的形式, 它说,

从傅氏正变换的角度来看, 卷积的变换等于两个卷积序列的变换之乘积

即,

其中, 代表卷积核的傅氏变换。 由于在使用情境上, 它不会与矩阵 混淆, 因此,我不再引入多余的符号来代表它。

但我们立即遇到了另一个问题, 就是在 的情况下, 如何保证其傅氏变换与 具有相同的长度

从卷积计算的定义出发, 我们可以通过补零的方式, 增加卷积核的傅氏变换长度。

矩阵乘法

首先计算卷积序列的傅氏变换

对卷积矩阵乘法的等式右边, 同时左乘相同的矩阵

稍加变化可得

显然,最右边一项代表序列 的傅氏变换。 最左边一项代表序列 的傅氏变换。 因此,为了从矩阵的角度推出卷积定理, 我们需要等号右边的第一项是对角阵, 且其对角线上的元素组成的向量, 应该对应卷积核的傅氏变换。即

接下来我们就要证明这个玩意。

神奇的巧合

直观看上去,这是典型的二次型式子, 可以比较肯定地说, 它的相乘结果几乎必然与对角阵相合。 因此,不必费心考虑它的必要性, 只需专注于充分性即可。

首先将矩阵 拆解成不列, 显然,它的各列之间具有良好的性质, 可以总结成两点

  • 每一列均包含完整的卷积核序列;
  • 相邻列相互错开一个采样点。

那么,对于 中的每一列 ,都有

其中, 代表第 列的偏移系数。 由傅氏变换的平移特性可知

其中, 代表第 行。

为了建立它与基矩阵 之间乘积的关系, 我们重写 矩阵如下

从矩阵乘法的角度, 乘积矩阵的第 行及第 列可以表示为

因此,由完备正交系的特性可知, 上式可以正比于

其中, 为狄利克雷函数。

至此,我们证明了这个复杂的矩阵的积是对角阵, 且其对角线上的元素正比于卷积核序列的傅氏变换。

因此,从矩阵的角度来说, 卷积定理是两个特性联合作用的巧合

  • 卷积计算的平移滑动特性;
  • 完备正交系的列选择特性。

就是这么的神奇。

新的一般化问题

我们不喜欢过多的巧合, 尤其是两个因素相互配合才构成的巧合。 因为这意味着某一个因素消失之后, 卷积定理将不再适用。

比如,我们先将卷积计算的平衡滑动特性去掉, 再去审视这样一个方程

这时, 就是一个普通的 矩阵。 当时,它可以代表一个拓扑图。

而如果我们面对的序列也是拓扑图中的

节点强度

此时,我们便有理由再把完备正交系的正交关系去掉, 或者说,我们再没有理由保持正交关系,即,

这样我们得到了另一个神奇的玩意,

其中, 如果代表拓扑图的拉普拉斯矩阵。 那么这个玩意,就是图神经网络的图卷积变换方程。

一些无聊的说明

离散序列

虽然并不重要, 但为了避免过于简化, 我们不妨给出离散序列 的一种比较贴近物理真实的定义方式

在理想的等距离散采样条件下,对信号进行采样得到的连续实值信号

因此,

其中, 代表采样频率。

欧拉公式

这个东西因为其太过著名, 所以其实写与不写都大差不差

其中,

张春成

2021/09/21  阅读:37  主题:默认主题

作者介绍

张春成