t-SVD

理解该部分涉及到 t-SVD（tensor singular value decomposition，张量奇异值分解） 的知识及傅里叶变换在其中的应用。下面我们详细介绍其中的内容。

t-SVD 基础知识

t-SVD 是一种将矩阵奇异值分解（SVD）推广到三阶张量的分解方法。假设我们有一个三阶张量 $\mathcal{Z}\in {\mathbb{R}}^{n\times n\times l}$（例如 $l$ 个 $n\times n$ 矩阵的集合），t-SVD 的目的是将这个张量分解为类似 SVD 的结构，以便于解决特定优化问题，如核范数（nuclear norm）最小化等。

t-SVD 的分解公式如下：

$$\mathcal{Z}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^T$$

其中：

• $\mathcal{U}\in {\mathbb{R}}^{n\times n\times l}$ 和 $\mathcal{V}\in {\mathbb{R}}^{n\times n\times l}$ 是张量的正交因子（相当于矩阵 SVD 的左、右奇异向量矩阵的推广），
• $\mathcal{S}\in {\mathbb{R}}^{n\times n\times l}$ 是对角张量，包含奇异值。

在这种分解形式中， * 操作符表示 张量卷积。

t-SVD 的步骤和傅里叶变换的应用

为了高效地进行 t-SVD，我们通常将 傅里叶变换 应用于张量的第三维度（即“深度”或“通道”维度），将问题转换到频域处理。具体步骤如下：

1. 傅里叶变换：我们首先对张量 $\mathcal{Z}$ 的第三维应用离散傅里叶变换（DFT），得到 ${\mathcal{Z}}_f$，即在频域下的表示：

   $${\mathcal{Z}}_f=\text{DFT}(\mathcal{Z})$$

   变换后的张量 ${\mathcal{Z}}_f$ 仍然是一个三阶张量，但其第三维表示的是不同的频率分量。

2. 分解每个频率切片：在频域下，${\mathcal{Z}}_f$ 的每个“切片”（对应于每个频率）都是一个 $n\times n$ 的矩阵，可以对每个频率切片进行普通矩阵的奇异值分解（SVD）。这样，每个切片可以分解为：

   $${\mathcal{Z}}_f^{(k)}=U_f^{(k)}{S}_f^{(k)}(V_f^{(k)}{)}^T$$

   其中 $k$ 是频率索引，$U_f^{(k)}$ 和 $V_f^{(k)}$ 分别是该频率切片的左、右奇异矩阵，$S_f^{(k)}$ 是奇异值对角矩阵。

3. 组合 t-SVD 分解结果：将所有频率切片的分解结果重新组合得到整个频域下的张量分解，即

   $${\mathcal{Z}}_f={\mathcal{U}}_f\ast {\mathcal{S}}_f\ast {\mathcal{V}}_f^T$$

4. 逆傅里叶变换：将 ${\mathcal{U}}_f$、${\mathcal{S}}_f$、${\mathcal{V}}_f$ 在频域下的表示逆变换回时域，得到最终的分解 $\mathcal{Z}=\mathcal{U}\ast \mathcal{S}\ast {\mathcal{V}}^T$。

核范数最小化及软阈值函数

在步骤 (13) 的公式中，张量核范数最小化问题的解决方案涉及一个软阈值（shrinkage）操作，这个操作在频域下进行。

在这里，$\mathcal{P}$ 是通过对 $\mathcal{S}$ 张量进行软阈值操作得到的。这个操作定义了 $\mathcal{J}$ 张量，该张量的对角元素通过 $\max (1-\tilde{\mu }/{\mathcal{S}}_f^{(j)}(i,i),0)$ 进行缩放，从而对奇异值施加收缩操作，使得较小的奇异值趋于零，以达到核范数最小化的目的。

软阈值操作的解释

式 (13) 的软阈值函数 ${\phi }_{\tilde{\mu }}(\mathcal{S})$ 定义为 $\mathcal{S}\ast \mathcal{J}$，其中 $\mathcal{J}$ 是一个三阶对角张量，在傅里叶域下，它的元素表示为：

$${\mathcal{J}}_f(i,i,j)=\max \left(1-\frac{\tilde{\mu }}{{\mathcal{S}}_f^{(j)}(i,i)},0\right)$$

这意味着在频域下，对奇异值张量 ${\mathcal{S}}_f$ 中的每个对角元素进行缩放，如果 ${\mathcal{S}}_f^{(j)}(i,i)$ 的值小于 $\tilde{\mu }$，则它会被设置为 0。这种方法类似于传统矩阵核范数最小化中的软阈值操作，将较小的奇异值衰减或直接变为零，从而达到张量的低秩逼近。

总结

1. t-SVD 利用傅里叶变换将三阶张量的分解问题简化为各频率切片上的矩阵 SVD 分解。
2. 核范数最小化 是通过对奇异值进行软阈值操作实现的，在频域中使用缩放张量 $\mathcal{J}$ 来实现张量的低秩逼近。
3. 软阈值函数作用于张量的奇异值，从而达到去除噪声或约束低秩结构的效果。