机器学习｜High-Dimensional Time Series Modeling and Forecasting via Machine Learning Techniques

本文根据香港大学统计与精算学系 Guodong Li 教授讲座整理，并补充了代数推导、统计解释与实现细节。

本文的核心问题是：面对高维、强依赖、多频率和跨任务的时间序列数据，如何利用低秩结构、稀疏结构、神经网络与迁移学习，在预测能力、可解释性、计算效率和理论保证之间取得平衡。

一、高维时间序列为什么困难#

经典时间序列模型通常建立在变量维度较低、样本长度较长的环境中。但在宏观经济、金融、气候、能源和医学等问题中，研究者经常同时观察大量序列，而时间维度却并不充分。

例如，考虑 $N$ 维 VAR $(P)$ 模型：

y_{t} = p = 1 \sum P A_{p} y_{t - p} + ε_{t}, y_{t} \in R^{N} .

每个转移矩阵：

A_{p} \in R^{N \times N} .

因此，完整模型中的系数总数为：

N^{2} P .

当：

N^{2} P ≫ T

时，传统最小二乘估计面临严重的维数灾难。

高维时间序列的困难不仅来自变量数量，还来自以下结构：

不同变量之间存在复杂的动态交互；
不同滞后期可能具有不同作用；
数据可能天然呈现矩阵或张量结构；
不同变量可能以日、月、季度等不同频率观测；
目标国家、企业或市场的样本较短，但其他相似对象具有更长历史；
深度学习模型具有强预测能力，却可能缺乏可解释性和理论保证。

因此，高维时间序列建模通常依赖某种结构化降维假设：

高维参数 + 低维结构 ⟶ 可估计模型 .

常见结构包括：

稀疏性；
低秩性；
多线性低秩；
弱组稀疏；
低秩加稀疏；
共享表示；
神经网络中的模块化或可分离结构。

二、张量基础#

2.1 张量的定义#

张量可以理解为矩阵的高阶推广。一个 $d$ 阶张量写为：

X \in R^{p_{1} \times p_{2} \times \dots \times p_{d}} .

其中：

一阶张量是向量；
二阶张量是矩阵；
三阶张量可表示为立方体；
更高阶张量对应多维数组。

例如，一个经济面板可以按以下方式组织：

国家 \times 经济指标 \times 投资组合 \times 时间 .

保留张量结构的意义在于：不同维度通常具有不同经济含义。如果直接向量化，可能会破坏这些维度之间的结构差异。

2.2 外积#

给定向量：

u^{(1)} \in R^{p_{1}}, \dots, u^{(d)} \in R^{p_{d}},

其外积：

u^{(1)} \circ u^{(2)} \circ \dots \circ u^{(d)}

是一个 $d$ 阶张量，其元素为：

(u^{(1)} \circ \dots \circ u^{(d)})_{i_{1}, \dots, i_{d}} = s = 1 \prod d u_{i_{s}}^{(s)} .

外积产生的张量是秩一张量，是 CP 分解的基本构件。

2.3 Mode- $s$ 展开#

对：

X \in R^{p_{1} \times \dots \times p_{d}},

其 mode- $s$ 展开记为：

X_{(s)} \in R^{p_{s} \times \prod_{j \neq = s} p_{j}} .

直观上，mode- $s$ 展开把第 $s$ 个维度保留为矩阵的行，把其他维度组合成列。

例如：

X \in R^{p_{1} \times p_{2} \times p_{3}},

则：

X_{(1)} \in R^{p_{1} \times p_{2} p_{3}},

X_{(2)} \in R^{p_{2} \times p_{1} p_{3}},

X_{(3)} \in R^{p_{3} \times p_{1} p_{2}} .

不同展开方式对应不同方向上的低秩结构。

2.4 顺序展开#

顺序展开将前 $s$ 个维度组合为行，剩余维度组合为列，记为：

[X]_{s} \in R^{(p_{1} \dots p_{s}) \times (p_{s + 1} \dots p_{d})} .

Mode 展开与 Tucker 分解密切相关，而顺序展开与 Tensor Train 分解密切相关。

2.5 Mode- $s$ 乘积#

设：

X \in R^{p_{1} \times \dots \times p_{d}}, U \in R^{q \times p_{s}} .

张量与矩阵的 mode- $s$ 乘积记为：

X \times_{s} U .

它把第 $s$ 个维度从 $p_{s}$ 映射到 $q$ ，并满足：

(X \times_{s} U)_{(s)} = U X_{(s)} .

这个等式是推导 Tucker 模型和张量回归的核心工具。

三、三种主要张量分解#

3.1 CP 分解#

CP 分解把张量表示成若干秩一张量之和：

X = j = 1 \sum r g_{j} u_{j}^{(1)} \circ u_{j}^{(2)} \circ \dots \circ u_{j}^{(d)} .

其中：

u_{j}^{(s)} \in R^{p_{s}}, ∥ u_{j}^{(s)} ∥_{2} = 1.

参数数量大约为：

r (1 + s = 1 \sum d p_{s}) .

与完整张量参数量：

s = 1 \prod d p_{s}

相比，CP 分解可实现非常强的压缩。

但 CP 分解也存在困难：

数值优化可能不稳定；
秩的选择困难；
最佳低秩逼近未必总是良好存在；
求张量秩通常是困难问题。

3.2 Tucker 分解#

若张量 $X$ 在各 mode 展开上的秩分别为：

(r_{1}, \dots, r_{d}),

则 Tucker 分解写为：

X = G \times_{1} U_{1} \times_{2} U_{2} \dots \times_{d} U_{d} .

其中：

U_{s} \in R^{p_{s} \times r_{s}}

是因子矩阵，

G \in R^{r_{1} \times \dots \times r_{d}}

是核心张量。

参数数量约为：

s = 1 \prod d r_{s} + s = 1 \sum d p_{s} r_{s} .

Tucker 分解的优点是：

数值表现较稳定；
每个 mode 都有独立的低维子空间；
容易解释不同方向上的潜在因子；
适合统计理论分析。

其缺点是核心张量的参数数量：

s = 1 \prod d r_{s}

仍会随着张量阶数快速增长。

3.3 Tensor Train 分解#

Tensor Train（TT）分解将张量元素写为矩阵链乘积：

X_{i_{1}, \dots, i_{d}} = G_{1} (i_{1}) G_{2} (i_{2}) \dots G_{d} (i_{d}),

其中：

G_{s} (i_{s}) \in R^{r_{s - 1} \times r_{s}}, r_{0} = r_{d} = 1.

参数量约为：

s = 1 \sum d p_{s} r_{s - 1} r_{s} .

TT 分解的关键特点是：

避免 Tucker 核心张量的指数型增长；
数值稳定性通常优于 CP；
适合高阶张量；
其解释依赖维度排列顺序；
更适合存在嵌套结构而非完全对称因子结构的数据。

3.4 三种分解的比较#

方法	主要结构	压缩能力	数值稳定性	解释特点
CP	秩一张量求和	很强	较弱	每个分量对应一组跨维度因子
Tucker	各 mode 独立低秩	中等	较强	各方向潜在因子清楚
TT	顺序矩阵链	较强	较强	适合嵌套或顺序结构

选择哪种分解，不仅取决于预测误差，还取决于数据结构和解释目标。

四、用张量结构改写高维 VAR#

4.1 标准 VAR 的维数灾难#

考虑：

y_{t} = p = 1 \sum P A_{p} y_{t - p} + ε_{t} .

把滞后变量堆叠为：

x_{t} = y_{t - 1} ⋮ y_{t - P} \in R^{NP} .

令：

A_{(1)} = [A_{1}, \dots, A_{P}] \in R^{N \times NP},

则模型写为：

y_{t} = A_{(1)} x_{t} + ε_{t} .

完整参数数量为：

N^{2} P .

4.2 将 VAR 系数张量化#

把：

A_{1}, \dots, A_{P}

沿滞后维度堆叠成：

A \in R^{N \times N \times P} .

三个 mode 分别对应：

响应变量方向；
预测变量方向；
滞后时间方向。

对 $A$ 使用 Tucker 分解：

A = G \times_{1} U_{1} \times_{2} U_{2} \times_{3} U_{3} .

其中：

U_{1} \in R^{N \times r_{1}}, U_{2} \in R^{N \times r_{2}}, U_{3} \in R^{P \times r_{3}} .

当：

r_{1} ≪ N, r_{2} ≪ N, r_{3} ≪ P,

参数数量从：

N^{2} P

降低为：

r_{1} r_{2} r_{3} + N r_{1} + N r_{2} + P r_{3} .

4.3 潜在因子表示的推导#

令：

X_{t} = (y_{t - 1}, \dots, y_{t - P}) \in R^{N \times P} .

Tucker 分解的 mode-1 展开满足：

A_{(1)} = U_{1} G_{(1)} (U_{3} \otimes U_{2})^{'} .

由于：

vec (U_{2}^{'} X_{t} U_{3}) = (U_{3}^{'} \otimes U_{2}^{'}) vec (X_{t}),

VAR 模型可写为：

y_{t} = U_{1} G_{(1)} vec (U_{2}^{'} X_{t} U_{3}) + ε_{t} .

左乘 $U_{1}^{'}$ ，若 $U_{1}^{'} U_{1} = I$ ，得到：

U_{1}^{'} y_{t} = G_{(1)} vec (U_{2}^{'} X_{t} U_{3}) + U_{1}^{'} ε_{t} .

因此：

$U_{1}^{'} y_{t}$ 是 $r_{1}$ 个响应因子；
$U_{2}^{'} X_{t} U_{3}$ 是 $r_{2} \times r_{3}$ 的预测因子；
$U_{3}$ 提取滞后方向上的低维动态模式。

这一表示同时在变量和滞后维度进行降维。

4.4 稀疏高阶降秩估计#

一个典型估计目标可以写成：

G, U_{1}, U_{2}, U_{3} min \frac{1}{T} t = 1 \sum T y_{t} - (G \times_{1} U_{1} \times_{2} U_{2} \times_{3} U_{3})_{(1)} x_{t}_{2}^{2} + λ ∥ U_{3} \otimes U_{2} \otimes U_{1} ∥_{1},

并施加：

U_{s}^{'} U_{s} = I,

以及核心张量的正交规范。

惩罚项：

∥ U_{3} \otimes U_{2} \otimes U_{1} ∥_{1}

可同时诱导多个因子矩阵中的稀疏性。

这个估计问题同时包含：

非凸低秩约束；
正交约束；
稀疏惩罚。

实际求解通常需要交替优化或 ADMM，秩和惩罚参数可用信息准则选择。

五、响应空间与预测空间的重叠#

5.1 两个低维空间#

若只在响应和预测变量方向降维：

A = G \times_{1} U_{1} \times_{2} U_{2},

则：

$span (U_{1})$ 是响应空间；
$span (U_{2})$ 是预测空间。

对应的因子模型为：

U_{1}^{'} y_{t} = k = 1 \sum P S_{k} U_{2}^{'} y_{t - k} + U_{1}^{'} ε_{t} .

在时间序列中，同一个变量既可能是响应，也可能是滞后预测变量，因此两个空间可能重叠。

5.2 公共子空间分解#

假设：

dim (span (U_{1}) \cap span (U_{2})) = d .

可分别选择正交基：

$C \in R^{N \times d}$ ：公共空间；
$R \in R^{N \times (r_{1} - d)}$ ：响应特有空间；
$P \in R^{N \times (r_{2} - d)}$ ：预测特有空间。

于是：

U_{1} = [C, R], U_{2} = [C, P] .

模型可写成：

y_{t} = [C, R] k = 1 \sum P D_{k} [C, P]^{'} y_{t - k} + ε_{t} .

定义：

c_{t} = C^{'} y_{t}, r_{t} = R^{'} y_{t}, p_{t} = P^{'} y_{t},

则：

(c_{t} r_{t}) = k = 1 \sum P D_{k} (c_{t - k} p_{t - k}) + (C^{'} ε_{t} R^{'} ε_{t}) .

这里：

$c_{t}$ 同时参与预测和响应；
$r_{t}$ 只出现在响应端；
$p_{t}$ 只出现在预测端。

这种分解比简单假设 $U_{1} = U_{2}$ 更灵活。

六、VAR $(\infty)$ 与弱组稀疏#

6.1 无限阶表示#

许多稳定 VARMA 模型可以写成：

y_{t} = j = 1 \sum \infty A_{j}^{*} y_{t - j} + ε_{t} .

将所有系数堆叠为：

A_{\infty} \in R^{N \times N \times \infty} .

假设变量方向具有低秩结构：

A_{\infty} = G_{\infty} \times_{1} U_{1} \times_{2} U_{2} .

6.2 指数衰减意味着弱组稀疏#

假设存在：

0 < ρ < 1

使：

∥ A_{j}^{*} ∥_{op} = O (ρ^{j}) .

较大滞后对应的系数矩阵会快速接近零。因此，以每个 $A_{j}^{*}$ 为一组时，系数在组层面具有弱稀疏性。

如果：

∥ A_{j}^{*} ∥_{F} \leq C ρ^{j},

则：

j = 1 \sum \infty ∥ A_{j}^{*} ∥_{F} \leq C j = 1 \sum \infty ρ^{j} = C \frac{ρ}{1 - ρ} < \infty.

这说明无限阶系数序列位于一个组 $ℓ_{1}$ 型球中。

6.3 截断与筛估计#

实际估计时选取截断阶数 $T_{0}$ ：

y_{t} = j = 1 \sum T_{0} A_{j}^{*} y_{t - j} + ε_{t},

其中：

ε_{t} = ε_{t} + j > T_{0} \sum A_{j}^{*} y_{t - j} .

第二项是截断误差。

定义截断后的系数张量：

A^{*} \in R^{N \times N \times T_{0}} .

可在低秩参数空间：

Θ (r_{1}, r_{2}) = {A : rank (A_{(1)}) \leq r_{1}, rank (A_{(2)}) \leq r_{2}}

中估计，并加入组惩罚：

λ j = 1 \sum T_{0} ∥ A_{j} ∥_{F} .

该惩罚能够自动压缩较远滞后，实现数据驱动的滞后选择。

七、张量值时间序列与低秩张量自回归#

7.1 模型设定#

设：

Y_{t} \in R^{p_{1} \times \dots \times p_{d}}

是一个 $d$ 阶张量值时间序列。最简单的张量自回归模型为：

Y_{t} = ⟨ A, Y_{t - 1} ⟩ + E_{t} .

其中转移张量：

A \in R^{p_{1} \times \dots \times p_{d} \times p_{1} \times \dots \times p_{d}}

是一个 $2 d$ 阶张量。

若直接向量化：

y_{t} = vec (Y_{t}),

则模型等价于：

y_{t} = A_{vec} y_{t - 1} + e_{t},

其中：

A_{vec} \in R^{p \times p}, p = s = 1 \prod d p_{s} .

完整参数数量为：

p^{2} = (s = 1 \prod d p_{s})^{2},

通常极其庞大。

7.2 Tucker 低秩张量自回归#

假设转移张量具有 multilinear ranks：

(r_{1}, \dots, r_{2 d}),

并写为：

A = G \times_{1} U_{1} \dots \times_{2 d} U_{2 d} .

完整参数数量从：

s = 1 \prod 2 d p_{s}

降为：

s = 1 \prod 2 d r_{s} + s = 1 \sum 2 d p_{s} r_{s} .

但当 $d$ 较大时，核心张量：

G \in R^{r_{1} \times \dots \times r_{2 d}}

仍可能过大。这正是 TT 或 CP 结构有吸引力的原因。

7.3 张量回归中的响应因子与预测因子#

考虑矩阵值响应与预测变量：

Y_{i} \in R^{q_{1} \times q_{2}}, X_{i} \in R^{p_{1} \times p_{2}},

模型为：

Y_{i} = ⟨ A, X_{i} ⟩ + E_{i} .

若：

A = G \times_{1} U_{1} \times_{2} U_{2} \times_{3} U_{3} \times_{4} U_{4},

则两侧分别投影后：

U_{1}^{'} Y_{i} U_{2} = ⟨ G, U_{3}^{'} X_{i} U_{4} ⟩ + U_{1}^{'} E_{i} U_{2} .

因此：

$U_{1}^{'} Y_{i} U_{2}$ 是低维响应因子；
$U_{3}^{'} X_{i} U_{4}$ 是低维预测因子；
核心张量描述两类因子之间的关系。

7.4 TT 自回归的结构优势#

对于高阶转移张量，TT 分解写成一系列核心的链式乘积。

相比 Tucker，TT 参数量约为：

s = 1 \sum 2 d p_{s} r_{s - 1} r_{s},

避免了：

s = 1 \prod 2 d r_{s}

的核心爆炸。

TT 特别适合维度具有嵌套顺序的张量数据。例如：

国家 \to 资产组合 \to 经济指标

的层次关系可能更适合链式结构，而不是完全对称的 Tucker 因子结构。

7.5 CP 自回归与 ENSO 例子#

对于三阶张量值时间序列，可对高阶转移张量施加 CP 分解，使其成为若干跨空间和变量方向的秩一动态模式之和。

讲座中的 ENSO 数据可组织为：

51 \times 41 \times 7,

分别对应经度、纬度和不同深度或变量层。

总元素数量为：

51 \times 41 \times 7 = 14637.

若直接建立一阶向量自回归，参数数量为：

1463 7^{2},

即超过两亿，而不是简单的低维可估计问题。

CP 或其他低秩张量结构通过少量空间模式和变量模式描述大规模海温动态。

7.6 低秩加稀疏结构#

纯低秩模型假设所有关系都由少量潜在因子共同驱动，但现实中还可能存在少数局部、异质或异常关系。

因此可以写为：

A_{k} = A_{k}^{L} + A_{k}^{S},

其中：

$A_{k}^{L}$ 是低秩部分，表示共同潜在机制；
$A_{k}^{S}$ 是稀疏部分，表示局部关系或低秩模型失配。

估计目标可写为：

A^{L}, A^{S} min \frac{1}{T} t \sum Y_{t} - k = 1 \sum P ⟨ A_{k}^{L} + A_{k}^{S}, Y_{t - k} ⟩_{F}^{2} + λ_{L} R_{low - rank} (A^{L}) + λ_{S} ∥ A^{S} ∥_{1} .

这类模型把“全局协同变化”和“局部异质变化”分离开来。

八、从统计时间序列到 RNN#

8.1 基础 RNN#

一般 RNN 隐状态更新为：

h_{t} = σ_{h} (W_{h} h_{t - 1} + W_{x} x_{t} + b) .

其中：

x_{t} \in R^{d_{in}}, h_{t} \in R^{d} .

若激活函数为恒等映射，且 $b = 0$ ，则：

h_{t} = W_{h} h_{t - 1} + W_{x} x_{t} .

递归展开：

h_{t} = W_{h}^{t} h_{0} + j = 0 \sum t - 1 W_{h}^{j} W_{x} x_{t - j} .

若初值影响消失，则 RNN 是一种矩阵几何衰减的无限滞后模型。

8.2 ARMA $(1, 1)$ 与线性 RNN 的等价#

考虑：

y_{t} = Φ y_{t - 1} + ε_{t} - Θ ε_{t - 1} .

令条件预测部分：

h_{t} = y_{t} - ε_{t} .

因为：

ε_{t - 1} = y_{t - 1} - h_{t - 1},

所以：

h_{t} = Φ y_{t - 1} - Θ ε_{t - 1} = Φ y_{t - 1} - Θ (y_{t - 1} - h_{t - 1}) = Θ h_{t - 1} + (Φ - Θ) y_{t - 1} .

令：

W_{h} = Θ, W_{x} = Φ - Θ, x_{t} = y_{t - 1},

则：

h_{t} = W_{h} h_{t - 1} + W_{x} x_{t} .

这就是线性 RNN。

递归展开：

h_{t} = j = 0 \sum \infty Θ^{j} (Φ - Θ) y_{t - 1 - j},

即 AR $(\infty)$ 表示。

因此，RNN 并非完全脱离传统时间序列模型；其线性特例已经包含 ARMA 动态。

8.3 GARCH 与 RNN#

考虑多变量 VECH-GARCH $(1, 1)$ ：

y_{t} = H_{t}^{1/2} ε_{t},

h_{t} = vech (H_{t}) = Θ vech (y_{t - 1} y_{t - 1}^{'}) + Φ h_{t - 1} + b .

令：

x_{t} = vech (y_{t - 1} y_{t - 1}^{'}),

W_{h} = Φ, W_{x} = Θ,

则：

h_{t} = W_{h} h_{t - 1} + W_{x} x_{t} + b .

因此，线性激活的 RNN 也可以表示条件方差动态。若使用高斯似然训练，则可把 RNN 解释为灵活的 GARCH 型模型。

九、ParaRNN：可解释且可并行的循环网络#

9.1 普通 RNN 的计算瓶颈#

RNN 在序列长度 $T$ 上的时间和内存复杂度通常是线性的，但其训练具有顺序依赖：

h_{t} 依赖 h_{t - 1} .

因此，不同时间点不能完全并行。

另一方面，全连接循环矩阵：

W_{h} \in R^{d \times d}

把所有隐状态分量耦合在一起，不利于解释和模块化并行。

9.2 块对角循环矩阵#

假设：

W_{h} = diag (W_{h}^{(1)}, \dots, W_{h}^{(K)}) .

把隐状态分块：

h_{t} = Concat [h_{t}^{(1)}, \dots, h_{t}^{(K)}] .

则每个子块满足：

h_{t}^{(k)} = σ_{h} (W_{h}^{(k)} h_{t - 1}^{(k)} + W_{x}^{(k)} x_{t} + b^{(k)}) .

不同子 RNN 之间没有递归耦合，因此可以并行训练。

总隐状态可写为若干组件的加总或拼接：

h_{t} = k = 1 \sum K f_{RNN}^{(k)} (F_{t}; Ψ^{(k)}) .

这带来两个好处：

每个子模块捕捉一种动态模式；
不同模块可以并行计算。

9.3 为什么二维块比一维对角更有表达力#

若只要求：

W_{h} \sim diag (w_{1}, \dots, w_{d}),

则只能表示可在实数域完全对角化的矩阵。

但一般实矩阵可能具有复共轭特征值。对应的实标准形中，这些特征值需要由 $2 \times 2$ 实块表示。

因此，允许由 $2 \times 2$ 块组成的块对角矩阵，比仅使用一维对角元素更接近一般实矩阵。

这解释了 ParaRNN 为什么要求子块维度通常取偶数：二维块能够表达旋转和振荡动态。

9.4 相似变换与近似解耦#

设存在可逆矩阵 $B$ ，使：

W_{h} = B W_{h} B^{- 1},

其中 $W_{h}$ 为块对角矩阵。

原 RNN 为：

h_{t} = σ_{h} [B (W_{h} B^{- 1} h_{t - 1} + B^{- 1} W_{x} x_{t} + B^{- 1} b)] .

如果激活函数与线性变换可以近似交换：

σ_{h} (B z) \approx B σ_{h} (z),

令：

h_{t} = B^{- 1} h_{t}, W_{x} = B^{- 1} W_{x}, b = B^{- 1} b,

则得到近似块解耦模型：

h_{t} = σ_{h} (W_{h} h_{t - 1} + W_{x} x_{t} + b),

h_{t} = B h_{t} .

需要注意：当 $σ_{h}$ 是非线性函数时，上述交换通常不是精确恒等式，而是模型设计中的近似或代理表示。

9.5 ParaRNN 架构#

设每个子 RNN 的隐状态维度为：

d_{s},

共有 $K$ 个子模块，则：

d = K d_{s} .

每个模块更新为：

h_{t}^{(k)} = RecurrentCell (h_{t - 1}^{(k)}, x_{t}),

最终通过融合层：

h_{t} = W_{f} Concat [h_{t}^{(1)}, \dots, h_{t}^{(K)}] .

深层 ParaRNN 可由以下部分组成：

输入线性映射；
多层块循环结构；
逐位置全连接聚合层；
输出线性映射。

9.6 逼近误差的含义#

设目标函数：

f^{(T)} : [0, 1]^{d_{in} T} \to R^{d_{out}}

属于平滑度为 $β$ 的 Hölder 类。

ParaRNN 的逼近理论说明：通过增加网络宽度和深度，可以使：

X sup ∥ ϕ (X) - f^{(T)} (X) ∥_{\infty}

趋近于零。

其主要数量级可概括为：

逼近误差 ≲ (网络规模)^{- 2 β / (d_{in} T)} .

指数中的：

d_{in} T

是输入序列展开后的有效维度，反映了非参数估计中的维数灾难。

9.7 预测误差界#

定义总体风险：

R (ϕ) = E [ϕ (X_{T}) - z_{T}]^{2},

经验风险：

R_{N} (ϕ) = \frac{1}{N} i = 1 \sum N [ϕ (X_{i, T}) - z_{i, T}]^{2} .

经验风险最小化估计量为：

f^{(T)} = ar g ϕ \in F^{(T)} min R_{N} (ϕ) .

在适当宽度、深度和样本复杂度条件下，其超额风险满足近似：

E [R (f^{(T)}) - R (f_{0}^{(T)})] ≲ N^{- \frac{2 β}{d _{in} T + 2 β}} (lo g N)^{10} .

忽略对数因子后，这与 $d_{in} T$ 维非参数回归的 minimax 速率一致。

9.8 扩展到 LSTM、GRU 和注意力循环单元#

LSTM 的遗忘门、输入门、输出门和候选状态都包含形如：

W h_{t - 1} + U x_{t} + b

的递归映射。

因此，可以对这些循环矩阵分别实施块结构，构造 ParaLSTM。

GRU 同理。

在基于注意力的循环单元中，查询、键和值矩阵决定旧隐状态如何进入新状态，也可以把相关递归矩阵设计为块结构。

所以 ParaRNN 的思想并不限于 vanilla RNN，而是一种对递归动态进行模块化分解的通用原则。

9.9 数值结果的解释#

讲座中的数值实验覆盖：

多变量时间序列预测；
序列化 MNIST；
像素级 CIFAR-10；
加噪序列分类；
EigenWorms。

整体结果显示，平行化版本在多数任务中能够保持或改善预测表现，并降低串行训练瓶颈。

这说明块结构不只是计算技巧，也可以发挥类似结构正则化的作用。

十、混频时间序列预测#

10.1 混频数据问题#

现实中的变量经常以不同频率观测。例如：

GDP：季度；
工业生产：月度；
金融价格：日度；
搜索指数：周度或日度。

目标是利用高频信息预测低频变量。

假设：

高频变量频率为 $m_{1}$ ；
中频变量频率为 $m_{2}$ ；
低频目标频率为 $m_{3}$ ；

且：

m_{1} > m_{2} > m_{3} .

困难在于，模型输入必须先完成频率对齐。

10.2 两类频率对齐思路#

第一类是低频转高频：

把低频变量视为含大量缺失值的高频序列；
使用状态空间模型、Kalman filter、EM 或贝叶斯方法填补。

第二类是高频转低频：

时间聚合；
滞后堆叠；
MIDAS 权重；
动态因子模型。

讲座中的 DSNN 采用高到低的顺序对齐。

10.3 DSNN 的顺序对齐结构#

Depth-Separable Neural Network 的基本思想是：

高频 ⟶ 中频 ⟶ 低频 ⟶ 预测 .

设高频输入块为：

x_{t, j}^{(1)},

第一阶段对齐网络：

z_{t}^{(2)} = g_{1, NN} (x_{t, 1}^{(1)}, \dots, x_{t, m_{1} / m_{2}}^{(1)}) .

它把高频块映射到中频表示。

然后与原始中频变量结合：

z_{t}^{(2)} = Concat [z_{t}^{(2)}, x_{t}^{(2)}] .

第二阶段对齐：

\overset{z}{ˉ}_{t} = g_{2, NN} (z_{t, 1}^{(2)}, \dots, z_{t, m_{2} / m_{3}}^{(2)}),

把中频表示继续映射到低频。

最后使用最近 $K$ 个低频对齐表示预测：

y_{t} = g_{3, NN} (\overset{z}{ˉ}_{t - 1}, \dots, \overset{z}{ˉ}_{t - K}) .

整体模型是函数复合：

m = g_{3, NN} \circ g_{2, NN} \circ g_{1, NN} .

10.4 为什么称为 Depth-Separable#

“Depth-Separable”表示网络深度按经济任务分解：

第一部分只负责高频到中频的对齐；
第二部分只负责中频到低频的对齐；
最后一部分负责预测。

这种结构不同于把所有输入直接送入一个黑箱网络。

其优点包括：

每一阶段具有明确的频率转换含义；
允许对齐过程中降维或扩维；
可通过参数共享控制高频变量数量增加后的计算成本；
端到端训练避免手工指定线性聚合权重。

10.5 损失函数#

若低频样本为：

{y_{t}}_{t = 1}^{T},

参数记为 $Θ$ ，则可使用：

Θ = ar g Θ min \frac{1}{T - K} t = K + 1 \sum T ∥ y_{t} - y_{t} (Θ) ∥_{2}^{2} + λ P (Θ) .

其中 $P (Θ)$ 可以是：

权重衰减；
稀疏惩罚；
平滑惩罚；
层间共享约束。

讲座给出了相应的逼近误差和预测误差保证，其核心是：顺序对齐结构仍然具有足够强的函数逼近能力。

十一、时间序列迁移学习#

11.1 为什么需要迁移学习#

设目标任务只有较短样本：

{y_{t, 0}}_{t = 1}^{T_{0}},

而有 $K$ 个来源任务：

{y_{t, k}}_{t = 1}^{T_{k}}, k = 1, \dots, K,

其中 $T_{k}$ 通常大于 $T_{0}$ 。

例如：

目标国家的宏观样本较短；
其他国家具有较长历史；
不同市场具有相似经济结构；
不同企业共享部分动态因子。

迁移学习希望借用来源任务的信息改善目标预测。

11.2 各任务的 VAR 张量表示#

对每个任务：

y_{t, k} = j = 1 \sum p A_{j, k} y_{t - j, k} + ε_{t, k} .

将系数堆叠为：

A_{k} \in R^{N \times N \times p} .

假设：

A_{k} = S_{k} \times_{1} U_{k} \times_{2} V_{k} \times_{3} L_{k} .

其中：

$U_{k}$ 是响应因子载荷；
$V_{k}$ 是预测变量载荷；
$L_{k}$ 是滞后载荷；
$S_{k}$ 是任务特有核心。

迁移学习的关键问题是：不同任务的这些因子空间是否相似。

11.3 共享表示与任务特异成分#

一种自然建模方式是：

U_{k} = U_{shared} + Δ_{U, k},

或者更严格地写成子空间分解：

U_{k} = [U_{c}, U_{s, k}],

其中：

$U_{c}$ 是所有任务共享的响应表示；
$U_{s, k}$ 是任务 $k$ 的特异表示。

类似地，可以对 $V_{k}$ 和 $L_{k}$ 建立共享加特异结构。

如果直接把所有任务完全合并，相当于假设：

Δ_{U, k} = 0

等所有差异都为零，容易产生负迁移。

如果完全分开估计，又无法利用来源数据。

因此迁移学习需要在“共享”和“差异”之间进行正则化权衡。

11.4 两阶段估计思想#

讲座采用两阶段思路。

第一阶段：使用来源任务学习低维表示。

可抽象写为：

(U_{c}, V_{c}, L_{c}) = ar g min k = 1 \sum K \frac{1}{T _{k}} t \sum ∥ y_{t, k} - y_{t, k} ∥_{2}^{2} + P_{source} .

第二阶段：在目标任务中固定或微调共享表示，估计目标特有部分：

A_{0} = ar g A_{0} min \frac{1}{T _{0}} t \sum y_{t, 0} - A_{0 (1)} x_{t, 0}_{2}^{2} + λ D (A_{0}, A_{source}) .

其中：

D (\cdot, \cdot)

衡量目标模型与来源表示之间的差异。

当：

λ = 0

时，目标任务基本独立估计；

当：

λ \to \infty

时，模型接近完全 pooling。

11.5 负迁移#

如果来源任务与目标任务差异较大，强制共享可能使预测变差，这称为负迁移。

因此应使用：

来源任务筛选；
自适应任务权重；
差异惩罚；
验证集选择迁移强度；
允许任务特有因子。

比较方法通常包括：

PoolVAR；
仅使用目标样本的 VAR；
多线性低秩 VAR；
Lasso VAR；
迁移 VAR。

十二、统一理解：结构化统计模型与深度学习#

两份讲座虽然分别讨论张量方法和机器学习方法，但它们具有共同逻辑。

12.1 张量方法#

张量方法通过显式结构降低维度：

高维系数 ⟶ 低秩因子 + 核心张量 .

其优势是：

参数含义清楚；
容易解释响应、预测和滞后因子；
便于推导有限样本误差界；
适合宏观、金融和空间时间数据。

12.2 ParaRNN#

ParaRNN 在神经网络内部施加模块结构：

全耦合递归 ⟶ 多个低维递归模块 + 融合层 .

它试图同时获得：

非线性逼近能力；
模块可解释性；
并行效率；
理论逼近与预测保证。

12.3 DSNN#

DSNN 利用数据频率的自然层级：

高频对齐 ⟶ 中频对齐 ⟶ 低频预测 .

其核心不是单纯加深网络，而是让不同深度承担不同统计任务。

12.4 迁移学习#

迁移学习利用不同任务之间的共享低维表示：

来源任务 ⟶ 共享表示 ⟶ 目标任务适配 .

其关键风险是负迁移，因此必须允许目标任务保留特异结构。

十三、实施中的关键问题#

13.1 时间序列不能随机打乱验证#

时间序列模型调参时不能随意随机划分训练集和验证集，否则会发生未来信息泄露。

更合适的方法包括：

rolling window；
expanding window；
blocked cross-validation；
pseudo out-of-sample evaluation。

13.2 预测误差指标#

常用指标包括：

MSE = \frac{1}{H} h = 1 \sum H ∥ y_{T + h} - y_{T + h} ∥_{2}^{2},

MAE = \frac{1}{H} h = 1 \sum H ∥ y_{T + h} - y_{T + h} ∥_{1},

以及相对基准模型的误差比。

高维模型还应报告：

不同变量的误差分布；
不同预测期的误差；
参数量；
训练时间；
对秩、块大小和迁移强度的敏感性。

13.3 秩的选择#

Tucker、TT 和 CP 模型都需要选择秩。

可使用：

BIC 或其他信息准则；
验证集预测误差；
奇异值比率；
逐步增加秩；
稳定性分析。

秩过小会导致欠拟合，秩过大则会重新引入维数灾难。

13.4 可识别性#

张量分解通常存在旋转、缩放或排列不唯一性。

例如 Tucker 分解中，对任意可逆矩阵 $R_{s}$ ：

U_{s} \to U_{s} R_{s},

同时对核心张量进行相反变换，仍可能得到相同的 $X$ 。

因此，通常需要：

U_{s}^{'} U_{s} = I

等规范化条件。

解释时更稳健的对象往往是因子子空间：

span (U_{s}),

而不是某一个具体载荷向量。

13.5 稳定性#

对 VAR 或 RNN，长期预测需要动态稳定。

线性 VAR 的稳定条件通常是伴随矩阵谱半径小于 1。

线性 RNN 中，对：

h_{t} = W_{h} h_{t - 1} + W_{x} x_{t}

也通常要求：

ρ (W_{h}) < 1

以保证初值影响衰减。

在非线性网络中，可通过：

谱归一化；
权重约束；
梯度裁剪；
稳定激活；
正则化；

控制动态爆炸。

十四、总结#

高维时间序列的核心挑战是：

参数维度迅速增长， 但有效样本长度有限 .

解决方案不是简单使用更复杂的模型，而是寻找与问题相匹配的结构。

张量方法通过：

变量方向 + 滞后方向 + 数据维度

上的低秩结构实现降维。

ParaRNN 通过：

递归动态解耦 + 模块并行

改善循环网络的计算效率和解释性。

DSNN 通过：

顺序频率对齐 + 端到端预测

处理混频数据。

迁移学习通过：

共享表示 + 目标适配

缓解目标样本不足。

最重要的统一思想是：

灵活模型 + 结构约束 + 理论分析 = 可解释且可扩展的高维时间序列方法 .