Lead Sale

在线训练中，由于时间序列数据的噪声和非平稳性，单会发生剧烈波动，从而将噪声引入自适应系数。因此，我们使用主干网络梯度的指数移动平均 (EMA) 来平滑在线训练的噪声，并捕捉时间序列中的时间信息。

用联想记忆记住重复发生的事件
在时间序列中，旧的模式可能会重新出现，因此，利用我们过去的行为来改善学习成果至关重要。我们认为有必要学习重复事件，以进一步支持快速适应。

在 FSNet 中，我们使用元信息来表示我们过去如何适应特定模式；存储和检索适当的元信息可以有助于在将来重新出现时学习相应的模式。

具体来说，我们实现了一个联想记忆来存储元信息，以便适应学习过程中遇到的重复事件。由于每一步都与记忆交互成本高昂且易受噪声影响，我们建议仅在发生重大表征变化时才触发此交互。触发记忆交互时，适配器会通过注意力读取操作查询并检索过去最相似的转换。

实证结果
现在我们已经描述了 FSNet 的每个组件，让我们看看它在在线时间序列预测的合成数据和真实数据的一些实验中的表现如何。

我们很高兴地报告，FSNet 在合成数据集和真实数据集上都比典型基线取得了显著的改进。它能够处理各种类型的概念漂移，并实现快速且更好的收敛。


图 3. 训练期间累积损失的演变（越小越好）。

图 3 提供了一些细节，展示了所考虑方法的收敛行为。有趣的是，我们观察到，由于损失曲线的尖峰，大多数数据集中都可能出现概念漂移。此外，这种漂移出现在学习的早期阶段，主要出现在前 40% 的数 电报数据库 据中，而其余一半的数据则相当平稳。

这一结果表明，传统的批量训练通常过于乐观，仅在最后一个数据段上测试模型。我们观察到 FSNet 在大多数数据集上都取得了令人欣喜的结果，并且相比基线模型有显著的提升。

此外，我们发现 ECL 和 Traffic 数据集更具挑战性，因为它们包含缺失值，并且这些值在维度内和维度间可能存在显著差异。这一结果揭示了在线时间序列预测的挑战，处理上述挑战可以进一步提升其性能。