ICLR2023 | TimesNet: 时序基础模型，预测、填补、分类等 ...

啊璇 · 发表于 2023-4-19 17:02:06

有和nbeats对比过么

落雪夜独舞 · 发表于 2023-4-19 17:02:16

转成spectrogram后也可以直接用图像的模型吧，论文这个跟好的地方主要在哪里呢

叫我靓仔 · 发表于 2023-4-19 17:02:57

对比啦，在M4数据集上超过了N-Beats～

我的宝贝们 · 发表于 2023-4-19 17:03:10

您好，转换为spectrogram确实是一个不错的思路，对于分类任务应该会很有效。不过直观上来讲，对于预测任务，转换为spectrogram意味着需要预测未来某段时间的频率分布，这比预测未来几个时间点的数值要难很多。
我觉得您提的这个思路直接深入探索，因为我目前还没有看到很多从频谱角度分析的时间序列模型。

校尉 · 发表于 2023-4-19 17:03:27

噢噢看到了，差距比较小[飙泪笑]，为什么长时预测没有用nbeats呀

朱爽 · 发表于 2023-4-19 17:04:08

感谢[调皮]

堂堂郑郑 · 发表于 2023-4-19 17:04:15

nbeats是为单变量预测设计的，长时预测都是多变量数据集

后来居士 · 发表于 2023-4-19 17:04:47

timesnet还有一个优势是任务通用，这个也是nbeats无法做到的～

山花浪漫 · 发表于 2023-4-19 17:05:10

楼主有没有觉得，长期预测常用的那九个数据，还有这个任务，其实有点问题。首先这9个数据集并没有什么明显的周期性。然后这些数据训练集和测试集的模式是明显不一样的。这其实导致模型在训练集学的东西，在测试集不一定管用，虽然误差指标看起来不错但是可视化预测结果其实很诡异，我感觉这也是导致transformers 在这些数据集上不如linear的原因。如果换用pem 04这种训练集和测试集模式类似且有明显周期性的数据，informer和pyraformer(这两个在前面说的9个数据集性能很差)反而是性能最好的，linear是最垃圾的

法戒 · 发表于 2023-4-19 17:05:47

您好，您说的这个问题非常关键，我是这么思考的：
目前的长期预测的9个数据集的特点在于，他们一个数据集就是一个超级长的序列，每个batch是从整体序列中切分出来的。因此不管是哪个batch，他们的temporal pattern都是类似的（因为是同一个场景下的观测），所以直接用linear层中固定的参数去模拟也可以做的不错。训练集和测试集的模式明显不一致，其实暗含的是一个temporal shift的问题，这是由于目前9个数据集的划分方式是直接按照时间去划分的。不过我觉得长期预测的9个数据集是设置是合理的，因为在实际应用时，我们只需要关注一个工厂、一个传感器的情况，并且模型部署之后需要应对未来很长时间的temporal shift。

除了上面9个数据集之外，TimesNet还在M4上做了实验，M4的特点是每一个sample都是独立的，也就意味着他们的temporal pattern相差很多，在M4上我们会发现单层linear模型效果非常差，这是因为他们试图使用一个固定的参数去模拟多样的temporal pattern。

总结来看，不同数据集中突出的关键问题使不一致的，所以我觉得后面大家在做预测模型的时候，也许可以除了9个长时预测数据集之外，也跑一下M4这样多样的数据集，可以更全面地验证自己的模型是否有效。