建网站要多少钱手机制作小程序

建网站要多少钱,手机制作小程序,好点的公司注册公司,蒙古文网站建设的通知本文约2300字#xff0c;建议阅读5分钟 本文介绍了 Glocal-IB 范式提升高缺失时序插补性能。现有的时间序列插补#xff08;TSI#xff09;模型通常优化逐点重建损失#xff0c;专注于恢复数值#xff08;局部信息#xff09;。然而在高缺失率下#xff0c;这些模型在训…本文约2300字建议阅读5分钟 本文介绍了 Glocal-IB 范式提升高缺失时序插补性能。现有的时间序列插补TSI模型通常优化逐点重建损失专注于恢复数值局部信息。然而在高缺失率下这些模型在训练阶段仍然表现良好但在推理阶段会产生较差的插补和扭曲的潜在表示分布。这揭示了一个关键的优化困境当前的目标缺乏全局指导导致模型过度拟合局部噪声无法捕获数据的全局信息。为了解决这个问题来自伊利诺伊芝加哥大学西北大学和新加坡国立的研究者联合提出了一种新的训练范式即全局信息瓶颈Glocal-IB。这种损失使掩码输入的潜在表示与它们最初观察到的对应项的潜在表示对齐。它帮助模型在抑制由缺失值引起的噪声的同时保留全局结构和局部细节从而在高缺失情况下产生更好的泛化能力。目前该工作已被 NeurIPS 2025 接收。【论文标题】Glocal Information Bottleneck for Time Series Imputation【论文地址】https://arxiv.org/abs/2510.04910【论文源码】https://github.com/Muyiiiii/NeurIPS-25-Glocal-IB研究背景时间序列数据在现实世界中广泛存在但由于设备故障、传输失败和人为收集错误等原因常常包含缺失值。这些缺失值在不同领域如医疗、交通和能源系统以不同的速率和模式出现严重影响了时间序列数据的完整性及其下游任务的性能。因此时间序列插补即从部分观测数据中恢复缺失值成为了一个具有广泛实际意义的关键问题。图1TSI中优化困境的示意图现有时序插补方法通常采用编码器-解码器架构通过随机掩码观测值来模拟缺失值进行训练。这些方法旨在从损坏的观测中学习全局数据分布使模型能够在训练期间重建掩码值并在推理时作为条件生成模型进行插补。然而在高缺失率下这些方法在训练中表现出良好的性能但在推理阶段的插补质量却显著下降。这揭示了当前时序插补方法的一个关键优化困境它们缺乏全局指导导致模型过度拟合局部噪声无法捕获数据全局信息。由此该文的研究者主要的贡献在于指出现有时序插补方法在高缺失率下虽然训练损失较低但无法学习到具有全局语义意义的潜在表示导致插补质量严重下降和潜在空间严重扭曲。设计了一种新的基于信息瓶颈原理的训练范式 Glocal-IB通过引入全局对齐损失来明确加强潜在空间的连贯性同时进行局部重建从而在去除无关噪声的同时改善全局和局部特征学习。这些贡献解决了现有时序插补方法在高缺失率下的优化困境通过全局和局部信息的联合优化显著提高了插补性能。Global-IB 训练范式该论文提出了一种新的训练范式——全局信息瓶颈Glocal-IB该方法基于信息瓶颈IB原则通过引入全局对齐损失来扩展标准信息瓶颈框架旨在平衡紧凑性和信息性同时保留全局和局部信息。本节进行详细描述。图2三种 TSI 训练架构对比01、问题定义给定原始多元时间序列其中 N 是变量数 T 是序列长度。通过一个二进制掩码 M∈{0,1}N×TM 来模拟缺失值。掩码输入定义为时序插补模型的输出是基于X的插补结果目标是估计X中的缺失值。02、信息瓶颈理论信息瓶颈理论提供了一个理论框架通过平衡紧凑性和信息性来识别输入中有信息量的部分。公式如下其中 I(z,x) 和 I(y,z) 分别表示 (z,x) 和 (y,z) 的互信息β 是拉格朗日乘子用于平衡两个互信息项。03、正规部分观测输入基于变分推断导出正则化项的上界正则化损失定义为04、最大化全局和局部信息局部互信息最大化通过推导得到局部互信息最大化的下界假设时间序列数据遵循高斯分布局部损失可以简化为均方误差MSE损失全局互信息最大化为了克服逐点重建损失的局限性引入了全局互信息最大化的补充公式基于对比学习的 InfoNCE 目标推导出一个替代的下界全局对齐损失定义为05、总体训练目标结合所有组件包括正则化损失、局部损失和全局对齐损失总体训练目标为其中 αβ1β2 是用于平衡互信息的超参数。通过上述方法Glocal-IB 旨在平衡噪声抑制和全局-局部信息保留从而在高缺失率下实现准确的时间序列插补。实验结果实验在九个公共时间序列数据集上进行包括 ETTh1、ETTh2、ETTm1、ETTm2、北京空气质量、PEMS-Traffic、电力、天气和Metr-LA。实验中遵循了点缺失模式随机掩蔽时间序列并遵循 PyPOTS 提供的标准训练/验证/测试分割。选择了九个具有代表性的时间序列方法作为基线模型包括基于 Transformer 的方法SAITS、Transformer、PatchTST、iTransformer、基于线性模型的方法DLinear、FreTS、TimeMixer、生成式方法GPVAE和基于 CNN 的方法TimesNet。01、总体比较在九个数据集上比较了不同方法的插补性能结果显示 Glocal-IB 在所有数据集上都取得了最低的 MAE 和 MSE特别是在 ETTh1、ETTh2、ETTm1 和 ETTm2 数据集上MSE 降低了高达 40%。即使在包含复杂时间模式和噪声的真实世界数据集上如北京空气质量、PEMS-Traffic、电力和Metr-LAGlocal-IB 也帮助 Transformer 在 MAE 和 MSE 上显著超越了 SAITS 和 TimesNet。02、潜在表示分布实验结果表明随着缺失率的增加现有的时序插补方法产生的潜在分布越来越扭曲。而 Glocal-IB 在缺失率从 10% 到 70% 的情况下保持了稳定和连贯的潜在结构即使在 90% 的缺失率下也能捕捉到原始数据分布的总体形状。03、通用性分析对不同训练范式的影响进行了研究结果表明 Glocal-IB 改进了现有插补模型的学习能力即使在极端缺失率90%下也能提高性能。此外时间序列基础模型提供的收益有限。04、缺失模式和效率分析实验分析了 Glocal-IB 在各种缺失模式下的有效性和效率。结果显示Glocal-IB 在块缺失模式下仍然表现出色优于其他基线模型。同时Glocal-IB 的计算效率较高引入的额外计算开销较小。05、消融研究和敏感性分析进行了消融研究和参数敏感性分析以检验 Glocal-IB 各组件的贡献和鲁棒性。结果表明正则化损失和全局对齐损失对模型性能有显著影响适当的权重设置对过滤噪声和保持有用信息至关重要。总结该论文研究了当前时间序列插补方法中的优化困境。为了解决这个问题研究者引入了一种新的训练范式——全局信息瓶颈Glocal-IB。Glocal-IB 通过添加基于可处理互信息近似的全局对齐损失来扩展标准的基于信息瓶颈的目标。这种损失鼓励掩码输入的潜在表示与它们完全观测到的对应项相匹配帮助模型在减少噪声影响的同时保留全局结构和局部细节。在九个数据集上进行的广泛实验表明Glocal-IB 在不同缺失率下始终提高插补准确性并导致更稳定的潜在表示分布。编辑于腾凯校对林亦霖关于我们数据派THU作为数据科学类公众号背靠清华大学大数据研究中心分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识努力建设数据人才聚集平台、打造中国大数据最强集团军。新浪微博数据派THU微信视频号数据派THU今日头条数据派THU