嘉兴网站建设的地方顺的网络做网站好不好

嘉兴网站建设的地方,顺的网络做网站好不好,维度网络做网站,东莞做网站公司首选原文#xff1a;towardsdatascience.com/how-to-deal-with-time-series-outliers-28b217c7f6c2 在本文中#xff0c;我们将探讨#xff1a; 不同类型的时间序列异常值 基于预测和估计的异常值检测方法 如何使用替换处理不想要的异常值 异常值的类型 异常值是显著偏离正常…原文towardsdatascience.com/how-to-deal-with-time-series-outliers-28b217c7f6c2在本文中我们将探讨不同类型的时间序列异常值基于预测和估计的异常值检测方法如何使用替换处理不想要的异常值异常值的类型异常值是显著偏离正常行为的观测值。时间序列可能会因为某些不寻常且非重复的事件而出现异常值。这些异常值会影响时间序列分析并误导从业者得出错误的结论或不良的预测。因此识别和处理异常值是确保可靠的时间序列建模的关键步骤。在时间序列中异常值通常分为两种类型加性异常值和创新性异常值。加性异常值加性异常值是相对于历史数据表现出异常高或低值的观测值。加性异常值的例子是产品因促销或相关病毒性内容而销售的激增。有时这些异常值是由于数据收集错误造成的。加性效应与异常值对基础系统非持久性影响有关。异常值仅限于相应的观测值在此之后时间序列恢复其正常模式。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3ac5c55763af79b966cf7af2ab92f120.png几个加性异常值的时间序列。图片由作者提供。加性异常值可以跨越连续的观测值。这些也被称为子序列异常值或异常区域。创新性异常值创新性异常值类似于加性异常值但具有持续性效应。异常值会对后续观测产生影响。一个常见的例子是由于某些病毒性内容网站访问量增加。网站可能会继续经历比平时更多的访问量直到这种效应减弱。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/538eefda9bc87bb405c3dea3b344dd19.png包含创新性异常值的时间序列。图片由作者提供。处理创新性异常值的一种方法是使用干预分析。例如使用一个随时间衰减效应的虚拟变量。与变化点的关系异常值与变化的概念相关。一些观测值称为变化点标志着时间序列中结构变化的开始。这些变化点与异常值相关但不同。异常值是相对于特定分布的异常观测值。变化点是具有分布变化的特征的结构性中断。异常值的含义你如何处理异常值取决于它们的性质和分析的目标。来自噪声的异常值如数据收集中的错误是不需要的数据。这种类型的异常值在分析之前应该被移除或替换。另一方面一些异常值本身很有趣并且很重要需要预测。因此移除它们可能会导致误导性的结论或过于乐观的预测。这种情况在各个领域都会发生例如欺诈检测或能源。考虑一个能源需求的时间序列其中在某个时期能源负荷激增。这种类型的异常值可能是由某些不寻常的事件例如极端寒冷的天气引起的。公用事业公司需要预测这种异常值因此移除它们不是一个好主意。对这些观测值进行建模是平衡能源供需和防止停电的关键。检测和处理异常值在时间序列数据中检测异常值有几种方法。其中许多属于以下两种类别之一基于预测或基于估计。基于预测的检测基于预测检测异常值涉及使用预测模型。目标是比较预测值与实际值。两者之间的大差异表明该观测值是异常值。让我们通过以下时间序列来了解这在实践中是如何工作的fromdatasetsforecast.m4importM4 dataset,*_M4.load(./data,Hourly)seriesdataset.query(funique_idH1).reset_index(dropTrue)在前面的代码中我们从 M4 数据集中获取了 id 为 H1 的时间序列。接下来我们基于 statsforecast 构建了一个季节性简单预测模型fromstatsforecastimportStatsForecastfromstatsforecast.modelsimportSeasonalNaive# seasonal naive modelmodel[SeasonalNaive(season_length24)]# creating a statsforecast instancesfStatsForecast(dfseries,modelsmodel,freqH)# fitting the forecasting modelsf.forecast(h1,level[99],fittedTrue)# getting insample predictionspredssf.forecast_fitted_values()在构建模型后我们使用 _forecast_fittedvalues方法为训练样本获取预测区间。然后我们将这些与实际值进行比较# outliers based on prediction intervalsoutlierspreds.loc[(preds[y]preds[SeasonalNaive-hi-99])|(preds[y]preds[SeasonalNaive-lo-99])]任何落在 99%预测区间之外的观测值都被视为异常值。这里是异常值的图表https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/a117b9f2b041c697b7ce5f52feda0f17.png季节性简单模型检测到的异常值。图片由作者提供您还可以使用预测的实际误差而不是区间。在这种情况下当误差异常大时会出现异常值。基于估计的检测基于估计的方法使用汇总统计来检测异常值。一个例子是 z 分数。其思路是通过减去平均值并除以标准差来标准化数据。然后具有大 z 分数值的点是异常值。这里有一个例子# values above/below 3 std deviationsthresh3rolling_seriesseries[y].rolling(window24,min_periods1,centerTrue)avgrolling_series.mean()stdrolling_series.std(ddof0)zscoreseries[y].sub(avg).div(std)mzscore.between(-thresh,thresh)注意平均数和标准差是使用滚动窗口计算的以考虑时间序列中的时间依赖性。另一种方法是使用时间序列分解方法并在残差上检测异常值。让我们先使用 STL 获取残差fromstatsmodels.tsa.seasonalimportSTL stlSTL(series[y].values,period24,robustTrue).fit()residpd.Series(stl.resid)注意我们向 STL 传递了参数robustTrue因此模型可以容忍更大的误差。然后您可以使用标准的箱线图规则来检测异常值。例如将低于第一四分位数 3 倍 IQR 的观测值或高于第三四分位数的观测值标记为异常。以下是操作步骤q1,q3resid.quantile([.25,.75])iqrq3-q1 is_outlier_r~resid.apply(lambdax:q1-(3*iqr)xq3(3*iqr))is_outlier_r_idxnp.where(is_outlier_r)[0]resid_dfresid.reset_index()resid_df[index]pd.date_range(end2021-12-01,periodsseries.shape[0],freqH)resid_df.columns[index,Residual]这些异常值在残差序列中也很明显https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/aa94b2aa0142c953d790087c08c0684a.png使用箱线图规则在残差中检测异常值。图片由作者提供。替换异常值检测后您可以通过用更合理的值替换它们来清理异常值。您首先移除异常值然后将问题转化为数据插补任务。如您在之前的文章《如何处理时间序列缺失数据》中学习到的处理时间序列插补有许多方法。这些包括前向或后向填充移动平均数线性插值关键要点时间序列异常值是显著偏离历史数据的观测值异常值在持续性和意义上可能表现出不同的特征存在几种异常值检测方法包括基于预测和基于估计的方法您可以使用数据插补技术替换不想要的异常值相关文章如何处理时间序列缺失数据参考文献[1] Tsay, Ruey S. “时间序列中的异常值、水平变化和方差变化。” 预测杂志 7.1 (1988): 1–20。[2] 处理异常值和缺失值[3] Blázquez-García, Ane, et al. “关于时间序列数据中异常值/异常检测的综述。” ACM 计算调查 (CSUR) 54.3 (2021): 1–33。[4] Nixtla 异常检测教程