前 言 做预测，就需要评估预测的准确率，通过对预测准确率的评估，来达到改善和提升预测质量的目的，使预测更加准确合理。预测几乎是每个企业每个月都必须做，都需要更新的。但对预测准确率的评估，却未必如此。很多企业没有评估预测准确率，也没有建立相应的指标和指标考核。有些企业似乎有预测准确率，但实际上不并是预测准确率的评估，只是停留在对目标的达成与否考核上面，比如对上月预测一千万，实际达成了八百万，预测准确率就达到了百分之八十，不仅非常的笼统，方法也是错误，对正确的预测准确率的概念缺乏认识。 那么应该如何评估预测准确率，正确评估预测准确率都有哪些指标？
一、所有的预测准确率指标都是围绕预测误差E（Error）来展开的我们做预测，都会产生误差，这个误差的专业术语是E, E是error的首字母。所有的预测准确率指标都是围绕E来展开的。我们用A – Actual 来代表实际发生的值（观测值），F代表预测值。那么预测误差就是：Error = Actual – Forecast, 用 E(t)= A(t)- F (t) 表示, t是预测的每一期的期数。 毫无疑问，如果预测越准确，误差E值就会越小，所以我们首先通过对E值大小来直接评估预测的偏差，从而推断出预测的准确率。 （在这里，特别说明一下，为什么是 A – F，而不是 F – A？因为似乎 F – A更加直观，如果预测高了，误差结果就是正的，预测偏低了，误差结果就是负数，这样看起来更直观。但实际上A – F才是标准，尽量你觉得不够直观，因为它来源于统计惯例、统计计算的标准公式来定义的：标准统计模型公式为A = F + e（其中e是误差），公式的F移到A的那边就是 e = A – F。） 根据E值大小偏差进行准确率评估的指标有：ME，MAE ( MAD), MSE，RMSE等。ME: Mean Error, 平均误差，对所有误差加起来进行算术平均。
公式：
（1）
由于预测误差偏差会有正有负，如果直接相加会进行正负抵消，比如，第一期的预测是F(1)=50，实际值A(1)=100，预测误差是E(1) =100-50=50；第二期预测F(1)=200，实际值是A(2)=150，预测误差E(2) =150-200=-50，两期误差相加，E(1 )+E(2 )=0，预测误差为0，预测的误差每项都偏差了50，但是总和是0，相当于没有预测误差，这样的结果显然是有问题的。 MAE(MAD): Mean Absolute Error(或Deviation)，平均绝对误差。
公式：
（2）
对所有误差项进行绝对值，去除负数，避免正负抵消的情况，就不会产生前面的问题了，更能准确的看出预测的偏差量。 MSE, Mean Squared Error, 平均绝对平方误差，或者均方误差。
公式：
（3）
MSE是评估预测误差常用方法之一。为什么要对预测误差进行平方？一是通过平方，相当于做了绝对值，不会相互抵消；二是通过平方，放大误差结果来评估误差的偏离程度，因为小的预测误差平方值也不会很大，而大的预测误差平方后就会产生很大的值。这样可以更好地看出预测误差的偏离程度。 RMSE：Root Mean Square Error (RMSE)，是对MSE开平方根，均方根误差。
公式：
（4）
RMSE通常用来计算统计安全库存中的需求标准差，是安全库存的计算基础。
二、评估预测准确率实际上是测量预测的偏离程度，用百分比表示但是，如果我们仅从数量上来评估预测误差，是不够全面的，因为实际上+/-50的预测误差，我们不能直接判断是好还是坏，如果预测是50和实际是100或，预测是200实际是150，毫无疑问，这个偏差太大了。但是如果预测是1000，实际发生值是950，或者反过来，+/-50的误差范围就相当小了，所以我们需要有对预测偏差幅度的评估正确指标，通常通过百分比表示，这些指标有：PE，MPE，MAPE。 PE，Percentage Error, 百分误差
公式：
（5）
MPE：Mean Percentage Error，平均百分误差 公式：
（6） MAPE：Mean Absolute Percentage, Error，平均绝对百分误差
公式：
（7）
MAPE是最常被引用的预测准确率指标，MAPE=3.5% 意味着预测平均偏差了3.5%，这很容易被大家理解和记住。 百分比误差指标解决了数量上的片面性问题，它也解决了度量上的问题（不论是以数量、货币金额等为单位都可以评估）。同样道理，百分误差的分母应该是Actual，实际（观测）值，而不是预测值（如文章开头举的例子，尽管很多企业用预测值作为分母）。实际值是预测者的目标，我们衡量标准必须是我们接近“真相”的程度，因此它是我们衡量预测误差的基础。更重要的是：从商业角度来看，真正重要的是你将你的预测与历史数据进行对比，作为衡量改进预测质量的相对参考点。如果以预测作为分母，那将失去衡量的基准，因为你的预测可能天马行空，与实际相差甚远，且每一期的预测都会产生不同的差异，所以你也很难将一个预测误差与另一个预测误差进行比较。 正如前面提到的，我们通常用MAPE的偏差率作为预测准确率指标，它通常与MSE, MAE结合一起使用。它们是评估预测准确率的黄金搭档。比如，Minitab评估预测准确率，就用了这三个指标。
图一：Minitab的预测偏差率评估标准三个指标，MAPE, MAD，平均偏差平方和就是MSE
但是我们会发现，这几个公式都用了绝对值absolute，负项都变成正项了，他们都用于评估对预测的偏离幅度，然而有些时候，我们预测可能长期处于一种方向性的偏差，长期过高或者过低地预测了未来。而在对预测偏差值做绝对值后，就看不到这种偏离方向了。所以，MPE平均百分误差就是用于评估偏离方向的指标，MPE平均百分误差，对预测误差的百分比，是没有加绝对值的。如果预测长期过高了，那它的值会是负数，如果过低，那它的值会是正数。MPE是用于评估预测系统性偏差（或方向性偏差）的重要指标，通常人们叫它BIAS，这个BIAS，不是我们前面介绍的预测偏差率MAPE。 如果你的预测产生了系统性偏差，就表明你使用的这个预测方法不正确，需要考虑其他的预测方法和模型。比如，对于一个增长的时间序列（趋势性），我们使用了移动平均法，预测的结果会低于实际，MPE的结果就能说明问题。
图2：对某销售做4期移动平均预测，MPE= 19% , 表明整体预测偏低了19%。
预测误差应该是随机的，服从正态分布，MPE的结果总体趋向等于0。尽管预测误差难以避免，但是我们要努力避免方向性的预测偏差。
三、评估预测准确率，需要从多角度进行评估有同学经常会问到：我的MAPE是20%（举例说明，任意给的数字），到底好还是不好？只从技术而言，预测准确率跟数据质量相关，跟预测的方法也密切相关。光凭一个数字并不能直接给出答案。所以我们需要从其他的方面来进行评估。 我在前面的文章介绍过天真预测，它是通常是用来评估正式预测方法好坏的最低基准，这个评估的公式就是通过天真预测的偏差率与其他预测方法的偏差率进行比较，得到U的结果。如果：
U = 1: 天真预测法与被评价的预测方法一样好。
U < 1: 使用的正式的预测技术优于天真预测法，u统计量越小，使用的正式的预测技术相比天真预测法越好。
U > 1: 使用正式的预测方法是没有意义的，因为使用天真预测法会产生更好的结果，你需要考虑其他的预测方法。
我们可以以天真预测作为预测准确率最差的底线，你使用的预测方法准确率不应该低于它。同时前面提到的，预测的误差应该是随机的，所以也有方法对预测的误差进行评估，方法之一就是杜宾-沃森统计量，评估预测误差是否是随机的还是存在相关性，只有当DW≈ 2左右，表示残差序列不存在自相关，说明这个预测没有方向性的偏差。DW的结果有很多种情况需要判断，相对比较复杂，这里就不做详细介绍。所以，我们也需要通过检查预测误差的随机性来判断预测的准确性。
四、预测准确率，行业之间，企业之间，产品之间差异都很大，没有统一标准MAPE是20%，到底好还是不好？有没有一个标准答案？预测准确率在行业，企业和产品之间都差异很大，跟预测的长度，时间颗粒度也有很大关系。所以根本就不可能有一个恒定的标准。一个食品行业的预测准确率和一个电子产品的预测准确率差异很大。食品行业相对而言，市场规模稳定，季节规律明确的情况下，预测准确率肯定要比电子产品的准确率高，因为电子产品市场存在更高的不确定性。近期预测的准确率就应该比远期预测的准确率高；产品系列或产品族层面的预测准确率也应该高于SKU层面的预测准确率（大数原则）；月维度的预测准确率要高于周的，因为周之间的波动和调整的幅度通常都大，而月的层面上看需求变化，则可能是比较稳定的。A类产品比B/C类的产品准确率要高，因为A的需求量大需求相对连续稳定，相对更有规律，而C类产品可能是长尾产品，离散性、间歇性的需求，自然准确率很难高到哪里在去。
五、提升预测准确率的根本目的是为运营服务，而不是片面追求数字上的完美我们做预测，是为了指导供应链后端的运营，更好的合理安排生产计划，制定更准确的物料需求计划，制定更科学合理的库存策略，总体提升企业供应链和企业运营的绩效。但是单纯追求高预测准确性并不自动转化为运营效益，效益的大小取决于预测和需求计划流程的有效性。所以，重要的是企业如何规范预测制定的有效流程。比如，我们是否能将预测准确率与库存指标结合，与缺货概率结合，或者与客户服务水平结合，只有与这些指标相结合，预测准确率才是有效和有益的。片面追求高预测准确性，可能会导致额外的成本增加，特别是需要专业的系统软件时，除了系统和软件成本，还有培训成本，另外时效性成本也是一个要考虑的因素。 预测的最终目的是为企业运营决策提供依据，而不是预言结果。所以预测准确率的目标是我们使预测在大致范围内足够好，以帮助企业做出相应的决策，使企业更有效地制定相应的供应链计划和管理措施，而不是浪费资源在无益的事情上。 关于预测准确率，还有很多的内容，由于篇幅关系，这里不做过多的探讨，希望以后有机会可以介绍。如果想知道怎么应用或了解更多关于预测准确率的内容，可以来参加我的培训课程。
作者简介
