跳到主要内容
系列: 扩大发展影响
操作编辑

评估人员:最近世界银行自我评估的一些经验教训

编辑 ’注意:世界银行的独立评估小组(IEG)最近发布了对其活动的自我评估。除了代表世界银行评估专家的最新思想外,它还更广泛地反映了评估者用来评估和学习与之合作的国际机构的绩效的方法中的一些优势和差距。旧问题“ Quis custodet ipsos custodes?” –宽松地翻译为“谁评估评估者?” –仍然像以往一样重要。约翰尼斯·林(Johannes Linn)担任自我评估的外部同行评审员,并对所学到的经验提供了鸟瞰。

世界银行的IEG自我评估报告概述

2011年,世界银行的独立评估小组(IEG)开展并发布了一份 自我评估 活动。自我评估小组由一名内部经理领导,但由一位受人尊敬的外部评估专家担任主要作者,同时还包括一名外部同行评审员。

IEG自我评估遵循评估合作小组(ECG)制定的最佳专业实践。该小组将七个主要多边金融机构的评估办公室召集在一起,共同努力,以提高评估绩效和评估人员之间的合作。因此,可以推断出,IEG自我评估的方法和重点代表了国际金融组织评估界目前正在使用的一整套实践。

IEG报告首先指出:“ IEG是评估能力小组(ECG)成员中最大的评估部门,并受到国际评估界的高度重视。对IEG作为世行和IFC的独立评估职能的独立评估将其评估为高于大多数其他ECG成员,国际非政府组织和跨国公司的评估职能,并发现IEG遵循良好实践评估原则。”

自我评估报告通常会证实这一积极评估。 IEG在其任务授权的六个领域中的四个中,在六个可能的评级类别中给予自己第二高的评级(“好”)。其中包括(a)评价的专业质量,(b)关于世界银行管理层如何遵循IEG建议的报告,(c)与其他评价办公室的合作,以及(d)协助借款国改善自身的评价。评估能力。在评估世界银行的自我评估和风险管理实践方面,该报告对IEG对世行政策,战略的影响给出了第三高的评级(“令人满意”),而给出了第三低的评级(“中等”)。和操作。此外,自我评估得出的结论是,独立评估小组的整体表现是“良好”的,并且独立,有效和高效地运作。

该报告提出了一些改进建议,这些建议可能会有所帮助,但对其活动的影响有限。这些措施涵盖了进一步提高独立评估小组的独立性和评估做法的一致性的措施,这些措施在世界银行集团各分支机构(世界银行,国际金融公司(IFC)和多边投资担保机构(MIGA))中应用;改进评估的设计和与世行管理层的互动,以产生更大的影响;并根据取得的成果来监测IEG最近组织变革的影响。该报告还建议,应做更多工作来评估世界银行的分析工作,并利用比较证据进行评估。

评定

从国际金融机构评估者的现行惯例设定的自我评估参数来看,独立评估小组的自我评估是准确和有益的。根据我过去多年在银行中担任业务经理的经历,我的工作由IEG进行过评估,并且作为IEG评估(以及其他国际援助组织的评估)的使用者,我对援助有效性进行研究,我同意IEG是独立有效地履行其定义的任务。此外,自我评估可提供有用的定量证据(包括调查结果,预算分析等),以证实定性判断。

但是,自我评价受到方法上的局限性和重点差距的困扰,这在很大程度上代表了国际援助机构许多评价办公室普遍采用的做法。

IEG自我评估的方法

自我评估报告的核心是IEG遵循的评估过程,而关于IEG评估的实质却很少说。可能提出以下问题,但没有提出:评估是否以适当的强度涵盖了适当的问题,例如增长和贫困;环境,治理和性别影响;区域规模与独家国家或项目重点的对比;解决脆弱和冲突状态问题的效力;处理全球公共物品的效力;可持续性和扩大规模;因此,该报告未涉及IEG是否有效评估发展界正在解决的许多重要战略辩论和问题的问题。

与该限制有关的是,该报告主要根据以下方面评估了IEG的质量:(a)其方法和过程是否符合评估合作小组制定的某些标准; (b)利益相关者如何根据委托进行的评估对该评判的评价。这两种方法都是有用的,但是它们在对单个产品的质量进行专业评估时没有任何依据。这相当于IEG在不评估单个产品及其影响的情况下,根据其流程质量(例如评估和监督流程)并基于利益相关者调查评估世界银行的项目。

自我评估和评估实践中的差距

仔细阅读该报告可以发现IEG自我评估,世界银行普遍的评估实践以及国际金融组织评估其自身绩效的方式存在六个重要差距。前三个差距与所使用的评估方法的各个方面有关,后三个差距与对主要内部组织问题的自我评估缺乏重点:

1. 影响评估: 报告指出,独立评估小组每年进行2-3次影响评估,但回避了 辩论 在当前的评估文献和实践中,关于随机影响评估的“金标准”应在多大程度上发挥中心作用。考虑到这场辩论的重要性和观点的分歧,自我评估应该评估IEG目前对随机评估的使用非常有限的做法。

2. 放大评估: 该报告未解决以下问题:独立外部评价的现行做法不仅在多大程度上评估了单个项目的成果和可持续性,而且还评估了世行是否系统地利用其在特定项目中的经验来帮助扩大规模。通过支持后续行动中的扩展或复制,或通过有效地移交给政府或其他合作伙伴,来提高其影响力。实际上,目前IEG并未明确和系统地考虑 扩大 在其项目和计划评估中。例如,在IEG最近对世界银行资助的评估中 市政发展项目 IEG发现,多年来,世行已在许多国家支持多种MDP,但评估并未解决一个明显的问题,即世行是否系统地计划了项目顺序,还是基于其先前项目在后续业务中的经验。尽管像IEG这样的大多数其他评估机构都没有考虑扩大规模,但有些评估机构(尤其是国际农业发展基金和联合国开发计划署的评估机构)近年来已经开始这样做。

3. 借鉴其他机构的经验和基准: 自我评价报告在许多方面与其他多边机构的表现相比,在衡量IEG表现方面做得很好。报告的正文中指出:“ IEG计划制定方法文件指南,以确保更高的质量,特别是在借鉴其他来源的比较信息并以其他机构为基准的情况下。”这是一个令人欢迎的意图,但在本报告的其余部分没有充分动机,并且未在执行摘要中得到反映。现实情况是,迄今为止,独立评估小组与大多数多边评估局一样,在对世界银行业绩进行评估时,还没有系统地借鉴其他援助机构的评估和相关经验。这严重限制了评估的学习影响。

4. 银行内部政策,管理流程和激励措施: IEG评估传统上并不关注世界银行的内部政策,管理和激励措施如何影响世界银行在各国的参与质量。因此,评价无法提供关于银行内部运作方式是否以及如何对结果做出贡献的任何见解。最近的两个例外是值得注意的例外。首先,IEG 评价 世行与其他捐助者协调一致并与国家优先事项保持一致的方法,评估了员工支持协调和一致的动机。评估得出的结论是,激励措施不足,管理层对此有异议。其次,目前正在评估世界银行的内部矩阵管理安排。自我评价指出,世行管理层以不属于独立评价小组的职责为由,试图终止矩阵评价。这是一个不幸的论据,因为对世行绩效的制度原因进行评估是对世行支持的计划进行任何有意义的评估的重要组成部分。在为矩阵评估的特定实例提供充分依据的同时,自我评估报告避开了更笼统的声明,以支持IEG参与世行内部政策,管理流程和激励措施等问题。值得注意的是,农发基金的独立评估办公室在这方面似乎更具侵略性:它目前正在对农发基金的内部效率和以前的评估进行全面评估(例如, 评价 创新和扩大规模)并没有回避评估内部机构规模。

5. 世界银行治理: IEG自我评估在解释其对世界银行治理结构和流程的评估(包括其对成员的发言权和投票方式,其董事会的职能,其高管的selection选方法)的授权解释方面的限制更为严格。管理等)。它认为这些主题超出了IEG的授权范围。这是不幸的,因为世界银行治理的发展方式将极大地影响其作为国际金融机构的长期合法性,有效性和生存能力。由于IEG向世行董事会报告,而且许多治理问题都涉及董事会的组成,作用和职能问题,因此存在一个有效的问题,即IEG如何有效地进行这种评估。但是,值得注意的是,向IMF董事会进行类似报告的IMF独立评估办公室发布了一份完整的 评价 是国际货币基金组织2008年治理的一部分,有效地解决了许多正确的问题。

6. 世界银行,国际金融公司和多边投资担保机构之间的协同增效作用: 自我评价报告指出,独立评估小组最近进行了内部改组,目的是确保对世界银行集团三个成员分支机构进行更有效和一致的评价。这是值得欢迎的,但报告并未评估过去的评估如何解决世界银行,国际金融公司和多边投资担保机构是否有效利用了这三个组织之间的潜在协同作用的问题。最近的  评价 世界银行集团对2008/9年全球经济危机的回应中,对每个机构的绩效进行了平行评估,但没有说明它们是否在最大程度地发挥协同作用方面有效合作。现实情况是,这三个组织深深根深蒂固的机构文化,并且通常走自己的路,而不是密切协调实地的活动。未来的评估应明确考虑三者是否有效合作。尽管世界银行在组织上将其私营部门分开并保证业务运作的方式是独特的,但其他援助组织也面临着机构内部不同部门之间缺乏合作,协调和协同作用的问题。因此,同样的评论也适用于他们的评估方法。

结论

自我评估是绩效评估的宝贵工具,并祝贺独立评估小组对自己的活动进行和发布了这种评估。至于所有自我评估,应该将其视为独立外部评估的输入,这一决定目前显然已被世行董事会推迟。

IEG的自我评估具有很多优势,并且可以对IEG的工作进行全面的积极评估。但是,它确实反映了分析的一些重要局限性以及方法和覆盖范围上的某些差距,独立外部审核应明确考虑这些局限性,IEG管理层应解决这些局限性。由于这些问题中的许多问题也很可能适用于其他评价机构的大多数其他评价方法,因此,这些经验教训的意义不仅仅限于独立评估小组和世界银行。

关键课程包括:

  • 对评估的评估不仅应着眼于过程,而且还应着重于机构正在努力解决的实质性问题。
  • 对评估有效性的评估应包括对评估产品质量的专业评估。
  • 评估评估应评估:
    o如何有效地使用影响评估;
    o如何处理成功的干预措施;
    o如何利用其他可比机构的经验;
    o是否以及如何有效评估机构的内部政策,管理实践和激励措施;
    o是否以及如何评估机构的治理;和
    o是否以及如何评估组织内部各部门之间的内部协调,合作与协同作用。

评价在国际援助组织的问责制和学习中起着至关重要的作用。因此,评估解决正确的问题并使用适当的技术至关重要。如果上述经验教训反映在援助机构的评价做法中,这将是评价质量,相关性和可能产生的影响方面迈出的重要一步。

更多

获取布鲁金斯的每日更新