影响力评估（影响力评估的十大误区）
影响力评估（影响力评估的十大误区）
贾西津，清华大学公共管理学院副教授，清华大学公益慈善研讨院副院长：
影响力评估是“成果说话”和“数据说话”两个维度的交点。“成果说话”意味着可能会疏忽什么呢？可能会疏忽要资源网解决的问题，还没有履行好进程就忙于显示绩效。“数据说话”意味着可能会疏忽什么呢？可能会疏忽假设、理论、测试、思考，或者用更简略的办法收集信息。
这正是本文作者列出的4类10种不合适评估影响力的情境，即：无的放矢、未做就评、力不从心、无用之举。作者对每种情境提出的替代计划则是回到被疏忽的那一面。如果说“树立合适的数据系统”是作者想提出的实操原则，那其背后的问题更值得相干者关注：工具是好的，数据是好的，但不要忘却时时检查，回到目标。
好的影响力评估能对相干政策问题供给严谨的答案，增进相干范畴知识、政策和实践的发展。但仍有大批资金和时光被糟蹋在了设计不良、履行不力、构思不佳的影响力评估项目上。
影响力评估的泛滥不仅会引发劣质研讨和资金糟蹋，还会疏散和掠夺数据收集所须要的资源，而准确的数据收集方法可以赞助组织进步项目绩效。
为了树立一个合适的证据系统，我们要斟酌的不仅是何时去权衡影响力，更主要的是知道何时不要去权衡影响力。
01、影响力评估不是当务之急
既然影响力评估如此主要，那么我们为何还要提倡对其应用加以限制？影响力评估快速升温的背后是收集和剖析数据成本的急剧降低。以往非营利组织可能认为收集数据太过耗时、耗钱，而如今收集、储存和剖析数据的费用已经大幅下降。
权衡项目结果变得容易了，公共和社会部门也对问责有了更多的请求。盖茨基金会等赞助机构都请求被赞助的组织能够供给影响力的证据。社会影响力债券和按结果付费等做法通过将资金与被证实的结果绑定，来赞助有效的行为。
虽然影响力评估的潮流目前多半是积极的，但是，对彰显影响力的强行请求也造成了资源的糟蹋，使得项目监测向影响力评估让步，还助长了劣质甚至是误导性的影响力体现方法。例如，许多组织收集的数据都超越了它们手头的资源能够剖析的规模，导致时光和人力的糟蹋。糟糕的影响力评估还可能带来误导性的甚至全然毛病的成果，资源网从而引发未来决策的偏差。
这些糟蹋许多是源自对“影响力”这个词的滥用。影响力不仅仅是个风行语，也体现了某种因果关系。它告知我们，一个项目或组织如何转变了周遭的世界。也就是说，影响力评估必需包含对这一项目不存在的情境进行的评估，即评估者们所说的“反向事实”。在条件许可的情形下，创立一个反向事实的最直接方法就是随机对比实验。
在以下的篇幅中，我们将列出10个不合适评估影响力的情境，并在此基本上提出一个树立合体的监测与评估系统的框架，来赞助非营利组织找到问责、学习与改良等不同场所所需的数据。
02、影响力评估的10个误区
影响力评估的10个误区可以分为四个类型：无的放矢、未做就评、力不从心、无用之举。在下文中，我们会对这10个误区做详细讲解，同时为热衷于影响力评估的人们供给有关替代方法的建议。
类型1
无的放矢：未找到适合的手腕进行评估
1、手腕与目的不匹配。
在评估一个项目时，你可以思考以下这些问题：一个胜利或失败的项目标服务对象背后的故事是怎样的？我们是否能够通过改良运作模式，来下降雷同服务的成本？我们是否在服务目的人群？
这些通常都是重要的好处相干者愿望知道的问题。这些问题中的一部分可以通过数据来答复，而其余的则比拟难以处置。但症结在于，这些问题的答案并不是对影响力的权衡。
替代方法：想要答复这些问题，数据的收集和剖析就必需更加准确地聚焦所提出的问题。对目的人群满意度的懂得须要的是反馈数据。改良项目履行的成本效益须要的是每一个场合、产品或服务的具体成本数据。这些都是有待收集的主要的项目监测数据，但它们当中没有哪一个用得着影响力评估。
类型2
未做就评：评估的机会尚不成熟
2、 项目设计不到位。
应用变更理论是设计一项监测或评估的第一步。变更理论解释的是一个项目应当包括哪些内容、须要完成哪些工作，以及因此而预期发生哪些转变。没有相似的梳理，履行人员就无法对如何运作项目、为什么要这么做形成清楚的懂得，而这可能导致履行当中涌现伟大的偏差。如果在变更理论中的症结假设经过检验之前就开展大范围影响力评估，很可能发生误导和对如何解读成果的看法不一。
替代方法：对变更理论中的根本步骤进行验证是影响力评估开展前的症结。以一个通过向准妈妈流传儿童健康发育和养分信息，来改良产前护理结果的项目为例，如果在尚未懂得准妈妈们是否会出席培训、采用推举的做法之前就开端影响力评估，那就毫无意义。因此，首先要确保的就是项目得到根本的参与。
如果一个变更理论尚在搭建的进程中，那么要做的显然是环绕该项目搭建理论，依据项目履行的每个步骤来检验做出的相应假设，并收集数据进行测试，接着是收集项目履行和应用的监测数据，最后才是影响力评估。
3、 项目履行不给力。
如果发明一个履行不力的项目缺少影响力，这样的评估是很难说清晰的。这一发明是履行不力的成果呢，还是因为内乱以及其他外部因素的干扰？不管怎样，如果项目标履行情形不给力，那么此时进行影响力评估实为不妥。
替代方法资源网：采集优质的监测数据，并将其用于项目履行情形的改良。评估者可以与项目引导者合作来改良履行情形，也可以决议某一组织并不合适进行影响力评估。
4、为时已晚。
对影响力评估的盼望常常涌现在一个项目已经扩展范围且无持续扩大的筹划之时。然而，此时可能为时已晚。
替代方法：为将来的扩大制定筹划。这一项目会在其他处所扩展范围吗？如果会，那么可以斟酌影响力评估是否可行。此外，如果这一项目随着非营利组织的学习与改良已经产生了很大的变更，那么影响力评估可能正当其时。
类型3
力不从心：没有足够的才能完成评估
5、 没有足够的资源。
资源受限会从两个方面影响评估的质量：项目范围可能太小，或者资源太少以至于无法进行高质量的评估。
替代方法：如果你的范围有限，就不要试图勉强答复关于影响力的问题，而是去斟酌一下其他的选择。因为你面对的问题多半在别处已经有了答案。通过查阅文献可以懂得其他相干范畴的评估对此有何回应。如果资金有限，非营利组织须要重新斟酌成本的构成。数据的获取是评估的一项重要消费。而随机对比实验的随机部分实际上是没有成本的。
6、 无法肯定项目标间接影响。
许多项目都包括对项目变更理论至关主要的间接影响。例如：一个农业信息干涉项目在教授农民新科技的同时，等待他们把所学在邻里家族中分享。准确权衡这些间接影响对于懂得一个项目真正的影响力非常主要。
替代方法：对项目间接影响的评估可以是高质量评估的一个主要组成部分。在斟酌如何应对间接影响的时候，首先应该回想现有的文献和理论来预测这些要素的主要性。
7、项目环境有太多变数。
有些情境不合适开展影响力评估。例如，很多救灾行为随着形势的变更必需不断地进行调剂。此时，严厉遵守设计计划履行会增长成本，影响项目履行的质量。
替代方法：追踪项目履行情形，并收集其他可用于强化项目标管理数据。例如，可以斟酌是否存在有价值的操作性问题。一些操作性测试可以赞助改良履行情形，例如：通过短信提示服务对象是否会影响其短期行动？
8、 履行层级“高不可攀”。
试想一下货币或贸易政策。这类改造通常产生在国度层面，在全国规模内进行政策的随机对比实验显然是不可行的。同样，政策提倡活动常常瞄准国度或地域等较高层级，因此也不容易进行影响力评估。
替代方法：预期政策如何变更的清楚理论是症结所在。然后就是追踪履行情形，获取反馈信息，并收集管理数据，以显示该理论所暗含的变更是否如期产生。
类型4
无用之举：反复评估或没有评估价值
9、 反复评估。
在一些情形下，一个项目是否有效可以从另外一项或一系列研讨中得到解答。此时，再做一次影响力评估不会带来任何新的收获。
替代方法：谢绝不必要的影响力评估，找到好的理论根据，来证明现有的证据可以运用到手头的项目当中。简而言之，两个重要的条件对评估现有研讨的实用性非常主要：首先，所评估项目标理论必需要与你的项目相相似；其次，项目标背景特点应该相对清楚，并且与你手头项目标背景相相似。
10、没有运用价值。
一项影响力评估不仅是为了表明项目是否有效，还应当赞助揭示项目为何有效。如果不能解答“为什么”，评估仅对履行该项目标组织和具体的项目有用，没有可以推广的知识经验，那么该影响力评估就不该进行。这一准则实用于那些几乎没有扩展范围之可能的项目。
替代方法：如果一个项目缺少扩展或复制的潜力，那么最好的行为计划就是权衡履行情形，以确保项目标实行符合预期。如果须要关于“为何”的答案，那么一个清楚的项目理论和优质的履行数据能够赞助懂得这一项目为何有效。但在这种情况下，进行投资影响力评估则是不适当的。
本文对影响力评估所提出的质疑也允许以懂得为从另一个角度思考在准确的机会，对决策者进行更加有用的严谨评估的必要性。当非营利组织或项目尚未预备好进行影响力评估时，它们仍然须要优质的数据来协助决策或改良项目模式的履行。而当一个或数个随机评估显示某种模式确切有效且已做好扩展范围的预备时，一个基于完美的变更理论的监测系统就是症结一环，它可以在项目扩展范围时确保其履行的质量。而在过渡时代，我们愿望能将大家的注意力转移到有助于组织学习与改良的证据系统的树立上来。
本文刊于《斯坦福社会创新评论》中文版06期
作者：玛丽凯古格提，华盛顿大学丹尼尔 J. 埃文斯公共事务学院非营利管理学教授，也是南希贝尔埃文斯非营利和公益事业中心学术主任；
迪恩卡兰，西北大学凯洛格管理学院经济和金融学教授，也是该校巴菲特全球研讨学院全球贫困研讨试验室联席主任， 还是“扶贫创新行为”的开创人和影响力很主要（ImpactMatters）的结合开创人；
译者：廖爱晚。
上一篇：品质楼盘（改善人群不可错过的三个品质楼盘！）