反思 | 我们真有必要做影响力评估吗?
来源:悦享新知
2021-05-12
1032

 

 

公益组织是干什么的?解决社会问题的。

 

公益组织最看重什么?影响力。

 

过了最初发展阶段的公益组织,都少不了被问“机构/项目的影响力怎样?”

 

这是个看似很正确的问题,每个被问到的机构,好像必须回答。也有不少机构,投入资金,聘请专业咨询机构、评估机构来做“影响力评估”,最终拿出一份设计精美的报告,来证明机构/项目的影响力。

 

“影响力评估焦虑”之风,在公益领域,会时不时地刮一刮。

 

但是,我们是不是也值得问一问:影响力评估,真有必要做吗?

 

事实上,“影响力评估“并不总是积极的、有效的。无效的影响力评估不仅会造成人力、财力、物力资源的极大浪费,而且可能会得出具有误导性的结论。

 

\"\"

 

2018年,《斯坦福社会创新评论》刊登了一篇名为《影响力评估的十个误区及应对措施》的文章,讨论了“为什么我们应该谨慎对待影响力评估“这一重要主题。

 

也许“避免不必要的影响力评估”这个新的角度,能够帮助我们重新审视“我们需要做什么样的监测评估”,规避影响力评估过程中那些容易被忽视的风险。

 

我们对其中几个重要误区进行了编译,希望可以由此消解公益伙伴们的一些“影响力评估焦虑”,毕竟需不需要做影响力评估、要做什么样的评估,还是要取决于我们的发展需求。

 

\"\"

 


 

误区一:只有影响力评估才能解答我们关于项目有效性的疑问

 

在项目评估的过程中,我们常常会问出以下问题:

 

成功的受益人故事是什么样的?

通过改善运营模式,我们能否以更少的成本提供相同的服务?

我们的项目是否服务了目标人群?

服务对象对我们提供的服务满意吗?

服务对象的需求是持续存在吗?

我们正在解决的问题是最紧迫的问题吗?

 

这些问题都是好问题,但是对这些问题的回答,不一定要通过影响力评估。忽视数据分析而盲目进行影响力评估,有可能造成时间和资源的浪费。

 

我们应该怎么做:

 

监测数据不等于影响力评估。为了更好地回答这些问题,我们需要密切围绕这些问题本身来收集和分析数据,例如服务满意度反馈数据,服务成本统计数据等。

 


 

误区二:还处在探索期的项目,也可以进行影响力评估

 

梳理清楚项目的变革理论(*theory of change, 是常用的项目逻辑梳理工具),往往是监测评估系统中的第一步,也是不可或缺的一步。变革理论阐明了项目要做什么,要完成什么目标、促成什么变化。

 

如果缺少变革理论,或缺少对变革理论中关键假设的验证,项目人员可能并不清楚我们的项目服务为什么,以及如何一步步促成改变的,由此可能会导致项目执行上的变形或偏差。

 

我们应该怎么做:

 

在做影响力评估之前,我们要先就变革理论进行验证——我们做了这个,那个真的会发生吗?

 

例如:如果要开展一个向孕妇提供婴幼儿发育和健康培训的项目,首先要验证准妈妈们是否真的会参加培训。如果不确定准妈妈们是否有兴趣参与培训,那我们就要重新考虑培训的设计和招募,而不是贸然开始评估。

 

如果项目中的变革理论还未得到验证和完善,就不要着急做影响力评估。则是需要针对变革理论中的假设,进行数据收集和测试。

 

怎么断定项目设计是否“完善“呢?我们可以制定一些自检原则,例如“项目的需求持续增加”,或者“项目持续受到积极反馈”。

 

\"\"

 


 

误区三:即使项目执行不力,影响力评估仍然可以进行

 

回到前文提到的“孕妇产前培训“项目。即使我们可以确认准妈妈们需要这样的服务,而且如果一切顺利,培训能够按期开展。但在实际执行过程中,如果许多准妈妈中途退出培训该怎么办?

 

在进行影响力评估之前,我们需要获取基本的项目实施信息,至少要让利益相关者相信,项目确实可以按照设计的轨道正常运行起来。

 

我们应该怎么做:

 

坚持监测和收集项目数据,并让数据转化为知识,指导我们的实践。

 

如果项目存在执行不力的情况,评估人员可以向项目负责人提出改进建议,或者判定项目还不适合接受影响力评估。

 


 

误区四:即使资源极其有限,也应该进行评估

  

如果组织的可匹配资源(特别是评估预算)极为有限,那么可能无法进行高质量的影响力评估(无法邀请具有资质的第三方评估,无法取得有效数据等)。在这种情况下强行做影响力评估,无异于浪费钱。

 

我们应该怎么做:

 

如果项目规模还较小,我们没有必要纠结于“影响力评估”这一种方案,而是可以考虑其他方式,例如研究同行伙伴的实践经验,或者从文献和案例中寻找问题的答案。

 

如果影响力评估成本远高于预算,那么可以看看是什么因素推高了评估成本,是否有方式可以降低成本。比如目前调查数据的获取成本很高,那么应该考虑是否有其他的调查方法或数据取得方式作为替代。

 

\"\"

 


 

误区五:充满突发变化的项目也可以进行影响力评估

 

虽然影响力评估很重要,但是我们必须承认,有些服务和项目并不适合做影响力评估。救灾项目的影响力评估就非常困难:现场混乱、险象环生、不可预测因素过多,这些实际情况都会影响力评估的结果。

 

我们应该怎么做:

 

要对自己的项目是否适合“影响力评估”作出理性的判断。如果并不适合,那么可以放弃影响力评估。对于服务过程中数据的收集和分析,也可以让我们及时洞察,并由此服务于项目的优化和提升。

 


 

误区六:即使已经能充分预见评估结果,仍然应该进行评估

 

很多时候,我们已经可以从现有案例或研究中充分判断项目的有效性和影响力,在这种情况下,再次进行评估很可能不会得到新的结论。但是有时候,资助方或理事会坚持进行评估,只是希望通过评估来确认自己的投资是有所回报的。

 

我们应该怎么做:

 

在这种情况下,我们完全可以“据理力争”。如果有充分的的证据和案例可以说明项目的有效性,那么我们就用事实说话,为组织节省下不必要的评估成本。

 

\"\"

 


 

误区七:即使评估结果缺乏普适性,仍然应该进行评估

 

影响力评估的作用不仅仅是判断项目中的某些因素“是否起作用”,还应该有助于确定“为什么起作用”。

 

如果影响力评估不能帮我们更好地理解“项目为什么有效”,那么我们就要慎重考虑评估的必要性。

 

我们应该怎么做:

 

如果一个项目即将结项,或者几乎没有复制或规模化的潜力,那么当前最重要的目标不是进行影响力评估,而是在实际执行中确保项目运行良好。

 

\"\"

 


 

结语:

 

“我们不仅需要考虑何时进行影响力评估,还应该考虑何时不需要进行影响力评估。”

 

公益领域的发展,已经过了“靠嘴说好”的阶段,我们需要数据来实事求是地呈现项目的有效性,我们更需要从数据中学习,以持续提升服务的有效性、公益慈善资源的使用效能。

 

在资源有限的情况下,我们要做的是“收集需要的数据”,而不是把钱花在“漂亮却无用”报告上。

 

影响力评估是一项需要大量资金、资源、人力和物力投入的工作。对于公益伙伴来说,避开影响力评估误区,把有限资源“花在刀刃上”,才是真正专业、负责的做法。

 

本文编译自《Ten Reasons Not to Measure Impact—and What to Do Instead》

2018年首发于《斯坦福社会创新评论》英文版

作者:Mary Kay Gugerty & Dean Karlan

 

 

 

 

*免责声明:本站文章图文版权归原作者及原出处所有 ,文章内容为作者个人观点,并不代表本网站。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

发布评论
文明上网理性发言,请遵守评论服务协议
表情
全部评论
0条
最新 最热
加载更多