导读:
“如何评估非营利组织的社会影响?”这是过去几十年里,非营利组织的领导者一直在努力回答的一个持久而紧迫的问题。但是,关于支持非营利组织的领导者有效参与评估、增强社会影响力并促进社会公平的相关研究较为欠缺。随着评估机制对社会变革的结果的愈发关注,以及对证据需求的不断增长,对这一问题的研究变得愈发重要和紧迫。
在本文中,作者梳理了现有关于非营利组织研究中关于社会影响评估的三个核心话题,包含如何评估非营利组织的绩效、非营利组织如何回应问责,以及面临的评估制度环境。并回答了非营利组织领导者在解决评估问题时面临的四个实际困境——评估什么、出于什么目的、使用什么标准,以及用什么证据和方法。
今日分享本文,希望为关注非营利组织评估的你带来一些借鉴和启发。
▲说明:本文转载自“小E谈评估”微信公众号,原标题“评估基础 | 非营利组织与社会影响评估:理论与实践如何结合?”。来源:期刊Nonprofit and Voluntary Sector Quarterly 2022年10月27日版,略有编辑。
过去的几十年里,非营利组织的领导者一直在努力回答一个持久而紧迫的问题——“如何评估非营利组织的社会影响?”关于这一问题,既有的大部分研究主要关注“为什么”,即“为什么非营利组织的社会影响难以被评估”,然而,却很少有研究关注“怎么办”,即如何支持非营利组织的领导者有效地参与评估,以增强其社会影响力和促进社会公平。
这一问题当前越发重要和紧迫,因为我们看到非营利部门当前正在经历一个“评估制度化”的过程,然而其制度化的对象是一种狭隘的评估方法,这种方法侧重于项目的可量化结果,偏爱成本效益分析和随机对照试验(RCT)等方法来评估影响,并且在评估社会变革时往往优先考虑结果而不是过程。此外,随着对证据的需求不断增长,某些子领域正在开展新的标准化工作,这引发了对非营利组织响应能力的额外担忧。
在本文中,几位作者提出了一项研究计划,旨在激励研究结果不仅有可能支持非营利组织领导者、员工和社区富有成效地参与评估,而且还朝着中观层面的非营利性评估理论迈进,该理论更好地与非营利组织寻求改变社区的目标和行动保持一致。
本文的框架如下:首先概述了关于非营利领域社会影响评估的几个核心话题,即组织绩效、组织问责制和制度环境。然后,围绕非营利行业领导者在解决评估问题时面临的四个实际困境(评估什么?出于什么目的?使用什么标准?用什么证据和方法?)展开讨论。
01 非营利研究关于社会影响评估的三个核心话题
1. 如何评估非营利组织的绩效?
随着非营利组织数量的增加,学者们开始关注非营利组织作为一种独特的组织形式,独立于企业和政府,在衡量组织有效性方面面临独特的挑战。早期关于有效性的研究在很大程度上受到组织社会学、工业心理学和行政科学学者的影响。
早期的研究认为,判断组织有效性的三种基本指标——结果、过程和结构。但Scott很早就指出了结果指标的挑战:“结果存在严重的解释问题”,例如对因果关系的了解不足,观察结果所需的时间以及组织无法控制的环境特征。后来的学者进一步探讨了非营利组织与营利性组织对有效性的挑战是否不同,指出了两个关键差异。首先,营利性行为者倾向于关注短期和更容易评估的财务绩效衡量标准,而非营利组织通常将财务绩效视为投入而不是结果。第二个关键区别是,非营利组织在评估其有效性时面临多个利益相关方(如资助者、受益人、社区和政府),每个相关方通常使用不同的标准来看待有效性。
后来一些综述性文章讨论了衡量非营利组织绩效的三个主要标准:(a)目标达成;(b)资源获取;(c)不同标准和价值观产生的多维方法。这篇评论进一步指出,实际的评估过程经常引入竞争的价值观和隐含的标准,或者其他学者后来被定义为评估的政治方面和非营利组织有效性的社会建构。
关于组织有效性的研究也受到商业学术的影响,特别是来自会计和战略领域,尤其是平衡计分卡,因其从四个维度衡量绩效的多维方法而受到非营利组织的关注:财务/捐助者、客户/利益相关者、内部流程/质量和学习/改进过程。非营利性学者指出,这种方法有助于提供非财务绩效衡量标准,并将内部流程与目标联系起来,但考虑到因果关系的非线性性质,如何评估目标实现情况,以及如何解决多个利益相关方使用的竞争绩效标准。
最后,鉴于非营利工作的复杂性和多样性,该文献中的一个相关挑战在于:建立可以跨组织比较的有效性衡量标准。缺乏可靠和可比的措施、哪些标准和措施是重要的共识,可能是非营利部门没有强大的基础设施来提供类似于私营部门评级机构和行业分析师的组织绩效系统数据的原因之一。甚至非营利组织管理者自己似乎对组织效率持有非常不同的看法,一些人关注结果问责,而另一些人则关注组织效率的衡量标准。
2. 非营利组织如何回应问责?
从1990年代末学者们开始关注非营利组织的问责,实践中的两种趋势进一步提高了学者对问责研究的兴趣。首先是公共部门与非营利组织购买服务的增长;第二个趋势是一系列引人注目的慈善丑闻,这些丑闻导致公众对非营利组织的信心受到侵蚀。
关于问责的学术研究集中在三个关键问题上:一个组织对什么负责?一个组织主要对谁负责?问责在实践中如何运作?
学者们开始区分资助者(如基金会、私人投资者、政府机构和个人捐助者)的“向上”问责要求,对客户、受益人和社区的“向下”问责,以及对自己的员工和董事会的“内部”问责。一些研究进一步试图解决非营利组织问责的显着特征,因为非营利组织没有类似于股东的所有者并且面临公众监督以换取免税资格。
毫不奇怪,研究人员发现,最有力的问责要求来自资助者,而不是受益人或客户,因为资助者可能威胁要扣留资金,而客户通常没有这样的退出选择或制裁机制。委托代理的观点表明,向上问责的机制比向下的问责机制发展得更好,因为非营利组织本质上是其资助者委托人的代理人。其他研究表明,这种委托代理解释过于局限,并探讨了在网络中或相互依存条件下一起工作的组织之间的“相互”和“多边”问责机制。
一系列实证研究着眼于非营利组织与其资助者之间的问责关系,不仅显示了结果核算的谈判和政治性质,以及对问责的要求如何将产生影响的风险从资助者转移到非营利组织。这有时会导致非营利组织夸大其结果或损害关系目标,例如社区建设。这项工作揭示了问责要求是如何被行为者之间的权力关系所塑造的。其他研究揭示了这种关系的后果,记录了非营利组织如何试图将外部报告与内部学习分开,从而创造了一种“问责短视”,专注于短期结果,而牺牲了长期学习。
全球自律和认证制度的兴起凸显了非营利组织面临的压力,要求他们向外部利益相关者公开透明,同时也试图避免政府采取监管行动。最近关于国际非政府组织的研究突出了这些相互竞争的问责要求的不可调和性。随着非政府组织扩大规模并建立其影响全球政策议程的能力,它们可能会失去与当地行为者保持联系和负责的能力。相反,那些专注于基层关系问责的人很难建立全球能力和影响力。更令人不安的是,在全球政治中成功建立实质性权威的非营利组织可能会陷入“权威陷阱”,从而软化其激进主义,专注于渐进式而不是激进的变革。这些研究强调了问责的关系性而非绝对性,表明那些使非营利组织拥有全球影响力的传统合法性和有效性的(社区)基础现在正在被侵蚀,以至于变得无关紧要的地步。
这个简短的讨论揭示了问责问题的两种取向:实证主义或理性主义方法和社会建构主义方法。理性主义的观点认为,在专家评估的指导下,评估工作可用于找到客观的绩效衡量标准,为学习奠定基础,并使组织承担责任。然而,社会建构主义的观点表明,衡量标准很少是客观的,因为它们是利益相关者之间(不平等)权力关系的结果。
3. 非营利组织面临的评估制度环境
在过去二十年中,制度环境文献越来越突出,它们讨论了非营利部门日益增长的同构性,例如评估工具和企业管理实践的广泛采用。这项工作的概念基础可以在制度理论中找到,特别是DiMaggio和Powell(1983)关于制度同构的开创性文章。
尽管其长期植根于组织理论,但直到2000年初,对制度环境的研究才成为非营利学术的主流。由此产生的研究表明,非营利组织衡量社会影响的目的不一定是为了评估自己的绩效,而是为了在其组织环境中建立社会合法性——通常采用短期且易于量化的指标,而不是更模糊或复杂的社会变革衡量标准。因此,在资源依赖的情况下,评估测量系统不仅作为理性的评估工具,而且作为社会和文化合法化的手段。
研究人员进一步认为,鉴于整个社会商业实践的兴起,这种测量的使用是以市场化和管理主义为特征的非营利部门更深层次结构转型的一部分。例如,学者们已经表明,非营利组织越来越多地转向雇用职业经理人,采用正式的管理实践,如战略规划、独立财务审计以及定量评估和绩效衡量。
许多学者试图通过研究采用评估实践的变化来更好地了解非营利组织对这些制度压力的反应。这项研究的一个核心发现是,社会影响测量和评估的工具和工具的日益普及——如变革理论、逻辑框架和框架以及评估的实验方法——可能是外部产生的合法性压力的结果,与改进实践的努力关系不大。然而,非营利研究也表明,是否采用和如何使用评估工具取决于是否有足够的组织能力,并且管理者可能在如何以及为什么采用评估实践方面有一定的自主权。
总之,非营利领域关于社会影响评估的讨论主要关注三个核心话题,即组织绩效、问责和应对外部制度压力方面的挑战,讨论这些维度如何影响非营利组织参与社会影响评估的方式。每个话题其实都涉及到都如何定义和评估社会影响。
02 评估什么?
评估的对象可以包括不同的分析单位,通常最多关注和讨论的是项目评估。其实,在评估非营利组织的社会影响时需要考虑的不仅仅是项目,还包括组织目标、组织使命和战略、财务,以及对更大联盟和系统目标的贡献等。另外,还有一些研究特别关注非营利组织与受益人的个人、家庭和社区之间的关系。一些学者呼吁,应关注受益人参与非营利组织的多种方式,而不仅仅是作为项目的接受者,以及这种参与如何影响参与者的体验和社会影响。
当前已经形成基本的共识,即项目并不总是最合适的评估单位,因为它限制了我们对非营利组织如何为社会影响做出贡献的理解。因此,非营利组织领导者在考虑评估什么时面临的一个核心困境是:如何定义分析单位。
尽管评估学术领域也主要关注项目作为主要分析单位,但它为非营利性评估提供了一些其他可供参考的方法。
首先,评估人员对项目有了更细致和更复杂的理解。1970年代后期,评估者试图打开项目的“黑匣子”——以更好地了解其内部结构、外部约束以及项目与社会变革之间的关系。这包括关注项目的实施方式以及是否坚持原始设计的项目模型,有时也称为过程评估。与此相关的是,基于理论的评估试图确定 “变革理论”或项目干预背后的因果逻辑,这是当今许多非营利组织所熟悉的。在这里,学者们借鉴了现实主义哲学,不仅要考虑某事是否有效, 而且需要讨论“什么对谁有效,在什么情况下,在什么方面以及如何有效?
其次,评估理论家认识到,期望的结果在许多情况下是涌现的,是与参与者和社区合作确定的,而不是事先确定的。例如,社区振兴工作涉及与居民合作以确定核心问题。当项目需要与参与者和社区合作来定义结果时,评估对项目设计模型的坚持是错误的。
第三,一些新的评估方法开始意识到,项目结果不仅取决于项目实施的技术方面,还取决于组织环境中关系的质量,包括工作人员之间、工作人员与社区之间以及社区成员之间的关系。
以组织层面为中心的未来研究,作者提供了两个主要方向。首先,要发展一种中观层面的非营利评估理论,需要将重点从项目转移到组织战略上。非营利组织不仅仅是执行项目,而是对项目如何组合、实施和响应其环境有总体理论和假设,这些是战略的核心问题。事实上,战略对于许多非营利组织领导者来说都是一个熟悉的术语,无论他们是从事宣传、社会运动还是人类服务。最近的研究提出了几种不同类型的社会变革战略——细分(niche)、整合(integrated)、涌现(emergent)和生态系统(ecosystem)——这取决于组织对因果关系的了解及其对预期结果的控制程度。这项工作表明,适当的分析单位,以及更广泛的组织评估方法,取决于组织的战略,从而为管理人员在决定“评估什么”方面提供了相当大的自主权。而且,不同的战略选择塑造了管理者的评估能力和与其他参与者的合作能力。
其次,根据非营利组织与社区的关系而改变评估的分析单元。例如,我们知道社区和参与者是实现社会变革的核心参与者,在组织内外采取措施实现他们所期望的结果。我们的评估方法如何支持公平,例如,通过将分析单位扩展到组织之外,以考虑社区如何共同定义和共同产生预期结果。这包括对非营利组织如何促进或阻碍社区期望的结果进行批判性检查。与此相关的是,在组织层面定义分析单位需要记录组织(而不仅仅是其项目)以何种方式塑造参与者的体验。这个问题更加突出,因为非营利组织往往包括不同的组织结构,从高度官僚主义到集体主义。这些不同的结构允许参与者进行不同形式的参与,这反过来又会影响组织的规范和价值观,从而影响参与者的体验,从而影响社会影响。 这些经验可以包括直接参与理事会或咨询小组,但它也可以包括组织文化的不太具体的经验,例如服务互动和与非营利员工的持续关系。我们需要研究组织、其治理、文化等如何影响参与者的体验,这些都与非营利组织最终致力于追求的真正意义上的社会影响和社会公平密切相关。
03 评估的目的是什么?
如何使用评估是非营利组织研究中的一个核心问题,因为评估可以为有效决策提供信息和知识。而这就需要评估提供的数据和信息与要解决的问题相匹配。非营利组织有各种不同的利益相关方,他们需要不同类型的评估数据。因此,评估需要协调和处理这种多元的数据和信息需求。这就成为评估实践中一个重要的挑战,因为往往资助方的问责和监督的需求占据主导,而这种需求的制度化就会进一步导致其他利益相关方的需求被忽视。尤其是服务于组织内部学习与改进的评估数据。
在评估研究领域,评估的使用也是一个核心的话题。在意识到评估结果很少被有效使用之后,评估学者们开始深入研究,并提出一系列相关理论,具体包括三个方面:
第一,对于评估的使用进行分类,区别不同类型的评估使用者和使用类型。评估学者需要确定评估的潜在用户及其具体的信息需求,确定评估如何影响更广泛的受众。“评估的影响”,这一概念有助于将评估的作用扩展,而不仅仅局限于作为“决策工具”。例如,评估可以用来帮助不同的利益相关方对问题进行“概念化”,或改变既有的思维方式。此外,评估还具有增强某些组织、项目或实践活动的合法性的作用等。
第二,分析评估使用的时间范围和框架。随着时间的推移,可能会出现不用类型的评估应用,我们需要在更大的时间跨度内来审视评估的影响和后果。
第三,如何推动评估的使用。推动评估的应用是一个重要的实践议题。需要考虑如何以及何时将评估的证据纳入组织实践和干预设计之中。
关于评估的使用,非营利研究和评估研究未来可以关注的方向有如下三个:
首先,应该更好的理解“使用”在不同类型的非营利组织中的含义。包括关注非营利组织、倡导组织或社区组织如何以及以何种方式讨论评估数据及其使用?这些讨论如何影响员工、经理、领导者和受益人的实际使用?
其次,需要一种更系统的方法来研究评估使用的意外后果。人们参与评估的过程可以改变对项目的认知和理解,影响利益相关方对于价值的理解,并改变对权力的动态的看法。研究者可以关注如下问题:评估过程对受益人有何影响?对员工有什么影响?评估数据的归属权和使用权归谁?谁可以用评估数据讲述故事?
最后,还需要进一步探讨问责与组织学习之间的冲突。现有的学术研究往往忽略了这样一个事实:组织的评估能力与使用评估结果的能力是不同的。创建一种重视有意义证据的组织文化对于数据使用和更好地理解和避免负面的意外后果至关重要。超越狭隘的工具性使用的概念,支持反思、学习、和包容不同观点,这是评估实践可以采取的一种思维方式。
04 使用什么标准进行评估?
确定判断绩效或价值的标准是评估的核心任务之一。非营利组织领导者面临的一个核心困境是如何识别利益相关方的不同价值观,并确定其优先级。当前目标达成和结果导向的评估标准具有非常多的局限性。例如,过于关注短期产出,忽略长期成果;忽略合作过程中慢慢涌现的成果;不适用于一些表达和倡导型组织的成果评价;以及可能忽略组织内或与社区互动过程中微妙的社会过程(这些过程可能加强或减轻社会不平等)。
价值观根植于制定和管理项目的组织和政治体系中。鉴于价值观隐含或明确地告知了用于判断项目的标准,评估学者们提出应该清晰化和明确这些价值观及其含义,并提出可供分析的方法。非营利组织研究和评估研究相结合,未来以应用为导向的研究要关注利益相关者的价值观,社会变革努力中隐含的价值观,以及组织本身的价值观。我们看到了以下几条可能的研究路径,可以指导“非营利组织估值”的研究:
第一,需要更深地从理论上理解什么是社会影响,而不仅仅是一种工具性理解。也就是说,非营利组织的价值不仅仅是提供一定数量的经济价值,而是看到其在与社区合作的过程中创造的各种非预期结果。以及,非营利组织在自身组织发展过程中也需要探索自身遵循的价值观,以及这些价值观如何塑造战略和产生社会影响。另外,需要研究非营利组织表达性价值和工具性价值的区别。
第二, 了解利益相关者的价值及其排序。由于不同利益相关者的价值优先次序可能有所不同,因此要求考察利益相关者的价值观如何,如何对这些标准进行排序,以及如何综合证据以得出最终评估结果。非营利组织领导者可以战略性地利用社区的优先事项与资助者进行协商。
第三, 学者可以研究行业性的评估标准的制定及估值过程。行业性的评估标准包括一些行业性的自律准则和标准、行业协会或社团的指标、以及在ESG评价中的一些可审计标准等。需要深入研究这些标准是如何被视为有效标准的?这些标准是否可以被用来扩大可以作为有效证据的范围?这些标准是如何产生、如何确定的?它们代表了怎样的价值观,以及相互冲突的价值观点是如何体现和被处理的?
05 用哪些证据和方法进行评估?
第四个关键的问题,是用什么证据来确定非营利组织“有所作为”?用什么方法收集和分析这些证据是合适的?这些问题的核心在于如何通过评估建立可信证据。
当前制度化的、占据主导地位评估证据是可衡量的结果证据,而随机对照实验方法也被认为是最科学的方法。随着证据注册库(evidence registries, 如Cochrane Library, Campbell Collaborative, 3ie等)的兴起,这些方法和证据的制度化程度日益加强。
然而这种制度化的观点越来越受到挑战,越来越多的从业者和研究者试图确定更适合不同组织实践情况的方法。但是,需要承认的是,非营利领导者缺乏对项目成果进行“严格”(严格并不等于一定使用随机对照试验的方法)评估的能力,也缺乏支持评估工作的“评估文化”。简而言之,管理者需要支持才能在他们的目标(goals)和需求 (needs) 之间找到“契合点”。
评估领域的文献对于什么是“可靠的证据”有更加多元的观点,而且对试验和准实验方法等强调因果归因的方法有很多的反思和批判,因为这会过度简化因果关系,未能充分考虑政治、社会和制度背景等。后来出现的解释主义、社会建构主义等理论传统更加注重使用定性的评价方法,因为这些方法将人类的行动视为内在的意义推动,必须从行为者的视角来理解,并在行动的整体背景下进行解释。
最近,评估领域越来越关注评估“贡献”(Contribution) 而不是“归因”(attribution),一些具体的方法包括贡献分析(Contribution analysis)、过程追踪 (Process tracing)、结果捕获(Outcome harvesting)、结果地图(Outcome mapping)等。这些多元的评估方法反映了评估领域目前正在进行的“多元主义”这一更大的趋势。越来越多的超越白人视角、殖民视角的新方法正在快速发展,包括“原住民评估(Indigenous Evaluation)”、“文化响应性评估”等。
这些证据和方法上的发展对非营利研究有什么启示?
首先,促使学者研究不同的评估方法和目的,比较其优缺点。特别关注非营利组织的背景,目前使用的评估方法及原因、如何选择和发展方法,以更好的与组织战略保持一致,病人是到非营利组织与社区合作的多种方式等。已有评估研究指出,符合组织文化和规范的方法更有可能为决策提供有效信息。
其次,一些能够揭示受益者和社区的知识和观点的证据和方法方面的高质量研究非常缺乏。特别是边缘化或代表性不足的群体,包括有色人种社区以及残疾人等。最近围绕受益者反馈的努力旨在通过“精益数据”和“选民声音”更好地理解受益者的经验,但关于这些方法的效果以及它们建立可信证据的基础的学术研究很少。
最后,也基于大数据和人工智能的新方法可以通过检测大型数据集中的模式来揭示关系。可以帮助我们描述和理解系统,不局限于数据的因果关系,它们对社会变革的实际价值在于对变革推动者群体进行更精确的分类。
06 结论
本文通过对评估领域及非营利领域的文献回顾,建构了一个研究框架,回答评估实践中心的四个关键问题:评估什么,为了什么目的,使用什么标准,用什么证据和方法。这个框架的每个组成部分(我们的研究议程)都植根于非营利组织领导人在开展评估时必须解决的实践困境:定义分析单元,解决相互竞争的目的和需求,使用多种标准以及建立证据的可信度。
首先,我们的研究计划以组织为中心,而不是计划或项目。我们设想的不是一种组织评估的总体方法,而是关注不同类型非营利组织的具体需求的方法。其次,非营利组织的评估理论认真考虑了非营利组织“以价值为基础”这一核心,不仅探究组织可能产生的工具结果,还探究他们如何吸引成员,从而塑造个人和社区的尊严所体现的表达价值。第三,认可和重视超越评估专家的知识,以参与者以及管理者和员工为中心的知识。如果非营利组织可以被理解为社区建设、身份创造和社会代理的场所和载体,那么我们就需要一种超越评估者专业知识的评估认识论。最后,非营利评估理论需要明确注意如何使用数据和信息,它们是如何产生的,由谁使用它们,以及谁最终拥有、控制和受益于可评估的知识。