【科学公益】将贯穿三阶段提升项目成效：推动项目持续改善与创新的效用评估（下）

公益资讯 > 资讯详情

来源： ABC美好社会咨询社

作者： ABC美好社会咨询社

2020-11-06

2434

编者按：

本文章以变革理论和逻辑框架为基础，结合案头研究和专家访谈，提出公益组织应以问题识别为出发点、方案设计为中间环节、效果评估为落脚点，通过三个阶段将科学公益理念融入项目实践中。本文系科学公益在项目上的应用——贯穿三阶段提升项目成效（下篇），科学公益项目需建立有效的评估机制，根据项目性质，应用定量或定性研究方法，通过调研和分析，对项目的执行情况和效果做出评价，以此推动项目持续提升改进和有效回应利益相关方期待。

本文5043字，建议阅读8分钟。

科学公益项目需建立有效的评估机制，根据项目性质，应用定量或定性研究方法，通过调研和分析，对项目的执行情况和效果做出评价。对项目团队来说，评估是推动项目持续提升改进和有效回应利益相关方期待的重要途径。一方面，建立评估机制有助于项目进程中进行即时监测和反馈，帮助团队分析项目得失、积累项目经验。另一方面，科学、客观的成效评估结果能够帮助公众、受益方和资助方了解项目进展、成效和价值，有助于扩大项目影响力和提升项目公信力。

有效的评估机制应伴随项目的进程，不仅关注项目的执行过程是否符合标准，而且关注项目的执行结果是否达到目标。

持续性管理的过程评估

过程评估或又称之为监测，是项目进程中的持续性管理行为，指系统地评价项目实施环节是否符合既定标准。过程评估为利益相关方提供有关项目执行情况的及时反馈，便于项目调整和改进。由于过程评估一般不涉及复杂的方法理论，因而实践中多由项目人员自行完成数据收集和分析反馈工作。

项目人员应首先选取恰当的信息收集方式。根据组织能力和项目特点选择数据监测管理、远程监测管理、集中监测管理和在地监测管理等一种或多种结合使用的手段，重点规避因管理和执行团队异地办公造成的信息不对称。

项目人员还应有针对性地就运营环节设置过程评估指标。指标体系的搭建可从项目实际出发，围绕资源投入、干预活动、递送渠道和目标对象四个方面逐层展开。项目组依据指标体系持续收集过程数据，并基于数据反馈适时调整项目进程。

图3：过程评估信息收集方式

图4：过程评估指标体系

案例：歌路营高效收集项目过程数据，以适时调整、保障执行质量

截至2018年底，歌路营新一千零一夜项目共覆盖29省226 市806区县6,544所农村学校，服务学生达180万名。为建立高效的数据收集和过程评估体系，歌路营搭建信息化管理系统、建设当地教师社群，并打造了同业服务网络，有效提升了项目过程数据收集的及时性和准确性，便于项目团队及时得到反馈、发现问题并持续改进1。

信息化管理系统：歌路营自主开发了信息化管理系统，利用互联网实现“申请——物流——播放——监控——技术支持”全程信息化管理。平台可实时记录学校的播放数据，执行监管与督导干预，确保项目质量。歌路营还基于运营情况对信息化系统进行迭代和改进，包括增加财务管理等模块、改进播放数据回传机制和播放逻辑等，提升系统的运营效率和执行质量。

当地教师社群：歌路营通过公众号运营、微信群运营和线上读书会等形式，有效凝聚项目学校教师。在为当地教师提供专业支持的同时，培养了当地教师对于项目的兴趣和信任，以辅助项目落地执行和信息收集。

同业服务网络：歌路营不断尝试多方资源合作，现已联合23省111家公益组织共同建立了全国寄宿留守儿童服务网络，以共享网络资源、更好地辅助项目落地执行和监督。

以结果为导向的评估

结果评估关注项目带来的变化，按照项目产出(output)——成效(outcome)——影响力(impact)三层逐步展开。

产出是公益项目的直接结果，通过项目开展活动或提供服务的数量和范围量化反映。产出结果包括开展活动的次数、分发物资的数量、实际服务的受助者数等，由项目人员定期统计，可用于判断项目是否完成了既定“量”的要求。

成效评估关注中短期目标对象在关键成效指标上的变化，初步判断项目是否对目标对象产生了预期的正向影响。建立科学的指标体系是成效评估的关键。通常来说，成效评估既可由项目人员完成，也可借助第三方专业机构的力量实施。除了预期的成效变化外，目标对象还可能出现预期外的改变，这类改变无法事先预估，可由项目人员运用定性研究方法，通过现场观察、深度访谈、焦点小组等方式了解和判断。

影响力评估衡量项目在中长期对目标对象/组织/社区产生的深层净影响。影响力评估关注项目带来的正向和负向、预期内和预期外、直接和间接的长期净影响及持续延伸。与成效评估相比，影响力评估衡量的时间更长、层次更深、操作难度更大、花费的资源也更多。正由于这些原因，影响力评估一般适用于较成熟的公益项目，且多由第三方专业评估团队完成。

在影响力评估中，严格的归因分析要求尽可能剔除外界环境、自然演变等因素的干扰，得出项目自身带来的净变化。归因分析最常用的方法为随机控制实验法（Randomized Controlled Trial, RCT），需要建立量化影响指标体系、收集基线数据、大样本随机抽样、形成控制组和实验组，并对数据进行统计分析。

对于旨在推动系统性变革的项目来说，影响力评估包括结构性变化、关系性变化和变革性变化三个递进层次2。结构性变化包括政策、实践和资源流动三方面，如政府的规定、机构开展的实践活动、资金的分配等，通常较为可见、容易衡量。关系性变化包括关系和连接、权力动态两方面，如社会各方关系的改善、新的合作关系建立等，通常为半显性。变革性变化主要是指思维模式的改变，是深层次的，是产生长期、持续性影响力的关键。

建立科学的指标体系是成效评估和影响力评估的难点，需兼顾严谨性和可操作性。

科学的指标体系应针对性地考虑到项目实际情况。由于公益项目解决问题和干预方法的多样性，并不存在能够指导所有项目的普适性的指标体系。因此，需要评估人员在充分了解公益项目的目标、理顺项目逻辑的基础上，参考项目所在细分领域较为成熟的理论研究或测量方法，兼顾定性和定量，最终开发出适用的指标体系。

公益组织往往受限于经费、人力投入和数据可得性，且中长期深层次指标体系的建立和测量难度较高，因此较难实现理想标准。虽然如此，仍应持续探索适合项目特点的科学评估体系，对于有成熟理论基础、易于量化的指标，可采用随机控制实验/准实验方法进行定量分析；对于难以量化和预期外的改变，可由项目人员通过开放式访谈、影像观察、个案研究等定性方法进行分析。特别是系统性变革，它往往是由多个因素持续相互作用形成的长期、深层次影响，部分隐性因素难以测量，因此评估时更应注重定性与定量方法的结合，进行案例分析和长期跟踪，以判断系统各方面是否朝既定方向发展。

案例：“一个鸡蛋”开展科学评估，系统梳理项目影响，持续改进项目运营

“一个鸡蛋”项目由上海联劝公益基金会（以下简称“联劝”）联合国内8家民间公益组织发起。项目自2010年启动，希望通过每天发放给贫困地区的孩子一个鸡蛋，改善儿童膳食结构不良、营养摄入量低下的现状，促进孩子们的身体和智力均衡发展。2017年起，联劝委托上海纽约大学金敏超博士及其团队对该项目进行评估，以回答“一个鸡蛋到底给贫困地区的孩子带来什么样的影响”这一问题3。

评估目标。“一个鸡蛋”评估项目建立了明确的评估目标，即“一个鸡蛋到底给贫困地区的孩子带来什么样的影响”，并将影响拆解为两个维度：第一，孩子们营养状况的改善；第二，对孩子们营养状况外的其他影响。

指标体系。项目采用定量和定性两种研究方法设计了科学的指标体系。定量指标方面，评估团队参照世界卫生组织的生长标准，并根据项目的实施过程和数据采集条件，采用身高年龄比z值（HAZ）、体重年龄比z值(WAZ) 和身体质量指数年龄比z值(BAZ) 三个指标定量测评营养状况。定性指标方面，团队通过影像发声方案评估营养状况之外的影响。

样本选择。项目通过准实验设计的方法选取样本，即参与项目的学生为干预组，没有参与项目的学生为对照组。定量分析通过随机抽样选取干预组，并匹配学校的特点和数量寻找对照组，在随机抽到的各个干预组学校和匹配的对照组学校中，按年级分类随机抽取40名左右的学生作为样本。定性分析通过方便抽样和配额抽样相结合的方式，选取30人作为样本。数据收集。项目监测、测量和收集数据以保障评估结果的准确性。以2018年评估方案为例，定量部分总共测量4次，分别为2018年春季学期开始、2018年春节学期末、2018年秋季学期开始和2018年秋季学期末。定性数据的收集由联劝负责，合作机构伙伴、老师和学生完成数据提供，数据收集的前中后均有相应的培训、监测和反馈。

数据分析。项目对干预组和对照组的采集数据进行了多维度的分析。定量分析显示：第一，样本儿童的营养状况不容乐观，尤其是长期营养状态和复合营养状态大大低于全球平均水平，营养不良比例较高；第二，吃一个学期鸡蛋对于体重年龄比z值(WAZ) 有改善，吃两个学期鸡蛋对于三个营养指标均有改善，而且干预效果不随是否是5岁以下有统计学意义上的改变。

定性分析显示：第一，项目在学校层面的执行基本良好，孩子们可以保质保量地每天吃到一个鸡蛋，但可能存在少量卫生、口味偏好及孩子是否吃的个人选择问题；第二，项目不仅有营养上的干预成效，还给孩子们带来了快乐、激励和安慰，同时鸡蛋联结了孩子、老师、家人、联劝及民间公益组织及捐赠人；第三，饮食结构方面，西部农村贫困地区孩子们在学校和家庭的营养摄入现状不容乐观，孩子们很少吃肉、鱼虾及奶制品，而摄入较多零食与淀粉类食物。

评估结论及建议。总体来看，评估结果支持“一个鸡蛋”项目的正向干预效果。同时，定性评估显示项目执行过程中可能存在少量卫生问题、发放时间点问题、口味偏好及孩子是否吃的个人选择问题，仍需要项目组继续改进。

公益项目评估的未来展望

从实践层面来看，评估在国内公益项目中的应用现状并不乐观，仍面临较大挑战。首先，在意识层面，许多公益组织仍未能充分重视评估工作。部分公益组织仍缺乏对于评估工作价值的了解和认识，只注重开展项目活动却忽略反思改进，未能建立数据收集和反馈机制，预算编制上缺乏评估相关方面。

其次，在能力层面，公益行业在评估理论与实践之间仍然存在差距，面临着专业评估人才匮乏、第三方机构专业能力不足、评估质量参差不齐、缺乏业内统一的标准等一系列问题4。

最后，在应用层面上，公益组织未能注重评估结果对于项目提升的作用，往往只关注评估结论，轻视学习改进；且行业也缺乏评估结果公开透明的良好风气，不利于知识的累积和传承。正如资助者圆桌论坛创始人李志艳在访谈中所提及的，“很多时候，（公益组织）做评估是为了去找一个人、最好是某知名专家，证明这个项目是对的。所以一旦评估出现了这种基本理念上的偏差，那么不管方法工具使用有多好、数据有多完善，都没有意义，一定会偏离目标。”5

展望未来，公益项目评估仍有赖于多方投入及持续跟进，资助方、执行方、行业支持机构需共同努力，推进评估生态体系建设。对于资助方来说，应首先转变观念，在技术、工具和资金方面支持评估工作，支持相关知识生产，针对所资助项目的不同发展情况有针对性地提出评估需求；同时还应从自身做起，提升行业透明度，引导行业公开讨论。

上海纽约大学金敏超助理教授就建议，“建议项目方公开( 评估结果)，让大家评判好坏在哪，作为一种行业知识的积累。资方也需要主动公开( 评估结果)，虽然面临很大的挑战，但如果能从资金上撬动这件事情，有利于氛围的形成，打破目前的困境。”6对于公益项目执行方来说，应建立评估思维，以评促建，将评估作为理顺项目逻辑的重要手段；还应以实事求是的精神，接受评估“证伪”的特性，客观分析项目成功要素和存在的问题，以更有针对性地改进和提升。

对于行业支持方来说，应理清自身定位，积极和资助方、公益项目执行方展开合作，推动理论和实践结合、知识生产、标准制定、人才培养等工作的开展。

注释：

1.北京歌路营慈善基金会.2018 年度工作报告[EB/OL]. http://www.growinghome.org.cn/news_show/307.html. 2019-7-9/2019-12-20.

2.引用自资助者圆桌论坛编译报告John Kania: The water of systems change, FSG, 2018

3.资料引用自中国发展简报《“一个鸡蛋”项目评估报告发布科学回答鸡蛋的影响》，以及上海联劝公益基金会《2018“一个鸡蛋”项目评估报告》，更多项目信息可参见两份报告。

4.庄爱玲. 公益项目评估与行业生态建设[EB/OL]. 取自上海映绿官网http:/www.npodevelopment.org.

5.引用自李志艳专家访谈

6.引用自金敏超专家访谈

备注：本文来自《科学公益白皮书系列第一辑：科学公益理念与实践初探》系列报告，原标题“科学公益在项目上的应用——贯穿三阶段提升项目成效”。本报告为由北京三一公益基金会资助，ABC美好社会咨询社编写，版权由北京三一公益基金会和ABC美好社会咨询社共同持有。如果你对报告全文感兴趣，欢迎扫描二维码下载报告全文。作为一家践行科学公益理念的社会企业，ABC在过往的发展中，为公益组织提供符合科学公益范畴的公益项目咨询，帮助公益组织更好的解决自身遇到的问题，助推社会问题的解决。如果你的组织在发展的过程中遇到问题，欢迎了解ABC公益咨询项目。