调研过程

为了顺利实现本届金桔奖的评选和倡导目标，项目组2020年3月组建后，历经制定研究计划、确定研究主题、问卷设计、问卷发放、问卷回收、访谈及数据分析和报告撰写、发布等阶段，从民间公益组织和基金会两个方向分析资助关系存在的壁垒和瓶颈。

图2 第四届金桔奖调研工作流程

第一阶段： 制定计划、确定内容和主题：请资方和被资助方代表分享他们看到的资助变化及想法

从2017年到2020年，两届金桔奖间隔约三年，伴随着疫情等外部环境的变化，公益行业现在的资助生态发展如何，有哪些新的动态出现，本届金桔奖又应聚焦何处？带着这些问题，项目组成员先期开展桌面研究，共计阅读40余本行业著作、300多份行业文献。同时邀请40多名公益从业者举办线上研讨会，分享讨论了近两年的资助生态变化和金桔奖可以探寻的推动方向。

图3   2020年6月4日线上研讨会

参会者分享了诸多疫情以来与基金会的合作体会，大家普遍表示，希望可以通过金桔奖表达对有效的资助理念和方式的认可，并在行业平台上推广；还有一些机构提出了对金桔奖作用发挥的期待，如促进平等交流、展示资助型基金会、推广优秀案例和倡导资助理念；也有的伙伴对金桔奖的评价维度、奖项设置、研究方法等提出了建议。这次研讨让研究组收集了一线的想法，并对资助关系建立了更加深刻的认知，收获良多。如果说前三届金桔奖的跟踪研究，是挖掘资助问题的开端，实现了从“了解”到“理解”的第一步，那么第四届金桔奖则希望尽量找出问题背后隐含的根源。

第二阶段： 问卷设计：让评价指标兼顾实操性和良好的资助引导性，同时找到影响资助体验的“刺“

不同于其它由专家评选出的榜单，金桔奖是完全由草根机构通过填写问卷的方式投选出来的。要想使榜单获得行业的认可，如何评价资助并设计成问卷中的评价问题是调研的重要工作。项目组整理了往届金桔奖调研材料，包括208条来自民间公益组织创始人/筹款负责人对调研问卷开放题的反馈、82页的访谈案例；分析了近三年221个公益资助项目的特点，总结出资助关系的关键影响因素；同时参考部分境外基金会的资助成效评价体系，探索“好“的资助型基金会的共性特征和画像，作为问卷设计的借鉴。而后举办专家研讨会，确定影响资助合作满意度和资助效果的关键因素。

最终，项目组在对往届评价指标增加、合并、修改、深化的基础上，落地形成了包括七大维度[MOU2] 和22项子维度的调研问卷，并通过小范围的预调研进一步调整优化，从而保障了问卷的准确性和可读性。

图4  第四届评价指标维度

第三阶段： 问卷数据库搭建：招募参与机构，储备优质候选名单

为了确保调研结果的科学性和代表性，历届金桔奖的问卷均采用分层随机抽样法进行发放，因此每届金桔奖都需要建立“中国基金会评价调研专属样本库”并从中抽样。因此数据库内的机构数量和信息真实情况，很大程度影响了样本的覆盖范围和代表性，数据库的搭建也是每届项目组最“耗时耗力”的环节。

前几届的研究发现，公益组织对于资方评价、合作反馈类的调研，由于担心影响合作和对调研信息保密性的担忧，合作意愿有限，金桔奖问卷回收率长期维持在30%左右。

第四届项目组吸取往届经验，一方面继续和行业数据库合作，广泛搜集民间公益组织数据；同时抓取了50余家基金会近两年的资助清单、检索了十余个省/市民政部门开展社会组织评先评优的表彰名单，为调研样本抽样储备了足量的基础数据。另一方面，项目组启动后，通过公众号撰文及其他渠道转发传播，主动招募、邀请有意愿参与调研的机构，积累了百余家参与意愿高的、并对资助合作有思考和诉求的机构名单。同时，项目组整理了往届参与调研的机构信息，共同构成了一个包含300余家机构的优质样本库，这部分机构也成为了后续调研中问卷回收率最高的群体（回收率近80%）。

图5  金桔奖调研招募稿

最终，从2020年8月至10月，两个月内项目组共建立了5194家公益组织的基础数据库和300家优质样本库，经核实联系方式后选出3959家备选机构作为问卷发放数据库。

第四阶段 ：问卷发放：分层抽样，保证样本公平中立

回顾往届金桔奖，参与调研的公益组织在地域分布上存在不均，广东省、四川省、安徽省等地区的问卷填写数量比来自西藏、海南、东北等地区多了近10倍。除了社会组织地域分布本身存在不均的原因外，也让项目组反思，这种差异是否会让金桔奖忽略一些非典型地区的声音？

为此项目组专门请教了统计学专家，决定在机构抽样时将所在地域作为分层变量，确保抽样机构的地域分布和全国公益组织的地域分布比例相当，也就是样本库中每个省的社会组织都可能会收到金桔奖问卷，这种抽样方式使本届金桔奖在西藏、新疆、广西地区的回收实现了零的突破。

项目组最终从数据库中分层抽取了1290家机构，通过邮件等形式，定向分三个批次依次发放调研问卷：

· 第一批共计500份，按照6:4分别在优质样本库和普通样本库中抽样，其中优质样本库的高反馈率，有利于项目组尽快收集一批高质量的问卷，尽早开始数据清洗和分析；

· 第二批共计440份，根据第一轮回收结果补充发放；

· 第三批共计350份，此时问卷调研已进入尾声，针对回复量极低的地区针对性地增加抽样数量，尽量确保当地机构能够回收部分问卷。

第五阶段 问卷回收：建立调研合作伙伴机制，并灵活调整策略

由于问卷发放数量大、回收任务重，在执委会的配合和协助下，金桔奖设立了调研合作伙伴机制，公开招募到分布在广东、北京、上海、四川等13个省市的23家调研合作伙伴机构，大部分为地区枢纽型组织、支持型组织和平台型组织，在当地或所在议题领域有较强影响力，同时可以帮助金桔奖扩大影响力，连接更多机构知晓并参与调研。5家执委会单位与23家调研合作伙伴分头认领问卷发放名单，通过电话、邮件、微信等方式，共同参与问卷回收跟进工作，最终共计回收问卷464份。

最后，项目组定期对回收问卷进行有效性核实，针对IP异常、打分异常、存在逻辑矛盾的66份问卷逐一电话验证，最终完成数据清理后进行基础分析，挖掘整体资助趋势的变化，以及影响资助双方合作满意度的重要因素等。

第六阶段： 行业深访：聆听双方声音，避免视角偏差

前期的问卷调研帮助项目组广泛收集了民间机构的资助现状和反馈，过程中项目组也发现，围绕着资助的关键环节，民间机构普遍存在相同的问题，如：

当我们说到资助时，我们到底在指什么？

为什么基金会资助倾向于热点领域？

什么样的项目跟进和评估形式，可以同时符合双方的实际情况和需求？

什么样的能力建设是民间公益组织需要的？

后疫情时代，资助双方的关系会有什么变化？

……

针对以上问题，项目组还使用访谈调研法，与30余家民间公益组织和基金会开展座谈，听取双方的见解，兼顾两者视角挖掘和验证资助解决方案，并形成了访谈报告，以期促进公益组织与基金会互相理解和共识。

第七阶段： 榜单及最终报告发布

通过问卷分析及访谈，最终第四届金桔奖形成了约十万字的报告，包括1份榜单及解读报告、1份访谈报告和1份资助图谱：

《中国基金会评价榜》根据定量分析结果形成金桔奖榜单，表彰获得民间机构认可的基金会，呈现近两年资助行业数据的核心变化。同时为回应线上研讨会提出的建议，第四届金桔奖在以往7个分榜单的基础上，结合民间机构关注的资方特征，增设了大规模资助榜、人才资助榜、长期陪伴榜和新晋基金会名单，给予更多“小而美”的基金会多角度、多层次露出的机会。

图7  第四届金桔奖完整榜单

《金桔奖NGO与基金会访谈案例报告》展示典型案例和经验，剖析双方的诉求和束缚，看他们如何通过“理解”促进“合作”。

《基金会资助图谱》，项目组广泛收集出现在本届调研中的基金会信息，呈现参与本届评价的171家资助型基金会的关注地域、关注领域和资助流向分布，力图打破信息壁垒，为民间公益组织提供资助型基金会的信息参考。

关于如何规避风险及确保榜单公平

由于金桔奖是基于资助成效视角评选出的资助榜单，严格根据调研结果产生。因此上榜基金会代表了其在资助过程中受到了被调研公益组织的认可，但并不代表该上榜基金会过去、现在及未来的管理和运作是完全规范的，有些基金会可能会因为个别事件引起公众质疑。为了规避这类情况，项目组通过搜集基金会的年报、民政局官方网站等多渠道的公开信息，并结合对民间公益组织、基金会人员及行业学者的访谈所获信息，对上榜基金会进行了合规性筛查，尽量规避上榜基金会存在合规性问题的风险。

而对于金桔奖项目调研方法科学性和榜单公平性的保障，以及调研具体如何开展和分析数据等更详细的过程，在项目进行过程中已有过整理并以Q&A的形式发布过，感兴趣的读者可以参考以下两篇文章详细了解。