音画动态

关于评估

缘起

二零一四年十月,音画梦想正式注册成立。经过近一年的服务工作后,出于对服务对象负责、对资助人负责的态度,机构对于了解服务对象在接受音画服务后的变化有了迫切的需要,因此,评估便被提上来日程。音画梦想的评估工作是从效果评估开始的,这也是符合音画梦想作为一线执行机构在当时的需求的。这种需求的目的是明确提供的服务对于服务对象的发展是否有作用,是促进或保持作用还是抑制或阻碍作用。这对于刚刚起步的音画梦想来说十分重要,因为这直接关系机构服务对象的利益。

目的

音画梦想开展评估工作的核心目的是提升服务质量,促进儿童发展,提供有效信息为机构在业务上的决策提供参考。在音画梦想的评估工作刚刚起步的时候,评估目的即明确项目效果,或者说是服务对象在接受服务后发生了哪些变化。随着音画梦想的发展和工作的深入,评估目的由最初的明确项目效果逐渐完善成为验证项目方法的有效性、提供项目优化建议、为机构的决策提供参考同时分享研究成果。

我们的行动

评估方法:音画梦想的评估工作主要使用的是“过程监测+效果评估”的工作模式。其中包括了课程效果测试和日常课堂探访。这有助于及时收集服务对象的反馈,快速发现并解决出现的问题同时对服务的效果进行分析。
评估指标:由最初的儿童个体发展方面的指标发展丰富为现在的包含积极发展、心理健康、个体所属环境三个主要方面在内的儿童积极发展指标。
评估方法:由最初的问卷法调整为问卷法、观察法、访谈法。
评估地域:由最初的北京逐步拓展到北京、湖南沅陵、甘肃宕昌、河北阜平。

2015年秋季,机构开始进行自成立以来的首次效果评估工作。

2015年秋季
    评估指标:通过与北京师范大学心理学院合作,根据儿童发展可能涉及到的方面并参考研究人员的建议确定了八个方面的指标;

评估地域:在北京市朝阳区、海淀区、大兴区、昌平区、丰台区、东城区、石景山区的 14 所学校和 29 个社区开展流动儿童艺术教育服务。
评估方法:成立以来的首次效果评估工作,通过与北京师范大学心理学院进行合作,采取对服务对象进行自评问卷测试的方法开展效果评估工作

2016年春季学期

评估指标:随着机构服务目标的逐步梳理和明确,机构在促进社会融入与亲社会性提升的假设下选定自我幸福感,学习能力,创造性倾向三个一级指标。需要说明的是上述指标的调整并不是重起炉灶似的,而是根据第一次评估的情况对原有指标进行了补充和分类。

评估地域:2016年春季学期,机构分别在北京、上海的14个县区范围内的28个学校和社区开展流动儿童艺术教育服务。
评估方法:随着机构业务和资源的拓展,2016年春季学期,机构合作的主要科研团队增加了首师大、上海市行政学院,并根据评估指标的变化,除自评问卷测试的方法外,增加了他评问卷,以期更加全面的了解服务对象的发展变化情况。

音画梦想评估第一次调整:2017年秋季,随着音画梦想对于流动儿童的了解逐步加深及国家对儿童核心素养培养的重视,音画梦想评估进行第一次调整,通过与高校科研人员的合作尝试了解机构的服务对于儿童核心素养发展的影响。

2017年秋季,在对之前效果评估工作的逻辑进行梳理和反思后发现,目前,对流动儿童的发展状况的研究大多遵循着“处境不利-压力-适应不良”的直线模型,即关注流动儿童面临的危险性因素和适应困难问题(余益兵, 邹泓, 2008)。从危险性因素来看,已有研究发现相比于城市儿童,流动儿童面临着更高的受欺负水平(于音等, 2019)、压力水平(曾守锤, 2011)、更低的班级心理氛围(师保国, 申继亮, 许晶晶, 2008)等。从心理适应方面来看,流动儿童面临着更为突出的心理健康问题(王红艺, 2019),包括低水平的幸福感、安全感、孤独、抑郁和焦虑等(王中会, 蔺秀云, 侯香凝, 方晓义, 2016; 师保国, 徐玲, 许晶晶, 2009)。这些研究结果虽然为政策制定和流动儿童的心理健康干预提供了一定的实证依据,但客观上也可能会加剧社会公众对流动儿童群体的偏见和刻板印象,由此成为流动儿童城市适应和融合进程中新的社会心理阻力(余益兵, 邹泓, 2008)。

近年来,随着积极心理学的兴起,更多的研究者逐渐转变以问题视角出发的研究思路,开始重视流动儿童的积极心理品质,包括乐观、友善、宽容、自律、创造力、社交能力等积极特质。但是目前关于流动儿童积极发展的研究还相对较少,基于此,从2017年秋季学期开始,效果评估在纳入流动儿童的心理健康和环境因素指标外,还加入了相关的积极发展指标,以期全面考察流动儿童的发展状况。
(一)积极发展:积极发展包括品格、能力、联结和自我价值四个维度。
(二)心理健康:心理健康的指标包括幸福感、外化问题行为和孤独感。
(1)幸福感:幸福感是指个体在一个从积极到消极连续体上对其生活质量的整体评价和情感体验,是某一社会中个体生活质量的重要心里参数(池丽萍,辛自强,2001)。
(2)外化问题行为:外化问题行为是指攻击反抗、违纪越轨、过度活动等行为。
(3)孤独感:孤独感是一种封闭心理的反映,是感到自身和外界隔绝或受到外界排斥所产生出来的孤伶苦闷的情感。

 2016年秋季与2017年秋季学期

评估指标:积极发展维度、心理健康维度、个体所属环境维度是对首次调整后的指标进行了丰富和整理,本次评估指标的变化看似与之前的评估指标有较大的差别,实则延续了之前已经使用并表现敏感的指标。如自尊、乐观、社会支持等指标,均包含在积极发展之下且在使用的儿童积极发展测量工具中使用了相关的工具对上述指标进行测量。这一方面保证了评估思路和数据的延续性,同时也是在实践操作过程中不断对评估工作进行完善并与当前主流研究方向相结合的表现。 

评估的作用:经过一年多的探索与总结,机构对与评估工作在整个服务中的作用由最初的单纯了解项目效果转变为以下三方面的需求与期待;
验证项目方法的有效性:希望通过对数据、相关的观察报告及儿童作品反馈的分析,验证我们所使用的方法能否发挥艺术教育的积极作用以及发挥积极作用的程度;
提供项目优化建议:希望通过评估发现项目执行中的不足,以提供项目优化建议,不断提升服务水平;
分享研究成果:希望以评估报告为载体,定期分享评估过程中发现的服务对象的需求及其面临的困境,形成资源与用户的有效链接,以促进服务对象的发展并为伙伴组织提供有研究基础的信息。
评估方法:为了适应机构对于评估工作的新需求,评估方法也由之前的问卷法调整为问卷法、观察法、访谈法三种工作方法并用,这也为之后开展的课程监测工作打下了基础。

音画梦想评估第二次调整:2018年至2019年春季学期,服务对象的反馈对于服务过程的管理和服务内容的更新有着十分重要的意义。为了将服务对象的反馈尽可能快的传送到机构的相关部门,评估部门在2019年春季学期加大了在课程监测反面的努力,这也是评估工作第三次调整的主要部分。考虑到儿童发展本身不会因为城乡不同而在指标上出现较大差异,评估指标基本保持了稳定。 

2019年春季学期开始,通过在项目地较长时间驻点以及多次探访的方式,课程监测工作取得了很大的进展。依靠课程监测收集到的信息,评估部门为总干事、项目部门、设计部门提供了多次信息分享和反馈,对服务质量的提升起到了推动作用。更重要的是让机构的评估工作由之前的重效果评估转变成为了效果评估和过程监测并重的形式,这将会对服务质量提升的时效性和准确度提供有效的支持。

评估地域:2018年以来,随着各地政策的变化和机构业务模式的调整,服务地区发生了很大的变化。评估工作涉及的地域也经历了由北京和上海到北京、上海、河北阜平、湖南沅陵的调整。2019年秋季又调整为北京、湖南沅陵和甘肃宕昌。

展望

经过近五年的努力和探索,音画梦想的评估工作逐步形成了“过程监测+效果评估”的工作模式。这不仅能够在服务过程中及时收集服务对象的反馈,快速发现并解决出现的问题,为服务质量提供保障;同时,也能够为服务的设计和修订提供尽可能多的一手资料。随着音画梦想服务重点的调整以及工作的不断深入,评估工作将会在时效性、准确性方面不断努力,为服务质量的提升和服务方向的梳理提供更有力的支持。

附:历年评估报告