2014-2015年度培训效果评估研究报告

QQ截图20150528104257.png


Part A:企业培训效果评估现状


当今全球关于培训项目效果评估的权威方法和流派当属柯氏四级评估(Donald Kirkpatrick)、投资回报率评估(Jack Philips)、成功案例法(Robert Brinkerhoff)、预测性评估(David Basarab)。


后三种评估方法的理论根基都是源于唐纳德.柯克派屈克在上世纪五十年代创立提出的柯氏四级评估法。经过半过多世纪全球企业和培训专业人士的广泛应用与验证,在现任柯氏掌门人Jim Kirkpatrick和他的妻子Wendy Kirkpatrick的推动下,将最初的柯氏四级评估方法延展和创新为图19所示的最新柯氏四级评估。


时至今日,所有这四大评估流派尽管在评估视角、操作方法、评估目的等方面各有不同,但他们却对评估发展趋势看法有着高度的一致性,即评估已经不再仅仅是狭义理解的训后才进行的总结性评估,而是一种绩效促进的“杠杆”!


QQ截图20150528104310.png


为了达到评估在绩效促进过程中的杠杆作用,需要培训管理者们在思维方式和实践操作上把评估方法和理念“嵌入”到人才培养项目的设计运营过程中。也就是说,需要把评估手段“前置”到人才培养项目的需求分析诊断过程中;实施应用在培养项目的训前、训中、训后进行各个层级的效果评估;针对关键人才培养项目甚至整个企业培训体系建立评估模型和评估机制,从评估系统打造入手确保培训活动的开展与个人、团队和组织三大层面的利益目标相匹配。


那么,在当下中国企业人才培养过程中培训效果评估在扮演怎样的角色呢?企业培训管理者在培训评估方面的专业能力状况又如何呢?调研结果表明(表2):


QQ截图20150528104327.png


1. 未做到评估在人才培养项目中的嵌入式设计


通常情况下,判断评估是否在人才培养项目中做到了嵌入设计,需要满足三方面的要求:


1) 是否把评估的理念和方法前置到培训需求分析的过程中?


如果答案是肯定的,说明企业培训管理者和人才培养项目设计者在项目需求分析阶段就在“以终为始”地了解和探寻利益攸关方对项目的最终期望,了解他们对项目实施完成后希望能够为企业、业务部门带来怎样的业务结果变化,能够为个人带来怎样的能力提升、行为改变以及工作绩效改变等。但是,调研结果表明企业培训管理者在这个部分的应用水平才刚刚达到“较熟练”的状况(M=3)。访谈结果表明,企业中培训需求分析的方法和过程不够精细,即便对高层和业务部门进行访谈,对数据的分析和处理也比较粗放,甚至变成了“拍脑袋”决断培训需求。


2) 是否以培训项目实施完成后需要达成的业务结果为目标,去指导培训项目的设计规划?


调研结果表明,企业培训管理者在这个部分的应用熟练程度也仅仅是“较熟练”(M=3.05)。访谈结果表明,企业培训管理者还不具备以终为始的理念和专业度去设计规划人才培养项目。相反,培训管理者们往往拘泥于传统的思维模式从培养群体对象缺什么能力补什么能力的角度去设计开发培训项目。


3) 是否在培训内容和材料的开发过程中进行相关评估工具的开发?


这种思维理念和工作方式的优点在于:人才培养项目设计结束的同时,后续实施强化和效果落地的全套评估机制已经设计完成、所需要用到的评估工具也一应开发完成了。这就是培训项目效果保障的“运筹于帷幄之中,决胜于千里之外”。但是,调研结果表明企业培训管理者们对如何开发评估工具的应用程度是不熟练的(M=2.91)。


2.培训评估方法应用不熟练


调研结果表明,企业培训管理者在1-3级培训效果评估的应用熟练程度为“较熟练”,但在第四级业务结果评估层面的应用水平为“有所了解,但操作不熟练”(M=2.99)。


1) 一级评估(学员反应):


 从问卷调研结果来看,自评认为能够熟练操作学员反应层面评估的培训管理者群体占42.3%(图20)。2013年度的行业研究结果来看,88.8%的企业在开展学员反应层面的评估。与今年的研究结果交叉类比来看,说明有大约46.5%的企业培训管理者们确实在开展一级评估,但评估专业知识和技能水平还没有达到熟练程度,有待进一步提高。


访谈数据表明许多企业培训管理者对一级评估存在两个重大的理解偏差:一方面认为一级评估应该是从培训组织方角度出发进行评估;另一方面认为一级评估仅仅是学员满意度评估。根据最新柯氏四级评估模型,一级评估应该是以学员为中心进行评估,而且除了评价学员满意度外,还要着重评价学员参与度和内容相关性。由于对学员反应层面不全面的理解,往往导致企业中一级评估流于形式,失去了为培训项目后续改进优化获取数据的宝贵机会。


QQ截图20150528104340.png


2) 二级评估(学习):


问卷调研结果表明48.7%的企业培训管理者认为在学习层面的评估水平已经达到了“很熟练”的程度(图20)。但是,访谈数据结果不支持这个乐观结果。企业培训过程中开展的二级评估通常是指采用测试题的方式检验学习者是否掌握了培训内容。


根据最新柯氏四级评估模型,二级评估除了采用考试,作业提交、答辩等方式考查知识和技能的掌握情况,以及所期望的态度理念的转变外,还包含“信心”和“承诺(意愿)”两大评估维度。


就本次行业研究回收数据来看,中国企业人才培养过程中所谓的二级评估基本上都忽略了信心和意愿两大评估维度。换句话说,企业培训管理者们还没有开始或者根本没有意识到应该关注学习者把所学内容应用到工作中的信心和意愿问题。事实上,信心和意愿正好就是连接二级评估和三级评估的桥梁和纽带。正因为企业培训管理者们忽视了这个纽带,导致了学习者对培训内容掌握的很好,但在工作中不去应用或者应用的效果不好。


另外,访谈数据表明企业培训管理者对自身在二级评估操作水平的自我评价过于乐观。从柯访谈数据表明企业培训管理者对自身在二级评估操作水平的自我评价过于乐观。从柯氏评估多年的研究以及全球各类型企业培训专业人士的经验总结来看,在1-4级评估中,二级评估在操作技术上是难度系数最高的。人才培养过程中对学习者的知识和技能的考查,一般都采用标准参照型考题开发方法和流程(Criteria Referenced Test,CRT)。采用CRT方法开发出来的考题才能确保其效度和信度。否则,很难保证考试结果的公平性和有效性。到目前为止,企业中的培训管理者基本上还没有接受过正式的CRT考题开发训练。


3) 三级评估(行为改变):


35.9%的企业培训管理者认为自身在三级评估方法和手段的应用达到了熟练程度。从访谈结果来看,企业人才培养项目中的三级行为改变驱动方式和手段中采用比较多的是转授他人和跟进培训等作为强化措施,辅导或指导作为鼓励方式,技能操作考核或者行动学习作为监督机制,认可、奖金、成长机会以及职位晋升等作为奖励制度。有些企业在人才培养项目中甚至设立了行之有效的退出机制,“。。。。。。我们用动态的方式进入人才库,我们有退出机制,如果他完成的很不好,经过1-2年的学习他没有达到你期望的潜质,比如主管到经理,评估不合格就会退出。有人不断的退出,有人不断的进入。”


4) 四级评估(业务结果):


在所有四个评估层级中,第四级评估的应用熟练度是最低的(28.9%)。事实上,柯氏四级评估认为第四级评估是所有四个层级中最容易评估的。第四个层级的评估指标叫做借用指标,企业培训管理者们只需要从培养群体对象已有的绩效考核指标中寻找与所评估的培训项目相关联的指标,然后对其评估即可。但是,目前企业培训管理者们还不具备如何确定和匹配四级评估指标的专业方法,因而认为四级评估在当下的中国企业很难操作。


3.培训评估模型以及机制建立还未排上议事


1) 调研结果表明,为某个/某些关键培训项目搭建评估机制且开发配套的评估工具的专业能力严重不足(M=2.75)。尽管在访谈过程中了解到有些培训成熟度相对较高的企业已经开始在关键重要的人才培养项目中采用一些评估考核方法,但还没有一个项目是从人才培养项目的全局角度构建项目评估机制的。换句话说,还没有看到企业培训管理者把评估的理念和方法前置到项目需求诊断和设计开发过程中,在内容开发的同时即把全套的评估工具开发出来的。


2) 关于为企业建立评估模型及其配套的评估机制,目前的企业培训管理者们在这个方面的操作熟练程度相当低(M=2.67)。对于企业培训来说,评估机制的建立将标志着企业培训从事务操作水平往策略支持阶段的迈进。评估机制将确保企业人才培训工作的有序和有效。不仅能够确保培训工作有效果,而且有效率。但是,访谈结果表明当下的企业培训水平和着眼点还远远没有迫切到建培训评估体系的阶段。


Part B:培训评估工作开展的阻碍因素


访谈表明,在开展培训效果评估工作时遇到的困难或障碍因素主要有以下两个方面:


1.缺乏评估的文化和氛围


从企业培训管理者角度来看,对培训效果评估的认识不够,甚至存在误解。不乏培训管理者把培训评估当成被动的“审计”,而不是主动的“绩效促进杠杆”。从管理层来说,虽然强调人才培养的速度和效果。但他们毕竟不是培训专业人士,更不太可能清楚地知道人才培养过程中评估应该如何做。


访谈结果表明,几乎所有访谈对象都提到人才培养工作的开展迫切需要得到领导的支持和认同。所谓“有为才有位”,要得到领导对培训的重视和支持,呈现出培训为企业带来的价值(包含有形的和无形的,直接的或间接的效果)则是第一步。从长远来看,评估文化的建立和营造需要企业培训管理者们长期努力。


2.不具备必要的评估专业知识和技能


缺乏专业的培训效果评估相关知识和技能,导致只能进行简单的学员反应层面、学习层面的评估,对于三级和四级评估以及评估工具的设计和评估体系的搭建等存在困难。因此,评估专业能力的提升或将成为培训管理者专业成长的瓶颈,或将成为一个关键突破点。


bottomads.jpg










©版权申明:凡作者标为“移动学习前沿”的文章,均为前沿网站编辑组原创,欢迎查看!
转载请注明出处-来自“问鼎云学习”!