首页 > >欧洲MOOC教育质量评价方法及启示

欧洲MOOC教育质量评价方法及启示


QQ图片20151104100921.png


  近年来,MOOC作为一种新兴的教育模式风靡全球,但低完成率及高辍学率使得MOOC的教育质量及评价问题日益突出。传统评价方法已不能满足对其教育质量的有效评价,特别是无法实现对学习者学习过程及成效的有效评估与认证。因此,MOOC评价指标体系的构建备受学界关注。相较于美国,欧洲MOOC发展进程不算快,但随着欧洲一体化进程的加快,欧洲学者就如何评价MOOC教育质量,特别是从哪些维度进行评价、如何设置评价指标、谁评价等问题进行了较频繁的学术探讨,不少研究者相继提出MOOC教育质量评价方法的构想。


  本文对欧洲新近三种MOOC教育质量评价方法进行了比较:一是欧洲远程教育大学联合会的开放教育质量标签,该评价方法适用于高校对其“机构层面”与“课程层面”的MOOC教育质量的自我评价,具有一定的研究与应用价值,但也存在一定局限性;二是西班牙的MOOC教育质量综合评价指标体系,这是一套建立在对在线学习质量评价标准ADECUR及UNE66181:2012对比分析之上的MOOC教育质量评价标准,主要涉及对MOOC学习过程中“学习方法”“接纳性层级”“虚拟课堂环境”及MOOC学习成效“就业认可”等方面的教育质量评价,比较全面、客观地评价学习者接受MOOC教育的学习成效及学习条件,但忽视了对开设MOOC的高校机构管理层面的评价;三是德国MOOC设计质量评价标准,着眼于评价MOOC的课程设计,能够提供一套较为完善的参照标准,但缺乏MOOC开展过程中的教学指导评价,也未涉及对学生学习效果评价。所获的启示是:按评价目的选择局部或整体性评价标准,评价方式突出教师与学习者的评价主体地位,评价环节强化质量控制。


  关键词:欧洲;MOOC;教育质量;评价方法


  慕课是一种具有规模大、开放性强、个性化、实时交互性等特点的新兴教育(课程)模式(翟国,2015),现已风靡全球。在欧洲,截至2015年,包括英国、德国、西班牙等31个国家在内的311所大学开设了MOOC(Open Education Europa,2015);在中国,2013年初起,清华大学、北京大学、上海交通大学、复旦大学等纷纷加入MOOC建设行列。MOOC的流行虽然给高等院校教育教学模式改革带来了机遇,但其教育质量问题日益突出,如何评价MOOC的教育质量并建立有效的质量保障体系备受关注。本文对欧洲三种不同的MOOC教育质量评价方法进行了对比分析,旨在探索MOOC教育质量评价的内在规律,为建立切合我国实际的MOOC教育质量评价体系提供借鉴。


一、欧洲远程教育大学联合会的“开放教育质量标签”


  “开放教育质量标签”(The Openup Edquality label)由欧洲远程教育大学联合会(EADTU)牵头,是欧洲11个国家2013年联合推出的MOOC教育质量评价基准(Rosewell & Darco,2014)。该评价基准原本由罗斯维尔(Rosewell,2013)提出,目的是使各院校通过使用该评价方法对欧盟MOOC平台(www.openuped.eu)上开设的MOOC进行“自我评估”,并与同行院校进行协作比对,促进MOOC质量的提高。其核心内容源于在线学习(e-learning)及开放教育的质量评价基准——E-xcellence,但罗斯维尔对E-xcellence的一些评价指标与评价标准进行了补充与完善,特别是增加了符合MOOC教育的评价内容,包括“对学习者的开放性”(OL)、“对数据的开放性”(DO)、“以学习者为中心的方法”(LC)、“独立学习”(IL)、“媒体支持的互动”(MI)、“认知选项”(RO)、“质量重点”(QF)及“范围多样性”(SD)(Rosewell,2013)。


  这套评价方法包括二个一级指标:“机构层面”与“课程层面”。“机构层面”包含六个二级指标:“战略管理”“课程体系设计”“课程设计”“课程传递”“教职人员支持”及“学生支持”。“课程层面”未设置二级指标,仅有11个三级指标。评估者在对每个指标项评价后,还需对每个三级指标进行评分,评分选项包括“未达到”(NA)、“部分达到”(PA)、“大部分达到”(LA)及“全部达到”(FA)(见表一)。


a.png


二、西班牙“MOOC教育质量综合评价指标体系”


  西班牙学者费尔南德斯等人(Fernández et al.,2015)对两种在线学习质量评价方法,即大学课程教学网络分析模型和教学策略(análisis didáctico de modelo y estrategias de enseńanza de cursosuniversitarios,简称ADECUR)及基于ISO9001质量保证体系的e-Learning质量管理标准UNE66181:2012进行比较,合并与整理其中的指标项后,建立了一套可用于评价MOOC教育质量的综合评价指标体系。ADECUR源于洛佩慈的博士论文《远程培训的教学模式与教学策略分析:设计及测试一套用于评估远程本科课程教学策略的方法》,目前已在西班牙专利与商标局注册,且被证实是非常重要的评价工具。这套评价方法有助于使用者分析高等教育(特别是本科教育)的教学模式与教学策略,评价在线学习的教学质量,从而制定有效的质量保障策略以及促进教育创新。该评价方法包含两个评价维度:心理教育及技术美学。心理教育维度包含六个子因素:“虚拟环境”“学习”“内容”“活动与排序”“评价与行动”及“辅导课”;技术美学维度包含一个子因素,即“资源与技术”(见表四)。每个子因素同时包含若干二级指标项。当评价者使用这套评价方法时,每个评价项目仅提供两个评价选项:“1”表示达到,“0”表示未达到。UNE66181:2012主要涉及在线学习的满意度评价,主要有三个维度:“就业能力”“学习方法”“可接纳性”。每个维度有若干“子因素”及若干二级指标项。评价采用星级评价系统:每个评价指标都设置了1至5星级的质量评级,1星为最低,5星为最高。评价者完成每项评价后,还需将每个评价项的“星”叠加,以得到最终的评价结果。


  比较ADECUR与UNE66181:2012可发现,两种评价方法都涉及“学习方法”维度的评价,因此构建MOOC教育质量评价体系需要优先考虑该维度及包含的评价指标,费尔南德斯等罗列出两种评价方法的通用指标(见表二)及非通用指标(见表三与表四)。


b.png


c.png


d.png


  费尔南德斯等认为,对MOOC教育质量的评价也需要包含两种方法中的非通用评价维度及指标,特别是UNE66181:2012标准中涉及的“对就业能力培训的认知”“学习方法”“可接纳性程度”三个维度的评价及ADECUR中的“虚拟课堂环境(状况)”评价。这四个评价项构成了MOOC教育质量评价的四个关键维度。将通用指标与非通用指标结合后可得到表五,即MOOC教育质量评价的核心评价内容与指标。


e.png


三、德国“MOOC设计质量保障标准”


  德国亚琛工业大学尤瑟夫等(Yousef et al.,2014)对在线学习、开放教育、远程教育等与MOOC相关文献进行研究与分析后,于2014年构建了一套MOOC设计质量保障标准(Criteria to Assure Design Quality of MOOCs),旨在使MOOC的不同利益相关者(如学习者、教师及教学机构)使用这套指导准则对MOOC教育质量进行有效、客观的评价。最初的设计包括“教学”与“技术”两个维度七类102个指标,经过预检验、筛选与调整,研究者最终建立了两个维度五类75个指标。“教学”维度下有“教学设计”与“考核”两个二级指标,下设29个指标;“技术”维度有“使用者界面”“视频内容“学习与社交工具”及“学习分析”四个二级指标,下设44个评价指标(见表六)。


f.png


g.png


  尤瑟夫等人(2014)认为,过去两年中,MOOC这一新型教学模式已引起众多学者的广泛关注,但关注与研究的焦点主要集中在引进何种商业模式、MOOC教学的挑战、如何解决高辍学率、如何有效评价MOOC学习过程及如何获得准确的反馈等问题上。虽然不少研究者也对MOOC的概念及其潜力、社会、机构、技术等问题进行了探讨,但对MOOC设计质量的研究却有限。因此,应深入研究如何设计高质量的MOOC课程,并建立相应的评价方法,以保障MOOC质量。


  尤瑟夫等人(2014)还认为,他们设计的保障标准是从学习者与教师两维视角下展开的。他们通过问卷调查发现,“教学评价”的“考核”评价(包括“电子考核”与“同伴考核”)与“技术评价”的“学习分析”评价获得了最高的中位数平均值,分别为4.21和4.25。这说明,“学习分析”与“考核”相比其它评价更为重要,应当成为有效实施MOOC课程的关键考量因素。但是,由于MOOC具有规模大、开放性高等特征,今后的研究需着重设计以学习者为中心的评价标准,以形成能够让学习者进行自我反思、自我感知与自我评价的学习环境。


四、比较与启示


  比较而言,“开放教育质量标签”更具代表性,因为该评价方法目前不但已被应用于参与OpenupEd平台各个参与国教育机构对MOOC质量的评估,同时还作为加入OpenupEd平台的条件,只有通过审查的机构并出具证明才能被授予OpenupEd标签,从而开设MOOC(OpenupEd,2015)。该评价方法的优点是机构管理和课程设置层面评价指标的选择与设置比较系统和完善,能够比较准确地评价MOOC管理与课程设置水平;其评价结果由不同评价等级得出,在一定程度上能够为机构提升MOOC教育质量提供参照。其特点是,作为一种“自我评估”的方法,能对机构的MOOC教育质量进行“预评估”,以达到自我发展、自我完善的目的。机构完成自评后,会提供一份评估报告,简要说明每个评价指标的评判理由,并拟定改进的“路线图”(roadmap),供外部专家对自评结果与改进方案进行审阅与评价,促使改进与完善(Rosewell,2013)。但该评价方法也存在一定局限性。例如,评价对象主要是开设MOOC的院校,评价指标的设置相对集中在对MOOC机构的管理与课程设置层面。它可以看作是一种形成性评价,对MOOC教学的过程性评价相对薄弱,例如未涉及学习者在MOOC教学中的学习体验、学习质量及教师授课等。此外,评价方法的效度也需在实践中进一步检验。


  “MOOC教育质量综合评价指标体系”的优点是构建理念值得推崇,它是通过使用分析方法对已构建的在线学习质量评价指标体系与质量保证标准进行对比分析,最后挑选出符合MOOC教育特点的评价维度与评价指标。该评价方法的指标设置涵盖了对学习者学习方法、学习环境、学习过程与学习成果及开设MOOC的条件、目标、资源等的评价,能够比较全面、客观地评价学习者接受MOOC教育的学习成果及学习条件。不足在于指标设置较为具体,忽略了对开设MOOC的高校管理层面的评价。例如,评估者不能根据指标评价高校机构在开设MOOC时是否具有保障MOOC教育质量的相关政策或条例,是否具有合理的MOOC发展战略,这些政策与战略是否适用于当前的MOOC教学情况等。此外,该方法对如何实际运用没有详尽说明,也缺乏相应的实证数据支撑,应用价值有待考察。


  德国“MOOC设计质量保障标准”的优点是着眼于对MOOC的设计质量进行评价,理论依据充分,且通过问卷调查的形式进行相关指标验证,适用性与有效性较强。评价指标对于“教学”及“技术”两方面的评价较全面、具体,能够为MOOC的设计提供较完善的参照标准,且能够有效地保障不同国家、不同文化背景的学习者共同获得高质量的学习经历。然而该评价方法着眼于MOOC设计方面的评价,对于在MOOC开展过程中的教学指导缺乏评价,也未涉及学生学习效果评价。


  以上的比较分析,可以得到以下启示:


  一是按评价目的选择局部或整体性评价。


  由于评价指标体系的优劣将直接影响评价结果的可信度,因此合理地选择评价类型评价指标显得尤为重要。整体性或综合性评价标准能够帮助评价者对MOOC教育的整体教育过程进行详细的考察与了解,从而对教育过程中产生的宏观问题加以改进。但评价过程较长,涉及的评价人员与考察面也更广。局部性评价能够帮助评价者对教育过程中的具体过程进行细致评价,能够审视具体过程中出现的微观问题并加以纠正,但其评价结果仅能反映MOOC教育过程中某一具体方面的质量。就整体性评价指标体系的评价维度而言,上述三种评价方法仅对MOOC教育的某个或某些维度的评价,不能全面反映MOOC的教学质量,因此构建MOOC教育质量评价指标体系需要评价整个教育过程中“输入”“过程”“输出”三个要素,并需综合MOOC教育的特点与对评估的特定要求,全方位地对MOOC教育质量进行评价。换言之,MOOC教育质量指标评价体系不仅需要涵盖对MOOC本身质量的评估(课程设计、课程实施等方面),也需要对学生的学业成绩、教师教学工作、院校教学管理工作及学生完成学习后的成果等进行有效、全面、客观的评价。因此,评价指标要能从不同方面、不同层次反映MOOC学习过程,评价内容可通过使用关键要素调查法对评价要素的重要性进行判断,筛选出较为重要且合理的指标。评价指标也要具有代表性与层次性,以明确反映评价内容、各维度及指标项之间的内在联系,从而简化评价过程并保障评价的准确性。此外,设置评价指标还应考虑区域差异(不同地区的高校、学科、专业间有较大差异),选择能够反映区域与专业特色的指标,以保证评价指标体系的适用性。指标体系构建完成后,还需要进行大量的实证研究,以验证其有效性,问卷调查与访谈等通常是比较合适的方法。


  二是突出教师与学习者的评价主体地位。


  目前的在线学习质量评价主体还较单一,且采用传统教学模式自上而下(教评学)或自下而上(学评教)的单向评价方式。由于评价主体的单一性与评价方式本身的局限性,评价不能系统、全面地揭示MOOC教育质量。以“教评学”为例,当教师作为评价主体,学生作为评价对象时,虽然教师能够对学生的考试成绩即学习效果进行客观评价,但无法揭示学生的学习过程,比如学生如何学习,他们在课程中学到了什么,取得了哪些成就和进展等。而从学生角度来说,单凭考试成绩无法正确评价课程的好坏,更无法评价教学质量的优劣。因此,评价方式的选择可采用以评价MOOC教育质量为中心,多视角的多元评价模式。也就是说,在评价MOOC教育质量时,不但需要突出教师与学习者的评价主体地位,也需要秉持多元化原则,包含多元评价主体及多元评价方式以对MOOC设计、应用、实施过程进行评价。这些评价主体可以是MOOC课程设计者、管理人员、技术人员,也可以是其他高校、教育机构。评价原则可采用“教评学”“学评教”及自我评价与机构互评相结合的综合评价方式。


  三是强化质量控制。


  MOOC教育质量评估流程至少应包含四个阶段:评估准备、评估实施、评估分析、评估结项(郑蕾,2014)。在评价准备阶段,评价单位应明确评价目的,制定评价计划;其次,评价单位安排评价时间、参评人员,确保评价过程中的硬件条件,特别是通过网络进行评价的高校应确保网络正常,以便评价顺利开展;评价单位还可以在正式评价前对小范围的评价对象进行预评价,以检验评价维度、指标设计的合理性及适用性,对不适合的评价维度与指标及时调整与改进。在评价实施阶段,评价单位需要提供一定的指导与协调,以解决评价过程中可能出现的问题,并对评价结果进行妥善的录入与存储。在评价分析阶段,数理统计方法有助于客观、公正、准确地分析评价结果。在评价结项阶段,分析人员应将评价分析报告反馈给被评价单位,并且对其中有异议的地方进行答疑;被评价单位根据各被评价主体的需要,将评价结果反馈给各被评价主体以便使其了解MOOC教育质量的状况。


h.png


i.png


  基金项目:江苏高校哲学社会科学研究重点项目“江苏高校博士生教育质量和评价机制研究”(2014ZDIXM025)。

  作者简介:刘路,南京农业大学公共管理学院博士研究生,研究方向:高等教育管理;刘志民,南京农业大学公共管理学院教授、博士生导师、国际教育学院院长、高等教育研究所所长,研究方向:教育经济、教育战略(liuzhimin@njau.edu.cn);罗英姿,南京农业大学公共管理学院教授、博士生导师,发展规划与学科建设处处长,研究方向:高等教育管理。

  转载自:《开放教育研究》杂志2015年Vol.21 No.5

  排版、插图来自公众号:MOOC(微信号:openonline)


白皮书广告 665-300-移动学习前沿首页.png


  在线教育,MOOC  






移动学习,让企业培训管理更简单

申请免费试用

问鼎云学习


企业一站式移动学习平台供应商
支持多端同步,满足各种学习场景,实现无缝学习

企业简介

关于我们

免费试用

成功案例

产品服务

学习平台

课程定制

运营服务

联系方式

 180-3341-5592

 wdxuexi@wunding.com

 深圳市南山区科技园紫光信息港C座8楼

 问鼎云学习

微信关注,分享企业培训干货

企业移动学习调研