首页 > 行业头条 >移动测评给测评技术带来的变革与挑战

移动测评给测评技术带来的变革与挑战


 

     

     

       随着智能移动设备的普及,移动时代的到来已经成为不争的事实。

 

      调查数据显示,69%的用户在过去的7天内每天都在使用手机,38%的用户每天必须带上手机才会迈出家门,甚至有60%的用户宁可放弃电视,也不愿意放弃他们的智能手机(Google, 2013),在2012年,中国用户通过移动设备访问互联网的比率超过通过传统PC浏览器,并保持一直上涨的趋势(Mary Meeker, 2013)。

 

      即使不去看这些统计数字,智能移动设备对我们生活的影响也是随处可见的。现如今,我们可以使用移动设备进行购物、沟通、旅行、订餐、打车……可以说生活的方方面面都因为移动设备的普及发生了天翻地覆的变化。

 

       传统的人才测评行业当然也是如此。在移动化的大潮中,我们看到越来越多的人才测评公司都适时推出了自己的移动测评应用或服务。

 

       那么,所谓的"移动测评",是否真的能够给我们带来方便与价值;使用移动设备进行测评,又会让我们面临哪些从前没有遇到过的风险和问题呢?

 

首先,我们要肯定的是,移动测评无疑是测评领域一项重要的突破与创新。

 

       调查显示,在中国,移动设备(智能手机)的受众81%为工作人群,59%拥有大学本科以上学历,84%为城市人口(Google, 2013),这些特征与我们测评产品主要使用者的分布高度一致。

 

       在HR方面,为应聘者提供方便快捷的申请、应聘过程无疑是吸引年轻应聘者的重要手段。(Agrawal, 2014)

 

       移动设备的灵活性与便利性也使得受测者几乎可以随时随地完成测评过程,比起传统的纸笔测试甚至有监督的上机测试,组织测验的成本被大大降低了(Lahti & DeKoekkoek, 2006)。

 

然而,在看到移动测评带给我们种种便利的同时,我们也应当看到这种测评形式的一些风险和隐患。

 

       第一,大部分情况下,移动测评是一种在线无监督测评(unproctored Internet testing, UIT)

 

      在这种测评情景下,首当其冲的风险便是应聘者作弊的风险。

 

       不经控制的发布测评题目会导致测评题目的外泄;应聘者可以注册多个账号对测评题目进行多次尝试;应聘者可以通过互联网获取一些题目的参考答案等等。

 

       在传统的计算机考试(CBT)领域,作弊这个风险尚未被完全避免。中国考生的爆题库行为曾逼迫美国College Board一度取消SAT的机考,可见此问题的严重程度。

 

       而移动测评,通常作为企业的招聘工具进行发布,这也使得移动测评的使用者通常具有高动机水平,这也是作弊行为的一大诱因。作为在线考试的新形势,发布移动测评产品时,显然要慎重考虑这个问题。

 

      第二,市面上现有的移动测评或移动考试产品,往往只是简单的完成了"网页版本到移动版本"的升级,而并没有真正考虑移动测评特殊的应用情境。

 

      我们知道,可以被称为"移动设备"的,绝对不仅仅是智能手机。不同的移动设备,其应用场景也是不同的,在不同的应用场景中,用户同样也有着不同的应用特点。

 

       比如说,研究表明,在使用移动设备时,用户完成任务被打断的影响要远远高于在电脑上完成同样任务被打断的影响(Nagata, 2003),而使用移动设备的过程,恰恰又是一个任务频繁被打断的过程(Farago, 2012)。显然,测评活动被打断对于测评结果的影响,是一个值得我们慎重考虑的问题。

 

       此外,同样作为移动设备,智能手机与平板电脑的使用情景也是有一些差别的。比起使用平板电脑,用户在使用智能手机时会更加频繁的切换应用;使用智能手机的时间更加零散,使用平板电脑的时间更加集中等(Farago, 2012)。这也使得我们应当针对不同的移动应用场景设计不同的移动应用产品。

 

       第三,用户通常是在低专注度、低投入度的情况下使用移动设备的。

 

      如上文所述,使用移动设备,特别是智能手机时,用户利用的通常都是所谓的"碎片时间",这也导致了用户使用移动设备通常处于低专注度、低投入度的状态,甚至有研究表明经常使用移动设备与注意力不集中症(ADHD)的发生高度相关(Kaiser Family Foundation, 2010)。

 

      尽管尚无相关研究,但用户在这种使用状态下进行测试,是否会对测试结果产生影响,是值得我们深思的。

 

      我们可以看到,尽管移动测评的研发已经是大势所趋,但仍有很多风险与问题需要我们研究和克服。使用任何只考虑在线的形式,而不考虑在线测评内容及适用性的产品都是武断的。这样的产品,就像是研发药品没有经过临床测试一样,使用的问题和风险都非常大。

 

      因此,我们研发移动测评产品的态度,一直是认真慎重的。我们提供的移动测评产品,一直秉持以下三个原则:

 

内容对等原则:

 

       凡是有移动应用的测评产品,必须保证其与相应的PC产品或线下产品效果基本对等,并具有符合应用标准的信效度。

 

       无论外在表现发展的何种形式,测评工具本质还是传统的纸笔测验,检验一个测评产品好用与否的标准也还是那用了近百年的信效度。

 

       所以,我们还是应该透过现象看本质,选用信效度高,而不是徒有其表的移动测评产品。

 

        毕竟移动应用形式解决的是用户的痒点(有则最好),而不是痛点(没有不行)。获取高质量的人才数据才是我们选用测评工具的关键目标。

 

形式服务内容原则:

 

       基于第一个原则,我们将"移动测评"定义为测评产品的一种使用形式,而这种使用形式应当是为测评的内容服务的。因此,我们做了以下的工作:

 

       1、只针对适合移动化情景、且移动化不会影响测验信效度的测评产品开发移动版本;

 

不是所有的测评产品都适合移动化应用的。我们的移动测评产品都是经过慎重筛选,在确认移动化不会对其使用效果产生影响的前提下,才将其改造为移动应用。

 

      2、对一些测验进行适当改编,使其在保持原有效果的基础上实现合理的移动应用。

在移动化改造的过程中,我们针对一些产品进行了合理的优化设计,使其能够在保证原有产品效果的基础上,适配移动终端。

 

     3、针对不同类型的移动设备所对应的不同应用情景提供相应的测评产品;

 

      前文提到,同是移动设备,用户在使用智能手机和平板电脑时的行为也有很大的不同。因此,我们为不同的移动应用场景研发设计不同的移动测评产品,使用户在各种移动应用情境下都能够选用合理的移动测评产品;同时,针对同一产品,我们的智能手机应用与平板电脑应用,也会有不同的设计,以适应不同设备在不同应用环境下的使用状况,并保持其结果的一致性。

 

科学设计原则:

 

       在产品设计过程中,在保证移动测评产品优良的外观设计与使用体验的同时,最大化降低移动应用场景带来的无法预期的因素对于测验目标的影响。

 

       我们在评价产品设计的过程中,除了考察产品可用性、易用性等指标外,同时考察产品在各种意外情境下的应用能力。通过优良科学的设计,将种种影响降至最低。

 

      移动测评,绝不仅仅是"做个手机版的测评界面或应用"那么简单。我们期望通过我们的努力,打造真正科学有效的移动测评产品。

 






移动学习,让企业培训管理更简单

申请免费试用

问鼎云学习


企业一站式移动学习平台供应商
支持多端同步,满足各种学习场景,实现无缝学习

企业简介

关于我们

免费试用

成功案例

产品服务

学习平台

课程定制

运营服务

联系方式

 180-3341-5592

 wdxuexi@wunding.com

 深圳市南山区科技园紫光信息港C座8楼

 问鼎云学习

微信关注,分享企业培训干货

企业移动学习调研