体感交互技术在教育中的应用现状述评

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

体感交互技术在教育中的应用现状述评*

李青1、

王青2

(1.北京师范大学2. 北京邮电大学

教育技术学院,北京1000875;网络教育学院,北京1000876)

[摘要]体感技术是人机交互历史上的一次革命,它以躯体动作、声音等自然语言来操纵多媒体设备,提供了革

命性的体验。目前,体感技术研究集中在感应精度与深度方面,在教育应用领域也有一些前沿探索和实验。该技术自体感游戏开始之际便进入了大众视野,在实现技术上可分为惯性感测、光学感测以及惯性及光学联合感测三类,微软的Kinect 采用了光学测感和声学感知技术。在教育应用方面,体感游戏开始进入课堂,就取得了较好的影响。它在语言、数学、科学、物理、特殊教育等不同学科领域内均有应用,通过三个典型案例详细讨论了其具体的教学步骤。体感技术在教学中作为教/学工具、教学内容和教学环境,可用于情境化学习、个别化学习以及游戏化学习三类教学形式,并根据不同用途具有多个整合关键点。总之,体感技术应用在教育中具有体验优、多感官、以学生为中心和支持合作学习的优势,但现阶段在部署、教学法和评价上还存在一些问题。

2015年第1期总第

226期

[关键词]体感技术;交互;教育游戏;应用现状[中图分类号]G434

[文献标识码]A

[文章编号]1672—0008(2015)01—0048—09

一、引言

体感技术(motion sensing )又称动作感应控制技术、体感交互技术,它是一种直接利用躯体动作、声音、眼球转动等方式与周边的装置或环境互动,由机器对用户的动作识别、解析,并做出反馈的人机交互技术[1][2]。它强调创造性地运用肢体动作、手势、语音等现实生活中已有方式和计算机交互,而无需为人机互动额外学习,从而减轻了人们对鼠标、键盘等非自然的操控方式的依赖,缓解了手指与鼠标、键盘的紧张关系,使用户关注于任务本身。

智能手机用户对体感应该不陌生,转动手机就可以在横屏和竖屏之间切换,晃动一下就可切换歌曲;玩小球游戏的时候,仿佛手里平端着一块板,上面的球会根据倾斜角度不同来回滚动……这些都是体感技术的具体应用。这种自然的人机交互体验不仅使很多日常操作变得更加便捷,而且还能够在无需触碰的情况下处理诸如3D 建模、搭配衣物、训练运动员,以及在手术过程中放大查看医学图像等任

务[3]。同时,体感技术也开始在教育中催生出新的应用,并正在改变和扩展学习的交互方式。

二、相关文献研究

体感技术从推广流行至今仅短短数年时间,但其在技术和应用两个方面都颇具成果。基于对现有相关文献的整理,体感技术实现方面的研究主要集中在对于感应深度和精度的探索上。如,Jan Smisek 等人将Kinect 作为3D 测量设备,研究了Kinect 的深度测量精度和错误率,设计了一个以Kinect 为硬件平台的测量工具,并在其中整合了坐标体系和标准手势[4]。K. Khoshelham 调查了Kinect 侦测、获取的数据质量,提出了一种误差分析数学模型,证实误差会随着感应器离操作物体距离的增加而增大[5]。Di

Xu 、Jianfei Cai 等人优化了Kinect 的融合技术,针对

嘈杂环境中使用Kinect 会产生的离散数据,提出了消除离散群的方案[6]。车力军和孙峰分析了3G 手机作为游戏控制器的技术和3D 显示技术,预测了体感

*基金项目:本文为国家科技重大专项课题“基于Web 的无线泛在业务环境体系架构、关键技术研究与演示验证”项目(课题编号:2012ZX03005008)的研究成果之一。

JOURNAL OF DISTANCE EDUCATION

游戏的下一步技术与应用发展[7]。贾立等综合帧间差分法与LK 光流法,提出了纷乱场景下特定运动目标体态识别抗干扰算法,并在Kinect 平台上实现[8]。

在体感设备的创新应用方面也有一些研究。例如,Gallo, L. 研发了一个无需操作、且具有高度互动性的医学影像系统控制器,将Kinect 作为输入设备,帮助用户在一定的距离内,通过手和手臂的手势与系统互动。该系统不需要复杂的校准,适合在需要灭菌的手术室中使用[9]。Daniel Sales 等研发了一种基于人工神经网络的自主导航系统,以Kinect 作为传感器检测、识别不同的环境,将机器人自主导航到达目的地[10]。黄康泉等讨论了体感设备在视频会议系统中的应用及实现,提出利用Kinect 把即时动态捕捉、影像辨识、语音辨识和社群互动等功能整合到视频会议中,获得更好地用户体验[11]。李东旭等人探讨了对于图书馆行业如何抓住体感技术来优化图书馆服务,体感技术理念对于图书馆的影响以及体感技术在图书馆应用的可行性[12]。

国内在体感技术的教育应用方面已经有初步的研究。张诗潮和钱冬明介绍了人机交互技术的基本概念和发展现状, 论述了新型自然交互技术在教育的应用[13]。顾汉杰探讨了体感手势控制在教育游戏中应用的可行性,梳理出适合体感开发的游戏类型和智力属性,在此基础上提出基于Leap Motion SDK 的设计框架,建立仿真型、题库型、融合型等三种场景模型[14]。吕开阳等提出利用Kinect 体感技术开发动物外科辅助教学系统的设想,通过Kinect 收集操作者的声音、手势和动作,转化为可理解的命令,对外科辅助教学系统进行操作,从而指导现场教学[15]。马建荣等论证了体感对亲子互动游戏有效支持,在此基础上详述了利用该技术进行亲子体感游戏设计的过程[16]。李里程和李勇帆详细论述了基于Kinect 的儿童体感交式互多媒体电子书及其学习平台的结构功能、系统模型、体态捕捉与识别、体态数据库的构建、学习内容的设计开发与实现[17]。

上述研究可见,无论在国外还是国内,体感技术的发展都有了长足的进步。在技术方面,不断向更高的感应精度与深度发展。体感技术的应用领域也在不断得到扩展,被普及到各个行业中。在教育领域内,已经有学者开始关注这一方向,并且在实现技术和教学模式上都有了前沿探索。

Theory Front

三、体感技术的发展和实现技术

(一)发展进程

体感技术进入大众视野,始于2004年索尼公司推出的一款PS2游戏机的配件—EyeTOY ,如图1(左)所示,它带来了一种新颖的人机交互方式。在游戏中,EyeTOY 上的摄像头会将电视前的玩家扫描并整合到游戏画面中,玩家可以在游戏场景中挥动双手来进行拳击、放烟花等游戏。

真正展现这项技术商业价值的是任天堂游戏机

Wii 上配备的Wiimote 手柄,如图1(中)所示,它能

够完美捕捉用户动作。Wiimote 内安装了一个三轴加速度传感器,能够在XYZ 三个方向上感知3G 加速度,并且通过模拟方式输出结果。Wii 主机将玩家挥动手柄的动作复制,并在游戏中的卡通人物上重现[18]。索尼公司于2010年3月推出了PS3游戏机上的

PlayStation Move 动感控制器。2012年10月,微软发

布了游戏主机Xbox 的体感配件Kinect ,它集图像识助任何手持设备,通过手势、肢体动作、语音等自然方式即可实现与终端的交互,使得Xbox 中的各种游戏具有更强的真实感和娱乐性。

别、视频捕捉、语音控制等多种技术于一体,无需借

图1几种体感设备:EYETOY (左)Wiimote (中)大飞鼠(右)

随着技术的进步,体感技术开始在游戏机以外的其他需要人机交互的场合下逐渐推广。例如,在家电领域,LG 和三星为智能电视配备了手势与语音控制终端。国内的迈乐公司自主研发了“大飞鼠F10

遥控器

,如图1(右)所示。该设备集成了空中鼠标、无线键鼠和遥控器三大功能,可通过手势动作和设备交互,操作起来时尚、方便、简单。

(二)实现技术

目前,体感技术在技术的实现上已基本成熟。依照感知方式与原理的不同,主要可分为惯性感测、光学感测以及惯性及光学联合感测三类(见表1)。这三类技术各有优势,适用于不同的场景和用途。由于专利壁垒,不同厂商选择了不同的技术路线。

下面不妨以Kinect 为例,分析体感技术的实现原理。Kinect 的核心部件由一个特殊的3D 体感摄影

49

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

表1

类别惯性

体感交互技术在教育中的应用现状述评

荨荨

主流体感实现技术[19]

实现方法

主要厂商

取出有用信号。Kinect 可以主动追踪最多两个玩家,或者被动追踪最多四名玩家的形体和位置。在这一阶段,系统为每个被追踪的人体在景深图像中创建遮罩,将背景物体(比如,椅子和家具等)剔除。在后

Sony Microsoft Nintendo Sony

利用重力传感器、陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数(加速度、角速度、磁场),再根据此参数来求得使用者的各种空间动作

通过光学传感器(通常是摄像头)获取人体影像,通

过复杂的计算判断出人的

肢体动作,进而与游戏中的内容互动

综合使用手柄及摄像头,手柄包含重力传感器、陀螺仪以及磁传感器,摄像头用于捕捉人体影像,结合这两种传感器,侦测人体手部的移动及转动

Logitech

光学

面的处理流程中仅仅传送遮罩后的有效数据,以减轻体感计算量。过滤后的人体图像被传送入一个辨别人体部位的机器学习系统中,随后由机器学习系统判断某个特定像素属于哪个身体部位。该处理流程的最后一步是根据前阶段运算的结果,追踪到约

综合感测

头构成,具有即时动态捕捉、影像辨识、麦克风输入、语音辨识和社群互动等功能。它以影像辨识为核心技术,结合了2D 平面影像与3D 深度影像,可精确捕捉玩家的身形轮廓与肢体位置,判断玩家的姿势动作并将这些动作映射为对游戏的操作。Kinect 的基本组成部分为红外发射机、红外摄像头、彩色摄像头和麦克风阵列,如图2所示。红外发射机发出光源照射人体,经过反射后被红外摄像头读取,然后分析红外光谱,创建可视范围内的人体和物体深度图像,进而识别人体动作(见图3);RGB 摄像头可以拍摄

2015年第1期总第226期

20个关节点,生成一个人体骨架系统,以准确地评

估人体实际所处位置和动作。

四、体感技术与教学的整合

(一)在不同学科领域内的应用

体感技术的应用融合了认知和文化层面因素:基于手势的沟通方式,鼓励用户去触摸、移动或者以其他的方式操纵设备。将其应用在教学,将有利于培养学习者的手眼协调能力、社交合作能力以及创新思维能力。从硬件上来看,在教室中可用的体感设备既可以是微软的Kinect 和任天堂的Wii 这样的游戏主机,也可以是智能手机或平板电脑,还有可能是

视角范围内的视频图像,对人体动作进行辅助校正;由四个麦克风构成的阵列可采集声音,过滤背景噪音和定位声源,或进行语言识别。

Leap Motion 这样的PC 机外接输入控制器。从用途

来看,体感设备的探索性的应用也正在快速发展,大量被作为教育游戏,以及运动技能训练工具使用。此外,体感设备还可以作为一般性的教育技术装备被使用,承担交互式白板、空中鼠标和键盘等功能,这丰富了教学活动中互动。笔者通过对体感设备在教育中应用的报道和文献进行分析,总结了体感技术

图2

Kinect 上的各类传感器[20]

在教育、培训和训练中的主要应用,如表2所示。

表2

学科领域语言、

读写算术、几何

体感技术在教育中的应用

典型应用

1

撰写讲稿,通过体感游戏中的虚拟人物播报新闻;手势信号的识别和翻译,如手语游戏

通过体感设备操作三维图形,增强对空间的感知能力;在奥林匹克竞赛的游戏中获得平均分、最高分、最低分等概念,或是收集和处理游戏中获得的数据进行评价在太空探险游戏中设计太空计划,了解关于太空物理的基本知识;

设计基于Kinect 的简易机器人,培养创造力

通过体感游戏机上的舞蹈训练游戏,锻炼肢体的协调;KinectPaint 应用可以让使用者通过手势在空中作画通过体感设备绘制图形,使之具有物理特性,如“蜡笔物理实验”游戏,或是通过体感装置控制实验器材,进行物理实验的模拟

通过扮演Kinect 游戏中的虚拟人物,促进儿童之间的社会交互,锻炼社交技能

时光走廊,通过体感设备操纵时间轴的前进和后退,查看和播放历史事件的详细信息和影像资料

2

3科学

图3Kinect 工作原理图[21]

4艺术

和人眼下意识地聚焦在移动物体上类似,Kinect 会自动寻找图像中较可能是人体的移动物体,然后对景深图像进行像素级评估,辨别人体的不同部位。在这一过程中,系统使用了优化算法缩短响应时间,采用分割策略来区分人体和背景环境,从噪音中提

5物理

67

社交技能历史

JOURNAL OF DISTANCE EDUCATION

学科领域

典型应用

体感游戏提供了对吉他和鼓等乐器的简单模拟,无需真实的乐器也可训练学生对于乐器的基本操作

通过体感设备在体育游戏中进行补充练习,训练运动技能和比赛策略

通过体感设备的手势操纵计算机进行虚拟解剖;利用体感设备操作并观察立体影像资料

“芝麻街”、“国家地理”、“迪士尼游戏”等体感游戏

Theory Front

助提高游戏水平。

891011

音乐

体育

医学幼教

此外,在计算机科学技术和电子技术领域,爱好者、研究机构和硬件厂商围绕体感技术本身的软硬件开发,也开展了一系列的教育活动。譬如,为鼓励开发者利用Kinect 硬件开发创新的应用软件,微软不仅发布了Kinect 的Windows SDK ,而且在不同场合宣传、推广和培训潜在的开发者。2011年12月,微软亚洲研究院在北京举办了Kinect for windows 培训班,包括高校师生在内的上百人参加了培训[22]。微软还资助了亚洲十所高校的13个Kinect 创新应用开发项目,包括中科院的基于Kinect 的手语识别和翻译应用,浙江大学的基于多个Kinect 设备的人体模型捕捉应用等。

(二)三个典型案例

教育游戏是体感技术的教育应用的一个主战场。学习者通过不同的游戏(例如,怪物、体育、冒险)掌握具体的行为和社交技能,学习沟通和团队合作,并且积极强化彼此,建立信任,实现身体锻炼和社交互动。下面我们将通过三个典型案例,分析体感技术如何整合课堂教学。

—数学教学案例1. “散点图”——

这是一个利用Kinect 平台上的体感游戏合集

图4

Kinect 滑雪游戏

的界

面截图

在本案例中,基于Kinect 的体感游戏作为一种有效的教学工具,丰富了教学环境。教师利用体感游戏,通过精巧的教学设计将课堂转变成身临其境的竞技场,一改传统课堂中单调、机械的“听—读—问答”这类基于灌输和记忆的教学法。体感技术也成为对学生的学习活动进行测量、记录、反馈和跟踪的工活动形式变为学生们喜闻乐见的电子游戏,学习者期待在课堂上身临其境且具有挑战性的学习体验。不仅有利于激发学习者的学习动机和学习兴趣,还有利于知识的保持和迁移。同时,教学内容不再只是客观知识,还包括价值观、良好的体育道德和团队合作等情感态度方面的能力。

具。另外,本案例中体感技术的应用,将一部分学习

2. YooStar —特殊教育社交技巧训练教学案例

体感技术在人机交互界面方面的优势为特殊教育提供了更多的可能性,这里我们将分析一个特殊教育的案例———“社交技巧”课程。本案例使用

Kinect Sports :Season Two 中的“Skiing ”游戏(后文简

称“滑雪”,见图4)来完成中学数学课程“散点图”相关知识内容的教学案例。学生在游戏中扮演滑雪者的角色,需要在数学知识的帮助下获得超越竞争对手的优势。该游戏让学生有机会在一个高度逼真的场景里使用、分析和应用散点图。活动的主要步骤如下[23]:(1)回顾“散点图”的相关知识;(2)每个学生在一张大的方格纸上绘制散点图,x 轴标记尝试次数,y 轴标记时间;(3)让学生分组进行滑雪游戏;(4)每次运动后他们都要在坐标系上记录下屏幕上的游戏结果;(5)当所有学生完成后,每一个学生都要根据自己所记录的点来绘制趋势线,确定曲线的斜率、y 轴截距,并转化为函数方程;(6)集合全班同学,分别从数学和现实世界两个方面解释这些结果,并讨论如何应用在“散点图”模块中所获得的知识帮

Kinect 游戏“Yoostar2”(见图5)作为角色扮演的平

台,训练有社交障碍的儿童学习如何在不同情况下采取适当的交际行为。这款游戏使用Kinect 体感外设捕捉玩家的动作以及声音,使其亲身参与到那些经典电影的片段的扮演中,系统会根据玩家对于影片的还原程度,给出相应的评价。在本课程中,儿童

图5Kinect 游戏Yoostar 的界面截图

51

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

从游戏提供的经典影片中选择喜爱的角色,并更改剧本以改变电影中人物的社交活动[24]。具体的活动步骤如下:(1)当一个学生玩游戏时,其他学生堵住自己的耳朵并专注玩家的肢体语言,并根据电影中的事件、角色分析该生在交际活动中的情感脉络;(2)当每个学生表演完以后,在全班讨论此情景下该生角色扮演的结果;(3)当所有学生完成了游戏后,讨论玩家的实际表现与电影中演员表现之间的差异;(4)识别出玩家的表现不符合交际规范的交互,并提供改进的思路。

在本案例中,体感游戏作为教学模拟环境和教学评估工具,在整个教学过程中起到了重要的作用。体感技术不仅是教学环境的一部分,而且是学习者进行社交学习的主要工具。在游戏中,学习者利用体感设备选择场景,并且根据场景模拟交际,能够打破社交障碍儿童在真实世界中人际交往中难以克服的恐惧感,从而起到了较好地训练效果。

—多学科课程整合教学案例3. “鱼儿飞跃时”——

2015年第1期总第

226期

五、在教学应用中的角色、用途及教学模式

(一)在教学活动中的角色和用途

从Wii 和Kinect 普及开始,体感技术在学校环境中有了初步应用。虽然大多还处于前期探索和验证阶段,未获得大规模推广,但已经逐步沉淀出一些使用经验。根据其在学习环境和学习活动中所处的地位的不同,笔者认为,目前体感技术在教育实践中主要扮演了教学工具、学习资源和学习环境三种不同的角色。

1. 作为教/学具

教室中的Kinect 是一个高度灵活、可移动、易于使用并配备了大量的应用程序和资源的教/学具。体感技术具有友善的人机接口和较好的操纵感,使得交互无需通过键盘或鼠标操作,学生只需要移动身体,或者用声音与学习内容互动。这种设计应用在教具和学具上,提供了一种新颖的操作方式,并降低了工具的使用难度。将体感和电子白板结合,可以扩展电子白板的功能,提供手势输入方式。体感技术还可以增加用户学习的沉浸感,将用户对于技术抗拒意识降低到最小,关注学习内容。它还可以帮助建立肢体动作和学习内容之间的关联性,可以实现利用身体的运动来帮助学生积极参与并专注教学活动,打破了传统教学中的静坐、静听的教学方式,真正实现从经验中积累知识,在活动中学习。

鱼儿飞跃时(When Fish Fly )是由美国加州几所高中的学生在教师的指导下自己设计的体感游戏开发项目,它将体感游戏作为学习内容和工作目标。该游戏在2011年的微软全球教育论坛中展示,取得了轰动的效果。该项目的目标是希望透过游戏设计来开展学习创新,它以西雅图的传统渔港Pike Fish

Place 为背景,设计了时间长度为一学期的专题式学

习活动计划[25]。为了完成游戏设计和开发,学生搜集了渔港的历史演变、经济发展和贸易交易等相关资料,在游戏中模拟了市场交易活动。开发游戏需要学生综合应用电脑多媒体科技、配乐、美术设计、资料整理能力,以及数学、商业、历史文化等方面的知识[26]。该游戏具有以下的特色:(1)以西雅图的渔港为背景,为学习者营造了一个真实的市场交易情境;(2)学生在情境中发现问题,自行探索问题;(3)在情境中或游戏中所呈现的均是知识性资料;(4)学习者需要逐一解决游戏所呈现的问题;(5)通过及时反馈来检测和评价游戏结果。

该项目基于微软简单易用的Kinect for Windows 开发包,以实际开发业务为活动内容,训练学生综合应用多学科知识的能力,并通过跨校园的团队合作,让每个参与者都能够发挥专长,最终建立起一种基于任务的创新合作学习模式。游戏项目完成以后,开发团队已将游戏共享在互联网上,供全球的教育者免费下载和使用。

2. 作为教学内容

体感游戏本身也可以作为教学内容。以教学为目标开发的数学游戏和语言游戏,直接包含学习内容,它和课程目标结合紧密。体育类游戏也常常用作体育课上的热身环节,或是辅助训练的内容。体感游戏能够提供精心设计的逼真情境,使得学生所学的内容从教材中的文字,拓展为活动和技能的学习。中学数学教师JohnyKissko 认为,“在代数课上利用体感技术,学生问到的问题都远远超出了教学大纲的要求,这是一个巨大的成功,因为这使得学生将知识应用在真实世界背景下的思考[27]。”

在上文的“鱼儿飞跃时”案例中,为了创设了一个逼真的渔港交易情境,学习者需要主动去搜集和整理历史、经济等方面的信息,然后在游戏中设计相关的线索,并作为游戏活动的重要资料提供给游戏者。更重要的是游戏开发中,各种专业知识和技能也是该项目预期的重点,并且需要通过合作来完成。

3. 作为教学环境

教学环境是教学活动、学习活动发生的外部条

JOURNAL OF DISTANCE EDUCATION

件。作为外部环境,体感技术可以激活主动学习,促使学生能动的参与教学活动。对于许多教师来说,如何激发学习者主动性是最具挑战性的问题,现实中有许多阻碍因素使得主动学习无法在课堂上持续,而Kinect 可以克服这些因素。体感技术的应用使得学习行为本身成为机体与环境相互作用的过程,这使学生处于舞台中心,并激励学生去学习,在学习中真正地投入注意力和兴趣,通过思考自行解决问题。

体感技术可以用于构建具备增强现实功能的教室,在一定程度上弥补了虚拟实验室与真实实验室的差距。利用体感技术,我们可以把教室扩展成多种体验环境,只需要更换不同的游戏或软件就可以切换实验内容。在某个时刻,学生也许是在环形屏幕上探索宇宙,下一节课,在同一教室内又可以虚拟解剖人体。

体感游戏还可以作为人际交往的平台。在上面第二个案例中,社交障碍儿童更倾向于同虚拟形象交互,以缓解真实世界中得压迫感。也有研究者设计了用游戏中的虚拟形象和他人交互的活动,让学习者控制自己的替身与世界各地的学习伙伴在虚拟空间中交流。

(二)体感技术整合教学的三种形式

Theory Front

内、课外活动,使学习更加具有吸引力,从而更好地服务于学生的个别化学习。例如,在语言和艺术课程中,利用角色扮演的体感游戏可以帮助学习者在课后学习如何进行情感交流与表达。不同的学习者有不同的偏好,他们会选择不同的人物角色,完成的任务也各有差异。在整个游戏过程中,体感游戏系统可以对学习者的活动进行评价和反馈,并给予相应指导。

3. 游戏化学习

体感技术的出现,为游戏化学习提供了更多的可能。教育技术的实践已经证明,游戏不仅可以帮助学习者加强学习的沉浸感,而且可以激发学习者的学习兴趣,提供及时的反馈和一个安全的失败尝试。体感技术使得学习活动更加趋向于多模态和游戏化,学生积极使用他们所有的感官进行学习时会获得更高的绩效。在课堂教学中,教师可以使用体感技术轻松地创建具有较强交互性的课堂活动。有研究显示,使用身体的运动可以促进学习过程

[30]

。John

大脑,从而帮助学习者更好的集中注意力[31]。实际上,越来越多的教师正在通过体感技术将更多的活动整合进课程内容中,而不只是在体育课上才会有。

(三)技术与教学整合的关键点

如前文所述,在课堂上可以利用体感设备实现多种教学用途。那么,如何实现体感技术和教学内容的整合?将Kinect 这类体感游戏用于课堂时,首先要确定使用目的:我们是打算将其作为课程的一部分,还是用于指导实践?是用于完成形成性评价,还是用于进行学习活动的扩展?根据不同的教学目标,我们可以设计不同类型的教学活动来整合体感游戏。这是关键点之一。

关键点二是选择使用什么样的游戏。这和具体的教学目标、教学内容相关。在很多时候,我们并不能找到直接可用的体感游戏或是软件,但可以有技巧的借用。幸运的是,互联网上已经有一些关于利用

1. 情境化教学

在体感技术的帮助下,学生可以处在高度逼真的情境中学习,甚至可以使知识具象化、可视化、变得生动活泼。体感技术的应用,使学习者从被动地接受信息变成在情境中自己理解、加工并主动建构信息。它不仅可以提供生动丰富的学习材料,还可以通过创设情境,来提供应用知识的机会,促进知识、技能与体验的连接,促进课内外迁移,从而培养灵活运用所学知识去解决实际问题的能力。

在体感游戏创设的情境中,学生是主角,不但可以激发他们的学习兴趣和愿望,还可以持续强化和促使他们主动学习。位于台湾台南的东海小学,将体感游戏应用在体育课上,学生们站在大屏幕前,准备起跑。老师发令后,学生们立即挥动双手、抬起双脚,拼命地在铺垫上跑跑跳跳。通过游戏模拟,强化学生在跑步、跳远等体育项目的正确姿势和技巧[28]。体感游戏所构造的虚拟情境还能培养学生的自信,避免错误造成的尴尬,鼓励平时不爱表现的学生也积极参与[29]。

Wii 和Kinect 进行教学的相关资源以及一些爱好者

教师提供的个人网站(如,www.kinecteducation.

com )。在这类网站上,你不仅能找到在课堂上使用体

感游戏教学的实例,还包括许多支持具体学习的应用。微软官方也提供了Kinect 课程计划库及课程案例,涉及科学、语言、数学、地理等学科,覆盖幼儿、儿童和中学生多个群体[32]。

关键点之三是确定教学模式和教学活动安排。前文已经分析了整合体感游戏时,我们可以采用情

2. 个别化学习

体感技术也可用来设计学生上课时间、课外或在家里的自学活动。教育者可以提供各种类型的课

53

h t t p ://d e j. z j t v u . e d u . c n

Medina 的实验也证实了运动使得更多的血液流向

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

境化学习、游戏化学习相关的教学模式和活动设计。对于游戏活动的安排,在课堂上我们一般会采用小组合作学习,在课后则可采用个别化的教学模式。

最后一个关键点是确定评价的方法和尺度,包括游戏结果和学习活动成果的关系,小组游戏时如何度量和评价小组成员对于活动结果的贡献等。这也是一个难点,虽然体感游戏大多和课程学习内容有相关关系,但往往并不直接关联。因此,学生在游戏中的表现需要以一定方式转化成课程内容或是对课程内容的应用,正如上文我们讨论的第一个案例“滑雪”游戏所展示的内容。

的学习活动中,学生是活动的主体,处于支配地位。他们积极、主动地参与到活动中,不断尝试,期待取得更好的结果。教师在此活动中,更多扮演了活动和规则的设计者、教练以及活动的推动者的角色。

4. 支持多个学习者同时操作的合作学习任务

在体感游戏中,电视和游戏机都是可共享的教学设备,支持多个学习者同时使用或轮流使用。根据教学目标的不同,或是游戏规则的不同,我们可设计出让学生结对PK 或分组合作等多种形式的竞技活动。游戏为我们构建了小组互动的空间,加强了学习者之间的人际联系。

5. 提供创新的表达方式

六、评述和总结

(一)在教育应用中的优势

体感技术作为一种新型的交互方式,由于其具有很好的识别、跟踪能力,以及其易操作的特点,已在很多领域得以应用。在最近的几年中,任天堂的

在教室中,学生一般通过语言和文本来表达和沟通,体感技术支持学习者在真实空间中通过肢体运动变化操控游戏,提供了新颖的表达方式。例如,在算数字的游戏中,游戏者可用两个手臂摆出大于号,小于号和等于号。角色扮演类的游戏更是以肢体语言作为通关的条件。夸张的肢体活动不仅有利于学习者对概念的认知,也能帮助他们在运动中放松舒缓情绪,在轻松欢乐的环境中实现有效的学习。

(二)目前存在的问题

当然,现阶段体感技术应用在教学中也存在很多的问题,既有技术层面的又有教育层面的。在技术层面,现有的体感技术产品大多存在精度和延迟问题。他们对于一些细致动作的识别感应能力稍弱,而且对复杂运动的识别有延迟现象。如,在弹力球游戏中,玩家普遍反映因为延迟而经常挡不到球。跳远也往往由于起跳动作的识别延迟而造成玩家犯规失分。此外,现有的体感技术平台普遍缺乏触觉反馈体验,这是一个比较大的体验黑洞。比如,在棒球游戏中,双手空摆姿势假装挥棒的感受恐怕远不及手中握有棒,更不用说进球后的震动反馈。

体感技术在教学场景中实际使用还存在这样一些问题:其一,教室空间有限,如果让学生分组游戏,则需要布置多台电视机和游戏机,并划设游戏区域。这样会使得本来就不大的教室更加拥挤,课堂活动时气氛会比较杂乱;其二,使用体感游戏平台时,准备和调试设备需要时间,而且有可能需要技术人员支持,当然也许学生就是最好技术服务人员;其三,为了赋予游戏教育意义,这些游戏需要进行筛选,根据游戏内容和游戏的功能设计教学活动。几乎没有体感游戏是为某门课程的教学而专门开发,因此,能用的游戏往往较少或没有;再有就是,由于游戏设备

Wii 和微软的Kinect 游戏平台推动了体感技术在教育

2015年第1期总第

226期

应用,取得了一定的成果。体感技术在这些早期的尝试中表现出诸多的优势,具体体现在:

1. 成本低,使用难度低,学习体验优

体感游戏套件和游戏主机以及电视机均是通用器材,价格不高,容易获得。体感技术模拟了人与人的交互方式,通常不需要用户再学习新的操作方法,仅通过日常生活中约定俗成的交流方式,直接针对要操作的对象即可完成交互。学习者通过简单的自然动作就能够实现对软件的控制,如,向左挥动手臂,计算机把这个动作识别为游戏场景向左移动,或者学习者直接说出“LEFT ”,计算机也会作出同样的反应。利用体感技术进行人机交互,降低了因缺乏计算机操作经验额外增加的认知负荷和挫折感,使学习者把关注的焦点更多地放在学习活动中,增加其参与感和控制感。

2. 多种感官并用,沉浸感好,有效提升学习效果

体感外设具有即时动态捕捉、影像识别、麦克风输入、语音识别等功能。因此,在教学应用中可以充分激活学习者的视觉、听觉、触觉、肢体运动,并作出相应反馈,使用户产生“身临其境”感觉,有效提升其在游戏中的置入感、沉浸感。多感官的刺激,能够从多个通道同时促进学习者的认知过程,提高学习者的手眼协调能力。

3. 以学生为中心,学习更具主动性

体感游戏实现了教学重心的转移。在涉及游戏

JOURNAL OF DISTANCE EDUCATION

的封闭性,体感游戏中的数字化信息很难导出和再利用,很多场景下只能手工纪录游戏结果,而不能直接导出数字化的学习活动记录或是报告;此外,家长对于游戏化学习的接受程度不一,扭转家长们对于游戏的否定看法,需要切实的教学效果和较多的介绍和推广工作。

体感技术教育应用的普及,在教学法层面上也存在一些问题,在大规模推广前迫切需要解决。首先,和其他新技术一样,体感游戏需要新的教学法支持。对现有学习理论的修正,并形成固定、可操作的教学模式,可能会是一个较长的探索过程。其次,教师在开始时可能不能很快适应新的教法,普遍在这类教学活动的设计上缺乏经验。因此,为达到较好的效果,就需要对教师进行专门的培训,并提供典型课例与可供参考的教学方案。再次,由于体感游戏的游戏属性,它更倾向于在非正式的学习活动中使用,常常缺乏明确的、可度量的教学目标,或是和现有教学目标的一致性程度较差。最后,由于缺乏合适的评价模型和评价策略,对其学习结果和学习绩效的衡量也比较困难。

虽然,目前体感技术本身还不够成熟,体感游戏也刚刚开始在各个领域内有创新地应用。但游戏并不是体感技术的边界,作为一种全新的交互方式,它正逐渐渗透到人们生活和工作的各个领域,包括教学和学习。它唤醒了人机交互领域中更大胆的创新精神,指明了未来人机交互的发展方向。相信不久的将来,体感技术会更多地参与到学习过程中,并且催生出越来越多地教育创新。

[参考文献]

[1][16]马建荣, 章苏静, 李凤. 基于体感技术的亲子互动游戏设计与实现[J].中国电化教育,2012,(9):85-90.

Theory Front

[9]GalloL, Placitelli A P, Ciampi M. Controller-free exploration of med -ical image data:Experiencing the Kinect [C]//Computer-BasedMedi -cal Systems (CBMS),201124th International Symposium on. IEEE, 2011:1-6.

[10]DanielSales, DiogoCorrea,Fernando S. Os ório, Denis F. Wolf.3D

Vision -Based Autonomous Navigation System Using ANN and Kinect Sensor[M].Communicationsin Computer and Information Sci -ence, 2012,305-314.

[11]黄康泉, 陈壁金, 郑博, 徐芝琦.Kinect 在视频会议系统中的应用[J].

广西大学学报(自然科学版),2011,36(1):308-313.

[13][21]张诗潮, 钱冬明. 体感技术现状和发展研究[J].华东师范大学学

报(自然科学版),2014,(2):40-49,126.

[14]顾汉杰.The Leap 概念视角下的体感控制型教育游戏设计[J]现代

教育技术,2014,(2):108-114

[15]吕开阳, 叶华茂等.Kinect 体感技术在动物外科实验教学中的应用

及展望[J].中国医学教育技术,2012,26(2):171-173.

[17]李里程; 李勇帆. 基于Kinect 的儿童体感交互式多媒体电子书及

其学习平台的研发[J].中小学信息技术教育,2013(Z1):96-101.

[18]杨宇良. 体感:神物一般的存在[J].软件工程师,2011,(8):19-24.[19]百度百科. 体感技术[EB/OL].[2013-05-10].http://baike.baidu.com/

view/5338106.htm.

[20]T觟lgyessy M, Hubinsky P. The Kinect sensor in robotics education

ucation. 2011:143-146.

[22]Microsoft.Kinect AcdemicProgram [EB/OL].[2014-06-02].http://

research.microsoft.com/en-us/collaboration/global/asia-pacific/pro-grams/kinect-academic-program.aspx.

[23]Microsoft.Ski for success with scatter plots [EB/OL].[2014-06-02].

http://www.microsoft.com/education/en-us/products/Pages/kinect.as-px#3.

[24]Microsoft.Building social skills [EB/OL].[2014-06-02].http://www.

microsoft.com/education/en-us/products/Pages/kinect.aspx#3.[25][28]台湾微软.Kinect 抓得住你!体感融入教学大公开[EB/OL].

[2014-12-14].http://www.microsoft.com/taiwan/education/epaper/no_4/hot_tip.aspx.

[26]DougBergman. When Fish Fly:A new kind of Project [EB/OL].

[2014-05-29].http://innovativeteacher.org/?p=111.

[27]Microsoft.Change the Game with Interactive Learning [EB/OL].

[2014-12-14].http://download.microsoft.com/download/C/4/5/Kinect_in_Education.pdf.

[29]MMl.Kinect走进教室[EB/OL].[2014-06-02].http://www.mml.com.

tw/topic/index?id=149984.

[30]Edutopia.Six Tips for Brain Based Learning [EB/OL].[2014-06-02].

http://www.edutopia.org/node/447922/guide-download.

[31]AndrewMiller.Kinect in the Classroom[EB/OL].[2014-06-02].http://

www.edutopia.org/blog/kinect-classroom-andrew-miller.

[32]Microsoft.Classroom activities and curriculum ideas for using im -mersive learning technology [EB/OL].[2014-06-02].http://www.mi-crosoft.com/education/en-us/products/Pages/kinect.aspx#3.

[C]//Proceedingsof 2nd International Conference on Robotics in Ed -

[2][3][12]李东旭, 江澄, 刘海峰. 体感技术驱动下的图书馆应用平台架构创新与体验革命[J].大学图书馆学报,2012,30(5):12-17.

[4]Jan Smisek, MichalJancosek, TomasPajdla. 3D with Kinect [M].Con-sumer Depth Cameras for Computer Vision, 2013, 3-25.

[5]K.Khoshelham.ACCURACY ANALYSIS OF KINECT DEPTH DATA [J].InternationalArchives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIII -5/W12,2011ISPRS Calgary.

[6]DiXu, JianfeiCai, Tat Jen Cham, PhilipFu, JuyongZhang.Kinect -Based Easy 3D Object Reconstruction [J].Rapport:Journal of the Computer Science, Volume 7674, 2012, pp 476-483.

[7]车力军, 孙峰.3G 时代体感游戏的发展思考[J].电信技术,2011,(11):55-58.

[8]贾立, 程律, 郭德慧, 潘峰. 面向人机交互技术的体态感知抗干扰方法研究[J].技术应用,2012,(6):49-53.

[作者简介]

李青, 博士, 北京师范大学博士后,邮电大学副教授, 硕士生导师, 主要研究方向为远程教育、数字化学习环境、移动学习等; 王青, 北京邮电大学教育技术专业硕士研究生, 主要研究方向为数字化学习环境设计。

55

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

Motion Sensing Technology in Education

Li Qing 1,2&Wang Qing 2

(1. School of Educational Technology, Beijing Normal University, Beijing 100875;

2. School of Network Education, Beijing University of Posts and Telecommunications, Beijing 100876)

【Abstract】Motion sensing technology, a revolution in the history of human-computer interaction, can manipulate multimedia equipments by means of body movements, sounds and other natural languages, which is a revolutionary experience to us. Now, the researches on motion sensing technology focus on sensing accuracy and depth, and its application in education. This technology has attracted many people ’s attention with the development of motion sensing game, which can be divided into inertial sensor, optical sensor and combination of inertial sensor and optical sensor. Kinect of Microsoft adopted inertial sensor technology and acoustic sensor technology. Motion sensing game has made some achievements when it is applied into many fields such as language, mathematics, science, physics and special education. In the paper, three specific examples with detailed teaching process are analyzed. When motion sensing technology is applied into education, it has some characteristics of teaching/learningtools, teaching content and teaching environment, which can be used in situated learning, personalized learning and game learning. Motion sensing technology has some advantages of good experience, multi sensory, student-centered teaching and cooperative learning when applied into education, while some problems arise from teaching plan, teaching methods and assessment.

【Keywords】Motion sensing technology; Interaction; Education game; Status

收稿日期:2014年12月3日

责任编辑:陈

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

2015年第1期总第

226期

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

浙江省本科高校微课教学比赛近日举行

【本刊讯】由浙江省教育厅和全国高校教师网络培训中心联合举办的浙江省本科高校微课教学比赛近日举行。本次比赛由浙江省高等学校师资培训中心承办,全省

的认知心理,能有效降低教育成本以及知识传授的门槛。微课的有效应用与推广,体现了一种新的资源建设观念及方式。微课既可以线上线下相结合,以可线上或线下独立使用。形成系列化、规模货摊微课资源与翻转课堂、在线教育、移动学习、泛在学习等领域相结合后,其使用将更为灵活、便捷、高效,能有效解决目前教育资源颁布不均、教育资源更新速度慢、教育资源共享程度低、教育资源重复建设及使用率低等客观存在的问题,对促进优质教育资源共享,推动信息技术与高等教育深度融合,缩小教育数字鸿沟,促进教与学方式变革,促进教师专业成长、促进学生自助式学习、构建学习型社会等多个方面都有着重要的现实意义。

据有关人士介绍,微课契合了全省本科教学工程要求,而且与我国高等学校教学质量与教学改革工程的建设要求相契合。通过微课教学比赛活动,不仅可以改进师生学习的交流方式,拓展获取知识的渠道,促进信息技术与学科教学的深度融合,还可以让施教者以此为基点而静心去解读教育、敬思教育。浙江省举行高校本科微课教学比赛,对贯彻落实全面提高高等教育质量工作会议精神和教育信息化十年发展规划,提高全省高校教师教学能力和课程建设能力,扎实推进数字化学习资源共建共享工作,都有着积极、切实的实践意义。

(杨辉)

38所本科院校(包括6所独立院校)经过校赛(初赛),共

计选送295位教师的微课作品参加省赛(复赛)。赛事采取线上线下相结合的方式开展评审工作。线上评选工作包括参赛者教师互评及专家网评的方式,线下评选工作由专家根据线上选评结果,对排名靠前的参赛作品进行两次点评和审查。主要分为资料审核和网络展示、参赛教师网络互评和专家网评、专家会评、教学交流四个阶段。浙江省高等学校师资培训中心精心组织专家,依据《全国高校微课教学比赛评审规则》对参赛选手的作品予以评审,最终评选的省赛获奖作品将直接选送参加国赛(决赛)。决赛将于2015年3-4月份举行。

微课教学是指“以视频为主要载体,记录教师围绕某个知识点或教学环节的简短、完整的教学活动,”用微课资源教学通常教师可以在自己的课堂教学环节,通过播放和演示相关的教学视频或其他微型课件,来辅助讲解与阐释教学中的知识点、重点和难点。微课是随着现代信息技术广泛使用而迅速发展起来的新型教育形式,具备“形式多样、主题突出、短小精趣”等特点,通常以微视频资源为中心,可与其它配套教学资源共同构成简短、完整的教学活动。微课的迅速发展符合当下“微”时代学习者

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

体感交互技术在教育中的应用现状述评*

李青1、

王青2

(1.北京师范大学2. 北京邮电大学

教育技术学院,北京1000875;网络教育学院,北京1000876)

[摘要]体感技术是人机交互历史上的一次革命,它以躯体动作、声音等自然语言来操纵多媒体设备,提供了革

命性的体验。目前,体感技术研究集中在感应精度与深度方面,在教育应用领域也有一些前沿探索和实验。该技术自体感游戏开始之际便进入了大众视野,在实现技术上可分为惯性感测、光学感测以及惯性及光学联合感测三类,微软的Kinect 采用了光学测感和声学感知技术。在教育应用方面,体感游戏开始进入课堂,就取得了较好的影响。它在语言、数学、科学、物理、特殊教育等不同学科领域内均有应用,通过三个典型案例详细讨论了其具体的教学步骤。体感技术在教学中作为教/学工具、教学内容和教学环境,可用于情境化学习、个别化学习以及游戏化学习三类教学形式,并根据不同用途具有多个整合关键点。总之,体感技术应用在教育中具有体验优、多感官、以学生为中心和支持合作学习的优势,但现阶段在部署、教学法和评价上还存在一些问题。

2015年第1期总第

226期

[关键词]体感技术;交互;教育游戏;应用现状[中图分类号]G434

[文献标识码]A

[文章编号]1672—0008(2015)01—0048—09

一、引言

体感技术(motion sensing )又称动作感应控制技术、体感交互技术,它是一种直接利用躯体动作、声音、眼球转动等方式与周边的装置或环境互动,由机器对用户的动作识别、解析,并做出反馈的人机交互技术[1][2]。它强调创造性地运用肢体动作、手势、语音等现实生活中已有方式和计算机交互,而无需为人机互动额外学习,从而减轻了人们对鼠标、键盘等非自然的操控方式的依赖,缓解了手指与鼠标、键盘的紧张关系,使用户关注于任务本身。

智能手机用户对体感应该不陌生,转动手机就可以在横屏和竖屏之间切换,晃动一下就可切换歌曲;玩小球游戏的时候,仿佛手里平端着一块板,上面的球会根据倾斜角度不同来回滚动……这些都是体感技术的具体应用。这种自然的人机交互体验不仅使很多日常操作变得更加便捷,而且还能够在无需触碰的情况下处理诸如3D 建模、搭配衣物、训练运动员,以及在手术过程中放大查看医学图像等任

务[3]。同时,体感技术也开始在教育中催生出新的应用,并正在改变和扩展学习的交互方式。

二、相关文献研究

体感技术从推广流行至今仅短短数年时间,但其在技术和应用两个方面都颇具成果。基于对现有相关文献的整理,体感技术实现方面的研究主要集中在对于感应深度和精度的探索上。如,Jan Smisek 等人将Kinect 作为3D 测量设备,研究了Kinect 的深度测量精度和错误率,设计了一个以Kinect 为硬件平台的测量工具,并在其中整合了坐标体系和标准手势[4]。K. Khoshelham 调查了Kinect 侦测、获取的数据质量,提出了一种误差分析数学模型,证实误差会随着感应器离操作物体距离的增加而增大[5]。Di

Xu 、Jianfei Cai 等人优化了Kinect 的融合技术,针对

嘈杂环境中使用Kinect 会产生的离散数据,提出了消除离散群的方案[6]。车力军和孙峰分析了3G 手机作为游戏控制器的技术和3D 显示技术,预测了体感

*基金项目:本文为国家科技重大专项课题“基于Web 的无线泛在业务环境体系架构、关键技术研究与演示验证”项目(课题编号:2012ZX03005008)的研究成果之一。

JOURNAL OF DISTANCE EDUCATION

游戏的下一步技术与应用发展[7]。贾立等综合帧间差分法与LK 光流法,提出了纷乱场景下特定运动目标体态识别抗干扰算法,并在Kinect 平台上实现[8]。

在体感设备的创新应用方面也有一些研究。例如,Gallo, L. 研发了一个无需操作、且具有高度互动性的医学影像系统控制器,将Kinect 作为输入设备,帮助用户在一定的距离内,通过手和手臂的手势与系统互动。该系统不需要复杂的校准,适合在需要灭菌的手术室中使用[9]。Daniel Sales 等研发了一种基于人工神经网络的自主导航系统,以Kinect 作为传感器检测、识别不同的环境,将机器人自主导航到达目的地[10]。黄康泉等讨论了体感设备在视频会议系统中的应用及实现,提出利用Kinect 把即时动态捕捉、影像辨识、语音辨识和社群互动等功能整合到视频会议中,获得更好地用户体验[11]。李东旭等人探讨了对于图书馆行业如何抓住体感技术来优化图书馆服务,体感技术理念对于图书馆的影响以及体感技术在图书馆应用的可行性[12]。

国内在体感技术的教育应用方面已经有初步的研究。张诗潮和钱冬明介绍了人机交互技术的基本概念和发展现状, 论述了新型自然交互技术在教育的应用[13]。顾汉杰探讨了体感手势控制在教育游戏中应用的可行性,梳理出适合体感开发的游戏类型和智力属性,在此基础上提出基于Leap Motion SDK 的设计框架,建立仿真型、题库型、融合型等三种场景模型[14]。吕开阳等提出利用Kinect 体感技术开发动物外科辅助教学系统的设想,通过Kinect 收集操作者的声音、手势和动作,转化为可理解的命令,对外科辅助教学系统进行操作,从而指导现场教学[15]。马建荣等论证了体感对亲子互动游戏有效支持,在此基础上详述了利用该技术进行亲子体感游戏设计的过程[16]。李里程和李勇帆详细论述了基于Kinect 的儿童体感交式互多媒体电子书及其学习平台的结构功能、系统模型、体态捕捉与识别、体态数据库的构建、学习内容的设计开发与实现[17]。

上述研究可见,无论在国外还是国内,体感技术的发展都有了长足的进步。在技术方面,不断向更高的感应精度与深度发展。体感技术的应用领域也在不断得到扩展,被普及到各个行业中。在教育领域内,已经有学者开始关注这一方向,并且在实现技术和教学模式上都有了前沿探索。

Theory Front

三、体感技术的发展和实现技术

(一)发展进程

体感技术进入大众视野,始于2004年索尼公司推出的一款PS2游戏机的配件—EyeTOY ,如图1(左)所示,它带来了一种新颖的人机交互方式。在游戏中,EyeTOY 上的摄像头会将电视前的玩家扫描并整合到游戏画面中,玩家可以在游戏场景中挥动双手来进行拳击、放烟花等游戏。

真正展现这项技术商业价值的是任天堂游戏机

Wii 上配备的Wiimote 手柄,如图1(中)所示,它能

够完美捕捉用户动作。Wiimote 内安装了一个三轴加速度传感器,能够在XYZ 三个方向上感知3G 加速度,并且通过模拟方式输出结果。Wii 主机将玩家挥动手柄的动作复制,并在游戏中的卡通人物上重现[18]。索尼公司于2010年3月推出了PS3游戏机上的

PlayStation Move 动感控制器。2012年10月,微软发

布了游戏主机Xbox 的体感配件Kinect ,它集图像识助任何手持设备,通过手势、肢体动作、语音等自然方式即可实现与终端的交互,使得Xbox 中的各种游戏具有更强的真实感和娱乐性。

别、视频捕捉、语音控制等多种技术于一体,无需借

图1几种体感设备:EYETOY (左)Wiimote (中)大飞鼠(右)

随着技术的进步,体感技术开始在游戏机以外的其他需要人机交互的场合下逐渐推广。例如,在家电领域,LG 和三星为智能电视配备了手势与语音控制终端。国内的迈乐公司自主研发了“大飞鼠F10

遥控器

,如图1(右)所示。该设备集成了空中鼠标、无线键鼠和遥控器三大功能,可通过手势动作和设备交互,操作起来时尚、方便、简单。

(二)实现技术

目前,体感技术在技术的实现上已基本成熟。依照感知方式与原理的不同,主要可分为惯性感测、光学感测以及惯性及光学联合感测三类(见表1)。这三类技术各有优势,适用于不同的场景和用途。由于专利壁垒,不同厂商选择了不同的技术路线。

下面不妨以Kinect 为例,分析体感技术的实现原理。Kinect 的核心部件由一个特殊的3D 体感摄影

49

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

表1

类别惯性

体感交互技术在教育中的应用现状述评

荨荨

主流体感实现技术[19]

实现方法

主要厂商

取出有用信号。Kinect 可以主动追踪最多两个玩家,或者被动追踪最多四名玩家的形体和位置。在这一阶段,系统为每个被追踪的人体在景深图像中创建遮罩,将背景物体(比如,椅子和家具等)剔除。在后

Sony Microsoft Nintendo Sony

利用重力传感器、陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数(加速度、角速度、磁场),再根据此参数来求得使用者的各种空间动作

通过光学传感器(通常是摄像头)获取人体影像,通

过复杂的计算判断出人的

肢体动作,进而与游戏中的内容互动

综合使用手柄及摄像头,手柄包含重力传感器、陀螺仪以及磁传感器,摄像头用于捕捉人体影像,结合这两种传感器,侦测人体手部的移动及转动

Logitech

光学

面的处理流程中仅仅传送遮罩后的有效数据,以减轻体感计算量。过滤后的人体图像被传送入一个辨别人体部位的机器学习系统中,随后由机器学习系统判断某个特定像素属于哪个身体部位。该处理流程的最后一步是根据前阶段运算的结果,追踪到约

综合感测

头构成,具有即时动态捕捉、影像辨识、麦克风输入、语音辨识和社群互动等功能。它以影像辨识为核心技术,结合了2D 平面影像与3D 深度影像,可精确捕捉玩家的身形轮廓与肢体位置,判断玩家的姿势动作并将这些动作映射为对游戏的操作。Kinect 的基本组成部分为红外发射机、红外摄像头、彩色摄像头和麦克风阵列,如图2所示。红外发射机发出光源照射人体,经过反射后被红外摄像头读取,然后分析红外光谱,创建可视范围内的人体和物体深度图像,进而识别人体动作(见图3);RGB 摄像头可以拍摄

2015年第1期总第226期

20个关节点,生成一个人体骨架系统,以准确地评

估人体实际所处位置和动作。

四、体感技术与教学的整合

(一)在不同学科领域内的应用

体感技术的应用融合了认知和文化层面因素:基于手势的沟通方式,鼓励用户去触摸、移动或者以其他的方式操纵设备。将其应用在教学,将有利于培养学习者的手眼协调能力、社交合作能力以及创新思维能力。从硬件上来看,在教室中可用的体感设备既可以是微软的Kinect 和任天堂的Wii 这样的游戏主机,也可以是智能手机或平板电脑,还有可能是

视角范围内的视频图像,对人体动作进行辅助校正;由四个麦克风构成的阵列可采集声音,过滤背景噪音和定位声源,或进行语言识别。

Leap Motion 这样的PC 机外接输入控制器。从用途

来看,体感设备的探索性的应用也正在快速发展,大量被作为教育游戏,以及运动技能训练工具使用。此外,体感设备还可以作为一般性的教育技术装备被使用,承担交互式白板、空中鼠标和键盘等功能,这丰富了教学活动中互动。笔者通过对体感设备在教育中应用的报道和文献进行分析,总结了体感技术

图2

Kinect 上的各类传感器[20]

在教育、培训和训练中的主要应用,如表2所示。

表2

学科领域语言、

读写算术、几何

体感技术在教育中的应用

典型应用

1

撰写讲稿,通过体感游戏中的虚拟人物播报新闻;手势信号的识别和翻译,如手语游戏

通过体感设备操作三维图形,增强对空间的感知能力;在奥林匹克竞赛的游戏中获得平均分、最高分、最低分等概念,或是收集和处理游戏中获得的数据进行评价在太空探险游戏中设计太空计划,了解关于太空物理的基本知识;

设计基于Kinect 的简易机器人,培养创造力

通过体感游戏机上的舞蹈训练游戏,锻炼肢体的协调;KinectPaint 应用可以让使用者通过手势在空中作画通过体感设备绘制图形,使之具有物理特性,如“蜡笔物理实验”游戏,或是通过体感装置控制实验器材,进行物理实验的模拟

通过扮演Kinect 游戏中的虚拟人物,促进儿童之间的社会交互,锻炼社交技能

时光走廊,通过体感设备操纵时间轴的前进和后退,查看和播放历史事件的详细信息和影像资料

2

3科学

图3Kinect 工作原理图[21]

4艺术

和人眼下意识地聚焦在移动物体上类似,Kinect 会自动寻找图像中较可能是人体的移动物体,然后对景深图像进行像素级评估,辨别人体的不同部位。在这一过程中,系统使用了优化算法缩短响应时间,采用分割策略来区分人体和背景环境,从噪音中提

5物理

67

社交技能历史

JOURNAL OF DISTANCE EDUCATION

学科领域

典型应用

体感游戏提供了对吉他和鼓等乐器的简单模拟,无需真实的乐器也可训练学生对于乐器的基本操作

通过体感设备在体育游戏中进行补充练习,训练运动技能和比赛策略

通过体感设备的手势操纵计算机进行虚拟解剖;利用体感设备操作并观察立体影像资料

“芝麻街”、“国家地理”、“迪士尼游戏”等体感游戏

Theory Front

助提高游戏水平。

891011

音乐

体育

医学幼教

此外,在计算机科学技术和电子技术领域,爱好者、研究机构和硬件厂商围绕体感技术本身的软硬件开发,也开展了一系列的教育活动。譬如,为鼓励开发者利用Kinect 硬件开发创新的应用软件,微软不仅发布了Kinect 的Windows SDK ,而且在不同场合宣传、推广和培训潜在的开发者。2011年12月,微软亚洲研究院在北京举办了Kinect for windows 培训班,包括高校师生在内的上百人参加了培训[22]。微软还资助了亚洲十所高校的13个Kinect 创新应用开发项目,包括中科院的基于Kinect 的手语识别和翻译应用,浙江大学的基于多个Kinect 设备的人体模型捕捉应用等。

(二)三个典型案例

教育游戏是体感技术的教育应用的一个主战场。学习者通过不同的游戏(例如,怪物、体育、冒险)掌握具体的行为和社交技能,学习沟通和团队合作,并且积极强化彼此,建立信任,实现身体锻炼和社交互动。下面我们将通过三个典型案例,分析体感技术如何整合课堂教学。

—数学教学案例1. “散点图”——

这是一个利用Kinect 平台上的体感游戏合集

图4

Kinect 滑雪游戏

的界

面截图

在本案例中,基于Kinect 的体感游戏作为一种有效的教学工具,丰富了教学环境。教师利用体感游戏,通过精巧的教学设计将课堂转变成身临其境的竞技场,一改传统课堂中单调、机械的“听—读—问答”这类基于灌输和记忆的教学法。体感技术也成为对学生的学习活动进行测量、记录、反馈和跟踪的工活动形式变为学生们喜闻乐见的电子游戏,学习者期待在课堂上身临其境且具有挑战性的学习体验。不仅有利于激发学习者的学习动机和学习兴趣,还有利于知识的保持和迁移。同时,教学内容不再只是客观知识,还包括价值观、良好的体育道德和团队合作等情感态度方面的能力。

具。另外,本案例中体感技术的应用,将一部分学习

2. YooStar —特殊教育社交技巧训练教学案例

体感技术在人机交互界面方面的优势为特殊教育提供了更多的可能性,这里我们将分析一个特殊教育的案例———“社交技巧”课程。本案例使用

Kinect Sports :Season Two 中的“Skiing ”游戏(后文简

称“滑雪”,见图4)来完成中学数学课程“散点图”相关知识内容的教学案例。学生在游戏中扮演滑雪者的角色,需要在数学知识的帮助下获得超越竞争对手的优势。该游戏让学生有机会在一个高度逼真的场景里使用、分析和应用散点图。活动的主要步骤如下[23]:(1)回顾“散点图”的相关知识;(2)每个学生在一张大的方格纸上绘制散点图,x 轴标记尝试次数,y 轴标记时间;(3)让学生分组进行滑雪游戏;(4)每次运动后他们都要在坐标系上记录下屏幕上的游戏结果;(5)当所有学生完成后,每一个学生都要根据自己所记录的点来绘制趋势线,确定曲线的斜率、y 轴截距,并转化为函数方程;(6)集合全班同学,分别从数学和现实世界两个方面解释这些结果,并讨论如何应用在“散点图”模块中所获得的知识帮

Kinect 游戏“Yoostar2”(见图5)作为角色扮演的平

台,训练有社交障碍的儿童学习如何在不同情况下采取适当的交际行为。这款游戏使用Kinect 体感外设捕捉玩家的动作以及声音,使其亲身参与到那些经典电影的片段的扮演中,系统会根据玩家对于影片的还原程度,给出相应的评价。在本课程中,儿童

图5Kinect 游戏Yoostar 的界面截图

51

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

从游戏提供的经典影片中选择喜爱的角色,并更改剧本以改变电影中人物的社交活动[24]。具体的活动步骤如下:(1)当一个学生玩游戏时,其他学生堵住自己的耳朵并专注玩家的肢体语言,并根据电影中的事件、角色分析该生在交际活动中的情感脉络;(2)当每个学生表演完以后,在全班讨论此情景下该生角色扮演的结果;(3)当所有学生完成了游戏后,讨论玩家的实际表现与电影中演员表现之间的差异;(4)识别出玩家的表现不符合交际规范的交互,并提供改进的思路。

在本案例中,体感游戏作为教学模拟环境和教学评估工具,在整个教学过程中起到了重要的作用。体感技术不仅是教学环境的一部分,而且是学习者进行社交学习的主要工具。在游戏中,学习者利用体感设备选择场景,并且根据场景模拟交际,能够打破社交障碍儿童在真实世界中人际交往中难以克服的恐惧感,从而起到了较好地训练效果。

—多学科课程整合教学案例3. “鱼儿飞跃时”——

2015年第1期总第

226期

五、在教学应用中的角色、用途及教学模式

(一)在教学活动中的角色和用途

从Wii 和Kinect 普及开始,体感技术在学校环境中有了初步应用。虽然大多还处于前期探索和验证阶段,未获得大规模推广,但已经逐步沉淀出一些使用经验。根据其在学习环境和学习活动中所处的地位的不同,笔者认为,目前体感技术在教育实践中主要扮演了教学工具、学习资源和学习环境三种不同的角色。

1. 作为教/学具

教室中的Kinect 是一个高度灵活、可移动、易于使用并配备了大量的应用程序和资源的教/学具。体感技术具有友善的人机接口和较好的操纵感,使得交互无需通过键盘或鼠标操作,学生只需要移动身体,或者用声音与学习内容互动。这种设计应用在教具和学具上,提供了一种新颖的操作方式,并降低了工具的使用难度。将体感和电子白板结合,可以扩展电子白板的功能,提供手势输入方式。体感技术还可以增加用户学习的沉浸感,将用户对于技术抗拒意识降低到最小,关注学习内容。它还可以帮助建立肢体动作和学习内容之间的关联性,可以实现利用身体的运动来帮助学生积极参与并专注教学活动,打破了传统教学中的静坐、静听的教学方式,真正实现从经验中积累知识,在活动中学习。

鱼儿飞跃时(When Fish Fly )是由美国加州几所高中的学生在教师的指导下自己设计的体感游戏开发项目,它将体感游戏作为学习内容和工作目标。该游戏在2011年的微软全球教育论坛中展示,取得了轰动的效果。该项目的目标是希望透过游戏设计来开展学习创新,它以西雅图的传统渔港Pike Fish

Place 为背景,设计了时间长度为一学期的专题式学

习活动计划[25]。为了完成游戏设计和开发,学生搜集了渔港的历史演变、经济发展和贸易交易等相关资料,在游戏中模拟了市场交易活动。开发游戏需要学生综合应用电脑多媒体科技、配乐、美术设计、资料整理能力,以及数学、商业、历史文化等方面的知识[26]。该游戏具有以下的特色:(1)以西雅图的渔港为背景,为学习者营造了一个真实的市场交易情境;(2)学生在情境中发现问题,自行探索问题;(3)在情境中或游戏中所呈现的均是知识性资料;(4)学习者需要逐一解决游戏所呈现的问题;(5)通过及时反馈来检测和评价游戏结果。

该项目基于微软简单易用的Kinect for Windows 开发包,以实际开发业务为活动内容,训练学生综合应用多学科知识的能力,并通过跨校园的团队合作,让每个参与者都能够发挥专长,最终建立起一种基于任务的创新合作学习模式。游戏项目完成以后,开发团队已将游戏共享在互联网上,供全球的教育者免费下载和使用。

2. 作为教学内容

体感游戏本身也可以作为教学内容。以教学为目标开发的数学游戏和语言游戏,直接包含学习内容,它和课程目标结合紧密。体育类游戏也常常用作体育课上的热身环节,或是辅助训练的内容。体感游戏能够提供精心设计的逼真情境,使得学生所学的内容从教材中的文字,拓展为活动和技能的学习。中学数学教师JohnyKissko 认为,“在代数课上利用体感技术,学生问到的问题都远远超出了教学大纲的要求,这是一个巨大的成功,因为这使得学生将知识应用在真实世界背景下的思考[27]。”

在上文的“鱼儿飞跃时”案例中,为了创设了一个逼真的渔港交易情境,学习者需要主动去搜集和整理历史、经济等方面的信息,然后在游戏中设计相关的线索,并作为游戏活动的重要资料提供给游戏者。更重要的是游戏开发中,各种专业知识和技能也是该项目预期的重点,并且需要通过合作来完成。

3. 作为教学环境

教学环境是教学活动、学习活动发生的外部条

JOURNAL OF DISTANCE EDUCATION

件。作为外部环境,体感技术可以激活主动学习,促使学生能动的参与教学活动。对于许多教师来说,如何激发学习者主动性是最具挑战性的问题,现实中有许多阻碍因素使得主动学习无法在课堂上持续,而Kinect 可以克服这些因素。体感技术的应用使得学习行为本身成为机体与环境相互作用的过程,这使学生处于舞台中心,并激励学生去学习,在学习中真正地投入注意力和兴趣,通过思考自行解决问题。

体感技术可以用于构建具备增强现实功能的教室,在一定程度上弥补了虚拟实验室与真实实验室的差距。利用体感技术,我们可以把教室扩展成多种体验环境,只需要更换不同的游戏或软件就可以切换实验内容。在某个时刻,学生也许是在环形屏幕上探索宇宙,下一节课,在同一教室内又可以虚拟解剖人体。

体感游戏还可以作为人际交往的平台。在上面第二个案例中,社交障碍儿童更倾向于同虚拟形象交互,以缓解真实世界中得压迫感。也有研究者设计了用游戏中的虚拟形象和他人交互的活动,让学习者控制自己的替身与世界各地的学习伙伴在虚拟空间中交流。

(二)体感技术整合教学的三种形式

Theory Front

内、课外活动,使学习更加具有吸引力,从而更好地服务于学生的个别化学习。例如,在语言和艺术课程中,利用角色扮演的体感游戏可以帮助学习者在课后学习如何进行情感交流与表达。不同的学习者有不同的偏好,他们会选择不同的人物角色,完成的任务也各有差异。在整个游戏过程中,体感游戏系统可以对学习者的活动进行评价和反馈,并给予相应指导。

3. 游戏化学习

体感技术的出现,为游戏化学习提供了更多的可能。教育技术的实践已经证明,游戏不仅可以帮助学习者加强学习的沉浸感,而且可以激发学习者的学习兴趣,提供及时的反馈和一个安全的失败尝试。体感技术使得学习活动更加趋向于多模态和游戏化,学生积极使用他们所有的感官进行学习时会获得更高的绩效。在课堂教学中,教师可以使用体感技术轻松地创建具有较强交互性的课堂活动。有研究显示,使用身体的运动可以促进学习过程

[30]

。John

大脑,从而帮助学习者更好的集中注意力[31]。实际上,越来越多的教师正在通过体感技术将更多的活动整合进课程内容中,而不只是在体育课上才会有。

(三)技术与教学整合的关键点

如前文所述,在课堂上可以利用体感设备实现多种教学用途。那么,如何实现体感技术和教学内容的整合?将Kinect 这类体感游戏用于课堂时,首先要确定使用目的:我们是打算将其作为课程的一部分,还是用于指导实践?是用于完成形成性评价,还是用于进行学习活动的扩展?根据不同的教学目标,我们可以设计不同类型的教学活动来整合体感游戏。这是关键点之一。

关键点二是选择使用什么样的游戏。这和具体的教学目标、教学内容相关。在很多时候,我们并不能找到直接可用的体感游戏或是软件,但可以有技巧的借用。幸运的是,互联网上已经有一些关于利用

1. 情境化教学

在体感技术的帮助下,学生可以处在高度逼真的情境中学习,甚至可以使知识具象化、可视化、变得生动活泼。体感技术的应用,使学习者从被动地接受信息变成在情境中自己理解、加工并主动建构信息。它不仅可以提供生动丰富的学习材料,还可以通过创设情境,来提供应用知识的机会,促进知识、技能与体验的连接,促进课内外迁移,从而培养灵活运用所学知识去解决实际问题的能力。

在体感游戏创设的情境中,学生是主角,不但可以激发他们的学习兴趣和愿望,还可以持续强化和促使他们主动学习。位于台湾台南的东海小学,将体感游戏应用在体育课上,学生们站在大屏幕前,准备起跑。老师发令后,学生们立即挥动双手、抬起双脚,拼命地在铺垫上跑跑跳跳。通过游戏模拟,强化学生在跑步、跳远等体育项目的正确姿势和技巧[28]。体感游戏所构造的虚拟情境还能培养学生的自信,避免错误造成的尴尬,鼓励平时不爱表现的学生也积极参与[29]。

Wii 和Kinect 进行教学的相关资源以及一些爱好者

教师提供的个人网站(如,www.kinecteducation.

com )。在这类网站上,你不仅能找到在课堂上使用体

感游戏教学的实例,还包括许多支持具体学习的应用。微软官方也提供了Kinect 课程计划库及课程案例,涉及科学、语言、数学、地理等学科,覆盖幼儿、儿童和中学生多个群体[32]。

关键点之三是确定教学模式和教学活动安排。前文已经分析了整合体感游戏时,我们可以采用情

2. 个别化学习

体感技术也可用来设计学生上课时间、课外或在家里的自学活动。教育者可以提供各种类型的课

53

h t t p ://d e j. z j t v u . e d u . c n

Medina 的实验也证实了运动使得更多的血液流向

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

境化学习、游戏化学习相关的教学模式和活动设计。对于游戏活动的安排,在课堂上我们一般会采用小组合作学习,在课后则可采用个别化的教学模式。

最后一个关键点是确定评价的方法和尺度,包括游戏结果和学习活动成果的关系,小组游戏时如何度量和评价小组成员对于活动结果的贡献等。这也是一个难点,虽然体感游戏大多和课程学习内容有相关关系,但往往并不直接关联。因此,学生在游戏中的表现需要以一定方式转化成课程内容或是对课程内容的应用,正如上文我们讨论的第一个案例“滑雪”游戏所展示的内容。

的学习活动中,学生是活动的主体,处于支配地位。他们积极、主动地参与到活动中,不断尝试,期待取得更好的结果。教师在此活动中,更多扮演了活动和规则的设计者、教练以及活动的推动者的角色。

4. 支持多个学习者同时操作的合作学习任务

在体感游戏中,电视和游戏机都是可共享的教学设备,支持多个学习者同时使用或轮流使用。根据教学目标的不同,或是游戏规则的不同,我们可设计出让学生结对PK 或分组合作等多种形式的竞技活动。游戏为我们构建了小组互动的空间,加强了学习者之间的人际联系。

5. 提供创新的表达方式

六、评述和总结

(一)在教育应用中的优势

体感技术作为一种新型的交互方式,由于其具有很好的识别、跟踪能力,以及其易操作的特点,已在很多领域得以应用。在最近的几年中,任天堂的

在教室中,学生一般通过语言和文本来表达和沟通,体感技术支持学习者在真实空间中通过肢体运动变化操控游戏,提供了新颖的表达方式。例如,在算数字的游戏中,游戏者可用两个手臂摆出大于号,小于号和等于号。角色扮演类的游戏更是以肢体语言作为通关的条件。夸张的肢体活动不仅有利于学习者对概念的认知,也能帮助他们在运动中放松舒缓情绪,在轻松欢乐的环境中实现有效的学习。

(二)目前存在的问题

当然,现阶段体感技术应用在教学中也存在很多的问题,既有技术层面的又有教育层面的。在技术层面,现有的体感技术产品大多存在精度和延迟问题。他们对于一些细致动作的识别感应能力稍弱,而且对复杂运动的识别有延迟现象。如,在弹力球游戏中,玩家普遍反映因为延迟而经常挡不到球。跳远也往往由于起跳动作的识别延迟而造成玩家犯规失分。此外,现有的体感技术平台普遍缺乏触觉反馈体验,这是一个比较大的体验黑洞。比如,在棒球游戏中,双手空摆姿势假装挥棒的感受恐怕远不及手中握有棒,更不用说进球后的震动反馈。

体感技术在教学场景中实际使用还存在这样一些问题:其一,教室空间有限,如果让学生分组游戏,则需要布置多台电视机和游戏机,并划设游戏区域。这样会使得本来就不大的教室更加拥挤,课堂活动时气氛会比较杂乱;其二,使用体感游戏平台时,准备和调试设备需要时间,而且有可能需要技术人员支持,当然也许学生就是最好技术服务人员;其三,为了赋予游戏教育意义,这些游戏需要进行筛选,根据游戏内容和游戏的功能设计教学活动。几乎没有体感游戏是为某门课程的教学而专门开发,因此,能用的游戏往往较少或没有;再有就是,由于游戏设备

Wii 和微软的Kinect 游戏平台推动了体感技术在教育

2015年第1期总第

226期

应用,取得了一定的成果。体感技术在这些早期的尝试中表现出诸多的优势,具体体现在:

1. 成本低,使用难度低,学习体验优

体感游戏套件和游戏主机以及电视机均是通用器材,价格不高,容易获得。体感技术模拟了人与人的交互方式,通常不需要用户再学习新的操作方法,仅通过日常生活中约定俗成的交流方式,直接针对要操作的对象即可完成交互。学习者通过简单的自然动作就能够实现对软件的控制,如,向左挥动手臂,计算机把这个动作识别为游戏场景向左移动,或者学习者直接说出“LEFT ”,计算机也会作出同样的反应。利用体感技术进行人机交互,降低了因缺乏计算机操作经验额外增加的认知负荷和挫折感,使学习者把关注的焦点更多地放在学习活动中,增加其参与感和控制感。

2. 多种感官并用,沉浸感好,有效提升学习效果

体感外设具有即时动态捕捉、影像识别、麦克风输入、语音识别等功能。因此,在教学应用中可以充分激活学习者的视觉、听觉、触觉、肢体运动,并作出相应反馈,使用户产生“身临其境”感觉,有效提升其在游戏中的置入感、沉浸感。多感官的刺激,能够从多个通道同时促进学习者的认知过程,提高学习者的手眼协调能力。

3. 以学生为中心,学习更具主动性

体感游戏实现了教学重心的转移。在涉及游戏

JOURNAL OF DISTANCE EDUCATION

的封闭性,体感游戏中的数字化信息很难导出和再利用,很多场景下只能手工纪录游戏结果,而不能直接导出数字化的学习活动记录或是报告;此外,家长对于游戏化学习的接受程度不一,扭转家长们对于游戏的否定看法,需要切实的教学效果和较多的介绍和推广工作。

体感技术教育应用的普及,在教学法层面上也存在一些问题,在大规模推广前迫切需要解决。首先,和其他新技术一样,体感游戏需要新的教学法支持。对现有学习理论的修正,并形成固定、可操作的教学模式,可能会是一个较长的探索过程。其次,教师在开始时可能不能很快适应新的教法,普遍在这类教学活动的设计上缺乏经验。因此,为达到较好的效果,就需要对教师进行专门的培训,并提供典型课例与可供参考的教学方案。再次,由于体感游戏的游戏属性,它更倾向于在非正式的学习活动中使用,常常缺乏明确的、可度量的教学目标,或是和现有教学目标的一致性程度较差。最后,由于缺乏合适的评价模型和评价策略,对其学习结果和学习绩效的衡量也比较困难。

虽然,目前体感技术本身还不够成熟,体感游戏也刚刚开始在各个领域内有创新地应用。但游戏并不是体感技术的边界,作为一种全新的交互方式,它正逐渐渗透到人们生活和工作的各个领域,包括教学和学习。它唤醒了人机交互领域中更大胆的创新精神,指明了未来人机交互的发展方向。相信不久的将来,体感技术会更多地参与到学习过程中,并且催生出越来越多地教育创新。

[参考文献]

[1][16]马建荣, 章苏静, 李凤. 基于体感技术的亲子互动游戏设计与实现[J].中国电化教育,2012,(9):85-90.

Theory Front

[9]GalloL, Placitelli A P, Ciampi M. Controller-free exploration of med -ical image data:Experiencing the Kinect [C]//Computer-BasedMedi -cal Systems (CBMS),201124th International Symposium on. IEEE, 2011:1-6.

[10]DanielSales, DiogoCorrea,Fernando S. Os ório, Denis F. Wolf.3D

Vision -Based Autonomous Navigation System Using ANN and Kinect Sensor[M].Communicationsin Computer and Information Sci -ence, 2012,305-314.

[11]黄康泉, 陈壁金, 郑博, 徐芝琦.Kinect 在视频会议系统中的应用[J].

广西大学学报(自然科学版),2011,36(1):308-313.

[13][21]张诗潮, 钱冬明. 体感技术现状和发展研究[J].华东师范大学学

报(自然科学版),2014,(2):40-49,126.

[14]顾汉杰.The Leap 概念视角下的体感控制型教育游戏设计[J]现代

教育技术,2014,(2):108-114

[15]吕开阳, 叶华茂等.Kinect 体感技术在动物外科实验教学中的应用

及展望[J].中国医学教育技术,2012,26(2):171-173.

[17]李里程; 李勇帆. 基于Kinect 的儿童体感交互式多媒体电子书及

其学习平台的研发[J].中小学信息技术教育,2013(Z1):96-101.

[18]杨宇良. 体感:神物一般的存在[J].软件工程师,2011,(8):19-24.[19]百度百科. 体感技术[EB/OL].[2013-05-10].http://baike.baidu.com/

view/5338106.htm.

[20]T觟lgyessy M, Hubinsky P. The Kinect sensor in robotics education

ucation. 2011:143-146.

[22]Microsoft.Kinect AcdemicProgram [EB/OL].[2014-06-02].http://

research.microsoft.com/en-us/collaboration/global/asia-pacific/pro-grams/kinect-academic-program.aspx.

[23]Microsoft.Ski for success with scatter plots [EB/OL].[2014-06-02].

http://www.microsoft.com/education/en-us/products/Pages/kinect.as-px#3.

[24]Microsoft.Building social skills [EB/OL].[2014-06-02].http://www.

microsoft.com/education/en-us/products/Pages/kinect.aspx#3.[25][28]台湾微软.Kinect 抓得住你!体感融入教学大公开[EB/OL].

[2014-12-14].http://www.microsoft.com/taiwan/education/epaper/no_4/hot_tip.aspx.

[26]DougBergman. When Fish Fly:A new kind of Project [EB/OL].

[2014-05-29].http://innovativeteacher.org/?p=111.

[27]Microsoft.Change the Game with Interactive Learning [EB/OL].

[2014-12-14].http://download.microsoft.com/download/C/4/5/Kinect_in_Education.pdf.

[29]MMl.Kinect走进教室[EB/OL].[2014-06-02].http://www.mml.com.

tw/topic/index?id=149984.

[30]Edutopia.Six Tips for Brain Based Learning [EB/OL].[2014-06-02].

http://www.edutopia.org/node/447922/guide-download.

[31]AndrewMiller.Kinect in the Classroom[EB/OL].[2014-06-02].http://

www.edutopia.org/blog/kinect-classroom-andrew-miller.

[32]Microsoft.Classroom activities and curriculum ideas for using im -mersive learning technology [EB/OL].[2014-06-02].http://www.mi-crosoft.com/education/en-us/products/Pages/kinect.aspx#3.

[C]//Proceedingsof 2nd International Conference on Robotics in Ed -

[2][3][12]李东旭, 江澄, 刘海峰. 体感技术驱动下的图书馆应用平台架构创新与体验革命[J].大学图书馆学报,2012,30(5):12-17.

[4]Jan Smisek, MichalJancosek, TomasPajdla. 3D with Kinect [M].Con-sumer Depth Cameras for Computer Vision, 2013, 3-25.

[5]K.Khoshelham.ACCURACY ANALYSIS OF KINECT DEPTH DATA [J].InternationalArchives of Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIII -5/W12,2011ISPRS Calgary.

[6]DiXu, JianfeiCai, Tat Jen Cham, PhilipFu, JuyongZhang.Kinect -Based Easy 3D Object Reconstruction [J].Rapport:Journal of the Computer Science, Volume 7674, 2012, pp 476-483.

[7]车力军, 孙峰.3G 时代体感游戏的发展思考[J].电信技术,2011,(11):55-58.

[8]贾立, 程律, 郭德慧, 潘峰. 面向人机交互技术的体态感知抗干扰方法研究[J].技术应用,2012,(6):49-53.

[作者简介]

李青, 博士, 北京师范大学博士后,邮电大学副教授, 硕士生导师, 主要研究方向为远程教育、数字化学习环境、移动学习等; 王青, 北京邮电大学教育技术专业硕士研究生, 主要研究方向为数字化学习环境设计。

55

h t t p ://d e j. z j t v u . e d u . c n

理论前沿

体感交互技术在教育中的应用现状述评

荨荨

Motion Sensing Technology in Education

Li Qing 1,2&Wang Qing 2

(1. School of Educational Technology, Beijing Normal University, Beijing 100875;

2. School of Network Education, Beijing University of Posts and Telecommunications, Beijing 100876)

【Abstract】Motion sensing technology, a revolution in the history of human-computer interaction, can manipulate multimedia equipments by means of body movements, sounds and other natural languages, which is a revolutionary experience to us. Now, the researches on motion sensing technology focus on sensing accuracy and depth, and its application in education. This technology has attracted many people ’s attention with the development of motion sensing game, which can be divided into inertial sensor, optical sensor and combination of inertial sensor and optical sensor. Kinect of Microsoft adopted inertial sensor technology and acoustic sensor technology. Motion sensing game has made some achievements when it is applied into many fields such as language, mathematics, science, physics and special education. In the paper, three specific examples with detailed teaching process are analyzed. When motion sensing technology is applied into education, it has some characteristics of teaching/learningtools, teaching content and teaching environment, which can be used in situated learning, personalized learning and game learning. Motion sensing technology has some advantages of good experience, multi sensory, student-centered teaching and cooperative learning when applied into education, while some problems arise from teaching plan, teaching methods and assessment.

【Keywords】Motion sensing technology; Interaction; Education game; Status

收稿日期:2014年12月3日

责任编辑:陈

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

2015年第1期总第

226期

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨

浙江省本科高校微课教学比赛近日举行

【本刊讯】由浙江省教育厅和全国高校教师网络培训中心联合举办的浙江省本科高校微课教学比赛近日举行。本次比赛由浙江省高等学校师资培训中心承办,全省

的认知心理,能有效降低教育成本以及知识传授的门槛。微课的有效应用与推广,体现了一种新的资源建设观念及方式。微课既可以线上线下相结合,以可线上或线下独立使用。形成系列化、规模货摊微课资源与翻转课堂、在线教育、移动学习、泛在学习等领域相结合后,其使用将更为灵活、便捷、高效,能有效解决目前教育资源颁布不均、教育资源更新速度慢、教育资源共享程度低、教育资源重复建设及使用率低等客观存在的问题,对促进优质教育资源共享,推动信息技术与高等教育深度融合,缩小教育数字鸿沟,促进教与学方式变革,促进教师专业成长、促进学生自助式学习、构建学习型社会等多个方面都有着重要的现实意义。

据有关人士介绍,微课契合了全省本科教学工程要求,而且与我国高等学校教学质量与教学改革工程的建设要求相契合。通过微课教学比赛活动,不仅可以改进师生学习的交流方式,拓展获取知识的渠道,促进信息技术与学科教学的深度融合,还可以让施教者以此为基点而静心去解读教育、敬思教育。浙江省举行高校本科微课教学比赛,对贯彻落实全面提高高等教育质量工作会议精神和教育信息化十年发展规划,提高全省高校教师教学能力和课程建设能力,扎实推进数字化学习资源共建共享工作,都有着积极、切实的实践意义。

(杨辉)

38所本科院校(包括6所独立院校)经过校赛(初赛),共

计选送295位教师的微课作品参加省赛(复赛)。赛事采取线上线下相结合的方式开展评审工作。线上评选工作包括参赛者教师互评及专家网评的方式,线下评选工作由专家根据线上选评结果,对排名靠前的参赛作品进行两次点评和审查。主要分为资料审核和网络展示、参赛教师网络互评和专家网评、专家会评、教学交流四个阶段。浙江省高等学校师资培训中心精心组织专家,依据《全国高校微课教学比赛评审规则》对参赛选手的作品予以评审,最终评选的省赛获奖作品将直接选送参加国赛(决赛)。决赛将于2015年3-4月份举行。

微课教学是指“以视频为主要载体,记录教师围绕某个知识点或教学环节的简短、完整的教学活动,”用微课资源教学通常教师可以在自己的课堂教学环节,通过播放和演示相关的教学视频或其他微型课件,来辅助讲解与阐释教学中的知识点、重点和难点。微课是随着现代信息技术广泛使用而迅速发展起来的新型教育形式,具备“形式多样、主题突出、短小精趣”等特点,通常以微视频资源为中心,可与其它配套教学资源共同构成简短、完整的教学活动。微课的迅速发展符合当下“微”时代学习者

荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨荨


相关文章

  • MOOC的国内外相关研究现状述评意义和价值
  • 1. 国内外相关研究现状述评 (1)MOOC 的国内外发展现状 MOOC 课程模式起源于网络开放课程,最早可追述至2007年.随着参与 MOOC课程中学习者人数急剧扩张,MOOC 这种课程模式,引起了远程教育.开放教育乃至整个教育行业的注意 ...查看


  • 小学数学课题
  • <交互式电子白板数学课堂的有效教学策略研究>课题 研究方案 课题主持人: 课题成员: ) 一.课题提出的背景和意义 (一)选题背景:国内外研究现状述评 在英国.美国和日本等发达国家,交互电子白板的应用已经进入推广普及阶段,各方面 ...查看


  • _社会建构主义学习理论述评
  • 第26卷第6期2004年12月 宁波大学学报(教育科学版)Vol.26NO.6 JOURNALOFNINGBOUNIVERSITY(EDUCATIONALSCIENCE)Dec. 2004 社会建构主义学习理论述评 郑东辉 摘要:社会建构主 ...查看


  • 霍兰德职业兴趣理论及其应用述评
  • 2010.7 理论与应用研究 9 霍兰德职业兴趣理论及其应用述评 沈 洁 (苏州大学教育学院江苏苏州215123) 摘要:介绍霍兰德职业兴趣理论的基本思想及其结构模型,综述国内外学者对霍兰德职业兴趣理论的相关研究.国外对霍兰德职业兴趣理论的 ...查看


  • 2014届应用心理学专业毕业论文选题指南1
  • 玉林师范学院教育科学学院 2014届应用心理学专业本科毕业论文选题指南 本<指南>坚持以马列主义.毛泽东思想和邓小平理论为指导,贯彻党的教育方针和中共中央国务院关于<深化教育改革,全面推进素质教育的决定>的精神,进一 ...查看


  • 加快农业科技进步省级重点课题研究纲要
  • 课题名称:加快安徽农业科技进步相关对策建议 一.本课题省内外研究现状述评及现实意义 (一)本课题省内外研究现状述评 1.国外研究现状述评 (1)美国 美国是当今世界农业现代化程度最高的国家,早在19世纪60年代,在一系列政策的指导下,美国农 ...查看


  • 远程教育的教学交互问题
  • 随着远程教育的发展, 人们更加关注远程教育的质量,影响远程教育质量的因素之一就是教学交互质量的高低. 一.对远程教学交互的理解 教学上的交互指学习者在学习过程中,通过信息技术手段与教师或同学或其他人之间的互相交流,这种交流对学习效果起着十分 ...查看


  • 大学生网络文化素养研究述评
  • 摘 要 大学生群体在网络文化多元价值的冲击下,产生了价值迷失.行为失范.对中华传统文化精华的疏离和社会责任感.使命感的缺失.本文以网络文化生态的视角,对大学生网络文化生成.发展和演化的环境及其教育导向的已有研究进行述评,作为高校大学生网络文 ...查看


  • 我国游客满意度研究述评
  • ·旅游资源· 资源开发与市场 Resource Development & Market 2007 23(3) 我国游客满意度研究述评 陈丽荣,苏 勤 (安徽师范大学 国土资源与旅游学院,安徽 芜湖 241000) 摘要:通过对国内 ...查看


热门内容