微表情研究及其应用_吴奇

心理科学进展 2010, Vol. 18, No. 9, 1359–1368 Advances in Psychological Science

微表情研究及其应用*

吴奇1,2 申寻兵1,2 傅小兰1

(1中国科学院心理研究所; 脑与认知国家重点实验室, 北京 100101) (2中国科学院研究生院, 北京 100049)

摘要微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情, 表达了人试图压抑与隐藏的真正情感。本文系统梳理已公开发表的微表情实证研究报告, 对注重于测量微表情识别能力的早期研究、目前基于微表情训练工具(METT)的微表情识别应用研究以及刚刚萌芽的微表情表达研究进行总结分析, 明确指出以往研究中存在的问题, 建议未来研究应探讨METT 在不同文化中的有效性, 研究微表情表达的基本特点和主要影响因素, 并注重发展自动化的微表情识别工具。本文提出, 基于微表情的自动谎言识别系统将是微表情研究未来的应用方向之一。关键词微表情; 撒谎; 微表情识别; 微表情表达分类号 B842.6

1 引言

表情是人类表达自身情感信息的重要非言语性行为, 可视为人类心理活动的晴雨计。达尔文于1872年出版了著名的《人与动物的表情》(The Expression of Emotions in Man and Animals), 人类对面部表情的系统研究从此拉开了序幕。时至今日, 人类对于面部表情的研究已经非常丰富, 但关注的都是人的普通表情(Ekman & Rosenberg, 2005) 。然而, 人除了有普通表情, 还存在着两种常常难以被人觉察的表情: 一种是弱表情(subtle expression), 其强度非常低; 另一种是微表情(microexpression), 其持续时间非常短(Ekman, 2002) 。由于微表情与撒谎的关系密切(Ekman, 2003, 2009; Ekman & Sullivan, 2006), 微表情近年来备受科学界(如Schubert, 2006)和新闻界(如Henig, 2006)的关注。

本文介绍微表情的性质, 系统梳理已公开发表的微表情实证研究报告, 从注重测量微表情识别能力的早期研究、目前基于METT 的微表情识别应用研究以及刚萌芽的微表情表达研究三个方面总结和分析微表情的研究现状, 指出研究中存在的问题, 并对未来研究和应用提出具体收稿日期: 2010-03-31

* 中国科技部973项目(2006CB303101)和国家自然科学基金项目(90820305)支持。

通讯作者: 傅小兰, E-mail: [email protected]

建议。

2 微表情的界定与基本性质

Haggard 和Isaacs (1966) 率先发现微表情, 认为微表情与自我(ego)防御机制有关, 表达了被压抑的情绪。他们的研究当时并未引起其他研究者的重视。因一个偶然的机会, Ekman和Friesen (1969)也独立地发现了微表情。他俩受一位精神病学家的委托, 对一段抑郁症患者撒谎以掩盖其自杀意图的录像进行检测。然而, Ekman和Friesen 起初并未从这段视频中发现该患者有任何异常表现: 该患者显得很乐观, 笑得很多, 表面上没有表现出任何企图自杀的迹象。但当对该录像进行慢速播放并逐帧进行检查时, 他们发现: 在回答医生提出的关于未来计划的问题时, 该患者出现了一个强烈的痛苦的表情。在整段视频中, 这个表情只占据了两帧的画面, 持续时间仅为1/12秒。Ekman 和Friesen 称之为微表情。

微表情与普通表情有所不同, 它是一种非常快速的表情, 持续时间仅为1/25秒至1/5秒(图1), 因此, 大多数人往往难以觉察到它的存在。Ekman 等(Ekman, 2003, 2009; Ekman & Sullivan, 2006) 认为, 微表情既可能包含普通表情的全部肌肉动作, 也可能只包含普通表情肌肉动作的一部分; 它往往在人撒谎时出现, 表达了人试图压抑与隐藏的真正情感; 它是一种自发性的表情动作, 表达了六大基本表情。

1359

-1360-

心理科学进展 2010年

图1 正常表情中的一个厌恶的微表情(选自METT)

微表情具有的上述性质, 使它可能成为我们了解人类真实情感和内在情绪加工过程的一个窗口。目前, 微表情的产生与识别机制还有待进一步研究, 人们对微表情的机理还知之甚少, 只是对控制面部肌肉运动的两条通路具有共识: 一条是皮质运动通路, 控制随意的面部肌肉运动; 另一条是皮质椎体外系通路, 控制自发的面部肌肉运动。研究者认为, 这两条通路可能与微表情的产生有关, 但还没有研究者对此假设进行过检验(Ekman, 2003)。微表情的心理和神经机制是微表情研究中亟待解决的重要科学问题。

也能很好地判断人是否在撒谎。于是, Ekman的研究团队开始构造测量微表情识别能力的工具, 同时考察微表情识别能力与谎言识别准确性之间的关系。

Ekman 和Friesen (1974) 研制了短暂表情识别测验(Brief Affect Recognition Test, BART)。在该测验中, 施测者向被试快速呈现一些表情图片, 每张图片仅呈现1/25秒。Ekman 和Sullivan (1991)利用该测验研究了微表情识别能力和谎言识别准确性的关系, 结果表明, 被试在BART 测验中的得分与他们在谎言识别测验中的成绩呈显著正相关(r = 0.27, p

为确认微表情识别能力与谎言识别准确性之间的关系, Frank和Ekman (1997) 研制了一个新测验来进一步考察人们识别微表情的能力。该测验的测试程序与BART 完全相同, 但使用了一套新的表情图片, 而这套表情图片具有较高的跨文化一致性。使用新测验的结果依然支持早期的研究发现: 微表情识别能力与谎言识别的准确性呈显著正相关(r = 0.34, p

但是, 以快速呈现表情图片的方式来测量微表情识别能力的方法缺乏生态学效度。在这种测验中, “微表情”是孤立出现的; 但在现实中, 微表情的出现前后却伴随着其他表情。另外, 快速呈现表情图像还存在图像后效问题, 而这将延长被试对刺激的知觉加工时间。因此, Ekman (2002)研制了一个新的微表情识别能力测验, 即“日本人与高加索人短暂表情识别测验” (Japanese and Caucasian Brief Affect Recognition Test, JACBART) 。在该测验中, 施测者首先会向被试呈现一张某人的中性表情的图片, 然后快速呈现该人一张带有表情的图片, 呈现时间为1/15秒; 之后再紧跟着呈现一张中性表情的图片, 以消除图像后效的影响。Frank 于2002年使用该测验进

3 微表情研究现状分析

Ekman 研究团队是开展微表情研究的主要力量。但是, 他们的部分研究工作具有保密性质, 未公开发表(见Henig, 2006; Weinberger, 2010)。根据目前公开发表的资料, 微表情研究可总结为早期的微表情识别研究、微表情识别的应用研究、微表情表达的研究三部分。早期的微表情识别研究注重测量微表情识别能力, 考察微表情识别与谎言识别的关系, 并成功地构造了微表情识别的训练程序。在该训练程序的基础上, 微表情识别的应用研究近年来层出不穷。然而, 微表情表达的研究则刚刚萌芽, 其中的很多重要问题还不清楚, 这在很大程度上制约了微表情的实际应用。

3.1 早期的微表情识别研究 3.1.1 微表情识别能力测验

Ekman 和Friesen (1969) 发现, 当在慢速播放条件下看见了微表情后, 即使再以正常速度重新播放这段视频, 他们也可以直接看见视频中的微表情了。于是, 他们决定将这段视频给一些临床心理学家看, 结果发现其中一些人可以不借助慢速播放技术就觉察到微表情的存在。据此, Ekman 和Friesen 推断, 能很好识别微表情的人,

第18卷第9期

微表情研究及其应用 -1361-

行研究(见Ekman & Sullivan, 2006), 分别考察了美国人和澳大利亚人的谎言识别能力与其微表情识别能力的关系, 结果发现两组被试在该测验上的得分与其谎言识别的成绩均呈显著正相关 (r = 0.19, r = 0.30, p

随着微表情识别能力测验的完善, 研究者也开始用这些工具探究微表情识别能力的个体差异。Matsumoto 等人(2000)利用JACBART 的未完全版(包含56个项目, 拥有三个版本, 微表情呈现时间分别为1/15s、2/15s、1/5s)考察了微表情识别能力与人格的关系, 发现JACBART 各版本的信度都很好(克伦巴赫系数均在0.82以上, 1/5s版本的重测信度为r =0.78, p

微表情研究的早期阶段, 研究者们都在关注构造有效测量微表情识别能力的工具。2002年, 微表情识别领域取得了重大进展, Ekman研制出第一个微表情训练工具(Micro Expression Training Tool, METT)。该工具包含前测(pretest)、训练(training)、练习(practice)、复习(review)与后测(posttest)5个部分。其前测程序与JACBART 相同, 测量未受训练情况下人的微表情识别能力。其训练、练习与复习三个部分构成METT 的训练程序: 在训练部分, Ekman用视频方式讲授识别微表情的要点; 在练习部分, 被试练习使用在训练部分学习到的技巧对微表情进行识别; 在复习部分, 被试进一步巩固学习到的技巧。后测程序也与JACBART 相同, 但使用了与前测不同的数据集, 以测量被试接受训练后的微表情识别能力。前测成绩和后测成绩的差异, 反映了被试微表情识别能力的变化。

METT 提供训练程序能在1.5小时的时间内提高人识别微表情的能力(Ekman, 2002), 后测的

成绩能较前测平均提高30%~40% (Ekman, 2009) 。由于人往往难以觉察到微表情的存在, 所以微表情识别的研究都可能会出现地板效应。而METT 能提高人对微表情的识别能力, 从而有效地避免研究中的地板效应, 使各种微表情识别研究具有了一定的可行性。但是, METT的训练效果的维持时间长短目前还不得而知。 3.2 微表情识别的应用研究

2002年之前, 微表情研究并不多见, 且以发展测量微表情识别能力的工具为主。然而, Ekman于2002年发展出METT 后, 微表情识别的应用研究在近年来不断涌现。

3.2.1 微表情识别在医学临床领域的应用研究

临床是微表情研究的重要应用领域。研究者目前十分关注微表情识别在临床上的应用。

Russell, Elvina和Mary (2006) 率先在临床领域进行了与微表情识别有关的研究, 考察了METT 训练程序对精神分裂症患者情绪识别(emotional recognition)能力与微表情识别能力的影响。他们发现, 精神分裂症患者与正常人都能从METT 训练程序中获益, 情绪识别和微表情识别的能力较训练前均有显著提高; 精神分裂症患者的情绪识别和微表情识别能力可以恢复到正常人未受训练前的水平。这一结果提示, 对精神分裂症患者进行针对性的微表情识别训练, 可有效地缓解其社会功能的损害。

Russell, Green, Simpson和Coltheart (2008)对上述研究进一步扩展和深化, 利用眼动技术探讨了METT 训练之所以能提高精神分裂症患者情绪识别能力的原因。通过比较接受METT 训练前后精神分裂症患者完成情绪识别任务时的眼动轨迹, 他们发现, 在接受METT 训练后, 精神分裂症患者对人脸的视觉注意发生了显著的变化, 这些患者开始更多地关注人脸的特征部位, 而且这种注意改变的效果在接受训练后一星期都得以维持。

除了研究精神分裂症, 研究者还将微表情识别拓展到对述情障碍(alexithymia)的研究。Swart 和Aleman (2009) 用METT 比较了高述情障碍特质者和低述情障碍特质者在微表情识别能力上的差别, 结果发现, 高述情障碍特质者的微表情识别能力要低于低述情障碍特质者。该结果表明, 不同人群的微表情识别能力的确存在着差别。

-1362-

心理科学进展 2010年

在临床上, 医生若能识别病人的微表情, 则可以更好地了解病人的需求, 针对性地确定治疗方案, 缩短疗程, 提高疗效。但是否所有的医生通过训练都能够学会这项技能呢？Endres 和Laidlaw (2009) 利用METT 对医学院学生学习识别微表情的能力进行考察, 结果发现, 具有高临床交流技能的学生能够从METT 训练中获益, 提高自身的微表情识别能力; 但临床交流技能低的学生却不能从中获益。这表明, 微表情识别训练的有效性因人而异。

3.2.2 微表情识别在其他领域的应用研究

在情绪智力(emotional intelligence)研究领域, Fellner 等人(2007)研究了情绪智力与情绪刺激视觉搜索任务(visual search of emotional stimuli)和微表情识别绩效之间的关系, 结果发现, 被试的情绪智力分数与他们对情绪刺激的视觉搜索任务成绩以及METT 成绩都无关, 但他们的认知智力(cognitive intelligence)分数、人格的开放性程度以及应对方式与他们在上述两种任务上的成绩均呈显著正相关。该结果提示, 微表情识别能力所反映的可能并不是人的一种情绪能力, 而是人的一种认知能力, 与人对刺激的知觉加工速度有关。

在谎言识别研究领域, Warren, Schertler和Bull (2009) 探究了谎言识别时哪些线索是可利用的有效线索这个问题, 结果发现, 被试判别情绪性谎言(emotional lies)的成绩与他们在弱表情训练工具(subtle expression training tool, SETT)上的成绩呈显著正相关, 而与他们在METT 上的成绩无关。该研究结果提示, 判别情绪性谎言时, 弱表情可能是比微表情更有效的线索。值得注意的是, 该研究只进行了METT 前测, 并未进行METT 后测, 被试在METT 上的成绩是未经METT 训练的前测成绩。因此, 该研究可能存在微表情识别能力测试的地板效应, 而这有可能导致其METT 成绩与谎言识别成绩相关不显著这种结果。

在国家安全领域, Frank, Herbasz, Sinuk, Keller 和Nolan (2009) 研究了METT 训练适用于不同职业人群的有效程度, 以及METT 训练效果的迁移问题。他们发现, 从事安全工作的专业人士和普通民众在微表情识别能力上没有差别, 在微表情识别能力上也不存在性别差异; 通过

METT 训练, 无论是从事安全工作的专业人士还是普通民众, 他们不仅在METT 后测上的得分均有所提高, 而且其识别真实情境下的微表情的成绩(测验任务为识别一些真实的视频中的微表情) 也都显著提高。该研究首次探索了METT 训练的迁移作用, 表明METT 训练程序确实提高了人识别微表情的能力, 有助于推进微表情识别的实际应用。

在政治心理学领域, Patrick, Bridget和James (2009)考察了政治领袖演讲时的微表情对听众情绪的影响。他们将布什动员海湾战争的录像中存在的7个快乐的微表情去掉, 做成了另外一段录像, 将制作的新录像与原录像分别给不同的学生观看, 结果发现观看原录像与新录像的学生所产生的情绪状态有所不同: 观看原录像的学生感受到更少的愤怒与焦虑。也就是说, 原录像中存在的快乐的微表情削弱了布什演讲的感染力。该结果提示, 即使人们常常很难觉察到微表情, 但事实上已经受到了微表情的影响。 3.3 微表情表达的研究

人类面部表情研究可以大致分为两个部分, 一个是面部表情识别研究, 另一个则是面部表情表达研究。在这两个领域, 学界都已经产生了相当多的研究成果(如Ekman & Rosenberg, 2005)。但与之形成鲜明对照的是, 微表情识别研究方兴未艾, 而微表情表达研究才刚刚萌芽, 不同研究者报告的结果也存在较大差异。 3.3.1 微表情表达的实证研究

Porter 和ten Brinke (2008) 率先公开发表了他们对微表情表达进行实证研究的报告。他们让被试观看选自国际情感图片库(International Affective Picture System, IAPS; 见Lang, Bradley, & Cuthbert, 1999; Lang, Greenwald, Bradley, & Hamm, 1993)的图片, 并要求被试作出真实或者虚假的表情, 同时记录被试的面部表情。结果发现, 所有的被试均出现了暴露真实感情的面部表情线索, 但大多数表情线索的持续时间都长于1秒, 比目前定义的微表情的持续时间(1/25~1/5s)更长。结果还发现, 只有21.95%的被试出现了符合定义的微表情, 这些微表情在被试出现的全部表情中仅占2%, 而且很多微表情是在要求被试真实地表达自身情感时出现的。因此, Porter和ten Brinke (2008) 对基于微表情进行谎言识别的有

第18卷第9期

微表情研究及其应用 -1363-

效性提出了质疑。

Ekman (2009) 对自身研究(其中部分内容为首次发布, 之前并未公开发表) 进行了总结, 报告的结果与Porter 和ten Brinke (2008) 的结果截然不同: 在Ekman 的实验中(如Ekman, Friesen, & Sullivan, 1988; Frank & Ekman, 1997), 有一半被试都出现了微表情。

3.3.2 研究结果不一致的原因分析

我们认为, 术语的操作定义、实验范式、撒谎动机、撒谎时长、情绪唤醒程度等因素都可能是导致上述研究结果不一致的重要原因。

首先, 在Porter 和ten Brinke (2008) 实验研究中, 其术语定义值得商榷。Porter 和ten Brinke将“真实表情”操作定义为与图片表达的情绪相一致的表情。然而, 情绪是一种很复杂的过程, 即使面对完全相同的情绪刺激, 不同的人也可能会产生不同程度甚至不同性质的情绪反应, 因此, 研究者无法保证被试一定产生与预期相一致的情绪。例如, 在Porter 和ten Brinke (2008) 的实验中, 使用了一些可爱的动物的图片来诱发被试的快乐情绪, 但如果被试看后并没有真正快乐起来, 却被要求做出快乐的表情, 那么此时被试实际上只是在按实验要求作出虚假的快乐表情, 而不是表现其真实的情绪状态。这有可能是导致被试在作出真实表情时也出现了微表情的原因。

其次, Porter和ten Brinke (2008) 使用的诱发后微表情的方法与Ekman 使用的方法有所不同。者使用的是高风险谎言(high-stake Lies)范式(Ekman, 2009), 包括三种变式: (1)情绪性谎言(emotional lies)范式, 要求被试在强烈的情绪唤醒状态下掩饰自己的真实情绪, 即对自己的情绪撒谎; (2)模拟犯罪(mock crime)范式, 要求被试在不被人注意或监测的情况下自由选择拿走或不拿走桌上的现金, 并要求他说服别人相信他没有把钱拿走; (3)信念性谎言(opinion lies)范式, 要求被试对自身某一强烈的信念撒谎。在这三种范式中, 无论被试成功地说真话或成功地说假话, 实验者均会对被试进行奖励; 但是, 如果被试说的谎言被他人揭穿, 或者说的真话遭到误判(即被他人认定为假话), 实验者则会对被试进行惩罚。而Porter 与ten Brinke (2008) 采用的却是无恶意在这种范式中, 被试撒谎或谎言(white-lies)范式。

者不撒谎对其自身均无影响。Ekman (2009) 也指

出, 用无恶意谎言来诱发微表情存在很大问题, 因为被试缺乏掩饰自身真实情绪的明确动机。另外, 已有的研究也表明, 高撒谎动机者撒谎时暴露出更多更明显的撒谎线索, 更容易让人识别出其在撒谎(Depaulo & Bond, 2006)。

第三, 在撒谎时间长短上, Porter和ten Brinke (2008) 和Ekman 也存在区别。在Porter 和ten Brinke (2008) 的研究中, 被试按提示要求观看情绪色彩的图片, 同时做出真实或者虚假的表情, 每次只需要掩饰几秒钟。而在Ekman 的实验研究中, 被试需要掩饰的时间则要长得多, 达数分钟之久(Ekman, 2009)。

第四, 在情绪唤醒强度上, Porter和ten Brinke (2008) 和Ekman 之间也存在较大差别。Porter 和ten Brinke (2008) 用情绪图片来诱发被试的情绪, 情绪唤醒程度较低。而Ekman 营造的却是较为真实的撒谎情境, 情绪唤醒程度较高。

4 问题与展望

综上所述, 微表情与人类内在的情感信息加工过程紧密相关, 它无法伪造, 不受意识控制, 反映了人类内心的真实情感, 但却很难为人们所觉察(Ekman & Sullivan, 2006)。迄今为止, 人们对微表情的心理与神经机制的认识、对微表情的实际应用都十分有限, 以往研究中也存在一些问题, 有待在未来开展更为系统深入的研究予以解决。

4.1 微表情识别研究中有待解决的三个问题

首先, METT训练的跨文化有效性是目前微表情识别研究中的最需明确的问题。METT 中的前测与后测均以JACBART 为基础(Ekman, 2002; Ekman & Sullivan, 2006), 有可靠的信效度(Matsumoto et al., 2000)。然而, 以往研究都限于使用西方文化中的被试群体, 因此, 我们现在并不知道METT 训练是否也适用于其他文化中的人群。例如, METT训练采用视频结合音频的方式, 其音频是用英文提供指导信息, 因此, METT训练无法直接应用于英文听力不佳的中国被试。已有研究也提示METT 训练并不是对所有人都同样因此, 有必要针对有效(Endres & Laidlaw, 2009)。

不同文化的被试试用或制作相应的METT 版本, 考察METT 训练的跨文化有效性, 进一步推动微表情研究和应用的发展。若无法解决该研究工具问题, 则微表情研究的开展将受到很大限制。

-1364-

心理科学进展 2010年

其次, 目前研究者构造出的微表情识别能力测验已经具有了一定的生态效度, 但将这些测验直接应用于预测现实中微表情识别的绩效依然存在问题。例如, 在现实生活中, 人们的面部微表情往往还伴随着人的各种姿态表情和语调表情, 而对这些非面部表情信息的注意很可能会降低观察者对微表情的识别绩效(Ekman, 2009)。在未来研究中, 有必要在微表情识别能力测验中加入言语和姿态等非面部表情信息, 提高微表情识别能力测验的生态学效度, 并探索综合利用各种表情信息的有效途径。

最后, 以往的微表情识别研究主要限于比较不同人群在微表情识别能力上的差别, 而未能系统地探究微表情的识别过程或者具有不同特性的微表情对观察者的影响等问题。我们认为, 微表情与阈下情绪启动的关系值得探讨。一方面, 从目前的研究结果来看, 微表情的表现方式与阈下情绪启动方式非常相似; 另一方面, Patrick等(2009)的结果表明微表情有可能在未被人觉察的情况下就已经对人产生了影响, 这种效果也与阈下情绪启动效应类似(如Li, Zinbarg, Boehm, & Paller, 2008)。那么微表情是否就是一种现实生活中的阈下情绪启动呢？我们认为, 只有了解微表情识别的过程, 以及微表情(无论是否被成功识别) 对观察者实际产生的影响, 我们才能真正理解微表情在现实生活中的作用机制。

4.2 微表情表达研究中有待解决的四个重要问题

Porter 和ten Brinke (2008) 探究了微表情表达, 但目前有关微表情表达还有很多重要问题尚不明了。以往研究者往往直接引用Ekman 提出的有关微表情性质的观点(如Ekman, 2003, 2009; Ekman & Sullivan, 2006), 但并未进行系统深入的实证研究。

首先, 微表情是否只在撒谎时出现？Ekman 认为, 微表情与撒谎密切相关(如Ekman, 2009; Ekman & Sullivan, 2006)。但Porter 和ten Brinke (2008)的研究却提示, 人不撒谎时也可能会出现微表情。显然, 如果微表情与撒谎无必然联系, 那么人们就不宜用微表情来判别人是否撒谎。这也关系到微表情的产生机制问题。

其次, 撒谎动机水平、撒谎时间长短、情绪唤醒程度与微表情表达的关系是怎样的？前述分析表明, 撒谎动机高低、撒谎时间长短、情绪

唤醒程度等因素均可能影响微表情表达。若微表情仅在高动机、高情绪唤醒程度、较长的撒谎时间条件下才有较高的出现概率, 那么应用微表情来判别撒谎就可能只在特定条件下适用。阐明影响微表情表达的主要因素, 也有助于揭示微表情的表达机制。

第三, 微表情的表达是否完全是无意识的？人是否能意识到自身出现了微表情？其自我意识与撒谎成功与否之间有无关系？Ekman (2009)认为, 微表情是无意识的, 人意识不到自己出现了微表情。然而, 目前并无任何实证研究对此进行考证。阐明微表情表达的自我意识性, 将深化人们对微表情表达本质的认识, 以及对微表情与意识和无意识关系的理解。

第四, 不同人群的微表情表达是否存在不同？更重要的是, 罪犯的微表情表达是否与普通人的微表情表达有所不同？研究表明, 罪犯在撒谎时与普通人有不同的表现, 与普通人相比, 罪犯撒谎时笑得更少, 更多地使用自我操控(self-manipulation), 且更难被人识破(Porter, Doucette, Woodworth, Earle, & MacNeil, 2008)。研究还表明, 目前审讯时用来判别人是否撒谎的行为线索, 诸如言语中断(speech disruption)、不合时宜的微笑、目光回避、手势增多等等, 都是无效的, 这些线索深受民族文化等因素的影响(Jonson, 2007)。因此, 根据目前所采用的行为线索来甄别犯罪嫌疑人在审讯中是否撒谎是很困难的。由于微表情与六大基本表情相对应, 而在六大基本表情上的个体间差异较小(Ekman, 1992), 那么微表情是否可以作为判别犯罪嫌疑人是否在撒谎的一个有效指标呢？罪犯与普通人在微表情表达上是否存在差别？这直接关系到微表情在法律领域应用的有效性, 是微表情研究和应用都无法回避的重要问题。 4.3 微表情分析的工具问题

迄今为止, 正式发表的有关微表情表达的实证研究报告只有Porter 和ten Brinke (2008)。我们分析出现这种状况的一个重要原因在于: 目前没有对视频中的微表情进行分析的自动化工具, 这使得开展微表情表达研究非常困难。

目前进行微表情表达研究, 需要使用FACS (Ekman, Friesen, & Haggar, 1976/2002)对包含被试微表情的视频进行逐帧的编码(如Porter & ten

第18卷第9期

微表情研究及其应用 -1365-

但是, 不仅FACS 编码的训练比较Brinke, 2008)。

费时, 编码者一般都需要接受100小时的训练才能达到初步熟练的程度; 而且使用FACS 进行编码也很费时, 编码1分钟的视频平均需要2个小时(Pantic, 2009)。为了更快地对基本表情编码, 在FACS 基础上, 研究者发展出了一套附加的编码系统EMFACS (Emotion Facial Action Coding System; 见Friesen & Ekman, 1984), 但人工对视频进行逐帧编码依然费时费力。这极大地限制了目前的微表情研究。因此, 有效的微表情自动分析工具是开展微表情表达研究需要解决的一个重要问题。

在计算机视觉(Computer Vision)领域, 自动表情识别算法对正面面孔表情的自动检测已能达到较高的准确率, AUC可达0.8~0.9 (Pantic, 2009) 。近期, 研究者发展出了针对抑郁症患者和精神分裂症患者的表情分析工具(Cohn et al., 2009; Wang et al., 2009), 这说明将自动表情识别算法应用于心理学研究是可行的。目前有两组独立的研究者(Shreve, Godavarthy, Manohar, Goldgof, & Sarkar, 2009; Polisovsky, Kameda, & Ohta, 2009)在探索微表情自动识别工具, 但其算法要么不能够识别微表情的表情类别, 要么在算法的自动化程度与数据集的真实化程度上存在较大问题, 且这两组研究侧重于识别表情动作的强度和部位, 而不是表情的动态特性, 因而与微表情的定义(Ekman, 2009; Ekman & Sullivan, 2006) 有很大不同。

如何在前人工作的基础上开发出能应用于微表情研究的微表情自动分析工具, 仍然是一项具有挑战性的重要任务。心理学家应和计算机科学家携手, 研发出自动化的微表情分析工具, 这必将极大地减轻相关领域研究者的工作负荷, 加快研究进度, 有力地促进微表情研究和应用的蓬勃发展。

4.4 微表情的应用前景

每天, 成千上万的乘客穿过地铁、火车站、机场的安全检查站, 或通过边境检查站出入国境, 而安检人员则需要通过与他们进行交互来判别谈话内容的真伪, 以辨识出哪些人可能具有高风险性, 会危害到其他人或国家的安全。将这样的工作完成好几乎是不可能的。人的认知资源是有限的, 时间也是有限的, 识别谎言的能力更是非

常有限的, 其识别率仅略高于机率水平(Ekman & Sullivan,1991; Ekman, 2009)。安检人员不可能去挡住这几乎永无止境的人流, 不计代价地进行互动以保证谈话的真实性。人必须依赖工具才能完成这样的任务。因此, 能帮助人准确识别撒谎行为的工具, 特别是自动谎言识别(automatic deception detection)系统, 在国际反恐、国家安全、司法侦讯等领域, 具有非常重大的应用价值。事实上, 测谎仪早已应运而生。然而, 大量研究表明测谎仪的结果并不可靠(如Keckler, 2005)。

近年来, 基于脑成像和ERP 的撒谎研究也取得了较大进展(Luber, Fisher, Appelbaum, Ploesser, & Lisanby, 2009)。然而, 即使能藉由脑成像或ERP 技术测谎, 它们也无法应用于上述场景。例如, 基于fMRI 进行测试, 需要被试在机器内躺着不动; 基于ERP 进行测试, 对被试的头部运动有严格的限制。一方面, 我们无法把这些仪器安放在地铁、火车站、机场的安全检查站中, 让每个人接受这种检查; 另一方面, 对于接受这种检查的人员, 由于仪器设备或多或少地都要与人体接触, 也会导致某种程度的情绪唤醒, 对测试结果产生一定的干扰。

相比之下, 对身体的非言语线索(例如, 眨眼频率、手与头部的运动轨迹与频率、面部表情与温度等) 进行自动检测, 可以在不被当事人觉察的情况下进行自动谎言识别。基于非言语线索的自动谎言识别系统可安放在各种安检场合, 以较快的速度识别谎言。这样的自动谎言识别系统是可以实现的, 研究者们已经在此方向上取得了一定的进展。例如, 研究者已经开始研发基于面部温度追踪的自动谎言识别系统(Tsiamyrtzis et al., 2007) 。基于非言语线索的自动谎言识别系统应是未来测谎研究的发展方向。

微表情反映了人试图压抑与隐藏的真实情感, 是一种有效的非言语线索。在临床领域, 临床心理学家或许可以仔细观察患者, 发现其微表情, 了解患者对特定事或人的真正态度和想法, 从而对症治疗, 缩短治疗时间; 在司法领域, 法官或许可以藉由犯罪嫌疑人脸上的微表情, 判断犯罪嫌疑人是否在撒谎; 在安全领域, 安全人员或许可以藉由微表情判断对方是否有攻击的意图, 从而防患于未然。

由于微表情出现速度很快, 人工识别有很大

-1366-

心理科学进展 2010年

Sons.

Ekman, P., Friesen, W. V., & Hagar, J. C. (1976/2002). Facial Action Coding System. Salt Lake City, UT: Network Information Research (Original work published 1976).

Ekman, P., Friesen, W. V., & Sullivan, M. O. (1988). Smiles when lying. Journal of Personality and Social Psychology, 54, 414–420.

Ekman, P., & Sullivan, M. O. (1991). Who can catch a liar. American Psychologist, 46, 913–920.

Ekman, P., & Rosenberg, E. L. (2005). What the Face Reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System. Oxford, UK.: Oxford University Press.

Ekman, P., & Sullivan, M. O. (2006).From flawed self-assessment to blatant whoppers: The utility of voluntary and involuntary behavior in detecting deception. Behavior Science and the Law, 24, 673–686.

Endres, J., & Laidlaw, A. (2009). Micro-expression recognition training in medical students: A pilot study. BMC Medical Education, 9, 47–53.

Frank, M. G., & Ekman, P. (1997). The ability to detect deceit generalizes across different types of high-stake lies. Journal of Personality and Social Psychology, 72, 1429–1439.

Frank, M. G., Herbasz, M., Sinuk, K., Keller, A., & Nolan, C. (2009). I see how you feel: Training laypeople and professionals to recognize fleeting emotions. In: the Annual Meeting of the International Communication Association , Sheraton New York, New York City, NY. Retrieved July 1, 2009, from http://www.allacademic. com/meta/p15018_index.html.

Fellner, A., Matthews, G., Funke, G. J., Emo, A. K., Pérez-González, J. C., Zeidner, M., & Roberts, R.D. (2007). The effects of emotional intelligence on visual search of emotional stimuli and emotion identification. In: Proceddings of the Human Factors and Erogonomics Society 51st Annual Meeting (pp. 845–849). Santa Monica, CA, USA: HEFS.

Friesen, W. V. & Ekman, P. (1984). EMFACS-7: Emotional Facial Action Coding System. Version 7. Unpublished manual. Haggard, E. A., & Isaacs, K. S. (1966). Micromomentary facial expressions as indicators of ego mechanisms in psychotherapy. In L. A. Gottschalk & A. H. Auerback (Eds): Methods of Research in Psychotherapy (pp. 154–165). Appleton Century Crofts. New York

Henig, R. M. (2006, February 5). Looking for the lie. New York Times. Retrieved October 23, 2009, from www.nytimes.com.

Johnson, R. R. (2007). Race and police reliance on

困难, 可靠性也无法保证, 因此, 要想将微表情用于谎言识别, 则必须构造能够识别微表情的自动谎言识别系统。基于微表情的自动谎言识别系统在研究、临床、国家安全、法律等领域都具有重大的应用价值, 可以在无觉察、无入侵的情况下为研究者、临床工作者和安全人士服务。随着微表情研究的不断发展, 我们对微表情性质、识别过程和表达模式会有更全面深入的了解, 进而为研发基于微表情的自动谎言识别系统提供坚实的科学基础。只要心理学家和计算机科学家携起手来, 基于微表情的自动谎言识别系统将指日可待。参考文献

Cohn, J. F., Kruez, T. S., Matthews, I., Yang Y., Nguyen, M. H., Padilla M. T. … Torre, De la. F. (2009). Detecting depression from facial actions and vocal prosody. In: Proceedings of International Conference. Affective Computing and Intelligent Interaction. Retrieved December 28, 2009, from http://www.andrew.cmu.edu/ user/minhhoan/papers/acii-paper_final.pdf.

Darwin, C. (1998). The Expression of the Emotions in Man and Animals, 3rd edit. Introduction, afterwords, and commentaries by Paul Ekman. London, UK: HarperCollins; New York, US: Oxford University Press.

Depaulo, B. M., & Bond, C. F. (2006). Accuracy of deception judgments. Personality and Social Psychology Review, 10, 214–234.

Ekman, P. (1992). Facial expressions of emotion: An old controversy and new findings. Philosophical Transactions of the Royal Society of London, Series B: Biological Science, B335, 63–69.

Ekman, P. (2002). MicroExpression Training Tool (METT). Retrieved April 15, 2009, from http://www.paulekman. com.

Ekman, P. (2003). Darwin, deception, and facial expression. Annals of the New York Academy of Sciences, 1000 (Emotions Inside Out: 130 Years after Darwin's The Expression of the Emotions in Man and Animals): 205–221.

Ekman, P. (2009). Lie catching and microexpressions. In C. Martin (Ed.): The Philosophy of Deception (pp. 118–133). Oxford: Oxford University Press.

Ekman, P., & Friesen, W. V. (1969). Nonverbal leakage and clues to deception. Psychiatry, 32, 88–97.

Ekman, P., & W. Friesen.(1974). Nonverbal behavior and psychopathology . In R. J. Friedman & M. M. Katz (Eds.): The Psychology of Depression: Contemporary Theory and Research (pp. 203–224). Washington D. C.: Winston &

第18卷第9期

微表情研究及其应用 -1367-

Porter, S., Doucette, N., Woodworth, M., Earle, J., & MacNeil, B. (2008). ‘Halfe the world knowes not how the other halfe lies’: Investigation of cues to deception exhibited by criminal offenders and non-offenders. Legal and Criminological Psychology, 13, 27–38.

Porter, S., & ten Brinke, L. (2008). Reading between the lies: identifying concealed and falsified emotions in universal facial expressions. Psychological Science, 19, 508–514. Russell, T. A., Elvina, C., & Mary, L.P. (2006). A pilot study to investigate the effectiveness of emotion recognition remediation in schizophrenia using the micro-expression training tool. British Journal of Clinical Psychology, 45, 579–583.

Russell, T. A., Green, M. J., Simpson, I., & Coltheart, M. (2008). Remediation of facial emotion perception in schizophrenia: Concomitant changes in visual attention. Schizophrenia Research, 103, 248–256.

Schubert, S. (2006, October). A Look Tells All. Retrieved October 23, 2009, from the Scientific American Mind Web site: http://www.sciam.com/article.cfm?articleID=0007F 06E-B7AE-1522-B7AE83414B7F0182

Shreve, M., Godavarthy, S., Manohar, V., Goldgof, D., & Sarkar, S. (2009). Towards macro- and micro-expression spotting in video using strain patterns. In: IEEE Workshop on Applications of Computer Vision. Retrieved December 28, 2009, from http://figment.csee.usf.edu/~vmanohar/ WACV09_Expression_Spotting.pdf.

Swart, M., Kortekaas, R., & Aleman, A. (2009). Dealing with feelings: Characterization of trait alexithymia on emotion regulation strategies and cognitive-emotional processing. PLoS ONE, 4, e5751.

Tsiamyrtzis, P., Dowdall, J., Shastri, D., Pavlidis, T., Frank, M. G., & Ekman, P. (2007). Imaging facial physiology for the detection of deceit. International Journal of Comupter Vision, 71, 197–214.

Wang, P., Barrett, F., Martin, E., Milanova, M., Gur, R. E., Kohler, C., & Verma, R. (2008). Automated video based facial expression analysis of neuropsychiatric disorders. Journal of Neuroscience Methods, 168, 224–238.

Warren, G., Schertler, E., & Bull, P. (2009). Detecting deception from emotional and unemotional cues. Journal of Nonverbal Behavior, 33, 59–69.

Weinberger, S. (2010). Intent to deceive: Can the science of deception detection help to catch terrorists?, Nature, 465, 412–415.

suspicious non-verbal cues. Policing-an International Journal of Police Strategies & Management, 30, 277–290. Keckler, C. N. W. (2005). Cross-examining the brain: A legal analysis of neural imaging for credibility impeachment. Paper 16, George Mason University School of Law Working Paper Series. Fairfax, VA: George Mason University School of Law. Retrieved March 24, 2010, from http://law.bepress.com/cgi/ viewcontent.cgi?article= 1015&context=gmulwps

Lang, P., Bradley, M., & Cuthbert, B. N. (1999). International Affective Picture System (IAPS): Instruction Manual and Affective Ratings (Technical Report No. A-4). Gainesville: University of Florida, Center for Research in Psychophysiology.

Lang, P., Greenwald, M. K., Bradley, M., & Hamm, A. O. (1993). Looking at pictures: Affective, facial, visceral, and behavioral reactions. Psychophysiology, 30, 261–273. Li, W., Zinbarg, R. E., Boehm, S. G., & Paller, K. A.(2008). Neural and behavioral evidence for affective priming from unconsciously perceived emotional facial expressions and the influence of trait anxiety. Journal of Cognitive Neuroscience, 20, 95–107.

Luber, B., Appelbaum, P. S., Ploesser, M.,& Lisanby, S. H. (2009). Non-invasive brain stimulation in the detection of deception:scientific challenges and ethical consequences. Behavioral Sciences and the Law, 27, 191–208.

Matsumoto, D., LeRoux, J., Wilson- Cohn, C., Raroque, J., Kooken, K., Ekman, P. … Goh, A. (2000). A new test to measure emotion recognition ability: Mtasumoto and Ekman's JAPANESE and Caucasian brief affect recognition test (JACBART). Journal of Nonverbal Behavior, 24, 179–209.

Pantic, M. (2009). Machine analysis of facial behaviour: Naturalistic and dynamic behavior. Philosophical Transactions of the Royal Society B, 364, 3505–3513. Patrick, A. S., Bridget, M. W., & James, N. S. (2009). Presidential speechmaking style: Emotional response to micro-expressions of facial affect. Motivation and Emotion, 33, 125–135.

Polisovsky, S., Kameda, Y., & Ohta, Y. (2009). Facial micro-expressions recognition using high speed camera and 3D-gradients descriptor. In: 3 International Conference on Imaging for Crime Detection and Prevention ICDP-09. Retrieve December 28, 2009, from http://www.kameda-lab.org/research/publication/2009/20091203_ICDP/200912_ICDP_senya.pdf.

-1368-

心理科学进展 2010年

Micro-expression and Its Applications

WU Qi1,2; SHENG Xun-Bing1,2; FU Xiao-Lan1

(1Institute of Psychology, Chinese Academy of Sciences, Beijing, 100101, China) (2Graduate School of the Chinese Academy of Sciences, Beijing, 100049, China)

Abstract: When an emotion is concealed or repressed, the true emotion may be manifest as a micro-expression, a fleeting facial expression discordant with the expressed emotion, usually suppressed within 1/25 to 1/5 of a second, and closely related to the deception. This article is a review of all the studies reported about micro-expression. Earlier researchers focused on the measurement of abilities to recognize micro-expression. Because of the development of measurement tools, a large number of micro-expression recognition studies emerged within the clinical domain. However, only one published empirical study has explored the generation of micro-expression, and many questions are left unanswered. Further research should focus on the cross-culture validity of Micro-Expression Training Tool (METT), the generation of micro-expression, and the development of automatic micro-expression recognition tools. Micro-expression studies can provide important insights into the development of an automatic deception detection system. Key words: micro-expression; deception; micro-expression recognition; micro-expression generation

心理科学进展 2010, Vol. 18, No. 9, 1359–1368 Advances in Psychological Science

微表情研究及其应用*

吴奇1,2 申寻兵1,2 傅小兰1

(1中国科学院心理研究所; 脑与认知国家重点实验室, 北京 100101) (2中国科学院研究生院, 北京 100049)

1 引言

* 中国科技部973项目(2006CB303101)和国家自然科学基金项目(90820305)支持。

通讯作者: 傅小兰, E-mail: [email protected]

建议。

2 微表情的界定与基本性质

1359

-1360-

心理科学进展 2010年

图1 正常表情中的一个厌恶的微表情(选自METT)

也能很好地判断人是否在撒谎。于是, Ekman的研究团队开始构造测量微表情识别能力的工具, 同时考察微表情识别能力与谎言识别准确性之间的关系。

3 微表情研究现状分析

3.1 早期的微表情识别研究 3.1.1 微表情识别能力测验

第18卷第9期

微表情研究及其应用 -1361-

METT 提供训练程序能在1.5小时的时间内提高人识别微表情的能力(Ekman, 2002), 后测的

2002年之前, 微表情研究并不多见, 且以发展测量微表情识别能力的工具为主。然而, Ekman于2002年发展出METT 后, 微表情识别的应用研究在近年来不断涌现。

3.2.1 微表情识别在医学临床领域的应用研究

临床是微表情研究的重要应用领域。研究者目前十分关注微表情识别在临床上的应用。

-1362-

心理科学进展 2010年

3.2.2 微表情识别在其他领域的应用研究

第18卷第9期

微表情研究及其应用 -1363-

效性提出了质疑。

3.3.2 研究结果不一致的原因分析

我们认为, 术语的操作定义、实验范式、撒谎动机、撒谎时长、情绪唤醒程度等因素都可能是导致上述研究结果不一致的重要原因。

者不撒谎对其自身均无影响。Ekman (2009) 也指

4 问题与展望

4.1 微表情识别研究中有待解决的三个问题

-1364-

心理科学进展 2010年

4.2 微表情表达研究中有待解决的四个重要问题

其次, 撒谎动机水平、撒谎时间长短、情绪唤醒程度与微表情表达的关系是怎样的？前述分析表明, 撒谎动机高低、撒谎时间长短、情绪

目前进行微表情表达研究, 需要使用FACS (Ekman, Friesen, & Haggar, 1976/2002)对包含被试微表情的视频进行逐帧的编码(如Porter & ten

第18卷第9期

微表情研究及其应用 -1365-

但是, 不仅FACS 编码的训练比较Brinke, 2008)。

4.4 微表情的应用前景

由于微表情出现速度很快, 人工识别有很大

-1366-

心理科学进展 2010年

Sons.

Ekman, P., Friesen, W. V., & Hagar, J. C. (1976/2002). Facial Action Coding System. Salt Lake City, UT: Network Information Research (Original work published 1976).

Ekman, P., Friesen, W. V., & Sullivan, M. O. (1988). Smiles when lying. Journal of Personality and Social Psychology, 54, 414–420.

Ekman, P., & Sullivan, M. O. (1991). Who can catch a liar. American Psychologist, 46, 913–920.

Ekman, P., & Rosenberg, E. L. (2005). What the Face Reveals: Basic and Applied Studies of Spontaneous Expression Using the Facial Action Coding System. Oxford, UK.: Oxford University Press.

Endres, J., & Laidlaw, A. (2009). Micro-expression recognition training in medical students: A pilot study. BMC Medical Education, 9, 47–53.

Frank, M. G., & Ekman, P. (1997). The ability to detect deceit generalizes across different types of high-stake lies. Journal of Personality and Social Psychology, 72, 1429–1439.

Henig, R. M. (2006, February 5). Looking for the lie. New York Times. Retrieved October 23, 2009, from www.nytimes.com.

Johnson, R. R. (2007). Race and police reliance on

Depaulo, B. M., & Bond, C. F. (2006). Accuracy of deception judgments. Personality and Social Psychology Review, 10, 214–234.

Ekman, P. (1992). Facial expressions of emotion: An old controversy and new findings. Philosophical Transactions of the Royal Society of London, Series B: Biological Science, B335, 63–69.

Ekman, P. (2002). MicroExpression Training Tool (METT). Retrieved April 15, 2009, from http://www.paulekman. com.

Ekman, P. (2009). Lie catching and microexpressions. In C. Martin (Ed.): The Philosophy of Deception (pp. 118–133). Oxford: Oxford University Press.

Ekman, P., & Friesen, W. V. (1969). Nonverbal leakage and clues to deception. Psychiatry, 32, 88–97.

第18卷第9期

微表情研究及其应用 -1367-

Schubert, S. (2006, October). A Look Tells All. Retrieved October 23, 2009, from the Scientific American Mind Web site: http://www.sciam.com/article.cfm?articleID=0007F 06E-B7AE-1522-B7AE83414B7F0182

Swart, M., Kortekaas, R., & Aleman, A. (2009). Dealing with feelings: Characterization of trait alexithymia on emotion regulation strategies and cognitive-emotional processing. PLoS ONE, 4, e5751.

Warren, G., Schertler, E., & Bull, P. (2009). Detecting deception from emotional and unemotional cues. Journal of Nonverbal Behavior, 33, 59–69.

Weinberger, S. (2010). Intent to deceive: Can the science of deception detection help to catch terrorists?, Nature, 465, 412–415.

-1368-

心理科学进展 2010年

Micro-expression and Its Applications

WU Qi1,2; SHENG Xun-Bing1,2; FU Xiao-Lan1

(1Institute of Psychology, Chinese Academy of Sciences, Beijing, 100101, China) (2Graduate School of the Chinese Academy of Sciences, Beijing, 100049, China)

微表情研究及其应用_吴奇

相关文章