多通道情感信息传递

2018-09-07
by  向为,李彦,郑楷洪,陈瞳 

指导老师:孙凌云

在人们相互之间的交流中,情绪的传递以及情绪的体验是影响人们生活体验的重要因素。人们对于外部世界的感受与认知,是通过听觉、触觉、视觉、味觉和嗅觉等感觉通道来实现的,情绪体验同样如此。

情感是城市管理与公共安全中传递快、波动幅度剧烈、影响力大的信息类别。该项目利用人对已有事物的情感意向与情感认知,建立多通道的情感信息传递方法,增强用户对复杂事件中情感信息的感知、推理与应对能力。

研究提出从触觉、嗅觉等方面传递与影响情感信息的方法,开发相应交互装置;并与视觉、听觉等已有情感信息传递通道结合,综合主观评价、客观生理参数测量等手段,从认知角度研究嗅觉、听觉信息对视觉情感信息的加强作用,明确用户对复杂事件中多维度情感信息的感知与推理特征。

  “气味表情”  

在人类的各种感觉通道中, 嗅觉尤其和情绪有着千丝万缕的联系。两者在种系发生进程中存在一定的亲缘关系, 在解剖结构上也高度重叠。气味天然带有情绪效价, 不管是在意识上还是意识下层面, 嗅觉信息都能对情绪产生影响, 反之情绪也能对嗅知觉产生作用。

图1. “气味表情”设计与实验设计流程

研究中通过组织关于气味的意向认知实验,从认知心理学的角度来探索气味的情绪效价,最后得出了一套与人的情感对应的气味——“气味表情”。并设计了与“气味表情”相配合,可以投放特定气味的相关交互装置。

图2. 视觉、听觉、嗅觉共同传递复杂事件中的情感信息

图3. “气味表情”装置原型

  “振动表情”  

针对由振动产生的触觉刺激,研究在可穿戴计算设备中利用振动信号表达情感的可能性。在分析触觉刺激、触觉表达、振动参数等内容的基础上,通过改变振动的强度、节奏与时长,设计出6种振动模式,分别对应愤怒、害怕、搞笑、悲伤、厌恶和惊奇这6种基本情感,并将这6种振动模式称为振动表情。

将振动表情应用在可穿戴计算设备常作用的手指、手腕、上臂和脚踝这4个部位上,并通过比较振动表情在各部位的识别率确定被试能否在各部位准确识别出每一种振动模式所代表的情感。设计一款可穿戴式振动指环,探讨在远程通信场景下振动表情对于情感表达的作用,以评估振动表情的有效性。

结果表明:在可穿戴计算设备中引入振动表情,通过振动刺激表达情感信息,可以有效提高情感识别的准确性,增强情感感知强度。可考虑在可穿戴计算设备中引入振动表情,将情感特征以振动的形式表现出来,从而提高情感传递的效率。

图4. 可穿戴设备中的“振动表情”

成果产出:

[1] Xiang W, Chen S, Sun L, et al. Odor Emoticon: An Olfactory Application that Conveys Emotions [J]. International Journal of Human-Computer Studies, 2016.

[2] 陈实, 郑楷洪, 孙凌云, 等. 可穿戴计算设备中振动表情的设计与应用[J]. 浙江大学学报: 工学版, 2015 (12): 2298-2304.