力感应触摸手势的时空表观建模与识别
李良辰，郭文明**
作者简介：李良辰，（1987-），女，主要研究方向为模式识别
通信联系人：郭文明，（1967-），男，副教授，主要研究方向为模式识别. E-mail: guowenming@email.buptsse.cn
（北京邮电大学软件学院，北京 100876）
5 摘要：触摸手势交互作为一种更自然的人机交互方式，在目前的触摸屏以及智能手机中得到
了广泛的应用，未来将具有更广阔应用空间。本文对触摸屏的单点、多点触摸识别关键技术
进行了深入的理论研究，对由一组在空间上检测到的触点P 和与之相关的一组时间参数T
组合而成的触摸手势进行分析，在识别要素上，添加了触摸感应的力度，从而形成了三维识
别坐标体系，增加了手势的多样性，然后建立识别模型，并通过相应的识别算法编写应用程
10 序在表面声波触摸屏上实现单点、多点触摸识别技术。最后，文章从不同应用形式，即图片
放大、图片缩小、图片旋转、切换下一应用程序等应用，对力感应下的单点、多点触摸识别
技术的识别准确度、识别速度进行性能分析，为以后在应用触摸手势交互过程中合理地选择
使用单点、多点触摸识别技术，从而为提高使用效率奠定基础。
关键词：人机交互；单点触摸；多点触摸；交互手势；力感应触摸屏
 0 引言
40 目前，触摸屏成为一种代替或补充普通键盘和鼠标的输入设备，已经在众多场合和领域
得到了使用,尤其是新一代支持单点、多点触摸识别技术的出现,使触摸屏的应用发生了新的
变化,触摸屏可以为用户提供更多、更自然的交互方式。
单点、多点触摸识别技术的引入使得以触摸屏为代表的人机交互方式更加便利, 手势操
作是人在日常生活中形成的最常用的自然操作，这些操作的应用于人机交互过程大大减轻了
45 操作者的认知负担，形成自然的“知觉-动作”链。但是单点、多点触摸识别技术原理不同
 也导致了对双手手势识别方法不同。尽管许多研究人员对人机交互手势作了大量研究，但是
很少有对单点、多点触摸识别技术进行一体化设计。本文通过分析单点、点触摸识别技术定
义和原理，建立交互模型，编写应用程序设计实现单点、多点触摸识别技术，对其进行性能
分析，最后通过实验验证，从而为更好地应用单点、多点触摸识别技术提供依据。
50 1 相关概念
1.1 人机交互
未来人机交互将以自然性、多通道性、协作性为主要发展方向，力图通过手势、语言、
表情之类人类自然交流方式形成多通道、多模式的作业，以提高决策的效率。[1] 相对于自
然手势交互的迅猛发展，基于触摸屏的人机交互技术研究则更多地出现在PDA 的产业界，
55 例如基于Windows Mobile 的多普达手机搭载了Touch Flo 界面，明显地改善了手机操作的
便利性，iPhone 则给我们带来了其引以为傲的多点触摸技术，在图片拉伸，多媒体处理以及
配套软件使用方面，其优越性不言而喻，而Android 附带的类似于PC 的鼠标手势技术，也
为操作带来了前所未有的流畅感，新版的WM6.5 专门启用了大图标及更方便的定位技术，
也使得操作感有所提升，这些产品都是基于多点触摸屏（Multi-Touch）下“触摸手势”（touch
60 gesture）的具体应用。
1.2 触摸手势
触控技术实现了符合人思维特性的交互手势识别定义,正如现实生活中人们不会把向右
理解为放大。Wu 等人[2]提出了一套手势设计原理，包括手势的注册、手势的弹性和重用性，
给出了注释（annotate）、擦除（wipe）、复制（cope）、剪切（cut）、粘贴（paste）等实
65 例，Elias[3]等人提出一套多点手势字典，包含了大量的实体，每个实体对应于键盘专门的键，
从而键盘文件操作都可以映射到对应的手势，用户也可以每个手势定义自己的语义。Heng
Xian—gan[4]等人提出了一种由行为（action）、意图（motivation）、计算（computing）以
及他们之间的映射关系组成的模型，利用该模型建立的手势实例具有平台和应用的独立性和
重用性。手势动作是交互过程中根据单手或双手手指在触摸平台表面的触摸状态、触点位置
70 或触点相对位移特征加以区分的有特定含义的触摸动作。因此，具有平面自由度的触摸手势，
实际上是由一组在空间上检测到的触点P 和与之相关的一组时间参数T 组合而成的。依据
触摸点特征对手势动作进行分析，可以脱离对具体触摸平台的依赖，提高动作分析的普适性，
使其可以适用于不同类型的硬件平台环境。
2 单点、多点触摸手势定义
75 2.1 单点触摸手势定义
单点触摸手势[5]可分为单击、双击、在屏幕上停留时间也可按照特定的需要分为短时间
和长时间，按压屏幕的力度也可分为若干等级，产生不同的结果，还有直线划屏幕、弧线划
屏幕、折线划屏幕。
直线又可以进一步划分为五种：斜线、向上直线、向下直线、向左直线、向右直线。同
80 时对于五种直线，结合力度还可以进一步给出直线旋、上旋、下旋、左旋、右旋，其特征为：
结束点的力度落在强力度范围内（还可以详细比较起始点的Z 和结束点的Z 的力度大小，
对基于力度的直线进行细分）。
 折线实质上是由两段水平或者垂直的直线构成，又可以分为上左、上右、下左、下右、
左上、左下、右上、右下八种手势动作。如图1。
85
图1 折线手势集合
Fig.1 Collection of Poly-line Gestures
弧线的显著特征是：中间点和起始点连线的正弦值，既不与结束点和起始点连线的正弦
90 值始终一致，同时也不满足：和起始点连线的正弦值等于0（在一定误差范围内），或者和
结束点连线的正弦值等于0（在一定误差范围内），或者和起始点连线的正弦值等于1（在
一定误差范围内），或者和结束点连线的正弦值等于1（在一定误差范围内）。
2.2 多点触摸手势定义
常见商用多点触摸设备提供的手势交互语义主要面向日常生活使用，缺乏娱乐应用，特
95 别针对在画图板以及网球游戏等应用，需要多点触摸自然手势环境以及力度的应用。
在单点触摸手势中，我们只是累积罗列了用户常用的各种手势，但是延展性与可扩展性
差，对于复杂的多点触摸手势，首要解决这一问题，因此，我们提出建立标准化多点触摸交
互手势。首先，需要全面了解用户可能产生的轨迹，识别和处理用户依赖的交互方式，然后
进一步提取出各种属性，最后再统一起来，形成手势交互框架。作为一个多点触摸手势化模
100 型，我们选择符号学，在语言学中的技术运用。Nespoulous[6]曾经有过相关方面的研究,在他
的研究中总结了三个方面的符号学，并将其应用到多点触摸互动，如表1。
表1 概述多点触摸符号学手势
Table 1: Overview of semiotics for multi-touch gestures
句法 语义 语用学
范围 符号 意义 释义
形式化 正式文法 本体
用户模型
实施 识别发动机 应用命令 具有反馈和前馈的隐喻
多点触摸 演出手势 语义尺寸 直观接口概念
105
Wobbrock 的研究表明将分析手势事件的相关数据，需要跟踪多点触摸设备。重要的是
建立适当的句法以适应用户，这技术信息必须与结果相关。[7]因此，基于力感应下多点触摸
手势形式化的方法和进一步提取出的各种属性，接下来我们演绎句法对我们本次手势识别的
B
B B
B
A
a)上左b)上右
c)下左d)下右
e)左上
f)左下
g)右上
h)右下
 重要作用如表2 所示。
110
表2 触摸屏语言要素
Table 2: Language elements of touch screen
语言要素 目的 举例
原子手势 描述手势运动情况 点、直线、曲线、折线
复合算子 描述手势时间的进展 连续的，独立的
复合算子 描述手势空间的进展 （x, y）（x, y, z）
聚焦应用 描述原子距离的进展 靠近、远离
约束算子 介绍了原子的相对走向 上、下、左、右、顺时针、逆
时针
组合算子 识别了原子的触点状态 单指、双指、五指
说明：在手势定义模型中，这些轨迹被抽象为原子手势，围绕一个指南针方向盘。他们
115 描述简单的线、半圆、和圆形造型，可以结合成更复杂的实体。如图2 所示：
点击 移动 直线
120 斜线 弧线 圆周
图2 基于指南针方向盘的原子手势示例（点击、按压、平移、各种直线、弧线等）
Fig.2: Examples of atomic gestures centered on a compass rose (POINT, HOLD, MOVE, and
variations of LINE, SEMICIRCLE, and CIRCLE)
125 根据双手操作的模式定义双手识别的操作状态，我们组合出如下的手势示例：
点+独立+（x, y）+单指=点击屏幕——手指单击或双击屏幕；
点+曲线/直线/弧线+任意方向=一支手指点击屏幕另一支手指划屏幕——用一支手指按
压屏幕，另一支手指以直线，弧线或折线划屏幕，以达到某些效果或指令；
点+连续+（x, y）+方向+两指=两支手指均划屏幕——两支手指同时划过屏幕，而划屏
130 幕的方向又可分为同方向，反方向及圆周方向等；
点+独立+（x, y, z）+单指/双指=带有按压力度的双手指手势——手势可分为一支手指按
压屏幕和两支手指均按压屏幕；
直线+连续+（x, y）+方向（上、下、左、右）+五指=五支手指平行滑动——五支手指
沿相同方向滑动；
135 弧线+连续+（x, y）+方向（顺时针、逆时针）+五指=五支手指按圆周方向滑动——以
拇指为轴其余四指圆周方向滑动，分为顺时针和逆时针；
直线+连续+五支手指+靠近/远离=五支手指相互靠近或远离——五支手指在屏幕上触点
的位置相互靠拢或疏远；
点+独立+（x, y, z）+五指=带有按压屏幕的五指手势——五支手指同时按压屏幕。
 140 3 单点、多点触摸手势定义识别算法设计
3.1 单点触摸识别设计
手势定于之后，我们需要建立模型，使其在触摸屏上实现手势的应用，方便用户使用。
基于力感应触摸屏的手势识别方法：在获取力感应触摸屏各个点位置的基础上，通过对触摸
点位置的变化、力度的增减、触摸点轨迹的分析可以对触摸手势动作进行识别，手势的识别
145 是一个具有实践跨度的过程行为，因此要求对手的操作过程实施分析和处理，并及时通知上
学术论文网Tag：代写论文 论文发表 计算机论文 代发论文 职称论文发表