WO2013182042A1

WO2013182042A1 - 一种可回溯的抗抖动操控系统和方法

Info

Publication number: WO2013182042A1
Application number: PCT/CN2013/076737
Authority: WO
Inventors: 顾红波; 顾耀; 赵至越
Original assignee: Gu Hongbo
Priority date: 2012-06-06
Filing date: 2013-06-04
Publication date: 2013-12-12
Also published as: CN103197860A

Abstract

本发明公开了一种用于人机交互的操控方法及系统，能有效地消除操控过程中的抖动造成的误操作。本发明的操控系统能够连续记录操作者的动态踪迹，并在使用者操控的过程中通过回溯操控过程中的踪迹及判断其中的意念点的方式，达到在计算机系统中精确表达操控者的操控意念的效果。

Description

一种可回溯的抗抖动操控系统和方法

技术领域

本发明主要用于人机交互操控领域，目标是使用者通过人机交互操控系统舒适、方便、准确地将自己操作意愿表达给计算机系统的同时，操作的各部分动作之间不会相互干扰。

技术背景

鼠标作为电脑操作工具已经有20年的历史了，鼠标必须放在一个平面的平台上操作，给操作者带来很多不便。特别是新的IPTV业务中，原有的电视遥控器的操作方式已经远远无法满足用户的需求，用户需要一种既能像鼠标一样方便、甚至更方便，又能悬空握在手中操作的设备。采用陀螺和重力加速度传感器的遥控鼠标曾经背视为鼠标的下一代的替代者，但是在实际推广应用中，存在一些问题，主要是动作自身的相互干扰问题，这导致其难以推广应用。还有许多其他类似的动态传感技术也都有这样的干扰，例如能感应使用者手部动作的感应手套、手写、绘画的电子笔等。

基于动态传感系统的电脑操控设备，存在的一个致命的缺陷，导致其难以大规模投入实用，那就是操作本身所产生的抖动。例如，现有的遥控鼠标，利用上下左右晃动遥控鼠标来控制鼠标指针的上下左右移动，但是在按动按钮的时候，由于遥控鼠标本身操作的时候并没有像一般鼠标那样有桌面的支撑，按动按钮的时候，手部的按压动作会导致遥控鼠标抖动，而这种抖动又会导致鼠标指针的跟之抖动甚至较大移动，这样原本用户用鼠标指向的某个指针操控对象，却因为按动按钮的时候的抖动和移动，指针脱离了用户原本想操作的对象，甚至可能指向另一个紧邻的指针操控对象。这样最终的结果是，用户原本瞄准并点击一个对象，但点击之后发现并没有触发所指向的对象，甚至触发了另一个对象。

除了上述的对正常操作的干扰效应外，按动按钮后松开所导致的抖动也会干扰用户的连续操作，例如在用一般的桌面鼠标玩微软操作系统所附带的踩地雷游戏的时候，用户在点击一个位置的时候，已经在脑中计划好点击的下一个位置及需要再次移动的方向和距离，在本次点击完成后，立刻按照脑中已经计划好的稍加移动就立刻可以点击下一个位置。但是在用遥控鼠标的时候，点击一个位置后，松开按钮会导致光标抖动，跳到另一个难以预计的位置，这样，原先预计好的下一步的移动方向和距离就变得无用了。使用者必须重新根据松开按钮后鼠标指针跟随抖动所处的新位置再确定移动方向和距离。

现有的系统和解决方案有两种，一种是回避问题，那就是尽量加大界面中指针操控对象的尺寸，这样按动按钮所造成的鼠标指针抖动也不会导致指针跳出所指对象的范围，从而不会造成太大的负面影响；另一种是直接面对问题，减少抖动，现有的减少按钮抖动的方式主要有两种，一种是用双手握持遥控器，同时在遥控器上附带一个微缩的键盘，用双手握持的代价换取附加键盘的功能和鼠标指针的稳定；另一种是采用人体工程学的解决方式，将遥控鼠标做成类似手枪的形态，握持的时候也类似握持手枪的方式，将按钮放置在遥控器下方，类似于手枪扳机的位置，在操作这样遥控鼠标的时候，用食指扣动按钮的时候抖动程度确实大大减少了，飞智科技公司的挥挥鼠就是采用这样的设计。这是目前减小按动按钮造成的鼠标指针抖动的较好的解决方案。但是此产品方案有一个致命缺点，那就是因为鼠标下的扳机式的按钮只有一个，其作用相当于一般鼠标的左键，相当于鼠标右键的按钮还是位于遥控鼠标的上方，当使用一个经常需要右键功能的应用的时候，例如在玩踩地雷游戏的时候，经常需要用右键用来插旗，鼠标指针抖动导致的难以操作的问题依然很突出。

发明内容

本发明的主要目的是在人机交互的操控系统当中，消除由于操作者的触发指针对象的动作所导致的抖动而引起的指针的抖动，以及由于指针的抖动所造成的误操作；对于操作浮动的指针对象的时候，由于人手的实际操作要晚于人脑的操作意念而造成的误操作也能起到有效的抑制作用。

本发明的技术方案是这样实现的：

如图5所示，在传统的鼠标、遥控鼠标这类的操控方式及其系统中，其操控系统的鼠标指针控制、驱动模块直接将人体的操控动作转换为对系统的操作，但是其中有些动作，例如按动按钮时候造成的抖动并非操作者意念的真实表达。本发明在原有系统的基础上增加了动态踪迹记录模块、意念点判断模块、指针调整触发模块，

所述操控系统的动态踪迹记录模块用于收集动态传感系统所产生的动态数据，并连续记录操作者的动态踪迹，供意念判断模块使用；

所述操控系统的意念点判断模块用于回溯并分析操作者的动态踪迹，判断出最接近于操作者头脑中的操作意念的意念点；

所述操控系统的指针调整触发模块用于将指针调整到指针在意念点所指向的指针操控对象后触发此对象，或是直接触发指针在意念点所指的指针操控对象。

具体实现步骤如下：

1. 在操作者操作人机交互系统过程中，操控系统的动态踪迹记录模连续记录操作者的动态踪迹；

2. 在操作者做出移动指针的动作的时候，传统的鼠标指针控制、驱动模块将动态传感系统传来的信息转换为指针移动信息。

3. 在操作者做出触发指针操作对象的动作后，操控系统的意念点判断模块根据系统记录的动态踪迹进行回溯，找出使用者在意念点时指针所指的指针操控对象；

4. 操控系统的指针调整触发模块根据使用者所选择的触发指针对象的方式，对上述在意念点时指针所指的指针操控对象进行触发操作。

5. 操控系统在触发完所指的指针操控对象后，将指针归位到意念点。

本发明中有关技术术语的含义及内容进一步解释如下：

1. 动态传感系统

在本发明中，将所有类似陀螺、重力加速度感应器等能感应设备、或人体动作状态的感应器统称为“动态传感系统”，并不排除将来也可以用光、无线信号来检测动作状态，例如现有的在动漫制作中常用的那种用反光标来检测人体动作的系统和原理将来也可能用于操作电脑；装有许多传感器的手套也可以来检测动作状态；用图像分析法来检测眼球的转动控制光标移动、用检测眨眼来控制点击，相当于点击鼠标的左右键；而诸如此类系统都可以视为一个复杂的动态传感系统。

2. 操控系统

操控系统属于操作系统的一个子系统，将动态传感系统所感应到的使用者的操作动作转换为对操作系统平台上的各应用程序的控制信息。需要指出的是，在现有的各操作系统中，操控系统所实施的各项控制是间接的控制而非直接控制，即实际上都是需要通过操作系统平台中的其他子系统来实现的。例如移动鼠标指针，不仅要通过操控系统，还要通过GUI、显卡驱动、甚至显示器驱动，最终才能完整体现出来。但是为了表述的方便、简洁，以及便于一般技术人员理解，在说明书和权利要求书的表达中，忽略这些中间的过程，例如：采用“操控系统移动指针”这样简洁的表达，而不是“操控系统向操作系统发送系统消息，通过GUI、显卡驱动、显示器驱动来移动指针”这样复杂的表达方式。

3. 指针

在本发明中，指针并不是狭义上的屏幕上的箭头状指针，指向屏幕中的对象的指针可以有多种形态，例如在绘图软件中就有橡皮擦、喷嘴等多种形态的指针，凡是能够提示使用者系统目前正在指向的是哪个操控对象的方式都可称为指针。指针本身甚至可以是完全隐形的，仅仅是通过被指针指向的图标或操控对象的形态的变化来提示使用者目前指针的指向，例如在Windows系统当中，用户使用Tab键操作菜单的时候，往往用一个虚线框表示目前的指针所指对象。在手机操作当中，也可以将所指向的图标加亮，或在图标周围加一个闪亮的框，来表示目前正在指向的对象。

4. 指针操控对象

在本发明中，将代表应用程序的图标、程序中的按钮、菜单、拖拉条、网页中的超链接等所有可被指针操作、控制的对象，统称为“指针操控对象”。在Windows系统当中，没有任何图标的桌面背景部分甚至也是一个指针操控对象，因为右键点击桌面部分可以跳出一个可以用来设置桌面布置的右键菜单，这可能是系统中个头最大的指针操控对象。为了简便，在本发明中可简称为操控对象、或对象。

5. 意念点

这是本发明中一个重要的概念，在人机交互操控过程中有两个主要的动作，一个是将指针对准想要操作的对象；另一个是确认对此对象进行左键、右键点击或某种其他操作，这两者之间可能会存在干扰，原始的鼠标是有一个平面的桌面作为支撑，点击鼠标键的时候，其用力几乎与桌面垂直，所以不会对指针的位置造成干扰。但是如果想用鼠标以外的更自由、更方便的人机交互操控方式的时候，就必须解决上述两种操作中前者干扰后者的问题。本发明中的意念点的含义就是当用户将指针指向某个操控对象后，头脑中的意念确认要对此对象进行某种操作但尚未动作的时候，其指针的指向。当然在本发明中这个意念点需要系统通过一定的算法反向推算出来，且推算出来的意念点并不一定与使用者头脑中的意念点完全重合，只能是尽量接近。另外，在本发明中，在某些情况下，同一个操作中可能包括不止一个意念点，例如，在对一个漂浮的指针操控对象进行操作的时候，用于指向操控对象的意念点是随着对象漂浮的，而用于指针归位的意念点在多数情况下是相对固定的指针坐标位置；进行拖拽操作的时候，本身就具有两个意念点，一个是按下按钮的时候的意念点即拖拽的源点，一个是松开按钮的时候的意念点即拖拽的目标点。

6. 动态踪迹

在本发明中，动态踪迹是指操作者在某个时间段内的动作所形成的踪迹，在操控系统中会将操控者的动作转化为指针的移动等计算机内的操作，所以指针所经过的位置、移动轨迹、及其曾经所指过的操控对象这样的信息也可以视为动态踪迹。动态踪迹可以有如下几种，但不仅限于如下几种

1) 动态踪迹可以是指连续记录的指针的移动方向、移动速度、或所经过的坐标位置及在此位置时的时间刻度，因为这是操作者动作状态在计算机系统中的表达，所以视为动态踪迹。这是记录动态踪迹最简单直接的方式。由于这种方式便于用图示的方式表达，本发明说明书中的图示都是基于这种方式的表达。

2) 动态踪迹可以是动态传感系统发给操控系统的原始数据，还可以包括与之相对应的时间标记，便于本发明中的回溯操作。当然动态传感系统发给操控系统的原始数据大多数情况下无法直接体现指针所指向的位置，例如在遥控鼠标中的陀螺和重力加速度感应器输出的原始数据，但这些数据能转换成移动方向、移动速度、或距离，在本发明中也认为这些数据是记录动态踪迹的数据。

3) 动态踪迹可以是指连续记录的指针曾经指向过的指针操控对象，在本发明中，如果指针操控对象是浮动的，仅仅用上述指针位置坐标进行回溯曾经所指的对象会有误差，所以需要这种方式的动态踪迹的记录。

7. 触发操作

在一般的操作系统中，有许多可以被操作的方式，当指针指向这些对象时，可以针对其进行多种类型的操作，例如，左键单击、双击、右键、滚轮操作，在触摸屏的系统中的点击、拖动等，遥控器还有持续按按钮，连续换台；在某些感应型的系统中操作者的手势、姿势等，这些能够导致操作系统做出对应的响应的操作在本发明中统称为触发操作。所以在本发明中触发操作，并不一定非要如字面的意思包含“接触”这个动作；需要指出的是，上述的这些复杂操作难以用曲线图的方式清晰的表示，所以在本文中主要用简单的单击操作作为分析标本，但本发明同样支持这些复杂的操作。

8. 指针归位

在大部分的应用中，指针归位应该是回到使用者在做出操控意念的时候指针所在的物理位置。当执行单击或双击这样简单的操作，且指针操控对象为静态的时候，指针归位比较简单，即回归到使用者在做出操控意念的时候指针所在的物理位置。但是当指针操控对象为动态的时候，处理方式比较复杂，因为存在两个意念点，一个是使用者在做出操控意念的时候指针所在的物理位置；另一个意念点是使用者在做出操控意念的时候指针所指的指针操控对象，而这个意念点是随着浮动的指针操控对象而浮动的。所以这时候需要操控系统决定到底是回到哪一个意念点，这是随着应用程序的不同而变的；在执行拖拽操作的时候也是有两个意念点，一个是拖拽的起点、另一个是终点，需要分别做回归。

附图说明

在附图中，图1及后续的图2、图3都是以单击操作为样本，图4是以拖拽为操作样本，在实际操作中还有双击、滚轮等操作，就不再赘述。在实际应用中，鼠标指针只在一个平面的两个轴向上运动，而一般的动态传感系统至少能体现三个轴向的动态，这样加上时间轴至少需要三到四个轴向才能完整表示。但是为了简洁、方便地在一个平面中表示出本发明的原理，图1及其后各图只用一个维度Y轴来代表三个轴向上晃动，这个维度也是正常按钮操作时晃动幅度最大的维度，水平的T轴用来表示时间。

图1表示的是是常用的遥控鼠标、或带动态传感系统在移动和按动按钮时的曲线图，在本图中看到的是一个单击过程，曲线既可以代表遥控鼠标的运动过程，也可以代表指针的运动过程。这两者是一致的。t0到t1是正常的移动指针的过程，t1到t2是按下按钮造成的向下抖动的过程，t3到t4是松开按钮及造成的抖动的过程，t4之后为移动指针的过程。

图2也是一个单击过程，指针在经过本发明的初步修正后的运动状态，即只在t2时间点对按下按钮时的抖动做了回溯和回归修正，其位置从y2修正回意念点y1，但未对松开按钮时的抖动做回归意念点的修正，可以看出其在t3时间点后，松开按钮后抖动造成了比原始方式更多的位移。

图3也是一个单击过程，指针在经过本发明的完全修正，既在t1时间点对按下按钮的时候的抖动做了回溯和回归修正，也在t3到t4这段对松开按钮时的抖动做了回溯和回归修正，也回归到意念点y1。

图4是一个拖拽操作示意图，t2到t3为持续按着按钮拖拽的过程，其与上面其他图示不同之处在于其有两个意念点y1和y3，其在t3时候的位置y3为拖拽终点的意念点，操控系统在t4的时候将指针修正回到意念点y3，或是在t3的时候就将指针锁定在y3直到t4的时候。

图5是本发明的架构示意图，动态踪迹记录模块用于收集动态传感系统所产生的动态数据，并连续记录操作者的动态踪迹，并供意念判断模块使用；意念点判断模块用于回溯并分析操作者的动态踪迹，判断出最接近于操作者头脑中的操作意念的意念点；指针调整触发模块用于将指针调整到指针在意念点所指向的指针操控对象后触发此对象，或是直接触发指针在意念点所指的指针操控对象；传统的鼠标指针控制、驱动模块主要用于将动态传感系统传来的信息转换为指针移动信息；指针调整触发模块所发出的控制触发对象的信息既可以通过这个传统的鼠标指针控制、驱动模块发送给操作系统，也可以直接发送给操作系统。这只架构图只是实现本发明的众多种架构方式中的一种，之所以采用这个架构来说明，只是因为用这个架构最容易理解本发明的原理。在实际应用中，其中的任意两个或几个模块都可以合并成一个模块，也可以将其中的一个功能模块解构为几个模块。

具体实施方式

实施例1

本发明提出一种全新的控制方式，应用在基于动态传感系统的遥控鼠标来控制系统中的指针的应用案例，能够完全消除按动按钮造成的鼠标指针抖动造成的不利影响，其基本原理是在鼠标操作的过程中，持续记录一段鼠标的动态踪迹，当按钮被按下的时候，系统并不是触发当时鼠标指针所指向的指针操控对象，而是根据记录的动态踪迹回溯意念点，然后触发鼠标指针在意念点的时刻所指向的指针操控对象。

本发明的基本原理如下，在实际中的遥控鼠标，其动态传感系统能感知三个维度上的转动和重力加速，加上时间轴则需要四个维度才能比较完善的表示其操作过程。这样加上时间轴至少需要三个轴向才能完整表示。但是为了简洁、方便在一个平面中表示出本发明的原理，图1只用一个维度y轴来代表三个轴向上晃动，这个维度也是正常按钮操作时晃动幅度最大的维度，水平的t轴用来表示时间，其他几个实施例采用同样简化的表示方式。当然，在实际应用中，因为鼠标指针只在一个平面的两个轴向上运动，系统完全可以只取其中两个轴向的运动状态作为抖动的判断参考，而忽略另一个轴向的信号，甚至就如同图示的那样只用一个轴向的信号作为抖动的判断参考。

在操作过程中操控系统的踪迹记录模块持续记录鼠标的动态踪迹，从t0到t1这个阶段，是用户晃动鼠标对准指针操控对象的过程，在t1这个时刻，指针对准了用户想要点击的对象，用户的大脑做出点击此指针操控对象的意念，在本发明中，称之为意念点——这是本发明中一个重要的创新概念。在意念点之后，用户的手指开始按压按钮或是进行其他动作，用以确认对指针所指向的操控对象的操作，在现有的技术中，这一动作往往会反过来干扰原先在意念点已经确认指向的位置，在图1中，可以看到，在t2时间点或是t3时间点，是按钮被按下并触发，但是在t1到t2这段时间指针已经向下移动了。之所以会有t2和t3两个可能的时间点，是因为一般的电路按钮触发可以分为几大类，一种是类似于数字电路的前沿触发，例如电视遥控器只要按下按钮、即电路闭合就触发操作；另一种是类似于数字电路的后沿触发，例如鼠标单击快捷启动图标，需要按下并放开按钮才形成触发，这是为了区分单击与拖拽操作；当然遥控器还有持续按按钮，连续换台；鼠标还有双击、滚轮等复杂操作，但是这些复杂操作难以用曲线图的方式清晰、连续地表示，所以在本文中只用简单的单击操作作为分析标本，但本发明同样支持那些复杂的操作。

在本发明中，由于操控系统中的动态踪迹记录模块在整个操作过程中对于指针的指向进行记录，并保存一段时间，所以，系统在用户按下触发按钮后，如图2在t2时间点所示，操控系统中的意念点判断模块能够自动进行回溯，找到指针在t1时间点所指向的位置或指向的对象，然后，操控系统中的指针调整触发模块执行类似于下棋中悔棋的操作，返回一步，即在t2或t3这个时间点将指针返回到t1时间点所指的位置y1或所指对象，对t1时间点的时候指针所指向的操控对象进行操作，至此使用者已经能精确的完成一次点击。

为了方便使用者对几个指针对象连续、密集的点击操作，还需要进行进一步的改进，如图1所示，一般情况下，使用者松开按钮后，指针并没有回到原来用户产生点击意念的时候的位置y1，而是回摆到一个与y1位置比较接近的新的位置y4；在使用了本发明的方法后，如图2所示，因为操控系统对指针进行过一次调整，基于此调整后位置，其反弹后会产生更大的位移，对比图1和图2中的y4点所示位置，就可以看出来。这时候，本发明的操控系统根据动态踪迹，将指针调整到y1点的位置，或者在t3到t4这段时间一直将指针位置锁定在y1点的位置，如图3所示。这样使用者完成一次点击操作后就可以不用重新判断点击后指针会跳到什么位置，而只是基于点击前的位置迅速的移动指针进行下一次点击。

当然，如果使用者进行的不是连续点击操作，而是进行拖拽操作，如图4所示，就不是要进行上面这附加的一步，而是返回其松开按钮时候的新的意念点。

要实现上述过程还需要解决如下问题

1. 动态踪迹记录方式

操控系统用以记录踪迹的方式有很多种，在此列出几种方式，但本发明的可以用来记录踪迹的方式不仅限于这几种方式的某一种或组合。

1) 连续记录指针的位置，在系统将动态传感系统转换为屏幕上的坐标值以后，系统连续记录这些坐标值。这样既可以逐步返回，也可以一次到位地返回到以前经过的某个点。这种方式便于用曲线图的方式表达，所以附图主要是基于这种方式表达。

2) 连续记录动态传感系统的信号，这样，如果系统想要返回到以前的某个点的时候，就可以根据当前的位置及连续记录的传感器动态值逐步计算返回到某点。这种方式难以用曲线图的方式表达，所以附图可以视为将动态传感系统的信号转换为指针的动态后的表达方式。

3) 连续记录指针所指对象，这样能有效节省记录所需存储空间、计算简洁，但缺点是不够精确，特别是在指针对象比较大的时候，此方式只能抵抗按下按钮所造成的抖动，而松开按钮后难以精确地回到原意念点。所以在实际应用中，如使用这种方式，还需要同时使用上述两种方式之一，才能取得良好的效果。且这种方式与其他方式结合，处理漂浮对象还是具有优势的。这种方式难以用曲线图的方式表达。

2. 意念点的回溯及其判断方式

根据实验测试的发现，做出了如图1所示的运动曲线图，为了方便表示，只用一个y轴来代表所有三个轴向的运动。从图1中可以看出，在使用者按动按钮的前后，遥控鼠标的运动构成一个明显的V型沟槽，在形成V型沟槽之前，有一个很短的平缓期，也就是说，我发现使用者在将指针指向一个对象之后，到用手进行操作之间有瞬间的停顿期，这个瞬间的停顿就是使用者在头脑中产生按动按钮操作，但手还尚未开始动作的瞬间，这就是本发明中的重要概念——意念点。那么计算机系统如何识别、判断这个意念点呢？如何回溯呢？可以有如下方式中的某一种或组合、但不仅限于如下几种方式。

1) 根据时间确定意念点，从图1中可以看出，从按钮被触发的时刻向前推一定的时间，就是相对平缓的意念点，此方式的优点是快捷，缺陷是不同的人有不同的使用习惯，这个时间值是因使用者而异的，快则不到100毫秒，某些慢的老年人、残障人士有可能超过1秒。针对此缺陷也可以让使用者通过系统设置来调整这个回溯时间值，或是结合下面的几种方式共同使用来克服判断意念点精确性的问题。

2) 根据抖动曲线确定意念点，从图1可以看出，按动按钮所造成的V型沟槽、以及沟槽前后相对平缓的移动曲线是一个很明显的特征曲线，可以通过曲线特征来回溯并找到V型沟槽之前的平缓瞬间的意念点。例如操控系统在按钮被按下的瞬间操控系统逐步向前回溯直到回到一个相对平缓的位置，这时候就判断这个点就是意念点。在图1中只体现了一个轴向的动态，而在实际中，可以用三个轴向上的动态加上时间轴形成一个四维的特征曲线，这样的特征就非常明显、非常容易判断了。这个曲线特征的判断可以基于动态传感系统输出的原始数据来进行判断；也可以在系统将动态传感系统的数据转换为屏幕上的动态及坐标值以后再行判断，当然这样的话就损失了一个轴向上的数据特征。在投入规模应用后，特征曲线判断算法甚至可以通过类似DSP信号处理的硬件算法来实现。

3) 根据指向的指针操控对象确定意念点，按钮被按动后，系统智能判断当前指针所指对象，及前一个所指对象，如果当前所指对象是按钮被触发前瞬间才被指针指向的，而瞬间之前指针所指的是另一个对象，则可以初步判断当前指针所指对象是因为抖动所造成的误指，前一个所指对象才是使用者的意念点。这种方式与其他方式结合，处理漂浮的对象是具有优势的。

4) 综合运用1）、2）两点，计算机系统可以基于某个人的使用习惯，极其按动按钮时候特有的抖动曲线特征，在后台建立使用习惯库，并对库中的数据进行分析总结，当确定是某个特定的使用者使用遥控鼠标的时候，就可以切换到方式1），每次都回溯一个固定的时间值，因为特定的人按动鼠标按钮时候的速度是相对恒定的。当然在此基础上，还可以用抖动曲线特征进行再次效验，如用时间回溯出来的意念点确实为平缓曲线就确认，如果不是则进行修正。

3. 如何对漂浮对象进行回溯意念点及触发，目前这种漂浮对象主要包括网页中的广告——俗称气球，和游戏中的动态漂浮的对象。因为刚才指针在意念点的时候可能是指向A对象，但A、B、C几个对象都是在漂浮的，现在即便指针回到刚才意念点所指的坐标位置，其所指的对象已经不是A了，而可能是B或C，所以，在操作漂浮对象的时候，上述两点中看似无用的“连续记录指针所指对象的踪迹记录方式”和“根据指向的指针操控对象判断意念点”就变得很有用了。所以采用组合方式的踪迹记录方式和判断意念点，才是比较有优势的方式。另外需要指出的是，不仅仅是遥控鼠标，传统的鼠标在处理漂浮对象的时候也不是很理想，例如在网页上有漂浮气球的时候，经常会出现本来想点击某个固定的对象，可点击的时候突然气球飘过来了，操作结果变成点击气球广告。所以本发明不仅可以应用于遥控鼠标，在传统的鼠标操控中也有应用前景。

动态漂浮对象的触发方式有如下几种但不仅限于这几种：

1) 指针跳跃追踪浮动，即当操控系统的指针调整触发模块确认需要触发的意念点指向的是某个对象的时候，将指针自动指向那个漂浮对象当时所在的位置，并触发此对象。从外观上来看，指针有一个明显的跳跃动作。

2) 操控系统在程序中建立联动，即根据动态踪迹的记录，指针调整触发模块通过程序直接触发漂浮的对象。从外观上看，指针没有明显的跳跃动作。

4. 双击、右键点击、滚轮、拖拽、及其他操作方式下如何判断

不同的按钮和操作方式，会产生不同的抖动曲线，所以，系统程序需要根据使用者所按下的不同按钮和操作，选择适合的推算意念点及返回意念点的算法。甚至可以为每个特定的按钮和操作方式建立特定的特征库。拖拽操作比较特殊，如图4所示，具有两个意念点，一个是拖拽的起点y1，用于确认拖拽对象；另一个是拖拽的终点y3，用于确认操作对象的放置位置及操作完成后指针回归的位置；这两个意念点需要分别进行回溯和触发。t2到t3为持续按着按钮拖拽的过程，与单击操作不同的是，其在t3时候的位置y3为拖拽终点的意念点，操控系统在t4的时候将指针修正回到意念点y3，或是在t3的时候就将指针锁定在y3直到t4的时候。

5. 触发操作完成后如何完成指针归位

对于类似网页浏览、简单的文档操作这样工作来说，触发后果多是打开一个新窗口，所以触发后是否需要指针是否归位并不重要，使用者只需要根据指针当前的新位置再移动指针进行下一步的操作。但是在类似踩地雷这样的应用中，使用者需要连续密集的触发操作，就需要操控系统不仅能消除触发前操作引起的抖动，还要能消除触发后的抖动。在本发明中，为了消除触发前的抖动甚至可能造成触发后更大的抖动。具体分为以下几种情况和处理方式但不仅限于这几种方式。

1) 当指针操控对象为静态的时候，处理方式比较简单，

如图2所示，在t1到t2这段时间为触发操作即按动按钮所导致的抖动，t2到t3这段时间操控系统的意念点判断模块和指针调整触发模块通过回溯意念点将指针重新指向意念点，并触发指针操控对象，t3到t4这段时间是操控者松开按钮，这时指针将基于操控系统所重新指向的那个意念点y1，向上抖动。操控系统的指针调整触发模块利用前面所述的意念点再次将指针重新调整回意念点，或在t3到t4这段时间一直将指针锁定在y1。

2) 当指针操控对象为动态的时候，处理方式比较复杂，因为存在两个意念点，一个是使用者在做出操控意念的时候指针所在的物理位置；另一个意念点是使用者在做出操控意念的时候指针所指的指针操控对象，而这个意念点是随着浮动的指针操控对象而浮动的。所以这时候需要操控系统的指针调整触发模块来决定到底是回到哪一个意念点，这是随着应用程序的不同或程序设置的不同而变的。在大部分的应用中，应该是回到使用者在做出操控意念的时候指针所在的物理位置即坐标位置。

3) 当操作者执行拖拽操作的时候，也是存在两个意念点，如图4所示，一个是拖拽的起点y1，用于确认操作对象；第二个则是拖拽的终点y3，用于确认操作对象的放置位置及操作完成后指针回归的位置；

4) 归位的具体算法也至少分为两种，但不仅仅包括如下两种，

a) 操控系统在触发对象后，将指针的位置一直锁定在意念点，直到操控系统判断触发后的抖动已经完成，才解锁，这种方式比较适合于操控静态的指针操控对象。

b) 操控系统的指针调整触发模块在触发对象后，操控系统不锁定指针，而是等操控系统判断触发后的抖动已经完成后，将指针回复到意念点。

具体实施步骤

1. 动态传感系统检测遥控鼠标的动态，转换为指针移动和位置，操控系统的动态踪迹记录模块在指针移动的过程中，记录动态踪迹。

2. 操控系统在检测出使用者用按钮或其他方式做出的触发动作后，操控系统的意念点判断模块根据所记录的动态踪迹，回溯使用者的意念点。

3. 操控系统的指针调整触发模块根据在意念点所指的对象来触发操控对象，在这一步，有可能出现两个以上的意念点，例如操作对象是一个是浮动对象，一个是使用者做出操作意念时候指针的坐标，这时就需要根据应用程序本身的设定来决定到底使用哪一个意念点。

4. 在松开按钮及随之所造成的抖动之后，操控系统将指针归位到意念点，便于使用者的后续操作，如果具有两个或两个以上的意念点，则还需要操控系统的指针调整触发模块判断使用哪一个意念点。例如进行拖拽操作的时候，会出现两个意念点，操控系统的指针调整触发模块需要根据程序及操作类型，判断使用哪一个意念点。

本实施例可以包括以下产品形态，但不仅限于以下产品形态。

1. 用于台式电脑、笔记本电脑的遥控鼠标，本发明的操控系统作为遥控鼠标的驱动程序内置于电脑系统内。

2. 用于台式电脑、笔记本电脑的遥控鼠标；本发明的操控系统作为遥控鼠标的内置的程序，内置于遥控鼠标内。

3. 用于类似IPTV这样的电视、电脑相结合的系统的遥控器，本发明的操控系统作为遥控器的驱动程序内置于电脑系统或机顶盒内。

4. 用于类似IPTV这样的电视、电脑相结合的系统的遥控器，本发明的操控系统作为遥控器的内置的程序，内置于遥控器内。

实施例2

现有技术中基于动做状态传感系统来操控电脑的方式有很多种，例如带上特殊的动态传感手套，或不用手套，而是直接用外部光电检测设备感应手和手臂的位置及姿态来控制电脑，在这类人机互动的操作方式中，同样存在两种不同含义的动作相互干扰的问题，例如这类操作当中，手臂的大幅度移动用来控制指针的移动，而手和手指的微小动作相当于按动鼠标按钮、键盘或滚轮，在这个例子里面，虽然没有物理上的按钮，但手指微小动作的变化同样会造成手臂的轻微抖动。所以同样需要本发明的回溯到意念点的方法来消除抖动造成的误操作。不同的是，一般的遥控鼠标或遥控器的各个按钮之间不会相互干扰，因为他们是独立的电子回路。而在本实施例中，用手指的动作作为按钮触发，各个手指动作之间是会相互影响的，所以在各个手指动作的判别上同样需要本发明的回溯意念点的方式来消除相互干扰。除上述的独特操控特征之外，在判断、回溯意念点等其他的操作步骤和实现方式，与实施方案1基本相同。

具体实现步骤

1. 动态传感系统检测人体手臂、手掌的位置，转换为指针的移动和位置，动态踪迹记录模块在指针移动的过程中，记录动态踪迹，记录的技术细节与实施例1中的描述基本一致不再重复。

2. 操控系统在检测出使用者用手指动作或其他方式做出的触发动作后，操控系统的意念点判断模块根据所记录的动态踪迹，回溯使用者的意念点，意念点回溯的技术细节与实施例1中的描述基本一致不再重复。在这一步，有可能出现两个以上的意念点的情况，操控系统需要判断回归哪一个意念点。例如当操控对象是一个浮动对象，第一个意念点是浮动的操作对象，主要是供触发对象时候使用的，第二个意念点是使用者做出操作意念时候指针的坐标，主要是供指针归位时使用的；这时操控系统的意念点判断模块就需要根据应用程序的实际情况来决定到底使用哪一个意念点。在本实施例中，使用者触发操控对象的动作方式就要丰富得多了。例如可以有如下方式但不仅限于如下方式：

1) 食指或任何一个手指做出一个向下按动的动作，

2) 大拇指做出一个向内扣动的动作，

3) 大拇指与食指做出一个捏在一起的动作，或大拇指与任何一个其他手指做出一个捏在一起的动作，这样就可以具备多种并行的多功能触发方式。

3. 操控系统的指针调整触发模块将指针调整到指针在意念点所指向的指针操控对象后触发此对象，或是直接触发指针在意念点的时候所指的指针操控对象。

4. 在触发动作所造成的后继抖动之后，系统将指针归位到意念点，便于使用者的后续操作。如果具有两个或两个以上的意念点，则还需要操控系统的意念点判断模块判断使用哪一个意念点。

1. 应用于设计类电脑系统的操控，本发明的操控系统作为软件置于电脑系统内。

2. 应用于基于电脑系统的数码视频监控系统中的操控，本发明的操控系统作为软件置于电脑系统内。

实施例3

主要用于残疾人或其他特殊人群用眼球控制电脑的人机交互系统中，一般用眼球的转动盯住某个图标或操控对象来控制指针的移动，而用眨眼来表示点击按钮，也有用牙咬一个传感器来表示点击按钮的，这样的系统中同样存在不同含义的动作之间相互干扰的问题，即眨眼或咬牙这个确认动作所造成的抖动会干扰原本已经指向正确的指针，使其指向其他对象。同样需要本发明的回溯意念点的方式来消除相互干扰。在这个实施例中。除上述的独特操控特征之外，在判断、回溯意念点等其他的操作步骤的技术细节与实施方案1基本相同。

具体实现步骤

1. 动态传感系统检测人使用者眼球的转动，转换为指针移动和位置，操控系统在指针移动的过程中，记录动态踪迹，记录方式与实施例1中的描述基本一致不再重复；

2. 操控系统在检测出使用者用眨眼动作或其他方式做出的触发动作后，操控系统的意念点判断模块根据所记录的动态踪迹，回溯使用者的意念点，意念点回溯方式与实施例1中的描述基本一致不再重复。但是在本实施例中，使用者的触发行为方式就要丰富得多了。例如可以有如下方式但不仅限于如下方式：

1) 用眨眼来来作为触发方式，且可以用左右眼分别作为两个不同触发，如同鼠标的左右键；

2) 用张、合嘴巴作为触发方式；

3) 用牙咬一个传感器作为触发方式；

4) 用发出声作为触发方式；

3. 操控系统的指针调整触发模块根据在意念点时指针所指对象来触发操控对象，在上一步，有可能出现两个以上的意念点，例如一个是浮动对象，一个是使用者做出操作意念时候指针的坐标，这时就需要根据应用程序本身的设定来决定到底使用那一个意念点；

4. 在触发所造成的抖动之后，系统将指针归位到意念点，便于使用者的后续操作。如果具有两个或两个以上的意念点，则还需要操控系统判断使用哪一个意念点。

1. 应用于为残疾人服务的电脑系统，本发明的操控系统作为软件置于电脑系统内、或同电脑连接的外设中。

2. 应用于现场工业控制电脑系统，本发明的操控系统作为嵌入式电脑系统的固件内置于其内部。

实施例4

现在的大屏幕手机和平板电脑都是采用触摸屏的操控方式，在本实施例中，将现有的遥控鼠标中包含的陀螺和重力加速度动态传感系统集成到手机和平板电脑，作为鼠标指针的操控系统的动态传感系统设备。在许多型号的平板电脑和大屏幕智能手机中实际上已经包含了这些传感器，但是系统只在某些游戏中使用，没有将其用来操控鼠标指针，之所以没有这么做，很可能就是因为其操作抖动导致的操作精度差、经常误操作有关。结合本发明的技术以后，完全可以实现通过摇晃手机或平板电脑，来精确操控指针的方式。除上述的独特操控特征之外，在判断、回溯意念点等其他的操作步骤和技术细节，与实施例1基本相同。

具体实现步骤

1. 首先，平板电脑或是手机本身需要内置陀螺、重力加速传感器或其他动态传感系统；

2. 操控系统将传感系统测量出的设备本身的晃动状态转换为指针移动，转换方式可以有多种方式，下面举例说明，但本发明的应用不仅限于这几种方式，

1) 采用哪边向远端晃动光标就向哪边移动的原则，这样看似符合重力原则，容易理解；

2) 采用哪边向近端晃动光标就向哪边移动的原则，这样可能更符合人的使用习惯，因为一般来说使用者要是更注意某个位置，便倾向于将这个方向拉近靠近眼球；

3) 在两个轴向上，混合使用上述两种方式，例如，光标在上下方向的移动方面采用哪边向远端晃动光标就向哪边移动的原则，而光标在左右移动方面采用哪边向近端晃动光标就向哪边移动的原则，或刚好相反；

4) 在两个轴向上，混合使用上述方法与其他方式，例如在光标在上下方向的移动方面根据陀螺检测出的晃动来控制，而在光标在左右方向的移动方面则根据系统的按键或手指在触摸屏上移动的方式来决定；

3. 在操作者操控指针移动的过程中，操控系统记录动态踪迹。记录方式的技术细节与实施例1中的描述基本一致不再重复；

4. 操控系统在检测出使用者用按动按钮或用其他方式做出的触发动作后，系统根据所记录的动态踪迹，回溯使用者的意念点，意念点回溯方式的技术细节与实施例1中的描述基本一致不再重复。但是在本实施例中，操控者的触发行为方式就比实施例1中的遥控鼠标要丰富得多了。例如可以有如下方式但不仅限于如下方式：

1) 传统的按钮触发指针操控对象的方式；

2) 利用触摸屏的某个位置作为按钮触发指针操控对象的方式；

3) 用特有的手势、晃动作为触发方式，例如在图1中，按动按钮会造成一个V型的特征曲线，其实，如果使用者所按动的位置只是空面板，并没有一个按钮，也会造成类似的这样一个V型的特征曲线，那么系统完全有可能识别这个特征曲线作为触发动作。也就是说使用者在一个没有按钮的地方按动一下，造成一个特有的抖动，同样可以实现相当于按动按钮的触发指针操控对象的效果；

4) 利用手机上的摄像头监测使用者的眼睛或头部等身体部位，用眨眼或点头等动作作为按钮触发指针操控对象的方式；

5. 操控系统的指针调整触发模块根据意念点所指对象来触发操控对象，在上一步，有可能出现两个以上的意念点，例如一个是浮动对象，一个是使用者做出操作意念时候指针的坐标，这时就需要指针调整触发模块根据应用程序本身的设定来决定到底使用哪一个意念点；

6. 在触发所造成的抖动后，系统将指针归位到意念点，便于使用者的后续操作。

实施效果及优势

在实现上述技术方案后，平板电脑和大屏手机可以不再使用触摸屏，大大节省成本，当然也可将本方案与触摸屏技术并行使用从而提供更强、更丰富的功能。

在使用方便性方面会产生巨大的进步。现在的大触摸屏手机和平板电脑都需要双手操作，常见的典型操作方式就是左手握机、右手食指在触摸屏上面扣来扣去。偶尔有人单手操作大屏手机，但是其大拇指的操作很别扭很费劲，在操作的方便性方面甚至不如老式的手机。在本实施例中使用本发明的技术后，可以用手掌的晃动来操控指针，而用大拇指或还可以同时用食指放在一个相对放松相对固定的位置来控制按钮来触发操控对象，这样，手指位置相对固定、清闲。结果就是大大地方便了用单手操控大屏幕手机。当然，对于力量较小的人和女性来说，即便采用了本发明的技术，在使用体积较大的平板电脑时，可能还需要一个重力支撑点，才能顺利的单手操作，这个支撑点可以是膝盖、皮包、或桌面。但若是现有的平板的电脑，无论是力量大小的人都必须双手操作，唯一的例外就是将平板电脑平放于桌面之上。

现有的触摸屏的触发操控对象的方式只有两种，一种相当于鼠标左键单击，另外一种就是拖拽。在使用本发明后，指针的触发方式不仅可以和一般鼠标一样具有左、右键和滚轮的功能，还可以有更多的触发方式，这对于手机和平板电脑这样屏幕空间比较小的设备来说很重要，因为更多的触发方式意味着用一个指针操控对象的多种触发方式来体现更多的功能。

采用触摸屏的平板电脑和大屏手机还有一个致命缺陷，那就是手指会遮挡屏幕内容，手指太粗也会导致用手指点击的精度很差劲。这个缺陷在使用上网浏览功能，点击较小的超链接的时候，尤为突出，据说有的苹果迷竟然为此在食指尖上做整形手术。另外的克服的办法就是用很细小的手写笔来对付细小的对象，但是这样就丧失了其原有的便捷性。在使用了本发明之后，就完全克服了上述难题。

当然这种操控方式也有一些缺陷，如果在汽车上使用这样的手机，会因为汽车本身的转弯、晃动导致难以操作。这可以采用一些技术来克服，例如在汽车上固定一个提供参考点的动态，利用这个固定参考点的动态与手机的动态相对比、运算，就可以消除汽车本身的转弯、晃动造成的影响，由于人体并非固定于车上的，特别是手臂会随车的晃动还会另外产生随之衍生的晃动。可以用更复杂的算法预测并消除由于汽车晃动衍生的人的肢体的晃动。

1. 应用于大屏幕手机中，既可以替代触摸屏，也可以与触摸屏共存协同操控，本发明的操控系统作为软件置于手机中。

2. 应用于平板电脑中，既可以替代触摸屏，也可以与触摸屏共存协同操控，本发明的操控系统作为软件置于平板电脑中。

Claims

一种可回溯的抗抖动操控系统，其特征在于：包括动态踪迹记录模块、意念点判断模块、指针调整触发模块，

所述操控系统的动态踪迹记录模块用于收集动态传感系统所产生的动态数据，并连续记录操作者的动态踪迹，供意念判断模块使用；

所述操控系统的意念点判断模块用于回溯并分析操作者的动态踪迹，判断出最接近于操作者头脑中的操作意念的意念点；

所述操控系统的指针调整触发模块用于将指针调整到指针在意念点所指向的指针操控对象后触发此对象，或是直接触发指针在意念点所指的指针操控对象。
一种能够在人机交互操控系统中消除抖动的方法，其特征在于操控系统采用如下步骤：

1) 在操作者操作人机交互系统过程中，操控系统连续记录操作者的动态踪迹；

2) 在操作者做出触发指针操作对象的动作后，操控系统根据系统记录的动态踪迹进行回溯，找出使用者在意念点时指针所指的指针操控对象；

3) 操控系统根据使用者所选择的触发指针对象的方式，对上述在意念点时指针所指的指针操控对象进行触发操作。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述的操控系统在触发完所指的指针操控对象后，将指针归位到意念点。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述动态踪迹为动态传感系统输出的、尚未转换为指针坐标值的原始数据。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述动态踪迹是指连续记录的指针所经过的坐标位置。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述动态踪迹是指连续记录的指针曾经指向过的指针操作对象。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述的意念点是意念点判断模块进行回溯判断所得出的指针的坐标位置。
根据权利要求2所述的在人机交互操控系统中消除抖动的方法，其中所述的意念点是随着浮动的指针操控对象而一起浮动的动态的意念点。