WO2012051766A1 - 一种自动识别旋转手势的方法及移动终端 - Google Patents

一种自动识别旋转手势的方法及移动终端 Download PDF

Info

Publication number
WO2012051766A1
WO2012051766A1 PCT/CN2010/078890 CN2010078890W WO2012051766A1 WO 2012051766 A1 WO2012051766 A1 WO 2012051766A1 CN 2010078890 W CN2010078890 W CN 2010078890W WO 2012051766 A1 WO2012051766 A1 WO 2012051766A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
finger
gesture
change amount
value
Prior art date
Application number
PCT/CN2010/078890
Other languages
English (en)
French (fr)
Inventor
胡博
赵薇
张玉洁
魏兰英
Original Assignee
中兴通讯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中兴通讯股份有限公司 filed Critical 中兴通讯股份有限公司
Priority to US13/695,375 priority Critical patent/US20130044071A1/en
Priority to EP10858554.8A priority patent/EP2565760A4/en
Publication of WO2012051766A1 publication Critical patent/WO2012051766A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to gesture recognition technology in the field of mobile terminals, and in particular, to a method for automatically recognizing a rotation gesture and a mobile terminal. Background technique
  • FIG. 1 is a schematic structural diagram of a system for implementing gesture recognition on an android platform in the prior art.
  • a two-finger clockwise or counterclockwise rotation operation is performed, assuming that the driver layer reports data to the architecture layer at a frequency of 80 Hz.
  • the architecture layer needs to perform 80*N calculations per second, where N represents the contact information of the finger required for a complete event.
  • the contact information mainly includes: the value of the X coordinate and the y coordinate with the origin of the upper left corner of the screen of the mobile terminal as the origin.
  • the architecture layer preprocesses the information of a complete event, put In the motion class, because the driver layer reports data to the architecture layer at 80 Hz, it generates up to 80 motions per second, and then sends the data in each pre-processed motion class to the gesture algorithm.
  • the layer is processed, and the gesture algorithm processing layer is processed every 28ms, so it is roughly calculated 35 times per second.
  • the multi-finger gesture recognition supported by the gesture algorithm processing layer is only Pinch, and the two fingers are separated or closed, but in reality, the user expects more gestures to be used. Summary of the invention
  • the main object of the present invention is to provide a method for automatically recognizing a rotation gesture and a mobile terminal, which can realize automatic recognition of a rotation gesture of the mobile terminal.
  • the invention discloses a method for automatically recognizing a rotation gesture, comprising:
  • the rotation gesture is identified according to the preprocessed data, the touch information, and the preset time variation amount threshold, the angle change amount threshold, and the distance change threshold.
  • the touch information of the finger on the touch screen of the mobile terminal is: the chip in the driving layer of the mobile terminal acquires touch information of the finger on the touch screen of the mobile terminal in real time;
  • the touch information includes: The upper left corner of the touch screen is the coordinate value of the finger in the coordinate system of the origin, the finger width value of the finger, and the pressure of the finger on the touch screen;
  • the method further includes: encapsulating coordinate values in the touch information into a combined value of the coordinate values, and encapsulating the finger width value and the pressure in the touch information into a combined value of the finger width value and the pressure, and combining the two combined values
  • the architectural layer on the mobile terminal encapsulating coordinate values in the touch information into a combined value of the coordinate values, and encapsulating the finger width value and the pressure in the touch information into a combined value of the finger width value and the pressure
  • the pre-processing of the data in the acquired touch information is: the architecture layer of the mobile terminal records the motion state information of the finger into the object of the motion class according to the data of the touch information; The data in the control information is recorded into the object of the motion class, and the data in the object of the motion class is sent to the gesture algorithm processing layer;
  • the motion state information includes: a finger is in motion, a finger is bounced, and a finger is pressed.
  • the rotating gesture is identified as:
  • the gesture algorithm processing layer of the mobile terminal obtains the motion state of the finger on the touch screen according to the preprocessed data, and when it is determined that the motion state is that the finger moves on the touch screen, and according to the touch information used to separate the different fingers in the touch information.
  • the number of separators determines that the number of fingers moving on the touch screen is two fingers, records the coordinates of the current two fingers and the current time in real time, and calculates the ratio of the distance between the two fingers, the amount of time change, and the absolute value of the amount of angular change;
  • the ratio of the distance change of the two fingers is in the preset distance change effective value domain, and the time change amount is greater than the preset time change amount threshold value, and the absolute value of the angle change amount is greater than the preset angle change amount threshold value.
  • the rotation gesture is an effective gesture.
  • the method further includes:
  • the rotation gesture is Invalid gesture.
  • the method further includes:
  • the time change amount is less than or equal to the preset time.
  • the variation amount is large, the angle change amount of the rotation gesture is saved, and when the motion state of the next received finger is the state in which all the fingers are all raised, the gesture algorithm processing layer of the mobile terminal determines that the rotation gesture is valid.
  • the method further includes:
  • the function corresponding to the rotation gesture is implemented on the mobile terminal according to the recognition result.
  • the function corresponding to implementing the rotation gesture on the mobile terminal according to the recognition result is:
  • the application layer of the mobile terminal receives the recognition result sent by the gesture algorithm processing layer, and determines the value of the angular change amount of the angle change amount; if the value of the angle change amount is less than 0, the clockwise rotation of the picture is implemented on the mobile terminal; if the angle changes If the value of the quantity is greater than 0, the counterclockwise rotation of the picture is implemented on the mobile terminal; if the value of the angle change amount is equal to 0, no operation is performed.
  • the present invention also discloses a mobile terminal that automatically recognizes a rotation gesture, and includes: a driving layer, an architecture layer, and a gesture algorithm processing layer;
  • a driving layer configured to acquire touch information of a finger on a touch screen of the mobile terminal
  • An architecture layer configured to preprocess data in the acquired touch information
  • the gesture algorithm processing layer is configured to identify the rotation gesture according to the preprocessed data, the touch information, and the preset time variation threshold, the angle change threshold, and the distance change threshold.
  • the mobile terminal further includes:
  • the application layer is configured to implement a function corresponding to the rotation gesture on the mobile terminal according to the recognition result; the database is configured to save the preset time variation amount threshold value, the angle change amount threshold value, and the distance change amount threshold value.
  • the gesture algorithm processing layer is further configured to determine that the rotation gesture is an invalid gesture when the motion state is that all the fingers are bounced or the finger is pressed;
  • the gesture algorithm processing layer is further configured to: when the ratio of the distance change amount of the two fingers is in the preset distance change amount effective value domain, and the absolute value of the angle change amount is greater than the preset angle change amount threshold value, When the amount of time change is less than or equal to the preset time variation amount threshold, the angle change amount of the rotation gesture is saved, and when the motion state of the next received finger is the state in which all the fingers are all raised, the rotation gesture is determined. To be effective.
  • the method for automatically recognizing a rotation gesture and the mobile terminal acquires touch information of a finger on a touch screen of the mobile terminal, and preprocesses data in the acquired touch information; according to the preprocessed data and touch information And the preset time variation amount threshold, the angle change amount threshold value and the distance change amount threshold value, can realize automatic recognition of the rotation gesture of the mobile terminal, provide the user with more gesture selection, and expand the gesture recognition of the mobile terminal. Application, and can rotate the picture in the mobile terminal through a rotation gesture.
  • the obtained touch information is reported, the data is encapsulated, and the number of reported touch information is reduced by nearly half, thereby greatly improving the processing capability of the mobile terminal, and realizing quick and efficient automatic gesture recognition.
  • the mobile terminal user using the touch screen brings a good user experience, which makes the user's operation more convenient and faster.
  • FIG. 1 is a schematic structural diagram of a system for implementing gesture recognition on an android platform in the prior art
  • FIG. 2 is a schematic flowchart of a method for automatically recognizing a rotation gesture according to the present invention
  • FIG. 3 is a schematic diagram of a data format when different numbers of fingers are pressed in the present invention
  • FIG. 4 is a schematic structural diagram of a mobile terminal for implementing automatic recognition of a rotation gesture according to the present invention. detailed description
  • the basic idea of the present invention is: acquiring touch information of a finger on a touch screen of a mobile terminal, and pre-processing data in the acquired touch information; according to pre-processed data, touch information, and preset time variation
  • the wide value, the angular change amount and the distance change value are used to identify the rotation gesture.
  • FIG. 2 is a schematic flowchart of a method for automatically recognizing a rotation gesture according to the present invention. As shown in FIG. 2, the method includes the following steps: Step 201: Acquire a finger on a touch screen of a mobile terminal Touch information;
  • the chip in the driving layer of the mobile terminal can acquire the touch information of the finger on the touch screen of the mobile terminal in real time, and send the touch information to the mobile terminal through the transmission channel connected by the driver layer and the architecture layer according to a certain data format.
  • the touch information includes: a coordinate value of the finger in the coordinate system with the upper left corner of the touch screen of the mobile terminal as the origin, a finger width value w, and a finger pressure on the touch screen;
  • the coordinate value obtained by the driver layer, the finger width value w of the finger, and the maximum resolution of the pressure p of the finger on the touch screen are both 12 bits, and the resolution is usually lObit, but the resolution assigned to each data in the data format is 32 bits. Each of the data occupies only 10 bits of the data, thus causing a waste of resolution. Therefore, in this embodiment, the coordinate value X and the coordinate value y are encapsulated into a combined value of the 32-bit coordinate value x and the coordinate value y and reported to the architecture layer.
  • X is the upper 16 bits of 32 bits
  • y is the lower 16 bits of 32 bits.
  • the width value w and the pressure p are also encapsulated into a combination of the 32-bit finger width value w and the pressure p.
  • Layer w is the upper 16 bits of 32bit, p is the lower 16 of 32bit; thus the touch information reported by the driver layer is changed from the four data corresponding to each finger to the two pairs of data corresponding to each finger, to drive
  • the frequency of transmitting touch information to the architecture layer is 80 Hz, and the number of reported touch information is reduced by nearly half, thereby greatly improving the processing capability of the mobile terminal;
  • FIG. 3 is the data when different numbers of fingers are pressed in the present invention. Schematic of the format, as shown in Figure 3.
  • the data format of a single finger, two fingers, three fingers, and N fingers is shown in Figure 3, where the dot separator (SY - MT - REPORT value) is used to separate the fingers of different fingers.
  • the delimiter of the control information, the event terminator (SYN-REPORT value) is a separator for separating the touch information sent each time; the driver layer sends the touch information to the architecture layer at a certain frequency, which is also called Interrupt frequency, different touch screen manufacturers provide different interrupt frequencies, usually 60Hz to 80Hz, and some up to 250Hz.
  • Step 202 Perform pre-processing on data in the acquired touch information.
  • the architecture layer of the mobile terminal receives the touch information sent by the driver layer according to the data format of the touch information sent by the driver layer, for example, the combination value of the driving layer according to the coordinate value X and the coordinate value y, and the finger width value of the finger.
  • the architecture layer preprocesses the data in the received touch information, that is, records the motion state of the finger to the object of the motion class according to the data in the received touch information;
  • the motion state includes an ACTION_MOVE state, an ACTION_UP state, and an ACTION-DOWN state, wherein the ACTION_MOVE state indicates that a finger is in motion, the ACTION-UP state indicates that all fingers are bouncing, and the ACTION-DOWN state Indicates that a finger is pressed;
  • the architecture layer can identify the number of fingers on the touch screen of the mobile terminal according to the touch information sent by the driver layer, and save the number of recognized fingers in the nNempointers of the motion event in the android program, and identify the identified fingers. If the number of the fingers is determined according to the touch information and the number of the previously determined fingers is not changed, the motion state of the finger is ACTION_MOVE state; if it is determined according to the touch information If there is no finger on the touch screen of the mobile terminal, the motion state of the finger is the ACTION_UP state; if it is determined according to the touch information that the finger is pressed compared with the number of the previously determined finger, the motion state of the finger is the ACTION DOWN state.
  • the architecture layer will touch the data in the information Recorded in the object of the motion class, used to obtain the motion trajectory of each finger according to the recorded data; the architecture layer sends the data in the motion class object to the gesture algorithm processing layer; the motion class is a class programming language, a class The data of the same nature is stored in an object of the motion class.
  • the object of the motion class is equivalent to a storage medium for storing touch information and preprocessing the touch information.
  • Step 203 Identify, according to the preprocessed data, the touch information, and the preset time variation amount threshold, the angle change amount threshold, and the distance change threshold, the rotation gesture is identified;
  • the gesture algorithm processing layer of the mobile terminal receives the data in the motion class sent by the architecture layer, and can know the motion state of the finger on the touch screen according to the received motion state, and at the same time, because the touch information is in the SY_MT_REPORT value. It is a separator for separating touch information of different fingers, so the number of fingers moving on the touch screen can be known according to the number of SYN_MT_REPORTs in the touch information in the data.
  • the gesture algorithm processing layer obtains the motion state of the finger according to the data in the motion class. If it is ACTION_UP or ACTION_DOWN, it means that the finger is all raised, or just pressed, so the finger does not move on the mobile terminal, the rotation The gesture is an invalid gesture, so there is no need to recognize the rotation gesture and end the process;
  • time variation amount threshold ⁇ Pre-storing the time variation amount threshold ⁇ , the angle variation amount threshold, and the distance variation effective value field in the database of the mobile terminal, wherein the time variation amount threshold ⁇ is two driving layers
  • the time interval for sending the touch information to the secondary architecture layer, ⁇ can be set according to the interrupt frequency.
  • the angle change amount is set according to the user's requirements.
  • the distance change effective value field is set according to the user's requirements. For example, only two can be identified.
  • the gesture algorithm processing layer extracts ⁇ ⁇ and ⁇ from the database, and compares whether the value of S2/S1 is in the range Within, compare the amount of time change 2 -7 to the size, compare the absolute value of the angular change amount I -
  • the value of S2/S1 is in the range and ⁇ , but does not satisfy 2 _7 >, for this case the rotation gesture, the calculated data is saved in the database, the next time
  • the motion state of the finger is received, if the motion state of the finger is ACTION_UP, that is, the finger is all raised after performing the rotation gesture, the gesture algorithm processing layer of the mobile terminal still considers that the rotation gesture is valid, the gesture algorithm The processing layer still transmits the value of the recognition result, ie, the value of ⁇ _ ⁇ of the rotation gesture, to the application layer of the mobile terminal.
  • Step 204 Implement a function corresponding to the rotation gesture on the mobile terminal according to the recognition result.
  • the application layer of the mobile terminal receives the recognition result sent by the gesture algorithm processing layer, and determines the value of the angle change amount, if the angle change amount is If the value is less than 0, the rotation gesture is clockwise.
  • the clockwise rotation of the picture can be implemented on the mobile terminal, and the angle of the picture rotation is calculated according to the value of the angle change amount; if the angle change amount - ⁇ , If the value is greater than 0, the rotation gesture is counterclockwise.
  • the counterclockwise rotation of the picture can be implemented on the mobile terminal, and the angle of the picture rotation is calculated according to the value of the angle change amount. If the value of the angle change - is equal to 0, it means that the two fingers are not moving on the touch screen of the mobile terminal, and no operation is performed.
  • the invention can be applied to various operating systems, such as the Windows Mobile operating system,
  • the Symbian operating system and the Android operating system can also be used for camera focusing (rotating the focus with a clockwise zoom, zooming out with a counterclockwise focus), GPS.
  • FIG. 4 is a schematic structural diagram of a mobile terminal that implements an automatic recognition gesture according to the present invention.
  • the mobile terminal includes: a driver layer 41, an architecture. Layer 42, a gesture algorithm processing layer 43; wherein
  • the driving layer 41 is configured to acquire touch information of the finger on the touch screen of the mobile terminal;
  • the architecture layer 42 is configured to preprocess the data in the acquired touch information.
  • the gesture algorithm processing layer 43 is configured to identify the rotation gesture according to the preprocessed data, the touch information, and the preset time variation threshold, the angle change threshold, and the distance change threshold.
  • the mobile terminal further includes:
  • the application layer 44 is configured to implement a function corresponding to the rotation gesture on the mobile terminal according to the recognition result;
  • the database 45 is used to save the preset time variation amount threshold, the angle change amount threshold value and the distance change amount threshold value.
  • the gesture algorithm processing layer 43 is further configured to determine that the rotation gesture is an invalid gesture when the motion state is that all the fingers are bounced or a finger is pressed;
  • the gesture algorithm processing layer 43 is further configured to: when the ratio of the distance change of the two fingers is in a preset distance change effective value field, and the absolute value of the angle change amount is greater than the preset angle change amount threshold , when the amount of time change is less than or equal to the preset time variation amount threshold, the angle change amount of the rotation gesture is saved, and when the motion state of the next received finger is the state in which all the fingers are all raised, the rotation is determined. The gesture is valid.
  • the touch information of the acquiring finger on the touch screen of the mobile terminal is:
  • the chip in the driving layer 41 of the mobile terminal acquires the touch information of the finger on the touch screen of the mobile terminal in real time, and the touch information includes: a coordinate value of the finger in the coordinate system with the upper left corner of the touch screen of the mobile terminal as the origin, and a finger finger a wide value, a finger pressure on the touch screen; a coordinate value is encapsulated into a combined value of the coordinate values, the finger width value and the pressure are encapsulated into a combined value of the finger width value and the pressure, and the two combined values are reported to the architecture of the mobile terminal Layer 42.
  • the preprocessing the data in the acquired touch information is:
  • the architecture layer 42 of the mobile terminal records the motion state information of the finger into the object of the motion class according to the data of the touch information; the architecture layer 42 records the data in the touch information into the object of the motion class, and the motion class
  • the data in the object is sent to the gesture algorithm processing layer 43; the motion state information includes: a finger is in motion, a finger is bounced, and a finger is pressed.
  • the gesture algorithm processing layer 43 of the mobile terminal obtains the motion state of the finger on the touch screen according to the preprocessed data, and when the motion state is determined to be that the finger moves on the touch screen, and according to the touch information used to separate the different fingers in the touch information
  • the number of separators determines that the number of fingers moving on the touch screen is two fingers, records the coordinates of the current two fingers and the current time in real time, and calculates the ratio of the distance between the two fingers, the amount of time change, and the absolute value of the amount of angular change;
  • the ratio of the distance change of the second two fingers is in the preset distance change amount effective value domain, and the time change amount is greater than the preset time change amount threshold value, and the absolute value of the angle change amount is greater than the preset angle change amount When the value is, the rotation gesture is a valid gesture.
  • the function corresponding to the rotation gesture is implemented on the mobile terminal according to the recognition result: the application layer 44 of the mobile terminal receives the recognition result sent by the gesture algorithm processing layer, and determines the value of the angle change amount - if the angle change amount - the value is smaller than 0, the rotation gesture is clockwise, and the clockwise rotation of the picture is implemented on the mobile terminal; if the value of the angle change amount is greater than 0, the rotation gesture is counterclockwise, and the counterclockwise rotation of the picture is implemented on the mobile terminal; If the amount of angle change - the value is equal to 0, it means that the two fingers are not transported on the touch screen of the mobile terminal. Move, do nothing.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

一种自动识别旋转手势的方法及移动终端 技术领域
本发明涉及移动终端领域的手势识别技术， 尤其涉及一种自动识别旋 转手势的方法及移动终端。 背景技术
移动通讯的迅速发展， 引起整个社会的方方面面不同程度的改变， 目 前移动终端已成为绝大多数人生活中不可或缺的一部分。 未来移动终端的 人机交互将以自然性、 多通道性、 协作性为主要发展方向， 试图通过手势、 语音、 表情等人类自然的交流方式形成多通道、 多模式的用户与移动终端 的自然对话， 以提高用户的体验效果。 移动终端的用户界面 （UI , User Interface ) 由 "以技术为中心" 向 "以用户为中心" 发展的趋势， 使自然直 观的自然人机交互成为用户界面发展的必然趋势。 其中， 手势交互这一交 互方式作为适应自然交互趋势的 UI交互形式， 正逐渐受到大家的重视， 应 用的广泛性日益扩大。
移动终端的厂商已经在 UI技术上花费了很多精力， 包括 UI设计、 鼠 标、 键盘、 轨迹球、 重力传感器等。 随着智能移动终端的普及， 触摸屏的 功能越来越不可替代， 手势也因其新奇性、 方便性、 易用性， 成为人机交 互新技术。 基于自然手势的可双指触摸的人机交互， 是用户与移动终端之 间自然和谐对话的一种新的交互技术。 这种方式是 "以用户为中心" 的交 互， 与传统的触摸屏只能单个指头的操作不同， 这种方式允许用户多个手 指同时操作一个移动终端， 甚至可以让多个用户同时操作。 但是多个手指 同时操作意味着允许处理更加复杂的任务， 因此如何既快速、 又高效的实 现手势交互是移动终端制造商迫在眉睫要解决的技术问题。 目前， 苹果公司正在做这方面研究， 已经实现的功能主要有滑动解锁、 缩放和翻转等， 但是主要集中在 UI的设计方面。 此外， 还有一些触摸屏厂 商做的底层手势交互处理， 主要研究一些底层的算法和结构， 但是因为算 法和结构不同， 厂商间的移动终端很难相互兼容。
图 1是现有技术中 android平台上实现手势识别的系统结构示意图， 如 图 1所示， 做一次两指顺时针或逆时针旋转的动作， 假设驱动层以 80Hz的 频率上报数据给架构层， 每秒架构层需要进行 80*N次的计算， 其中 N代 表一次完整事件所需要手指的触点信息， 该触点信息主要包括： 以移动终 端屏幕左上角为原点的 X坐标的值和 y坐标的值， 手指的指宽 w, 手指对 屏幕的压力 p,多点同步上才艮（ SYN—MT— REPORT, Synchronize Multi-Touch Report ) 的值， 同步上才艮（ SY _REPORT， Synchronize Report ) 的值； 如 果是单指，则 N=6,如果是两指，则 N=l l ,如果是 M个指头，则 N = 5*M+1 ; 架构层把一次完整事件的信息进行预处理， 放在 motion类中， 因为驱动层 以 80Hz的频率上报数据给架构层， 所以每秒最多产生 80次 motion, 然后 将每次预处理后的 motion类中的数据发送给手势算法处理层进行处理， 手 势算法处理层每 28ms处理一次， 所以每秒大概计算 35次。
现有技术中， 手势算法处理层支持的多指手势识别只有 Pinch, 既两指 分离或合拢， 而实际上用户期望更多的手势可供使用。 发明内容
有鉴于此， 本发明的主要目的在于提供一种自动识别旋转手势的方法 及移动终端， 能够实现移动终端的旋转手势的自动识别。
为达到上述目的， 本发明的技术方案是这样实现的：
本发明公开一种自动识别旋转手势的方法， 包括：
获取手指在移动终端触摸屏上的触控信息， 并对获取的触控信息中的 数据进行预处理； 根据预处理后的数据、 触控信息和预设的时间变化量阔值、 角度变化 量阔值和距离变化量阈值， 对旋转手势进行识别。
上述方法中， 所述获取手指在移动终端触摸屏上的触控信息为： 移动 终端的驱动层中的芯片实时获取手指在移动终端触摸屏上的触控信息； 所述触控信息包括： 以移动终端触摸屏的左上角为原点的坐标系中手 指的坐标值、 手指的指宽值、 手指对触摸屏的压力；
该方法还包括： 将触控信息中的坐标值封装成坐标值的组合值， 将触 控信息中的指宽值和压力封装成指宽值和压力的组合值， 将所述两个组合 值上 给移动终端的架构层。
上述方法中， 所述对获取的触控信息中的数据进行预处理为： 移动终端的架构层根据触控信息的数据， 将手指的运动状态信息记录 到 motion类的对象中； 架构层将触控信息中的数据记录到 motion类的对象 中， 并将 motion类的对象中的数据发送给手势算法处理层；
所述运动状态信息包括： 有手指在运动、 手指都弹起和有手指按下。 上述方法中， 所述对旋转手势进行识别为：
移动终端的手势算法处理层根据预处理后的数据得到触摸屏上手指的 运动状态， 当确定运动状态是有手指在触摸屏上运动时， 且根据触控信息 中用于分隔不同指头的触控信息的分隔符的数量确定触摸屏上运动的手指 的数量为两指时， 实时记录当前两指的坐标以及当前时间， 并计算两指距 离的比值、 时间变化量和角度变化量的绝对值； 当两次两指的距离变化量 的比值处于预设的距离变化量有效值域中， 且时间变化量大于预设的时间 变化量阔值， 且角度变化量的绝对值大于预设的角度变化量阔值时， 该旋 转手势为有效手势。
上述方法中， 该方法还包括：
当确定运动状态是所有手指都弹起或者有手指按下时， 该旋转手势为 无效手势。
上述方法中， 该方法还包括：
当两次两指的距离变化量的比值处于预设的距离变化量有效值域中， 且角度变化量的绝对值大于预设的角度变化量阔值， 但时间变化量小于等 于预设的时间变化量阔值时， 保存该旋转手势的角度变化量， 并当下一次 收到手指的运动状态是所有的手指全部抬起的状态时， 移动终端的手势算 法处理层确定所述旋转手势为有效。
上述方法中， 该方法还包括：
根据识别结果在移动终端上实现该旋转手势对应的功能。
上述方法中， 所述根据识别结果在移动终端上实现该旋转手势对应的 功能为：
移动终端的应用层接收手势算法处理层发送的识别结果， 判断角度变 化量角度变化量的值； 如果角度变化量的值小于 0, 则旋在移动终端上实现 图片的顺时针旋转； 如果角度变化量的值大于 0, 则在移动终端上实现图片 的逆时针旋转； 如果角度变化量的值等于 0, 不执行任何操作。
本发明还公开一种自动识别旋转手势的移动终端， 包括： 驱动层、 架 构层、 手势算法处理层； 其中，
驱动层， 用于获取手指在移动终端触摸屏上的触控信息；
架构层， 用于对获取的触控信息中的数据进行预处理；
手势算法处理层， 用于根据预处理后的数据、 触控信息和预设的时间 变化量阈值、 角度变化量阈值和距离变化量阈值， 对旋转手势进行识别。
上述移动终端中， 该移动终端进一步包括：
应用层， 用于根据识别结果在移动终端上实现该旋转手势对应的功能； 数据库， 用于保存预设的时间变化量阔值、 角度变化量阔值和距离变 化量阔值。 上述移动终端中，
所述手势算法处理层， 还用于当运动状态是所有手指都弹起或者有手 指按下时， 确定旋转手势为无效手势；
所述手势算法处理层， 还用于当两次两指的距离变化量的比值处于预 设的距离变化量有效值域中， 且角度变化量的绝对值大于预设的角度变化 量阔值， 但时间变化量小于等于预设的时间变化量阔值时， 保存该旋转手 势的角度变化量， 并当下一次收到手指的运动状态是所有的手指全部抬起 的状态时， 确定所述旋转手势为有效。
本发明提供的自动识别旋转手势的方法及移动终端， 获取手指在移动 终端触摸屏上的触控信息， 并对获取的触控信息中的数据进行预处理； 根据预处理后的数据、 触控信息和预设的时间变化量阔值、 角度变化量 阔值和距离变化量阔值， 能够实现移动终端的旋转手势的自动识别， 为用 户提供了更多手势的选择， 扩展了移动终端手势识别的应用， 并可以通过 旋转手势实现移动终端中图片的旋转。 此外， 在对获取的触控信息进行上 报时， 对数据进行封装处理， 将上报触控信息的数量减少将近一半， 从而 大幅度提高移动终端的处理能力合， 实现快捷、 高效地手势自动识别， 进 而给使用触摸屏的移动终端用户带来良好的使用体验， 使用户操作更方便、 更快捷。 附图说明
图 1是现有技术中 android平台上实现手势识别的系统结构示意图； 图 2是本发明实现自动识别旋转手势的方法的流程示意图；
图 3是本发明中不同数量的指头按下时的数据格式的示意图； 图 4是本发明实现自动识别旋转手势的移动终端的结构示意图。 具体实施方式
本发明的基本思想是： 获取手指在移动终端触摸屏上的触控信息， 并 对获取的触控信息中的数据进行预处理； 根据预处理后的数据、 触控信 息和预设的时间变化量阔值、 角度变化量阔值和距离变化量阔值， 对旋 转手势进行识别。
下面通过附图及具体实施例对本发明再做进一步的详细说明。
本发明提供一种自动识别旋转手势的方法， 图 2是本发明实现自动识 别旋转手势的方法的流程示意图， 如图 2所示， 该方法包括以下步骤： 步骤 201 , 获取手指在移动终端触摸屏上的触控信息；
具体的， 移动终端的驱动层中的芯片可实时获取手指在移动终端触摸 屏上的触控信息， 按照一定的数据格式将触控信息通过驱动层和架构层连 接的传输通道发送给移动终端的架构层； 其中， 触控信息包括： 以移动终 端触摸屏的左上角为原点的坐标系中， 手指的坐标值 和 、 手指的指宽值 w、 手指对触摸屏的压力 p;
驱动层获得的坐标值 和 、 手指的指宽值 w、 手指对触摸屏的压力 p 的最大分辨率都是 12bit, 通常分辨率都是 lObit, 但是数据格式中分配给每 个数据的分辨率是 32bit, 而每个数据只占用其中的 lObit, 因此造成了分辨 率的浪费， 所以本实施例中将坐标值 X和坐标值 y封装成 32bit的坐标值 x 和坐标值 y的组合值上报给架构层， X为 32bit中的高 16位， y为 32bit中 的低 16位， 同样的， 将指宽值 w和压力 p也封装成 32bit的指宽值 w和压 力 p的组合值上 ^艮给架构层， w为 32bit中的高 16位， p为 32bit中的低 16; 这样驱动层上报的触控信息就由每个手指对应的四个数据变为每个手指对 应的两对数据， 以驱动层向架构层发送触控信息的频率为 80Hz为例， 上报 触控信息的数量减少将近一半， 从而大幅度提高移动终端的处理能力； 图 3 是本发明中不同数量的指头按下时的数据格式的示意图， 如图 3 所示， 图 3中分别给出了单个指头、 两指、 三个指头以及 N个指头按下时 的数据格式， 其中点分隔符（ SY —MT— REPORT值）是用于分隔不同指头 的触控信息的分隔符， 事件结束符（ SYN— REPORT值）是用于分隔每次发 送的触控信息的分隔符； 驱动层以一定的频率将触控信息发送给架构层， 该频率又称为中断频率， 不同的触摸屏生产厂商提供的中断频率不同， 通 常釆用 60Hz至 80Hz, 有的高达 250Hz。
步骤 202, 对获取的触控信息中的数据进行预处理；
具体的， 移动终端的架构层按照驱动层发送的触控信息的数据格式， 接收驱动层发送的触控信息， 例如： 驱动层按照坐标值 X和坐标值 y的组 合值， 手指的指宽值 w和手指对触摸屏的压力 p的组合值发送触控信息给 架构层，架构层对触控信息进行反向解析，依次得到手指对触摸屏的压力 p、 手指的指宽值 w、 坐标值 y、 坐标值 X这些触控信息； 架构层对收到的触控 信息中的数据进行预处理， 即： 根据收到的触控信息中的数据， 将手指的 运动状态记录到 motion 类的对象中； 其中， 所述运动状态包括 ACTION— MOVE状态、 ACTION— UP状态、 ACTION— DOWN状态， 其中， ACTION— MOVE状态表示有手指在运动， ACTION— UP状态表示所有的手 指都弹起， ACTION— DOWN状态表示有手指按下；
架构层可以根据驱动层发送的触控信息识别出移动终端触摸屏上手指 的个数， 将识别出的手指的个数保存在 android程序中的 motion event的 nNempointers 中， 并 居识别出的手指的个数判断手指的运动状态， 如果 根据触控信息确定手指的个数与前一次确定的手指的个数相比， 没有发生 变化， 则手指的运动状态为 ACTION— MOVE状态； 如果根据触控信息确定 移动终端触摸屏上没有手指， 则手指的运动状态为 ACTION— UP状态； 如 果根据触控信息确定与前一次确定的手指的个数相比， 有手指按下， 则手 指的运动状态为 ACTION DOWN状态； 同时，架构层将触控信息中的数据 记录到 motion类的对象中，用于根据记录的数据得到各个指头的运动轨迹； 架构层将 motion类对象中的数据发送给手势算法处理层；所述 motion类是 一种 class程序语言， 一类性质相同的数据存储到一个 motion类的对象中， 在本发明中 motion类的对象相当于用于存储触控信息以及对触控信息进行 预处理后的一种存储介质。
步骤 203 , 根据预处理后的数据、 触控信息和预设的时间变化量阔值、 角度变化量阈值和距离变化量阈值， 对旋转手势进行识别；
具体的， 移动终端的手势算法处理层收到架构层发送的 motion类中的 数据， 根据收到的运动状态可以知道触摸屏上手指的运动状态， 同时， 因 为触控信息中 SY —MT— REPORT值是用于分隔不同指头的触控信息的分 隔符，所以根据数据中的触控信息中的 SYN—MT— REPORT的数量可以知道 触摸屏上运动的手指的数量。
手势算法处理层根据 motion类中的数据得到手指的运动状态， 如果是 ACTION— UP或 ACTION— DOWN , 表示手指是全部抬起， 或者只是按下， 因此手指并没有在移动终端上运动， 该旋转手势为无效手势， 所以不需要 对旋转手势进行识别， 结束流程；
如果是 ACTION— MOVE, 当手势算法处理层确定触摸屏上运动的手指 的数量是两指时， 以两指是顺时针或逆时针的旋转手势为例进行说明： 当 两指在移动终端的触摸屏上运动时， 手势算法处理层实时记录当前两指的 坐标 （ Xi、 yi ) 和 ( x2、 y2 ) , 以及当前时间 Τ\ , 计算两指的距离 Si =^( X2-Xi + ( y2-yi ■利用公式 arcsin( (y2 - yi)/ 计算出两点连成的直线 的与水平线的夹角 ； 当下一次记录两指的坐标来临时，利用同样的方法记 录两指的坐标并计算出两指的距离 s2和 τ2, 并按照上述方法算出 ；
在移动终端的数据库中预先存储时间变化量阔值 Δτ、 角度变化量阔值 和距离变化量有效值域 其中， 时间变化量阔值 Δτ是两次驱动层两 次向架构层发送触控信息的时间间隔， Δτ可以根据中断频率进行设置， 角 度变化量阔值 根据用户需求进行设置 ,距离变化量有效值域 Μ根据用户 需求进行设置， 例如要求只能识别两次的两指之间的距离不变， 则 Μ可以 是【0.9， 1.1】， 要求可以识别两次的两指之间的距离只能变小， 则 Μ可以是 (0, 0.9 ) , 要求可以识别两次的两指之间的距离只能变大， 则 Μ可以是 ( 1.1， +∞); 手势算法处理层从数据库中提取 Α ^和^^, 比较 S2/ S1的 值是否在 的范围内， 比较时间变化量 2 -7与 的大小， 比较角度变化 量的绝对值 I - |与 的大小；当 S2/S1的值在 的范围内、且^2 — Τ > Δ 、 且 I
Figure imgf000011_0001
-Τι 的值； 如果这次两指运动的旋转手势为无效， 就对下一个旋转手势进行识 另1 J; 手势算法处理层将识别结果即旋转手势的 Γ2 -7；的值发送给移动终端的 应用层；
其中， 还会存在一种特殊的情况， 即 S2/S1 的值处于 的范围内且 ΑΘ , 但不满足 2 _7 > , 针对这种情况的旋转手势， 将计算的数 据保存的数据库中， 当下一次收到手指的运动状态时， 如果手指的运动状 态是 ACTION— UP, 即手指在执行此次旋转手势后全部抬起，移动终端的手 势算法处理层依然认为这次的旋转手势为有效， 手势算法处理层依然将识 别结果即旋转手势的 ^ _ ^的值发送给移动终端的应用层。
步骤 204, 根据识别结果在移动终端上实现该旋转手势对应的功能； 具体的， 移动终端的应用层接收手势算法处理层发送的识别结果， 判 断角度变化量 - 的值， 如果角度变化量 - 的值小于 0则为旋转手势 是顺时针的， 例如， 可以在移动终端上实现图片的顺时针旋转的功能， 图 片旋转的角度根据角度变化量 - 的值计算获得； 如果角度变化量 —θ、 的值大于 0则为旋转手势是逆时针的， 例如， 可以在移动终端上实现图片 的逆时针旋转的功能， 图片旋转的角度根据角度变化量 - 的值计算获 得； 如果角度变化量 - 的值等于 0, 说明两手指没有在移动终端的触摸 屏上运动， 不执行任何操作。
本发明可以应用于多种操作系统， 如 Windows Mobile 操作系统、
Symbian操作系统以及 Android操作系统等，还可以应用于照相机的聚焦（用 顺时针旋转聚焦放大， 逆时针聚焦缩小） 、 全球定位系统。
为实现上述方法， 本发明还提供一种自动识别手势的移动终端， 图 4 是本发明实现自动识别手势的移动终端的结构示意图， 如图 4所示， 该移 动终端包括： 驱动层 41、 架构层 42、 手势算法处理层 43; 其中，
驱动层 41 , 用于获取手指在移动终端触摸屏上的触控信息；
架构层 42, 用于对获取的触控信息中的数据进行预处理；
手势算法处理层 43 , 用于根据预处理后的数据、 触控信息和预设的时 间变化量阈值、 角度变化量阈值和距离变化量阈值， 对旋转手势进行识别。
该移动终端进一步包括：
应用层 44, 用于根据识别结果在移动终端上实现该旋转手势对应的功 能；
数据库 45 , 用于保存预设的时间变化量阔值、 角度变化量阔值和距离 变化量阔值。
所述手势算法处理层 43 , 还用于当运动状态是所有手指都弹起或者有 手指按下时， 确定旋转手势为无效手势；
所述手势算法处理层 43 , 还用于当两次两指的距离变化量的比值处于 预设的距离变化量有效值域中， 且角度变化量的绝对值大于预设的角度变 化量阔值， 但时间变化量小于等于预设的时间变化量阔值时， 保存该旋转 手势的角度变化量， 并当下一次收到手指的运动状态是所有的手指全部抬 起的状态时， 确定所述旋转手势为有效。
所述获取手指在移动终端触摸屏上的触控信息为： 移动终端的驱动层 41中的芯片实时获取手指在移动终端触摸屏上的触 控信息， 所述触控信息包括： 以移动终端触摸屏的左上角为原点的坐标系 中手指的坐标值、 手指的指宽值、 手指对触摸屏的压力； 将坐标值封装成 坐标值的组合值， 将指宽值和压力封装成指宽值和压力的组合值， 将所述 两个组合值上报给移动终端的架构层 42。
所述对获取的触控信息中的数据进行预处理为：
移动终端的架构层 42根据触控信息的数据， 将手指的运动状态信息记 录到 motion类的对象中； 架构层 42将触控信息中的数据记录到 motion类 的对象中， 并将 motion类的对象中的数据发送给手势算法处理层 43; 所述 运动状态信息包括： 有手指在运动、 手指都弹起和有手指按下。
对旋转手势进行识别为；
移动终端的手势算法处理层 43根据预处理后的数据得到触摸屏上手指 的运动状态， 当确定运动状态是有手指在触摸屏上运动时， 且根据触控信 息中用于分隔不同指头的触控信息的分隔符的数量确定触摸屏上运动的手 指的数量为两指时， 实时记录当前两指的坐标以及当前时间， 并计算两指 距离的比值、 时间变化量和角度变化量的绝对值； 当两次两指的距离变化 量的比值处于预设的距离变化量有效值域中， 且时间变化量大于预设的时 间变化量阔值， 且角度变化量的绝对值大于预设的角度变化量阔值时， 该 旋转手势为有效手势。
所述根据识别结果在移动终端上实现该旋转手势对应的功能为： 移动终端的应用层 44接收手势算法处理层发送的识别结果， 判断角度 变化量 - 的值； 如果角度变化量 - 的值小于 0, 则旋转手势是顺时 针的，在移动终端上实现图片的顺时针旋转； 如果角度变化量 - 的值大 于 0, 则旋转手势是逆时针的， 在移动终端上实现图片的逆时针旋转； 如果 角度变化量 - 的值等于 0 , 说明两手指没有在移动终端的触摸屏上运 动， 不执行任何操作。
以上所述， 仅为本发明的较佳实施例而已， 并非用于限定本发明的保 护范围， 凡在本发明的精神和原则之内所作的任何修改、 等同替换和改进 等， 均应包含在本发明的保护范围之内。

Claims

权利要求书
1、 一种自动识别旋转手势的方法， 其特征在于， 该方法包括： 获取手指在移动终端触摸屏上的触控信息， 并对获取的触控信息中的 数据进行预处理；
根据预处理后的数据、 触控信息和预设的时间变化量阔值、 角度变化 量阔值和距离变化量阈值， 对旋转手势进行识别。
2、 根据权利要求 1所述的方法， 其特征在于， 所述获取手指在移动终 端触摸屏上的触控信息为： 移动终端的驱动层中的芯片实时获取手指在移 动终端触摸屏上的触控信息；
所述触控信息包括： 以移动终端触摸屏的左上角为原点的坐标系中手 指的坐标值、 手指的指宽值、 手指对触摸屏的压力；
该方法还包括： 将触控信息中的坐标值封装成坐标值的组合值， 将触 控信息中的指宽值和压力封装成指宽值和压力的组合值， 将所述两个组合 值上 给移动终端的架构层。
3、 根据权利要求 1所述的方法， 其特征在于， 所述对获取的触控信息 中的数据进行预处理为：
移动终端的架构层根据触控信息的数据， 将手指的运动状态信息记录 到 motion类的对象中； 架构层将触控信息中的数据记录到 motion类的对象 中， 并将 motion类的对象中的数据发送给手势算法处理层；
所述运动状态信息包括： 有手指在运动、 手指都弹起和有手指按下。
4、 根据权利要求 1所述的方法， 其特征在于， 所述对旋转手势进行识 别为：
移动终端的手势算法处理层根据预处理后的数据得到触摸屏上手指的 运动状态， 当确定运动状态是有手指在触摸屏上运动时， 且根据触控信息 中用于分隔不同指头的触控信息的分隔符的数量确定触摸屏上运动的手指 的数量为两指时， 实时记录当前两指的坐标以及当前时间， 并计算两指距 离的比值、 时间变化量和角度变化量的绝对值； 当两次两指的距离变化量 的比值处于预设的距离变化量有效值域中， 且时间变化量大于预设的时间 变化量阔值， 且角度变化量的绝对值大于预设的角度变化量阔值时， 该旋 转手势为有效手势。
5、 根据权利要求 4所述的方法， 其特征在于， 该方法还包括： 当确定运动状态是所有手指都弹起或者有手指按下时， 该旋转手势为 无效手势。
6、 根据权利要求 4或 5所述的方法， 其特征在于， 该方法还包括： 当两次两指的距离变化量的比值处于预设的距离变化量有效值域中， 且角度变化量的绝对值大于预设的角度变化量阔值， 但时间变化量小于等 于预设的时间变化量阔值时， 保存该旋转手势的角度变化量， 并当下一次 收到手指的运动状态是所有的手指全部抬起的状态时， 移动终端的手势算 法处理层确定所述旋转手势为有效。
7、 根据权利要求 1所述的方法， 其特征在于， 该方法还包括： 根据识别结果在移动终端上实现该旋转手势对应的功能。
8、 根据权利要求 7所述的方法， 其特征在于， 所述根据识别结果在移 动终端上实现该旋转手势对应的功能为：
移动终端的应用层接收手势算法处理层发送的识别结果， 判断角度变 化量角度变化量的值； 如果角度变化量的值小于 0, 则在移动终端上实现图 片的顺时针旋转； 如果角度变化量的值大于 0, 则在移动终端上实现图片的 逆时针旋转； 如果角度变化量的值等于 0, 不执行任何操作。
9、 一种自动识别旋转手势的移动终端， 其特征在于， 该移动终端包括： 驱动层、 架构层、 手势算法处理层； 其中，
驱动层， 用于获取手指在移动终端触摸屏上的触控信息； 架构层， 用于对获取的触控信息中的数据进行预处理；
手势算法处理层， 用于根据预处理后的数据、 触控信息和预设的时间 变化量阈值、 角度变化量阈值和距离变化量阈值， 对旋转手势进行识别。
10、 根据权利要求 9所述的移动终端， 其特征在于， 该移动终端进一 步包括：
应用层， 用于根据识别结果在移动终端上实现该旋转手势对应的功能； 数据库， 用于保存预设的时间变化量阔值、 角度变化量阔值和距离变 化量阔值。
11、 根据权利要求 9所述的移动终端， 其特征在于，
所述手势算法处理层， 还用于当运动状态是所有手指都弹起或者有手 指按下时， 确定旋转手势为无效手势；
所述手势算法处理层， 还用于当两次两指的距离变化量的比值处于预 设的距离变化量有效值域中， 且角度变化量的绝对值大于预设的角度变化 量阔值， 但时间变化量小于等于预设的时间变化量阔值时， 保存该旋转手 势的角度变化量， 并当下一次收到手指的运动状态是所有的手指全部抬起 的状态时， 确定所述旋转手势为有效。
PCT/CN2010/078890 2010-10-19 2010-11-18 一种自动识别旋转手势的方法及移动终端 WO2012051766A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/695,375 US20130044071A1 (en) 2010-10-19 2010-11-18 Method and mobile terminal for automatically recognizing a rotation gesture
EP10858554.8A EP2565760A4 (en) 2010-10-19 2010-11-18 METHOD AND MOBILE DEVICE FOR AUTOMATIC DETECTION OF A ROTATION LOCK

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201010512237.X 2010-10-19
CN201010512237XA CN101984396A (zh) 2010-10-19 2010-10-19 一种自动识别旋转手势的方法及移动终端

Publications (1)

Publication Number Publication Date
WO2012051766A1 true WO2012051766A1 (zh) 2012-04-26

Family

ID=43641566

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2010/078890 WO2012051766A1 (zh) 2010-10-19 2010-11-18 一种自动识别旋转手势的方法及移动终端

Country Status (4)

Country Link
US (1) US20130044071A1 (zh)
EP (1) EP2565760A4 (zh)
CN (1) CN101984396A (zh)
WO (1) WO2012051766A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471170B2 (en) 2002-11-04 2016-10-18 Neonode Inc. Light-based touch screen with shift-aligned emitter and receiver lenses
US8902196B2 (en) * 2002-12-10 2014-12-02 Neonode Inc. Methods for determining a touch location on a touch screen
US9063614B2 (en) 2009-02-15 2015-06-23 Neonode Inc. Optical touch screens
CN102693025B (zh) * 2011-03-21 2015-07-08 中国科学院软件研究所 一种多点触摸交互系统的触摸手识别方法
CN102736838B (zh) * 2011-03-31 2016-06-22 比亚迪股份有限公司 多点旋转运动的识别方法和装置
CN102736771B (zh) * 2011-03-31 2016-06-22 比亚迪股份有限公司 多点旋转运动的识别方法及装置
CN102508568A (zh) * 2011-09-30 2012-06-20 Tcl集团股份有限公司 相对坐标与绝对坐标的切换方法
CN103186341B (zh) * 2012-01-03 2017-08-29 深圳富泰宏精密工业有限公司 在触控屏幕上控制文件缩放及旋转的系统及方法
CN103246440A (zh) * 2012-02-03 2013-08-14 瀚宇彩晶股份有限公司 利用坐标轴比例与差值旋转画面的方法
CN102622174B (zh) * 2012-02-23 2013-12-11 中兴通讯股份有限公司 一种屏幕的解锁系统和方法
CN103324897B (zh) * 2012-03-23 2017-05-24 联想(北京)有限公司 一种基于多点触控的安全认证方法及用户终端
CN102662578B (zh) * 2012-03-29 2015-06-17 华为终端有限公司 一种桌面容器的切换控制方法及终端
CN102830858B (zh) * 2012-08-20 2015-12-02 深圳市真多点科技有限公司 一种手势识别方法、装置及触摸屏终端
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9207800B1 (en) 2014-09-23 2015-12-08 Neonode Inc. Integrated light guide and touch screen frame and multi-touch determination method
US9367145B2 (en) 2013-03-14 2016-06-14 Qualcomm Incorporated Intelligent display image orientation based on relative motion detection
CN104598147A (zh) * 2013-10-31 2015-05-06 英业达科技有限公司 屏幕解锁系统及其方法
CN105700672A (zh) * 2014-11-27 2016-06-22 小米科技有限责任公司 屏幕旋转处理方法及装置
CN104503613B (zh) * 2014-12-23 2017-09-19 厦门美图之家科技有限公司 一种触摸屏的防止抖动的方法
WO2016149873A1 (zh) * 2015-03-20 2016-09-29 华为技术有限公司 智能交互方法、设备及系统
CN105204759A (zh) * 2015-08-27 2015-12-30 广东欧珀移动通信有限公司 一种图片处理方法及电子终端
CN105430171B (zh) * 2015-11-02 2019-10-18 Tcl移动通信科技（宁波）有限公司 一种触摸屏失灵时启用usb调试端口的方法及移动终端
CN105302467B (zh) * 2015-11-05 2018-10-23 网易（杭州）网络有限公司 触控操作识别和响应方法、装置及游戏操控方法、装置
CN105468278B (zh) * 2015-11-06 2019-07-19 网易（杭州）网络有限公司 虚拟按键的触屏操作识别、响应、游戏操控方法及装置
CN105468279B (zh) * 2015-11-06 2019-08-23 网易（杭州）网络有限公司 触屏操作识别和响应方法、装置及游戏操控方法、装置
CN106055258B (zh) * 2016-06-01 2019-05-10 努比亚技术有限公司 移动终端及识别长按旋转手势的方法
CN106055259B (zh) * 2016-06-01 2019-05-31 努比亚技术有限公司 移动终端及识别长按旋转手势的方法
CN106778131B (zh) * 2016-11-30 2019-12-31 Oppo广东移动通信有限公司 一种隐藏信息的显示方法、装置及终端
CN108595007A (zh) * 2018-04-25 2018-09-28 四川斐讯信息技术有限公司 基于手势识别的无线中继的方法及系统、无线路由设备
EP4085321A4 (en) 2019-12-31 2024-01-24 Neonode Inc. CONTACTLESS TOUCHLESS INPUT SYSTEM
WO2022072331A1 (en) 2020-09-30 2022-04-07 Neonode Inc. Optical touch sensor
CN112947783B (zh) * 2021-01-18 2023-03-24 海信视像科技股份有限公司 一种显示设备
WO2022151662A1 (zh) 2021-01-18 2022-07-21 海信视像科技股份有限公司 显示设备
CN115113751A (zh) * 2021-03-18 2022-09-27 华为技术有限公司 调整触摸手势的识别参数的数值范围的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997311A (ja) * 1995-10-02 1997-04-08 Matsushita Electric Ind Co Ltd 手書きパターン認識装置
CN101398741A (zh) * 2007-09-26 2009-04-01 松下电器产业株式会社 输入装置
CN101598970A (zh) * 2008-06-03 2009-12-09 昆盈企业股份有限公司 输入装置及输入装置的控制方法
CN101667089A (zh) * 2008-09-04 2010-03-10 比亚迪股份有限公司 一种触摸手势的识别方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0297311A (ja) * 1988-09-30 1990-04-09 Iseki & Co Ltd 播種機
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
US20070035525A1 (en) * 2005-08-11 2007-02-15 Via Technologies, Inc. Integrated touch screen control system for automobiles
US8681104B2 (en) * 2007-06-13 2014-03-25 Apple Inc. Pinch-throw and translation gestures
US9019237B2 (en) * 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
US20090322700A1 (en) * 2008-06-30 2009-12-31 Tyco Electronics Corporation Method and apparatus for detecting two simultaneous touches and gestures on a resistive touchscreen
JP4697558B2 (ja) * 2009-03-09 2011-06-08 ソニー株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN101794188A (zh) * 2009-12-17 2010-08-04 宇龙计算机通信科技(深圳)有限公司 一种屏幕加解锁控制方法、系统及移动终端
US8416215B2 (en) * 2010-02-07 2013-04-09 Itay Sherman Implementation of multi-touch gestures using a resistive touch display
CN101853133B (zh) * 2010-05-31 2013-03-20 中兴通讯股份有限公司 一种自动识别手势的方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997311A (ja) * 1995-10-02 1997-04-08 Matsushita Electric Ind Co Ltd 手書きパターン認識装置
CN101398741A (zh) * 2007-09-26 2009-04-01 松下电器产业株式会社 输入装置
CN101598970A (zh) * 2008-06-03 2009-12-09 昆盈企业股份有限公司 输入装置及输入装置的控制方法
CN101667089A (zh) * 2008-09-04 2010-03-10 比亚迪股份有限公司 一种触摸手势的识别方法和装置

Also Published As

Publication number Publication date
US20130044071A1 (en) 2013-02-21
EP2565760A4 (en) 2015-09-23
CN101984396A (zh) 2011-03-09
EP2565760A1 (en) 2013-03-06

Similar Documents

Publication Publication Date Title
WO2012051766A1 (zh) 一种自动识别旋转手势的方法及移动终端
WO2012051770A1 (zh) 一种识别硬件手势的方法及移动终端
WO2011150607A1 (zh) 一种自动识别手势的方法及移动终端
CN105512086B (zh) 信息处理设备以及信息处理方法
CN105190644B (zh) 用于使用触摸控制的基于图像的搜索的技术
WO2018040009A1 (zh) 签名认证方法、终端、手写笔及系统
WO2014047922A1 (zh) 一种电子设备及控制显示对象缩放的方法
WO2016145755A1 (zh) 智能终端的图片旋转的方法及智能终端
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
KR20140091439A (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
KR20140147867A (ko) 디지털 미디어 컨텐츠 재생 이전의 방법, 재생 설비 및 시스템
WO2012041234A1 (zh) 基于摄像头的信息输入方法及终端
CN103324348A (zh) 一种基于智能移动终端的Windows桌面控制方法
TW201239675A (en) Handheld devices, and related data transmission methods
US10705649B2 (en) Pressure touch control method and electronic device
WO2020078319A1 (zh) 基于手势的操控方法及终端设备
CN108920066B (zh) 触摸屏滑动调整方法、调整装置及触控设备
WO2012046432A1 (en) Information processing apparatus, information processing system and information processing method
WO2014201936A1 (zh) 一种移动设备的窗口移动方法及其装置
WO2015035847A1 (zh) 一种用于控制终端显示界面的方法及设备
CN105260022B (zh) 一种基于手势控制截图的方法及装置
WO2012041183A1 (zh) 识别在移动终端界面上输入的操作轨迹的方法和系统
CN102929547A (zh) 智能终端无接触交互方法
TW201214221A (en) Method for transmitting touch panel data
WO2015027745A1 (zh) 界面处理方法、装置、终端及计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10858554

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13695375

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010858554

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE