WO2013149586A1 - 一种腕上手势操控系统和方法 - Google Patents

一种腕上手势操控系统和方法 Download PDF

Info

Publication number
WO2013149586A1
WO2013149586A1 PCT/CN2013/073706 CN2013073706W WO2013149586A1 WO 2013149586 A1 WO2013149586 A1 WO 2013149586A1 CN 2013073706 W CN2013073706 W CN 2013073706W WO 2013149586 A1 WO2013149586 A1 WO 2013149586A1
Authority
WO
WIPO (PCT)
Prior art keywords
wrist
finger
gesture
module
control system
Prior art date
Application number
PCT/CN2013/073706
Other languages
English (en)
French (fr)
Inventor
寇传阳
Original Assignee
Kou Chuanyang
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kou Chuanyang filed Critical Kou Chuanyang
Publication of WO2013149586A1 publication Critical patent/WO2013149586A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the invention relates to a wrist gesture control system and method, in particular to a wristwatch type gesture recognition system for electronic products such as mobile phones and computers and various electromechanical devices. Background technique
  • control devices of various electronic products and electromechanical devices have the following problems: (1)
  • the control device of the mobile phone has a button and a touch screen, and the computer is controlled by a mouse, a keyboard, a tablet, etc., comprehensively, only clicks and drags are currently applied. Move the same single action.
  • people's operation control of all physical tools such as machinery, computers, mobile phones, etc., is done by hand.
  • the hand is the main output medium of the human body, and most of the actions have not yet been developed; (2) most of the current Electromechanical equipment, such as CNC machine tools, mining machinery and other industrial machinery, various vehicles and other vehicles, refrigerators and televisions and other household appliances, game entertainment equipment, teaching and research equipment, medical equipment and even future applications of Internet of Things equipment, are by hand Motion control, but when manipulating, people must manipulate it by hand, it is difficult to achieve remote control and virtual control, or some realize remote control, but can not be used portablely.
  • Electromechanical equipment such as CNC machine tools, mining machinery and other industrial machinery, various vehicles and other vehicles, refrigerators and televisions and other household appliances, game entertainment equipment, teaching and research equipment, medical equipment and even future applications of Internet of Things equipment
  • the object of the present invention is to realize miniaturization, portability and fine-tuning optimization of an algorithm for gesture recognition, and to provide a new system for recognizing gesture recognition by an imaging device based on a wrist.
  • the first aspect of the present invention provides a wrist-worn gesture control system, the system includes a wristwatch portion, the wristwatch portion includes a control main module and a gesture collection module located at the wrist; the gesture collection module collects an image of the finger; The control main module calculates the coordinates of the fingertip position according to the image of the finger, thereby determining the current gesture identification information.
  • the wrist gesture control system includes a host computer portion, the upper computer portion includes a first wireless communication module and a host computer; the control main module includes a second wireless communication module; and the wristwatch portion passes through the second wireless communication module and The first wireless communication module sends the gesture recognition information to the upper computer to implement control of the upper computer.
  • the wristwatch portion includes a three-axis acceleration module for acquiring a motion track of the hand; and the control main module calculates the position coordinates of the wrist by using the second integral of the three coordinate accelerations.
  • the wristwatch portion includes a tilting module for determining a tilt angle of the wrist; and the control main module calculates the orientation of the palm and/or the direction of the finger according to the tilt angle of the wrist.
  • the wristwatch portion includes a wristband feedback module; the upper computer transmits the feedback information of the action of the opponent to the hand through the wristband feedback module.
  • the wristwatch portion further includes a ring portion, the ring portion includes a ring feedback module; and the upper computer transmits the feedback information of the action of the opponent to the hand through the ring feedback module.
  • the wristband feedback module and/or the ring feedback module are vibrating vibrators and/or systolic pressure rings.
  • the wristwatch portion includes a backlight LED light module that provides illumination to the gesture collection module.
  • the gesture collection module adopts a split structure.
  • control main module determines the position of the wrist in the image, and then determines the position of the root of the finger, and extends downward according to the direction of the finger, sequentially identifies from top to bottom, recognizes each finger joint, and finally determines the fingertip of each finger. Position coordinates.
  • the gesture collection module is disposed at a lower edge of the wristwatch portion, and is photographed in a direction oblique to a direction in which the finger is gripped.
  • the main module is controlled according to the captured image. The degree of curvature exhibited by the middle finger, using the spherical coordinate system to calculate the distance coordinate of the finger to the origin of the wrist.
  • the present invention provides an on-the-shoulder gesture control method for controlling a host computer by using a wrist gesture control system, wherein: the wrist gesture control system includes a wristwatch portion; wherein the wristwatch portion includes a wrist portion
  • the gesture collection module of the part; the method includes: the gesture collection module collects an image of the finger; calculates coordinates of the fingertip position according to the image of the finger, and further determines current gesture recognition information.
  • the wrist gesture control system comprises a host computer part, and the upper computer part comprises a host computer; the wrist watch part sends the gesture recognition information to the upper computer through wireless communication to realize control of the upper computer.
  • the method comprises acquiring a motion trajectory of the hand; calculating the position coordinates of the wrist using the second integral of the acceleration in the three coordinate directions.
  • the method includes determining a tilt angle of the wrist; and calculating the orientation of the palm and/or the direction of the finger based on the tilt angle of the wrist.
  • the method includes transmitting feedback information of the action of the upper part of the upper machine to the hand.
  • the method comprises determining the position of the wrist in the image, then determining the position of the root of the finger, extending downward according to the direction of the finger, sequentially identifying from top to bottom, identifying each finger joint, and finally determining each finger finger. Sharp position coordinates.
  • the method comprises: using a gesture collection module provided at a lower edge of the wristwatch portion, collecting from a direction inclined to a finger gripping direction, and when the finger is bent, according to a bending of the finger in the captured image Degree, using the spherical coordinate system to calculate the distance coordinates of the finger to the origin of the wrist.
  • the system can also be used for remote control and virtual manipulation of various electromechanical devices such as household appliances, vehicles, industrial machinery, game entertainment equipment, teaching and research equipment, medical equipment, and voice control equipment.
  • various electromechanical devices such as household appliances, vehicles, industrial machinery, game entertainment equipment, teaching and research equipment, medical equipment, and voice control equipment.
  • FIG. 1 is a structural block diagram of a wrist gesture control system according to an embodiment of the present invention
  • Figure 2 is a right side view of the wrist gesture control system of Figure 1;
  • Figure 3 is a right hand bottom view of the wrist gesture control system of Figure 1;
  • FIG. 4 is a position reference diagram before the camera module of the wrist gesture control system shown in FIG. 1 is translated;
  • FIG. 5 is a right hand top view of the wrist gesture control system shown in FIG. 1;
  • Figure 6 is a flow chart of software boot detection of the wrist gesture control system
  • FIG. 8 is a diagram showing an example of a gesture recognition algorithm of a wrist gesture control system. detailed description
  • the hand serves as the main output medium for the human body.
  • the use of tools, the production of products, are all done by hand. If all the movement information of the handle can be collected, then the work can be completed more efficiently and conveniently, and even the machine can be simulated to realize unmanned production.
  • the main difficulty is that the movement of the hand is complicated and varied.
  • the wrist is used as the coordinate origin and the coordinate system (such as the spherical coordinate system) is established, the action of the finger is to move in the spherical coordinate system with respect to the wrist.
  • the processing module completes the coordinate positioning of the fingertip, and the action of the entire finger is known. In this way, the relative position coordinates of the five fingertips with the wrist as the coordinate origin can be obtained.
  • the acceleration of the wrist in three coordinate directions is twice integrated with time, and then referring to the original position of the hand when the system is started, the motion track of the origin of the wrist coordinate can be obtained; the tilting direction of the wrist can be measured by using the tilt module. .
  • FIG. 1 is a structural block diagram of a wrist gesture control system according to an embodiment of the present invention.
  • the wrist gesture control system can include two systems, a left hand and a right hand, or a system that uses only one hand. The following description will be combined with a one-handed system, and the system of the hands is self-evident.
  • FIG. 2, FIG. 3 and FIG. 5 respectively illustrate the parts of the wrist gesture control system on the wrist
  • FIG. 2 is a right hand side view of the wrist gesture control system shown in FIG. 1
  • Figure 5 is a right hand top view of the wrist gesture control system of Figure 1. The description will be expanded below with reference to Figs. 2, 3 and 5.
  • the wrist gesture control system includes a wristwatch part 1 and cooperates with the upper computer part 2 Working together to control the upper computer, it may also include a ring portion 3 that can be worn.
  • the wristwatch section 1 includes a control main module 4 worn on the wrist and a gesture camera module 5 located on the wrist. 2 is a right hand side view of the wrist gesture control system of FIG. 1, and FIG. 2 shows the distribution of the control main module 4 and the gesture camera module 5 at the hand.
  • the gesture camera module 5 is configured to collect real-time image data of the hand, and then transmit the image data to the control main module 4.
  • gesture acquisition modules in the form of other sonic or electromagnetic waves may be used, such as ultrasonic or infrared acquisition devices.
  • the gesture camera module 5 can be disassembled, installed, mounted behind the power module 7 (see FIG. 2), or railed, and the gesture camera module 5 is contracted along the rails on the wristband. Go to the top of watch section 1.
  • the gesture camera module 5 collects images of the wrist and the finger, and the control main module 4 uses the image to determine the coordinate information of the fingertip of the finger, thereby determining the recognition gesture action.
  • the wristwatch portion 1 also includes a three-axis acceleration module 14 and/or a tilt module 15.
  • the triaxial acceleration module 14 is used to acquire the motion trajectory of the entire hand. By using the second position of the original position of the hand and the acceleration of the three coordinate directions, the position coordinates of the wrist can be accurately calculated.
  • the tilt module 15 can calculate the orientation of the palm and the direction of the finger based on the tilt angle of the wrist.
  • the control main module 4 uses the three-axis acceleration module 14 and the tilt module 15 to collect the wrist motion trajectory and the tilt angle, and performs wrist coordinate positioning.
  • the gesture camera module 5 located at the wrist the finger fingertip coordinate information is collected, thereby determining the current finger relative wrist.
  • the action is achieved by using the wrist coordinates and the finger coordinates to finally realize the recognition of the gesture action.
  • the control main module 4 can include a control board 1 2 .
  • the control board 12 mainly performs the image signal processing function, processes the data signals collected by the gesture camera module 5, calculates the current three-dimensional coordinate data of the five fingers, and controls other modules in the system to work.
  • the wristwatch section 1 can include a backlight LED light module 6 (see Figure 3).
  • the backlight LED light module 6 provides illumination to the gesture camera module when the background is dim.
  • Backlight LED light module 6 is used for light assisting such as fill light and lens aperture control to ensure that the captured image contrast is within the appropriate measurement range, and the finger coordinate information can be obtained.
  • the upper computer part 2 may include a host computer 9 and a first wireless communication module 10.
  • the host computer 9 includes an electric device that can mount the first wireless communication module 10 and extract the finger coordinate information it receives. Sub-devices, such as mobile phones, computers, home appliances, vehicles, industrial machinery, game entertainment equipment, teaching and research equipment, medical equipment, and voice control equipment that can realize virtual manipulation or remote control.
  • the first wireless communication module 10 is mounted on the upper computer 9, and includes a wireless receiving portion for receiving common gesture information and finger coordinate information, and a wireless transmitting portion for transmitting feedback information of the upper computer counterpart.
  • the upper computer 9 can also be integrated with the wristwatch portion 1; or when the upper computer 9 is absent, the wristwatch portion 1 can handle itself.
  • the control main module 4 may include a second wireless communication module 13.
  • the second wireless communication module 13 is used on the wristwatch part 1 to communicate with the host computer 9 such as a mobile phone or a computer, and transmits the coordinate data of the finger to the mobile phone, computer or other receiving device provided with the first wireless communication module 10; And receiving feedback information from the host computer 9.
  • the second wireless communication module 13 transmits the gesture recognition information to the upper computer 9 provided with the first wireless communication module 10 to realize the control of the upper computer 9.
  • the control master module 4 includes a wristband feedback module 8 (Figs. 2 and 3), and/or the ring portion 3 includes a ring feedback module 11.
  • the ring feedback module 1 1 can obtain feedback information from the host computer part or the control main module by wired or wireless means.
  • the upper computer 9 transmits the feedback information of the gesture movement to the hand through the wristband feedback module 8 and the ring feedback module 1 1 , that is, the vibrating vibrator and/or the contraction pressure ring mounted on the wrist wristband and the finger ring, and simulates Tactile perception. According to the tactile perception, the user adjusts the gesture action to achieve closed loop control. Wristbands and rings with tactile feedback help older people, the blind, other people with disabilities, and users of voice-controlled devices to get feedback from electronic devices without reading.
  • the wristwatch section 1 can include a power module 7 that provides electrical support for the entire device.
  • the control main module 4 may further include a control button 16 for controlling the power on/off, standby mode, and the like.
  • the working process of the wrist gesture control system can be divided into a boot detection portion and a gesture recognition portion.
  • the explanation will be expanded separately below.
  • Figure 6 is a flow chart of the power-on detection of the wrist gesture control system. As shown in FIG. 6, after the power is turned on in step S602, the self-test of the system program is first performed.
  • step S604 the contrast of the image background is detected.
  • step S6 and Q6 mode selection is performed based on the detection result? Is the normal mode (S608), Turn on the backlight LED (S 609) or perform aperture adjustment (S61 0); until the image is distinguishable.
  • step S 61 2 is it judged whether the image is distinguishable? If yes, enter gesture recognition step S614; if not, proceed to mode selection step S606;
  • step S614 the finger original position (i.e., the original position) is determined; the user hand and the usual gesture are determined in step S61 6 and the gesture is memorized in step S61.
  • the gesture recognition portion it is necessary to select a coordinate system to which the finger recognition is applied, and determine the coordinates of the finger in this coordinate system, and then determine the gesture based on the finger coordinates.
  • the spherical coordinate system with the wrist as the origin is established, which is the most scientifically accurate, but also increases the computational complexity of the function. Since the hand motion area and the imaging lens imaging area are both spherical-like, for the convenience of calculation, the rectangular coordinate system is approximated on the two-dimensional image, and the finger horizontal coordinate X and the vertical coordinate y are obtained, and only the distance of the finger from the wrist origin is obtained.
  • the coordinate r is in a spherical coordinate system.
  • the above-mentioned finger horizontal coordinate X and vertical coordinate y can be obtained by various commonly used methods, for example: 1. Based on the skin color detection method, the finger color distribution is determined by a plurality of labeled finger regions, and then the recognized finger skin color is used, The image is detected and the finger coordinates are finally determined.
  • the true position of the finger in the first frame is marked, and the feature is extracted in the local area, and the subsequent frames sequentially search for the area most similar to the previous frame feature in the vicinity of the real position of the previous frame, and determine the finger.
  • Yet another method of determining finger coordinates is a finger extension algorithm based on the patrol principle. Since the gesture camera module is located under the wrist, the range of motion of the palm root 101 in the upper part of the image of the gesture image is small, see Figure 8, and the finger is also from the root of the finger to the fingertip, from top to bottom. Gradually expanding the trend and moving. So you can first judge the wrist in the picture The position in the image, then the position of the finger root 102 is judged, the direction of the finger is extended downward, each finger joint is identified, and the position coordinates of each finger finger 103 are finally determined.
  • the matching position is determined as the wrist, recorded as the reference coordinate x, y of the palm root 101, and then the finger root is downward.
  • the identification of 102 recognizes the root of the finger 102 and writes down the current coordinate value, and then continues to judge the downward line, and gradually extends toward the fingertip 103 in the order of the palm root, the finger root, and the joint until the fingertip 103 is recognized. , returns the final coordinate value, which is the coordinates of the fingertip 103.
  • the calculation of the distance coordinate r from the finger to the origin of the wrist is complicated, because the gesture image captured by the camera module is a two-dimensional image. If the three-dimensional finger coordinate information is to be obtained, and the distance coordinate r of the finger to the origin is obtained, multi-camera positioning is required. Or other finger distance measurement methods will make the system too complicated and the data will be inconvenient to handle. By observing, when the finger is bent, a shadow appears at the joint of the finger, and by distinguishing the above shadow, it can be used to judge the distance. Moreover, if the position of the gesture camera module 5 is shifted from the middle portion of the original wristwatch, as shown in FIG. 4, to the lower edge of the wristwatch, referring to FIG.
  • a direction is taken from a direction in which the finger is gripped at a certain inclination angle.
  • the finger in the two-dimensional image also exhibits a certain curvature, and the position of the finger can be determined according to the degree of bending. In this way, the distance coordinate r of the finger to the origin of the wrist can be distinguished by the method of the single tube.
  • Figure 7 is a flow chart of gesture recognition for the wrist gesture control system. As shown in FIG. 7, in step S702, image acquisition analysis is performed; in step S702, the coordinates of the finger are obtained by the above method, thereby recognizing the gesture.
  • step S706 compared with the common gesture, if it is a common gesture, the coordinate value is sent to the upper computer in step S716; if it is not the common gesture, the coordinate confirmation is performed in step S708, and it is determined in step S710 whether the coordinate is correct or not. In the case where the coordinates are correct, the coordinate values are wirelessly transmitted to the host computer in step S712.
  • the host computer receives the coordinate value or the gesture information in step S714.
  • the host computer is generally an electronic product such as a mobile phone or a computer.
  • the upper computer performs different operations according to different gestures, and achieves the purpose of using gestures for manipulation.
  • step S718 the host computer sends a vibrator or a ring to the worn wristband or ring. Feedback information on shrinkage of the pressure ring.
  • the algorithm has been multi-staged. In actual operation, the corresponding adjustment can be made according to the need. If higher precision is needed, the complexity of the system can be increased. The module with higher computing power is used on the hardware, and the precision of the finger coordinates is increased by the software algorithm.
  • control device obtains an image of the finger coordinates or related information, and sends the image or related information to the upper computer, and the identification of the finger coordinates or the gesture is performed by the upper computer.
  • FIG. 2 A carrying method of the present invention is shown in Fig. 2, which is attached to the wrist like a wristwatch, and exposes the gesture camera module 5 and the backlight LED lamp module 6 so as not to be blocked by the sleeves.
  • Ring Feedback Module 1 1 You can choose to wear as needed. If you don't need tactile feedback, you don't need to wear it. Wearing a ring feedback module 1 1 in complex dim lighting can help control the main module 4 for accurate hand recognition.
  • the host computer 9 on which the first wireless communication module 10 is installed such as a computer and a mobile phone, can be directly controlled, and the finger coordinate information can also be transmitted to other electronic devices in which the first wireless communication module 10 is installed.
  • the host computer 9 displays the virtual gesture on the screen by using the collected coordinate information, and the user refers to the virtual gesture, controls the button or performs other motion gestures to realize remote control and virtual control.
  • RAM random memory Memory
  • ROM read only memory
  • EEPROM electrically programmable ROM
  • EEPly erasable programmable ROM registers
  • hard disk hard disk
  • removable disk CD-ROM

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施例提供一种腕上手势操控系统和方法。该系统包括腕表部分，腕表部分包括控制主模块和位于手腕部的手势采集模块；所述手势采集模块采集手指的图像；所述控制主模块根据所述手指的图像，计算指尖位置坐标，进而确定当前手势识别信息利用如此的系统和方法，可以实现多种机电设备的远程控制和虚拟控制。

Description

说 明 书 一种腕上手势操控系统和方法
技术领域
本发明涉及一种腕上手势操控系统和方法， 特别是一种用于手机与电 脑等电子产品和各种机电设备操控的腕表型手势识别系统。 背景技术
目前， 各种电子产品和机电设备的操控方式存在以下问题： （1 )手机 的控制设备有按键、 触摸屏， 电脑则用鼠标、 键盘、 手写板等控制， 综合 来看目前只应用了点击、 拖动等筒单动作。 但是人对外界所有的机械、 电 脑、 手机等实物工具的操作控制， 都由手来完成， 手作为人体主要的输出 媒介， 大部分的动作则还没有被开发使用； （2 ) 当前大部分的机电设备， 如数控机床、 挖掘机械等工业机械、 各种汽车等交通工具、 冰箱电视等家 用电器、 游戏娱乐设备、 教学科研设备、 医疗器械甚至是未来应用的物联 网设备， 都是由手部动作控制， 但操纵时， 人都必须亲自用手来操纵， 很 难实现远程操控和虚拟操控， 或者有些实现了远程控制，但不能便携使用。 如果能实现便携的远程操控和虚拟操控， 必定会带来新的技术进步和更大 的发展前景； （ 3 )虽然目前有些电子科技公司， 使用了体感控制， 以及一 些手势控制方式， 但由于设计本身的用来感测动作的传感器和摄像装置， 固定在电脑或者桌面上， 而人体经常会移动， 这就造成了无法携带的使用 困难， 也失去了应用前景； （4 ) 当前的一些手势识别装置， 都是基于触摸 屏幕， 比如平板电脑和手机， 它们能够采集的信息量很少， 只占手部所有 运动的一小部分。 或者， 有些设备通过身体佩戴的方式识别手势， 虽然提 高了便携性， 但会造成干扰识别的物体过多， 图像不稳定， 算法复杂等技 术难题。 如果要保证手势识别的信息完整性和准确性， 系统就无法筒化， 设备体积较大， 自然无法便携式使用。 发明内容 本发明的目的在于实现手势识别技术的小型化、 便携化与算法的精筒 优化， 提供一种通过基于腕上的摄像设备来筒化手势动作识别的新系统。
本发明在第一方面提供一种腕上手势操控系统，该系统包括腕表部分， 腕表部分包括控制主模块和位于手腕部的手势采集模块； 所述手势采集模 块采集手指的图像； 所述控制主模块根据所述手指的图像， 计算指尖位置 坐标， 进而确定当前手势识别信息
优选地， 所述腕上手势操控系统包括上位机部分， 所述上位机部分包 括第一无线通讯模块和上位机； 控制主模块包括第二无线通讯模块； 腕表 部分通过第二无线通讯模块和第一无线通讯模块将手势识别信息发送到的 上位机， 实现对上位机的控制。
优选地， 所述腕表部分包括三轴加速度模块， 用来获取手部的运动轨 迹； 控制主模块通过利用三个坐标方向加速度的二次积分， 计算出手腕的 位置坐标。
优选地， 所述腕表部分包括倾角模块， 用于确定手腕的倾斜角； 控制 主模块根据手腕的倾斜角， 计算手心的朝向和 /或手指的方向。
优选地，所述腕表部分包括腕带反馈模块； 上位机通过腕带反馈模块， 把对手部动作的反馈信息， 传递给手部。
优选地， 所述腕表部分还包括戒指部分， 所述戒指部分包括戒指反馈 模块； 上位机通过戒指反馈模块， 把对手部动作的反馈信息， 传递给手部。
优选地， 腕带反馈模块和 /或戒指反馈模块是震动振子和 /或收缩压力 环。
优选地， 所述腕表部分包括背光 LED灯模块， 给手势采集模块提供照 明。
优选地， 手势采集模块采用分体式结构。
优选地， 控制主模块判断手腕在图像中的位置， 然后判断手指根部的 位置， 循着手指方向向下延伸， 自上而下依序识别， 识别每一个手指关节， 最后确定每个手指指尖的位置坐标。
优选地， 将手势采集模块设于腕表部分的下方边缘处， 从与手指握合 方向成一定倾斜角的方向拍摄， 当手指弯曲时， 控制主模块根据拍摄图像 中手指呈现出的弯曲程度， 采用球面坐标系计算手指到手腕原点的距离坐 标。
根据第二方面， 本发明提供一种利用腕上手势操控系统操控上位机的 腕上手势操控方法， 其特征在于： 所述腕上手势操控系统包括腕表部分； 其中， 腕表部分包括位于手腕部的手势采集模块； 所述方法包括手势采集 模块采集手指的图像； 根据所述手指的图像计算指尖位置坐标， 进而确定 当前手势识别信息。
优选地， 所述腕上手势操控系统包括上位机部分， 所述上位机部分包 括上位机； 腕表部分通过无线通讯将手势识别信息发送到上位机， 实现对 上位机的控制。
优选地， 所述方法包括获取手部的运动轨迹； 利用三个坐标方向加速 度的二次积分， 计算出手腕的位置坐标。
优选地， 所述方法包括确定手腕的倾斜角； 根据手腕的倾斜角， 计算 手心的朝向和 /或手指的方向。
优选地，所述方法包括把上位机对手部动作的反馈信息，传递给手部。 优选地， 所述方法包括判断手腕在图像中的位置， 然后判断手指根部 的位置， 循着手指方向向下延伸， 自上而下依序识别， 识别每一个手指关 节， 最后确定每个手指指尖的位置坐标。
优选地， 所述方法包括利用设于腕表部分的下方边缘处的手势采集模 块， 从与手指握合方向成一定倾斜角的方向采集， 当手指弯曲时， 根据采 集图像中手指呈现出的弯曲程度， 采用球面坐标系计算手指到手腕原点的 距离坐标。
本系统也可用于各种机电设备如家用电器、 交通工具、 工业机械、 游 戏娱乐设备、 教学科研设备、 医疗器械以及语音控制设备等的远程操控和 虚拟操控。 附图说明
下面结合附图和实施例对本发明的技术方案作进一步描述， 附图中： 图 1为本发明实施例的腕上手势操控系统的结构框图； 图 2为图 1所示腕上手势操控系统的右手侧视图；
图 3为图 1所示腕上手势操控系统的右手仰视图；
图 4为图 1所示腕上手势操控系统的摄像模块平移之前的位置参照图； 图 5为图 1所示腕上手势操控系统的右手俯视图；
图 6为腕上手势操控系统的软件开机检测流程图；
图 7为腕上手势操控系统的手势识别流程图；
图 8为腕上手势操控系统的手势识别算法示例图。 具体实施方式
手作为人体主要的输出媒介。 工具的使用， 产品的制作， 都是手部复 杂的动作完成的。 如果能够把手部的运动信息全部采集下来， 然后就能更 加高效便捷的完成工作， 甚至让机器模拟， 实现无人化生产。 主要难点是 手部的动作复杂多变， 但是如果以手腕为坐标原点， 建立坐标系 （比如球 面坐标系） ， 手指的动作就是在相对于手腕的球面坐标系内运动。 只要利 用位于手腕下方的手势采集模块采集手指图像信息， 处理模块完成手指指 尖的坐标定位， 整个手指的动作就知道了。 这样就能得到以手腕为坐标原 点， 五个手指指尖的相对位置坐标。
利用三轴加速度模块， 把手腕在三个坐标方向的加速度对时间做二次 积分， 再参考系统启动时手的原始位置， 可以得到手腕坐标原点的运动轨 迹； 利用倾角模块可以测量手腕的翻转方向。
综上就可以精确计算出手腕的位置坐标与五个手指指尖的位置坐标。 图 1为本发明实施例的腕上手势操控系统的结构框图。 该腕上手势操 控系统可以包括左手、 右手两个系统， 也可以是只使用单手的系统。 下文 将结合单手的系统进行说明， 双手的系统不言自明。
另外， 图 2、 图 3和图 5分别示意了腕上手势操控系统各部件在手腕 上的部位， 图 2为图 1所示腕上手势操控系统的右手侧视图； 图 3为图 1 所示腕上手势操控系统的右手仰视图； 图 5为图 1所示腕上手势操控系统 的右手俯视图。 下文将结合图 2、 图 3和图 5展开说明。
如图 1所示， 腕上手势操控系统包括腕表部分 1 , 与上位机部分 2协 同工作， 以对上位机进行操控， 还可以包括可选择佩戴的戒指部分 3。 腕表部分 1包括佩戴在手腕上的控制主模块 4和位于手腕部的手势摄 像模块 5。 图 2为图 1所示腕上手势操控系统的右手侧视图， 从图 2可见 控制主模块 4和手势摄像模块 5在手部的分布示意。 手势摄像模块 5用于 采集手的实时图像数据， 然后把图像数据发送给控制主模块 4。 根据具体 使用的环境， 可以采用其它声波或者电磁波形式的手势采集模块， 比如可 以采用超声波或者红外线采集装置。 为了便于携带， 手势摄像模块 5可采 用分体式结构， 拆卸下来， 安装在电源模块 7 (见图 2 )的后方， 或者使用 导轨式， 把手势摄像模块 5沿着腕表带上的导轨， 收缩到腕表部分 1的上 方。
手势摄像模块 5采集手腕和手指的图像， 控制主模块 4利用该图像确 定手指指尖的坐标信息， 进而确定识别手势动作。
在一个例子中， 腕表部分 1还包括三轴加速度模块 14和 /或倾角模块 15。三轴加速度模块 14用来获取整个手部的运动轨迹，通过利用手的原始 位置与三个坐标方向加速度的二次积分，可以精确计算出手腕的位置坐标。 倾角模块 15根据手腕的倾斜角可以计算出手心的朝向， 手指的方向。控制 主模块 4利用三轴加速度模块 14与倾角模块 1 5采集手腕运动轨迹和倾角， 进行手腕坐标定位； 利用位于手腕部的手势摄像模块 5 , 采集手指指尖坐 标信息， 进而确定当前手指相对手腕的动作； 利用所述手腕坐标和所述手 指坐标， 最终实现手势动作的识别。
控制主模块 4可以包括控制板卡 1 2。 控制板卡 12主要完成图像信号 处理功能， 对手势摄像模块 5采集的数据信号进行处理， 计算出五个手指 的当前三维坐标数据， 并控制系统中的其他模块工作。
腕表部分 1可以包括背光 LED灯模块 6 (参见图 3 )。 背光 LED灯模块 6能在背景昏暗时， 给手势摄像模块提供照明。 背光 LED灯模块 6用于补 光与镜头光圈控制等方式进行光线辅助， 保证采集的图像对比度在合适的 测量范围内， 能够获得手指坐标信息。
上位机部分 2可以包括上位机 9和第一无线通讯模块 1 0。 上位机 9包 括可以安装第一无线通讯模块 1 0并且提取其接收到的手指坐标信息的电 子设备， 比如可实现虚拟操控或远程控制的手机、 电脑、 家用电器、 交通 工具、 工业机械、 游戏娱乐设备、 教学科研设备、 医疗器械以及语音控制 设备等。 第一无线通讯模块 1 0安装在上位机 9上， 它包括无线接收部分， 用来接收常用手势信息和手指坐标信息； 以及无线发送部分， 用来发送上 位机对手部的反馈信息。 上位机 9也可与腕表部分 1为一体； 或无上位机 9时， 腕表部分 1可操控其自身。
控制主模块 4可以包括第二无线通讯模块 1 3。 第二无线通讯模块 1 3 在腕表部分 1上， 用来和手机、 电脑等上位机 9通信， 把手指的坐标数据 发送给设有第一无线通讯模块 1 0的手机、 电脑或其他接收设备， 以及接收 来自上位机 9的反馈信息。通过第二无线通讯模块 1 3将手势识别信息发送 到设有第一无线通讯模块 1 0的上位机 9 , 实现对上位机 9的控制。
在一个例子中， 控制主模块 4包括腕带反馈模块 8 (图 2和图 3 ) , 并 且 /或者戒指部分 3包括戒指反馈模块 1 1。 戒指反馈模块 1 1可以通过有线 或者无线方式， 从上位机部分或者控制主模块获得反馈信息。 上位机 9通 过腕带反馈模块 8和戒指反馈模块 1 1 , 即安装在手腕腕带和手指戒指上的 震动振子和 /或收缩压力环， 把对手势运动的反馈信息， 传递给手部， 模拟 触觉感知。 用户根据所述触觉感知， 调整手势动作， 实现闭环控制。 具有 触觉反馈功能的腕带和戒指， 可以帮助老人、 盲人、 其他行动不便的残疾 人、 以及使用语音控制设备的用户， 不用阅读， 就能获得电子设备的反馈 信息。
腕表部分 1可以包括电源模块 7 , 为整个设备提供电力支持。
控制主模块 4还可以包括控制按鈕 1 6 , 用于对开关机、 待机模式等的 控制。
腕上手势操控系统的工作过程可以分为开机检测部分和手势识别部 分。 下文将分别展开说明。
图 6为腕上手势操控系统的开机检测流程图。如图 6所示，在步骤 S602 开机后， 首先进行系统程序的自我检测。
在步骤 S 604 , 检测图像背景的对比度。
然后，在步骤 S6 Q6 ,根据检测结果进行模式选择？ 是普通模式（ S608 )、 打开背光 LED灯 （S 609 ) 或是进行光圈调节 （S61 0 ) ； 直到图像可分辨。 在步骤 S 61 2 , 判断图像是否可分辨？ 倘是， 进入手势识别步骤 S614 ; 倘否， 继续进行模式选择步骤 S606 ;
然后， 在步骤 S614 , 确定手指原始位（即原始位置） ； 在步骤 S61 6 确定用户手型与常用手势并在步骤 S61 8记忆手势。
由于儿童与成年人手型差别较大， 有些人手型较粗壮肥胖， 需要确定 不同用户的手型。 而且每个人都有自己的常用手势， 一次使用过后， 系统 可以记忆下来方便用户以后直接调用。 再次使用的用户， 可以直接跳过开 机检测部分。
至于手势识别部分， 需要选择为手指识别所适用的坐标系， 并且在此 坐标系中确定手指的坐标， 然后基于手指坐标确定手势。
如果利用手指的图像信息， 建立以手腕为原点的球面坐标系， 是最科 学精确的， 但是也增加了函数的计算复杂性。 由于手部运动区域与摄像镜 头成像区域都是类球面分布， 为了便于计算， 在二维画面上近似成直角坐 标系计算， 得到手指水平坐标 X和垂直坐标 y , 仅对手指距离手腕原点的 距离坐标 r , 采用球面坐标系。
以下举例说明如何计算出每个手指指尖的水平坐标 X , 垂直坐标 y和 距离坐标 。 本领域的技术人员意识到， 可以采用其它类型的计算方法。
可以通过多种常用方法得到上述手指水平坐标 X和垂直坐标 y , 比如： 1、基于肤色检测的方法， 由多幅已经标注的手指区域确定手指的颜色 分布， 然后利用分辨出的手指肤色， 对图像进行检测， 最后确定手指坐标。
2、基于跟踪的方法， 首先标注第一帧中手指的真实位置， 在局部区域 提取特征， 后面的各帧依次在前一帧真实位置附近搜索与前一帧特征最相 似的区域， 判定为手指区域， 进而得到手指坐标。
又一种确定手指坐标的方法是基于巡线原理的手指延伸算法。 由于手 势摄像模块位于手腕下方， 拍摄的手势图像中位于图像上部的手掌根部 1 01的运动范围很小， 参见附图 8 , 而且手指也是由手指根部关节到指尖， 自上而下呈运动范围逐渐扩大的趋势而运动的。 因此可以先判断手腕在图 像中的位置， 然后再判断手指根部 102的位置， 巡着手指方向向下延伸， 识别每一个手指关节， 最后确定每个手指指尖 103的位置坐标。
在手指延伸算法中， 具体地说， 首先根据图像上端部分的分布区域和 灰度值， 找到相匹配的位置确定为手腕， 记录为手掌根部 101的基准坐标 x、 y, 再向下进行手指根部 102的识别， 识别出手指根部 102并记下当前 坐标值， 再继续向下巡线判断， 按照掌根、 指根、 关节的顺序， 逐步向手 指指尖 103延伸， 直到识别到手指指尖 103, 返回最终的坐标值， 即为手 指指尖 103的坐标。
手指到手腕原点的距离坐标 r的计算比较复杂， 因为摄像模块采集的 手势图像是二维的图像， 如果要获得三维的手指坐标信息， 得到手指到原 点的距离坐标 r, 就需要多摄像头定位， 或者其他手指距离测量的方式， 会造成系统过于复杂， 数据庞大不便处理。 而通过观察发现， 手指在弯曲 时， 手指关节处会出现阴影， 通过分辨上述阴影， 可以用来判断距离。 而 且如果把手势摄像模块 5的位置由原来的腕表中间部位， 如附图 4所示， 向腕表下方边缘处平移， 参见附图 3, 从与手指握合方向成一定倾斜角的 方向拍摄， 在手指弯曲时， 二维图像中的手指也会呈现一定弯曲， 根据弯 曲的程度， 可以判定出手指的位置。 这样就能用筒单的方法， 分辨手指到 手腕原点的距离坐标 r。
图 7是腕上手势操控系统的手势识别流程图。 如图 7所示， 在步骤 S702, 进行图像采集分析； 在步骤 S702, 通过上面的方法得到了手指的坐 标， 进而识别出手势。
在步骤 S706, 与常用手势对比， 如果是常用手势， 在步骤 S716把坐 标值发送给上位机； 如果不是常用手势， 则需要在步骤 S708进行坐标的再 次确认， 在步骤 S710判断坐标是否正确， 在坐标正确的情况下， 在步骤 S712将坐标值通过无线发射给上位机。
上位机在步骤 S714接收坐标值或者手势信息。上位机一般是手机、 电 脑等电子产品。 上位机根据不同的手势进行不同的操作， 实现了利用手势 进行操控的目的。
最后， 在步骤 S718, 上位机向佩戴的腕带、 戒指发送振子震动或者收 缩压力环收缩的反馈信息。
为了实现便携式， 算法进行了多处筒化。 实际操作中可以根据需要进 行相应的调整， 如果需要更高的精度， 可以增加系统的复杂度， 硬件上采 用更高计算能力的模块， 软件算法上增加手指坐标的精度。
另一种可行的方案是控制装置获得手指坐标的图像或者有关信息， 将 这些图像或有关信息发送给上位机， 由上位机完成手指坐标或者手势的识 别工作。
本发明的一种携带方法如图 2 , 像手表一样带在手腕上， 把手势摄像 模块 5与背光 LED灯模块 6露出来， 不能被衣袖遮挡。 戒指反馈模块 1 1 可以根据需要选择佩戴， 如果不需要触觉反馈， 可以不用佩戴。 在复杂昏 暗的灯光下， 佩戴戒指反馈模块 1 1 , 可以帮助控制主模块 4进行准确的手 势识别。
第一次使用时根据电脑演示的手势，使用者的手部也重复相同的动作， 直到腕上手势操控系统， 记忆下常用手势。 当使用者再次使用时， 就可以 直接操控安装了第一无线通讯模块 1 0的上位机 9 , 例如电脑和手机， 也可 以发射手指坐标信息给其他安装了第一无线通讯模块 1 0的电子设备，比如 家用电器、 交通工具、 工业机械、 游戏娱乐设备、 教学科研设备、 医疗器 械以及语音控制设备等。 上位机 9利用采集的坐标信息在屏幕上显示虚拟 手势， 用户参考虚拟手势， 控制按键或者做其他动作手势， 实现远程控制 和虚拟控制。
专业人员应该还可以进一步意识到， 结合本文中所公开的实施例描述 的各示例的单元及算法步骤， 能够以电子硬件、 计算机软件或者二者的结 合来实现， 为了清楚地说明硬件和软件的可互换性， 在上述说明中已经按 照功能一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软 件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人 员可以对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种 实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、 处 理器执行的软件模块， 或者二者的结合来实施。 软件模块可以置于随机存 储器 （RAM ) 、 内存、 只读存储器 （ROM ) 、 电可编程 R0M、 电可擦除可编 程 R0M、 寄存器、 硬盘、 可移动磁盘、 CD-R0M、 或技术领域内所公知的任 意其它形式的存储介质中。
显而易见， 在不偏离本发明的真实精神和范围的前提下， 在此描述的 本发明可以有许多变化。 因此， 所有对于本领域技术人员来说可以预见的 改变， 都应包括在本权利要求书所涵盖的范围之内。 本发明所要求保护的 范围由所述的权利要求书进行限定。

Claims

1. 一种腕上手势操控系统， 其特征在于： 包括腕表部分（ 1 ) , 腕表 部分（ 1 ) 包括控制主模块（ 4 )和位于手腕部的手势采集模块（ 5 ) ； 所述 手势采集模块（5 )采集手指的图像；所述控制主模块根据所述手指的图像， 计算指尖 （103)位置坐标， 进而确定当前手势识别信息
2. 如权利要求 1所述的腕上手势操控系统， 其特征在于： 所述腕上手 势操控系统包括上位机部分（2 ) , 所述上位机部分（2 ) 包括第一无线通 讯模块（ 10 )和上位机（ 9 )；控制主模块（ 4 )包括第二无线通讯模块（ 13 )； 腕表部分（ 1 )通过第二无线通讯模块（ 13)和第一无线通讯模块（ 10)将 手势识别信息发送到上位机（9 ) , 实现对上位机（9 ) 的控制。
3. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 所述腕 表部分包括三轴加速度模块 （ 14 ) , 用来获取手部的运动轨迹； 控制主模 块通过利用三个坐标方向加速度的二次积分， 计算出手腕的位置坐标。
4. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 所述腕 表部分包括倾角模块（ 15 ) , 用于确定手腕的倾斜角； 控制主模块（ 4 )根 据手腕的倾斜角， 计算手心的朝向和 /或手指的方向。
5. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 所述腕 表部分包括腕带反馈模块（ 8 ) ； 上位机（ 9 )通过腕带反馈模块（ 8 ) , 把 对手部动作的反馈信息， 传递给手部。
6. 如权利要求 1所述的腕上手势操控系统， 其特征在于： 所述腕表部 分还包括戒指部分（ 3) , 所述戒指部分（ 3) 包括戒指反馈模块 （ 11 ) ； 上位机（ 9 )通过戒指反馈模块（ 11 ) , 把对手部动作的反馈信息， 传递给 手部。
7. 如权利要求 4或 5所述的腕上手势操控系统， 其特征在于： 腕带反 馈模块 （8 ) 和 /或戒指反馈模块是震动振子和 /或收缩压力环。
8. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 所述腕 表部分包括背光 LED灯模块 （6 ) , 给手势采集模块提供照明。
9. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 手势采 集模块 （5 ) 采用分体式结构。
10. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 控制 主模块（ 4 )判断手腕在图像中的位置， 然后判断手指根部（ 102 )的位置， 循着手指方向向下延伸， 自上而下依序识别， 识别每一个手指关节， 最后 确定每个手指指尖 （ 103) 的位置坐标。
11. 如权利要求 1或 2所述的腕上手势操控系统， 其特征在于： 将手 势采集模块 （5 )设于腕表部分 （1 ) 的下方边缘处， 从与手指握合方向成 一定倾斜角的方向拍摄， 当手指弯曲时， 控制主模块根据拍摄图像中手指 呈现出的弯曲程度，采用球面坐标系计算手指到手腕原点的距离坐标（ r )。
12. 一种利用腕上手势操控系统操控上位机的腕上手势操控方法， 其 特征在于： 所述腕上手势操控系统包括腕表部分（ 1 ) ; 其中，腕表部分（ 1 ) 包括位于手腕部的手势采集模块 （5 ) ； 所述方法包括手势采集模块 （5 ) 采集手指的图像； 根据所述手指的图像计算指尖（ 103)位置坐标， 进而确 定当前手势识别信息。
13. 如权利要求 12所述的腕上手势操控方法， 其特征在于： 所述腕上 手势操控系统包括上位机部分（ 2 ) ,所述上位机部分（ 2 )包括上位机（ 9 )； 腕表部分（ 1 ) 通过无线通讯将手势识别信息发送到上位机（ 9 ) , 实现对 上位机（9 ) 的控制。
14. 如权利要求 12或 13所述的方法， 其特征在于： 所述方法包括获 取手部的运动轨迹； 利用三个坐标方向加速度的二次积分， 计算出手腕的 位置坐标。
15. 如权利要求 12或 13所述的方法， 其特征在于： 所述方法包括确 定手腕的倾斜角； 根据手腕的倾斜角， 计算手心的朝向和 /或手指的方向。
16. 如权利要求 12或 13所述的方法， 其特征在于： 所述方法包括把 上位机对手部动作的反馈信息， 传递给手部。
17. 如权利要求 12或 13所述的方法， 其特征在于： 所述方法包括判 断手腕在图像中的位置， 然后判断手指根部（ 102 )的位置， 循着手指方向 向下延伸， 自上而下依序识别， 识别每一个手指关节， 最后确定每个手指 指尖 （ 103) 的位置坐标。
18. 如权利要求 12或 13所述的方法， 其特征在于： 所述方法包括利 用设于腕表部分（1 ) 的下方边缘处的手势采集模块 （5 ) , 从与手指握合 方向成一定倾斜角的方向采集， 当手指弯曲时， 根据采集图像中手指呈现 出的弯曲程度， 采用球面坐标系计算手指到手腕原点的距离坐标 （r ) 。
PCT/CN2013/073706 2012-04-06 2013-04-03 一种腕上手势操控系统和方法 WO2013149586A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210097750.6A CN102915111B (zh) 2012-04-06 2012-04-06 一种腕上手势操控系统和方法
CN201210097750.6 2012-04-06

Publications (1)

Publication Number Publication Date
WO2013149586A1 true WO2013149586A1 (zh) 2013-10-10

Family

ID=47613509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/073706 WO2013149586A1 (zh) 2012-04-06 2013-04-03 一种腕上手势操控系统和方法

Country Status (2)

Country Link
CN (1) CN102915111B (zh)
WO (1) WO2013149586A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3173370A1 (de) * 2015-11-27 2017-05-31 Jungheinrich Aktiengesellschaft Verfahren zur steuerung eines flurförderzeugs über eine tragbare funkbedieneinheit sowie ein solches flurförderzeug
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控系统和方法
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
CN104010125B (zh) * 2013-02-22 2017-11-28 联想(北京)有限公司 电子设备和方法
US9092954B2 (en) * 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
CN104102335B (zh) * 2013-04-15 2018-10-02 中兴通讯股份有限公司 一种手势控制方法、装置和系统
WO2014171909A1 (ru) * 2013-04-17 2014-10-23 Stepanov Anton Valeriiovych Устройство управления при помощи жестов
CN103235646A (zh) * 2013-05-14 2013-08-07 秦启力 前肢动作识别装置及其实现方法
CN104252243B (zh) * 2013-06-27 2017-08-15 南京迈瑞生物医疗电子有限公司 一种手势操控医疗设备及其手势操控方法
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及系统
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
US20150084735A1 (en) * 2013-09-25 2015-03-26 Lenovo (Singapore) Pte. Ltd. Wearable information handling device outputs
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
WO2015047356A1 (en) * 2013-09-27 2015-04-02 Bodhi Technology Ventures Llc Band with haptic actuators
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入系统及方法
CN103593053B (zh) * 2013-11-22 2017-01-04 中国科学院深圳先进技术研究院 智能眼镜交互系统
CN103593056B (zh) * 2013-11-26 2016-11-16 青岛海信电器股份有限公司 手势数据识别和处理方法、电视机和手势输入设备
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
CN104714631A (zh) * 2013-12-12 2015-06-17 李庆华 腕上智能设备及其控制方法和系统
CN103706115A (zh) * 2013-12-31 2014-04-09 成都有尔科技有限公司 基于智能穿戴设备的互动游戏系统
CN104777894A (zh) * 2014-01-13 2015-07-15 联想(北京)有限公司 一种信息处理方法及穿戴式电子设备
CN104216351B (zh) * 2014-02-10 2017-09-29 美的集团股份有限公司 家用电器语音控制方法及系统
CN103941860B (zh) * 2014-03-31 2017-05-31 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别系统及其方法
CN103943106B (zh) * 2014-04-01 2017-01-25 北京豪络科技有限公司 一种手势语音识别的智能手环
DE112014006608B4 (de) 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
CN104156070A (zh) * 2014-08-19 2014-11-19 北京行云时空科技有限公司 一种人体智能输入体感操控系统及方法
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
CN104200143A (zh) * 2014-09-04 2014-12-10 广东欧珀移动通信有限公司 通过穿戴设备为智能移动终端快速输入密码的方法及系统
US20160132642A1 (en) * 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
CN106293022A (zh) * 2015-05-21 2017-01-04 中兴通讯股份有限公司 一种移动终端的输入方法及装置
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
CN105138117A (zh) * 2015-07-28 2015-12-09 百度在线网络技术（北京）有限公司 手腕式智能设备的交互系统和方法
DE102015216482A1 (de) 2015-08-28 2017-03-02 Robert Bosch Gmbh Steuervorrichtung sowie Verfahren zum Steuern eines Flurförderfahrzeugs, Betriebsvorrichtung sowie Verfahren zum Betreiben eines Flurförderfahrzeugs und Kommissioniersystem
CN106484087A (zh) * 2015-09-02 2017-03-08 黄小明 一种便携遥测体感输入方法及装置
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
CN105204639A (zh) * 2015-09-21 2015-12-30 杭州攻壳科技有限公司 一种腕部设备的控制方法及腕部设备
CN105607758A (zh) * 2015-09-22 2016-05-25 天脉聚源(北京)传媒科技有限公司 一种遥控视频播放的方法及装置
CN106933340B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 手势动作识别方法、控制方法和装置以及腕式设备
CN106933341B (zh) * 2015-12-31 2024-04-26 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN106200953A (zh) * 2016-07-05 2016-12-07 乐视控股（北京）有限公司 无线戒指、戒指组合及其虚拟现实设备操控方法
CN106354415B (zh) * 2016-10-08 2020-05-26 瑞安市辉煌网络科技有限公司 终端及其识别用户手势的方法
CN108073271A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域识别手部区域的方法及装置
CN106774917A (zh) * 2016-12-27 2017-05-31 努比亚技术有限公司 终端控制装置、穿戴式设备、终端及终端控制方法
US10684693B2 (en) 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
CN107422799A (zh) * 2017-08-07 2017-12-01 张傲龙 一种前臂式终端处理装置
CN107403178B (zh) * 2017-08-08 2024-09-10 方超 手势采集系统
CN107301415B (zh) * 2017-08-08 2024-03-22 方超 手势采集系统
CN107817911B (zh) * 2017-09-13 2024-01-30 杨长明 一种终端控制方法及其控制设备
CN107450672B (zh) * 2017-09-19 2024-03-29 曾泓程 一种高识别率的腕式智能装置
CN108355357B (zh) * 2018-05-08 2023-09-08 北京诺亦腾科技有限公司 固定手柄的转接器
TWI683237B (zh) 2018-07-19 2020-01-21 宏碁股份有限公司 使用仿生韌帶之手勢感應系統
TWI672611B (zh) 2018-07-23 2019-09-21 宏碁股份有限公司 使用仿生韌帶之觸覺回饋系統
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
CN109358750A (zh) * 2018-10-17 2019-02-19 Oppo广东移动通信有限公司 一种控制方法、移动终端、电子设备及存储介质
CN109770489A (zh) * 2019-01-31 2019-05-21 歌尔科技有限公司 应用于游戏手环的表带、游戏手环及游戏控制方法
CN110062167B (zh) * 2019-04-28 2021-11-12 努比亚技术有限公司 一种联动拍摄控制方法、设备及计算机可读存储介质
CN111897413A (zh) * 2019-05-06 2020-11-06 异起(上海)智能科技有限公司 一种虚拟现实、增强现实、融合现实手部操作方法及装置
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
CN111580660B (zh) * 2020-05-09 2022-03-18 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111766941B (zh) * 2020-05-15 2021-11-09 中国科学院计算技术研究所 一种基于智能戒指的手势识别方法及系统
CN111667737A (zh) * 2020-05-29 2020-09-15 同济大学 弹奏指法智能引导系统
CN112163863B (zh) * 2020-12-02 2021-03-16 北京圣点云信息技术有限公司 一种基于静脉识别的智能交互方法及子母环智能交互设备
CN112894857B (zh) * 2021-03-02 2024-04-09 路邦科技授权有限公司 一种医院临床辅助机器人的控键方法
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2023197475A1 (zh) * 2022-04-15 2023-10-19 深圳波唯科技有限公司 电动装置的控制方法、控制装置及传感器
DE102022123085A1 (de) 2022-09-12 2024-03-14 Gestigon Gmbh Am Körper eines Nutzers tragbare Rückmeldevorrichtung zum Empfangen von Infrarotlicht, System mit einer solchen Rückmeldevorrichtung und Verfahren zum Betreiben einer Rückmeldevorrichtung
CN117690000B (zh) * 2023-09-27 2024-10-22 中科迈航信息技术有限公司 一种基于人工智能的物联网数据交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
CN102368290A (zh) * 2011-09-02 2012-03-07 华南理工大学 一种基于手指高级特征的手势识别方法
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
CN102368290A (zh) * 2011-09-02 2012-03-07 华南理工大学 一种基于手指高级特征的手势识别方法
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控系统和方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10613637B2 (en) 2015-01-28 2020-04-07 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11126270B2 (en) 2015-01-28 2021-09-21 Medtronic, Inc. Systems and methods for mitigating gesture input error
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
EP3173370A1 (de) * 2015-11-27 2017-05-31 Jungheinrich Aktiengesellschaft Verfahren zur steuerung eines flurförderzeugs über eine tragbare funkbedieneinheit sowie ein solches flurförderzeug

Also Published As

Publication number Publication date
CN102915111A (zh) 2013-02-06
CN102915111B (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
WO2013149586A1 (zh) 一种腕上手势操控系统和方法
US20220326781A1 (en) Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US12086324B2 (en) Micro hand gestures for controlling virtual and graphical elements
US11861070B2 (en) Hand gestures for animating and controlling virtual and graphical elements
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
CN202584010U (zh) 一种腕上手势操控系统
CN109799900B (zh) 手腕可安装计算通信和控制设备及其执行的方法
TWI476633B (zh) 傳輸觸覺資訊的系統和方法
WO2016038953A1 (ja) 検出装置、検出方法、制御装置、および制御方法
RU187548U1 (ru) Перчатка виртуальной реальности
US20210200311A1 (en) Proxy controller suit with optional dual range kinematics
US20240107256A1 (en) Augmented reality spatial audio experience
RU2670649C9 (ru) Способ изготовления перчатки виртуальной реальности (варианты)
JP2015011404A (ja) 動作認識処理装置
WO2003003185A1 (en) System for establishing a user interface
Jin et al. Human-robot interaction for assisted object grasping by a wearable robotic object manipulation aid for the blind
US20230280835A1 (en) System including a device for personalized hand gesture monitoring
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
TW201933041A (zh) 虛擬空間定位方法及裝置
US20230117197A1 (en) Bimanual gestures for controlling virtual and graphical elements
Meers Head-controlled perception via electro-neural stimulation
Moldovan et al. Real time hand tracking and gesture recognition for interactive virtual hand control
KR20160101598A (ko) 수지타법입력장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13771864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13771864

Country of ref document: EP

Kind code of ref document: A1