KR101639351B1 - Wearable input system and method for recognizing motion - Google Patents
Wearable input system and method for recognizing motion Download PDFInfo
- Publication number
- KR101639351B1 KR101639351B1 KR1020150007339A KR20150007339A KR101639351B1 KR 101639351 B1 KR101639351 B1 KR 101639351B1 KR 1020150007339 A KR1020150007339 A KR 1020150007339A KR 20150007339 A KR20150007339 A KR 20150007339A KR 101639351 B1 KR101639351 B1 KR 101639351B1
- Authority
- KR
- South Korea
- Prior art keywords
- wearable input
- motion
- input device
- angular
- variation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Abstract
Description
본 발명은 신체에 착용 가능한 입력 장치를 착용한 사용자의 모션을 인식하는 방법, 그 방법을 실행하기 위한 컴퓨터 프로그램 및 웨어러블 입력 시스템에 대한 것이다.The present invention relates to a method of recognizing a motion of a user wearing a wearable input device, a computer program for executing the method, and a wearable input system.
컴퓨팅 시스템의 입력 수단으로서 신체에 착용 가능한 웨어러블 입력 장치가 다양하게 개발되고 있으며, 웨어러블 입력 장치를 착용한 사용자의 모션을 정확하게 인식하는 기술에 대한 연구도 활발히 진행되고 있다.Various wearable input devices that can be worn on the body as input means of a computing system have been developed variously and studies have been actively made on techniques for accurately recognizing the motion of the wearer wearing the wearable input device.
웨어러블 입력 장치를 구비한 컴퓨팅 시스템에서는 클릭 모션(clicking motion) 즉 사용자의 액션과 포인팅 모션(pointing motion) 즉 사용자의 이동을 정확하게 인식하는 것이 중요하다. 그러나, 웨어러블 입력 장치의 센서에서 출력되는 로 데이터(raw data)를 이용하면, 센서 노이즈, 센서 출력 신호에 포함되어 있는 바이어스, 신체의 흔들림 등으로 인해 모션 인식 정확도가 떨어지고 사용자가 의도한 동작인 인식되지 않거나 의도하지 않은 동작이 인식되는 문제가 있는바, 이러한 문제를 해결하기 위한 인식 알고리즘과 웨어러블 입력 시스템의 개발이 필요한 실정이다.In a computing system having a wearable input device, it is important to accurately recognize a clicking motion, that is, a user's action and a pointing motion, that is, a movement of a user. However, when raw data outputted from the sensor of the wearable input device is used, motion recognition accuracy is lowered due to sensor noise, bias included in the sensor output signal, vibration of the body, and the like, There is a problem that an unintentional or unintended operation is recognized. Therefore, it is necessary to develop a recognition algorithm and a wearable input system to solve such a problem.
본 발명은 웨어러블 입력 장치를 착용한 사용자의 클릭 모션 및/또는 포인팅 모션을 정확하게 인식할 수 있는 방법과 웨어러블 입력 시스템을 제공하는 것을 그 목적으로 한다.An object of the present invention is to provide a wearable input system and a method for accurately recognizing a click motion and / or a pointing motion of a wearer wearing the wearable input apparatus.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 웨어러블 입력 장치를 착용한 사용자의 모션을 인식하는 방법은, 상기 사용자의 모션을 감지하여 z축 가속도를 계속 측정하는 단계와, z축 가속도가 미리 정해진 음의 기준값 미만이 되는 시점의 제1 시각을 측정하는 단계와, 상기 제1 시각 이후 z축 가속도가 미리 정해진 양의 기준값을 초과하는 시점의 제2 시각을 측정하는 단계와, 상기 제1 시각과 제2 시각의 차이가 미리 정해진 지연 시간 미만이면 상기 제2 시각에 클릭 모션이 발생한 것으로 인식하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of recognizing motion of a wearer wearing a wearable input device, the method comprising: sensing motion of the user to continuously measure a z- Measuring a first time at a time when an axial acceleration becomes less than a predetermined negative reference value; measuring a second time at a time point at which the z-axis acceleration exceeds a predetermined amount of reference value after the first time; And recognizing that click motion has occurred at the second time if the difference between the first time and the second time is less than a predetermined delay time.
본 발명의 다른 실시예에 따른 웨어러블 입력 시스템은, 사용자의 모션을 감지하여 z축 가속도를 출력하는 가속도계를 포함하는 웨어러블 입력 장치와, 상기 웨어러블 입력 장치로부터 출력되는 z축 가속도가 미리 정해진 음의 기준값 미만이 되는 시점의 제1 시각을 측정하고, 상기 제1 시각 이후 z축 가속도가 미리 정해진 양의 기준값을 초과하는 시점의 제2 시각을 측정하고, 상기 제1 시각과 제2 시각의 차이가 미리 정해진 지연 시간 미만이면 상기 제2 시각에 클릭 모션이 발생한 것으로 인식하는 프로세서를 포함하는 컴퓨팅 장치를 포함할 수 있다.According to another aspect of the present invention, there is provided a wearable input system including: a wearable input device including an accelerometer for detecting a motion of a user and outputting a z-axis acceleration; And the second time is measured when the z-axis acceleration exceeds the predetermined reference value after the first time, and when the difference between the first time and the second time is less than the predetermined time And recognizing that click motion has occurred at the second time if the delay time is less than the predetermined delay time.
본 발명의 또 다른 실시예에 따른 웨어러블 입력 장치를 착용한 사용자의 모션을 측정하는 방법은, 사용자의 모션을 감지하여 각가속도를 측정하는 단계와, 상기 각가속도를 적분하여 각변화량을 계산하는 단계와, 상기 각변화량을 위치 변화량으로 변환하는 단계와, 현재 포인팅 위치 및 상기 위치 변화량을 이용하여 다음 포인팅 위치를 결정하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of measuring motion of a wearer wearing a wearable input device, the method comprising: measuring motion of a user to measure an angular acceleration; integrating the angular acceleration, Converting each of the change amounts into a position change amount, and determining a next pointing position using the current pointing position and the position change amount.
상기 각가속도를 측정하는 단계는, 상기 웨어러블 입력 장치에 구비된 자이로스코프의 출력 신호를 수신하는 단계를 포함할 수 있다.The step of measuring the angular acceleration may include receiving an output signal of the gyroscope included in the wearable input device.
상기 각가속도를 측정하는 단계는, 상기 자이로스코프의 출력 신호에 필터를 적용하여 노이즈를 제거하는 단계를 더 포함할 수 있다.The step of measuring the angular acceleration may further include removing a noise by applying a filter to the output signal of the gyroscope.
상기 각변화량을 계산하는 단계는, 상기 필터의 출력을 미리 정해진 시간 동안 적분하여 평균값을 계산함으로써 상기 미리 정해진 시간 동안의 각변화량을 획득하는 단계를 포함할 수 있다.The step of calculating the amount of each change may include obtaining an amount of each change in the predetermined time by integrating the output of the filter for a predetermined time to calculate an average value.
상기 다음 위치를 결정하는 단계는, 상기 현재의 포인팅 위치에 상기 계산된 위치 변화량을 벡터합함으로써 상기 다음 포인팅 위치를 획득하는 단계를 포함할 수 있다.The step of determining the next position may include acquiring the next pointing position by vectoring the calculated position variation amount to the current pointing position.
본 발명의 또 다른 실시예에 따른 웨어러블 입력 시스템은, 사용자의 모션을 감지하여 각가속도를 측정하는 자이로스코프를 포함하는 웨어러블 입력 장치와, 상기 웨어러블 입력 장치로부터 출력되는 각가속도를 적분하여 각변화량을 계산하고, 상기 각변화량을 위치 변화량으로 변환하고, 현재의 포인팅 위치 및 상기 위치 변화량을 이용하여 다음 포인팅 위치를 결정하는 프로세서를 포함하는 컴퓨팅 장치를 포함할 수 있다.The wearable input system according to another embodiment of the present invention includes a wearable input device including a gyroscope for sensing a user's motion and measuring an angular acceleration, an angular acceleration output from the wearable input device, And a processor for converting the angle variation into a position variation amount and determining a next pointing position using the current pointing position and the position variation amount.
본 발명에 의하면, 손가락에 착용하는 형태의 웨어러블 입력 장치가 가지는 입력값의 부정확성이나 좌우 흔들림에 의해 인식 오류를 개선할 수 있다.According to the present invention, it is possible to improve the recognition error due to the inaccuracy of the input value of the wearable input device to be worn on the finger or the left / right shake.
또한, 웨어러블 입력 시스템에서 클릭 동작을 인식할 때 지연 시간을 이용한 서스펜디드 모션(suspended motion)을 측정함으로써 클릭 동작의 인식율을 개선할 수 있다.Further, when the wearable input system recognizes the click operation, the recognition rate of the click operation can be improved by measuring the suspended motion using the delay time.
또한, 포인팅 모션 인식시 절대적인 위치를 측정하는 방식 대신 상대적인 위치 변화를 측정함으로써 인식의 정확도를 높일 수 있으며, 그에 따라 사용의 편리성을 높일 수 있다.Also, instead of the method of measuring the absolute position when the pointing motion is recognized, it is possible to increase the accuracy of recognition by measuring the relative positional change, thereby improving the convenience of use.
도 1은 본 발명의 일 실시예에 따른 웨어러블 입력 시스템의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따라 2차원 모션인 클릭 모션 인식 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 클릭 모션 인식 방법을 설명하기 위한 흐름도이다.
도 4는 웨어러블 입력 장치를 착용하고 마우스를 쥔 상태에서 테스트하는 모습을 예시한 도면이다.
도 5는 웨어러블 입력 장치를 착용하고 마우스 없이 테이블 위에서 테스트하는 모습을 예시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 3차원 모션인 포인팅 모션을 인식 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 포인팅 모션 인식 방법을 설명하기 위한 흐름도이다.1 is a block diagram illustrating a configuration of a wearable input system according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining a click motion recognition method that is a two-dimensional motion according to an embodiment of the present invention.
3 is a flowchart illustrating a click motion recognition method according to another embodiment of the present invention.
4 is a diagram illustrating a state in which a wearable input device is worn and a test is performed while holding a mouse.
5 is a diagram illustrating a state in which a wearable input device is worn and tested on a table without a mouse.
6 is a flowchart illustrating a method of recognizing a pointing motion in three-dimensional motion according to an embodiment of the present invention.
7 is a flowchart illustrating a pointing motion recognition method according to another embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
도 1은 본 발명의 일 실시예에 따른 웨어러블 입력 시스템의 구성을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of a wearable input system according to an embodiment of the present invention.
도 1을 참조하면, 웨어러블 입력 시스템은 사용자의 움직임을 감지하고 그에 대한 정보를 수집하는 웨어러블 입력 장치(110)와 웨어러블 입력 장치(110)로부터 수신되는 정보를 기초로 사용자가 의도한 모션이 무엇인지 판단하여 처리하는 컴퓨팅 장치(120)를 포함할 수 있다. 웨어러블 입력 장치(110)는 가속도계(accelerometer) 및/또는 자이로스코프(gyroscope)를 포함하여 사용자의 움직임을 검출하고 검출된 움직임에 관련된 움직임 데이터를 생성하여 출력하는 센서부(111)와, 센서부(111)로부터 출력되는 데이터를 기초로 컴퓨팅 장치(120)로 전송할 움직임 정보를 포함하는 메시지를 생성하는 메시징부(112)와, 메시징부(112)에 의해 생성된 메시지를 컴퓨팅 장치(120)로 송신하기 위한 송신부(113)를 포함할 수 있다. 이에 따라, 웨어러블 입력 장치(110)를 착용한 사용자가 어떤 움직임을 수행하면, 웨어러블 입력 장치(110)는 사용자의 움직임에 대한 정보를 포함하는 메시지를 컴퓨팅 장치(120)로 전송하게 된다.Referring to FIG. 1, a wearable input system includes a
컴퓨팅 장치는(120)는 웨어러블 입력 장치(110)로부터 메시지를 수신하기 위한 수신부(123)와, 수신부(123)에 의해 수신된 정보를 이용하여 사용자의 움직임이 미리 설정된 모션 중 어느 유형에 해당하는지 또는 사용자의 움직임에 따라 포인팅 위치가 어디로 이동되어야 하는지를 판단하는 프로세서(122)와, 프로세서(122)의 제어에 따라 사용자의 모션에 해당하는 기능을 수행한 결과를 출력하기 위한 디스플레이(121)를 포함할 수 있다. 프로세서(122)는, 센서부(111)에 포함된 가속도계의 출력 신호를 기초로 생성된 움직임 정보를 이용하여 사용자의 클릭 모션을 인식하고, 센서부(111)에 포함된 자이로스코프의 출력 신호를 기초로 생성된 움직임 정보를 이용하여 사용자의 포인팅 모션을 인식한다.The computing device 120 includes a
본 발명의 일 실시예에 따르면 웨어러블 입력 장치(110)의 센서부(111)로서 IMU(Inertial Measurement Unit) 센서가 사용될 수 있으나, 이에 한정되는 것은 아니다. IMU는 실시간 측정이 가능하고 소형 사이즈로 많은 웨어러블 장치에 사용되고 있는 센서이다. IMU는 가속도계, 자이로스코프 및 자력계(magnetometer) 중 적어도 하나의 조합을 포함하여, 대상물의 속도, 방향, 중력 등을 측정하여 출력하는 전자 장치이다. IMU를 사용하는 경우 IMU characterization을 통해 센서 출력에 포함된 바이어스를 찾아서 보상할 수 있다.According to an embodiment of the present invention, an IMU (Inertial Measurement Unit) sensor may be used as the
웨어러블 입력 시스템의 모션 인식에 대한 자세한 내용은 도 2 내지 도 8을 참조하여 설명하기로 한다.
Details of the motion recognition of the wearable input system will be described with reference to FIGS. 2 to 8. FIG.
도 8은 본 발명에서 입력 장치를 착용한 손의 움직임과 좌표축 간의 관계를 설명하기 위한 도면이다. 도 8을 참조하면, 오른손을 기준으로 했을 때, 엄지 손가락이 향하는 반대 방향이 x축, 엄지 손가락을 제외한 네 손가락이 향하는 방향이 y축, 손등 위로 향하는 방향이 z축으로 정의된다. 그러나, 움직임 방향의 정의가 이에 한정되는 것은 아니며, 왼손을 사용하는 경우나 입력 장치가 신체의 다른 부분에 착용되는 경우 등 다른 실시예에서는 움직임 방향과 좌표축 간의 관계가 달리 정의될 수 있다.
8 is a view for explaining the relationship between the movement of the hand wearing the input device and the coordinate axes in the present invention. Referring to FIG. 8, the direction opposite to the thumb is defined as the x-axis, the direction in which the four fingers except the thumb are pointed in the y-axis, and the direction in which the finger is pointed upward is defined as the z-axis. However, the definition of the movement direction is not limited to this, and in other embodiments, such as when the left hand is used or when the input device is worn on another part of the body, the relationship between the movement direction and the coordinate axis can be defined differently.
도 2는 본 발명의 일 실시예에 따라 2차원 모션인 클릭 모션 인식 방법을 설명하기 위한 흐름도이다.FIG. 2 is a flowchart for explaining a click motion recognition method that is a two-dimensional motion according to an embodiment of the present invention.
웨어러블 입력 장치를 착용한 사람이 클릭 동작을 하면 z축 방향의 음의 가속도와 양의 가속도가 연달아 관찰된다. 또한, 클릭 동작과 단순히 아래로 내려가는 동작을 구별하기 위해, 클릭 모션에서는 아래로 내려가는 동작 이후 일정 시간 안에 반대 방향인 위로 올라가는 동작이 감지된다. When a person wearing the wearable input device performs a click operation, the negative acceleration and the positive acceleration in the z-axis direction are consecutively observed. Also, in order to distinguish the click action from the downward motion, in the click motion, an upward movement in the opposite direction is detected within a certain time after the downward motion.
본 발명에서는 이러한 특징에 착안하여, z축 가속도에 대한 기준값과 평균적인 클릭 신호 지속 기간을 설정한다. z축 가속도가 기준값 이상이고 평균적인 클릭 신호 지속 기간 내에 음의 가속도 기준값을 넘는 움직임과 양의 기속도 기준값을 넘는 움직임이 연달아 발생하였으면 클릭 모션으로 인식한다. 또한, 이러한 클릭 모션이 소정 간격 이내에 반복하여 발생한 경우는 더블 클릭 모션으로 인식할 수 있다.In the present invention, a reference value for the z-axis acceleration and an average click signal duration are set in consideration of this feature. If the z-axis acceleration exceeds the reference value and the motion that exceeds the negative acceleration reference value within the average click signal duration and the motion that exceeds the positive reference velocity value occur consecutively, it is recognized as a click motion. If the click motion occurs repeatedly within a predetermined interval, it can be recognized as a double click motion.
도 1 및 도 2를 참조하면, 웨어러블 입력 장치(110)는 사용자의 모션을 감지하여 z축 가속도를 계속 측정한다(S202). 컴퓨팅 장치(120)는, 웨어러블 입력 장치(110)로부터 출력되는 z축 가속도가 미리 정해진 음의 기준값 미만이 되는 시점의 제1 시각을 측정한다(S204). 또한, 제1 시각 이후 z축 가속도가 미리 정해진 양의 기준값을 초과하는 시점의 제2 시각을 측정하고(S206), 제1 시각과 제2 시각이 모두 측정된 경우 제1 시각과 제2 시각의 차이가 미리 정해진 지연 시간 이상이면 제2 시각에 클릭 모션이 발생한 것으로 인식한다(S208).1 and 2, the
도 3은 본 발명의 다른 실시예에 따른 클릭 모션 인식 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a click motion recognition method according to another embodiment of the present invention.
도 1 및 도 3을 참조하면, 웨어러블 입력 장치(110)에 구비된 가속도계를 이용하여 z축 가속도 az(t)가 측정된다(S302). z축 가속도를 지속적으로 측정하다가 미리 정해진 음의 기준값 ath0를 넘어가면(S304) 그 시점의 시간 t0를 측정한다(S306). 기준값 ath는 음의 값이므로 S304 및 S306 단계에서는 az < ath0가 되는 시점을 포착해야 한다. 측정된 가속도가 조건 az < ath0를 만족하지 않으면 S302 단계도 돌아가 z축 가속도가 계속 측정된다.1 and 3, a z-axis acceleration a z (t) is measured using an accelerometer provided in the wearable input device 110 (S302). When the z-axis acceleration is continuously measured and the predetermined reference value a th0 is exceeded (S304), the time t 0 at that point is measured (S306). Since the reference value a th is a negative value, it is necessary to acquire a time point at which a z < a th0 is reached in steps S304 and S306. If the measured acceleration does not satisfy the condition a z < a th0 , the process returns to step S302 and the z-axis acceleration is continuously measured.
az < ath0를 만족하는 시간 t0가 획득되고 나면(S306), 즉 내려가는 모션이 인식되고 나면, z축 가속도 az(t)의 측정이 계속된다(S308). 다시 z축 가속도를 지속적으로 측정하다가 미리 정해진 양의 기준값 ath1를 넘어가면(S310) 그 시점의 시간 t1를 측정한다(S312). 가속도에 대한 음의 기준값 ath0와 양의 기준값 ath1는 사용자의 모션 입력 습관이나 실시예에 따라 달라질 수 있으며 실험을 통해 사용자들의 습관을 관찰하고 분석함으로써 미리 설정될 수 있다. 또한, 음의 기준값 ath0와 양의 기준값 ath1의 절대값은 동일 값이거나 서로 다른 값일 수 있다.After the time t 0 satisfying a z <a th0 is obtained (S306), that is, when the downward motion is recognized, the measurement of the z-axis acceleration a z (t) continues (S308). If the z-axis acceleration is continuously measured again and the predetermined amount of reference value a th1 is exceeded (S310), the time t 1 at that point is measured (S312). The negative reference value a th0 and the positive reference value a th1 for the acceleration may vary according to the user's motion input habits or the embodiment and can be set in advance by observing and analyzing the habits of the users through experiments. In addition, the absolute values of the negative reference value a th0 and the positive reference value a th1 may be the same value or different values.
az > ath1를 만족하는 시간 t1이 획득되고 나면(S312), 즉 내려가는 모션에 이어 올라가는 모션이 인식되고 나면, t1과 t0 사이의 시간 간격 (t1-t0)가 계산된다. 시간 간격이 미리 정해진 기준 간격 tth 미만이면(S314), 시간 t1에 클릭 모션이 입력된 것으로 인식한다(S316). 양의 기준값 ath1을 넘어가는 z축 가속도가 tth동안 측정되지 않았다면(S311), t0 값을 더 이상 저장하지 않고, 단계 S302로 돌아간다. 시간 간격에 대한 기준값 tth는 사용자의 모션 입력 습관이나 실시예에 따라 달라질 수 있으며 실험을 통해 사용자들의 습관을 관찰하고 분석함으로써 미리 설정될 수 있다. 예컨대, tth는 0.2초로 설정될 수 있다.After the time t 1 satisfying a z > a th1 is obtained (S312), that is, after the motion following the descending motion is recognized, t 1 and t 0 The time interval (t 1 -t 0) between calculated. If the time interval is less than a predetermined reference interval t th (S314), recognizes that a click motion input to the time t 1 (S316). Beyond the amount of the reference value th1 is a z axis acceleration has not been measured during the t th (S311), the t 0 values no longer stored, the process returns to step S302. The reference value t.sub.th for the time interval may vary according to the user's motion input habits or embodiments and may be set in advance by observing and analyzing users' habits through experiments. For example, t th may be set to 0.2 seconds.
상기의 실시예에 따른 클릭 모션 인식 방법을 테스트한 결과, 도 4와 같이 본 발명에 따른 웨어러블 입력 장치(110)를 착용하고 마우스를 쥔 상태에서 테스트했을 때는 정확도 96%로 클릭이 인식되었으며, 도 5와 같이 본 발명에 따른 웨어러블 입력 장치(110)를 착용하고 마우스 없이 테이블 위에서 테스트했을 때는 정확도 100%로 클릭이 인식되었다. 도 4 및 도 5에서는 웨어러블 입력 장치(110)를 2개의 손가락에 착용하는 예를 도시하였으나, 본 발명은 한 손가락 또는 3개 이상의 손가락에 착용하는 입력 장치에도 적용될 수 있다.
As a result of testing the click motion recognition method according to the embodiment as described above, when the
도 6은 본 발명의 일 실시예에 따라 3차원 모션인 포인팅 모션을 인식 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of recognizing a pointing motion in three-dimensional motion according to an embodiment of the present invention.
도 1 및 도 6을 참조하면, 웨어러블 입력 장치(110)는 이를 착용한 사용자의 모션을 감지하여 각가속도를 측정한다(S602). 다음으로, 컴퓨팅 장치(120)는 각가속도를 적분하여 각변화량을 계산하고(S604) 각변화량을 위치 변화량으로 변환한다(S604). 현재의 포인팅 위치와 위치 변화량을 이용하여 다음 포인팅 위치가 결정된다(S606). 이와 같이 본 발명에 따르면 절대 위치를 측정하는 것이 아니라 상대적인 위치 변화를 측정하여 새로운 위치를 계산하는 방식이 사용된다.Referring to FIGS. 1 and 6, the
도 7은 본 발명의 다른 실시예에 따른 포인팅 모션 인식 방법을 설명하기 위한 흐름도이다.7 is a flowchart illustrating a pointing motion recognition method according to another embodiment of the present invention.
도 1 및 도 7을 참조하면, 각가속도의 측정을 위해 웨어러블 입력 장치(110)가 자이로스코프를 구비할 수 있다. 자이로스코프에 의해 x, y, z축 세 방향의 각가속도가 출력된다(S702). 다음으로, 센서 노이즈를 제거하기 위해, 자이로스코프의 출력 신호에 필터를 적용한다(S704). 웨어러블 입력 장치(110)는, 자이로스코프의 출력 신호로부터 노이즈를 제거하기 위해 필터를 더 포함할 수 있다. 그 결과로서 노이즈가 제거된 x, y, z축 각가속도가 획득된다. 또한, 센서 출력에 포함된 바이어스를 찾아 보상하기 위해 IMU characterization 방법이 사용될 수 있다. 필터의 출력을 미리 정해진 시간 T 동안 적분하여 평균값을 계산함으로써 상기 미리 정해진 시간 동안의 x, y, z축 각변화량을 획득한다(S706). 또한, 각변화량에 scale factor를 적용하여 위치 변화량으로 변환한다(S708). 현재의 포인팅 위치(120)에 위치 변화량을 벡터합함으로써 다음 포인팅 위치(730)가 획득되며 디스플레이 상의 포인팅 위치가 이동되어 화면이 업데이트 된다(S710). 여기서, cut off frequency ωc, 시간 T, scale factor sx 및 sy 는 실험을 통해서 계산된 값이 이용되며, 실시예에 따라 달라질 수 있다. Referring to FIGS. 1 and 7, the
본 발명에 따른 웨어러블 입력 장치는 팬텀 마우스의 형태로 손가락에 착용되도록 구현될 수 있으나 이에 한정되는 것은 아니며, 손등, 손목, 팔 등 신체의 다른 부위에 착용 가능한 하우징을 구비하도록 구현될 수도 있다.The wearable input device according to the present invention may be implemented to be worn on a finger in the form of a phantom mouse, but the present invention is not limited thereto. The wearable input device may be configured to include a housing that can be worn on other parts of the body such as the back of a hand, the wrist, and the arm.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
110: 웨어러블 입력 장치
111: 센서부
112: 메시징부
113: 송신부
120: 컴퓨팅 장치
121: 디스플레이
122: 프로세서
123: 수신부110: wearable input device
111:
112:
113:
120: computing device
121: Display
122: Processor
123: Receiver
Claims (13)
상기 웨어러블 입력 장치에 구비된 자이로스코프에 의해 x, y, z축 세방향의 각가속도 (αx, αy, αz)를 측정하고 필터를 적용함으로써 노이즈가 제거된 각가속도를 획득하는 단계와,
상기 각가속도를 적분하여 x, y, z축의 각변화량 (dθx, dθy, dθz)을 계산하는 단계와,
상기 각변화량에 스케일 팩터(scale factor) sx 및 sy를 적용하여 상기 각변화량을 위치 변화량 (dθz*sx, dθx*sy)으로 변환하는 단계와,
현재의 포인팅 위치에 상기 위치 변화량을 벡터합함으로써 다음 포인팅 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.A method of recognizing a pointing motion of a wearer wearing a wearable input device,
Measuring the angular acceleration (? X ,? Y ,? Z ) in three directions of x, y, and z by the gyroscope included in the wearable input device and acquiring the angular acceleration without noise by applying a filter;
(D? X , d? Y , d? Z ) of the x, y, and z axes by integrating the angular acceleration,
The method comprising applying a scale factor (scale factor) s x and s y in the respective variation converting the amount of change in each position change amount (dθ z * s x, s y dθ x *),
And determining the next pointing position by vector summing the position variation amount at the current pointing position.
상기 각변화량을 계산하는 단계는,
상기 필터의 출력을 미리 정해진 시간 동안 적분하여 평균값을 계산함으로써 상기 미리 정해진 시간 동안의 각변화량을 획득하는 단계를 포함하는 것을 특징으로 하는 방법.5. The method of claim 4,
Wherein the step of calculating the angular variation comprises:
And obtaining an angular variation over the predetermined time by integrating the output of the filter for a predetermined time to calculate an average value.
상기 웨어러블 입력 장치에 구비된 자이로스코프에 의해 x, y, z축 세방향의 각가속도 (αx, αy, αz)를 측정하고, 필터를 적용함으로써 노이즈가 제거된 각가속도를 획득하는 단계와,
상기 각가속도를 적분하여 x, y, z축의 각변화량 (dθx, dθy, dθz)을 계산하는 단계와,
상기 각변화량에 스케일 팩터(scale factor) sx 및 sy를 적용하여 상기 각변화량을 위치 변화량 (dθz*sx, dθx*sy)으로 변환하는 단계와,
현재의 포인팅 위치에 상기 위치 변화량을 벡터합함으로써 다음 포인팅 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 프로그램.A computer program recorded on a recording medium for performing a method of recognizing a pointing motion of a wearer wearing a wearable input device,
Measuring the angular acceleration (? X ,? Y ,? Z ) in three directions of x, y, and z by the gyroscope provided in the wearable input device and obtaining a noise-canceled angular velocity by applying a filter;
(D? X , d? Y , d? Z ) of the x, y, and z axes by integrating the angular acceleration,
The method comprising applying a scale factor (scale factor) s x and s y in the respective variation converting the amount of change in each position change amount (dθ z * s x, s y dθ x *),
And adding the position variation amount to the current pointing position by vector summing to determine the next pointing position.
사용자의 모션을 감지하여 각가속도를 측정하는 자이로스코프를 포함하는 웨어러블 입력 장치와,
상기 웨어러블 입력 장치로부터 출력되는 x, y, z축 세방향의 각가속도 (αx, αy, αz)에 필터를 적용함으로써 노이즈가 제거된 각가속도를 획득하고,
상기 각가속도를 적분하여 x, y, z축의 각변화량 (dθx, dθy, dθz)을 계산하고,
상기 각변화량에 스케일 팩터(scale factor) sx 및 sy를 적용하여 상기 각변화량을 위치 변화량 (dθz*sx, dθx*sy)으로 변환하고,
현재의 포인팅 위치에 상기 위치 변화량을 벡터합함으로써 다음 포인팅 위치를 결정하는 프로세서를 포함하는 컴퓨팅 장치를 포함하는 것을 특징으로 하는 시스템.In a wearable input system,
A wearable input device including a gyroscope for detecting a user's motion and measuring angular acceleration,
The angular velocity obtained by removing the noise is obtained by applying a filter to angular acceleration (? X ,? Y ,? Z ) in three directions of x, y and z outputted from the wearable input device,
The angular velocity is integrated to calculate the angular variation (d? X , d? Y , d? Z ) in the x, y and z axes,
The scale factor s x and s y are applied to each change amount to convert the change amount into a position change amount dθ z * s x , dθ x * s y ,
And a processor for determining a next pointing position by vectoring the position variation amount to a current pointing position.
상기 프로세서는, 상기 필터의 출력을 미리 정해진 시간 동안 적분하여 평균값을 계산함으로써 상기 미리 정해진 시간 동안의 각변화량을 획득하는 것을 특징으로 하는 시스템.
11. The method of claim 10,
Wherein the processor obtains an angular variation over the predetermined time by integrating the output of the filter for a predetermined time and calculating an average value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150007339A KR101639351B1 (en) | 2015-01-15 | 2015-01-15 | Wearable input system and method for recognizing motion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150007339A KR101639351B1 (en) | 2015-01-15 | 2015-01-15 | Wearable input system and method for recognizing motion |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101639351B1 true KR101639351B1 (en) | 2016-07-13 |
Family
ID=56505783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150007339A KR101639351B1 (en) | 2015-01-15 | 2015-01-15 | Wearable input system and method for recognizing motion |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101639351B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101108A (en) * | 2018-07-25 | 2018-12-28 | 重庆邮电大学 | Method and system based on three decision optimization intelligence cockpit human-computer interaction interfaces |
| KR20190034981A (en) | 2017-09-25 | 2019-04-03 | (주)유비컴 | Operation method of wearable pointing device in work field |
| KR20200058823A (en) | 2018-11-20 | 2020-05-28 | 주식회사 어포스텍 | Method and system for wearable band gesture recognition based on motion recognition |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012083866A (en) * | 2010-10-08 | 2012-04-26 | Jvc Kenwood Corp | Finger attachment type processor with tactile sense reproduction function |
| KR20130101975A (en) * | 2010-04-16 | 2013-09-16 | 니콜라스 제이 마스탄드리아 | Wearable motion sensing computing interface |
| JP5306455B2 (en) * | 2010-03-30 | 2013-10-02 | 株式会社カプコン | Program, object control method, recording medium, and game system |
-
2015
- 2015-01-15 KR KR1020150007339A patent/KR101639351B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5306455B2 (en) * | 2010-03-30 | 2013-10-02 | 株式会社カプコン | Program, object control method, recording medium, and game system |
| KR20130101975A (en) * | 2010-04-16 | 2013-09-16 | 니콜라스 제이 마스탄드리아 | Wearable motion sensing computing interface |
| JP2012083866A (en) * | 2010-10-08 | 2012-04-26 | Jvc Kenwood Corp | Finger attachment type processor with tactile sense reproduction function |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190034981A (en) | 2017-09-25 | 2019-04-03 | (주)유비컴 | Operation method of wearable pointing device in work field |
| CN109101108A (en) * | 2018-07-25 | 2018-12-28 | 重庆邮电大学 | Method and system based on three decision optimization intelligence cockpit human-computer interaction interfaces |
| CN109101108B (en) * | 2018-07-25 | 2021-06-18 | 重庆邮电大学 | Method and system for optimizing human-computer interaction interface of intelligent cabin based on three decisions |
| KR20200058823A (en) | 2018-11-20 | 2020-05-28 | 주식회사 어포스텍 | Method and system for wearable band gesture recognition based on motion recognition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3800618B1 (en) | Systems and methods for simultaneous localization and mapping | |
| US9175962B2 (en) | Pedestrian observation system, recording medium, and estimation of direction of travel | |
| EP2860611A1 (en) | User interface method and apparatus based on spatial location recognition | |
| CN105814609A (en) | Fusing device and image motion for user identification, tracking and device association | |
| US10302434B2 (en) | Method and apparatus for determining walking direction for a pedestrian dead reckoning process | |
| JP6592245B2 (en) | Estimating the direction of user movement on mobile devices | |
| US9702899B2 (en) | Pedometer with lag correction | |
| CN105841695B (en) | Information processing apparatus, information processing method, and recording medium | |
| KR101639351B1 (en) | Wearable input system and method for recognizing motion | |
| JP6197702B2 (en) | Input method, program, and input device | |
| JP6446922B2 (en) | Measuring device, measuring method and program | |
| EP3289435B1 (en) | User interface control using impact gestures | |
| US11009963B2 (en) | Sign language inputs to a vehicle user interface | |
| JP7052604B2 (en) | Business estimation method, information processing device, and business estimation program | |
| US9638713B2 (en) | Non-transitory computer readable medium, action detection apparatus, and action detection method | |
| JP6786015B1 (en) | Motion analysis system and motion analysis program | |
| WO2014129166A1 (en) | Carry-state determination device and program | |
| CN111385813A (en) | System and method for cycle duration measurement in repetitive activity sequences | |
| WO2022267290A1 (en) | Step counting method and apparatus, and electronic device and readable storage medium | |
| JP3505057B2 (en) | Pen-type input device | |
| JP7342827B2 (en) | Noise waveform removal device, model training device, noise waveform removal method, model training method, and wearable device | |
| JP5812185B2 (en) | Fluctuation detection apparatus and fluctuation detection method | |
| US10558270B2 (en) | Method for determining non-contact gesture and device for the same | |
| WO2014137955A1 (en) | Using portable electronic devices for user input | |
| US11917356B2 (en) | Apparatus and method for identifying head gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190625 Year of fee payment: 4 |