KR101983584B1 - Apparatus for recognizing hand motion using flexible sensor and method thereof - Google Patents
Apparatus for recognizing hand motion using flexible sensor and method thereof Download PDFInfo
- Publication number
- KR101983584B1 KR101983584B1 KR1020180056210A KR20180056210A KR101983584B1 KR 101983584 B1 KR101983584 B1 KR 101983584B1 KR 1020180056210 A KR1020180056210 A KR 1020180056210A KR 20180056210 A KR20180056210 A KR 20180056210A KR 101983584 B1 KR101983584 B1 KR 101983584B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- output value
- joint
- value
- sensor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
- A41D19/00—Gloves
- A41D19/0024—Gloves with accessories
- A41D19/0027—Measuring instruments, e.g. watch, thermometer
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
- G01B7/30—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Textile Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
실시 예는 손동작 인식 장치 및 그 방법에 관한 것이다.The embodiments relate to a hand gesture recognition apparatus and a method thereof.
모션 캡쳐 기법은 사람이나 동물 등의 움직임을 추출하여 얻어낸 3차원 데이터를 컴퓨터에 의해 모델링된 캐릭터에 적용하여 자연스러운 모션 영상을 생성하는 영상 기법이다. 이를 위해 사람 등이 광학 센서나 자기 센서를 신체에 부착한 후 동작을 하면 각 센서는 위치와 각도를 기록하게 되는데, 이러한 센싱 데이터를 3D 캐릭터에 적용시켜 캐릭터의 동작을 구현하게 된다. Motion capture technique is an image technique that generates natural motion image by applying 3D data obtained by extracting motion of human or animal to computer modeled character. For this purpose, when a person or the like attaches an optical sensor or a magnetic sensor to a body, the sensor records the position and the angle of each sensor. Such sensing data is applied to the 3D character to implement the character's operation.
모션 캡쳐 기법은 최대한 신체의 움직임과 유사한 동작을 구현하는데 가장 큰 목적이 있다. 이러한 목적을 구현하기 위해서는 신체의 관절 움직임을 정확히 측정하는 것이 중요하다. 즉, 신체 관절 움직임을 얼마나 정확하고 자세하게 측정하는가가 자연스러운 동작을 구현하는데 관건이 된다. The motion capture technique has the greatest purpose in realizing motion that is similar to the motion of the body as much as possible. In order to achieve this goal, it is important to accurately measure the joint movements of the body. In other words, how precisely and precisely measuring the movement of the body joint is the key to realizing the natural motion.
하지만 사람의 신체에는 100여개 정도의 관절이 존재하는바, 모든 관절에 센서를 부착하여 관절을 움직임을 측정하기는 어려운 측면이 있다. 모든 관절부에 센서를 부착한 장치를 착용하게 되면 사용자가 자연스럽게 움직이기 어려울 뿐만 아니라 관절이 밀집되어 있는 부분에서 센싱값을 정확히 측정하기도 어렵기 때문이다. However, since there are about 100 joints in human body, it is difficult to measure movement of joints by attaching sensors to all joints. This is because it is difficult for the user to move naturally if the sensor attached to all the joints is worn, and it is also difficult to accurately measure the sensing value at the joints.
특히, 손의 경우 작은 크기의 뼈가 다수 밀집되어 있고, 관절의 가동 범위도 신체 다른 부위에 비해 넓으므로 각 관절마다 센서를 부착하여 움직임을 측정하는데 한계가 있다. Especially, in the case of hands, there are a lot of small sized bones, and since the range of motion of the joints is wider than other parts of the body, there is a limitation in measuring the movement by attaching sensors to each joint.
따라서, 손가락의 움직임을 추정하여 손동작을 정밀하게 인식할 수 있는 방법이 요구된다. Therefore, there is a need for a method that accurately estimates the movement of the finger to recognize the hand gesture.
본 발명의 실시예에 따른 손동작 인식 장치 및 그 방법은 손가락의 각 관절마다 각도를 산출하여 손동작을 정밀하게 인식하기 위한 수단을 제공하기 위한 것이다. A hand movement recognition apparatus and method thereof according to an embodiment of the present invention is to provide a means for precisely recognizing a hand movement by calculating an angle for each joint of a finger.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.The problems to be solved in the embodiments are not limited to these, and the objects and effects that can be grasped from the solution means and the embodiments of the problems described below are also included.
본 발명의 실시예에 따른 손동작 인식 장치는 모션 글러브에 포함된 플렉서블 센서에 의해 손가락의 구부러짐 정도가 측정된 제1 센서출력값 및 상기 모션 글러브에 포함된 모션 센서에 의해 손목의 회전값이 측정된 제2 센서출력값을 수신하는 수신부, 상기 제1 센서출력값과 기 설정된 상기 플렉서블 센서의 최대출력값 및 최소출력값을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 제1 산출부, 상기 포인트값을 손가락 관절각 산출 모델에 적용하여 상기 손가락의 관절 별 관절 각도를 산출하는 제2 산출부, 그리고 상기 손가락의 관절 별 관절 각도 및 상기 제2 센서출력값을 이용하여 사용자의 손동작을 인식하는 손동작 인식부를 포함한다. The hand movement recognition apparatus according to the embodiment of the present invention includes a first sensor output value in which the degree of bending of the finger is measured by a flexible sensor included in the motion glove and a second sensor output value in which the rotation value of the wrist is measured by the motion sensor included in the motion glove A first calculating unit for calculating a point value corresponding to an end angle of the finger using the first sensor output value and a maximum output value and a minimum output value of the predetermined flexible sensor, A second calculation unit for calculating joint angles of the joints of the finger by applying the same to the calculation models of finger joint angles, and a hand gesture recognition unit for recognizing the user's hand gestures using the joint angles of the joints of the fingers and the second sensor output value do.
상기 플렉서블 센서의 최대출력값 및 최소출력값은, 사용자 및 손가락 종류에 따라 다르게 설정되되, 일정 시간 동안 상기 모션 글러브를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값이 각각 상기 최대출력값 및 최소출력값으로 설정될 수 있다. Wherein the maximum output value and the minimum output value of the flexible sensor are set differently according to the user and the finger type, and the maximum value and the minimum value of the output values generated by measuring the finger movement of the user wearing the motion glove for a predetermined period of time, And a minimum output value.
상기 제1 산출부는, 아래의 수학식을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값(Pfinger∠)을 산출할 수 있다. The first calculating unit may calculate a point value (P finger ) corresponding to an end angle of the finger using the following equation.
여기서, F는 상기 제1 센서출력값을 의미하고, Fmin은 상기 플렉서블 센서의 최소출력값을 의미하고, Fmax는 상기 플렉서블 센서의 최대출력값을 의미하고, Mmax는 최대 정합 값을 의미한다. Here, F stands for the first sensor output value, and F min denotes a minimum output value of the flexible sensor, and F max is max, and M indicates the maximum output value of the flexible sensor is maximum matching value.
상기 손가락 관절각 산출 모델은, 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성되되, 상기 각 관절별 관절 가동 범위는 서로 다르게 설정될 수 있다. The finger joint angle calculation model is generated by modeling the joint motion range of each joint of the finger with respect to the entire movable range of the fingertip, and the joint motion ranges of the joints may be set to be different from each other.
상기 손가락 관절각 산출 모델은, 상기 손가락의 끝단 각도 변화에 대응하여, 제1 손가락 관절의 관절 각도가 선형적으로 변하는 제1 구간, 상기 제1 손가락 관절 및 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제2 구간, 상기 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제3 구간, 상기 제2 손가락 관절 및 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제4 구간, 그리고 상기 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제5 구간으로 모델링될 수 있다. The finger joint angle calculation model may be configured such that a first section in which the joint angle of the first finger joint linearly changes in accordance with the change in the tip angle of the finger, a first section in which the joint angles of the first and second finger joints are linear A third section in which the joint angle of the second finger joint linearly changes, a fourth section in which the joint angles of the second finger joint and the third finger joint linearly change, And the fifth section in which the joint angles of the joints vary linearly.
상기 모션 글러브는, 글러브, 상기 글러브의 손가락 길이에 대응하여 형성되며, 사용자의 손가락 움직임에 따라 휘어지는 상기 플렉서블 센서, 상기 글러브의 손가락 부위 안쪽에 부착되며, 상기 플렉서블 센서가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가지는 포켓, 그리고 상기 글러브의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정하는 모션 센서를 포함하는 포함할 수 있다. Wherein the motion glove is attached to the inside of the finger portion of the glove and the flexible sensor which is formed corresponding to the finger length of the glove and is bent according to the movement of the user's finger, And a motion sensor formed on the back of the glove for measuring the rotation of the user's wrist.
본 발명의 실시예에 따른 손동작 인식 방법은 모션 글러브에 포함된 플렉서블 센서에 의해 손가락의 구부러짐 정도가 측정된 제1 센서출력값 및 상기 모션 글러브에 포함된 모션 센서에 의해 손목의 회전값이 측정된 제2 센서출력값을 수신하는 단계, 상기 제1 센서출력값과 기 설정된 상기 플렉서블 센서의 최대출력값 및 최소출력값을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 단계, 상기 포인트값을 손가락 관절각 산출 모델에 적용하여 상기 손가락의 관절 별 관절 각도를 산출하는 단계, 그리고 상기 손가락의 관절 별 관절 각도 및 상기 제2 센서출력값을 이용하여 사용자의 손동작을 인식하는 단계를 포함한다. A method for recognizing a hand movement according to an embodiment of the present invention includes a first sensor output value in which a degree of flexion of a finger is measured by a flexible sensor included in a motion glove, and a second sensor output value in which a rotation value of the wrist is measured by a motion sensor included in the motion glove Calculating a point value corresponding to an end angle of the finger using the first sensor output value and a maximum output value and a minimum output value of the predetermined flexible sensor; Calculating joint angles of joints of the fingers by applying them to the calculation model, and recognizing the hand motions of the user using the joint angles of the joints of the fingers and the second sensor output values.
상기 플렉서블 센서의 최대출력값 및 최소출력값은, 사용자 및 손가락 종류에 따라 다르게 설정되되, 일정 시간 동안 상기 모션 글러브를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값이 각각 상기 최대출력값 및 최소출력값으로 설정될 수 있다. Wherein the maximum output value and the minimum output value of the flexible sensor are set differently according to the user and the finger type, and the maximum value and the minimum value of the output values generated by measuring the finger movement of the user wearing the motion glove for a predetermined period of time, And a minimum output value.
상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 단계는, 아래의 수학식을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값(Pfinger∠)을 산출할 수 있다. The step of calculating a point value corresponding to an end angle of the finger may calculate a point value (P finger ) corresponding to an end angle of the finger using the following equation.
여기서, F는 상기 제1 센서출력값을 의미하고, Fmin은 상기 플렉서블 센서의 최소출력값을 의미하고, Fmax는 상기 플렉서블 센서의 최대출력값을 의미하고, Mmax는 최대 정합 값을 의미한다. Here, F stands for the first sensor output value, and F min denotes a minimum output value of the flexible sensor, and F max is max, and M indicates the maximum output value of the flexible sensor is maximum matching value.
상기 손가락 관절각 산출 모델은, 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성되되, 상기 각 관절별 관절 가동 범위는 서로 다르게 설정될 수 있다. The finger joint angle calculation model is generated by modeling the joint motion range of each joint of the finger with respect to the entire movable range of the fingertip, and the joint motion ranges of the joints may be set to be different from each other.
상기 손가락 관절각 산출 모델은, 상기 손가락의 끝단 각도 변화에 대응하여, 제1 손가락 관절의 관절 각도가 선형적으로 변하는 제1 구간, 상기 제1 손가락 관절 및 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제2 구간, 상기 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제3 구간, 상기 제2 손가락 관절 및 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제4 구간, 그리고 상기 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제5 구간으로 모델링 될 수 있다. The finger joint angle calculation model may be configured such that a first section in which the joint angle of the first finger joint linearly changes in accordance with the change in the tip angle of the finger, a first section in which the joint angles of the first and second finger joints are linear A third section in which the joint angle of the second finger joint linearly changes, a fourth section in which the joint angles of the second finger joint and the third finger joint linearly change, And the fifth section in which the joint angles of the joints vary linearly.
상기 모션 글러브는, 글러브, 상기 글러브의 손가락 길이에 대응하여 형성되며, 사용자의 손가락 움직임에 따라 휘어지는 상기 플렉서블 센서, 상기 글러브의 손가락 부위 안쪽에 부착되며, 상기 플렉서블 센서가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가지는 포켓, 그리고 상기 글러브의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정하는 모션 센서를 포함하는 포함할 수 있다. Wherein the motion glove is attached to the inside of the finger portion of the glove and the flexible sensor which is formed corresponding to the finger length of the glove and is bent according to the movement of the user's finger, And a motion sensor formed on the back of the glove for measuring the rotation of the user's wrist.
본 발명의 실시예에 따르면, 사람마다 상이한 손의 크기 및 손가락 굽힘 정도를 반영하여 센싱값을 가공하므로 손동작 인식의 정확도를 향상시킬 수 있다. 뿐만 아니라, 손가락의 각 관절별로 각도를 산출하므로 손동작의 정밀한 구현이 가능하다.According to the embodiment of the present invention, the accuracy of the hand movement recognition can be improved by processing the sensed value by reflecting the size of the hand and the degree of finger bending that are different for each person. In addition, since the angle of each joint of the finger is calculated, precise implementation of the hand movement is possible.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.The various and advantageous advantages and effects of the present invention are not limited to the above description, and can be more easily understood in the course of describing a specific embodiment of the present invention.
도 1은 본 발명의 실시예에 따른 손동작 인식 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 모션 글러브를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 손동작 인식 방법의 순서도이다.
도 4는 본 발명의 실시예에 따른 손가락 관절각 산출 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 손가락 관절각 산출 모델은 그래프 형태로 도시한 도면이다.
도 6은 S230 단계의 예시도이다. 1 is a block diagram of a hand movement recognition apparatus according to an embodiment of the present invention.
2 is a view showing a motion glove according to an embodiment of the present invention.
3 is a flowchart of a hand movement recognition method according to an embodiment of the present invention.
4 is a view for explaining a finger joint angle calculation model according to an embodiment of the present invention.
FIG. 5 is a graph showing a finger joint angle calculation model according to an embodiment of the present invention.
6 is an exemplary diagram of the step S230.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms including ordinal, such as second, first, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.As used in this embodiment, the term " portion " refers to a hardware component such as software or an FPGA (field-programmable gate array) or ASIC, and 'part' performs certain roles. However, 'part' is not meant to be limited to software or hardware. &Quot; to " may be configured to reside on an addressable storage medium and may be configured to play one or more processors. Thus, by way of example, 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided in the components and components may be further combined with a smaller number of components and components or further components and components. In addition, the components and components may be implemented to play back one or more CPUs in a device or a secure multimedia card.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and redundant description thereof will be omitted.
우선, 도 1을 통해 본 발명의 실시예에 따른 손동작 인식 장치의 구성에 대해 살펴보도록 한다. First, a configuration of a hand movement recognition apparatus according to an embodiment of the present invention will be described with reference to FIG.
도 1은 본 발명의 실시예에 따른 손동작 인식 장치의 구성도이다. 1 is a block diagram of a hand movement recognition apparatus according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 손동작 인식 장치(100)는 수신부(110), 제1 산출부(120), 제2 산출부(130) 및 손동작 인식부(140)를 포함한다. 1, the
수신부(110)는 모션 글러브(10)에 포함된 플렉서블 센서(12)에 의해 손가락의 구부러짐 정도가 측정된 제1 센서출력값 및 모션 글러브(10)에 포함된 모션 센서(14)에 의해 손목의 회전값이 측정된 제2 센서출력값을 수신한다. The receiving unit 110 receives the first sensor output value measured by the
제1 산출부(120)는 제1 센서출력값과 기 설정된 플렉서블 센서(12)의 최대출력값 및 최소출력값을 이용하여 손가락의 끝단 각도에 대응하는 포인트값을 산출한다. The first calculation unit 120 calculates a point value corresponding to the end angle of the finger using the first sensor output value and the maximum output value and the minimum output value of the predetermined
플렉서블 센서(12)의 최대출력값 및 최소출력값은, 사용자 및 손가락 종류에 따라 다르게 설정되되, 일정 시간 동안 모션 글러브(10)를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값이 각각 최대출력값 및 최소출력값으로 설정될 수 있다. The maximum output value and the minimum output value of the
제2 산출부(130)는 손가락의 끝단 각도에 대응하는 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락의 관절 별 관절 각도를 산출한다. The second calculation unit 130 calculates a joint angle of each finger by applying a point value corresponding to an end angle of the finger to the finger joint angle calculation model.
이때, 손가락 관절각 산출 모델은 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성되되, 각 관절별 관절 가동 범위는 서로 다르게 설정될 수 있다. At this time, the finger joint angle calculation model is generated by modeling the joint movement range of each joint of the finger with respect to the entire movable range of the fingertip, and the range of motion of each joint can be set to be different from each other.
그리고, 손가락 관절각 산출 모델은 손가락의 끝단 각도 변화에 대응하여, 제1 손가락 관절의 관절 각도가 선형적으로 변하는 제1 구간, 제1 손가락 관절 및 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제2 구간, 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제3 구간, 제2 손가락 관절 및 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제4 구간, 그리고 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제5 구간으로 모델링될 수 있다. In the finger joint angle calculation model, the first section in which the joint angle of the first finger joint linearly changes, the joint angles of the first finger joint and the second finger joint linearly change A third section in which the joint angle of the second finger joint is linearly changed, a fourth section in which the joint angles of the second and third finger joints linearly change, and a joint angle of the third finger joint, And may be modeled as a linearly varying fifth section.
손동작 인식부(140)는 손가락의 관절 별 관절 각도 및 제2 센서출력값을 이용하여 사용자의 손동작을 인식한다. The hand gesture recognition unit 140 recognizes the user's hand gesture using the joint angle of the finger and the second sensor output value of the finger.
도 2는 본 발명의 실시예에 따른 모션 글러브를 나타낸 도면이다. 2 is a view showing a motion glove according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 모션 글러브(10)는 글러브(11), 플렉서블 센서(12), 포켓(13) 및 모션 센서(14)를 포함한다. 2, the
우선, 글러브(11)는 사용자가 손에 착용할 수 있는 형상으로 형성된다. 도 2에는 좌측손에 착용하는 글러브(11)를 도시하고 있으나, 이는 일 실시예에 불과하며, 우측손에 착용하는 글러브 일 수도 있다. 글러브(11)는 사용자가 착용 후 손을 쥐고 펼 수 있도록 신축성이 있는 소재를 이용할 수 있다. First, the
다음으로, 플렉서블 센서(flexible sensor, 12)는 엄지(thumb), 검지(index), 중지(middle), 약지(ring), 소지(pinky) 각각에 배치된다. 따라서, 플렉서블 센서(12)는 글러브(11)의 손가락 길이에 대응하여 형성된다. 예를 들어, 소지 부분에 형성되는 플렉서블 센서(12)의 길이는 중지에 형성되는 플렉서블 센서(12)의 길이보다 짧을 수 있다. 플렉서블 센서(12)는 사용자의 손가락 움직임에 따라 휘어지며, 구부러지는 정도에 따라 다른 출력값을 생성한 후 출력한다. Next, a
다음으로, 포켓(13)은 글러브(11)의 손가락 부위 안쪽에 부착된다. 그리고, 포켓(13)은 플렉서블 센서(12)가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가진다. 따라서, 포켓(13)에 삽입된 플렉서블 센서(12)가 포켓(13) 안에서 앞뒤로 움직일 수 있으므로, 사용자가 주먹을 쥐거나 움직이는 동작을 계속 하더라도 플렉서블 센서(12)와 연결된 전선이 끊어지는 현상을 방지할 수 있다. Next, the
다음으로, 모션 센서(14)는 글러브(11)의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정한다. 또한 모션 센서(14)는 플렉서블 센서(12)와 전선으로 연결되어 플렉서블 센서(12)의 출력값을 취합한 후 외부 서버나 단말 등으로 전송할 수 있다. Next, the
도 3을 통해 본 발명의 실시예에 따른 손동작 인식 장치를 이용한 손동작 인식 방법에 대해 살펴보도록 한다. A method of recognizing a hand gesture using the hand gesture recognition apparatus according to an embodiment of the present invention will be described with reference to FIG.
도 3은 본 발명의 실시예에 따른 손동작 인식 방법의 순서도이다. 3 is a flowchart of a hand movement recognition method according to an embodiment of the present invention.
우선, 수신부(110)는 제1 센서출력값 및 제2 센서출력값을 수신한다(S110). First, the receiving unit 110 receives the first sensor output value and the second sensor output value (S110).
제1 센서출력값은 모션 글러브(10)에 포함된 플렉서블 센서(12)에 의해 생성된다. 제1 센서출력값은 모션 글러브(10)를 착용한 사용자의 손가락 구부러짐 정도에 따라 다른 값을 가질 수 있다. The first sensor output value is generated by the
제2 센서출력값은 모션 글러브(10)에 포함된 모션 센서(14)에 의해 생성된다. 제2 센서출력값은 모션 글러브(10)를 착용한 사용자의 손목 회전 정도에 따라 다른 값을 가질 수 있다. The second sensor output value is generated by the
다음으로 제1 산출부(120)는 손가락의 끝단 각도를 산출한다(S120). 이를 위해, 제1 산출부(120)는 제1 센서출력값과 기 설정된 플렉서블 센서(12)의 최대출력값 및 최소출력값을 이용할 수 있다. Next, the first calculation unit 120 calculates the angle of the tip of the finger (S120). For this, the first calculation unit 120 may use the first sensor output value and the maximum output value and the minimum output value of the predetermined
이때, 플렉서블 센서(12)의 최대출력값 및 최소출력값은 특정한 값이 고정되어 설정되지 않는다. 플렉서블 센서(12)의 최대출력값 및 최소출력값은 모션 글러브(10)를 착용하는 사용자에 따라 설정된다. 이는, 사용자마다 손의 크기 및 손가락의 굽힘 정도가 서로 상이함에 따라 발생하는 오측정을 방지하기 위해서이다. 예를 들어, 손바닥이 두꺼운 사용자의 경우 손바닥이 얇은 사용자에 비해 손가락의 굽힘 정도가 적을 수 있다. 다른 예로, 손가락이 상대적으로 짧은 사용자는 손가락이 긴 사용자에 비해 굽힘 정도가 더 클 수 있다. 본 발명은 이와 같은 사용자 간의 신체적 차이에 따른 측정 오차를 방지하고자 플렉서블 센서(12)의 최대출력값 및 최소출력값을 사용자 별로 다르게 설정할 수 있다. At this time, the maximum output value and the minimum output value of the
또한, 플렉서블 센서(12)의 최대출력값 및 최소출력값은 손가락 종류에 따라 다르게 설정될 수 있다. 예를 들어, 동일한 사용자라 하더라도 엄지와 검지의 손가락 굽힘 정도는 서로 다를 수 있으므로, 이에 따라 각 손가락의 플렉서블 센서(12)가 측정하는 최대출력값과 최소출력값이 상이할 수 있다. 본 발명은 이와 같은 손가락 종류별 차이에 따른 측정 오차를 방지하고자 플렉서블 센서(12)의 최대출력값 및 최소출력값을 손가락 별로 다르게 설정할 수 있다.In addition, the maximum output value and the minimum output value of the
위와 같은 목적에 따라 플렉서블 센서(12)의 최대출력값 및 최소출력값을 설정하기 위하여, 본 발명의 실시예에 따른 손동작 인식 장치(100)는 제1 센서출력값 및 제2 센서출력값을 수신하는 S110 단계 이전에 플렉서블 센서(12)의 최대출력값 및 최소출력값을 설정하기 위한 단계를 더 포함하여 수행할 수 있다. In order to set the maximum output value and the minimum output value of the
구체적으로, 본 발명의 실시예에 따른 손동작 인식 장치(100)는 일정 시간 동안 모션 글러브(10)를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값을 각각 최대출력값 및 최소출력값으로 설정하는 단계를 더 포함할 수 있다. Specifically, the hand
예를 들어, 모션 글러브(10)를 착용한 사용자가 10초동안 손가락을 움직이면, 손동작 인식 장치(100)는 10초 동안 수집한 제1 센서출력값 중 최대값과 최소값을 검출한다. 그리고, 손동작 인식 장치(100)는 검출된 최대값을 플렉서블 센서(12)의 최대출력값으로, 검출된 최소값을 최소출력값 설정한다. For example, when a user wearing the
이때, 사용자의 손가락 움직임은 최대 범위에서의 움직임이 바람직하다. 예를 들어, 사용자가 손가락을 모두 펴는 움직임과 주먹을 쥐는 움직임을 일정 시간동안 반복 수행하면, 손동작 인식 장치(100)는 해당 움직임을 측정하여 출력값을 생성할 수 있다. At this time, the movement of the user's fingers in the maximum range is preferable. For example, when the user repeatedly performs a finger stretching operation and a fist clenching operation for a predetermined period of time, the
구체적으로 S120 단계를 살펴보면, 제1 산출부(120)는 제1 센서출력값과 최소출력값의 차이값과 최대출력값과 최소출력의 차이값이 비율을 이용하여 손가락의 끝단 각도에 대응하는 포인트값을 산출할 수 있다. Specifically, in step S120, the first calculator 120 calculates a point value corresponding to the end angle of the finger using the ratio between the difference between the first sensor output value and the minimum output value and the difference between the maximum output value and the minimum output can do.
본 발명의 실시예에 따르면, 제1 산출부(120)는 아래의 수학식 1을 이용하여 포인트값(Pfinger∠)을 산출할 수 있다. According to the embodiment of the present invention, the first calculation unit 120 may calculate the point value (P finger ) using the following equation (1).
여기서, F는 제1 센서출력값을 의미하고, Fmin은 플렉서블 센서의 최소출력값을 의미하고, Fmax는 플렉서블 센서의 최대출력값을 의미하고, Mmax는 최대 정합 값을 의미한다. 이때, 최대 정합 값은 기 설정된 값으로서, 포인트값이 가질 수 있는 최대값을 의미한다. Here, F means the first sensor output value, F min means the minimum output value of the flexible sensor, F max means the maximum output value of the flexible sensor, and M max means the maximum matching value. At this time, the maximum matching value is a predetermined value, which means the maximum value that the point value can have.
예를 들어, 플렉서블 센서의 최소출력값이 800, 플렉서블 센서의 최대출력값이 8000, 최대 정합 값이 100으로 기 설정되었다고 가정한다. 이때, 제1 센서출력값이 4400이면, 제1 산출부(120)는 수학식 1을 통해 손가락의 끝단 각도에 대응하는 포인트값(Pfinger∠)으로 50을 산출할 수 있다. For example, it is assumed that the minimum output value of the flexible sensor is 800, the maximum output value of the flexible sensor is 8000, and the maximum matching value is preset to 100. In this case, if the first sensor output value is 4400, the first calculation unit 120 may calculate 50 as a point value (P finger [ deg.] ) Corresponding to the tip angle of the finger through Equation (1).
다음으로, 제2 산출부(130)는 포인트값을 손가락 관절각 산출 모델에 적용하여 손가락의 관절 별 관절 각도를 산출한다(S130). 즉, 포인트값은 손가락의 각 관절의 각도를 산출하는데 이용될 수 있다. Next, the second calculator 130 calculates the joint angles of the joints of the fingers by applying the point values to the finger joint angle calculation model (S130). That is, the point value can be used to calculate the angle of each joint of the finger.
손가락 관절각 산출 모델은 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성될 수 있다. 그리고 각 관절별 관절 가동 범위는 서로 다르게 설정될 수 있다. 구체적으로, 관절별 관절 가동 범위는 모든 손가락 관절에 대해 다르게 설정될 수도 있고, 각 손가락에서 관절의 위치에 따라 다르게 설정될 수도 있다. The finger joint angular output model can be generated by modeling the joint motion range of each joint of the finger with respect to the entire range of movement of the finger tip. The range of motion of each joint can be set differently. Specifically, the range of joint motion per joint may be set differently for all the finger joints, or may be differently set for each finger depending on the position of the joint.
도 4는 본 발명의 실시예에 따른 손가락 관절각 산출 모델을 설명하기 위한 도면이다. 4 is a view for explaining a finger joint angle calculation model according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 손가락은 엄지(thumb), 검지(index), 중지(middle), 약지(ring), 소지(pinky)의 5개로 구성된다. 그리고 각 손가락은 복수의 마디 및 복수의 관절로 구성된다. As shown in Fig. 4, the finger is composed of five thumb, index, middle, ring, and pinky. Each finger is composed of a plurality of nodes and a plurality of joints.
구체적으로, 검지, 중지, 약지, 소지는 각각 근위마디(l_ⓕ_proximal), 중간마디(l_ⓕ_middle) 및 말단마디(l_ⓕ_distal)로 구성된다. 엄지는 근접마디(l_thumb_proximal) 및 원접마디(l_thumb_distal)로 구성된다. Specifically, the detection, stop, ring finger, and possession are composed of proximal nouns (l_ⓕ_proximal), middle nouns (l_ⓕ_middle), and terminal nouns (l_ⓕ_distal). The thumb consists of a proximity node (l_thumb_proximal) and a destination node (l_thumb_distal).
그리고, 검지, 중지, 약지, 소지는 관절의 위치에 따라 원위지절간(DIP, distal interphalangeal) 관절, 근위지절간(PIP, proximal interphalangeal) 관절, 중수지절간(MCP, metacarpal phalangea) 관절로 구성된다. 엄지는 원위지절간(DIP, distal interphalangeal) 관절, 중수지절간(MCP, metacarpal phalangeal) 관절로 구성된다.The index, mediastinum, and base are composed of DIP, proximal interphalangeal joint (MIP), metacarpal phalangea joint (PIP), and distal interphalangeal joint according to joint location . The thumb consists of a distal interphalangeal (DIP) joint and a metacarpal phalangeal (MCP) joint.
위에서 나타난 바와 같이, 원위지절간(DIP) 관절, 근위지절간(PIP) 관절, 중수지절간(MCP) 관절은 서로 다른 마디 사이에 존재하므로 동일한 사용자라고 하더라도 관절 가동 범위가 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 손가락 관절각 산출 모델은 각 관절별로 관절 가동 범위를 다르게 설정하여 모델링된다. 예를 들어, 손가락 관절각 산출 모델은 각 손가락의 원위지절간(DIP) 관절에 0도 내지 90도, 근위지절간(PIP) 관절에 0도 내지 100도, 중수지절간(MCP) 관절에 -10도 내지 90도의 관절 가동 범위가 설정되어 모델링 될 수 있다. As shown above, the DIP joint, the PIP joint, and the MCP joint exist between different nodes, so that the range of joint motion may be different even if they are the same user. Accordingly, the finger joint angle calculation model according to the embodiment of the present invention is modeled by setting different joint motion ranges for each joint. For example, the fingertip angular estimation model is 0 - 90 degrees to the distal DIP joint of each finger, 0 to 100 degrees to the PIP joint, and the MCP joint - A joint motion range of 10 degrees to 90 degrees can be set and modeled.
한편, 엄지의 중수-수지간(CMC, carpometacarpal) 관절의 경우 손목과 연결된 관절로서 움직이는 범위가 적으므로, 모델링 시 해당 관절은 고려하지 않을 수 있다. On the other hand, CMC (carpometacarpal) joints of the thumb are not connected to the wrist.
도 5는 본 발명의 실시예에 따른 손가락 관절각 산출 모델은 그래프 형태로 도시한 도면이다. FIG. 5 is a graph showing a finger joint angle calculation model according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하면, 손가락 관절각 산출 모델은 제1 내지 5 구간으로 모델링 될 수 있다. As shown in FIG. 5, when the joint movement range of each joint of the finger is modeled with respect to the entire movable range of the fingertip, the finger joint angle calculation model can be modeled into the first to fifth sections.
제1 구간은 중수지절간(MCP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제1 구간에서 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다. The first segment is the section where the joint angle of the MCP joint is linearly changed. In the first section, the PIP joint and the DIP joint may have a minimum angle value.
제2 구간은 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제2 구간에서 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다. In the second segment, the joint angle of the MCP joint and the PIP joint are linearly changed. In the second section, the distal-interdigitated (DIP) joint may have a minimum angle value.
제3 구간은 근위지절간(PIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제3 구간에서 중수지절간(MCP) 관절은 최대각도값을 가지고 원위지절간(DIP) 관절은 최소각도값을 가질 수 있다. The third segment is a section where the joint angle of the PIP joint is linearly changed. In the third segment, the MCP joint has the maximum angular value and the DIP joint has the minimum angle value.
제4 구간은 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제4 구간에서 중수지절간(MCP) 관절은 최대각도값을 가질 수 있다. The fourth segment is a section where the joint angles of the PIP joint and the DIP joint are linearly changed. In the fourth section, MCP joints may have a maximum angle value.
제5 구간은 원위지절간(DIP) 관절의 관절 각도가 선형적으로 변하는 구간이다. 제5 구간에서, 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절은 최대각도값을 가질 수 있다. The fifth section is a section where the joint angle of the DIP joint is linearly changed. In the fifth section, the MCP joint and the PIP joint may have a maximum angular value.
도 6은 S230 단계의 예시도이다. 6 is an exemplary diagram of the step S230.
도 6을 통해 실시예를 살펴보면, 사용자가 (a)와 같이 움직인 경우, 제1 산출부(120)가 산출한 손가락의 끝단 각도에 대응하는 포인트값은 a가 될 수 있다. 그러면 제2 산출부(130)는 끝단 각도 a를 손가락 관절각 산출 모델에 적용하는데, 포인트값 a는 제1 구간에 포함된다. 따라서, 제2 산출부(130)는 중수지절간(MCP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절에 대해 최소각도값을 산출한다. Referring to FIG. 6, when the user moves as in (a), the point value corresponding to the end angle of the finger calculated by the first calculation unit 120 may be a. Then, the second calculation unit 130 applies the end angle a to the finger joint angle calculation model, and the point value a is included in the first section. Accordingly, the second calculation unit 130 calculates an angular value according to a linear change with respect to the MCP joint and calculates a minimum angular value (DIP) for the joint between the near-extremity (PIP) and the far- .
사용자가 (b)와 같이 움직인 경우, 제1 산출부(120)가 산출한 손가락의 끝단 각도에 대응하는 포인트값은 b가 될 수 있다. 그러면 제2 산출부(130)는 포인트값 b를 손가락관절각 산출 모델에 적용하는데, 포인트값 b는 제4 구간에 포함된다. 따라서, 제2 산출부(130)는 근위지절간(PIP) 관절 및 원위지절간(DIP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 중수지절간(MCP) 관절에 대해 최대각도값을 산출한다.When the user moves as shown in (b), the point value corresponding to the end angle of the finger calculated by the first calculation unit 120 may be b. Then, the second calculation unit 130 applies the point value b to the finger joint angle calculation model, and the point value b is included in the fourth section. Accordingly, the second calculation unit 130 calculates the angular value according to the linear change with respect to the near and far-between inter-articulated (PIP) joint and the far-right interdigitated (DIP) joint, .
사용자가 (c)와 같이 움직인 경우, 제1 산출부(120)가 산출한 손가락의 끝단 각도에 대응하는 포인트값은 c가 될 수 있다. 그러면 제2 산출부(130)는 포인트값 c를 손가락 관절각 산출 모델에 적용하는데, 포인트값 c는 제1 구간에 포함된다. 따라서, 제2 산출부(130)는 원위지절간(DIP) 관절에 대해 선형적 변화에 따른 각도값을 산출하고, 중수지절간(MCP) 관절 및 근위지절간(PIP) 관절에 대해 최대각도값을 산출한다.When the user moves as in (c), the point value corresponding to the end angle of the finger calculated by the first calculation unit 120 may be c. Then, the second calculator 130 applies the point value c to the finger joint angle calculation model, and the point value c is included in the first section. Accordingly, the second calculation unit 130 calculates an angle value according to the linear change with respect to the DIP joint, and calculates the angle value with respect to the MIP joint and the PIP joint, .
그리고, 손동작 인식부(140)는 손가락의 관절 별 관절 각도 및 제2 센서출력값을 이용하여 사용자의 손동작을 인식한다(S140). 예를 들어, 손동작 인식부(140)는 손가락의 관절 별 관절 각도 및 제2 센서출력값을 캐릭터 모델에 적용하여 손동작을 구현할 수 있다. 다른 실시예로, 손동작 인식부(140)는 손가락의 관절 별 관절 각도 및 제2 센서출력값을 프레젠테이션 제어 프로그램 같은 어플리케이션에 적용하여 손동작을 구현할 수 있다. Then, the handgrip recognition unit 140 recognizes the user's hand gesture using the joint angle of the finger joint and the second sensor output value (S140). For example, the handgrip recognition unit 140 may implement a hand gesture by applying the joint angles of the fingers and the second sensor output values to the character model. In another embodiment, the hand gesture recognizing unit 140 may implement a hand gesture by applying the joint angles of the joints of the fingers and the second sensor output value to an application such as a presentation control program.
본 발명의 실시예에 따르면, 사람마다 상이한 손의 크기 및 손가락 굽힘 정도를 반영하여 센싱값을 가공하므로 손동작 인식의 정확도를 향상시킬 수 있다. 뿐만 아니라, 손가락의 각 관절별로 각도를 산출하므로 손동작의 정밀한 구현이 가능하다. According to the embodiment of the present invention, the accuracy of the hand movement recognition can be improved by processing the sensed value by reflecting the size of the hand and the degree of finger bending that are different for each person. In addition, since the angle of each joint of the finger is calculated, precise implementation of the hand movement is possible.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood that various modifications and applications are possible. For example, each component specifically shown in the embodiments can be modified and implemented. It is to be understood that all changes and modifications that come within the meaning and range of equivalency of the claims are therefore intended to be embraced therein.
10 : 모션 글러브 11 : 글러브
12 : 플렉서블 센서 13 : 포켓
14 : 모션 센서 100 : 손동작 인식 장치
110 : 수신부 120 : 제1 산출부
130 : 제2 산출부 140 : 손동작 인식부 10: motion glove 11: glove
12: Flexible sensor 13: Pocket
14: Motion sensor 100: Hand motion recognition device
110: receiving unit 120: first calculating unit
130: second calculation unit 140:
Claims (12)
상기 제1 센서출력값과 기 설정된 상기 플렉서블 센서의 최대출력값 및 최소출력값을 이용하되, 상기 최대출력값과 상기 최소출력값의 차이값과 상기 제1 센서출력값과 상기 최소출력값의 차이값의 비율을 통해 상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 제1 산출부,
상기 포인트값을 손가락 관절각 산출 모델에 적용하여 상기 손가락의 관절 별 관절 각도를 산출하는 제2 산출부, 그리고
상기 손가락의 관절 별 관절 각도 및 상기 제2 센서출력값을 이용하여 사용자의 손동작을 인식하는 손동작 인식부를 포함하는 손동작 인식 장치. A receiving unit receiving a first sensor output value at which a degree of bending of the finger is measured by a flexible sensor included in the motion glove and a second sensor output value at which a rotation value of the wrist is measured by a motion sensor included in the motion glove,
Wherein the first sensor output value and the predetermined maximum output value and the minimum output value of the flexible sensor are used, and the ratio of the difference between the maximum output value and the minimum output value and the difference value between the first sensor output value and the minimum output value, A first calculating unit for calculating a point value corresponding to an end angle of the first lens,
A second calculating unit for calculating the joint angle of each finger of the finger by applying the point value to the finger joint angle calculating model,
And a handgrip recognition unit for recognizing the user's handgrip using the joint angle of the finger and the second sensor output value.
상기 플렉서블 센서의 최대출력값 및 최소출력값은,
사용자 및 손가락 종류에 따라 다르게 설정되되, 일정 시간 동안 상기 모션 글러브를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값이 각각 상기 최대출력값 및 최소출력값으로 설정되는 손동작 인식 장치. The method according to claim 1,
Wherein the maximum output value and the minimum output value of the flexible sensor
Wherein a maximum value and a minimum value of output values generated by measuring finger movements of a user wearing the motion glove for a predetermined period of time are set to the maximum output value and the minimum output value, respectively.
상기 제1 산출부는,
아래의 수학식을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값(Pfinger∠)을 산출하는 손동작 인식 장치;
여기서, F는 상기 제1 센서출력값을 의미하고, Fmin은 상기 플렉서블 센서의 최소출력값을 의미하고, Fmax는 상기 플렉서블 센서의 최대출력값을 의미하고, Mmax는 최대 정합 값을 의미한다. The method according to claim 1,
The first calculation unit calculates,
A hand gesture recognizing device for calculating a point value (P finger ) corresponding to an end angle of the finger using the following equation:
Here, F stands for the first sensor output value, and F min denotes a minimum output value of the flexible sensor, and F max is max, and M indicates the maximum output value of the flexible sensor is maximum matching value.
상기 손가락 관절각 산출 모델은,
손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성되되,
상기 각 관절별 관절 가동 범위는 서로 다르게 설정되는 손동작 인식 장치. The method according to claim 1,
The finger joint angle calculation model may include:
The range of motion of each joint of the finger is modeled with respect to the whole movable range of the finger tip,
Wherein the joint motion ranges of the respective joints are set differently from each other.
상기 손가락 관절각 산출 모델은,
상기 손가락의 끝단 각도 변화에 대응하여, 제1 손가락 관절의 관절 각도가 선형적으로 변하는 제1 구간, 상기 제1 손가락 관절 및 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제2 구간, 상기 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제3 구간, 상기 제2 손가락 관절 및 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제4 구간, 그리고 상기 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제5 구간으로 모델링되는 손동작 인식 장치. 5. The method of claim 4,
The finger joint angle calculation model may include:
A first section in which the joint angle of the first finger joint linearly changes, a second section in which the joint angles of the first and second finger joints linearly change, A third section in which the joint angle of the two-finger joint linearly changes, a fourth section in which the joint angles of the second and third finger joints are linearly changed, and a joint angle of the third finger joint is linearly And the fifth section is changed.
상기 모션 글러브는,
글러브,
상기 글러브의 손가락 길이에 대응하여 형성되며, 사용자의 손가락 움직임에 따라 휘어지는 상기 플렉서블 센서,
상기 글러브의 손가락 부위 안쪽에 부착되며, 상기 플렉서블 센서가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가지는 포켓, 그리고
상기 글러브의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정하는 모션 센서를 포함하는 손동작 인식 장치. The method according to claim 1,
The motion glove includes:
mitt,
The flexible sensor being formed corresponding to the finger length of the glove and being bent according to the movement of the user's finger,
A pocket attached to the inside of the finger portion of the glove and having a space capable of moving in the longitudinal direction of the finger after the flexible sensor is inserted,
And a motion sensor formed on the back of the glove and measuring a rotation of the user's wrist.
상기 제1 센서출력값과 기 설정된 상기 플렉서블 센서의 최대출력값 및 최소출력값을 이용하되, 상기 최대출력값과 상기 최소출력값의 차이값과 상기 제1 센서출력값과 상기 최소출력값의 차이값의 비율을 통해 상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 단계,
상기 포인트값을 손가락 관절각 산출 모델에 적용하여 상기 손가락의 관절 별 관절 각도를 산출하는 단계, 그리고
상기 손가락의 관절 별 관절 각도 및 상기 제2 센서출력값을 이용하여 사용자의 손동작을 인식하는 단계를 포함하는 손동작 인식 방법. Receiving a first sensor output value at which a degree of bending of a finger is measured by a flexible sensor included in the motion glove and a second sensor output value at which a rotation value of the wrist is measured by a motion sensor included in the motion glove,
Wherein the first sensor output value and the predetermined maximum output value and the minimum output value of the flexible sensor are used, and the ratio of the difference between the maximum output value and the minimum output value and the difference value between the first sensor output value and the minimum output value, Calculating a point value corresponding to an end angle of the point,
Calculating the joint angles of the fingers of the finger by applying the point values to the finger joint angle calculation model, and
And recognizing a user's hand gesture using the joint angle of each joint of the finger and the second sensor output value.
상기 플렉서블 센서의 최대출력값 및 최소출력값은,
사용자 및 손가락 종류에 따라 다르게 설정되되, 일정 시간 동안 상기 모션 글러브를 착용한 사용자의 손가락 움직임을 측정하여 생성된 출력값 중 최대값 및 최소값이 각각 상기 최대출력값 및 최소출력값으로 설정되는 손동작 인식 방법. 8. The method of claim 7,
Wherein the maximum output value and the minimum output value of the flexible sensor
Wherein a maximum value and a minimum value of output values generated by measuring finger movements of a user wearing the motion glove for a predetermined period of time are set to the maximum output value and the minimum output value, respectively.
상기 손가락의 끝단 각도에 대응하는 포인트값을 산출하는 단계는,
아래의 수학식을 이용하여 상기 손가락의 끝단 각도에 대응하는 포인트값(Pfinger∠)을 산출하는 손동작 인식 방법;
여기서, F는 상기 제1 센서출력값을 의미하고, Fmin은 상기 플렉서블 센서의 최소출력값을 의미하고, Fmax는 상기 플렉서블 센서의 최대출력값을 의미하고, Mmax는 최대 정합 값을 의미한다. 8. The method of claim 7,
Wherein the step of calculating a point value corresponding to an end angle of the finger comprises:
A hand gesture recognition method for calculating a point value (P finger ) corresponding to an end angle of the finger using the following equation:
Here, F stands for the first sensor output value, and F min denotes a minimum output value of the flexible sensor, and F max is max, and M indicates the maximum output value of the flexible sensor is maximum matching value.
상기 손가락 관절각 산출 모델은,
손가락 끝단의 전체 가동 범위에 대하여 손가락의 각 관절별 관절 가동 범위를 모델링하여 생성되되,
상기 각 관절별 관절 가동 범위는 서로 다르게 설정되는 손동작 인식 방법. 8. The method of claim 7,
The finger joint angle calculation model may include:
The range of motion of each joint of the finger is modeled with respect to the whole movable range of the finger tip,
Wherein the joint movement ranges of the joints are different from each other.
상기 손가락 관절각 산출 모델은,
상기 손가락의 끝단 각도 변화에 대응하여, 제1 손가락 관절의 관절 각도가 선형적으로 변하는 제1 구간, 상기 제1 손가락 관절 및 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제2 구간, 상기 제2 손가락 관절의 관절 각도가 선형적으로 변하는 제3 구간, 상기 제2 손가락 관절 및 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제4 구간, 그리고 상기 제3 손가락 관절의 관절 각도가 선형적으로 변하는 제5 구간으로 모델링되는 손동작 인식 방법. 11. The method of claim 10,
The finger joint angle calculation model may include:
A first section in which the joint angle of the first finger joint linearly changes, a second section in which the joint angles of the first and second finger joints linearly change, A third section in which the joint angle of the two-finger joint linearly changes, a fourth section in which the joint angles of the second and third finger joints are linearly changed, and a joint angle of the third finger joint is linearly And the fifth section is changed.
상기 모션 글러브는,
글러브,
상기 글러브의 손가락 길이에 대응하여 형성되며, 사용자의 손가락 움직임에 따라 휘어지는 상기 플렉서블 센서,
상기 글러브의 손가락 부위 안쪽에 부착되며, 상기 플렉서블 센서가 삽입된 후 손가락의 길이 방향으로 움직임이 가능한 공간을 가지는 포켓, 그리고
상기 글러브의 손등 부위에 형성되며, 사용자의 손목의 회전을 측정하는 모션 센서를 포함하는 손동작 인식 방법. 8. The method of claim 7,
The motion glove includes:
mitt,
The flexible sensor being formed corresponding to the finger length of the glove and being bent according to the movement of the user's finger,
A pocket attached to the inside of the finger portion of the glove and having a space capable of moving in the longitudinal direction of the finger after the flexible sensor is inserted,
And a motion sensor formed on the back of the glove and measuring a rotation of the user's wrist.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180056210A KR101983584B1 (en) | 2018-05-16 | 2018-05-16 | Apparatus for recognizing hand motion using flexible sensor and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180056210A KR101983584B1 (en) | 2018-05-16 | 2018-05-16 | Apparatus for recognizing hand motion using flexible sensor and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101983584B1 true KR101983584B1 (en) | 2019-05-29 |
Family
ID=66672859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180056210A KR101983584B1 (en) | 2018-05-16 | 2018-05-16 | Apparatus for recognizing hand motion using flexible sensor and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101983584B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112181150A (en) * | 2020-10-10 | 2021-01-05 | 宿州赛尔沃德物联网科技有限公司 | Hand joint motion collection system |
| KR20210035669A (en) * | 2019-09-24 | 2021-04-01 | 대한민국(농촌진흥청장) | Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality |
| KR20220159176A (en) * | 2021-05-25 | 2022-12-02 | (주)코어센스 | Apparatus for recognizing hand gesture using flex sensor and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050052555A (en) * | 2003-11-28 | 2005-06-03 | 양기혁 | Apparatus and method for motion capture using gyroscope and accelerometer sensor |
| KR20090025452A (en) * | 2007-09-06 | 2009-03-11 | 광주과학기술원 | Glove-based human-computer interface device |
| KR20150044084A (en) * | 2013-10-15 | 2015-04-24 | 한양대학교 에리카산학협력단 | Apparatus for recognising sign language |
-
2018
- 2018-05-16 KR KR1020180056210A patent/KR101983584B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050052555A (en) * | 2003-11-28 | 2005-06-03 | 양기혁 | Apparatus and method for motion capture using gyroscope and accelerometer sensor |
| KR20090025452A (en) * | 2007-09-06 | 2009-03-11 | 광주과학기술원 | Glove-based human-computer interface device |
| KR20150044084A (en) * | 2013-10-15 | 2015-04-24 | 한양대학교 에리카산학협력단 | Apparatus for recognising sign language |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210035669A (en) * | 2019-09-24 | 2021-04-01 | 대한민국(농촌진흥청장) | Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality |
| KR102334543B1 (en) * | 2019-09-24 | 2021-12-03 | 대한민국 | Hand motion tracking system and method for safety education of driven agricultural machinery based on virtual reality |
| CN112181150A (en) * | 2020-10-10 | 2021-01-05 | 宿州赛尔沃德物联网科技有限公司 | Hand joint motion collection system |
| KR20220159176A (en) * | 2021-05-25 | 2022-12-02 | (주)코어센스 | Apparatus for recognizing hand gesture using flex sensor and method thereof |
| KR102549168B1 (en) | 2021-05-25 | 2023-06-30 | 주식회사 아이팝 | Apparatus for recognizing hand gesture using flex sensor and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| MEng | Development of finger-motion capturing device based on optical linear encoder | |
| US20200225738A1 (en) | Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system | |
| Park et al. | Development of a wearable sensing glove for measuring the motion of fingers using linear potentiometers and flexible wires | |
| KR101983584B1 (en) | Apparatus for recognizing hand motion using flexible sensor and method thereof | |
| CN206162394U (en) | A motion capture system for virtual reality environment based on tactile feedback | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| Hrabia et al. | Whole hand modeling using 8 wearable sensors: Biomechanics for hand pose prediction | |
| Bianchi et al. | Synergy-based hand pose sensing: Reconstruction enhancement | |
| CN105653044A (en) | Motion capture glove for virtual reality system and virtual reality system | |
| US20220155866A1 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| US11175729B2 (en) | Orientation determination based on both images and inertial measurement units | |
| US11054923B2 (en) | Automatic switching between different modes of tracking user motions to control computer applications | |
| CN104679229A (en) | Gesture recognition method and apparatus | |
| KR102214322B1 (en) | Apparatus for providing macro function using gesture recognition and method thereof | |
| Callejas-Cuervo et al. | Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes | |
| KR100907103B1 (en) | Glove-based Human-Computer Interface Device | |
| JP2020174787A (en) | Finger movement estimation system | |
| Saggio et al. | Evaluation of an integrated sensory glove at decreasing joint flexion degree | |
| KR101869304B1 (en) | System, method and program for recognizing sign language | |
| US20210318759A1 (en) | Input device to control a computing device with a touch pad having a curved surface configured to sense touch input | |
| RU212838U1 (en) | HAPTIC GLOVE | |
| CN111221407A (en) | Motion capture method and device for multiple fingers | |
| Denz et al. | A high-accuracy, low-budget Sensor Glove for Trajectory Model Learning | |
| KR101743249B1 (en) | Method, apparatus and program for finding reference vector for attaching sensor to determine movement of thumb | |
| KR102677990B1 (en) | Hand-wearable device for immersive interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |