KR101601872B1 - Method for finger gesture recognition - Google Patents
Method for finger gesture recognition Download PDFInfo
- Publication number
- KR101601872B1 KR101601872B1 KR1020090125596A KR20090125596A KR101601872B1 KR 101601872 B1 KR101601872 B1 KR 101601872B1 KR 1020090125596 A KR1020090125596 A KR 1020090125596A KR 20090125596 A KR20090125596 A KR 20090125596A KR 101601872 B1 KR101601872 B1 KR 101601872B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger motion
- command
- finger
- motion command
- candidate
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 손가락 동작 인식 방법에 관한 것으로, 손가락 움직임 명령을 인식함에 있어서, 각 손가락 움직임에 대한 가중치 벡터를 적용하여 산출된 손가락 움직임 명령에 대한 대표 파형과의 유사도에 근거하여 제1 후보 손가락 움직임 명령을 생성하는 단계, 후보 손가락 움직임 명령을 포함하는 유사 그룹의 존재 여부에 따라, 유사 그룹에 대한 가중치를 적용하여 산출된 유사 그룹의 유사도에 근거하여 제2 후보 손가락 움직임 명령을 생성하는 단계, 제1 후보 손가락 움직임 명령과 제2 후보 손가락 움직임 명령을 조합하여 생성된 손가락 움직임 명령의 신뢰도를 산출하는 단계, 및 산출된 손가락 움직임 명령의 신뢰도가 임계치 이상인 경우, 해당 손가락 움직임 명령을 최종 결과로 인식하는 단계를 포함한다. 본 발명에 따르면, 센서 값의 패턴을 정형화한 후, 획득한 센서 값을 정형화한 기존 패턴과 비교하여 손가락 동작 명령을 인식하는 인식기에서 손가락 동작 명령에 따른 서로 다른 가중치 벡터를 두 단계로 나누어 적용함으로써, 인식의 정확성을 높이는 효과가 있다.A method for recognizing a finger motion, the method comprising the steps of: generating a first candidate finger motion command based on a similarity to a representative waveform of a finger motion command calculated by applying a weight vector for each finger motion, Generating a second candidate finger motion command based on the similarity of the similar group calculated by applying a weight to the similar group according to the presence or absence of the similar group including the candidate finger motion command; Calculating reliability of the finger motion command generated by combining the candidate finger motion command and the second candidate finger motion command and recognizing the finger motion command as a final result when the reliability of the calculated finger motion command is equal to or greater than the threshold value . According to the present invention, after recognizing a finger operation command by comparing the obtained sensor value with an existing pattern after patterning a sensor value pattern, different weight vectors according to a finger operation command are divided into two steps and applied , The accuracy of recognition is increased.
Description
본 발명은 손가락 동작 인식 방법에 관한 것으로, 특히 제한된 컴퓨팅 환경을 갖는 모바일 손가락 동작 인식기에서 손가락 동작을 인식하기 위해 손목부근에서 반사되는 광신호를 분석하고 이에 따라 손가락 동작을 분류하는 손가락 동작 인식 방법에 관한 것이다. The present invention relates to a finger motion recognition method for recognizing a finger motion in a mobile finger motion recognizer having a limited computing environment and analyzing an optical signal reflected at the wrist, .
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-048-02, 과제명: u-컴퓨팅 공간 협업을 위한 Wearable Personal Companion 기술개발].The present invention has been derived from research carried out as part of the IT original technology development project of the Ministry of Knowledge Economy [Project Issue Number: 2008-F-048-02, Project: Development of Wearable Personal Companion Technology for u- .
손 동작 인터페이스 설계를 위한 종래의 손 동작 인식 기술은 카메라를 이용한 영상 방식이 널리 사용되나 기본적으로 항상 가시선이 확보된 카메라가 있어야 하며, 취득 영상으로부터 손 또는 손가락 등 손 동작을 위한 특정 부위를 검출하기가 어려운 단점으로 인해 모바일 환경에서 사용하기에 제한적이다. Conventional hand motion recognition technology for hand operation interface design has widely used image method using camera, but basically, there must be a camera that always has a line of sight, and it is necessary to detect a specific part for hand operation such as a hand or a finger Is limited for use in a mobile environment due to its drawbacks.
이와 같은 카메라 비젼 방식의 단점을 극복하고, 모바일 환경에서 자유롭게 사용할 수 있게 하기 위해 최근 On Body 센싱 기법이 많이 연구되고 있다. 대표적 인 On Body 센싱을 위한 센서로는 sEMG, 압전센서, 관성센서, PPG센서 등이 있다. In recent years, on-body sensing techniques have been studied to overcome the disadvantages of the camera vision method and freely use in a mobile environment. Typical on-body sensing sensors include sEMG, piezoelectric sensors, inertial sensors, and PPG sensors.
이와 같이 다양한 센서를 신체에 부착하여 사용자 동작을 인식하는 문제는 결국 데이터 분류 또는 패턴분류의 문제라고 할 수 있다. 기존에 많이 사용했던 방법으로는 신경망(neural networks)과 지지벡터 기계(Support Vector Machine)을 많이 사용한다.The problem of attaching various sensors to the body and recognizing user's movements is a matter of data classification or pattern classification. Neural networks and support vector machines are often used as the most commonly used methods.
신경망은 출력 오차를 역전파(back-propagation)하여 최소화 하는 방식으로써, 학습을 통해 많은 데이터의 정보를 적은 수의 신경망의 가중치로 나타낼 수 있다는 장점을 갖는다. 하지만 가중치의 초기값에 따라 지역 최소화(local minima)에 빠질 가능성이 크며, 뉴런의 층과 개수에 따라 인식성능이 좌우되고 최적화된 해를 보장할 수 없다는 단점이 있다. 또한 같은 데이터에 대해 매 학습 때마다 같은 결과를 보장할 수 없으며, 학습 속도가 느리기 때문에 제한된 컴퓨팅 파워를 갖는 모바일 형태의 사용자 입력장치 응용에 적용하기에 어려움이 있다.The neural network minimizes the output error by back propagation and has the advantage that information of a lot of data can be represented by a weight of a small number of neural networks through learning. However, according to the initial value of the weights, there is a high possibility of falling into the local minima, and the recognition performance depends on the number and the number of neurons, and the optimized solution can not be guaranteed. Also, since the same data can not be guaranteed for every data of the same data, and the learning speed is slow, it is difficult to apply it to a mobile user input device application having a limited computing power.
이와는 다르게 지지벡터 기계는 서로 다른 종류의 데이터 간에 폭을 최대화하여 좋은 일반화 성능을 갖는다는 장점이 있다. 또한 이차 형태 목적 함수의 해를 구하기 때문에 항상 전역 최적의 결과를 구할 수 있으며 학습 시 항상 같은 결과를 보장할 수 있다. 신경망 기법과는 다르게 판별함수를 표현하기 위해 지지벡터를 자동으로 결정하여 사용함으로써 좀 더 효율적인 정보 분류의 표현이 가능하기 때문에 여러 가지 패턴 인식 문제에 적용되어 왔다. In contrast, the support vector machine has the advantage of maximizing the width between different types of data and having good generalization performance. In addition, since the solution of the quadratic objective function is obtained, the global optimal result can always be obtained, and the same result can always be guaranteed in learning. Unlike the neural network technique, since the support vector is automatically determined to express the discriminant function, it has been applied to various pattern recognition problems because it is possible to express information classification more efficiently.
하지만, 지지벡터 기계는 이진 분류만이 가능하므로, 다중 분류문제를 해결하기 위해서 이를 확장하기 위한 기법이 필요하다. 이를 위한 여러 기법들로 one- against-all, one-against-one, dynamic acyclic graphs 방식의 여러 방법들이 제안되었지만, 지지벡터 기계는 기본적으로 이진 분류를 위해 개발된 알고리즘이기 때문에 다중 분류를 위해서는 항상 데이터의 중복적인 사용이 불가피하다. However, since the support vector machine can only be binary classified, a technique for extending the support vector machine is needed to solve the multiple classification problem. Several methods for this have been proposed, one-against-all, one-against-one, and dynamic acyclic graphs. However, since the support vector machine is basically an algorithm developed for binary classification, Is inevitable.
이는 데이터의 종류가 증가하거나 데이터 개수가 증가할 경우, 학습 속도가 기하급수적으로 증가하게 되는 결과를 초래하게 된다. 따라서 지지벡터 기계 역시 제한된 컴퓨팅 파워를 갖는 모바일 형태의 사용자 입력장치 응용에 적용하기 어려운 단점이 있다.This results in an exponential increase in the learning rate when the number of types of data increases or the number of data increases. Therefore, the support vector machine also has a disadvantage that it is difficult to apply to a mobile user input device application having limited computing power.
상기한 문제를 해결하기 위하여, 본 발명은 유사한 손 동작 인터페이스를 그룹핑하고, 전체 손 동작 명령과 유사 손동작 명령 그룹의 가중치 벡터를 두 단계로 적용함으로써 인식의 정확도를 높이며, 최종적으로는 인식 결과의 신뢰도를 수치화 함으로써 정해진 손동작 명령 이외의 생활 노이즈를 효과적으로 제거하도록 하는 손가락 동작 인식 방법을 제공함에 그 목적이 있다.In order to solve the above problem, the present invention classifies similar hand operation interfaces and increases the recognition accuracy by applying the weight vector of the entire hand operation command and the similar hand operation command group in two steps, and finally, And to provide a finger motion recognition method that effectively removes life noise other than a predetermined hand movement command by digitizing the finger movement.
또한, 본 발명은 서로 다른 종류의 패턴간의 변별력을 최대화한 간단한 인식 판별함수를 사용함으로써 모바일 환경에서도 사용할 수 있도록 하는 손가락 동작 인식 방법을 제공함에 다른 목적이 있다.Another object of the present invention is to provide a method of recognizing a finger motion that can be used in a mobile environment by using a simple recognition discrimination function that maximizes discriminating power between different types of patterns.
상기의 목적을 달성하기 위한 본 발명에 따른 손가락 동작 인식 방법은, 손가락 움직임 명령을 인식함에 있어서, 각 손가락 움직임에 대한 가중치 벡터를 적용하여 산출된 손가락 움직임 명령에 대한 대표 파형과의 유사도에 근거하여 제1 후보 손가락 움직임 명령을 생성하는 단계, 상기 후보 손가락 움직임 명령을 포함하는 유사 그룹의 존재 여부에 따라, 유사 그룹에 대한 가중치를 적용하여 산출된 유사 그룹의 유사도에 근거하여 제2 후보 손가락 움직임 명령을 생성하는 단계, 상기 제1 후보 손가락 움직임 명령과 상기 제2 후보 손가락 움직임 명령을 조합하여 생성된 손가락 움직임 명령의 신뢰도를 산출하는 단계, 및 산출된 상기 손가락 움 직임 명령의 신뢰도가 임계치 이상인 경우, 해당 손가락 움직임 명령을 최종 결과로 인식하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of recognizing a finger motion, comprising: recognizing a finger motion command based on a similarity to a representative waveform of a finger motion command calculated by applying a weight vector to each finger motion; Generating a second candidate finger motion command based on the similarity of the similar group calculated by applying a weight to a similar group according to whether or not a similar group including the candidate finger motion command exists; Calculating a reliability of a finger motion command generated by combining the first candidate finger motion command and the second candidate finger motion command, and if the reliability of the calculated finger motion command is equal to or greater than a threshold value, And recognizing the finger movement command as a final result And that is characterized.
본 발명에 따르면, 센서 값의 패턴을 정형화한 후, 획득한 센서 값을 정형화한 기존 패턴과 비교하여 손가락 동작 명령을 인식하는 인식기에서 손가락 동작 명령에 따른 서로 다른 가중치 벡터를 두 단계로 나누어 적용함으로써, 인식의 정확성을 높이는 효과가 있다.According to the present invention, after recognizing a finger operation command by comparing the obtained sensor value with an existing pattern after patterning a sensor value pattern, different weight vectors according to a finger operation command are divided into two steps and applied , The accuracy of recognition is increased.
또한, 본 발명은, 최종 인식된 손가락 명령의 신뢰도를 계산하고, 인식 결과의 신뢰도를 수치화하여 사용자에게 보임으로써 인식 결과의 신뢰도를 보장할 수 있으며, 노이즈도 효과적으로 제거할 수 있는 이점이 있다. Further, according to the present invention, the reliability of the finally recognized finger command is calculated, and the reliability of the recognition result is numerically expressed to be shown to the user, thereby assuring the reliability of the recognition result, and also the noise can be effectively removed.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명에 따른 손가락 동작 인식 방법을 적용한 인식장치를 도시한 예시도이다.1 is a diagram illustrating an example of a recognition apparatus to which a finger motion recognition method according to the present invention is applied.
도 1을 참조하면, 본 발명에 따른 손가락 동작 인식 방법으로 동작하기 위해서, 인식장치는 사용자의 손목 부위에 구비된다.Referring to FIG. 1, in order to operate as a finger motion recognition method according to the present invention, a recognition device is provided at a wrist portion of a user.
이때, 인식장치(20)는 사용자의 손(10), 상세하게는 손가락의 움직임을 측정 하기 위한 신호를 발생하는 신호발생수단인 발광부(21)와, 발광부(21)에 의해 발생된 신호가 손목 내부에서 반사된 신호를 계측하는 신호계측수단인 수광부(22)를 구비한 센서(23)를 포함한다. 이때, 인식장치(20)의 센서(23)는 손목의 힘줄 구분에 부착되어, 손목 부근에 위치한 힘줄 다발(12, 13)의 변화를 반사신호로부터 계측하여 손가락 동작 명령을 인식하게 된다.The
도 1에서와 같이 사용자의 손목 부근에 장착된 인식장치를 이용하여 손가락 동작을 인식하는 과정을 설명하면 다음과 같다.A process of recognizing a finger operation using a recognition device mounted on the wrist of a user as shown in FIG. 1 will now be described.
먼저, 도 2는 본 발명에 따른 손가락 동작 인식 방법에 대한 전체 동작 흐름을 나타낸 순서도이다.2 is a flowchart illustrating an overall operation flow of the finger motion recognition method according to the present invention.
도 2에 도시된 바와 같이, 본 발명에 따른 손가락 동작 인식 방법을 이용하여 손가락 동작 명령을 인식하기 위해서는, 손가락 움직임 분류 단계(S100)와, 손가락 동작 인식 단계(S200)로 동작한다.As shown in FIG. 2, in order to recognize a finger operation command using the finger movement recognition method according to the present invention, the finger movement classification step (S100) and the finger movement recognition step (S200) are operated.
손가락 움직임 분류 단계(S100)에 대한 구체적인 동작 설명은 도 3을 참조하도록 한다. 또한, 손가락 동작 인식 단계(S200)에 대한 구체적인 동작 설명은 도 8을 참조하도록 한다.The detailed operation of the finger movement sorting step S100 will be described with reference to FIG. A specific operation of the finger movement recognition step S200 will be described with reference to FIG.
도 3은 본 발명의 실시예에 따른 손가락 움직임 분류 동작의 흐름을 나타낸 것이다.FIG. 3 shows a flow of a finger movement classification operation according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 손가락 움직임 분류 단계(S100)는, 각 손가락 움 직임 명령의 대표 파형(Representative Hand Posture, RHP)을 생성하는 것으로 시작된다(S110).As shown in FIG. 3, the finger movement sorting step S100 starts by generating a representative waveform (Representative Hand Posture, RHP) of each finger movement instruction (S110).
이때, 손가락 움직임 명령의 대표 파형(RHP)을 생성하는 구체적인 실시예는 도 4A 내지 도 5를 참조한다.Reference is now made to Figs. 4A to 5 as specific embodiments for generating the representative waveform RHP of the finger movement command.
도 4a 내지 도 5는 본 발명의 일실시예에 따른 손가락 움직임 명령의 대표 파형(RHP)을 생성 동작을 설명하는데 참조되는 예시도이다.4A to 5 are diagrams for explaining operations for generating a representative waveform RHP of a finger movement command according to an embodiment of the present invention.
먼저, 도 4a는 'Hold' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.First, FIG. 4A shows various waveforms of the finger movement indicating the 'Hold' command.
또한, 도 4b는 'Spread' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.Also, FIG. 4B shows various waveforms of the finger movement indicating the 'Spread' command.
또한, 도 4c는 'Hi' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.Also, FIG. 4C shows various waveforms of the finger movement indicating the 'Hi' command.
또한, 도 4d는 'Wave1' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.Also, FIG. 4D shows various waveforms of the finger movement indicating the 'Wave 1' command.
또한, 도 4e는 'Wave2' 명령을 지시하는 손가락 움직임에 대한 여러 파형을 나타낸 것이다.Also, FIG. 4E shows various waveforms of the finger movement indicating the 'Wave 2' command.
각 손가락 움직임 명령에 대한 대표 파형을 생성하는 과정(S110)은, 도 4a 내지 도 4e와 같은 손가락 움직임 명령에 대한 센서 데이터를 시계열 형태로 획득하고, 최대 진폭에 대해 정규화한다. 이때, 정규화한 센서 데이터들의 평균값을 해 당 손가락 움직임 명령의 대표 파형으로 저장한다. In the step S110 of generating a representative waveform for each finger motion command, the sensor data for the finger motion command as shown in Figs. 4A to 4E is acquired in a time-series manner and is normalized with respect to the maximum amplitude. At this time, the average value of the normalized sensor data is stored as a representative waveform of the corresponding finger movement command.
이와 같은 방법으로 저장된, 'Hold', 'Spread', 'Hi', 'Wave1', 및 'Wave2'의 손가락 움직임 명령에 대한 대표 파형은 도 5와 같다.Representative waveforms of finger move commands of 'Hold', 'Spread', 'Hi', 'Wave1', and 'Wave2' stored in this manner are shown in FIG.
도 5의 대표 파형을 살펴보면, 'Hold', 'Hi', 'Wave2'의 손가락 움직임 명령에 대한 대표 파형이 유사한 파형을 가지고, 'Spread', 'Wave1'의 손가락 움직임 명령에 대한 대표 파형이 유사한 파형을 가지는 것을 알 수 있다.5, the representative waveforms of the finger movement commands of 'Hold', 'Hi', and 'Wave2' have similar waveforms, and the representative waveforms of the finger movement commands of 'Spread' and 'Wave1' are similar It can be seen that it has a waveform.
또한, 각 손가락의 움직임에 따른 손가락 움직임 명령의 대표 파형(RHP)이 생성되면, 모든 손가락 움직임에 대한 가중치 벡터(Weight Vector, WVRHP)를 생성한다(S120).In addition, when a representative waveform RHP of the finger movement command according to the movement of each finger is generated, a weight vector (WV RHP ) for all finger movements is generated (S120).
'S120' 과정은, 모든 손가락 움직임 명령에 대한 가중치 벡터(WVRHP)를 생성하는 경우, 각 손가락 움직임 명령 대표 파형들의 표준편차를 구한 후, 표준편차의 최소값과, 최대값의 차를 10 등분한다. 이때, 각 구간별로 최소구간은 1, 최대구간은 10의 방법으로 가중치를 부여한다.In step 'S120', when generating the weight vector (WV RHP ) for all the finger motion commands, the standard deviation of the representative waveforms of the finger motion commands is obtained, and then the difference between the minimum value and the maximum value of the standard deviation is divided into ten . In this case, the minimum interval is weighted by 1 and the maximum interval is weighted by 10 in each interval.
각 구간별로 가중치를 부여하는 것은, 시계열로 표현되는 대표 파형들의 차별화를 극대화 시킬 수 있는 시간 구간을 지정함으로써, 각 대표 파형의 변별력을 증가시키기 위함이다.Assigning a weight to each section is intended to increase the discrimination power of each representative waveform by designating a time interval that maximizes differentiation of representative waveforms expressed in time series.
이후, 각 손가락의 움직임 중에서, 손가락 움직임 명령에 대한 유사 그룹(Similar Group, SG)을 생성한다(S130).Then, a Similar Group (SG) for the finger movement command is generated in the movement of each finger (S130).
'S130' 과정에서, 손가락 움직임 명령에 대한 유사 그룹(SG)을 생성하기 위해서는, 각 손가락 움직임 명령의 대표 파형 간에 유클리드 거리를 계산한다. 이때, 계산된 유클리드 거리가 임계치 이하인 경우, 유사 그룹으로 생성한다.In the process of 'S130', in order to generate the similar group (SG) for the finger movement command, the Euclidean distance is calculated between the representative waveforms of the finger movement commands. At this time, when the calculated Euclidean distance is less than or equal to the threshold value, it is generated as a similar group.
여기서, V={v1, v2, v3, ..., vn},, W={w1, w2, w3, ..., wn},과 같은 V, W의 두 벡터가 있을 때, 두 벡터 V, W 간에 유클리드 거리를 계산하기 위해서는 [수학식 1]을 적용한다. Where, V = {v 1, v 2,
여기서, D는 두 벡터 V, W 간에 유클리드 거리를 의미하고, n은 손가락 움직임 명령 벡터의 차수를 의미한다.Here, D denotes a Euclidean distance between two vectors V and W, and n denotes a degree of a finger motion command vector.
[수학식 1]을 적용하여 산출된, 각 손가락 움직임 명령의 대표 파형 간에 유클리드 거리는 도 6의 유클리드 거리 계산 테이블을 참조한다.The Euclidean distance between representative waveforms of each finger motion command calculated by applying [Equation 1] refers to the Euclidean distance calculation table of FIG.
이후, 'S130' 과정이 완료되면, 'S130' 과정에서 생성된 유사 그룹(SG)에 대 한 가중치 벡터(Weight Vector, WVSG)를 생성한다(S140).Thereafter, when the process of 'S130' is completed, a weight vector (Weight Vector) for the similar group (SG) generated in the process 'S130' WV SG ) (S140).
이때, 'S140' 과정에서 유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하는 방법은, 모든 손가락 움직임 명령에 대한 가중치 벡터(WVRHP)를 생성하는 방법과 동일하다.In this case, the method of generating the weight vector for the finger motion commands belonging to the similar group (SG) in the process of 'S140' is the same as the method for generating the weight vector (WV RHP ) for all the finger motion commands.
다시 말해, 유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하기 위해서는, 각 손가락 움직임 명령 대표 파형들의 표준편차를 구한 후, 표준편차의 최소값과, 최대값의 차를 10 등분한다. 이때, 각 구간별로 최소구간은 1, 최대구간은 10의 방법으로 가중치를 부여한다.In other words, in order to generate a weight vector for the finger motion commands belonging to the similar group (SG), the standard deviation of representative finger motion command representative waveforms is obtained, and then the difference between the minimum value and the maximum value of the standard deviation is divided by 10 do. In this case, the minimum interval is weighted by 1 and the maximum interval is weighted by 10 in each interval.
유사 그룹(SG)에 속한 손가락 움직임 명령들을 대상으로 한 가중치 벡터를 생성하는 동작에 대한 실시예는 도 7을 참조한다.Reference is made to Fig. 7 for an embodiment of the operation of generating a weight vector for finger motion commands belonging to a similar group SG.
도 7은 모든 손가락 명령 그룹과 유사 그룹(SG) 간의 가중치 벡터 변화를 나타낸 것이다.FIG. 7 shows a weight vector change between all finger instruction groups and similar groups (SG).
도 7을 참조하면, 먼저 도 7의 (a)는 모든 손가락 명령에 대란 가중치 벡터를 나타낸 것이다. 또한, 도 7의 (b)는 'Hold', 'Hi', 'Wave2' 그룹의 가중치 벡터를 나타낸 것이다. 또한, 도 7의 (c)는 'Spread', 'Wave1' 그룹의 가중치 벡터를 나타낸 것이다.Referring to FIG. 7, (a) in FIG. 7 shows a weighted weight vector for all finger commands. 7 (b) shows the weight vectors of the 'Hold', 'Hi', and 'Wave2' groups. 7 (c) shows the weight vectors of the 'Spread' and 'Wave1' groups.
도 7에 도시된 바와 같이, 5개의 손가락 움직임 명령에 대해 생성한 가중치 벡터 WVRHP, WVSG 를 비교하면, 각 대표 파형들이 차별화 되는 샘플 구간이 변화되는 것을 확인할 수 있다.As shown in FIG. 7, when the weight vectors WV RHP and WV SG generated for the five finger motion commands are compared, it can be seen that the sample intervals in which the representative waveforms are different are changed.
이와 같이, 손가락 움직임 분류 단계(S100)에서는, 손가락 움직임 명령은 반복적으로 재현이 가능하고, 다른 움직임과 쉽게 구분되는 패턴으로 정의한다.As described above, in the finger movement classifying step S100, the finger movement command is defined as a pattern that can be repeatedly reproduced and easily distinguished from other motions.
한편, 도 8은 본 발명의 실시예에 따른 손가락 동작 인식 동작의 흐름을 나타낸 것이다.Meanwhile, FIG. 8 shows the flow of the finger motion recognition operation according to the embodiment of the present invention.
도 8에 도시된 바와 같이, 손가락 동작 인식 단계(S200)는, 손목에 장착한 센서로부터 임계치 이상의 신호가 감지되면, 일정시간 동안 센서신호를 저장하여 인식 대상이 되는 벡터 g를 생성하고, 이때 획득한 벡터 g를 최대 진폭에 대해 정규화한 벡터 V을 생성하는 것으로 시작한다(S210).8, in the finger movement recognition step S200, when a signal exceeding a threshold value is sensed from a sensor mounted on the wrist, a sensor signal is stored for a predetermined time to generate a vector g to be recognized, We start by creating a vector V that normalizes a vector g with respect to the maximum amplitude (S210).
이후, 모든 손가락 움직임에 대한 가중치 벡터인 WVRHP를 이용하여 정규화한 벡터 V와, 각 손가락 움직임 명령의 대표 파형인 RHP 간 유사도를 계산하고(S220), 그 결과로부터 후보 손가락 움직임 명령(Candidate Hand Posture, CHP)을 생성한다(S230).Thereafter, the similarity between the vector V normalized using the weight vector WV RHP for all the finger motions and RHP, which is a representative waveform of each finger movement command, is calculated (S220), and a Candidate Hand Posture , CHP) (S230).
이때, 후보 손가락 움직임 명령(CHP)을 생성하기 위한 유사도 계산식은 [수학식 2]와 같다.At this time, the similarity calculation formula for generating the candidate finger motion command (CHP) is as shown in [Equation 2].
S1는 정규화한 벡터 V와, 각 손가락 움직임 명령의 대표 파형인 RHP 간 유사도를 의미한다.S 1 denotes the normalized vector V and the similarity between RHP and the representative waveform of each finger movement command.
이때, 인식 대상 벡터 V={v1, v2, v3, ..., vn}, 대표 손가락 움직임 명령 벡터 RVK={rv1, rv2, rv3, ..., rvn}, 가중치 벡터 WVRHP={wv1, wv2, wv3, ..., wvn}라 가정한다. 여기서, k는 손가락 움직임 명령 표시자를 의미하고, n은 손가락 움직임 명령 벡터의 차수를 의미한다...., v n }, the representative finger motion command vector RV K = {rv 1 , rv 2 , rv 3 , ..., rv n } as the recognition target vector V = {v 1 , v 2 , v 3 , , And the weight vector WV RHP = {wv 1 , wv 2 , wv 3 , ..., wv n }. Here, k denotes a finger motion command indicator, and n denotes a degree of a finger motion command vector.
이때, 'S230' 과정에서 생성된 후보 손가락 움직임 명령(CHP)을 포함하는 유사 그룹(SG)이 존재하는지 확인하여, 해당 유사 그룹(SG)이 존재하지 않는 경우(S240), 후보 손가락 움직임 명령인 CHP를 손가락 움직임 명령 HP로 정의한다(S245). 이후, 'S290' 과정을 수행한다.At this time, it is determined whether there is a similar group SG including the candidate finger motion command (CHP) generated in the process of 'S230'. If the similar group SG does not exist (S240) CHP is defined as a finger movement command HP (S245). Thereafter, the 'S290' process is performed.
한편, 해당 유사 그룹(SG)이 하나 이상 존재하는 경우(S240), 도 3의 'S130' 과정에서 생성된 유사 그룹(SG)에 대한 가중치 벡터(WVSG)를 적용하여 각 유사 그 룹(SG)에 대한 유사도를 계산하고(S250), 그 결과로부터 후보 손가락 움직임 명령(CHPrefine)을 생성한다(S260).Meanwhile, if there is one or more similar groups SG (S240), a weight vector (WV SG ) for the similar group (SG) generated in the process 'S130' of FIG. 3 is applied to each similar group SG (S250), and generates a candidate finger motion command (CHP refine ) from the result (S260).
이때, 후보 손가락 움직임 명령(CHPrefine)을 생성하기 위한 유사도 계산식은 [수학식 3]과 같다.At this time, the similarity calculation formula for generating the candidate finger motion command (CHP refine ) is as shown in [Equation 3].
S2는 각 유사 그룹(SG)에 대한 유사도를 의미한다.And S 2 represents the similarity to each similar group (SG).
이때, 인식 대상 벡터 V={v1, v2, v3, ..., vn}, 대표 손가락 움직임 명령 벡터 RVi={rv1, rv2, rv3, ..., rvn}, 유사 그룹(SG)에 대한 가중치 벡터WVSGj={wv1, wv2, wv3, ..., wvn}라 가정한다. At this time, the recognition target vector V = {v 1, v 2 ,
여기서, j={1, ..., n}일때, i는 유사 그룹 SGj에 속한 손가락 움직임 명령 벡터를 의미한다.Here, when j = {1, ..., n}, i denotes a finger motion instruction vector belonging to the similar group SG j .
이후, 후보 손가락 움직임 명령 CHP와, CHPrefine를 조합하여(S270), 손가락 움직임 명령(Hand Posture, HP)을 생성한다(S280).Then, a finger motion command (Hand Posture, HP) is generated by combining the candidate finger motion command CHP and CHP refine (S270) (S280).
또한, 'S210'에서 정규화된 벡터 V와, 'S280' 과정에서 생성된 손가락 움직임 명령 HP의 신뢰도를 계산한다(S290). In addition, the reliability of the vector V normalized in S210 and the finger movement command HP generated in the process S280 is calculated (S290).
이때, 정규화된 벡터 V와, 손가락 움직임 명령 HP의 신뢰도 계산식은 [수학식 4]와 같다.At this time, the reliability calculation formula of the normalized vector V and the finger movement command HP is as shown in [Equation 4].
이때, 신뢰도 R은 cosinθ를 이용한 방법으로, '-1 < R < 1' 값으로 표현된다.In this case, the reliability R is a method using cosin θ and expressed as '-1 <R <1'.
만일, 'S290' 과정에서 계산된 신뢰도 R이 임계치(α) 이상인 경우(S300), 해당 손가락 움직임 명령(HP)을 최종 결과로 반환함으로써, 손가락 움직임 명령을 인식하여 처리하도록 한다(S310, S320).If the reliability R calculated in the process of 'S290' is equal to or greater than the threshold value alpha (S300), the finger motion command is recognized and processed by returning the finger motion command HP as a final result (S310 and S320) .
한편, 계산된 신뢰도 R이 임계치(α) 미만인 경우에는(S300), 해당 손가락 움직임 명령(HP)을 노이즈로 인식하여(S305), 해당 손가락 동작 인식 단계를 종료한다.On the other hand, if the calculated reliability R is less than the threshold value alpha (S300), the finger movement command HP is recognized as noise (S305) and the finger movement recognition step is terminated.
본 발명에 따른 손가락 동작 인식 방법은, 상기와 같이 신뢰도를 계산함으로써 단순 유사도 계산으로 손가락 동작을 인식함에 있어서, 모호한 결과 또는 생활 노이즈를 손쉽게 제거할 수 있다.The finger motion recognition method according to the present invention can easily remove the ambiguous result or the life noise in recognizing the finger motion by simple similarity calculation by calculating the reliability as described above.
이상과 같이 본 발명에 의한 손가락 동작 인식 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.Although the method of recognizing a finger motion according to the present invention has been described with reference to the drawings, the present invention is not limited by the embodiments and drawings disclosed herein, and can be applied within a range in which technical ideas are protected .
도 1 은 본 발명에 따른 손가락 동작 인식 방법을 적용한 인식장치를 도시한 예시도이다.1 is a diagram illustrating an example of a recognition apparatus to which a finger motion recognition method according to the present invention is applied.
도 2 는 본 발명에 따른 손가락 동작 인식 방법에 대한 전체 동작 흐름을 나타낸 순서도이다.2 is a flowchart illustrating an overall operation flow of the finger motion recognition method according to the present invention.
도 3 은 본 발명의 실시예에 따른 손가락 움직임 분류 동작의 흐름을 나타낸 순서도이다.3 is a flowchart illustrating a flow of a finger movement classification operation according to an embodiment of the present invention.
도 4a 내지 도 5 는 본 발명의 일실시예에 따른 손가락 움직임 명령의 대표 파형(RHP) 생성 동작을 설명하는데 참조되는 예시도이다.4A to 5 are diagrams for explaining a representative waveform (RHP) generation operation of a finger movement command according to an embodiment of the present invention.
도 6 은 손가락 움직임 명령에 대한 유사 그룹을 생성하는 동작을 설명하는데 참조되는 예시도이다.Figure 6 is an exemplary diagram that is referenced to illustrate the operation of creating a similar group for finger motion commands.
도 7 은 본 발명에 따른 유사 그룹에 대한 가중치 벡터를 생성하는 동작을 설명하는데 참조되는 예시도이다.7 is an exemplary diagram that is referenced to illustrate the operation of generating a weight vector for a similar group according to the present invention.
도 8 은 본 발명에 따른 손가락 동작을 인식하는 동작의 흐름을 나타낸 순서도이다.8 is a flowchart showing the flow of an operation of recognizing a finger operation according to the present invention.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090125596A KR101601872B1 (en) | 2009-12-16 | 2009-12-16 | Method for finger gesture recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090125596A KR101601872B1 (en) | 2009-12-16 | 2009-12-16 | Method for finger gesture recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110068579A KR20110068579A (en) | 2011-06-22 |
| KR101601872B1 true KR101601872B1 (en) | 2016-03-09 |
Family
ID=44400801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090125596A KR101601872B1 (en) | 2009-12-16 | 2009-12-16 | Method for finger gesture recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101601872B1 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104656896B (en) * | 2015-02-10 | 2018-09-18 | 北京智谷睿拓技术服务有限公司 | The method and apparatus for determining input information |
| CN106249848B (en) * | 2015-07-31 | 2019-02-19 | 北京智谷睿拓技术服务有限公司 | Exchange method and equipment |
| CN106227326B (en) * | 2015-07-31 | 2019-09-10 | 北京智谷睿拓技术服务有限公司 | Dynamics information determines method and apparatus |
| US9924265B2 (en) | 2015-09-15 | 2018-03-20 | Intel Corporation | System for voice capture via nasal vibration sensing |
| CN106249853B (en) * | 2015-09-15 | 2019-03-19 | 北京智谷睿拓技术服务有限公司 | Exchange method and equipment |
| US10348355B2 (en) * | 2015-09-16 | 2019-07-09 | Intel Corporation | Techniques for gesture recognition using photoplethysmographic (PPMG) sensor and low-power wearable gesture recognition device using the same |
| US10324494B2 (en) | 2015-11-25 | 2019-06-18 | Intel Corporation | Apparatus for detecting electromagnetic field change in response to gesture |
| US10206620B2 (en) | 2016-03-23 | 2019-02-19 | Intel Corporation | User's physiological context measurement method and apparatus |
| US10298282B2 (en) | 2016-06-16 | 2019-05-21 | Intel Corporation | Multi-modal sensing wearable device for physiological context measurement |
| US10241583B2 (en) | 2016-08-30 | 2019-03-26 | Intel Corporation | User command determination based on a vibration pattern |
| EP3570260A1 (en) * | 2018-05-15 | 2019-11-20 | Koninklijke Philips N.V. | Wrist-worn medical alert device for conveying an emergency message to a caregiver |
| CN110624217A (en) * | 2019-09-23 | 2019-12-31 | 孙孟雯 | Rehabilitation glove based on multi-sensor fusion and implementation method thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100543710B1 (en) * | 2004-02-25 | 2006-01-20 | 삼성전자주식회사 | Spatial information input apparatus and method for recognizing an information-completion signal from a plurality of concurrent spatial motions |
| KR100617976B1 (en) * | 2004-11-15 | 2006-08-31 | 한국과학기술원 | Hand-posture database construction, hand-posture recognition, and recording medium |
-
2009
- 2009-12-16 KR KR1020090125596A patent/KR101601872B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110068579A (en) | 2011-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101601872B1 (en) | Method for finger gesture recognition | |
| Xu et al. | A novel ensemble of random forest for assisting diagnosis of Parkinson's disease on small handwritten dynamics dataset | |
| US7725412B2 (en) | Identifying temporal sequences using a recurrent self organizing map | |
| KR101157073B1 (en) | Method for finger language recognition using emg and gyro sensor and apparatus thereof | |
| Czuszyński et al. | Gesture recognition with the linear optical sensor and recurrent neural networks | |
| KR20200011818A (en) | Method and device for estimating physical state of a user | |
| CN107832736B (en) | Real-time human body action recognition method and real-time human body action recognition device | |
| US20180333057A1 (en) | Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning | |
| Reed et al. | Spatiotemporal recursive hyperspheric classification with an application to dynamic gesture recognition | |
| JP2022120775A (en) | On-device activity recognition | |
| Bezobrazov et al. | Artificial intelligence for sport activitity recognition | |
| JP2007280219A (en) | Motion pattern recognition device, motion pattern recognition method, and motion pattern recognition program | |
| KR20210054349A (en) | Method for predicting clinical functional assessment scale using feature values derived by upper limb movement of patients | |
| Funk et al. | Evetac: An event-based optical tactile sensor for robotic manipulation | |
| Simão et al. | Unsupervised gesture segmentation of a real-time data stream in MATLAB | |
| Gómez-Carmona et al. | Simplicity is best: Addressing the computational cost of machine learning classifiers in constrained edge devices | |
| van Heek et al. | Analysis and selection of classifiers for gesture characteristics recognition based on MGRS framework | |
| KR20190095614A (en) | Method for classifying and evaluating behavior pattern | |
| Tang et al. | Extracting commands from gestures: Gesture spotting and recognition for real-time music performance | |
| CN114565784A (en) | Pedestrian abnormal behavior detection method and device based on clustering algorithm and storage medium | |
| KR101740328B1 (en) | Method of detecting gesture of hand using optical sensor and apparatus for the same | |
| Cheng et al. | Finger-worn device based hand gesture recognition using long short-term memory | |
| Achenbach et al. | Paper beats rock: Elaborating the best machine learning classifier for hand gesture recognition | |
| Chen et al. | 3D hand tracking and motion analysis with a combination approach of statistical and syntactic analysis | |
| van Heek et al. | A comparison of computational intelligence techniques for real-time discrete multivariate time series classification of conducting gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190304 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200224 Year of fee payment: 5 |