KR101360149B1 - Method for tracking finger motion based on sensorless and apparatus thereof - Google Patents

Method for tracking finger motion based on sensorless and apparatus thereof Download PDF

Info

Publication number
KR101360149B1
KR101360149B1 KR1020100108348A KR20100108348A KR101360149B1 KR 101360149 B1 KR101360149 B1 KR 101360149B1 KR 1020100108348 A KR1020100108348 A KR 1020100108348A KR 20100108348 A KR20100108348 A KR 20100108348A KR 101360149 B1 KR101360149 B1 KR 101360149B1
Authority
KR
South Korea
Prior art keywords
finger
hand
information
vision
joint
Prior art date
Application number
KR1020100108348A
Other languages
Korean (ko)
Other versions
KR20120046607A (en
Inventor
조동식
김용완
양웅연
이건
김기홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100108348A priority Critical patent/KR101360149B1/en
Publication of KR20120046607A publication Critical patent/KR20120046607A/en
Application granted granted Critical
Publication of KR101360149B1 publication Critical patent/KR101360149B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

본 발명은 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치에 관한 것으로, 카메라를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽 정보를 획득하는 단계, 손가락 윤곽 정보에 근거하여 손가락을 정의하는 단계, 손가락 윤곽 정보에 근거하여 손마디를 각각 분할하고, 분할된 각각의 손마디들의 크기에 따라 손가락의 관절각도를 예측하는 단계, 손가락 윤곽 정보에 근거하여 손가락의 간격을 측정하는 단계, 및 손가락의 관절각도와 손가락의 간격에 근거하여 손바닥의 구부림 각도를 예측하고, 손바닥의 구부림 각도와 가상의 손을 연동하는 단계를 포함한다.The present invention relates to a sensorless-based finger motion tracking method and apparatus therefor, the method comprising: obtaining vision-based finger contour information by analyzing an image captured by a camera, defining a finger based on finger contour information, and finger contour Segmenting the knuckles based on the information, predicting the joint angle of the finger according to the size of each segment of the divided knuckles, measuring the distance between the fingers based on the finger outline information, and Predicting the bending angle of the palm based on the distance between the fingers, and interlocking the virtual bending hand with the bending angle of the palm.

Description

센서리스 기반 손가락 모션 트래킹 방법 및 그 장치 {Method for tracking finger motion based on sensorless and apparatus thereof}Sensorless-based finger motion tracking method and apparatus therefor {Method for tracking finger motion based on sensorless and apparatus regarding}

본 발명은 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치에 관한 것으로, 보다 상세하게는 컴퓨터 비젼과 인간공학 기술을 이용하여 센서를 부착하지 않은 환경에서 손가락의 위치 및 모션을 찾고, 가상현실에서 상호작용 입력 도구로 가상의 손가락 모션을 제시하는 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치에 관한 것이다.The present invention relates to a sensorless-based finger motion tracking method and apparatus, and more particularly, to find the position and motion of a finger in an environment without a sensor using computer vision and ergonomics, and to interact in virtual reality A sensorless-based finger motion tracking method and apparatus for presenting a virtual finger motion with an input tool.

사용자 위치 추적은 가상현실 및 게임 등 분야에서 사용자의 위치에 따른 콘텐츠의 반영 여부를 표현하는 주요한 기술로써 마그네틱, 초음파, 적외선 카메라, 각도 센서, 저항 센서 등 다양한 방법을 사용하여 활용되고 있다.User location tracking is a key technology for expressing whether contents are reflected according to the user's location in the field of virtual reality and games, and is being used using various methods such as magnetic, ultrasonic, infrared camera, angle sensor, and resistance sensor.

하지만, 기존 사용자 위치 추적 시스템은 데이터를 받는 수신부에 트래킹 센서(마커)를 사용자에게 부착하여만 운용이 되며 이는 사용자가 자연스럽게 콘텐츠와 상호작용 할 수 있는 인터페이스 구조를 제시하기 어려운 실정이다. 최근 손 동작과 같은 큰 움직임을 센서없이 인식하는 컴퓨터 비젼 기술이 제안되고 있으나 손가락 모션을 인식할 정도로 세밀한 동작을 인식하는 것은 제공되지는 못하고 있는 실정이다. However, the existing user location tracking system is operated only by attaching a tracking sensor (marker) to the receiver to receive data, which is difficult to present an interface structure for the user to naturally interact with the content. Recently, computer vision technology for recognizing a large motion such as a hand motion without a sensor has been proposed, but it is not provided to recognize a detailed motion enough to recognize a finger motion.

따라서 직관적인 상호작용 인터페이스를 제시하기 위해서는 센서를 부착하지 않고 손가락 모션을 찾을 수 있는 시스템을 구축할 필요가 있다. Therefore, to present an intuitive interactive interface, it is necessary to build a system that can detect finger motion without attaching a sensor.

이러한 센서리스 손가락 모션 트래킹 시스템을 구축하기 위한 방법으로는 사람의 손가락 모션을 알아내기 위해 깊이감을 알 수 있는 컴퓨터 비젼 방법과 깊이감만으로는 파악할 수 없는 정밀한 손가락의 자세를 파악하기 위한 인간공학 방법을 융합하여 제시할 수 있다. In order to construct the sensorless finger motion tracking system, computer vision method that can know the depth of the human finger motion and human ergonomic method that can detect the precise finger posture that cannot be understood only by the depth Can be presented by fusion.

그러나, 센서를 부착하지 않고 사용자의 모션을 찾는 방법과 세밀한 손가락의 움직임을 찾는 방법은 제시하지 못하였다.
However, the method of finding the motion of the user and the method of finding the fine movement of the finger without attaching the sensor is not presented.

본 발명의 목적은, 손가락 모션을 파악하기 위해 깊이감을 얻는 용도의 카메라를 이용하는 컴퓨터 비젼 방식과 손가락 모션 동작을 유추하기 위한 인간공학적인 손가락 모션 예측 방식을 적용하여 가상의 손가락 모션을 제시하는 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치을 제공함에 있다.An object of the present invention is a sensorless method for presenting a virtual finger motion by applying a computer vision method using a camera for obtaining a sense of depth to grasp a finger motion and an ergonomic finger motion prediction method for inferring a finger motion motion. The present invention provides a method and apparatus for tracking a finger motion based on the finger.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 센서리스 기반의 손가락 모션 트래킹 방법은, 카메라를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽 정보를 획득하는 단계, 상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 단계, 상기 손가락 윤곽 정보에 근거하여 손마디를 각각 분할하고, 분할된 각각의 상기 손마디들의 크기에 따라 손가락의 관절각도를 예측하는 단계, 상기 손가락 윤곽 정보에 근거하여 상기 손가락의 간격을 측정하는 단계, 및 상기 손가락의 관절각도와 상기 손가락의 간격에 근거하여 손바닥의 구부림 각도를 예측하고, 상기 손바닥의 구부림 각도와 가상의 손을 연동하는 단계를 포함하는 것을 특징으로 한다.
이때, 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계는, 상기 영상으로부터 추출된 손 이미지에 대한 깊이 또는 색상 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계를 포함할 수 있다.
이때, 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계는, 서로 다른 위치에 배치된 멀티 카메라를 통해 촬영된 복수의 방향 및 각도의 손 영상에 대한 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계를 포함할 수 있다.
이때, 상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 단계는, 상기 손가락 윤곽 정보에 기초하여 오른손/왼손, 손바닥/손등 또는 손가락 순서 중 적어도 어느 하나 이상을 파악하는 단계를 포함할 수 있다.
이때, 상기 손가락의 관절각도는 상기 손가락 윤곽 정보에 근거하여 분할된 각각의 손마디들의 크기를 기획득된 손가락 관절 구부림에 따른 손마디 크기 정보와 비교함으로써 예측될 수 있다.

또한, 상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 센서리스 기반의 손가락 모션 트래킹 장치는, 카메라를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽 정보를 획득하고, 상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 손가락 정보 획득부; 상기 손가락 정보 획득부에 의해 획득된 손가락 윤곽 정보에 근거하여 손마디를 각각 분할하고, 분할된 각각의 상기 손마디들의 크기에 따라 손가락의 관절각도를 예측하며, 상기 손가락의 간격을 예측하는 손가락 동작 인식부; 및 상기 손가락 동작 인식부에 의해 예측된 상기 손가락의 관절각도 및 간격에 근거하여 손바닥의 구부림 각도를 예측하고, 상기 손바닥의 구부림 각도와 가상의 손을 연동하는 가상 손 동작 표현부;를 포함하는 것을 특징으로 한다.
이때, 상기 손가락 정보 획득부는, 상기 영상으로부터 추출된 손 이미지에 대한 깊이 또는 색상 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 비젼기반 손가락 윤곽 획득부를 포함할 수 있다.
이때, 상기 비젼기반 손가락 윤곽 획득부는 서로 다른 위치에 배치된 멀티 카메라를 통해 촬영된 복수의 방향 및 각도의 손 영상에 대한 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득할 수 있다.
이때, 상기 손가락 정보 획득부는, 상기 손가락 정보 획득부에 의해 획득된 손가락 윤곽 정보를 이용하여 오른손/왼손, 손바닥/손등 또는 손가락 순서 중 적어도 어느 하나 이상을 정의하는 손가락 정의부를 포함할 수 있다.
이때, 상기 손가락 동작 인식부는 상기 손가락 정보 획득부에 의해 획득된 손가락 윤곽 정보에 근거하여 분할된 각각의 손마디들의 크기를 기획득된 손가락 관절 구부림에 따른 손마디 크기 정보와 비교함으로써 상기 손가락의 관절각도를 예측할 수 있다.In order to achieve the above object, in the sensorless-based finger motion tracking method according to the preferred embodiment of the present invention, obtaining the vision-based finger contour information by analyzing an image photographed through a camera, Defining a finger based on the finger outline, dividing the hand joints based on the finger outline information, and predicting a joint angle of the finger according to the size of each of the divided hand joints, based on the finger outline information. Measuring the distance between the fingers, and predicting the bending angle of the palm based on the joint angle of the finger and the distance between the fingers, and interlocking the bending angle of the palm with the virtual hand. .
In this case, the obtaining of the vision-based finger contour information may include obtaining the vision-based finger contour information based on depth or color information of a hand image extracted from the image.
In this case, the obtaining of the vision-based finger contour information may include obtaining the vision-based finger contour information based on information on a hand image of a plurality of directions and angles captured by multiple cameras disposed at different positions. It may include.
In this case, the defining of the finger based on the finger contour information may include identifying at least one of a right hand / left hand, a palm / hand back, or a finger sequence based on the finger contour information.
At this time, the joint angle of the finger can be predicted by comparing the size of each hand joint divided based on the finger contour information with the hand joint size information according to the planned finger joint bending.

In addition, in order to achieve the above object, a sensorless finger motion tracking device according to a preferred embodiment of the present invention, by analyzing the image taken through the camera to obtain the vision-based finger contour information, the finger contour information A finger information obtaining unit defining a finger based on the finger; Finger operation for dividing hand joints based on finger outline information acquired by the finger information obtaining unit, predicting joint angles of fingers according to the size of each of the divided hand joints, and predicting finger spacing. Recognition unit; And a virtual hand motion representation unit for predicting a bending angle of a palm based on the joint angle and interval of the finger predicted by the finger motion recognition unit, and interlocking a virtual hand with the bending angle of the palm. It features.
In this case, the finger information acquisition unit may include a vision-based finger contour acquisition unit for acquiring the vision-based finger contour information based on depth or color information of the hand image extracted from the image.
In this case, the vision-based finger contour acquisition unit may obtain the vision-based finger contour information based on the information on the hand images of a plurality of directions and angles photographed by multiple cameras disposed at different locations.
In this case, the finger information acquisition unit may include a finger definition unit that defines at least one or more of right hand / left hand, palm / hand back or finger order using the finger outline information acquired by the finger information acquisition unit.
In this case, the finger motion recognition unit compares the size of each of the hand joints divided based on the finger outline information obtained by the finger information acquisition unit with the hand joint size information according to the planned finger joint bending. The angle can be predicted.

본 발명에 따르면, 가상현실 분야에서 기존 장갑 및 센서를 부착해야만 이용할 수 있는 인터페이스의 사용을 개선하여 센서리스 손가락 모션 트래킹 방법을 적용하여 직관적으로 손에 부착된 아무런 장치 없이 상호작용 할 수 있는 환경을 제시해 줌으로써, 콘텐츠와의 몰입감을 극대화하는 효과가 있다.According to the present invention, an environment that can be intuitively interacted without any device attached to a hand by applying a sensorless finger motion tracking method by improving the use of an interface that can be used only by attaching an existing glove and a sensor in the virtual reality field is applied. By presenting, there is an effect of maximizing the immersion with the content.

또한, 본 발명에 따르면 게임 분야에서 각도 센서 및 버튼이 부착된 입력 장치를 이용했을 경우에만 동작을 인식할 수 있었던 점을 극복하여 센서 없이도 동작을 인식할 수 있도록 제공할 수 있으며, 특히 손 동작뿐만 아니라 손가락 동작을 이용해서 할 수 있는 게임에 응용할 수 있는 이점이 있다.In addition, according to the present invention can overcome the fact that only when using the input device equipped with an angle sensor and a button in the game field can be provided to recognize the motion without a sensor, in particular only hand motion Rather, it has the advantage of being applicable to games that can be played using finger gestures.

도 1 은 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2 는 도 1의 손가락 정보 획득부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 3 은 도 1의 손가락 동작 인식부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.
도 4 는 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 방법에 대한 동작 흐름을 도시한 순서도이다.1 is a block diagram referred to describe the configuration of a sensorless finger motion tracking device according to the present invention.
FIG. 2 is a block diagram referred to describe a detailed configuration of the finger information acquisition unit of FIG. 1.
3 is a block diagram referred to describe a detailed configuration of a finger gesture recognition unit of FIG. 1.
4 is a flowchart illustrating an operation flow of a sensorless-based finger motion tracking method according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니된다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
Prior to the detailed description of the present invention, terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary terms. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

도 1은 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 장치의 구성을 설명하는데 참조되는 블록도이다.1 is a block diagram referred to describe the configuration of a sensorless finger motion tracking device according to the present invention.

센서리스 손가락 모션 트래킹 장치는 기존 장갑형 모션 입력 장치 혹은 센서 기반의 위치 추적 시스템을 개선하여, 센서 없이 직관적으로 손가락을 이용한 상호작용 방법을 제시한다.Sensorless finger motion tracking device improves existing armored motion input device or sensor based position tracking system, and proposes finger-free interaction method without sensor.

도 1에 도시된 바와 같이, 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 장치는 제어부(100), 카메라(200), 입력부(300), 출력부(400), 저장부(500), 손가락 정보 획득부(600), 손가락 동작 인식부(700), 및 가상 손 동작 표현부(800)를 포함한다. 이때, 제어부(100)는 각 부 동작을 제어한다.As shown in FIG. 1, the sensorless finger motion tracking apparatus according to the present invention includes a control unit 100, a camera 200, an input unit 300, an output unit 400, a storage unit 500, and finger information. An acquirer 600, a finger gesture recognition unit 700, and a virtual hand gesture expression unit 800 are included. At this time, the controller 100 controls each sub-operation.

카메라(200)는 손가락 인식을 위해 손 영상을 촬영한다. 카메라(200)를 통해 촬영된 손 영상은 저장부(500)에 저장된다.The camera 200 captures a hand image for finger recognition. The hand image captured by the camera 200 is stored in the storage unit 500.

입력부(300)는 사용자로부터의 제어 명령이 입력된다. 즉, 입력부(300)를 통해 손가락 모션 인식 명령이 입력되면, 제어부(100)는 카메라(200)를 동작시켜 손 영상을 촬영하도록 한다.The input unit 300 receives a control command from the user. That is, when a finger motion recognition command is input through the input unit 300, the controller 100 operates the camera 200 to capture a hand image.

출력부(400)는 카메라(200)를 통해 촬영된 손 영상이 출력되며, 손가락 정보 획득부(600), 손가락 동작 인식부(700), 및 가상 손 동작 표현부(800)의 동작에 의한 결과 데이터가 출력된다.The output unit 400 outputs a hand image photographed through the camera 200, and is a result of the operation of the finger information acquisition unit 600, the finger motion recognition unit 700, and the virtual hand motion representation unit 800. The data is output.

손가락 정보 획득부(600)는 손가락 동작을 인식하기 위해 손가락에 대한 정보를 획득한다. 이때, 손가락 정보 획득부(600)는 카메라(200)를 통해 촬영된 영상에서 손가락이 어느 부분인지를 인식하고, 손가락에 대한 정보를 정의한다. 손가락 정보 획득부(600)에 대한 구체적인 구성 설명은 도 2의 실시예를 참조하도록 한다.The finger information acquisition unit 600 acquires information about a finger in order to recognize a finger motion. At this time, the finger information acquisition unit 600 recognizes which part of the finger in the image photographed by the camera 200, and defines information about the finger. Detailed configuration description of the finger information acquisition unit 600 will refer to the embodiment of FIG. 2.

손가락 동작 인식부(700)는 손가락 정보 획득부(600)에 의해 획득된 손가락 정보에 근거하여 손가락 동작을 인식한다. 이때, 손가락 동작 인식부(700)는 손마디, 손가락 관절 각도, 손가락 간격 등을 통해 손가락 동작을 인식하게 된다. 손가락 동작 인식부(700)에 대한 구체적인 구성 설명은 도 3의 실시예를 참조하도록 한다.The finger gesture recognition unit 700 recognizes a finger gesture based on the finger information acquired by the finger information obtaining unit 600. At this time, the finger motion recognition unit 700 recognizes the finger motion through a hand joint, a finger joint angle, a finger gap, and the like. Detailed configuration of the finger gesture recognition unit 700 will be described with reference to the embodiment of FIG. 3.

가상 손 동작 표현부(800)는 손가락 동작 인식부(700)로부터 손가락 간격 및 관절 각도 등을 입력받아 손바닥의 구부림 각도를 예측하고, 예측 결과와 가상의 손을 연동하여 가상의 손을 통해 손 동작을 표현한다.
The virtual hand motion representation unit 800 receives a finger interval and joint angle from the finger motion recognition unit 700 to predict the bending angle of the palm, and interlocks the prediction result with the virtual hand to operate the hand through the virtual hand. Express

도 2는 도 1의 손가락 정보 획득부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.FIG. 2 is a block diagram referred to describe a detailed configuration of the finger information acquisition unit of FIG. 1.

도 2에 도시된 바와 같이, 본 발명에 따른 손가락 정보 획득부(600)는 비젼기반 손가락 윤곽 획득부(610) 및 손가락 정의부(620)를 포함한다.As shown in FIG. 2, the finger information acquirer 600 according to the present invention includes a vision-based finger outline acquirer 610 and a finger definer 620.

먼저, 비젼기반 손가락 윤곽 획득부(610)는 카메라(200)를 통해 촬영된 영상을 분석하여 손가락의 윤곽을 획득한다. 이때, 비젼기반 손가락 윤곽 획득부(610)는 여러 방법을 이용하여 손가락의 정확한 윤곽을 획득한다.First, the vision-based finger contour acquirer 610 analyzes an image photographed by the camera 200 to obtain a contour of a finger. In this case, the vision-based finger outline acquirer 610 obtains an accurate outline of the finger using various methods.

여기서, 비젼기반 손가락 윤곽 획득부(610)는 깊이 기반 손 인식부(611), 색상 기반 손 인식부(613), 멀티 카메라 기반 손 인식부(615), 손가락 윤곽 획득부(617), 및 손가락 윤곽 보정부(619)를 포함한다.Here, the vision-based finger outline acquirer 610 may include a depth-based hand recognizer 611, a color-based hand recognizer 613, a multi-camera-based hand recognizer 615, a finger outline acquirer 617, and a finger. Contour correction unit 619 is included.

깊이 기반 손 인식부(611)는 촬영 영상을 분석하여 영상에 촬영된 손 이미지의 깊이감을 측정하여 손 및 손가락을 인식한다. 이때, 카메라(200)는 Depth 카메라와 같이 깊이감을 측정할 수 있는 카메라로, 깊이 기반 손 인식부(611)는 Depth 카메라를 통해 촬영된 영상으로부터 깊이 정보를 추출하게 된다. The depth-based hand recognition unit 611 analyzes the photographed image and measures the depth of the hand image captured by the image to recognize the hand and the finger. At this time, the camera 200 is a camera capable of measuring a sense of depth like a depth camera, and the depth-based hand recognition unit 611 extracts depth information from an image photographed by the depth camera.

여기서, Depth 카메라는 영상에서 정확한 손의 위치를 추적하는 것이 어려울 수 있으므로, 이 경우 깊이 기반 손 인식부(611)는 제일 앞에 위치한 물체가 손이라고 가정을 한 상태에서 해당 영상으로부터 깊이 정보를 추출하여 손 및 손가락을 인식하게 된다.Here, the depth camera may be difficult to track the exact position of the hand in the image. In this case, the depth-based hand recognition unit 611 extracts depth information from the image while assuming that the object located in front is the hand. Hand and finger are recognized.

색상 기반 손 인식부(613)는 카메라(200)를 통해 촬영된 영상에서 손의 색상을 검출하고, 검출된 색상들에 근거하여 손 및 손가락을 인식하게 된다. 이때, 색상 기반 손 인식부(613)는 기 등록된 표준 DB 정보에 근거하여 손의 색상값을 비교하게 된다.The color-based hand recognition unit 613 detects the color of the hand in the image captured by the camera 200 and recognizes the hand and the finger based on the detected colors. At this time, the color-based hand recognition unit 613 compares the color values of the hand based on the pre-registered standard DB information.

멀티 카메라 기반 손 인식부(615)는 서로 다른 위치에 배치된 복수의 카메라를 통해 촬영된 영상으로부터 다양한 방향 및 각도의 손 영상에 대한 정보를 획득하고, 이로부터 손 및 손가락을 인식한다.The multi-camera-based hand recognition unit 615 obtains information on hand images of various directions and angles from images captured by a plurality of cameras disposed at different positions, and recognizes a hand and a finger therefrom.

손가락 윤곽 획득부(617)는 깊이 기반 손 인식부(611), 색상 기반 손 인식부(613), 및 멀티 카메라 기반 손 인식부(615)에 의해 획득된 정보들을 이용하여 손가락의 윤곽을 획득한다.The finger outline acquirer 617 obtains the outline of the finger using the information acquired by the depth-based hand recognizer 611, the color-based hand recognizer 613, and the multi-camera-based hand recognizer 615. .

손가락 윤곽 보정부(619)는 카메라(200)를 통해 촬영된 영상에 손가락의 깊이나, 색상값과 유사한 외부의 다른 정보가 포함되어 있는 경우, 해당 정보를 제거한다. 이때, 손가락 윤곽 보정부(619)는 손가락 윤곽 보정 알고리즘을 적용하여 해당 정보를 제거한다.The finger outline correction unit 619 removes the corresponding information when the image captured by the camera 200 includes external information similar to the depth of the finger or the color value. In this case, the finger outline correction unit 619 removes the corresponding information by applying a finger outline correction algorithm.

한편, 손가락 정의부(620)는 비젼기반 손가락 윤곽 획득부(610)에 의해 획득된 손가락 윤곽 정보를 이용하여 손가락을 정의한다. 이때, 손가락 정의부(620)는 오른손/왼손 정의부(621), 손바닥/손등 정의부(623), 및 손가락 순서 정의부(625)를 포함한다.Meanwhile, the finger defining unit 620 defines a finger by using the finger outline information obtained by the vision-based finger outline obtaining unit 610. In this case, the finger defining unit 620 includes a right hand / left hand defining unit 621, a palm / hand back defining unit 623, and a finger order defining unit 625.

먼저, 오른손/왼손 정의부(621)는 손가락들 중 엄지 손가락이 짧은 것을 이용하여 영상에 포함된 손이 오른손인지 왼손인지를 정의한다.First, the right hand / left hand defining unit 621 defines whether a hand included in an image is a right hand or a left hand using a shorter thumb among the fingers.

또한, 손바닥/손등 정의부(623)는 영상에 포함된 손에 대해 비젼 기반으로 손톱을 인식하여, 해당 영상에 포함된 손이 손바닥인지 혹은 손등인지를 정의한다.In addition, the palm / hand back definition unit 623 recognizes a nail based on a vision based on the hand included in the image, and defines whether the hand included in the image is the palm or the back of the hand.

한편, 손가락 순서 정의부(625)는 오른손/왼손 정의부(621)와 손바닥/손등 정의부(623)에서 정의한 결과에 근거하여 해당 영상에 포함된 손에 대해 엄지, 검지, 중지, 약지, 그리고 소지를 파악하여, 손가락의 순서를 정의한다.
On the other hand, the finger order defining unit 625 is based on the results defined by the right / left hand definition unit 621 and the palm / hand back definition unit 623, the thumb, index finger, middle finger, ring finger, and for the hand included in the image. Identify your possessions and define the order of your fingers.

도 3은 도 1의 손가락 동작 인식부에 대한 세부 구성을 설명하는데 참조되는 블록도이다.3 is a block diagram referred to describe a detailed configuration of the finger gesture recognition unit of FIG. 1.

도 3에 도시된 바와 같이, 본 발명에 따른 손가락 동작 인식부(700)는 손마디 분할부(710), 손가락 관절각도 예측부(720), 및 손가락 간격 측정부(730)를 포함한다.As shown in FIG. 3, the finger gesture recognition unit 700 according to the present invention includes a hand segment splitter 710, a finger joint angle predictor 720, and a finger gap measurer 730.

먼저, 손마디 분할부(710)는 손가락 정보 획득부(600)에서 획득된 손가락 윤곽 정보에 근거하여 손마디를 각각 분할하여, 분할된 각각의 손마디를 정의한다. 이때, 손마디 분할부(710)는 분할된 각각의 손마디를 손가락 관절에 따라 상, 중, 하로 나누어 정의한다.First, the knuckle divider 710 divides the knuckles based on the finger outline information obtained by the finger information acquirer 600 to define respective knuckles. At this time, the hand segment divider 710 divides each segment of the hand segment into upper, middle, and lower portions according to finger joints.

여기서, 손마디 분할부(710)는 손 캘리브레이션부(711), 손마디 사전 분리부(713), 및 손마디 매칭부(715)를 포함한다.Here, the hand segment divider 710 includes a hand calibration unit 711, a hand segment pre-separator 713, and a hand node matching unit 715.

손 캘리브레이션부(711)는 영상에 포함된 손 모양을 펼친 상태에서 해당 손 영상에 대한 캘리브레이션(calibration)을 수행한다.The hand calibration unit 711 performs a calibration on the corresponding hand image in a state where the shape of the hand included in the image is unfolded.

사용자마다 손의 크기 및 색상이 다르기 때문에, 손 캘리브레이션부(711)는 손 영상에 대해 캘리브레이션을 수행함으로써 손 영상의 색상을 기준치에 맞게 교정한다.Since the size and color of the hand are different for each user, the hand calibration unit 711 corrects the color of the hand image to a reference value by performing calibration on the hand image.

손마디 사전 분리부(713)는 손 캘리브레이션부(711)에 의해 캘리브레이션된 손 영상에 대해 손마디를 분리한다.The hand joint pre-separation unit 713 separates the hand joint from the hand image calibrated by the hand calibration unit 711.

손마디 매칭부(715)는 손 영상과 손의 윤곽에 따라 손 영상의 손가락에 분리된 각각의 손마디들을 매칭시킨다.The hand node matching unit 715 matches the hand nodes separated on the fingers of the hand image according to the hand image and the contour of the hand.

한편, 손가락 관절각도 예측부(720)는 손가락 동작을 인식하여 손가락 관절의 구부림 정도를 예측한다. 이때, 손가락 관절각도 예측부(720)는 손가락 관절 구부림 실험부(721) 및 손마디 정보기반 관절각도 예측부(723)를 포함한다.Meanwhile, the finger joint angle predictor 720 recognizes a finger motion to predict the degree of bending of the finger joint. In this case, the finger joint angle predictor 720 includes a finger joint bending experiment unit 721 and a hand joint information-based joint angle predictor 723.

손가락 관절 구부림 실험부(721)는 사전에 일반적인 사람의 손가락 관절 구부림에 따라 어느 정도의 손마디 크기가 되는지를 실험한다. 이때, 손가락 관절 구부림 실험부(721)는 실험 결과로부터 손가락 관절 구부림에 따른 손마디의 크기 정보를 획득한다.The finger joint bending experiment unit 721 tests the size of the hand joint according to the bending of the finger joint of a general person in advance. At this time, the finger joint bending experiment unit 721 obtains the size information of the hand joint according to the finger joint bending from the test result.

손마디 정보기반 관절각도 예측부(723)는 손가락 관절 구부림 실험부(721)에 의해 획득된 손가락 관절 구부림에 따른 손마디의 크기 정보와 손마디 매칭부(715)에 의해 매칭된 각각의 손마디들을 비교한다. 이때, 손마디 정보기반 관절각도 예측부(723)는 손마디 매칭부(715)에 의해 매칭된 각각의 손마디들의 크기에 따라 각 손마디의 구부림 정도, 즉, 손가락의 관절각도를 예측한다.Hand joint information-based joint angle prediction unit 723 is the hand joint size matched by the hand joint matching unit 715 and the size information of the hand joint obtained by the finger joint bending experiment unit 721 Compare them. At this time, the hand joint information-based joint angle predicting unit 723 predicts the degree of bending of each hand joint, that is, the joint angle of the finger, according to the size of each hand joint matched by the hand joint matching unit 715.

한편, 손마디 정보기반 관절각도 예측부(723)는 손가락 끝의 정확한 위치를 알고 있다면, 역 기구학(Inverse Kinematics)을 이용하여 손가락의 관절각도를 예측할 수도 있다.Meanwhile, the hand joint information-based joint angle prediction unit 723 may predict the joint angle of the finger using inverse kinematics if the finger tip knows the exact position of the finger.

손가락 간격 측정부(730)는 손가락 사이에 벌어진 정도를 이용하여 손가락의 간격을 측정한다. 이때, 손가락 간격 측정부(730)는 손가락 윤곽 기반 손 간격 예측부(731)를 포함한다. 손가락 윤곽 기반 손 간격 예측부(731)는 비젼기반 손가락 윤곽 획득부(610)를 통해 획득한 손가락 사이의 벌이진 정도를 이용하여 손가락 윤곽 기반 손 간격을 예측한다.
The finger gap measurement unit 730 measures the distance between the fingers using the gap between the fingers. In this case, the finger gap measurement unit 730 includes a finger contour based hand gap prediction unit 731. The finger contour-based hand interval predictor 731 predicts the finger contour-based hand interval by using the gap between the fingers obtained through the vision-based finger contour acquirer 610.

도 4는 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 방법에 대한 동작 흐름을 도시한 순서도이다.4 is a flowchart illustrating an operation flow of a sensorless-based finger motion tracking method according to the present invention.

도 4에 도시된 바와 같이, 본 발명에 따른 센서리스 기반의 손가락 모션 트래킹 장치는 카메라(200)를 통해 영상이 입력되면(S10), 카메라(200)를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽을 획득한다(S20).As shown in FIG. 4, in the sensorless-based finger motion tracking apparatus according to the present invention, when an image is input through the camera 200 (S10), the vision-based finger is analyzed by analyzing the image captured by the camera 200. Obtain the outline (S20).

물론, 'S20' 과정은 영상에 촬영된 손 이미지의 깊이감, 색상, 서로 다른 위치에 배치된 복수의 카메라를 통해 촬영된 영상으로부터 다양한 방향 및 각도의 손 영상에 대한 정보를 획득하여, 그로부터 손가락 윤곽을 획득한다.Of course, the 'S20' process acquires information on the hand images of various directions and angles from the images captured by the depth, color, and a plurality of cameras disposed at different positions of the hand image captured in the image, Acquire an outline.

이때, 손가락 모션 트래킹 장치는 'S20' 과정에서 생성된 손가락 윤곽 정보에 근거하여 오른손/왼손, 손바닥/손등, 손가락의 순서 등을 파악하고, 그 결과로부터 손가락을 정의한다(S30).In this case, the finger motion tracking apparatus grasps the order of the right hand / left hand, the palm / hand back, the finger, etc. based on the finger contour information generated in step S20 and defines a finger from the result (S30).

이후, 손가락 모션 트래킹 장치는 'S20' 과정에서 획득된 손가락 윤곽 정보에 근거하여 손마디를 각각 분할하고(S40), 분할된 각각의 손마디들의 크기에 따라 각 손마디의 구부림 정도, 즉, 인간공학 기반 손가락의 관절각도를 예측한다(S50).Subsequently, the finger motion tracking apparatus divides the knuckles based on the finger outline information obtained in step S20 (S40), and according to the sizes of the divided knuckles, the bending degree of each knuckle, that is, the human To predict the joint angle of the engineering-based finger (S50).

또한, 손가락 모션 트래킹 장치는 손가락 사이에 벌어진 정도를 이용하여 손가락의 간격을 측정한다(S60). In addition, the finger motion tracking device measures the distance between the fingers using the gap between the fingers (S60).

이때, 손가락 모션 트래킹 장치는 'S50' 과정의 손가락 관절각도와, 'S60' 과정의 손가락 간격에 근거하여 손바닥의 구부림 각도를 예측하고(S70), 'S70' 과정에서 예측된 손바닥의 구부림 각도와 가상의 손을 연동한다(S80).At this time, the finger motion tracking device predicts the bending angle of the palm based on the finger joint angle in the 'S50' process and the finger spacing in the 'S60' process (S70), and the predicted bending angle of the palm in the 'S70' process. Interlock a virtual hand (S80).

따라서, 본 발명에 따른 손가락 모션 트래킹 장치는 가상의 손을 통해 손 동작을 표현하는 것이 가능하게 된다.
Accordingly, the finger motion tracking device according to the present invention can express hand motions through a virtual hand.

이상 설명한 바와 같이, 본 발명의 실시예는 센서를 부착하지 않고 직관적으로 손가락 동작을 인식할 수 있는 방법을 제시함으로써 가상현실 및 게임 콘텐츠의 상호작용 효과를 극대화시키게 된다.As described above, an embodiment of the present invention maximizes the interaction effect of virtual reality and game content by providing a method for intuitively recognizing a finger gesture without attaching a sensor.

한편, 본 발명은 상술한 실시예로만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 수정 및 변형하여 실시할 수 있다. 즉, 본 발명의 실시예 설명에서는 센서리스 기반의 손가락 모션 트래킹 방법 및 그 장치에 대해 설명하였으나, 이러한 손가락 모션 트래킹 방법 및 그 장치은 손가락 위치 추적 시스템에만 국한되는 것이 아니고 위치 추적과 관련된 다양한 방법에 적용할 수 있다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해지는 것으로 보아야 한다.
In addition, the present invention is not limited only to the above-described embodiments, but may be modified and modified without departing from the scope of the present invention. That is, in the exemplary embodiment of the present invention, a sensorless-based finger motion tracking method and apparatus have been described. However, the finger motion tracking method and apparatus are not limited to the finger position tracking system but applied to various methods related to position tracking. can do. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be viewed not only by the scope of the following claims, but also by those equivalent to the scope of the claims.

100: 제어부 200: 카메라
300: 입력부 400: 출력부
500: 저장부 600: 손가락 정보 획득부
610: 비젼기반 손가락 윤곽 획득부 611: 깊이 기반 손 인식부
613: 색상 기반 손 인식부 615: 멀티 카메라 기반 손 인식부
617: 손가락 윤곽 획득부 619: 손가락 윤곽 보정부
620: 손가락 정의부 621: 오른손/왼손 정의부
623: 손바닥/손등 정의부 625: 손가락 순서 정의부
700: 손가락 동작 인식부 710: 손마디 분할부
711: 손 캘리브레이션부 713: 손마디 사전 분리부
715: 손마디 매칭부 720: 손가락 관절각도 예측부
721: 손가락 관절 구부림 실험부
723: 손마디 정보기반 관절각도 예측부
730: 손가락 간격 측정부
731: 손가락 윤곽 기반 손 간격 예측부
800: 가상 손 동작 표현부100: control unit 200: camera
300: input unit 400: output unit
500: storage unit 600: finger information acquisition unit
610: vision-based finger contour acquisition unit 611: depth-based hand recognition unit
613: color-based hand recognition unit 615: multi-camera-based hand recognition unit
617: finger outline acquisition unit 619: finger outline correction unit
620: finger definition 621: right hand / left hand definition
623: palm / hand back definition part 625: finger order definition part
700: finger gesture recognition unit 710: hand segment divider
711: hand calibration unit 713: hand joint pre-separation unit
715: knuckle matching unit 720: finger joint angle predictor
721: finger joint bending experiment
723: Hand joint information based joint angle prediction unit
730: finger gap measurement unit
731: finger contour based hand spacing predictor
800: virtual hand motion expression unit

Claims (10)

카메라를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽 정보를 획득하는 단계;
상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 단계;
상기 손가락 윤곽 정보에 근거하여 손 모양을 펼친 상태에서의 손마디를 각각 분할하고, 분할된 각각의 손마디들의 크기를 기획득된 손가락 관절 구부림에 따른 손마디 크기 정보와 비교하여 손가락의 관절각도를 예측하는 단계;
상기 손가락 윤곽 정보에 근거하여 상기 손가락의 간격을 측정하는 단계; 및
상기 손가락의 관절각도와 상기 손가락의 간격에 근거하여 손바닥의 구부림 각도를 예측하고, 상기 손바닥의 구부림 각도와 가상의 손을 연동하는 단계;를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 방법.Obtaining vision-based finger contour information by analyzing an image captured by the camera;
Defining a finger based on the finger outline information;
Based on the finger outline information, the hand joints in the state of spreading the hand shape are respectively divided, and the size of each segmented hand joint is compared with the hand joint size information according to the planned finger joint bending. Predicting;
Measuring a distance between the fingers based on the finger outline information; And
Predicting the bending angle of the palm based on the joint angle of the finger and the distance between the fingers, and interlocking the bending angle of the palm with the virtual hand; . 청구항 1에 있어서,
상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계는,
상기 영상으로부터 추출된 손 이미지에 대한 깊이 또는 색상 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 방법.The method according to claim 1,
Acquiring the vision-based finger contour information,
And acquiring the vision-based finger contour information based on depth or color information of the hand image extracted from the image. 청구항 1에 있어서,
상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계는,
서로 다른 위치에 배치된 멀티 카메라를 통해 촬영된 복수의 방향 및 각도의 손 영상에 대한 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 방법.The method according to claim 1,
Acquiring the vision-based finger contour information,
And acquiring the vision-based finger contour information based on information on the hand images of a plurality of directions and angles photographed through multiple cameras disposed at different positions. Way. 청구항 1에 있어서,
상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 단계는,
상기 손가락 윤곽 정보에 기초하여 오른손/왼손, 손바닥/손등 또는 손가락 순서 중 적어도 어느 하나 이상을 파악하는 단계를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 방법.The method according to claim 1,
Defining a finger based on the finger outline information,
And detecting at least one of a right hand / left hand, a palm / hand back, or a finger sequence based on the finger outline information. 삭제delete 카메라를 통해 촬영된 영상을 분석하여 비젼 기반 손가락 윤곽 정보를 획득하고, 상기 손가락 윤곽 정보에 근거하여 손가락을 정의하는 손가락 정보 획득부;
상기 손가락 정보 획득부에 의해 획득된 손가락 윤곽 정보에 근거하여 손 모양을 펼친 상태에서의 손마디를 각각 분할하고, 분할된 각각의 손마디들의 크기를 기획득된 손가락 관절 구부림에 따른 손마디 크기 정보와 비교하여 손가락의 관절각도를 예측하며, 상기 손가락의 간격을 예측하는 손가락 동작 인식부; 및
상기 손가락 동작 인식부에 의해 예측된 상기 손가락의 관절각도 및 간격에 근거하여 손바닥의 구부림 각도를 예측하고, 상기 손바닥의 구부림 각도와 가상의 손을 연동하는 가상 손 동작 표현부;를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 장치.A finger information acquisition unit that obtains vision-based finger outline information by analyzing an image photographed through a camera and defines a finger based on the finger outline information;
Based on the finger outline information acquired by the finger information acquisition unit, the hand joints in the state where the hands are spread are divided, and the hand joint size information according to the bent finger joint bending is obtained for the size of each divided hand joint. A finger motion recognition unit for predicting a joint angle of a finger compared to the finger and predicting a distance between the fingers; And
And a virtual hand motion representation unit for predicting a bending angle of a palm based on the joint angle and interval of the finger predicted by the finger motion recognition unit, and interlocking a virtual hand with the bending angle of the palm. Sensorless based finger motion tracking device. 청구항 6에 있어서,
상기 손가락 정보 획득부는,
상기 영상으로부터 추출된 손 이미지에 대한 깊이 또는 색상 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 비젼기반 손가락 윤곽 획득부를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 장치.The method of claim 6,
The finger information acquisition unit,
And a vision-based finger contour acquisition unit for obtaining the vision-based finger contour information based on depth or color information of the hand image extracted from the image. 청구항 7에 있어서,
상기 비젼기반 손가락 윤곽 획득부는 서로 다른 위치에 배치된 멀티 카메라를 통해 촬영된 복수의 방향 및 각도의 손 영상에 대한 정보에 기초하여 상기 비젼 기반 손가락 윤곽 정보를 획득하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 장치.The method of claim 7,
The vision-based finger contour acquisition unit obtains the vision-based finger contour information based on information on a plurality of directions and angles of the hand image photographed by multiple cameras disposed at different positions. Finger motion tracking device. 청구항 6에 있어서,
상기 손가락 정보 획득부는
상기 손가락 윤곽 정보에 기초하여 오른손/왼손, 손바닥/손등 또는 손가락 순서 중 적어도 어느 하나 이상을 파악하는 손가락 정의부를 포함하는 것을 특징으로 하는 센서리스 기반의 손가락 모션 트래킹 장치.The method of claim 6,
The finger information acquisition unit
And a finger definition unit for detecting at least one of a right hand / left hand, a palm / hand back, or a finger sequence based on the finger outline information. 삭제delete
KR1020100108348A 2010-11-02 2010-11-02 Method for tracking finger motion based on sensorless and apparatus thereof KR101360149B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100108348A KR101360149B1 (en) 2010-11-02 2010-11-02 Method for tracking finger motion based on sensorless and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108348A KR101360149B1 (en) 2010-11-02 2010-11-02 Method for tracking finger motion based on sensorless and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20120046607A KR20120046607A (en) 2012-05-10
KR101360149B1 true KR101360149B1 (en) 2014-02-11

Family

ID=46265666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108348A KR101360149B1 (en) 2010-11-02 2010-11-02 Method for tracking finger motion based on sensorless and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101360149B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524575B1 (en) * 2014-08-20 2015-06-03 박준호 Wearable device
KR101577359B1 (en) * 2015-03-16 2015-12-14 박준호 Wearable device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2650754A3 (en) * 2012-03-15 2014-09-24 Omron Corporation Gesture recognition apparatus, electronic device, gesture recognition method, control program, and recording medium
KR101436050B1 (en) * 2013-06-07 2014-09-02 한국과학기술연구원 Method of establishing database including hand shape depth images and method and device of recognizing hand shapes
KR101865655B1 (en) 2014-06-26 2018-06-11 한국과학기술원 Method and apparatus for providing service for augmented reality interaction
WO2015199502A1 (en) * 2014-06-26 2015-12-30 한국과학기술원 Apparatus and method for providing augmented reality interaction service
KR101654120B1 (en) * 2014-11-03 2016-09-06 광운대학교 산학협력단 A Robust Finger Shape Recognition Method to Shape Angle by using Geometrical Features
KR101745406B1 (en) 2015-09-03 2017-06-12 한국과학기술연구원 Apparatus and method of hand gesture recognition based on depth image
CN106127181B (en) * 2016-07-02 2020-03-20 乐活无限（北京）科技有限公司 Method and system for virtually trying on nail art

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (en) * 2006-07-19 2007-11-19 한국전자통신연구원 Gesture recognition method and system in picture process system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (en) * 2006-07-19 2007-11-19 한국전자통신연구원 Gesture recognition method and system in picture process system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Capturing Natural Hand Articulation(Ying Wu 외 2명, Eighth IEEE International Conference on Computer Vision, ICCV 2001. Vol. 2, pages 426-432. 2001.07.14.) *
Model-based 3D tracking of an articulated hand(B. Stenger 외 2명, 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2001. Vol. 2, pages 310-315, 2001. 12. 14.) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524575B1 (en) * 2014-08-20 2015-06-03 박준호 Wearable device
WO2016028097A1 (en) * 2014-08-20 2016-02-25 Jun Ho Park Wearable device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
US10908642B2 (en) 2014-10-15 2021-02-02 Motionvirtual, Inc. Movement-based data input device
KR101577359B1 (en) * 2015-03-16 2015-12-14 박준호 Wearable device
WO2016148486A1 (en) * 2015-03-16 2016-09-22 박준호 Wearable device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10747260B2 (en) 2015-09-03 2020-08-18 Motionvirtual, Inc. Methods, devices, and systems for processing blood vessel data

Also Published As

Publication number Publication date
KR20120046607A (en) 2012-05-10

Similar Documents

Publication Publication Date Title
KR101360149B1 (en) Method for tracking finger motion based on sensorless and apparatus thereof
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
JP6360050B2 (en) Method and system for simultaneous human-computer gesture-based interaction using unique noteworthy points on the hand
Oka et al. Real-time fingertip tracking and gesture recognition
KR101807241B1 (en) Apparatus and method for assuming finger location based on image acquired by single camera and computer readable media storing program performing the method
CN108845668B (en) Man-machine interaction system and method
US8897491B2 (en) System for finger recognition and tracking
US20120204133A1 (en) Gesture-Based User Interface
US20120202569A1 (en) Three-Dimensional User Interface for Game Applications
US10466798B2 (en) System and method for inputting gestures in 3D scene
US20110289455A1 (en) Gestures And Gesture Recognition For Manipulating A User-Interface
US20130249786A1 (en) Gesture-based control system
US20140139429A1 (en) System and method for computer vision based hand gesture identification
KR101631011B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
WO2012081012A1 (en) Computer vision based hand identification
TWI526877B (en) Input device, machine, input method and recording medium
JP6141108B2 (en) Information processing apparatus and method
CN104914990B (en) The control method of gesture recognition device and gesture recognition device
WO2013051681A1 (en) Finger shape estimation device, finger shape estimation method, and finger shape estimation program
KR101396488B1 (en) Apparatus for signal input and method thereof
JP2016167268A (en) Gesture modeling device, gesture modeling method, program for gesture modeling system, and gesture modeling system
KR101281461B1 (en) Multi-touch input method and system using image analysis
JP6086474B2 (en) Information terminal equipment
JP5464661B2 (en) Information terminal equipment
KR101614798B1 (en) Non-contact multi touch recognition method and system using color image analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 5