KR102382883B1 - 3d hand posture recognition apparatus and method using the same - Google Patents

3d hand posture recognition apparatus and method using the same Download PDF

Info

Publication number
KR102382883B1
KR102382883B1 KR1020170177807A KR20170177807A KR102382883B1 KR 102382883 B1 KR102382883 B1 KR 102382883B1 KR 1020170177807 A KR1020170177807 A KR 1020170177807A KR 20170177807 A KR20170177807 A KR 20170177807A KR 102382883 B1 KR102382883 B1 KR 102382883B1
Authority
KR
South Korea
Prior art keywords
hand
image
region
shape model
detected
Prior art date
Application number
KR1020170177807A
Other languages
Korean (ko)
Other versions
KR20190076202A (en
Inventor
조동찬
황영규
김정배
오영택
Original Assignee
주식회사 알체라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알체라 filed Critical 주식회사 알체라
Priority to KR1020170177807A priority Critical patent/KR102382883B1/en
Publication of KR20190076202A publication Critical patent/KR20190076202A/en
Application granted granted Critical
Publication of KR102382883B1 publication Critical patent/KR102382883B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 손 영상 검출부, 손영상 정규화부, 손 스켈레톤 생성부, 3차원 손 형상 모델 생성부 및 상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합부;를 포함하는 손 자세 인식 장치 및 이를 이용하는 손 자세 인식 방법에 관한 것이다.The present invention provides a hand image detection unit, a hand image normalization unit, a hand skeleton generation unit, a 3D hand shape model generation unit, and a hand shape model matching unit that converts the generated 3D hand shape model by matching the generated skeleton to the generated skeleton; It relates to a hand posture recognition apparatus comprising the same and a hand posture recognition method using the same.

Description

3차원 손 자세 인식 장치 및 방법{3D HAND POSTURE RECOGNITION APPARATUS AND METHOD USING THE SAME}3D hand posture recognition device and method

본 발명은 3차원 손 자세 인식 장치 및 방법에 관한 것이다.The present invention relates to a three-dimensional hand posture recognition apparatus and method.

영상에서 오브젝트를 인식하는 컴퓨터 비전 분야에 있어서, 오브젝트을 정확하게 식별하고, 오브젝트의 특징을 세밀하게 인식하고 위한 수많은 시도가 존재하였다. 이러한 오브젝트 인식 기술은 인식 과정의 의사 결정 단계를 알고리즘화하는 것에서 오브젝트 인식 데이터로부터 인식 과정을 학습할 수 있는 머신 러닝 분야로 발전하였다. 특히, 머신 러닝은 인간의 신경망을 노드로 모사한 신경망 모델은 복수의 노드로 구성된 신경망을 다층으로 구현한 심층 신경망 모델로 발전하면서 인식율이 비약적으로 발전하였다.In the field of computer vision for recognizing an object in an image, numerous attempts have been made to accurately identify the object and to recognize the features of the object in detail. This object recognition technology has developed from algorithmizing the decision-making step of the recognition process to the field of machine learning that can learn the recognition process from object recognition data. In particular, in machine learning, a neural network model that mimics a human neural network as a node has developed into a deep neural network model that implements a neural network composed of multiple nodes in multiple layers, and the recognition rate has dramatically improved.

그러나, 이러한 심층 신경망 모델은 많은 변이를 포함하는 훈련 데이터를 필요로 하며, 많은 양의 연산량과 데이터 전송량을 요구하여, 심층 신경망 시스템이 복잡하고 방대 해지는 문제점이 있었다.However, such a deep neural network model requires training data including many variations, and requires a large amount of computation and data transmission, so that the deep neural network system is complicated and vast.

특히, 종래의 머신 러닝 기방 손 인식 시스템은 훈련 데이터의 입력이 왼손 오른손으로 존재하며, 손가락의 움직임에 따라 훈련 데이터의 분포가 넓어지게 되므로, 훈련 데이터의 확보가 어렵고, 심층 신경망 시스템의 복잡성과 데이터 소요량이 과도하며, 훈련 데이터가 주로 오른손의 손바닥으로 편중되는 등 많은 하이퍼 파라미터의 영향을 받는 관계로 학습이 까다로운 문제점이 있었다.In particular, in the conventional machine learning gibang hand recognition system, the input of the training data exists in the left and right hands, and the distribution of the training data is widened according to the movement of the finger, so it is difficult to secure the training data, and the complexity and data of the deep neural network system There was a problem in learning difficult because the required amount is excessive and the training data is affected by many hyperparameters, such as being biased mainly on the palm of the right hand.

본 발명의 일 측면에 따르면, 적은 양의 훈련 데이터로도 모든 방향의 손 자세를 학습할 수 있으며, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량이 감소되면서도 인식율이 높은 손 자세 인식 장치 및 방법을 제공할 수 있다.According to one aspect of the present invention, it is possible to learn hand postures in all directions even with a small amount of training data, and a hand posture recognition device with a high recognition rate while reducing the complexity, amount of learning computation and data transmission of a learning system for hand recognition and methods may be provided.

본 발명의 일 실시예에 따른 손 자세 인식 장치는, 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출부;An apparatus for recognizing a hand posture according to an embodiment of the present invention includes: a hand image detector configured to detect an image of a hand region from an original image;

상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화부;a hand image normalizer for normalizing and converting the detected image of the hand region into a hand image in a predetermined direction;

상기 검출된 손 영역의 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성부;a hand skeleton generator for generating a skeleton including one or more joint points from the detected image of the hand region;

상기 정규화 변환된 손 영상에 대응하는 3차원 손 모델을 생성하는 3차원 손 형상 모델 생성부; 및a three-dimensional hand shape model generator for generating a three-dimensional hand model corresponding to the normalized-converted hand image; and

상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시키는 손 모델 정합부;를 포함할 수 있다.It may include; a hand model matching unit for matching the generated three-dimensional hand shape model to the generated skeleton.

또한, 본 발명의 일 실시예에 따른 손 자세 인식 방법은, 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출 단계;In addition, the hand posture recognition method according to an embodiment of the present invention, the hand image detection step of detecting an image of the hand region from the original image;

상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계;a hand image normalization step of normalizing and converting the image of the detected hand region into a hand image in a predetermined direction;

상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계;a hand skeleton generating step of generating a skeleton including one or more joint points from the normalized transformed hand image;

상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계; 및a 3D hand shape model generating step of generating a 3D hand shape model corresponding to the normalized transformed hand image; and

상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계;를 포함할 수 있다.It may include; a hand shape model matching step of transforming by matching the generated 3D hand shape model to the generated skeleton.

또한, 본 발명의 일 실시예에 따른 프로그램은, 상기 손 자세 인식 방법을 실행하기 위한 명령을 포함할 수 있다.In addition, the program according to an embodiment of the present invention may include a command for executing the hand posture recognition method.

또한, 본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는, 상기 프로그램이 저장된 것일 수 있다.In addition, the computer-readable recording medium according to an embodiment of the present invention may store the program.

본 발명의 일 실시예에 따른 손 자세 인식 장치 및 방법은 따르면, 입력 영상을 미리 정해진 하나의 방향의 손의 영상으로 변환하므로, 적은 양의 입력만으로도 손 자세 인식 장치를 학습시킬 수 있고, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량을 감소시킬 수 있으며, 3차원 손 형상 모델과 정합 위치를 용이하게 계산할 수 있다. 또한, 편향된 방향의 손 입력 영상의 학습 이후에도, 다양한 방향의 손 입력 영상으로 3차원 손 자세를 인식할 수 있다.According to the apparatus and method for recognizing a hand posture according to an embodiment of the present invention, since an input image is converted into an image of a hand in a predetermined direction, the hand posture recognizing apparatus can be trained with only a small amount of input, and hand recognition It is possible to reduce the complexity of the learning system, the amount of learning computation, and the amount of data transmission, and it is possible to easily calculate the 3D hand shape model and the registration position. In addition, even after learning of the hand input image in the biased direction, the three-dimensional hand posture may be recognized by the hand input image in various directions.

도 1은 본 발명의 일 실시예에 따른 손 자세 인식 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 손 영상 검출부가 원본 영상에서 손 영역의 영상이 검출한 결과를 나타낸 것이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 6 및 7은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상(121)이 방향이 미리 정해진 하나의 방향과 상이한 경우에 해당되는 경우, 검출된 손 영역의 영상을 반전하여 오른손으로 변환하는 과정을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 손 스켈레톤 생성부가 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 과정을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부가 상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 것을 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 손 형상 모델 정합부가 생성된 3차원 손 형상 모델에 2차원 스켈레톤을 정합시켜 3차원 손 형상 모델으로 변환하는 과정을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 손 자세 인식 방법의 과정을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 손영상 정규화 단계를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 단계를 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 것이다.1 is a block diagram of an apparatus for recognizing a hand posture according to an embodiment of the present invention.
2 is a diagram illustrating a result of detecting an image of a hand region from an original image by a hand image detection unit according to an embodiment of the present invention.
3 to 5 are diagrams illustrating a process of image processing in order to recognize whether the hand of the image of the detected hand region is the right hand or the left hand by the hand image normalizer according to an embodiment of the present invention.
6 and 7 are diagrams illustrating a process of image processing in order to recognize whether the hand of the image of the detected hand region by the hand image normalizer according to an embodiment of the present invention is the back of the hand or the palm.
8 is a diagram illustrating a case in which an image 121 of a hand region detected by the hand image normalizer according to an embodiment of the present invention is different from one predetermined direction by inverting the image of the detected hand region to the right hand. The process of converting to
9 is a diagram illustrating a process of generating a skeleton including one or more joint points from the normalized transformed hand image by the hand skeleton generating unit according to an embodiment of the present invention.
10 is a diagram illustrating that the 3D hand shape model generating unit generates a 3D hand shape model corresponding to the normalized transformed hand image according to an embodiment of the present invention.
11 is a diagram illustrating a process of converting a 3D hand shape model by matching a 2D skeleton to a 3D hand shape model generated by the hand shape model matching unit according to an embodiment of the present invention.
12 illustrates a process of a hand posture recognition method according to an embodiment of the present invention.
13 illustrates a hand image normalization step according to an embodiment of the present invention.
14 is a diagram illustrating a step of recognizing whether a hand in an image of a detected hand region is a right hand or a left hand according to an embodiment of the present invention.
15 is a diagram illustrating a step of recognizing whether a hand in an image of a detected hand region is the back of a hand or a palm according to an embodiment of the present invention.
16 illustrates a method for generating augmented reality according to an embodiment of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the specified feature, number, step, operation, component, part, or a combination thereof exists, and includes one or more other features or numbers. , it should be understood that it does not preclude the existence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the context of the related art, and unless explicitly defined in the present specification, they are not to be interpreted in an ideal or excessively formal meaning. . Like reference numerals given in the drawings denote like elements. However, in describing the embodiment, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for explanation, and does not mean the size actually applied.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.Embodiments described herein may have aspects that are entirely hardware, partly hardware and partly software, or entirely software. As used herein, “unit”, “module”, “device” or “system” and the like refer to hardware, a combination of hardware and software, or a computer-related entity such as software. For example, as used herein, a part, module, device, or system is a running process, a processor, an object, an executable, a thread of execution, a program, and/or a computer. (computer), but is not limited thereto. For example, both an application running on a computer and a computer may correspond to a part, module, device, or system of the present specification.

실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.Embodiments have been described with reference to flowcharts presented in the drawings. For simplicity, the method has been shown and described as a series of blocks, but the invention is not limited to the order of the blocks, and some blocks may occur with other blocks in a different order or at the same time as shown and described herein. Also, various other branches, flow paths, and orders of blocks may be implemented that achieve the same or similar result. In addition, not all illustrated blocks may be required for implementation of the methods described herein. Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, and the computer program may be recorded in a computer-readable recording medium.

이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.Hereinafter, the configuration and characteristics of the present invention will be described using examples, but these examples only exemplify the present invention and do not limit the present invention.

본 발명에 있어서, '손 자세(hand posture)'는 손의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합을 의미할 수 있다.In the present invention, 'hand posture' may mean a set of positional information on the three-dimensional space of terminal points and joint points of the hand.

도 1은 본 발명의 일 실시예에 따른 손 자세 인식 장치(10)의 구성도이다. 도 1을 참조하면, 손 자세 인식 장치(10)는 손 영상 검출부(12), 손 영상 정규화부(13), 손 스켈레톤 생성부(14), 3차원 손 형상 모델 생성부(15) 및 손 형상 모델 정합부(16)를 포함할 수 있다. 다른 실시예에서 손 자세 인식 장치(10)는 원본 영상 입력부(11), 손 동작 인식부(17) 및/또는 증강 현실 생성부(18)를 더 포함할 수 있다.1 is a block diagram of a hand posture recognition apparatus 10 according to an embodiment of the present invention. Referring to FIG. 1 , the hand posture recognition device 10 includes a hand image detector 12 , a hand image normalizer 13 , a hand skeleton generator 14 , a three-dimensional hand shape model generator 15 , and a hand shape. It may include a model matching unit 16 . In another embodiment, the hand posture recognition apparatus 10 may further include an original image input unit 11 , a hand gesture recognition unit 17 , and/or an augmented reality generation unit 18 .

본 발명에 있어서, '영상(image)'은 2차원 시각 정보의 데이터 또는 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수 있다. 또한, 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임에 해당되는 것일 수 있다.In the present invention, an 'image' may be data of 2D visual information or data further including depth information in 2D visual information. Also, the image may correspond to any one frame of a moving picture composed of a plurality of frames.

본 발명의 일 실시예에 손 자세 인식 장치에 있어서, 원본 영상은 2차원 영상일 수 있다. 후술할 손 자세 인식 장치의 실시예들은 심도 정보의 입력 없이도 손 자세를 인식이 가능하도록 한다.In the hand posture recognition apparatus according to an embodiment of the present invention, the original image may be a two-dimensional image. Embodiments of an apparatus for recognizing a hand posture, which will be described later, enable recognition of a hand posture without input of depth information.

본 발명의 일 실시예에 따른 원본 영상 입력부(11)는 원본 영상을 전자 데이터 형태로 입력 받는 것일 수 있다. 상기 원본 영상 입력부(11)는 카메라부일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있다. The original image input unit 11 according to an embodiment of the present invention may receive an original image in the form of electronic data. The original image input unit 11 may be a camera unit. Also, the original image input unit 11 may receive the original image from a database in which the original image is stored as electronic data. Also, the original image input unit 11 may receive the original image from an external network connected to a database in which the original image is stored as electronic data.

상기 카메라부는 광학 정보를 2차원 픽셀 색상 정보로 변환하는 것일 수 있다. 또한, 상기 카메라부는 2차원 픽셀 심도 정보를 변환하는 것일 수 있다.The camera unit may convert optical information into 2D pixel color information. Also, the camera unit may convert 2D pixel depth information.

본 발명의 일 실시예에 따른 손 영상 검출부(12)는 원본 영상에서 손 영역의 영상을 검출하는 것일 수 있다.The hand image detection unit 12 according to an embodiment of the present invention may detect an image of a hand region from an original image.

도 2는 본 발명의 일 실시예에 따른 손 영상 검출부(12)가 원본 영상(111)에서 손 영역의 영상(121)이 검출한 결과를 나타낸 것이다.FIG. 2 shows a result of detecting the image 121 of the hand region from the original image 111 by the hand image detection unit 12 according to an embodiment of the present invention.

손 영상 검출부(12)는 원본 영상(111)에서 손 영역의 영상(121)을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.The hand image detector 12 is not limited as long as it can detect the image 121 of the hand region from the original image 111 , and may be an object detector or one using the same. The object detector may be a machine learning-based detector, for example, a Single Shot MultiBox Detector (SSD), You Only Look Once (YOLO), or the like.

본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 것일 수 있다.The hand image normalization unit 13 according to an embodiment of the present invention may recognize whether the hand of the image 121 of the detected hand region is a right hand or a left hand, and convert the hand image in one predetermined direction.

본 발명에 있어서, '미리 정해진 하나의 방향'은 왼손 또는 오른손 중 손 자세 인식의 기준이 되는 손의 방향을 의미할 수 있다. 상기 기준은 필요에 따라 또는 상기 오브젝트 검출기에 연결된 데이터베이스에 저장된 머신 러닝의 훈련 데이터의 양이 더 큰 방향을 계산하여 정할 수 있다.In the present invention, 'one predetermined direction' may refer to a direction of a hand that is a standard for hand posture recognition among the left hand or the right hand. The criterion may be determined as needed or by calculating a direction in which the amount of training data for machine learning stored in a database connected to the object detector is greater.

도 3 내지 5는 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)의 손이 오른손 또는 왼손인지 인식하기 위하여 영상을 처리 과정을 도시한 것이다. 도 3 내지 5를 참조하면, 이러한 영상 처리 과정은 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출한 후, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하여, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출하는 것일 수 있다.3 to 5 are diagrams illustrating an image processing process in order for the hand image normalizer 13 to recognize whether the hand of the image 121 of the detected hand region is a right hand or a left hand according to an embodiment of the present invention. 3 to 5 , in this image processing process, for example, after detecting the boundary line vector 133 between the hand region and the background region, the finger end point and the finger point 134 in the boundary line vector 133 . By detecting , the thumb region and the region 135 of fingers excluding the thumb may be detected.

구체적으로, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 과정은 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다.Specifically, the process of detecting the boundary line vector 133 between the hand region and the background region is, for example, a region in which the color value of each pixel of the image 121 of the detected hand region corresponds to the skin color value range. The boundary line vector 133 between the hand region and the background region may be detected after converting (132) the non-applicable region into a white region and a black region, respectively.

또한, 구체적으로, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 과정은 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다. In addition, specifically, the process of detecting the finger distal point and the inter-finger point 134 in the boundary line vector 133 is, for example, in the boundary line vector 133 between the hand region and the background region, at an inflection point of less than a certain angle. The corresponding point may be detected as the finger distal point and the inter-finger point 134 . For example, if the boundary vector 133 between the detected hand region and the background region is input to a Harris corner detector, and the surrounding vector including the point corresponding to the inflection point is concave, the finger It may be detected as a distal point, and if it is convex, it may be detected as a point between fingers.

본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 것일 수 있다. 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network)에 입력하여 오른손 왼손 영상의 식별값을 산출하여 인식하는 것일 수 있다.The hand image normalization unit 13 according to an embodiment of the present invention may query a database in which discrimination information between a right-hand image and a left-hand image is stored for the image 121 of the detected hand region to recognize whether it is the right hand or the left hand. there is. For example, the image 121 of the detected hand region is input to a machine-learned convolutional neural network (CNN) as learning data for discrimination information between a right-hand image and a left-hand image, and the identification value of the right-hand and left-hand image It may be recognized by calculating .

도 6 및 7은 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다. 도 6 및 7을 참조하면, 이러한 영상 처리 과정은 예를 들어, 도 3과 같이, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출한 후, 도 4와 같이 손가락 말단 포인트를 검출하여 손가락 말단 포인트 주변 영역의 영상(137, 139)에서 경계선 벡터(138, 1310)를 검출하는 것일 수 있다.6 and 7 are diagrams illustrating a process of image processing by the hand image normalizer 13 to recognize whether the hand of the image 121 of the detected hand region is the back of the hand or the palm according to an embodiment of the present invention. Referring to FIGS. 6 and 7 , in this image processing process, for example, as shown in FIG. 3 , a boundary line vector 133 between a hand region and a background region is detected, and then a finger end point is detected as shown in FIG. The boundary line vectors 138 and 1310 may be detected from the images 137 and 139 in the area around the end point.

구체적으로, 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 검출하는 과정은 영상의 특징(feature), 더 구체적으로, 윤곽선 정보를 추출하는 과정을 더 포함할 수 있다. 윤곽선 정보를 추출하는 것은 예를 들어, 손가락 말단 포인트 주변 영역의 영상(137, 139)을 일정 크기의 셀로 분할하고, 각 셀마다 휘도 기울기(gradient magnitude)가 일정 값 이상인 픽셀들의 히스토그램을 계산한 후 히스토그램 빈(bin)을 일렬로 연결한 벡터를 하는 것일 수 있으며, 구체적으로 HOG (Histogram of Oriented Gradient) 프로세싱일 수 있다.Specifically, the process of detecting the boundary line vectors 138 and 1310 between the hand region and the background region may further include extracting features of the image, more specifically, contour information. Extracting the contour information is, for example, after dividing the images 137 and 139 of the area around the finger tip point into cells of a certain size, and calculating a histogram of pixels having a gradient magnitude greater than or equal to a certain value for each cell. It may be a vector in which histogram bins are connected in a row, and specifically, it may be HOG (Histogram of Oriented Gradient) processing.

본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 것일 수 있다. 예를 들어, 상기 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신(SVM, Support Vector Machine)에 입력하여 손톱 현상 존재의 식별값을 산출하여 인식하는 것일 수 있다.The hand image normalization unit 13 according to an embodiment of the present invention may query a database in which identification information between a back image and a palm image is stored for the image 121 of the detected hand region to recognize whether it is the back of the hand or the palm. there is. For example, the boundary line vectors 138 and 1310 between the hand region and the background region are input into a machine-learned Support Vector Machine (SVM) as learning data for nail shape recognition information to identify the presence of a nail phenomenon. It may be recognized by calculating a value.

본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 인식 된 손의 방향이 미리 정해진 하나의 방향과 상이한 경우, 상기 미리 정해진 하나의 방향으로 변환하는 것일 수 있다.The hand image normalizing unit 13 according to an embodiment of the present invention, when the direction of the recognized hand of the image 121 of the detected hand region is different from one predetermined direction, It could be a conversion.

본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 인식 된 손의 방향이 미리 정해진 하나의 방향과 상이한 경우, 왼손을 오른손으로 또는 오른손을 왼손으로 변환하는 것일 수 있다. The hand image normalization unit 13 according to an embodiment of the present invention, when the direction of the recognized hand of the image 121 of the detected hand region is different from one predetermined direction, the left hand to the right hand or the right hand It could be a conversion with the left hand.

도 8은 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)이 방향이 미리 정해진 하나의 방향과 상이한 경우에 해당되는 경우, 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)을 반전(Reflection)하여 오른손으로 변환하는 과정을 도시한 것이다. 상기 변환하는 과정은 예를 들어, 하기 식 1에 따른 연산을 수행하는 것일 수 있다.8 is a case in which the image 121 of the hand region detected by the hand image normalization unit 13 according to an embodiment of the present invention corresponds to a case in which the direction is different from one predetermined direction, according to an embodiment of the present invention. It shows a process of converting the image 121 of the detected hand region by the hand image normalizer 13 according to FIG. The converting process may be, for example, performing an operation according to Equation 1 below.

[식 1] [Equation 1]

Figure 112017128076848-pat00001
Figure 112017128076848-pat00001

상기 식 1에 있어서,

Figure 112017128076848-pat00002
는 검출된 손 영역의 영상(121)에서의 픽셀 x 좌표 위치값 및 y좌표의 위치값이고, W는 검출된 손 영역의 영상(121)의 너비 픽셀값,
Figure 112017128076848-pat00003
는 반전이 적용되어 정규화된 손 영상(136)에서의 픽셀 x 좌표 위치값 및 y좌표의 위치값일 수 있다.In the above formula 1,
Figure 112017128076848-pat00002
is the pixel x-coordinate position value and the y-coordinate position value in the image 121 of the detected hand region, W is the pixel width pixel value of the image 121 of the detected hand region;
Figure 112017128076848-pat00003
may be a pixel x-coordinate position value and a y-coordinate position value in the hand image 136 normalized by applying inversion.

도 9는 본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)가 상기 정규화 변환된 손 영상(136)으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 과정을 도시한 것이다. 9 illustrates a process in which the hand skeleton generating unit 14 generates the skeleton 141 including one or more joint points from the normalized transformed hand image 136 according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)는 상기 정규화 변환된 손 영상(136)으로부터 손가락의 단말 포인트 및 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 것일 수 있다. 상기 손 스켈레톤 생성부(14)는 자세(pose) 검출기이거나 이를 이용하는 것일 수 있으며, 구체적으로, 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network), 예를 들어, CPM (Convolution Pose Machine)에 정규화 변환된 손 영상(136)을 입력하여, 관절 위치의 2차원 위치 및 연결 상태의 벡터값을 산출하여 손 스켈레또는 미리 정해진 하나의 방향으로 정규화된 손 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 것일 수 있다.Referring to FIG. 9 , the hand skeleton generating unit 14 according to an embodiment of the present invention generates a skeleton 141 including terminal points and joint points of a finger from the normalized transformed hand image 136 . can The hand skeleton generating unit 14 may be a pose detector or one using the same, and specifically, a convolutional neural network (CNN) machine-learned as learning data for joint position identification information of an image, e.g. For example, by inputting the normalized transformed hand image 136 to the CPM (Convolution Pose Machine), the two-dimensional position of the joint position and the vector value of the connection state are calculated to obtain a hand skeleton or a hand normalized in one predetermined direction. It may be machine-learned as learning data for joint position identification information of an image.

본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)는 전술한 손 영상 정규화부(13)에서 미리 정해진 하나의 방향의 손의 영상으로 변환된 정규화된 영상(136)을 입력함으로 인하여, 컨볼루션 레이어(convolution layer) 및 풀링 레이어(pooling layer)의 복수 단계의 반복 연산으로 많은 연산과 데이터 전송량이 소요되는 스켈레톤 생성 과정의 시스템 부하를 감소시킬 수 있으며, 스켈레톤 생성 속도를 증가시킬 수 있으며, 적은 학습 데이터로 컨볼루션 신경망을 학습시켜 정확한 스켈레톤 결과를 생성할 수 있다.The hand skeleton generating unit 14 according to an embodiment of the present invention inputs the normalized image 136 converted into an image of a hand in a predetermined direction in the above-described hand image normalizing unit 13. It is possible to reduce the system load of the skeleton generation process, which requires a lot of computation and data transfer, by repeated operations of multiple steps of the convolution layer and the pooling layer, and increase the speed of skeleton generation. By training a convolutional neural network with training data, it is possible to generate accurate skeleton results.

적은 양의 입력만으로도 손 자세 인식 장치를 학습시킬 수 있고, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량을 감소시킬 수 있으며, 3차원 손 형상 모델과 정합 위치를 용이하게 계산할 수 있다. 또한, 편향된 방향의 손 입력 영상의 학습 이후에도, 다양한 방향의 손 입력 영상으로 3차원 손 자세를 인식할 수 있다.A hand posture recognition device can be trained with only a small amount of input, the complexity of the learning system for hand recognition, the amount of learning computation and data transmission can be reduced, and the 3D hand shape model and the registration position can be easily calculated. In addition, even after learning of the hand input image in the biased direction, the three-dimensional hand posture may be recognized by the hand input image in various directions.

도 10은 본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부(15)가 상기 정규화 변환된 손 영상(136)에 대응하는 3차원 손 형상 모델(151)을 생성하는 것을 도시한 것이다.10 illustrates that the 3D hand shape model generating unit 15 generates the 3D hand shape model 151 corresponding to the normalized transformed hand image 136 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부(15)는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델(151)을 매칭시켜 생성하는 것일 수 있다.The three-dimensional hand shape model generation unit 15 according to an embodiment of the present invention, in a three-dimensional hand shape model database in which one or more three-dimensional hand shape models are stored, one three-dimensional (3D) corresponding to the normalized-converted hand image It may be generated by matching the hand shape model 151 .

본 발명에 있어서, '3차원 손 형상 모델'은 손의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합으로서, 원본 영상으로부터 인식하고자 하는 3차원 손 자세를 의미할 수 있다.In the present invention, the 'three-dimensional hand shape model' is a set of position information on the three-dimensional space of terminal points and joint points of the hand, and may mean a three-dimensional hand posture to be recognized from the original image.

본 발명의 일 실시예에 따른 손 형상 모델 정합부(16)는, 상기 생성된 3차원 손 형상 모델(15)을 상기 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향으로 회전시키는 것일 수 있다. 예를 들어, 미리 정해진 하나의 방향이 오른손의 손바닥이고, 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향이 왼손의 손등이라면, y축 기준 90도 회전 행렬을 생성하여 연산하는 것일 수 있다.The hand shape model matching unit 16 according to an embodiment of the present invention converts the generated 3D hand shape model 15 to the image 121 of the detected hand region recognized by the hand image normalization unit 13 . ) may be rotating in the hand direction. For example, if one predetermined direction is the palm of the right hand and the hand direction of the image 121 of the detected hand region recognized by the hand image normalization unit 13 is the back of the left hand, rotate 90 degrees based on the y-axis It may be to generate and operate a matrix.

도 11은 본 발명의 일 실시예에 따른 손 형상 모델 정합부(16)가 생성된 3차원 손 형상 모델(151)에 2차원 스켈레톤(141)을 정합시켜 3차원 손 형상 모델(161)이 변환되는 도시한 것이다. 예를 들어, 상기 손 형상 모델 정합부(16)에서 변환되는 3차원 손 형상 모델(161)은 하기 식 2로 계산된 행렬 R'일 수 있다.11 shows the 3D hand shape model 161 is converted by matching the 2D skeleton 141 to the 3D hand shape model 151 generated by the hand shape model matching unit 16 according to an embodiment of the present invention. will be shown to be For example, the 3D hand shape model 161 converted by the hand shape model matching unit 16 may be a matrix R' calculated by Equation 2 below.

[식 2][Equation 2]

Figure 112017128076848-pat00004
Figure 112017128076848-pat00004

상기 식 2에 있어서, M은 3차원 포인트들을 2차원 포인트들로 변환하는 투영 행렬(projection matrix)이고, R은 3차원 포인트들을 회전 이동하는 4X4 행렬이며, P3d는 상기 정규화 변환된 손 영상(136)에 대응시켜 생성된 3차원 손 형상 모델(151)의 3차원 포인트들의 위치를 나타낸 행렬이고, P2d는 손 스켈레톤 생성부(14)에서 생성된 스켈레톤(141)의 2차원 포인트들의 위치를 나타낸 행렬일 수 있다.In Equation 2, M is a projection matrix that transforms 3D points into 2D points, R is a 4X4 matrix that rotates 3D points, and P 3d is the normalized transformed hand image ( 136) is a matrix indicating the positions of the three-dimensional points of the three-dimensional hand shape model 151 generated in response, P 2d is the position of the two-dimensional points of the skeleton 141 generated by the hand skeleton generator 14 It may be the indicated matrix.

본 발명의 일 실시예에 따른 손 동작 인식부(17)은 상기 변환되는 3차원 손 형상 모델(161)을 손 동작 종류별로 분류되어 저장된 데이터베이스에서 질의하여 해당 손 동장을 인식하는 것일 수 있다. 예를 들어, 상기 변환되는 3차원 손 형상 모델(161)의 3차원 포인트들의 위치, 구체적으로 버텍스(Vertex)들을 손 동작 유형에 대한 학습 데이터로 기계 학습된 순환 신경망(SVM, Recurrent Neural Network)에 입력하여 손 동작 유형의 식별값을 산출하여 해당 손 동작을 인식하는 것일 수 있다.The hand gesture recognition unit 17 according to an embodiment of the present invention may recognize the corresponding hand movement by querying the converted three-dimensional hand shape model 161 from a database classified by hand gesture type and stored. For example, the positions of the three-dimensional points of the converted three-dimensional hand shape model 161, specifically vertices, are machine-learned as learning data for the type of hand motion in a recurrent neural network (SVM). The input may be to calculate an identification value of a hand motion type to recognize the corresponding hand motion.

본 발명의 일 실시예에 따른 증강 현실 생성부(18)는 상기 변환되는 3차원 손 형상 모델(161)과 증강 대상 오브젝트의 3차원 형상 모델을 매칭시켜 원본 영상(111)에 정합하는 것일 수 있다.The augmented reality generating unit 18 according to an embodiment of the present invention may be to match the converted 3D hand shape model 161 with the 3D shape model of the augmented object to match the original image 111 . .

전술한 본 발명에 따른 손 자세 인식 장치에 대한 설명은 모두 후술할 본 발명에 따른 손 자세 인식 방법에 대응하여 적용될 수 있으며, 반대로, 후술할 본 발명에 따른 손 자세 인식 방법에 대한 설명 역시 전술한 손 자세 인식 장치에 응하여 적용될 수 있다.All of the descriptions of the hand posture recognition apparatus according to the present invention described above can be applied corresponding to the hand posture recognition method according to the present invention to be described later, and on the contrary, the description of the hand posture recognition method according to the present invention to be described later is also It may be applied in response to the hand posture recognition device.

도 12는 본 발명의 일 실시예에 따른 손 자세 인식 방법의 과정을 도시한 것이다.12 illustrates a process of a hand posture recognition method according to an embodiment of the present invention.

도 12를 참조하면, 본 발명의 일 실시예에 따른 손 자세 인식 방법은 원본 영상에서 손 영역의 영상을 검출하는 손 영상 검출하는 단계(S13), 상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계(S14), 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계(S15), 상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계(S16) 및 상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계(S17)를 더 포함할 수 있다.Referring to FIG. 12 , the hand posture recognition method according to an embodiment of the present invention includes detecting a hand image for detecting an image of a hand region from an original image (S13), and converting the detected image of the hand region into one predetermined image. A hand image normalization step (S14) of normalizing and transforming a hand image of a direction, a hand skeleton generating step (S15) of generating a skeleton including one or more joint points from the normalized and transformed hand image (S15), corresponding to the normalized transformed hand image A three-dimensional hand shape model generation step (S16) of generating a three-dimensional hand shape model to can

본 발명의 일 실시예에 따른 손 자세 인식 방법은 원본 영상을 입력 받는 단계(S11)를 더 포함할 수 있다. 구체적으로, 상기 원본 영상을 입력 받는 단계(S11)는 원본 영상을 전자 데이터 형태로 입력 받는 것, 예를 들어, 카메라로부터 전자 데이터 형태로 입력 받는 것이거나, 또는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있다. The hand posture recognition method according to an embodiment of the present invention may further include receiving an original image (S11). Specifically, the step of receiving the original image (S11) includes receiving the original image in the form of electronic data, for example, receiving the input in the form of electronic data from a camera, or from a database in which the original image is stored as electronic data. The original image may be transmitted. Also, the original image input unit 11 may receive the original image from an external network connected to a database in which the original image is stored as electronic data.

본 발명의 일 실시예에 따른 손 자세 인식 방법에 있어서, 원본 영상은 2차원 영상일 수 있다.In the hand posture recognition method according to an embodiment of the present invention, the original image may be a two-dimensional image.

본 발명의 일 실시예에 따른 손 자세 인식 방법은 입력받은 원본 영상이 존재하는지 판별하는 단계(S12)를 더 포함할 수 있다. 구체적으로, 입력받은 원본 영상이 존재하는 경우, 원본 영상에서 손 영역의 영상을 검출하는 단계(S13)가 수행될 수 있으며, 입력받은 원본 영상이 존재하지 않는 경우, 손 자세 인식 방법의 단계 수행이 종료될 수 있다. 또한, 도 12와 같이, 입력받은 원본 영상이 존재할때까지 원본 영상을 입력 받는 단계(S11)가 반복되어 수행될 수 있다. The method for recognizing a hand posture according to an embodiment of the present invention may further include determining whether an input original image exists (S12). Specifically, when the input original image exists, the step of detecting the image of the hand region from the original image (S13) may be performed. When the input original image does not exist, the step of the hand posture recognition method is performed can be terminated Also, as shown in FIG. 12 , the step of receiving the original image ( S11 ) may be repeatedly performed until the received original image exists.

본 발명의 일 실시예에 손 자세 인식 방법에 있어서, 원본 영상은 2차원 영상일 수 있다. 후술할 손 자세 인식 방법의 실시예들은 심도 정보를 입력받지 않고 손 자세를 인식이 가능하다.In the hand posture recognition method according to an embodiment of the present invention, the original image may be a two-dimensional image. Embodiments of a method for recognizing a hand posture, which will be described later, can recognize a hand posture without receiving depth information.

본 발명의 일 실시예에 따른 손 영상을 검출하는 단계(S13)는 원본 영상에서 손 영역의 영상을 검출하는 것일 수 있다.The step of detecting the hand image ( S13 ) according to an embodiment of the present invention may be detecting an image of the hand region from the original image.

손 영상을 검출하는 단계(S13)는 원본 영상(111)에서 손 영역의 영상(121)을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.The step of detecting the hand image ( S13 ) is not limited as long as the image 121 of the hand region can be detected from the original image 111 , and may be an object detector or a method using the same. The object detector may be a machine learning-based detector, for example, a Single Shot MultiBox Detector (SSD), You Only Look Once (YOLO), or the like.

본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 단계일 수 있다.The hand image normalization step ( S14 ) according to an embodiment of the present invention may be a step of recognizing whether the hand of the image of the detected hand region is a right hand or a left hand, and converting the hand image in the one predetermined direction.

본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141), 상기 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142), 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이한지 판별하는 단계(S143),및 상기 검출된 손 영역의 영상의 손을 상기 미리 정해진 하나의 방향으로 변환하는 단계(S144)를 포함할 수 있다.The hand image normalization step (S14) according to an embodiment of the present invention includes the step of recognizing whether the hand of the image of the detected hand region is the right hand or the left hand (S141), the hand of the image 121 of the detected hand region Recognizing whether this is the back of the hand or the palm (S142), determining whether the detected image of the hand region is different from one predetermined direction (S143), and selecting the hand of the image of the detected hand region in the predetermined one direction It may include a step (S144) of converting in the direction of.

도 13은 본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)를 도시한 것이다.13 illustrates a hand image normalization step (S14) according to an embodiment of the present invention.

도 13을 참조하면, 본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식(S141)하고, 상기 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식(S142)한 후, 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이한지 판별(S143)하여, 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이하면, 상기 검출된 손 영역의 영상의 손을 상기 미리 정해진 하나의 방향으로 변환(S144)하고, 상이하지 않으면, 손영상 정규화 단계(S14)의 수행을 종료할 수 있다.Referring to FIG. 13 , in the hand image normalization step (S14) according to an embodiment of the present invention, it is recognized whether the hand of the detected hand region is a right hand or a left hand (S141), and the detected hand region image ( After recognizing whether the hand of 121) is the back of the hand or the palm (S142), it is determined whether the image of the detected hand region is different from one predetermined direction (S143), and the detected image of the hand region is set to one predetermined direction. If it is different from the direction, the hand of the image of the detected hand region is converted into the one predetermined direction ( S144 ), and if not different from the direction, the hand image normalization step ( S14 ) may be terminated.

본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)는, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1411), 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 단계(S1412), 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출하는 단계, 및 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계(S1414)를 포함할 수 있다.The step of recognizing whether the hand of the image of the detected hand region is the right hand or the left hand according to an embodiment of the present invention (S141) includes the step of detecting a boundary line vector 133 between the hand region and the background region (S1411), the boundary line Detecting the finger distal point and the inter-finger point 134 in the vector 133 (S1412), detecting the thumb region and the region 135 of the fingers excluding the thumb, and the image of the detected hand region ( 121), querying a database in which discrimination information between a right-hand image and a left-hand image is stored, and recognizing whether the image is a right hand or a left hand (S1414).

도 14는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)를 도시한 것이다.14 is a diagram illustrating a step (S141) of recognizing whether a hand in an image of a detected hand region is a right hand or a left hand according to an embodiment of the present invention.

도 14를 참조하면, 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)는, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출(S1411)하고, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출(S1412)한 후, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출(S1413)하여, 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식(S1414)하는 것일 수 있다.Referring to FIG. 14 , the step of recognizing whether the hand of the image of the detected hand region is the right hand or the left hand (S141) according to an embodiment of the present invention includes detecting a boundary line vector 133 between the hand region and the background region ( S1411), and after detecting the finger distal point and the inter-finger point 134 in the boundary line vector 133 (S1412), the thumb area and the area 135 of the fingers excluding the thumb are detected (S1413) and detected It may be to query a database in which discrimination information between a right-hand image and a left-hand image is stored for the image 121 of the image 121 of the left hand region to recognize whether the image 121 is a right hand or a left hand (S1414).

본 발명의 일 실시예에 따른 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1411)는, 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다.The step ( S1411 ) of detecting the boundary line vector 133 between the hand region and the background region according to an embodiment of the present invention includes, for example, the color of each pixel of the image 121 of the detected hand region. The boundary line vector 133 between the hand region and the background region may be detected after transforming (132) a region whose value falls within the skin color value range and a region not corresponding to the white region and the black region, respectively.

본 발명의 일 실시예에 따른 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 단계(S1412)는, 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다. In the boundary line vector 133 according to an embodiment of the present invention, the step (S1412) of detecting the finger distal point and the inter-finger point 134 in the boundary line vector 133 is, for example, in the boundary line vector 133 between the hand region and the background region. , a point corresponding to an inflection point of a predetermined angle or less may be detected as a finger distal point and a point between the fingers 134 . For example, if the boundary vector 133 between the detected hand region and the background region is input to a Harris corner detector, and the surrounding vector including the point corresponding to the inflection point is concave, the finger It may be detected as a distal point, and if it is convex, it may be detected as a point between fingers.

본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계(S1414)는, 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network)에 입력하여 오른손 왼손 영상의 식별값을 산출하여 인식하는 것일 수 있다.The step (S1414) of recognizing whether the image 121 of the detected hand region according to an embodiment of the present invention is a right hand or a left hand by querying a database storing discrimination information between a right hand image and a left hand image (S1414) includes, for example, the detection It is to input the image 121 of the image 121 of the left hand region into a machine-learned convolutional neural network (CNN) as learning data for the discrimination information between the right-hand image and the left-hand image to calculate and recognize the identification value of the right-hand and left-hand image. can

예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여여 상기 변곡점에 해당되는는 포인트가가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로로 검출하고고, 볼록(convex) 형태면 손가락 사이 포인트로로 검출하는는 것일 수 있다. For example, in the boundary line vector 133 between the hand region and the background region, a point corresponding to an inflection point of a predetermined angle or less may be detected as a finger distal point and an inter-finger point 134 . For example, if the boundary vector 133 between the detected hand region and the background region is input to a Harris corner detector, the surrounding vector including the point value corresponding to the inflection point is concave , it may be detected as a point between the fingers, and if it is a convex shape, it may be detected as a point between the fingers.

본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지지 인식하는는 단계(S1414)는, 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로로 기계 학습된 컨볼루션션 신경망(CNN, Convolutional Neural Network)에 입력하여여 오른손 왼손 영상의 식별값을 산출하여여 인식하는 것일 수 있다.The step of recognizing whether the image 121 of the detected hand region according to an embodiment of the present invention is a right hand or a left hand by querying a database in which discrimination information between a right image and a left hand image is stored (S1414) is, for example, the The image 121 of the detected hand region is input to a machine-learning convolutional neural network (CNN) as learning data for the discrimination information between the right-hand image and the left-hand image to calculate the identification value of the right-hand and left-hand image So it may be recognizing it.

본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)는 검출된 손 영역의 영상(121)에서 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1421), 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)를 포함할 수 있다.The step of recognizing whether the hand in the image 121 of the detected hand region is the back of the hand or the palm according to an embodiment of the present invention ( S142 ) is a boundary line vector between the hand region and the background region in the image 121 of the detected hand region. It may include the step of detecting (133) (S1421), and recognizing whether the image 121 of the detected hand region is the back of the hand or the palm by querying a database in which discrimination information between the back image and the palm image is stored (S1422). there is.

도 15는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)를 도시한 것이다.15 illustrates a step (S142) of recognizing whether the hand of the image 121 of the detected hand region is the back of the hand or the palm according to an embodiment of the present invention.

도 15를 참조하면, 본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)는 손 영역의 영상(121)의 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출(S1421)한 후, 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)를 포함할 수 있다.Referring to FIG. 15 , the step of recognizing whether the hand of the image 121 of the detected hand region is the back of the hand or the palm ( S142 ) according to an embodiment of the present invention includes the hand region and the background region of the image 121 of the hand region. After detecting (S1421) the boundary line vector 133 between may include

본 발명의 일 실시예에 따른 검출된 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 검출하는 단계(S1421)는 영상의 특징(feature), 더 구체적으로, 윤곽선 정보를 추출하는 단계를 더 포함할 수 있다. 윤곽선 정보를 추출하는 것은 예를 들어, 손가락 말단 포인트 주변 영역의 영상(137, 139)을 일정 크기의 셀로 분할하고, 각 셀마다 휘도 기울기(gradient magnitude)가 일정 값 이상인 픽셀들의 히스토그램을 계산한 후 히스토그램 빈(bin)을 일렬로 연결한 벡터를 하는 것일 수 있으며, 구체적으로 HOG (Histogram of Oriented Gradient) 프로세싱일 수 있다.The step of detecting the boundary line vectors 138 and 1310 between the detected hand area and the background area according to an embodiment of the present invention (S1421) is the step of extracting features of the image, more specifically, the outline information. may include more. Extracting the contour information is, for example, after dividing the images 137 and 139 of the area around the finger tip point into cells of a certain size, and calculating a histogram of pixels having a gradient magnitude greater than or equal to a certain value for each cell. It may be a vector in which histogram bins are connected in a row, and specifically, it may be HOG (Histogram of Oriented Gradient) processing.

본 발명의 일 실시예에 따른 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1421)은 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다. 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다. The step of detecting the boundary line vector 133 between the detected hand region and the background region according to an embodiment of the present invention ( S1421 ) may include, for example, each pixel of the image 121 of the detected hand region. The boundary line vector 133 between the hand region and the background region may be detected after converting (132) a region in which a color value corresponds to a skin color value range and a region not corresponding to the skin color value range into a white region and a black region, respectively. For example, in the boundary line vector 133 between the hand region and the background region, a point corresponding to an inflection point of a predetermined angle or less may be detected as a finger distal point and an inter-finger point 134 . For example, if the boundary vector 133 between the detected hand region and the background region is input to a Harris corner detector, and the surrounding vector including the point corresponding to the inflection point is concave, the finger It may be detected as a distal point, and if it is convex, it may be detected as a point between fingers.

본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)는 예를 들어, 상기 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신(SVM, Support Vector Machine)에 입력하여 손톱 현상 존재의 식별값을 산출하여 인식하는 것일 수 있다.The step of recognizing whether the image 121 of the detected hand region according to an embodiment of the present invention is the back of the hand or the palm by querying a database storing discrimination information between the back image and the palm image (S1422) is, for example, the hand region. The boundary line vectors 138 and 1310 between the background area and the nail shape recognition information are input into a machine-learned Support Vector Machine (SVM) as learning data for nail shape recognition information, and an identification value of the presence of a nail phenomenon is calculated and recognized. can

본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 미리 정해진 하나의 방향으로 변환 단계(S1422)는 검출된 손 영역의 영상(121)을 반전(Reflection) 처리하는 것일 수 있다. 예를 들어, 상기 식 1에 따른 연산을 수행하는 것일 수 있다.The step of converting the image 121 of the detected hand region into one predetermined direction ( S1422 ) according to an embodiment of the present invention may be a reflection process on the image 121 of the detected hand region. For example, the operation according to Equation 1 may be performed.

본 발명의 일 실시예에 따른 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계(S15)는 상기 정규화 변환된 손 영상(136)으로부터 손가락의 단말 포인트 및 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 것일 수 있으며, 손 자세(pose) 검출기를 이용하는 것일 수 있다. 구체적으로, 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network), 예를 들어, CPM (Convolution Pose Machine)에 정규화 변환된 손 영상(136)을 입력하여, 관절 위치의 2차원 위치 및 연결 상태의 벡터값을 산출하여 손 스켈레톤(141)을 생성하는 것일 수 있다. 상기 컨볼루션 신경망은 미리 정해진 하나의 방향의 손 영상 또는 미리 정해진 하나의 방향으로 정규화된 손 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 것일 수 있다.The hand skeleton generating step (S15) of generating a skeleton including one or more joint points from the normalized transformed hand image according to an embodiment of the present invention is a terminal point and joint of a finger from the normalized transformed hand image 136 It may be to generate the skeleton 141 including the points, it may be to use a hand pose (pose) detector. Specifically, by inputting the normalized transformed hand image 136 into a machine-learned convolutional neural network (CNN), for example, a CPM (Convolution Pose Machine) as learning data for the joint position identification information of the image, , may be to generate the hand skeleton 141 by calculating the two-dimensional position of the joint position and the vector value of the connection state. The convolutional neural network may be machine-learned with learning data for joint position identification information of a hand image in one predetermined direction or a hand image normalized in one predetermined direction.

본 발명의 일 실시예에 따른 정규화 변환된 손 영상(136)에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계(S16)는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델(151)을 매칭시켜 생성하는 것일 수 있다. 구체적으로, 상기 생성된 3차원 손 형상 모델(15)을 상기 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향으로 회전시키는 것일 수 있다. 예를 들어, 미리 정해진 하나의 방향이 오른손의 손바닥이고, 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향이 왼손의 손등이라면, y축 기준 90도 회전 행렬을 생성하여 연산하는 것일 수 있다. The three-dimensional hand shape model generating step (S16) of generating a three-dimensional hand shape model corresponding to the normalized transformed hand image 136 according to an embodiment of the present invention is a three-dimensional (3D) shape model in which one or more three-dimensional hand shape models are stored. The hand shape model database may be generated by matching one 3D hand shape model 151 corresponding to the normalized transformed hand image. Specifically, the generated 3D hand shape model 15 may be rotated in the hand direction of the image 121 of the detected hand region recognized by the hand image normalizer 13 . For example, if one predetermined direction is the palm of the right hand and the hand direction of the image 121 of the detected hand region recognized by the hand image normalization unit 13 is the back of the left hand, rotate 90 degrees based on the y-axis It may be to generate and operate a matrix.

상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계(S17)는 상기 식 2로 행렬 R'을 연산하는 것일 수 있다.The hand shape model matching step (S17) of matching and transforming the generated 3D hand shape model to the generated skeleton may be calculating the matrix R' by Equation 2 above.

본 발명은 또한, 손 동작 인식 방법을 제공할 수 있다. 본 발명에 따른 손 동작 인식 방법은 상술한 손 자세 인식 방법을 포함할 수 있다. 또한, 본 발명에 따른 손 동작 인식 방법은 손 동작 인식 단계(S18)을 더 포함할 수 있다.The present invention may also provide a hand gesture recognition method. The hand gesture recognition method according to the present invention may include the above-described hand posture recognition method. In addition, the hand gesture recognition method according to the present invention may further include a hand gesture recognition step ( S18 ).

본 발명에 따른 손 동작 인식 방법은 전술한 손 동작 인식 방법이 수행된 후, 손 자세 인식 방법에서 변환된 3차원 손 형상 모델(161)을 손 동작 종류별로 분류되어 저장된 데이터베이스에서 질의하여 해당 손 동장을 인식하는 것일 수 있다. 예를 들어, 상기 변환되는 3차원 손 형상 모델(161)의 3차원 포인트들의 위치, 구체적으로 버텍스(Vertex)들을 손 동작 유형에 대한 학습 데이터로 기계 학습된 순환 신경망(RNN, Recurrent Neural Network)에 입력하여 손 동작 유형의 식별값을 산출하여 해당 손 동작을 인식하는 것일 수 있다.In the hand gesture recognition method according to the present invention, after the above-described hand gesture recognition method is performed, the three-dimensional hand shape model 161 converted in the hand posture recognition method is classified by hand gesture type and queries the stored database to move the corresponding hand. may be recognizing For example, the positions of the three-dimensional points of the converted three-dimensional hand shape model 161, specifically vertices, are machine-learned as learning data for the type of hand motion in a Recurrent Neural Network (RNN). The input may be to calculate an identification value of a hand motion type to recognize the corresponding hand motion.

본 발명은 또한, 손 영상에 대한 증강 현실 생성 방법을 제공할 수 있다. 본 발명에 따른 손 동작 인식 방법은 상술한 손 자세 인식 방법 및 손 자세 인식 방법을 포함할 수 있다. 또한, 본 발명에 따른 증강 현실 생성 방법은 증강 현실 생성 단계(S19)를 더 포함할 수 있다.The present invention may also provide a method of generating augmented reality for a hand image. The hand gesture recognition method according to the present invention may include the above-described hand posture recognition method and hand posture recognition method. In addition, the augmented reality generating method according to the present invention may further include the augmented reality generating step (S19).

본 발명의 일 실시예에 따른 증강 현실 생성 단계(S19)는 손 자세 인식 방법에서 변환된 3차원 손 형상 모델(161)과 증강 대상 오브젝트의 3차원 형상 모델을 매칭시켜 원본 영상(111)에 정합하는 것일 수 있다.The augmented reality generating step ( S19 ) according to an embodiment of the present invention is matched to the original image 111 by matching the 3D hand shape model 161 converted in the hand posture recognition method with the 3D shape model of the object to be augmented. may be doing

도 16은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 것이다. 도 16을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 생성 방법은 본 발명의 일 실시예에 따른 손 자세 인식 방법의 각 단계들이 수행된 후, 상기 증강 현실 생성 단계(S19)가 수행되어 인식된 손 자세에 대응되는 증강 대상 오브젝트가 매칭되거나, 상기 손 동작 인식 단계(S18)가 수행된 후 상기 증강 현실 생성 단계(S19)가 수행되어 인식된 손 자세 및 손 동작에 상응하는 증강 대상 오브젝트가 매칭될 수 있다.16 illustrates a method for generating augmented reality according to an embodiment of the present invention. Referring to FIG. 16 , in the augmented reality generating method according to an embodiment of the present invention, after each step of the hand posture recognition method according to an embodiment of the present invention is performed, the augmented reality generating step (S19) is performed, An augmentation target object corresponding to the recognized hand posture is matched, or after the hand gesture recognition step S18 is performed, the augmented reality generating step S19 is performed to augment the target object corresponding to the recognized hand posture and hand motion may be matched.

본 발명은 또한, 전술한 손 동작 인식 방법, 손 자세 인식 방법 및 손 영상에 대한 증강 현실 생성 방법을 실행하기 위한 명령을 포함하는 프로그램을 제공할 수 있다.The present invention may also provide a program including instructions for executing the above-described hand gesture recognition method, hand posture recognition method, and augmented reality generating method for a hand image.

본 발명은 또한, 전술한 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.The present invention can also provide a computer-readable recording medium in which the above-described program is stored.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , various modifications and variations can be devised from these descriptions by those of ordinary skill in the art to which the present invention pertains.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and not only the claims described below, but also all modifications equivalently or equivalently to the claims described below belong to the scope of the spirit of the present invention. will do it

Claims (18)

원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출부;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화부;
상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성부;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성부; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합부;를 포함하는, 손 자세 인식 장치로서,
상기　손영상　정규화부는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하고,
상기 검출된 손 영역의 영상을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하며,
상기 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하고,
상기 검출된 손 영역의 영상을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 것이고,
상기 손 형상 모델 정합부는, 상기 생성된 3차원 손 형상 모델을 상기 손 영상　정규화부에서　인식된 상기 검출된 손 영역의 영상의 손 방향으로 회전하는 것인, 손 자세 인식 장치.a hand image detection unit that detects an image of a hand region from the original image;
a hand image normalizer that normalizes and converts the detected image of the hand region into a hand image in a predetermined direction;
a hand skeleton generator for generating a skeleton including one or more joint points from the normalized transformed hand image;
a three-dimensional hand shape model generator for generating a three-dimensional hand shape model corresponding to the normalized-converted hand image; and
A hand posture recognition device comprising a; a hand shape model matching unit that matches the generated three-dimensional hand shape model to the generated skeleton and converts it,
The hand image normalization unit recognizes whether the hand of the image of the detected hand region is a right hand or a left hand,
Recognizing whether the image of the detected hand region is a right hand or a left hand by querying a database storing discrimination information between the right hand image and the left hand image,
Recognizing whether the hand of the image of the detected hand region is the back of the hand or the palm,
Recognizing whether the image of the detected hand region is the back of the hand or the palm of the hand by querying a database in which discrimination information between the back of the hand image and the palm image is stored,
The hand shape model matching unit rotates the generated three-dimensional hand shape model in the hand direction of the image of the detected hand region recognized by the hand image normalization unit. 제1항에 있어서,
상기 손영상 정규화부는, 상기 손 영역과 배경 영역 사이의 경계선 벡터를　손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신에 입력하여 손톱 현상 존재의　식별값을　산출하는 것인, 손 자세 인식 장치.According to claim 1,
The hand image normalization unit inputs the boundary line vector between the hand region and the background region as learning data for nail shape recognition information into a machine-learned support vector machine to calculate an identification value of the presence of a nail phenomenon. Device. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 3차원 손 형상 모델 생성부는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델을 매칭시켜 생성하는 것인, 손 자세 인식 장치.According to claim 1,
The three-dimensional hand shape model generation unit generates by matching one three-dimensional hand shape model corresponding to the normalized-converted hand image in a three-dimensional hand shape model database in which one or more three-dimensional hand shape models are stored, hand posture recognition device. 삭제delete 제1항에서,
상기 원본 영상은 2차원 영상인 것인, 손 자세 인식 장치.In claim 1,
The original image is a two-dimensional image, hand posture recognition device. 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출 단계;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계;
상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계;를 포함하는, 손 자세 인식 방법으로서,
상기　손영상　정규화 단계는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 단계;
상기 검출된 손 영역의 영상을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계;
상기 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 단계; 및
상기 검출된 손 영역의 영상을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계;를 포함하며,
상기 상기 손 형상 모델 정합 단계는, 상기 생성된 3차원 손 형상 모델을 상기 손 영상 정규화 단계에서 인식된 상기 검출된 손 영역의 영상의 손 방향으로 회전하는 단계를 포함하는, 손 자세 인식 방법.a hand image detection step of detecting an image of a hand region from the original image;
a hand image normalization step of normalizing and converting the detected image of the hand region into a hand image of a predetermined direction;
a hand skeleton generating step of generating a skeleton including one or more joint points from the normalized transformed hand image;
a 3D hand shape model generating step of generating a 3D hand shape model corresponding to the normalized transformed hand image; and
A hand shape recognition method comprising; a hand shape model matching step of converting the generated three-dimensional hand shape model by matching the generated skeleton,
The normalizing of the hand image may include: recognizing whether a hand of the image of the detected hand region is a right hand or a left hand, and converting the hand image in the predetermined one direction;
recognizing whether the image of the detected hand region is a right hand or a left hand by querying a database in which discrimination information between a right hand image and a left hand image is stored;
recognizing whether the hand of the image of the detected hand region is the back of the hand or the palm; and
Recognizing whether the image of the detected hand region is the back of the hand or the palm of the hand by querying a database in which discrimination information between the image of the back of the hand and the image of the palm is stored;
The hand shape model matching step includes rotating the generated three-dimensional hand shape model in a hand direction of the image of the detected hand region recognized in the hand image normalization step. 제9항에 있어서,
상기 손등 또는 손바닥인지 인식하는 단계는, 상기 손 영역과 배경 영역 사이의 경계선 벡터를 손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신에 입력하여 손톱 현상 존재의 식별값을 산출하여 인식하는 단계를 포함하는, 손 자세 인식 방법.10. The method of claim 9,
In the step of recognizing whether it is the back of the hand or the palm, inputting a boundary line vector between the hand region and the background region as learning data for nail shape recognition information into a machine-learned support vector machine to calculate and recognize the identification value of the presence of a nail phenomenon A method for recognizing a hand posture, comprising the steps of: 삭제delete 삭제delete 삭제delete 제9항에 있어서,
상기 3차원 손 형상 모델 생성 단계는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델을 매칭시켜 생성하는 단계를 포함하는, 손 자세 인식 방법.10. The method of claim 9,
The 3D hand shape model generation step includes generating by matching one 3D hand shape model corresponding to the normalized transformed hand image in a 3D hand shape model database in which one or more 3D hand shape models are stored. Including, a hand posture recognition method. 삭제delete 제9항에서,
상기 원본 영상은 2차원 영상인 것인, 손 자세 인식 방법.In claim 9,
The original image is a two-dimensional image, the hand posture recognition method. 제9항, 제10항, 제14항 및 제16항 중 어느 한 항에 따른 방법을 실행하기 위한 명령을 포함하는 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium storing a program including instructions for executing the method according to any one of claims 9, 10, 14 and 16. 삭제delete
KR1020170177807A 2017-12-22 2017-12-22 3d hand posture recognition apparatus and method using the same KR102382883B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170177807A KR102382883B1 (en) 2017-12-22 2017-12-22 3d hand posture recognition apparatus and method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170177807A KR102382883B1 (en) 2017-12-22 2017-12-22 3d hand posture recognition apparatus and method using the same

Publications (2)

Publication Number Publication Date
KR20190076202A KR20190076202A (en) 2019-07-02
KR102382883B1 true KR102382883B1 (en) 2022-04-06

Family

ID=67258391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170177807A KR102382883B1 (en) 2017-12-22 2017-12-22 3d hand posture recognition apparatus and method using the same

Country Status (1)

Country Link
KR (1) KR102382883B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085534A1 (en) * 2021-11-11 2023-05-19 주식회사 피앤씨솔루션 Method and apparatus for setting reference point of mouse point using hand recognition in head mounted display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (en) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 Device control method by hand shape and gesture and control device thereby

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102216124B1 (en) * 2013-09-06 2021-02-16 삼성전자주식회사 Method and apparatus for processing images
KR101559502B1 (en) * 2013-12-26 2015-10-14 서경대학교 산학협력단 Method and recording medium for contactless input interface with real-time hand pose recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724108B1 (en) * 2015-10-26 2017-04-06 재단법인대구경북과학기술원 Device control method by hand shape and gesture and control device thereby

Also Published As

Publication number Publication date
KR20190076202A (en) 2019-07-02

Similar Documents

Publication Publication Date Title
CN111328396B (en) Pose estimation and model retrieval for objects in images
Loncomilla et al. Object recognition using local invariant features for robotic applications: A survey
CN108875524B (en) Sight estimation method, device, system and storage medium
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
JP6011102B2 (en) Object posture estimation method
US8994652B2 (en) Model-based multi-hypothesis target tracker
WO2020208359A1 (en) Using Iterative 3D Model Fitting for Domain Adaption of a Hand Pose Estimation Neural Network
WO2020103700A1 (en) Image recognition method based on micro facial expressions, apparatus and related device
US9734435B2 (en) Recognition of hand poses by classification using discrete values
KR101612605B1 (en) Method for extracting face feature and apparatus for perforimg the method
JP2007538318A5 (en)
CN111062328B (en) Image processing method and device and intelligent robot
WO2019171628A1 (en) Image processing system and image processing method
CN114641799A (en) Object detection device, method and system
Khurana et al. Static hand gestures recognition system using shape based features
US10623629B2 (en) Imaging apparatus and imaging condition setting method and program
CN110348359B (en) Hand gesture tracking method, device and system
KR102333768B1 (en) Hand recognition augmented reality-intraction apparatus and method
Madadi et al. Top-down model fitting for hand pose recovery in sequences of depth images
EP4222639A1 (en) System and method for visual localization
KR102382883B1 (en) 3d hand posture recognition apparatus and method using the same
CN117689887A (en) Workpiece grabbing method, device, equipment and storage medium based on point cloud segmentation
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
Wang et al. Robot grasping in dense clutter via view-based experience transfer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right