KR20190076202A - 3차원 손 자세 인식 장치 및 방법 - Google Patents
3차원 손 자세 인식 장치 및 방법 Download PDFInfo
- Publication number
- KR20190076202A KR20190076202A KR1020170177807A KR20170177807A KR20190076202A KR 20190076202 A KR20190076202 A KR 20190076202A KR 1020170177807 A KR1020170177807 A KR 1020170177807A KR 20170177807 A KR20170177807 A KR 20170177807A KR 20190076202 A KR20190076202 A KR 20190076202A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- image
- dimensional
- region
- detected
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000010606 normalization Methods 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 28
- 210000003811 finger Anatomy 0.000 description 27
- 230000033001 locomotion Effects 0.000 description 19
- 230000003190 augmentative effect Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G06K9/00375—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G06T3/0068—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 손 영상 검출부, 손영상 정규화부, 손 스켈레톤 생성부, 3차원 손 형상 모델 생성부 및 상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합부;를 포함하는 손 자세 인식 장치 및 이를 이용하는 손 자세 인식 방법에 관한 것이다.
Description
본 발명은 3차원 손 자세 인식 장치 및 방법에 관한 것이다.
영상에서 오브젝트를 인식하는 컴퓨터 비전 분야에 있어서, 오브젝트을 정확하게 식별하고, 오브젝트의 특징을 세밀하게 인식하고 위한 수많은 시도가 존재하였다. 이러한 오브젝트 인식 기술은 인식 과정의 의사 결정 단계를 알고리즘화하는 것에서 오브젝트 인식 데이터로부터 인식 과정을 학습할 수 있는 머신 러닝 분야로 발전하였다. 특히, 머신 러닝은 인간의 신경망을 노드로 모사한 신경망 모델은 복수의 노드로 구성된 신경망을 다층으로 구현한 심층 신경망 모델로 발전하면서 인식율이 비약적으로 발전하였다.
그러나, 이러한 심층 신경망 모델은 많은 변이를 포함하는 훈련 데이터를 필요로 하며, 많은 양의 연산량과 데이터 전송량을 요구하여, 심층 신경망 시스템이 복잡하고 방대 해지는 문제점이 있었다.
특히, 종래의 머신 러닝 기방 손 인식 시스템은 훈련 데이터의 입력이 왼손 오른손으로 존재하며, 손가락의 움직임에 따라 훈련 데이터의 분포가 넓어지게 되므로, 훈련 데이터의 확보가 어렵고, 심층 신경망 시스템의 복잡성과 데이터 소요량이 과도하며, 훈련 데이터가 주로 오른손의 손바닥으로 편중되는 등 많은 하이퍼 파라미터의 영향을 받는 관계로 학습이 까다로운 문제점이 있었다.
본 발명의 일 측면에 따르면, 적은 양의 훈련 데이터로도 모든 방향의 손 자세를 학습할 수 있으며, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량이 감소되면서도 인식율이 높은 손 자세 인식 장치 및 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 손 자세 인식 장치는, 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출부;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화부;
상기 검출된 손 영역의 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성부;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 모델을 생성하는 3차원 손 형상 모델 생성부; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시키는 손 모델 정합부;를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 손 자세 인식 방법은, 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출 단계;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계;
상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계;를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 프로그램은, 상기 손 자세 인식 방법을 실행하기 위한 명령을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록 매체는, 상기 프로그램이 저장된 것일 수 있다.
본 발명의 일 실시예에 따른 손 자세 인식 장치 및 방법은 따르면, 입력 영상을 미리 정해진 하나의 방향의 손의 영상으로 변환하므로, 적은 양의 입력만으로도 손 자세 인식 장치를 학습시킬 수 있고, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량을 감소시킬 수 있으며, 3차원 손 형상 모델과 정합 위치를 용이하게 계산할 수 있다. 또한, 편향된 방향의 손 입력 영상의 학습 이후에도, 다양한 방향의 손 입력 영상으로 3차원 손 자세를 인식할 수 있다.
도 1은 본 발명의 일 실시예에 따른 손 자세 인식 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 손 영상 검출부가 원본 영상에서 손 영역의 영상이 검출한 결과를 나타낸 것이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 6 및 7은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상(121)이 방향이 미리 정해진 하나의 방향과 상이한 경우에 해당되는 경우, 검출된 손 영역의 영상을 반전하여 오른손으로 변환하는 과정을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 손 스켈레톤 생성부가 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 과정을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부가 상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 것을 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 손 형상 모델 정합부가 생성된 3차원 손 형상 모델에 2차원 스켈레톤을 정합시켜 3차원 손 형상 모델으로 변환하는 과정을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 손 자세 인식 방법의 과정을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 손영상 정규화 단계를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 단계를 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 손 영상 검출부가 원본 영상에서 손 영역의 영상이 검출한 결과를 나타낸 것이다.
도 3 내지 5는 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 6 및 7은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 손 영상 정규화부가 검출된 손 영역의 영상(121)이 방향이 미리 정해진 하나의 방향과 상이한 경우에 해당되는 경우, 검출된 손 영역의 영상을 반전하여 오른손으로 변환하는 과정을 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 손 스켈레톤 생성부가 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 과정을 도시한 것이다.
도 10은 본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부가 상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 것을 도시한 것이다.
도 11은 본 발명의 일 실시예에 따른 손 형상 모델 정합부가 생성된 3차원 손 형상 모델에 2차원 스켈레톤을 정합시켜 3차원 손 형상 모델으로 변환하는 과정을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따른 손 자세 인식 방법의 과정을 도시한 것이다.
도 13은 본 발명의 일 실시예에 따른 손영상 정규화 단계를 도시한 것이다.
도 14는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계를 도시한 것이다.
도 15는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 단계를 도시한 것이다.
도 16은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.
본 발명에 있어서, '손 자세(hand posture)'는 손의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합을 의미할 수 있다.
도 1은 본 발명의 일 실시예에 따른 손 자세 인식 장치(10)의 구성도이다. 도 1을 참조하면, 손 자세 인식 장치(10)는 손 영상 검출부(12), 손 영상 정규화부(13), 손 스켈레톤 생성부(14), 3차원 손 형상 모델 생성부(15) 및 손 형상 모델 정합부(16)를 포함할 수 있다. 다른 실시예에서 손 자세 인식 장치(10)는 원본 영상 입력부(11), 손 동작 인식부(17) 및/또는 증강 현실 생성부(18)를 더 포함할 수 있다.
본 발명에 있어서, '영상(image)'은 2차원 시각 정보의 데이터 또는 2차원 시각 정보에 심도 정보를 더 포함하는 데이터일 수 있다. 또한, 영상은 복수의 프레임으로 이루어진 동영상의 어느 하나의 프레임에 해당되는 것일 수 있다.
본 발명의 일 실시예에 손 자세 인식 장치에 있어서, 원본 영상은 2차원 영상일 수 있다. 후술할 손 자세 인식 장치의 실시예들은 심도 정보의 입력 없이도 손 자세를 인식이 가능하도록 한다.
본 발명의 일 실시예에 따른 원본 영상 입력부(11)는 원본 영상을 전자 데이터 형태로 입력 받는 것일 수 있다. 상기 원본 영상 입력부(11)는 카메라부일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있다.
상기 카메라부는 광학 정보를 2차원 픽셀 색상 정보로 변환하는 것일 수 있다. 또한, 상기 카메라부는 2차원 픽셀 심도 정보를 변환하는 것일 수 있다.
본 발명의 일 실시예에 따른 손 영상 검출부(12)는 원본 영상에서 손 영역의 영상을 검출하는 것일 수 있다.
도 2는 본 발명의 일 실시예에 따른 손 영상 검출부(12)가 원본 영상(111)에서 손 영역의 영상(121)이 검출한 결과를 나타낸 것이다.
손 영상 검출부(12)는 원본 영상(111)에서 손 영역의 영상(121)을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.
본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 것일 수 있다.
본 발명에 있어서, '미리 정해진 하나의 방향'은 왼손 또는 오른손 중 손 자세 인식의 기준이 되는 손의 방향을 의미할 수 있다. 상기 기준은 필요에 따라 또는 상기 오브젝트 검출기에 연결된 데이터베이스에 저장된 머신 러닝의 훈련 데이터의 양이 더 큰 방향을 계산하여 정할 수 있다.
도 3 내지 5는 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)의 손이 오른손 또는 왼손인지 인식하기 위하여 영상을 처리 과정을 도시한 것이다. 도 3 내지 5를 참조하면, 이러한 영상 처리 과정은 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출한 후, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하여, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출하는 것일 수 있다.
구체적으로, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 과정은 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다.
또한, 구체적으로, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 과정은 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 것일 수 있다. 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network)에 입력하여 오른손 왼손 영상의 식별값을 산출하여 인식하는 것일 수 있다.
도 6 및 7은 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하기 위하여 영상을 처리하는 과정을 도시한 것이다. 도 6 및 7을 참조하면, 이러한 영상 처리 과정은 예를 들어, 도 3과 같이, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출한 후, 도 4와 같이 손가락 말단 포인트를 검출하여 손가락 말단 포인트 주변 영역의 영상(137, 139)에서 경계선 벡터(138, 1310)를 검출하는 것일 수 있다.
구체적으로, 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 검출하는 과정은 영상의 특징(feature), 더 구체적으로, 윤곽선 정보를 추출하는 과정을 더 포함할 수 있다. 윤곽선 정보를 추출하는 것은 예를 들어, 손가락 말단 포인트 주변 영역의 영상(137, 139)을 일정 크기의 셀로 분할하고, 각 셀마다 휘도 기울기(gradient magnitude)가 일정 값 이상인 픽셀들의 히스토그램을 계산한 후 히스토그램 빈(bin)을 일렬로 연결한 벡터를 하는 것일 수 있으며, 구체적으로 HOG (Histogram of Oriented Gradient) 프로세싱일 수 있다.
본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 것일 수 있다. 예를 들어, 상기 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신(SVM, Support Vector Machine)에 입력하여 손톱 현상 존재의 식별값을 산출하여 인식하는 것일 수 있다.
본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 인식 된 손의 방향이 미리 정해진 하나의 방향과 상이한 경우, 상기 미리 정해진 하나의 방향으로 변환하는 것일 수 있다.
본 발명의 일 실시예에 따른 손 영상 정규화부(13)는, 상기 검출된 손 영역의 영상(121)의 인식 된 손의 방향이 미리 정해진 하나의 방향과 상이한 경우, 왼손을 오른손으로 또는 오른손을 왼손으로 변환하는 것일 수 있다.
도 8은 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)이 방향이 미리 정해진 하나의 방향과 상이한 경우에 해당되는 경우, 본 발명의 일 실시예에 따른 손 영상 정규화부(13)가 검출된 손 영역의 영상(121)을 반전(Reflection)하여 오른손으로 변환하는 과정을 도시한 것이다. 상기 변환하는 과정은 예를 들어, 하기 식 1에 따른 연산을 수행하는 것일 수 있다.
[식 1]
상기 식 1에 있어서,
는 검출된 손 영역의 영상(121)에서의 픽셀 x 좌표 위치값 및 y좌표의 위치값이고, W는 검출된 손 영역의 영상(121)의 너비 픽셀값, 
는 반전이 적용되어 정규화된 손 영상(136)에서의 픽셀 x 좌표 위치값 및 y좌표의 위치값일 수 있다.
도 9는 본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)가 상기 정규화 변환된 손 영상(136)으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 과정을 도시한 것이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)는 상기 정규화 변환된 손 영상(136)으로부터 손가락의 단말 포인트 및 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 것일 수 있다. 상기 손 스켈레톤 생성부(14)는 자세(pose) 검출기이거나 이를 이용하는 것일 수 있으며, 구체적으로, 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network), 예를 들어, CPM (Convolution Pose Machine)에 정규화 변환된 손 영상(136)을 입력하여, 관절 위치의 2차원 위치 및 연결 상태의 벡터값을 산출하여 손 스켈레또는 미리 정해진 하나의 방향으로 정규화된 손 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 것일 수 있다.
본 발명의 일 실시예에 따른 손 스켈레톤 생성부(14)는 전술한 손 영상 정규화부(13)에서 미리 정해진 하나의 방향의 손의 영상으로 변환된 정규화된 영상(136)을 입력함으로 인하여, 컨볼루션 레이어(convolution layer) 및 풀링 레이어(pooling layer)의 복수 단계의 반복 연산으로 많은 연산과 데이터 전송량이 소요되는 스켈레톤 생성 과정의 시스템 부하를 감소시킬 수 있으며, 스켈레톤 생성 속도를 증가시킬 수 있으며, 적은 학습 데이터로 컨볼루션 신경망을 학습시켜 정확한 스켈레톤 결과를 생성할 수 있다.
적은 양의 입력만으로도 손 자세 인식 장치를 학습시킬 수 있고, 손 인식을 위한 학습 시스템의 복잡성, 학습 연산량 및 데이터 전송량을 감소시킬 수 있으며, 3차원 손 형상 모델과 정합 위치를 용이하게 계산할 수 있다. 또한, 편향된 방향의 손 입력 영상의 학습 이후에도, 다양한 방향의 손 입력 영상으로 3차원 손 자세를 인식할 수 있다.
도 10은 본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부(15)가 상기 정규화 변환된 손 영상(136)에 대응하는 3차원 손 형상 모델(151)을 생성하는 것을 도시한 것이다.
본 발명의 일 실시예에 따른 3차원 손 형상 모델 생성부(15)는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델(151)을 매칭시켜 생성하는 것일 수 있다.
본 발명에 있어서, '3차원 손 형상 모델'은 손의 단말 포인트 및 관절 포인트들의 3차원 공간 상의 위치 정보 집합으로서, 원본 영상으로부터 인식하고자 하는 3차원 손 자세를 의미할 수 있다.
본 발명의 일 실시예에 따른 손 형상 모델 정합부(16)는, 상기 생성된 3차원 손 형상 모델(15)을 상기 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향으로 회전시키는 것일 수 있다. 예를 들어, 미리 정해진 하나의 방향이 오른손의 손바닥이고, 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향이 왼손의 손등이라면, y축 기준 90도 회전 행렬을 생성하여 연산하는 것일 수 있다.
도 11은 본 발명의 일 실시예에 따른 손 형상 모델 정합부(16)가 생성된 3차원 손 형상 모델(151)에 2차원 스켈레톤(141)을 정합시켜 3차원 손 형상 모델(161)이 변환되는 도시한 것이다. 예를 들어, 상기 손 형상 모델 정합부(16)에서 변환되는 3차원 손 형상 모델(161)은 하기 식 2로 계산된 행렬 R'일 수 있다.
[식 2]
상기 식 2에 있어서, M은 3차원 포인트들을 2차원 포인트들로 변환하는 투영 행렬(projection matrix)이고, R은 3차원 포인트들을 회전 이동하는 4X4 행렬이며, P3d는 상기 정규화 변환된 손 영상(136)에 대응시켜 생성된 3차원 손 형상 모델(151)의 3차원 포인트들의 위치를 나타낸 행렬이고, P2d는 손 스켈레톤 생성부(14)에서 생성된 스켈레톤(141)의 2차원 포인트들의 위치를 나타낸 행렬일 수 있다.
본 발명의 일 실시예에 따른 손 동작 인식부(17)은 상기 변환되는 3차원 손 형상 모델(161)을 손 동작 종류별로 분류되어 저장된 데이터베이스에서 질의하여 해당 손 동장을 인식하는 것일 수 있다. 예를 들어, 상기 변환되는 3차원 손 형상 모델(161)의 3차원 포인트들의 위치, 구체적으로 버텍스(Vertex)들을 손 동작 유형에 대한 학습 데이터로 기계 학습된 순환 신경망(SVM, Recurrent Neural Network)에 입력하여 손 동작 유형의 식별값을 산출하여 해당 손 동작을 인식하는 것일 수 있다.
본 발명의 일 실시예에 따른 증강 현실 생성부(18)는 상기 변환되는 3차원 손 형상 모델(161)과 증강 대상 오브젝트의 3차원 형상 모델을 매칭시켜 원본 영상(111)에 정합하는 것일 수 있다.
전술한 본 발명에 따른 손 자세 인식 장치에 대한 설명은 모두 후술할 본 발명에 따른 손 자세 인식 방법에 대응하여 적용될 수 있으며, 반대로, 후술할 본 발명에 따른 손 자세 인식 방법에 대한 설명 역시 전술한 손 자세 인식 장치에 응하여 적용될 수 있다.
도 12는 본 발명의 일 실시예에 따른 손 자세 인식 방법의 과정을 도시한 것이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 손 자세 인식 방법은 원본 영상에서 손 영역의 영상을 검출하는 손 영상 검출하는 단계(S13), 상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계(S14), 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계(S15), 상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계(S16) 및 상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계(S17)를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 손 자세 인식 방법은 원본 영상을 입력 받는 단계(S11)를 더 포함할 수 있다. 구체적으로, 상기 원본 영상을 입력 받는 단계(S11)는 원본 영상을 전자 데이터 형태로 입력 받는 것, 예를 들어, 카메라로부터 전자 데이터 형태로 입력 받는 것이거나, 또는 원본 영상이 전자 데이터로 저장된 데이터베이스로부터 상기 원본 영상을 전송 받는 것일 수 있다. 또한, 상기 원본 영상 입력부(11)는 원본 영상이 전자 데이터로 저장된 데이터베이스가 연결된 외부 네트워크로부터 상기 원본 영상을 전송 받는 것일 수 있다.
본 발명의 일 실시예에 따른 손 자세 인식 방법에 있어서, 원본 영상은 2차원 영상일 수 있다.
본 발명의 일 실시예에 따른 손 자세 인식 방법은 입력받은 원본 영상이 존재하는지 판별하는 단계(S12)를 더 포함할 수 있다. 구체적으로, 입력받은 원본 영상이 존재하는 경우, 원본 영상에서 손 영역의 영상을 검출하는 단계(S13)가 수행될 수 있으며, 입력받은 원본 영상이 존재하지 않는 경우, 손 자세 인식 방법의 단계 수행이 종료될 수 있다. 또한, 도 12와 같이, 입력받은 원본 영상이 존재할때까지 원본 영상을 입력 받는 단계(S11)가 반복되어 수행될 수 있다.
본 발명의 일 실시예에 손 자세 인식 방법에 있어서, 원본 영상은 2차원 영상일 수 있다. 후술할 손 자세 인식 방법의 실시예들은 심도 정보를 입력받지 않고 손 자세를 인식이 가능하다.
본 발명의 일 실시예에 따른 손 영상을 검출하는 단계(S13)는 원본 영상에서 손 영역의 영상을 검출하는 것일 수 있다.
손 영상을 검출하는 단계(S13)는 원본 영상(111)에서 손 영역의 영상(121)을 검출 할 수 있는 것이면 이를 제한하지 않으며, 오브젝트 검출기이거나 이를 이용하는 것일 수 있다. 상기 오브젝트 검출기는 머신 러닝 기반 검출기일 수 있으며, 예를 들어, SSD (Single Shot MultiBox Detector), YOLO (You Only Look Once) 등일 수 있다.
본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 단계일 수 있다.
본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141), 상기 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142), 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이한지 판별하는 단계(S143),및 상기 검출된 손 영역의 영상의 손을 상기 미리 정해진 하나의 방향으로 변환하는 단계(S144)를 포함할 수 있다.
도 13은 본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)를 도시한 것이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 손영상 정규화 단계(S14)는 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식(S141)하고, 상기 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식(S142)한 후, 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이한지 판별(S143)하여, 상기 검출된 손 영역의 영상이 미리 정해진 하나의 방향과 상이하면, 상기 검출된 손 영역의 영상의 손을 상기 미리 정해진 하나의 방향으로 변환(S144)하고, 상이하지 않으면, 손영상 정규화 단계(S14)의 수행을 종료할 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)는, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1411), 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 단계(S1412), 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출하는 단계, 및 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계(S1414)를 포함할 수 있다.
도 14는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)를 도시한 것이다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하는 단계(S141)는, 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출(S1411)하고, 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출(S1412)한 후, 엄지 손가락 영역 및 엄지 손가락을 제외한 손가락들의 영역(135)을 검출(S1413)하여, 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식(S1414)하는 것일 수 있다.
본 발명의 일 실시예에 따른 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1411)는, 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 경계선 벡터(133)에서 손가락 말단 포인트 및 손가락 사이 포인트(134)를 검출하는 단계(S1412)는, 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계(S1414)는, 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network)에 입력하여 오른손 왼손 영상의 식별값을 산출하여 인식하는 것일 수 있다.
예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에에 해당하는는 포인트를를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여여 상기 변곡점에에 해당되는는 포인트가가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로로 검출하고고, 볼록(convex) 형태면 손가락 사이 포인트로로 검출하는는 것일 수 있다.
본 발명의 일 실시예에에 따른 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베베이이스스에에 질의하여 오른손 또는 왼손인지지 인식하는는 단계(S1414)는, 예를 들어, 상기 검출된 손 영역의 영상(121)을 오른손 영상과 왼손 영상의 구별 정보에 대한 학습 데이터로로 기계 학습된 컨볼루션션 신경망(CNN, Convolutional Neural Network)에 입력하여여 오른손 왼손 영상의 식별값을을 산출하여여 인식하는 것일 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)는 검출된 손 영역의 영상(121)에서 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1421), 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)를 포함할 수 있다.
도 15는 본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)를 도시한 것이다.
도 15를 참조하면, 본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)의 손이 손등 또는 손바닥인지 인식하는 단계(S142)는 손 영역의 영상(121)의 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출(S1421)한 후, 상기 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)를 포함할 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 검출하는 단계(S1421)는 영상의 특징(feature), 더 구체적으로, 윤곽선 정보를 추출하는 단계를 더 포함할 수 있다. 윤곽선 정보를 추출하는 것은 예를 들어, 손가락 말단 포인트 주변 영역의 영상(137, 139)을 일정 크기의 셀로 분할하고, 각 셀마다 휘도 기울기(gradient magnitude)가 일정 값 이상인 픽셀들의 히스토그램을 계산한 후 히스토그램 빈(bin)을 일렬로 연결한 벡터를 하는 것일 수 있으며, 구체적으로 HOG (Histogram of Oriented Gradient) 프로세싱일 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 단계(S1421)은 예를 들어, 검출된 손 영역의 영상(121)의 각 픽셀(pixel)의 색 값이 피부색 값 범위에 해당되는 영역과 해당되지 않은 영역을 각각 백색 영역과 흑색 영역으로 변환(132)한 후 손 영역과 배경 영역 사이의 경계선 벡터(133)를 검출하는 것일 수 있다. 예를 들어, 손 영역과 배경 영역 사이의 경계선 벡터(133)에서, 일정 각도 이하의 변곡점에 해당하는 포인트를 손가락 말단 포인트 및 손가락 사이 포인트(134)로 검출하는 것일 수 있다. 예를 들어, 검출된 손 영역과 배경 영역 사이의 경계선 벡터(133)를 해리스 코너 검출기(Harris corner detector)에 입력하여 상기 변곡점에 해당되는 포인트가 포함된 주변 벡터가 오목(concave) 형태면, 손가락 말단 포인트로 검출하고, 볼록(convex) 형태면 손가락 사이 포인트로 검출하는 것일 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계(S1422)는 예를 들어, 상기 손 영역과 배경 영역 사이의 경계선 벡터(138, 1310)를 손톱 형상 인식 정보에 대한 학습 데이터로 기계 학습된 서포트 벡터 머신(SVM, Support Vector Machine)에 입력하여 손톱 현상 존재의 식별값을 산출하여 인식하는 것일 수 있다.
본 발명의 일 실시예에 따른 검출된 손 영역의 영상(121)을 미리 정해진 하나의 방향으로 변환 단계(S1422)는 검출된 손 영역의 영상(121)을 반전(Reflection) 처리하는 것일 수 있다. 예를 들어, 상기 식 1에 따른 연산을 수행하는 것일 수 있다.
본 발명의 일 실시예에 따른 상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계(S15)는 상기 정규화 변환된 손 영상(136)으로부터 손가락의 단말 포인트 및 관절 포인트들을 포함하는 스켈레톤(141)을 생성하는 것일 수 있으며, 손 자세(pose) 검출기를 이용하는 것일 수 있다. 구체적으로, 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 컨볼루션 신경망(CNN, Convolutional Neural Network), 예를 들어, CPM (Convolution Pose Machine)에 정규화 변환된 손 영상(136)을 입력하여, 관절 위치의 2차원 위치 및 연결 상태의 벡터값을 산출하여 손 스켈레톤(141)을 생성하는 것일 수 있다. 상기 컨볼루션 신경망은 미리 정해진 하나의 방향의 손 영상 또는 미리 정해진 하나의 방향으로 정규화된 손 영상의 관절 위치 식별 정보에 대한 학습 데이터로 기계 학습된 것일 수 있다.
본 발명의 일 실시예에 따른 정규화 변환된 손 영상(136)에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계(S16)는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델(151)을 매칭시켜 생성하는 것일 수 있다. 구체적으로, 상기 생성된 3차원 손 형상 모델(15)을 상기 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향으로 회전시키는 것일 수 있다. 예를 들어, 미리 정해진 하나의 방향이 오른손의 손바닥이고, 손 영상 정규화부(13)에서 인식된 상기 검출된 손 영역의 영상(121)의 손 방향이 왼손의 손등이라면, y축 기준 90도 회전 행렬을 생성하여 연산하는 것일 수 있다.
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계(S17)는 상기 식 2로 행렬 R'을 연산하는 것일 수 있다.
본 발명은 또한, 손 동작 인식 방법을 제공할 수 있다. 본 발명에 따른 손 동작 인식 방법은 상술한 손 자세 인식 방법을 포함할 수 있다. 또한, 본 발명에 따른 손 동작 인식 방법은 손 동작 인식 단계(S18)을 더 포함할 수 있다.
본 발명에 따른 손 동작 인식 방법은 전술한 손 동작 인식 방법이 수행된 후, 손 자세 인식 방법에서 변환된 3차원 손 형상 모델(161)을 손 동작 종류별로 분류되어 저장된 데이터베이스에서 질의하여 해당 손 동장을 인식하는 것일 수 있다. 예를 들어, 상기 변환되는 3차원 손 형상 모델(161)의 3차원 포인트들의 위치, 구체적으로 버텍스(Vertex)들을 손 동작 유형에 대한 학습 데이터로 기계 학습된 순환 신경망(SVM, Recurrent Neural Network)에 입력하여 손 동작 유형의 식별값을 산출하여 해당 손 동작을 인식하는 것일 수 있다.
본 발명은 또한, 손 영상에 대한 증강 현실 생성 방법을 제공할 수 있다. 본 발명에 따른 손 동작 인식 방법은 상술한 손 자세 인식 방법 및 손 자세 인식 방법을 포함할 수 있다. 또한, 본 발명에 따른 증강 현실 생성 방법은 증강 현실 생성 단계(S19)를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 증강 현실 생성 단계(S19)는 손 자세 인식 방법에서 변환된 3차원 손 형상 모델(161)과 증강 대상 오브젝트의 3차원 형상 모델을 매칭시켜 원본 영상(111)에 정합하는 것일 수 있다.
도 16은 본 발명의 일 실시예에 따른 증강 현실 생성 방법을 도시한 것이다. 도 16을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 생성 방법은 본 발명의 일 실시예에 따른 손 자세 인식 방법의 각 단계들이 수행된 후, 상기 증강 현실 생성 단계(S19)가 수행되어 인식된 손 자세에 대응되는 증강 대상 오브젝트가 매칭되거나, 상기 손 동작 인식 단계(S18)가 수행된 후 상기 증강 현실 생성 단계(S19)가 수행되어 인식된 손 자세 및 손 동작에 상응하는 증강 대상 오브젝트가 매칭될 수 있다.
본 발명은 또한, 전술한 손 동작 인식 방법, 손 자세 인식 방법 및 손 영상에 대한 증강 현실 생성 방법을 실행하기 위한 명령을 포함하는 프로그램을 제공할 수 있다.
본 발명은 또한, 전술한 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (18)
- 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출부;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화부;
상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성부;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성부; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합부;를 포함하는, 손 자세 인식 장치. - 제1항에 있어서,
상기 손영상 정규화부는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 것인, 손 자세 인식 장치. - 제2항에 있어서,
상기 손영상 정규화부는, 상기 검출된 손 영역의 영상을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 것인, 손 자세 인식 장치. - 제1항에 있어서,
상기 손영상 정규화부는, 상기 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 것인, 손 자세 인식 장치. - 제4항에 있어서,
상기 손영상 정규화부는, 상기 검출된 손 영역의 영상을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 것인, 손 자세 인식 장치. - 제1항에 있어서,
상기 3차원 손 형상 모델 생성부는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델을 매칭시켜 생성하는 것인, 손 자세 인식 장치. - 제6항에 있어서,
상기 손 형상 모델 정합부는, 상기 생성된 3차원 손 형상 모델을 상기 손 영상 정규화부에서 인식된 상기 검출된 손 영역의 영상의 손 방향으로 회전하는 것인, 손 자세 인식 장치. - 제1항에서,
상기 원본 영상은 2차원 영상인 것인, 손 자세 인식 장치. - 원본 영상에서 손 영역의 영상을 검출하는, 손 영상 검출 단계;
상기 검출된 손 영역의 영상을 미리 정해진 하나의 방향의 손 영상으로 정규화 변환하는 손영상 정규화 단계;
상기 정규화 변환된 손 영상으로부터 하나 이상의 관절 포인트들을 포함하는 스켈레톤을 생성하는 손 스켈레톤 생성 단계;
상기 정규화 변환된 손 영상에 대응하는 3차원 손 형상 모델을 생성하는 3차원 손 형상 모델 생성 단계; 및
상기 생성된 스켈레톤에 상기 생성된 3차원 손 형상 모델을 정합시켜 변환하는 손 형상 모델 정합 단계;를 포함하는, 손 자세 인식 방법. - 제9항에 있어서,
상기 손영상 정규화 단계는, 상기 검출된 손 영역의 영상의 손이 오른손 또는 왼손인지 인식하여, 상기 미리 정해진 하나의 방향으로 변환하는 단계를 포함하는, 손 자세 인식 방법. - 제10항에 있어서,
상기 손영상 정규화 단계는, 상기 검출된 손 영역의 영상을 오른손 영상과 왼손 영상의 구별 정보가 저장된 데이터베이스에 질의하여 오른손 또는 왼손인지 인식하는 단계를 포함하는, 손 자세 인식 방법. - 제9항에 있어서,
상기 손영상 정규화 단계는, 상기 검출된 손 영역의 영상의 손이 손등 또는 손바닥인지 인식하는 단계를 포함하는, 손 자세 인식 방법. - 제12항에 있어서,
상기 손영상 정규화 단계는, 상기 검출된 손 영역의 영상을 손등 영상과 손바닥 영상의 구별 정보가 저장된 데이터베이스에 질의하여 손등 또는 손바닥인지 인식하는 단계를 포함하는, 손 자세 인식 방법. - 제9항에 있어서,
상기 3차원 손 형상 모델 생성 단계는, 하나 이상의 3차원 손 형상 모델이 저장된 3차원 손 형상 모델 데이터베이스에서, 상기 정규화 변환된 손 영상에 대응하는 하나의 3차원 손 형상 모델을 매칭시켜 생성하는 단계를 포함하는, 손 자세 인식 방법. - 제9항에 있어서,
상기 손 형상 모델 정합 단계는, 상기 생성된 3차원 손 형상 모델을 상기 손 영상 정규화 단계에서 인식된 상기 검출된 손 영역의 영상의 손 방향으로 회전하는 단계를 포함하는, 손 자세 인식 장치. - 제9항에서,
상기 원본 영상은 2차원 영상인 것인, 손 자세 인식 방법. - 제9항 내지 제16항 중 어느 한 항에 따른 방법을 실행하기 위한 명령을 포함하는 프로그램.
- 제17항에 따른 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170177807A KR102382883B1 (ko) | 2017-12-22 | 2017-12-22 | 3차원 손 자세 인식 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170177807A KR102382883B1 (ko) | 2017-12-22 | 2017-12-22 | 3차원 손 자세 인식 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190076202A true KR20190076202A (ko) | 2019-07-02 |
| KR102382883B1 KR102382883B1 (ko) | 2022-04-06 |
Family
ID=67258391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170177807A KR102382883B1 (ko) | 2017-12-22 | 2017-12-22 | 3차원 손 자세 인식 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102382883B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023085534A1 (ko) * | 2021-11-11 | 2023-05-19 | 주식회사 피앤씨솔루션 | 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150028623A (ko) * | 2013-09-06 | 2015-03-16 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| KR20150075648A (ko) * | 2013-12-26 | 2015-07-06 | 서경대학교 산학협력단 | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 |
| KR101724108B1 (ko) * | 2015-10-26 | 2017-04-06 | 재단법인대구경북과학기술원 | 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 |
-
2017
- 2017-12-22 KR KR1020170177807A patent/KR102382883B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150028623A (ko) * | 2013-09-06 | 2015-03-16 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| KR20150075648A (ko) * | 2013-12-26 | 2015-07-06 | 서경대학교 산학협력단 | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 |
| KR101724108B1 (ko) * | 2015-10-26 | 2017-04-06 | 재단법인대구경북과학기술원 | 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023085534A1 (ko) * | 2021-11-11 | 2023-05-19 | 주식회사 피앤씨솔루션 | 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102382883B1 (ko) | 2022-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6011102B2 (ja) | 物体姿勢推定方法 | |
| JP4972201B2 (ja) | サインに基づくマンマシンインタラクション | |
| JP5206517B2 (ja) | 特徴点選択システム、特徴点選択方法および特徴点選択プログラム | |
| US11475593B2 (en) | Methods and apparatus for processing image data for machine vision | |
| US11657630B2 (en) | Methods and apparatus for testing multiple fields for machine vision | |
| KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| US9734435B2 (en) | Recognition of hand poses by classification using discrete values | |
| US10846563B2 (en) | Methods and apparatus for generating a dense field of three dimensional data for machine vision | |
| US20220262093A1 (en) | Object detection method and system, and non-transitory computer-readable medium | |
| CN109858433B (zh) | 一种基于三维人脸模型识别二维人脸图片的方法及装置 | |
| CN111429481A (zh) | 一种基于自适应表达的目标追踪方法、装置及终端 | |
| KR20240013085A (ko) | 기계 시각을 위한 이미지 데이터 처리 방법들 및 장치 | |
| EP3639193A1 (en) | Human feedback in 3d model fitting | |
| KR102333768B1 (ko) | 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법 | |
| KR20190076202A (ko) | 3차원 손 자세 인식 장치 및 방법 | |
| Akizuki et al. | ASM-Net: Category-level Pose and Shape Estimation Using Parametric Deformation. | |
| Che et al. | Detection-guided 3D hand tracking for mobile AR applications | |
| CN113158870B (zh) | 2d多人姿态估计网络的对抗式训练方法、系统及介质 | |
| Wang et al. | Robot grasping in dense clutter via view-based experience transfer | |
| Jin et al. | DOPE++: 6D pose estimation algorithm for weakly textured objects based on deep neural networks | |
| Hammouche et al. | Toward a real time view-invariant 3d action recognition | |
| Aleksandrova et al. | Approach for Creating a 3D Model of a Face from its 2D Image | |
| Yan et al. | Two-stream convolutional neural networks with natural light and depth images for hand gesture recognition | |
| JP2018097795A (ja) | 法線推定装置、法線推定方法、及び法線推定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |