KR101436050B1 - 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치 - Google Patents

손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치 Download PDF

Info

Publication number
KR101436050B1
KR101436050B1 KR1020130065378A KR20130065378A KR101436050B1 KR 101436050 B1 KR101436050 B1 KR 101436050B1 KR 1020130065378 A KR1020130065378 A KR 1020130065378A KR 20130065378 A KR20130065378 A KR 20130065378A KR 101436050 B1 KR101436050 B1 KR 101436050B1
Authority
KR
South Korea
Prior art keywords
hand
depth
depth image
shaped
database
Prior art date
Application number
KR1020130065378A
Other languages
English (en)
Inventor
차영운
임화섭
안상철
김형곤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130065378A priority Critical patent/KR101436050B1/ko
Priority to US14/294,195 priority patent/US20140363088A1/en
Application granted granted Critical
Publication of KR101436050B1 publication Critical patent/KR101436050B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따르는 손모양 인식방법은 복수 개의 손모양 깊이영상을 저장하는 데이터베이스를 이용하는 것으로서, 사용자의 동작을 입력받는 단계; 상기 입력된 동작으로부터 사용자의 손모양 깊이영상을 추출하는 단계; 상기 추출된 손모양 깊이영상의 크기와 깊이값을 상기 데이터베이스에 저장된 손모양 깊이영상의 크기와 깊이값 기준에 부합하도록 정규화하는 단계; 및 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계;를 포함한다. 본 발명의 일 실시예는 이러한 단계의 구성을 통해 손모양 깊이영상을 빠르고 정확하게 검출할 수 있다.

Description

손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치{Method of establishing database including hand shape depth images and method and device of recognizing hand shapes}
본 발명의 실시예들은 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치에 관한 것으로서, 구체적으로, 사용자의 손모양을 더욱 빠르고 정확하게 인식하기 위한 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치에 관한 것이다.
HCI(Human-Computer Interface)는 인간이 어떤 목적을 위해 컴퓨터와 주고받는 모든 행위 또는 컴퓨터 시스템과 컴퓨터 사용자 사이의 상호 작용을 향상시키기 위한 기술이다. HCI는 컴퓨터 그래픽스(CG), 운영 체계(OS), 인간적인 요소(human factors), 인간 공학, 산업 공학, 인지 심리학, 컴퓨터 과학 등 여러 분야에서 개발 및 적용되고 있다. 인간이 컴퓨터를 이용하여 업무를 수행할 때 인간이 컴퓨터가 이해할 수 있는 언어로 이의 실행을 명령하면 컴퓨터는 이의 실행 결과를 인간에게 보여 주게 되는데, HCI는 인간이 어떠한 방식으로 컴퓨터에게 명령을 전달하는 지에 관하여 주로 개발되어 왔다. 예를 들어, 인간과 컴퓨터 간의 상호작용을 위한 수단은 최초에 키보드, 마우스에서부터 시작되었으며, 나아가 인간 신체의 터치 인식이 그 수단이 되었다. 또한, 현재에는 터치 인식보다 심화되어 인간의 동작인식이 수단이 되고 있으며, 동작인식에 대한 기술은 인지 정확도와 속도 면에서 더욱 더 개발되고 있는 상태이다.
이러한 동작인식 중 인간의 손모양을 인식하는 기술이 HCI의 한 분야가 될 수 있다. 종래의 손모양 인식기술은 장갑 장치를 사용자의 손에 착용시키는 방법에서 시작하였다. 그러나, 장갑 장치를 착용시키는 방법은 사용자가 바뀔 때마다 장치 초기화(calibration)이 요구되므로 불편한 점이 있었으며, 이를 개선하기 위해 장갑 장치를 착용하지 않는 방법이 제안되었다.
장갑장치를 착용하지 않는 방법은 크게 컬러 영상을 이용한 손모양 인식방법과 깊이영상을 이용한 손모양 인식방법이 있다. 컬러 영상을 이용한 손모양 인식방법의 경우, 손이 한가지 색상(살색)만으로 표현되기 때문에 이러한 방법은 손의 외곽선 정도만 특징으로 추출할 수 있어 자세한 손모양을 인식하기는 어렵다는 단점이 존재한다. 반면, 깊이영상을 이용한 손모양 인식방법은 손모양의 외곽선 안쪽의 손 내부에 대한 특징들도 추출할 수 있어 더욱 신뢰할만한 인식을 수행할 수 있다. 깊이영상을 이용한 방법의 동작원리는 사용자의 초기 손모양을 검출(Detecting)한 후, 사용자의 움직임을 추적(Tracking)함으로써 손모양을 인식하는 것이다. 상기 추적은 사용자의 움직임을 짧은 시간단위마다 복수 개의 영상으로 촬영하고, 각 영상 간의 차이를 추적함으로써, 사용자의 최종 손모양을 나타내는 방식으로 이루어진다. 다만, 각 영상 간의 추적시에 에러(error)가 발생하게 되는데, 이러한 에러가 누적되어 엉뚱한 위치를 추적하는 현상(draft 현상)이 발생할 수 있으며, 이러한 추적실패시 재초기화를 수행해야하므로 상당한 불편을 동반하게 된다.
따라서 위와 같은 문제를 해결하기 위하여 본 발명의 일 실시예는 손모양 깊이영상들을 저장하는 데이터베이스를 구축하여, 추적 방법을 이용하지 않고상기 데이터베이스로부터 사용자가 입력한 손모양을 검출함으로써, 손모양 인식 속도를 향상시키는 것을 목적으로 한다.
또한, 데이터베이스에 저장된 손모양 깊이영상들은 입력된 손모양과 유사한 것이며, 손관절 각도를 이용해 손모양 깊이영상을 입력된 손모양과 동일하게 재현함으로써, 손모양 인식 정확도를 향상시키는 것을 목적으로 한다.
또한, 본 발명의 다른 목적 및 특징들은 후술되는 발명을 실시하기 위한 구체적 내용 및 특허청구범위에서 설명될 것이다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 손모양 깊이영상 데이터베이스 구축방법은 사용자의 동작을 입력받는 단계; 상기 입력된 동작으로부터 사용자의 손모양의 깊이영상과 손관절 각도를 추출하는 단계; 상기 추출된 손모양 깊이영상의 크기와 깊이값을 정규화하는 단계; 및 상기 정규화된 손모양 깊이영상을 상기 추출된 손관절 각도에 대응시켜 저장하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 손관절 각도는 각 손가락 뼈 사이의 관절의 각도인 것을 특징으로 한다.
또한, 상기 입력된 동작으로부터 상기 손모양 깊이영상과 손관절 각도를 추출하는 단계는, 상기 사용자의 동작의 깊이영상으로부터 상기 사용자의 손 영역을 포함하는 도형을 추출하여 상기 손모양 깊이영상을 획득하는 것을 특징으로 한다.
또한, 상기 정규화하는 단계는, 상기 추출된 도형의 지름, 변 및 대각선의 길이 중 적어도 하나를 통해 상기 손모양 깊이영상의 크기를 결정하는 단계; 기설정된 크기와 상기 손모양 깊이영상의 크기를 비교하는 단계; 및 상기 손모양 깊이영상을 확대하거나 축소함으로써 상기 기설정된 크기로 조정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 정규화하는 단계는, 저장된 손모양 깊이영상들의 가장 작은 깊이값이 모두 동일하도록 상기 추출된 손모양 깊이영상 내의 가장 작은 깊이값을 특정한 값으로 조정하는 단계; 및 상기 손모양 깊이영상 내의 나머지 깊이값들을 상기 가장 작은 깊이값이 조정된 폭에 대응하여 조정하는 단계;를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 실시예에따르는 복수 개의 손모양 깊이영상을 저장하는 데이터베이스를 이용한 손모양 인식방법에 있어서, 사용자의 동작을 입력받는 단계; 상기 입력된 동작으로부터 사용자의 손모양 깊이영상을 추출하는 단계; 상기 추출된 손모양 깊이영상의 크기와 깊이값을 상기 데이터베이스에 저장된 손모양 깊이영상의 크기와 깊이값 기준에 부합하도록 정규화하는 단계; 및 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 상기 사용자의 손모양 깊이영상을 추출하는 단계는, 상기 사용자의 동작의 깊이영상으로부터 기설정된 범위 내의 깊이값을 갖는 영상을 검출하여 상기 사용자의 손 영역을 포함한 도형을 상기 손모양 깊이영상으로서 추출하는 것을 특징으로 한다.
또한, 상기 데이터베이스에 저장된 손모양 깊이영상은 크기가 기설정된 크기로 정규화되어 있고, 깊이값이 각 손모양 깊이영상 내의 가장 작은 깊이값을 기준으로 정규화되어 있는 것을 특징으로 한다.
또한, 상기 정규화하는 단계는, 상기 도형을 확대하거나 축소하여 상기 기설정된 크기로 조정함으로써 상기 손 영역 깊이영상의 크기를 정규화하는 단계; 및 상기 데이터베이스에 저장된 손모양 깊이영상들의 가장 작은 깊이값과 상기 도형 내의 가장 작은 깊이값이 동일하도록 상기 도형의 전체 깊이값을 조정함으로써 상기 손모양 깊이영상의 깊이값을 정규화하는 단계; 를 포함하는 것을 특징으로 한다.
또한, 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는, 상기 정규화된 손모양 깊이영상에 대하여 깊이값의 차이가 기설정된 범위 내인 손모양 깊이영상을 상기 데이터베이스에서 검출하는 것을 특징으로 한다.
또한, 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는, 깊이값, 깊이벡터의 방향 및 깊이벡터의 크기 중 적어도 하나를 기준으로 상기 정규화된 손모양 깊이영상과 상기 데이터베이스의 손모양 깊이영상의 깊이값 차이를 판단하는 것을 특징으로 한다.
또한, 상기 깊이벡터는 상기 손모양 깊이영상의 픽셀 간 깊이값의 차이에 기초한 벡터인 것을 특징으로 한다.
또한, 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는, 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상 각각에 대하여 서로 대응하는 픽셀의 깊이값들을 비교하여 깊이값 차이를 판단하는 것을 특징으로 한다.
또한, 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는, 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기를 산출하는 단계; 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기 중 적어도 하나를 비교하는 단계; 및 상기 데이터베이스에서, 상기 비교된 깊이벡터의 방향 또는 크기의 차이가 기설정된 범위 이내인 손모양 깊이영상을 검출하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 데이터베이스는 손모양 깊이영상마다 대응하는 손관절 각도에 대한 정보를 포함하며, 상기 검출된 손 깊이영상에 대응하는 손관절 각도에 대한 정보를 이용하여, 상기 검출된 손 깊이영상을 구체화하는 단계를 추가로 포함하는 것을 특징으로 한다.
한편, 본 발명의 또 다른 실시예에 따르는 손모양 인식 장치는 사용자의 동작을 입력받는 입력부; 상기 입력된 동작으로부터 사용자의 손모양 깊이영상을 추출하는 깊이영상 추출부; 복수 개의 손모양 깊이영상을 저장하는 데이터베이스; 상기 추출된 손모양 깊이영상의 크기와 깊이값을 상기 데이터베이스에 저장된 손모양 깊이영상의 크기와 깊이값 기준에 부합하도록 정규화하는 깊이영상 정규화부; 및 상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 대응 깊이영상 검출부; 를 포함하는 것을 특징으로 한다.
또한, 상기 깊이영상 추출부는, 상기 사용자의 동작의 깊이영상으로부터 기설정된 범위 내의 깊이값을 갖는 영상을 검출하여 상기 사용자의 손 영역을 포함한 도형을 상기 손모양 깊이영상으로서 추출하는 것을 특징으로 한다.
또한, 상기 데이터베이스에 저장된 손모양 깊이영상은 크기가 기설정된 크기로 정규화되어 있고, 깊이값이 각 손모양 깊이영상 내의 가장 작은 깊이값을 기준으로 정규화되어 있는 것을 특징으로 한다.
또한, 상기 깊이영상 정규화부는, 상기 도형을 확대하거나 축소하여 상기 기설정된 크기로 조정함으로써 상기 손 영역 깊이영상의 크기를 정규화하는 크기 정규화부; 및 상기 데이터베이스에 저장된 손모양 깊이영상들의 가장 작은 깊이값과 상기 도형 내의 가장 작은 깊이값이 동일하도록 상기 도형의 전체 깊이값을 조정함으로써 상기 손모양 깊이영상의 깊이값을 정규화하는 깊이값 정규화부;를 포함하는 것을 특징으로 한다.
또한, 상기 대응 깊이영상 검출부는, 상기 정규화된 손모양 깊이영상에 대하여 깊이값의 차이가 기설정된 범위 내인 손모양 깊이영상을 상기 데이터베이스에서 검출하는 것을 특징으로 한다.
또한, 상기 대응 깊이영상 검출부는, 깊이값, 깊이벡터의 방향 및 깊이벡터의 크기 중 적어도 하나를 기준으로 상기 정규화된 손모양 깊이영상과 상기 데이터베이스의 손모양 깊이영상의 깊이값 차이를 판단하는 것을 특징으로 한다.
또한, 상기 깊이벡터는 상기 손모양 깊이영상의 픽셀 간 깊이값의 차이에 기초한 벡터인 것을 특징으로 한다.
또한, 상기 대응 깊이영상 검출부는, 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상 각각에 대하여 서로 대응하는 픽셀의 깊이값들을 비교하여 깊이값 차이를 판단하는 것을 특징으로 한다.
또한, 상기 대응 깊이영상 검출부는, 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기를 산출하고, 상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기 중 적어도 하나를 비교하며, 상기 데이터베이스에서, 상기 비교된 깊이벡터의 방향 또는 크기의 차이가 기설정된 범위 이내인 손모양 깊이영상을 검출하는 것을 특징으로 한다.
또한, 상기 데이터베이스는 상기 저장된 손모양 깊이영상에 대응하는 손관절 각도에 대한 정보를 포함하며, 상기 검출된 손 깊이영상에 대응하는 손관절 각도에 대한 정보를 이용하여, 상기 검출된 손 깊이영상을 구체화하는 깊이영상 구체화부를 추가로 포함하는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예는 사용자의 손모양을 인식할 때, 손모양에 관한 깊이영상을 데이터베이스로 구축하고, 상기 데이터베이스를 이용하여 손모양을 인식하므로 종래기술보다 더욱 빠르고 정확한 인식을 달성할 수 있다. 종래 기술의 경우, 검출(Detecting)과정에서 많이 시간이 소모되었으며, 추적(Tracking) 과정에서 에러 발생확률이 높았으나, 본 발명의 일 실시예는 데이터베이스로부터 입력된 손모양과 가장 유사한 손모양을 검출하므로 손모양 인식 속도가 더욱 빠르다. 나아가, 데이터베이스에 저장된 깊이영상들은 복수 개의 그룹으로 분류되어 트리(tree) 구조로 되어 있기 때문에, 깊이영상 검출시에 전체 데이터를 검색할 필요없이 트리 구조에 따라 일부 데이터만 검색하면 되므로 손모양 인식 속도를 더욱 향상시킬 수 있다. 또한, 본 발명의 일 실시예는 데이터베이스에 저장된 깊이영상들과 손관절 각도에 대한 정보를 이용하여 더욱 정확한 손모양 깊이영상을 제공할 수 있다.
도 1은 본 발명의 제 1 실시예에 따르는 손모양 깊이영상 데이터베이스 구축 시스템의 구조도이다.
도 2는 본 발명의 제 1 실시예에 따르는 손모양 깊이영상 추출부에 의해 전체 깊이영상에서 손 영역 깊이영상이 선택된 이미지를 나타내는 것이다.
도 3은 본 발명의 제 1 실시예에 따르는 손모양 깊이영상 데이터베이스의 구조도이다.
도 4는 본 발명의 제 2 실시예에 따르는 손모양 인식 장치의 구조도이다.
도 5는 본 발명의 제 2 실시예에 따르는 깊이영상 정규화부에 의해 정규화된 손모양 깊이영상이다.
도 6은 본 발명의 제 2 실시예에 따르는 대응 깊이영상 검출부에 의해 검출된 손모양 깊이영상이다.
도 7은 본 발명의 제 2 실시예에 따르는 깊이영상 구체화부를 통해 구체화되어 최종적으로 표시된 출력영상이다.
이하, 본 발명의 실시예에 따르는 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치에 대하여 도면을 참조하여 보다 상세하게 설명한다.
본 명세서에서는 서로 다른 실시예라도 동일 · 유사한 구성에 대해서는 동일 · 유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 또한, 본 명세서에 첨부된 도면의 구성요소들은 설명의 편의를 위해 확대 또는 축소되어 도시될 수 있음이 고려되어야 한다.
먼저, 본 발명의 제 1 실시예에 따르는 손모양 깊이영상 데이터베이스 구축시스템 및 상기 데이터베이스의 구축방법에 대하여 도 1 내지 도 3을 통하여 설명한다.
도 1을 참조하면, 상기 제 1 실시예에 따르는 손모양 깊이영상 데이터베이스(150) 구축 시스템은 깊이 카메라(110), 손관절 각도 획득부(120), 손모양 깊이영상 추출부(130), 손모양 깊이영상 정규화부(140) 및 데이터베이스(150)를 포함한다.
깊이 카메라(110)는 적외선 센서를 통해 카메라로부터 물체까지의 거리를 측정하여 영상으로 출력한다. 깊이 카메라(110)를 통해 획득한 깊이 정보는 실시간으로 획득될 수 있다는 장점이 있다. 깊이 카메라(110)는 전방에 배치된 피사체의 깊이 정보를 추출한다. 따라서, 사용자가 특정한 손관절 각도를 가진 손모양을 깊이 카메라(110) 앞에서 취할 경우, 깊이 카메라(110)는 사용자의 손영역을 포함한 깊이 카메라(110)의 앵글에 포함되는 사용자 신체의 깊이 정보를 추출 할 것이다. 일 실시예에서, 사용자는 특정한 관절 각도로 손모양을 취하게 되며, 이때 깊이 카메라(110)에 의해 상기 특정한 관절 각도에 대한 사용자의 깊이정보가 추출되며, 사기 특정한 관절 각도는 후술하는 손관절 각도 획득부(120)에 의해 획득된다.
손관절 각도 획득부(120)는 사용자가 취한 손관절 각도에 대한 정보를 획득한다. 여기서 손관절은 손을 구성하는 많은 뼈들 사이의 관절을 의미하는 것이다. 구체적으로, 엄지손가락을 제외한 손가락은 한 개의 손허리뼈와 세 개의 손가락뼈로 구성되는데, 손허리뼈와 손가락뼈 사이에는 손허리손가락 관절이 있으며 손가락뼈 사이에는 몸쪽 및 먼쪽 손가락사이 관절이 있다. 예를 들어, 손마디 사이의 관절은 손관절에 포함되는 개념이다. 따라서, 손관절 각도는 손마디 각각마다 존재하는 것으로서 복수개의 값으로 구성된다.
손모양 깊이영상 추출부(130)는 깊이 카메라(110)를 통해 획득한 깊이 정보를 통해 전체 깊이영상으로부터 손 영역의 깊이영상을 추출한다. 깊이 카메라(110)는 전방의 임의의 물체에 대한 깊이영상을 촬영하는 것이므로, 깊이 카메라(110)를 통해 획득한 최초의 영상은 사용자의 전체 신체 영상이 된다. 여기서, 손모양 깊이영상 추출부(130)는 손 영역에 대한 깊이영상만을 추출한다.
구체적으로 설명하면, 먼저, 영상을 구성하는 각 픽셀들마다 하나의 깊이값을 가지고 있으며, 피사체가 깊이 카메라(110)로부터 가까이 배치될수록 작은 깊이값을 가지게 되는데, 여기서 작은 깊이값을 갖는 픽셀일수록 해당 픽셀의 밝기는 증가한다고 가정한다. 도 2에서는, 깊이 카메라(110)로부터 촬영된 사용자의 신체의 깊이영상이 도시되어 있는데, 손이 깊이 카메라(110)로부터 가장 가까이 배치되어 있으므로 밝기가 가장 밝으며, 사용자의 신체, 뒷 배경 순으로 밝기가 어둡게 표시되어 있다. 이때, 손모양 깊이영상 추출부(130)는 손 영역을 포함하며 손 영역의 가장자리에 외접하는 도형을 추출함으로써, 손모양 깊이영상을 사용자의 신체의 깊이영상에서 추출할 수 있다. 도 2에서 외접 도형이 사각형으로 도시되었으나, 사각형을 포함하는 다각형이나 원의 형태가 될 수도 있다.
외접하는 도형을 추출하는 방법은 사용자의 신체의 깊이영상에서 가장 작은 깊이값을 갖는 픽셀(D)을 검출하고, 상기 가장 작은 깊이값과의 차이가 기설정된 범위 이내의 깊이값을 갖는 픽셀을 검출하는 방식으로 이루어진다. 기설정된 범위는 픽셀(D)의 깊이값과 손영역의 가장자리 픽셀의 깊이값의 차이가 될 수 있다.
여기서 손모양 깊이영상의 크기는 외접하는 도형의 지름, 변이나 대각선의 길이를 통해 결정될 수 있다. 예를 들어, 외접하는 도형이 원이 될 경우 지름의 길이를 통해, 외접하는 도형이 정사각형이 될 경우 변이나 대각선의 길이를 통해 결정될 수 있다. 그리고, 상기 도형은 미리 정해진 크기의 영상으로 표현될 수 있다.
손모양 깊이영상 정규화부(140)는 추출된 손모양 깊이영상을 크기와 깊이값에 대하여 정규화한다.
먼저, 크기 정규화와 관련하여, 손모양 깊이영상 정규화부(140)는 추출된 손모양 깊이영상의 크기가 기설정된 크기와 동일하도록 추출된 손모양 깊이영상을 확대하거나 축소한다. 예를 들어, 기설정된 정사각형 영상의 크기가 40 x 40 픽셀의 규격이고, 손 영역 영상이 70 x 70 픽셀의 영상 규격일 경우, 손모양 깊이영상은 40 x 40 픽셀 크기가 되도록 가로 세로 변의 길이가 축소될 것이다.
이어서, 깊이값 정규화와 관련하여, 손모양 깊이영상 정규화부(140)는 영상 내의 가장 작은 깊이값을 기준으로 전체 깊이값을 조정함으로써 추출된 손모양 깊이영상의 깊이값을 조정한다. 구체적으로, 깊이영상 내의 가장 작은 깊이값이 특정한 값이 되도록 모든 입력된 손모양 깊이영상에 대하여 깊이값을 조정할 수 있다. 예를 들어, 도 2에 도시된 사각형 내에서 가장 작은 깊이값을 갖는 픽셀(D)의 깊이값이 9이며, 나머지 픽셀들의 깊이값은 10, 12, 17,...등과 같은 9이상의 값을 가진다고 가정하자. 여기서 모든 픽셀들의 깊이값에 픽셀(D)의 깊이값 9를 뺄 경우, 도 2의 사각형의 깊이값들은 0, 1, 3, 6...등의 형태로 되어, 가장 작은 깊이값이 0이 되도록 조정된다. 이와 같이, 모든 입력된 손모양 깊이영상에 대하여 깊이값 조정을 수행함으로써 깊이값이 정규화된다.
데이터베이스(150)는 정규화된 손모양 깊이영상들을 저장한다. 구체적으로, 데이터베이스(150)는 손모양 깊이영상들을 깊이값에 따라 분류하여 저장할 수 있다. 도 3을 참조하면, 깊이값에 따라 분류되어 저장된 손모양 깊이영상들을 갖는 데이터베이스(150)의 구조도가 도시되어 있다. 손모양이 서로 유사하거나 동일할 경우, 손모양 깊이영상의 깊이값 역시 유사하거나 동일하게 된다. 따라서, 깊이값을 기준으로 손모양 깊이영상을 분류할 경우, 유사하거나 동일한 손모양이 하나의 그룹에 수집되도록 분류된다. 예를 들어, 데이터베이스(150)가 제 1 그룹(151), 제 2 그룹(152), 제 3 그룹(153), 제 4 그룹(154)으로 분류된다고 가정할 경우, 각 그룹은 서로 다른 손모양으로 정의되며, 제 1 그룹 내의 손모양 깊이영상은 서로 유사하거나 동일한 복수개의 깊이영상(151a ~ 151c)이 저장된다.
또한, 데이터베이스(150)는 각 손모양 깊이영상마다 대응하는 손관절 각도의 정보를 저장할 수 있다. 손관절 각도에 대한 정보는 손관절 각도 획득부(120)에서 획득된 것으로서, 손모양 깊이영상과 함께 쌍으로 저장된다.
이러한 방식으로 구축된 데이터베이스는 후술하는 본 발명의 제 2 실시예에서 사용자가 입력한 손모양 깊이영상을 더욱 정확하고 빠르게 검출할 수 있게 한다.
이하, 다른 도면을 통하여 본 발명의 제 2 실시예에 따르는 손모양 인식 방법과 장치에 대하여 구체적으로 설명한다.
도 4를 참조하면, 본 발명의 제 2 실시예에 따르는 손모양 인식 장치는 입력부(210), 깊이영상 추출부(220), 깊이영상 정규화부(230), 데이터베이스(240), 대응 깊이영상 검출부(250), 깊이영상 구체화부(260) 및 출력부(270)를 포함한다.
입력부(210)는 사용자의 동작을 입력받는 구성이다. 사용자는 임의의 손동작이나 기타 다양한 몸짓을 입력부(210)를 통해 입력할 수 있다. 입력부(210)는 카메라로 구성되어 사용자의 동작을 입력받을 수 있다.
깊이영상 추출부(220)는 사용자의 동작으로부터 사용자의 손 영역에 대한 깊이영상을 추출한다. 이를 위해 깊이영상 추출부(220)는 전체 깊이영상 추출부(221)와 손 영역 깊이영상 추출부(222)를 포함한다.
전체 깊이영상 추출부(221)는 깊이카메라로 구성될 수 있으며, 이 경우 깊이카메라에 촬영된 사용자의 신체의 깊이영상을 추출한다. 예를 들어, 사용자의 손 영역을 포함한 손 영역부근의 얼굴이나 상체 부분에 대한 깊이영상을 추출한다.
손 영역 깊이영상 추출부(222)는 사용자의 신체의 깊이영상으로부터 손 영역에 대한 깊이영상만을 추출한다. 손 영역 깊이영상 추출부(222)는 제 1 실시예의 손모양 깊이영상 추출부(220)와 같이 손 영역을 포함하는 특정한 도형을 추출한다. 상기 도형이 손모양 깊이영상이 된다. 이때, 상기 도형을 추출하는 원리는 다음과 같다: 실제 사람의 손의 크기를 (가로폭, 세로폭, 두께)mm = (w, h, d)mm로 정의할 때, 사용자 신체의 깊이영상에서 가장 작은 깊이값으로부터 dmm 이내의 깊이값 차이를 갖는 픽셀들을 추출할 경우, 손 영역을 포함하는 깊이영상이 추출될 수 있다. 예를 들어, 도 2에서 픽셀(D)의 깊이값이 200mm로서 가장 작은 값을 가진다고 할 때, dmm가 150mm로 설정되어 있는 경우, 200mm ~ 350mm의 깊이값을 갖는 픽셀들만 추출될 것이다. 그리고, 손 영역을 포함하는 특정한 도형은 원이나 다각형 등과 같이 다양한 도형으로 정의될 수 있으며, 각 도형의 형태에 따라 도형의 지름, 변 또는 대각선의 길이를 통해 손모양 깊이영상의 크기가 결정될 수 있다.
깊이영상 정규화부(230)는 크기 정규화부(231)와 깊이값 정규화부(232)를 포함하여 추출된 손모양 깊이영상을 크기와 깊이값에 따라 정규화한다. 데이터베이스(240)에 저장된 손모양 깊이영상들이 크기와 깊이값에 대하여 정규화되어있기 때문에 정규화 과정이 필요한 것이며, 제 2 실시예의 데이터베이스(240)에 대해서는 후술로 구체적으로 설명하도록 한다.
크기 정규화부(231)는 추출된 손모양 깊이영상의 크기가 기설정된 크기(즉, 데이터베이스(240)에 저장된 손모양 깊이영상들의 크기)와 동일하도록 추출된 손모양 깊이영상을 확대하거나 축소한다. 깊이값 정규화부(232)는 데이터베이스(240)에 저장된 손모양 깊이영상들의 깊이값 기준에 부합하도록 사용자가 입력한 손모양 깊이영상의 깊이값을 조정한다. 구체적으로, 데이터베이스(240)의 손모양 깊이영상들은 가장 작은 깊이값이 A가 되도록 정규화되어 있다면, 깊이값 정규화부(232)는 사용자가 입력한 손모양 깊이영상의 깊이값을 데이터베이스(240)의 손모양 깊이영상들의 깊이값 분포 기준과 동일하도록 조정한다. 즉, 깊이값 정규화부(232)는 사용자가 입력한 손모양 깊이영상에서 가장 작은 깊이값이 A가 되도록 조정한다. 깊이영상 정규화부(230)를 통해 정규화된 손모양 깊이영상은 도 5에 도시된 바와 같다.
데이터베이스(240)는 정규화된 복수 개의 손모양 깊이영상들을 저장한다. 저장된 손모양 깊이영상들은 크기와 깊이값에 대하여 정규화되어 있다. 예를 들어, 모든 손모양 깊이영상들이 40 x 40 픽셀의 영상 크기를 가지며, 가장 작은 깊이값이 A가 되도록 정규화되어 있을 수 있다. 또한, 데이터베이스(240)는 제 1 실시예에 따라 구축된 데이터베이스(240)로서, 손모양 깊이영상들을 깊이값에 따라 분류하여 저장할 수 있다. 즉, 도 3에 도시된 바와 같이, 데이터베이스(240)는 유사하거나 동일한 손모양 별로 분류하여 복수 개의 손모양 깊이영상을 저장할 수 있다. 또한, 데이터베이스(240)는 각 손모양 깊이영상들에 대응하는 손관절 각도에 대한 정보를 저장할 수 있다. 이하, 데이터베이스(240)에 대한 구체적인 설명은 앞선 제 1 실시예의 데이터베이스(240)에 대한 설명으로 갈음하도록 한다.
대응 깊이영상 검출부(250)는 사용자가 입력한 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 데이터베이스(240)에서 검출한다. 대응 깊이영상 검출부(250)는 사용자가 입력한 정규화된 손모양 깊이영상과 데이터베이스(240) 내의 깊이영상 간의 깊이값 유사도를 판단함으로써, 사용자가 입력한 손모양 깊이영상과 가장 유사한 깊이영상을 데이터베이스(240)에서 검출할 수 있다.
구체적으로, 대응 깊이영상 검출부(250)는 손모양 깊이영상의 깊이값, 깊이벡터의 크기 또는 방향 중 적어도 하나를 기준으로 깊이값 유사도를 판단한다.
먼저, 깊이값을 이용한 깊이값 유사도 판단을 설명한다. 각 손모양 깊이영상은 복수 개의 픽셀로 구성되며, 각 픽셀마다 하나의 깊이값이 규정되어 있다. 대응 깊이영상 검출부(250)는 사용자가 입력한 정규화된 손모양 깊이영상의 모든 픽셀의 깊이값과 데이터베이스(240)의 손모양 깊이영상들의 모든 픽셀의 깊이값을 서로 비교한다. 그리고, 대응 깊이영상 검출부(250)는 비교 결과 깊이값의 차이들이 기설정된 범위 내에 있는 경우, 유사하다고 판단하며, 깊이값 차이가 가장 작은 손모양 깊이영상을 데이터베이스(240)에서 검출한다. 검출된 손모양 깊이영상은 도 6에 도시된 바와 같다. 도 6과 도 5를 비교해보면, 도 5에 도시된 정규화된 손모양 깊이영상과 그 형태가 상당히 유사함을 알 수 있다.
이어서, 깊이벡터의 방향과 크기를 이용한 깊이값 유사도 판단을 설명한다. 깊이벡터는 인접한 픽셀들의 깊이값 차이에 대한 벡터이다. 즉, 손모양 깊이영상의 각 깊이값을 I(x, y)라고 할 때, x, y는 각각 손모양 깊이영상의 가로와 세로 좌표를 의미한다. 이때, 각 깊이값의 x방향 미분과 y방향 미분을
Figure 112013050781537-pat00001
와 같이 나타낼 수 있다. 여기서, 깊이벡터 I의 방향은 수학식1과 같이 정의되며 깊이벡터I의 크기는 수학식 2와 같이 정의된다.
Figure 112013050781537-pat00002
Figure 112013050781537-pat00003
깊이벡터는 인접한 픽셀들의 깊이값 차이에 대한 것이므로, 인접한 픽셀의 깊이값의 차이가 클수록 깊이벡터의 크기가 증가한다. 그러므로, 손모양 내에서 손가락 사이 부분과 같은 윤곽선들은 깊이값 차이가 큰 부분이므로 손모양 내에서 이러한 윤곽선들은 깊이벡터의 크기가 크다. 이러한 깊이벡터의 크기와 방향에 대한 정보는 영상으로 표현될 수도 있다.
대응 깊이영상 추출부(220)는 사용자가 입력한 손모양 깊이영상과 데이터베이스(240)의 손모양 깊이영상들의 깊이벡터들을 산출하여, 산출된 깊이벡터들의 방향과 크기 중 적어도 하나를 비교함으로써 깊이값 유사도를 판단한다. 그리고, 비교된 깊이벡터의 방향 또는 크기의 차이가 기설정된 범위 이내인 경우, 그러한 손모양 깊이영상을 사용자가 입력한 손모양 깊이영상에 대응하는 깊이영상을 검출할 수 있다. 다르게 말하면, 대응 깊이영상 추출부(220)는 사용자가 입력한 손모양 깊이영상과 데이터베이스(240)의 손모양 깊이영상들의 깊이벡터 영상을 추출하여, 추출된 영상들이 유사한지를 판단한 후, 가장 유사한 것을 사용자가 입력한 손모양 깊이영상에 대응하는 영상으로 검출할 수 있다.
또한, 대응 깊이영상 추출부(220)는 데이터베이스(240) 내의 모든 깊이영상에 대하여 사용자가 입력한 깊이영상과 유사한 깊이영상을 검색하는 것이 아니라, 먼저 데이터베이스(240)에서 사용자가 입력한 깊이영상과 가장 유사한 그룹을 검출한 다음, 검출된 그룹에서 가장 유사한 깊이영상을 검출함으로써, 검출과정을 매우 신속하게 진행할 수 있다.
깊이영상 구체화부(260)는 검출된 손모양 깊이영상에 대응하는 손관절 각도에 대한 정보를 데이터베이스(240)로부터 검출하여, 손모양 깊이영상을 더욱 자세하고 구체적으로 표현한다. 구체적으로 표현된 손모양 깊이영상은 입력된 사용자의 손모양을 그대로 재현한다. 손관절 각도는 손 뼈 사이의 관절에 대한 각도를 의미하는 것이다. 대응 깊이영상 검출부(250)를 통해 검출된 손모양 깊이영상은 도 6과 같이 손마디 사이 또는 손가락 형태 등에 대한 구체적인 정보가 포함되어 있지 않다. 따라서, 깊이영상 구체화부(260)는 손관절 각도에 대한 정보를 상기 검출된 손모양 깊이영상을 구체화하기 위한 수단으로 이용한다. 도 7은 도 6의 영상에 손관절 각도에 대한 정보를 오버랩하여 더욱 구체적으로 표현한 영상으로서, 이를 통해 손관절 각도에 대한 정보를 활용함으로써, 구체적인 손모양 깊이영상을 획득함을 알 수 있다.
출력부(270)는 깊이영상 구체화부(260)로부터 제공된 최종적인 손모양 깊이영상을 출력한다. 출력부(270)는 스크린과 같이 깊이영상을 시각적으로 나타낼 수 있는 수단으로 구성될 수 있다.
이상으로 설명한 바와 같이, 본 발명의 제 2 실시예는 사용자의 손모양을 인식할 때, 손모양에 관한 깊이영상을 데이터베이스로 구축하고, 상기 데이터베이스를 이용하여 손모양을 인식하므로 종래기술보다 더욱 빠르고 정확한 인식을 달성할 수 있다. 종래 기술의 경우, 검출(Detecting)과정에서 많이 시간이 소모되었으며, 추적(Tracking) 과정에서 에러 발생확률이 높았으나, 본 발명의 일 실시예는 데이터베이스로부터 입력된 손모양과 가장 유사한 손모양을 검출하므로 손모양 인식 속도가 더욱 빠르다. 나아가, 데이터베이스에 저장된 깊이영상들은 복수 개의 그룹으로 분류되어 트리(tree) 구조로 되어 있기 때문에, 깊이영상 검출시에 전체 데이터를 검색할 필요없이 트리 구조에 따라 일부 데이터만 검색하면 되므로 손모양 인식 속도를 더욱 향상시킬 수 있다. 또한, 본 발명의 일 실시예는 데이터베이스에 저장된 깊이영상들과 손관절 각도에 대한 정보를 이용하여 더욱 정확한 손모양 깊이영상을 제공할 수 있다. 이상에서 본 발명의 바람직한 실시 예들에 대하여 상세하게 설명하였지만, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 수 있을 것이다.
따라서, 본 발명의 권리범위는 이에 한정되는 것이 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100 : 손모양 깊이영상 데이터베이스 구축 시스템
210 : 입력부 220 : 깊이영상 추출부
230 : 깊이영상 정규화부 240 : 데이터베이스
250 : 대응 깊이영상 검출부 260 : 깊이영상 구체화부
270 : 출력부

Claims (25)

  1. 사용자의 동작을 입력받는 단계;
    상기 입력된 동작으로부터 사용자의 손모양의 깊이영상과 손관절 각도를 추출하는 단계;
    상기 추출된 손모양 깊이영상의 크기와 깊이값을 정규화하는 단계; 및
    상기 정규화된 손모양 깊이영상을 상기 추출된 손관절 각도에 대응시켜 저장하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 깊이영상 데이터베이스 구축방법.
  2. 제 1 항에 있어서,
    상기 손관절 각도는 각 손가락 뼈 사이의 관절의 각도인 것을 특징으로 하는 손모양 깊이영상 데이터베이스 구축방법.
  3. 제 1 항에 있어서,
    상기 입력된 동작으로부터 상기 손모양 깊이영상과 손관절 각도를 추출하는 단계는, 상기 사용자의 동작의 깊이영상으로부터 상기 사용자의 손 영역을 포함하는 도형을 추출하여 상기 손모양 깊이영상을 획득하는 것을 특징으로 하는 손모양 깊이영상 데이터베이스 구축방법.
  4. 제 3 항에 있어서,
    상기 정규화하는 단계는,
    상기 추출된 도형의 지름, 변 및 대각선의 길이 중 적어도 하나를 통해 상기 손모양 깊이영상의 크기를 결정하는 단계;
    기설정된 크기와 상기 손모양 깊이영상의 크기를 비교하는 단계; 및
    상기 손모양 깊이영상을 확대하거나 축소함으로써 상기 기설정된 크기로 조정하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 깊이영상 데이터베이스 구축방법.
  5. 제 3 항에 있어서,
    상기 정규화하는 단계는,
    저장된 손모양 깊이영상들의 가장 작은 깊이값이 모두 동일하도록 상기 추출된 손모양 깊이영상 내의 가장 작은 깊이값을 특정한 값으로 조정하는 단계; 및
    상기 손모양 깊이영상 내의 나머지 깊이값들을 상기 가장 작은 깊이값이 조정된 폭에 대응하여 조정하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 깊이영상 데이터베이스 구축방법.
  6. 복수 개의 손모양 깊이영상을 저장하는 데이터베이스를 이용한 손모양 인식방법에 있어서,
    사용자의 동작을 입력받는 단계;
    상기 입력된 동작으로부터 사용자의 손모양 깊이영상을 추출하는 단계;
    상기 추출된 손모양 깊이영상의 크기와 깊이값을 상기 데이터베이스에 저장된 손모양 깊이영상의 크기와 깊이값 기준에 부합하도록 정규화하는 단계; 및
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 인식방법.
  7. 제 6 항에 있어서,
    상기 사용자의 손모양 깊이영상을 추출하는 단계는,
    상기 사용자의 동작의 깊이영상으로부터 기설정된 범위 내의 깊이값을 갖는 영상을 검출하여 상기 사용자의 손 영역을 포함한 도형을 상기 손모양 깊이영상으로서 추출하는 것을 특징으로 하는 손모양 인식방법.
  8. 제 7 항에 있어서,
    상기 데이터베이스에 저장된 손모양 깊이영상은 크기가 기설정된 크기로 정규화되어 있고, 깊이값이 각 손모양 깊이영상 내의 가장 작은 깊이값을 기준으로 정규화되어 있는 것을 특징으로 하는 손모양 인식방법.
  9. 제 8 항에 있어서,
    상기 정규화하는 단계는,
    상기 도형을 확대하거나 축소하여 상기 기설정된 크기로 조정함으로써 상기 손모양 깊이영상의 크기를 정규화하는 단계; 및
    상기 데이터베이스에 저장된 손모양 깊이영상들의 가장 작은 깊이값과 상기 도형 내의 가장 작은 깊이값이 동일하도록 상기 도형의 전체 깊이값을 조정함으로써 상기 손모양 깊이영상의 깊이값을 정규화하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 인식방법.
  10. 제 6 항에 있어서,
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는,
    상기 정규화된 손모양 깊이영상에 대하여 깊이값의 차이가 기설정된 범위 내인 손모양 깊이영상을 상기 데이터베이스에서 검출하는 것을 특징으로 하는 손모양 인식방법.
  11. 제 10 항에 있어서,
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는,
    깊이값, 깊이벡터의 방향 및 깊이벡터의 크기 중 적어도 하나를 기준으로 상기 정규화된 손모양 깊이영상과 상기 데이터베이스의 손모양 깊이영상의 깊이값 차이를 판단하는 것을 특징으로 하는 손모양 인식방법.
  12. 제 11 항에 있어서,
    상기 깊이벡터는 상기 손모양 깊이영상의 픽셀 간 깊이값의 차이에 기초한 벡터인 것을 특징으로 하는 손모양 인식방법.
  13. 제 11 항에 있어서,
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는,
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상 각각에 대하여 서로 대응하는 픽셀의 깊이값들을 비교하여 깊이값 차이를 판단하는 것을 특징으로 하는 손모양 인식방법.
  14. 제 11 항에 있어서,
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 단계는,
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기를 산출하는 단계;
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기 중 적어도 하나를 비교하는 단계; 및
    상기 데이터베이스에서, 상기 비교된 깊이벡터의 방향 또는 크기의 차이가 기설정된 범위 이내인 손모양 깊이영상을 검출하는 단계;
    를 포함하는 것을 특징으로 하는 손모양 인식방법.
  15. 제 9 항에 있어서,
    상기 데이터베이스는 손모양 깊이영상마다 대응하는 손관절 각도에 대한 정보를 포함하며,
    상기 검출된 손모양 깊이영상에 대응하는 손관절 각도에 대한 정보를 이용하여, 손마디 사이 또는 손가락 형태에 대한 정보를 포함하도록 상기 검출된 손모양 깊이영상을 처리하여 상기 사용자의 손모양을 재현하는 단계를 추가로 포함하는 것을 특징으로 하는 손모양 인식방법.
  16. 사용자의 동작을 입력받는 입력부;
    상기 입력된 동작으로부터 사용자의 손모양 깊이영상을 추출하는 깊이영상 추출부;
    복수 개의 손모양 깊이영상을 저장하는 데이터베이스;
    상기 추출된 손모양 깊이영상의 크기와 깊이값을 상기 데이터베이스에 저장된 손모양 깊이영상의 크기와 깊이값 기준에 부합하도록 정규화하는 깊이영상 정규화부; 및
    상기 정규화된 손모양 깊이영상에 대응하는 손모양 깊이영상을 상기 데이터베이스로부터 검출하는 대응 깊이영상 검출부;
    를 포함하는 것을 특징으로 하는 손모양 인식 장치.
  17. 제 16 항에 있어서,
    상기 깊이영상 추출부는,
    상기 사용자의 동작의 깊이영상으로부터 기설정된 범위 내의 깊이값을 갖는 영상을 검출하여 상기 사용자의 손 영역을 포함한 도형을 상기 손모양 깊이영상으로서 추출하는 것을 특징으로 하는 손모양 인식 장치.
  18. 제 17 항에 있어서,
    상기 데이터베이스에 저장된 손모양 깊이영상은 크기가 기설정된 크기로 정규화되어 있고, 깊이값이 각 손모양 깊이영상 내의 가장 작은 깊이값을 기준으로 정규화되어 있는 것을 특징으로 하는 손모양 인식 장치.
  19. 제 18 항에 있어서,
    상기 깊이영상 정규화부는,
    상기 도형을 확대하거나 축소하여 상기 기설정된 크기로 조정함으로써 상기 손모양 깊이영상의 크기를 정규화하는 크기 정규화부; 및
    상기 데이터베이스에 저장된 손모양 깊이영상들의 가장 작은 깊이값과 상기 도형 내의 가장 작은 깊이값이 동일하도록 상기 도형의 전체 깊이값을 조정함으로써 상기 손모양 깊이영상의 깊이값을 정규화하는 깊이값 정규화부;
    를 포함하는 것을 특징으로 하는 손모양 인식 장치.
  20. 제 16 항에 있어서,
    상기 대응 깊이영상 검출부는,
    상기 정규화된 손모양 깊이영상에 대하여 깊이값의 차이가 기설정된 범위 내인 손모양 깊이영상을 상기 데이터베이스에서 검출하는 것을 특징으로 하는 손모양 인식 장치.
  21. 제 20 항에 있어서,
    상기 대응 깊이영상 검출부는,
    깊이값, 깊이벡터의 방향 및 깊이벡터의 크기 중 적어도 하나를 기준으로 상기 정규화된 손모양 깊이영상과 상기 데이터베이스의 손모양 깊이영상의 깊이값 차이를 판단하는 것을 특징으로 하는 손모양 인식 장치.
  22. 제 21 항에 있어서,
    상기 깊이벡터는 상기 손모양 깊이영상의 픽셀 간 깊이값의 차이에 기초한 벡터인 것을 특징으로 하는 손모양 인식 장치.
  23. 제 21 항에 있어서,
    상기 대응 깊이영상 검출부는,
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상 각각에 대하여 서로 대응하는 픽셀의 깊이값들을 비교하여 깊이값 차이를 판단하는 것을 특징으로 하는 손모양 인식 장치.
  24. 제 21 항에 있어서,
    상기 대응 깊이영상 검출부는,
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기를 산출하고,
    상기 데이터베이스의 손모양 깊이영상들과 상기 정규화된 손모양 깊이영상의 깊이벡터의 방향과 크기 중 적어도 하나를 비교하며,
    상기 데이터베이스에서, 상기 비교된 깊이벡터의 방향 또는 크기의 차이가 기설정된 범위 이내인 손모양 깊이영상을 검출하는 것을 특징으로 하는 손모양 인식 장치.
  25. 제 16 항에 있어서,
    상기 데이터베이스는 상기 저장된 손모양 깊이영상에 대응하는 손관절 각도에 대한 정보를 포함하며,
    상기 검출된 손모양 깊이영상에 대응하는 손관절 각도에 대한 정보를 이용하여, 손마디 사이 또는 손가락 형태에 대한 정보를 포함하도록 상기 검출된 손모양 깊이영상을 처리하여 상기 사용자의 손모양을 재현하는 깊이영상 구체화부를 추가로 포함하는 것을 특징으로 하는 손모양 인식 장치.
KR1020130065378A 2013-06-07 2013-06-07 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치 KR101436050B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130065378A KR101436050B1 (ko) 2013-06-07 2013-06-07 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US14/294,195 US20140363088A1 (en) 2013-06-07 2014-06-03 Method of establishing database including hand shape depth images and method and device of recognizing hand shapes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130065378A KR101436050B1 (ko) 2013-06-07 2013-06-07 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치

Publications (1)

Publication Number Publication Date
KR101436050B1 true KR101436050B1 (ko) 2014-09-02

Family

ID=51758937

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130065378A KR101436050B1 (ko) 2013-06-07 2013-06-07 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치

Country Status (2)

Country Link
US (1) US20140363088A1 (ko)
KR (1) KR101436050B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745406B1 (ko) * 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
KR20180060165A (ko) * 2016-11-28 2018-06-07 한국과학기술연구원 개인 맞춤형 무릎 보호대 제작을 위한 깊이 포인트 기반 무릎뼈 형상 추출장치 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2529669B8 (en) * 2014-08-28 2017-03-15 Ibm Storage system
US9952677B2 (en) * 2014-09-08 2018-04-24 Atheer, Inc. Method and apparatus for distinguishing features in data
CN105893404A (zh) * 2015-11-11 2016-08-24 乐视云计算有限公司 基于自然信息识别的推送系统和方法及一种客户端
KR101745651B1 (ko) * 2016-03-29 2017-06-09 전자부품연구원 손 제스처 인식 시스템 및 방법
CN106920251A (zh) 2016-06-23 2017-07-04 阿里巴巴集团控股有限公司 人手检测跟踪方法及装置
JP7054437B2 (ja) * 2017-12-22 2022-04-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN109000887B (zh) * 2018-05-25 2021-04-23 京东方科技集团股份有限公司 一种图案检测装置及方法、图案化控制系统及方法
WO2019241667A1 (en) * 2018-06-14 2019-12-19 Magic Leap, Inc. Augmented reality deep gesture network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271279A1 (en) 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
US20090110292A1 (en) 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Hand Sign Recognition Using Label Assignment
US20110054870A1 (en) 2009-09-02 2011-03-03 Honda Motor Co., Ltd. Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
KR20120046607A (ko) * 2010-11-02 2012-05-10 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
EP2302581A4 (en) * 2008-06-04 2013-05-22 Univ Tsukuba Nat University Corp FINGER SHAPE ESTIMATING DEVICE AND FINGER SHAPE ESTIMATING METHOD AND PROGRAM
US8600166B2 (en) * 2009-11-06 2013-12-03 Sony Corporation Real time hand tracking, pose classification and interface control
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
KR101318244B1 (ko) * 2012-02-29 2013-10-15 한국과학기술연구원 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271279A1 (en) 2004-05-14 2005-12-08 Honda Motor Co., Ltd. Sign based human-machine interaction
US20090110292A1 (en) 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Hand Sign Recognition Using Label Assignment
US20110054870A1 (en) 2009-09-02 2011-03-03 Honda Motor Co., Ltd. Vision Based Human Activity Recognition and Monitoring System for Guided Virtual Rehabilitation
KR20120046607A (ko) * 2010-11-02 2012-05-10 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101745406B1 (ko) * 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
US10078796B2 (en) 2015-09-03 2018-09-18 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
KR20180060165A (ko) * 2016-11-28 2018-06-07 한국과학기술연구원 개인 맞춤형 무릎 보호대 제작을 위한 깊이 포인트 기반 무릎뼈 형상 추출장치 및 방법
KR101915095B1 (ko) * 2016-11-28 2018-11-05 한국과학기술연구원 개인 맞춤형 무릎 보호대 제작을 위한 깊이 포인트 기반 무릎뼈 형상 추출장치 및 방법

Also Published As

Publication number Publication date
US20140363088A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
KR101436050B1 (ko) 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
KR101514169B1 (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN108845668B (zh) 人机交互系统和方法
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9836130B2 (en) Operation input device, operation input method, and program
US10503969B2 (en) Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
KR101360149B1 (ko) 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
KR101374720B1 (ko) 손동작 기반 가상 마우스 제어장치 및 그 방법
KR20160063163A (ko) 터치 제스쳐 인식 방법 및 장치
JP2016091457A (ja) 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム
JP2017117341A (ja) 物体検出方法、装置、及びプログラム
JP6141108B2 (ja) 情報処理装置およびその方法
KR20080065032A (ko) 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
KR102052449B1 (ko) 가상 마우스 시스템 및 그 제어 방법
CN110991292A (zh) 动作识别比对方法、系统、计算机存储介质和电子装置
JP2017033556A (ja) 画像処理方法及び電子機器
JP6229554B2 (ja) 検出装置および検出方法
JP6786015B1 (ja) 動作分析システムおよび動作分析プログラム
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
KR101200009B1 (ko) 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 4