KR20150130767A - 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 - Google Patents

사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20150130767A
KR20150130767A KR1020140057774A KR20140057774A KR20150130767A KR 20150130767 A KR20150130767 A KR 20150130767A KR 1020140057774 A KR1020140057774 A KR 1020140057774A KR 20140057774 A KR20140057774 A KR 20140057774A KR 20150130767 A KR20150130767 A KR 20150130767A
Authority
KR
South Korea
Prior art keywords
image
color
user
skin color
mask image
Prior art date
Application number
KR1020140057774A
Other languages
English (en)
Other versions
KR102207856B1 (ko
Inventor
허기수
이동우
신승용
김가규
신형철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140057774A priority Critical patent/KR102207856B1/ko
Priority to US14/712,391 priority patent/US9342751B2/en
Publication of KR20150130767A publication Critical patent/KR20150130767A/ko
Application granted granted Critical
Publication of KR102207856B1 publication Critical patent/KR102207856B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

사용자 손 검출 장치 기술이 개시된다. 본 발명의 일 면에 따른 사용자 손 검출 장치는 사용자의 손을 촬영한 깊이 이미지와 색상 이미지를 획득하는 이미지 획득부, 상기 깊이 이미지에서 제1 마스크 이미지를 추출하는 제1 마스크 이미지 추출부(여기서, 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함), 상기 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 제2 마스크 이미지 추출부, 상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성하고, 상기 제1 및 제2 피부 색상 값 히스토그램과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 제1 색상 공간의 제1 피부색 확률 이미지와 상기 제2 색상 공간의 제2 피부색 확률 이미지를 생성하는 피부색 확률 이미지 생성부(여기서, 상기 제1 및 제2 색상 공간은 상기 색상 이미지의 색상 공간과는 다른 것임) 및, 상기 제1 피부색 확률 이미지, 상기 제2 피부색 확률 이미지 및 상기 제2 마스크 이미지 중 적어도 2개를 조합하여 상기 사용자의 손 영역을 검출하는 손 영역 검출부를 포함한다.

Description

사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법{Device for detecting the user's hand and method thereof}
본 발명은 투과형 스마트 안경에 관한 것으로, 특히 스마트 안경에서 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치에 관한 것이다.
최근, 구글(Google)사의 구글 글래스(Google Glass)를 비롯하여, 많은 회사에서 다양한 광학 투과형(Optical see-through) 형태의 스마트 안경을 출시하고 있다. 기존 비디오 시스루 HMD(Video see-through Head Mounted Display)와 달리, 스마트 안경은 사용자가 보고 있는 정보를 실 세계의 사물에 결합하여 보여 줄 수 있다.
이런 스마트 안경에 출력되는 콘텐츠와의 상호 인터랙션을 위한 방법으로는 터치 센서 및 음성 인식, 카메라 비전(Vision)을 이용한 제스처 인식 등의 방법들이 제안된다. 예컨대, 구글사의 구글 글래스 경우 안경테의 터치 패드 및 음성 인식, 메타(Meta)사의 스페이스 글래스(Space Glasses) 경우 ToF(Time of Flight) 카메라를 이용한 손 제스처 인식 방법을 사용한다. 이 중, 사용자에게 가장 자연스런 UI/UX(User Interfaces/User Experience)를 제공하는 방법은 출력되는 콘텐츠에 대해 손을 이용하여 상호 작용하는 방법이다.
여기서, 손 제스처 인식은 정확한 손의 위치 탐지(Detection) 단계, 추적(Tracking) 및 분할(Segmentation) 단계, 그리고 인식(Recognition) 단계로 이루어진다. 정확한 손 제스처를 인식하기 위해서는 앞 단 프로세서인 손의 위치 탐지 단계, 추적 및 분할 단계가 가장 중요하다.
한편, 카메라 기반 손 제스처 인식 방법으로는 컬러 카메라의 피부색 컬러 모델에 의한 컬러 정보를 이용한 방법과 스테레오 카메라, ToF카메라 등 객체의 3D 깊이 정보를 이용하는 방법, 두 가지의 방법을 결합하는 하이브리드(Hybrid) 방식이 있다.
또한, 컬러 영상에서 피부 컬러 모델을 이용하는 방법으로는 가우시안 혼합 모델 등 다양한 방법이 있다. 하지만, 피부 컬러 모델을 생성하기 위해서는 많은 양의 데이터가 필요로 하며, 학습하지 않은 데이터에 대해서는 검출되지 않는 단점이 있다.
또한, 3차원 깊이 영상을 이용한 손 위치 및 분할 방법은 깊이 정보 또한 주위 환경(텍스처 등) 변화에 따라 정밀하게 손 영역의 분할이 이루어 지지 않는 단점이 있다.
본 발명은 사용자의 손이 촬영된 영상에서 주변 환경 변화에 강인하게 손 영역을 분할할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치는 사용자의 손을 촬영한 깊이 이미지와 색상 이미지를 획득하는 이미지 획득부, 상기 깊이 이미지에서 제1 마스크 이미지를 추출하는 제1 마스크 이미지 추출부(여기서, 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함), 상기 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 제2 마스크 이미지 추출부, 상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성하고, 상기 제1 및 제2 피부 색상 값 히스토그램과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 제1 색상 공간의 제1 피부색 확률 이미지와 상기 제2 색상 공간의 제2 피부색 확률 이미지를 생성하는 피부색 확률 이미지 생성부(여기서, 상기 제1 및 제2 색상 공간은 상기 색상 이미지의 색상 공간과는 다른 것임) 및, 상기 제1 피부색 확률 이미지, 상기 제2 피부색 확률 이미지 및 상기 제2 마스크 이미지 중 적어도 2개를 조합하여 상기 사용자의 손 영역을 검출하는 손 영역 검출부를 포함한다.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 사용자 손 검출 장치에 의해 사용자의 손을 검출하는 방법은 상기 사용자의 손이 촬영된 깊이 이미지에서 제1 마스크 이미지를 추출하는 단계(여기서, 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함), 상기 사용자의 손이 촬영된 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 단계, 상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 다른 색상 공간에서의 피부 색상 값 히스토그램 모델을 생성하는 단계, 상기 피부 색상 값 히스토그램 모델과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 다른 색상 공간의 피부색 확률 이미지를 생성하는 단계, 및 상기 피부색 확률 이미지와 상기 제2 마스크 이미지를 조합하여 상기 사용자의 손 영역을 검출하는 단계를 포함한다.
또한, 전술한 과제를 달성하기 위한 본 발명의 또 다른 양상에 따른 사용자 손 검출 장치에 의해 사용자의 손을 검출하는 방법은 상기 사용자의 손이 촬영된 깊이 이미지에서 제1 마스크 이미지를 추출하는 단계(여기서, 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함), 상기 사용자의 손을 촬영한 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 단계, 상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성하는 단계(여기서, 상기 제1 및 제2 색상 공간은 상기 색상 이미지의 색상 공간과는 다른 것임), 상기 제1 및 제2 피부 색상 값 히스토그램과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 제1 색상 공간의 제1 피부색 확률 이미지와 상기 제2 색상 공간의 제2 피부색 확률 이미지를 생성하는 단계, 및 상기 제1 피부색 확률 이미지, 상기 제2 피부색 확률 이미지 및 상기 제2 마스크 이미지 중 적어도 2개를 조합하여 상기 사용자의 손 영역을 검출하는 단계를 포함한다.
본 발명의 실시예에 따른 사용자 손 검출 장치는 깊이 이미지와 색상 이미지를 이용하여 마스크 이미지를 추출하고, 색상 이미지와는 다른 색상 공간에서 표현되는 피부색 확률 이미지를 생성하여 생성된 피부색 확률 이미지와 마스크 이미지를 조합하여 사용자의 손 영역을 검출함으로써, 빛 및 복잡한 배경 등 다양한 환경의 이미지에서 사용자의 손을 검출하는 기술의 정확성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 사용자 손 검출 장치가 구현된 투과형 스마트 안경을 도시한 도면.
도 2는 본 발명의 실시예에 따라 검출된 사용자의 손이 콘텐츠와 인터렉션(interaction)되어 사용자에게 제공되는 이미지를 예시한 도면.
도 3은 본 발명의 실시예에 따른 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 블록도.
도 4는 본 발명에 따라 사용자의 손 영역을 검출하는 방법을 설명하기 위한 이미지들을 예시한 제1 예시도.
도 5는 본 발명에 따라 사용자의 손 영역을 검출하는 방법을 설명하기 위한 이미지들을 예시한 제2 예시도.
도 6은 본 발명의 일 실시예에 따른 사용자 손 검출 장치에 의해 사용자의 손 영역을 검출하기 위한 방법 흐름도.
도 7은 본 발명의 다른 실시예에 따른 사용자 손 검출 장치에 의해 사용자의 손 영역을 검출하기 위한 방법 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 사용자 손 검출 장치가 구현된 투과형 스마트 안경(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 투과형 스마트 안경(10)은 안경 브릿지(bridge)의 소정 위치에 구현된 카메라(200)를 통해 사용자의 손을 촬영한다. 이때, 사용자의 손은 깊이 카메라와 색상 카메라에 의해 촬영된다.
깊이 카메라는 스테레오 방식으로 작동하는 카메라 또는 TOF(Time of Flight) 방식 등으로 작동하는 카메라이다. 깊이 카메라에 의해 사용자의 손이 촬영된 깊이 이미지에는 각 화소(pixel) 별로 상기 깊이 카메라로부터의 거리 정보가 구성된다.
색상 카메라는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등과 같은 이미지 센서를 이용한 카메라이다. 색상 카메라에 의해 사용자의 손이 촬영된 색상 이미지에는 각 화소별로 색상 정보가 구성된다. 이때, 색상 이미지는 RGB(Red, Green, Blue) 색상 공간에서 표현되는 색상 정보를 포함하는 이미지일 수 있다. 또는, 색상 이미지는 YCbCr 색상 공간 또는 HIS(Hue, Intensity, Saturation) 색상 공간에서 표현되는 색상 정보를 포함하는 이미지일 수 있다. 본 발명에서는 RGB 색상 공간 색상 이미지를 예를 들어 설명한다.
사용자의 손이 촬영된 이미지들(깊이 이미지 및 색상 이미지)은 안경 다리(temple)의 소정 위치에 구현된 사용자 손 검출 장치(100)로 전송된다. 이때, 이미지들은 유선 또는 무선 통신을 통해 사용자 손 검출 장치(100)로 전송된다.
사용자 손 검출 장치(100)는 카메라(200)로부터 전송된 이미지들을 영상 처리하여 이미지 내에서 사용자의 손만을 검출한다. 이때, 다양한 환경(빛, 복잡한 배경 등)으로 인해 이미지 내에서 사용자의 손을 정확하게 검출하는 기술이 요구된다.
이에 따라, 사용자 손 검출 장치(100)는 깊이 이미지와 색상 이미지를 이용하여 사용자의 손을 검출하는 기술을 제공하는데, 이에 대해서는 추후에 구체적으로 설명하도록 한다.
스마트 안경(10)은 사용자 손 검출 장치(100)에서 검출된 사용자 손의 위치를 추적하고, 그 결과를 렌즈(25)를 통해 출력하여 사용자에게 제공할 수 있다. 예컨대, 도 2에 예시된 바와 같이 스마트 안경(10)에 의해 검출된 사용자의 손이 콘텐츠와 인터렉션(interaction)되어 사용자에게 제공될 수 있다.
도 3은 본 발명의 실시예에 따른 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 블록도이다.
본 발명의 일 실시예에 따른 사용자 손 검출 장치(100)는 깊이 이미지와 색상 이미지로부터 제1 및 제2 마스크 이미지를 추출하고, 추출된 제2 마스크 이미지를 이용하여 색상 이미지와는 다른 색상 공간에서 표현되는 피부색 확률 이미지를 생성하며, 생성된 피부색 확률 이미지와 제2 마스크 이미지를 조합하여 손 영역을 검출한다.
이를 위해, 본 발명의 일 실시예에 따른 사용자 손 검출 장치(100)는 도 1에 도시된 바와 같이, 이미지 획득부(110), 마스크 이미지 추출부(120), 피부색 확률 이미지 생성부(130) 및 손 영역 검출부(140)를 포함한다. 이하, 도 4 및 도 5를 참조하여 사용자 손 검출 장치(100)에 대해 구체적으로 설명하도록 한다.
이미지 획득부(110)는 스마트 안경(10)의 카메라(200)로부터 사용자의 손이 촬영된 이미지를 획득한다. 여기서, 이미지 획득부(110)는 깊이 이미지 획득부(111)와 색상 이미지 획득부(112)를 포함한다. 깊이 이미지 획득부(111)는 깊이 카메라로부터 사용자의 손이 촬영된 깊이 이미지(41)를 유선 또는 무선 통신을 통해 획득한다. 또한, 색상 이미지 획득부(112)는 색상 카메라로부터 사용자의 손이 촬영된 색상 이미지(42)를 유선 또는 무선 통신을 통해 획득한다.
마스크 이미지 추출부(120)는 이미지 획득부(110)를 통해 획득된 깊이 이미지(41)와 색상 이미지(42)를 이용하여 사용자의 손 영역을 대략적으로 나타내는 마스크 이미지를 추출한다. 여기서, 마스크 이미지 추출부(120)는 제1 마스크 이미지 추출부(121)와 제2 마스크 이미지 추출부(122)를 포함한다.
제1 마스크 이미지 추출부(121)는 깊이 이미지 획득부(111)를 통해 획득된 깊이 이미지(41)로부터 제1 마스크 이미지(43)(Coarse Mask)를 추출한다. 이때, 제1 마스크 이미지 추출부(121)는 깊이 이미지(41)에서 깊이 카메라로부터 소정 거리(예컨대, 35cm) 이내의 물체를 포함하는 제1 마스크 이미지(43)로 추출한다.
이는, 스마트 안경(10)을 착용한 사용자가 손을 뻗었을 때의 손의 위치가 소정 거리 이내에 위치할 가능성이 높기 때문이다. 여기서, 소정 거리는 사용자의 신체 특성에 따라 변경 가능하다.
제2 마스크 이미지 추출부(122)는 색상 이미지 획득부(112)를 통해 획득된 색상 이미지(42)와 제1 마스크 이미지 추출부(121)에서 추출된 제1 마스크 이미지(43)를 이용하여 제2 마스크 이미지(45)(Fine Mask)를 추출한다. 여기서, 제2 마스크 이미지 추출부(122)는 색상 이미지(42)에서 제1 마스크 이미지(43)에 대응하는 영역들 중에서 기 설정된 피부 색상 값을 갖는 영역을 제2 마스크 이미지(45)로 추출한다.
예컨대, 제2 마스크 이미지 추출부(122)는 색상 이미지(42)와 제1 마스크 이미지(43)를 대응시킨 이미지(44)의 색상 영역들 중에서, 기 설정된 피부 색상 값을 갖는 영역을 제2 마스크 이미지(45)로 추출할 수 있다. 여기서, 기 설정된 피부 색상 값은 Cb 값 및 Cr 값의 소정 범위값일 수 있다.
이를 위해, 제2 마스크 이미지 추출부(122)는 영상 처리 알고리즘을 이용하여 이미지의 색상 공간을 변환할 수 있다. 여기서, 영상 처리 알고리즘은 색상 이미지(42)의 색상 공간과는 다른 색상 공간으로 변환하는 알고리즘이다. 예컨대, 영상 처리 알고리즘은 색상 이미지(42)를 RGB 색상 공간에서 YCbCr 색상 공간으로 변환하는 알고리즘일 수 있다.
일 예로서, 제2 마스크 이미지 추출부(122)는 색상 이미지 획득부(112)를 통해 획득된 색상 이미지(42)의 색상 공간을 먼저 변환할 수 있다. 즉, 제2 마스크 이미지 추출부(122)는 RGB 색상 공간에서 표현된 색상 이미지(42)를 YCbCr 색상 공간에서 표현되는 이미지로 변환한 후, 제1 마스크 이미지(43)와 대응시킨다.
다른 예로서, 제2 마스크 이미지 추출부(122)는 색상 이미지(42)와 제1 마스크 이미지를 먼저 대응시킨 후, 대응시킨 이미지(44)의 색상 공간을 변환할 수 있다. 이때, 마스크 이미지 추출부(120)는 RGB 색상 공간에서 표현된 대응시킨 이미지(44)를 YCbCr 색상에서 표현되는 이미지로 변환한다.
만약, 색상 이미지 획득부(112)를 통해 획득된 색상 이미지가 RGB 색상 공간이 아닌 YCbCr 색상 공간에서 표현되는 이미지인 경우, 제2 마스크 이미지 추출부(122)는 색상 공간의 변환 과정을 생략할 수 있다.
제2 마스크 이미지 추출부(122)는 대응시킨 이미지(44)의 Y 값, Cb 값, Cr 값들 중에서 Cb 값과 Cr 값을 확인하여 제2 마스크 이미지(45)를 추출한다. 이때, 제2 마스크 이미지 추출부(122)는 대응시킨 이미지(44)에서 Cb 값과 Cr 값이 기 설정된 소정 범위에 해당하는 영역을 제2 마스크 이미지(45)로 추출할 수 있다.
예컨대, 제2 마스크 이미지 추출부(122)는 대응시킨 이미지(44)에서 85 < Cb < 127, 137 < Cr < 177, 183 < Cb+0.6*Cr < 219의 3가지 범위 중 적어도 하나를 만족하는 영역들을 제2 마스크 이미지(45)로 추출할 수 있다. 바람직하게, 제2 마스크 이미지 추출부(122)는 대응시킨 이미지(44)에서 위의 3가지 범위를 모두 만족하는 영역들을 제2 마스크 이미지(45)로 추출할 수 있다. 이러한 소정 범위는 인종별 피부색 차이 등에 따라 사전에 작업자에 의해 변경되어 설정될 수 있다.
피부색 확률 이미지 생성부(130)는 제2 마스크 이미지(45)에 포함되지 못한 손 영역을 추출하기 위해 즉, 사용자 손 검출의 정확성을 높이기 위해 피부색 확률 이미지를 생성한다.
피부색 확률 이미지 생성부(130)는 제2 마스크 이미지(45)의 색상 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성한다.
즉, 피부색 확률 이미지 생성부(130)는 색상 이미지(42)와 제2 마스크 이미지(45)가 대응되는 색상 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성한다. 여기서, 제1 및 제2 색상 공간은 색상 이미지(42)의 색상 공간과는 다른 색상 공간이다. 예컨대, 색상 이미지(42)가 RGB 색상 공간에 따른 색상 신호를 가진다고 가정한다면, 제1 색상 공간은 HIS 색상 공간이며, 제2 색상 공간은 YCbCr 색상 공간일 수 있다.
피부색 확률 이미지 생성부(130)는 상기 제1 및 제2 피부 색상 값 히스토그램 모델 각각과 피부색 영역을 검출하는 알고리즘을 이용하여, 제1 및 제2 피부색 확률 이미지(52, 53)로 생성한다. 여기서, 상기 제1 및 제2 피부색 확률 이미지(52, 53)는 색상 이미지(42)에서 피부색일 확률이 높은 영역(예컨대, 피부색일 확률이 소정 확률 값 이상인 영역)이 추출된 것을 의미한다.
예컨대, 상기 알고리즘은 조건부 확률을 이용하여 이미지에서 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영(Histogram Back Projection) 알고리즘이다. 히스토그램 역 투영 알고리즘은 색상 히스토그램을 이용하여 색상 특징을 추출하는 방법으로 입력 화소의 조건부 확률 값을 추출하는 방법이다. 구체적으로, 히스토그램 역 투영 알고리즘은 수학식 1을 이용하여 사전 정의된 히스토그램에서 입력 화소에 대한 확률 사후 확률 값을 추정한다.
Figure pat00001
여기서, O는 사용자의 손의 피부색을 나타내는 사건, C는 해당 화소가 발생한 사건을 나타낸다. 조건부 확률 P(C|O)는 화소가 사용자 손의 피부색에서 추출된 화소인 경우, 이 화소가 컬러 C일 확률을 나타낸다. 반면, 조건부 확률 P(O|C)는 화소가 사용자의 손에서 추출되었을 확률을 나타낸다.
구체적으로, 피부색 확률 이미지 생성부(130)는 제1 색상 공간에서 색상 이미지(42)에 대한 색상 값 히스토그램을 생성한다. 그리고 피부색 확률 이미지 생성부(130)는 생성된 색상 값 히스토그램, 제1 피부 색상 값 히스토그램 모델 및 히스토그램 역 투영 알고리즘을 이용하여 색상 이미지(42)에서 피부색일 확률이 높은 영역을 검출하여 제1 피부색 확률 이미지(52)를 생성한다.
마찬가지로, 피부색 확률 이미지 생성부(130)는 제2 색상 공간에서 색상 이미지(42)에 대한 색상 값 히스토그램을 생성한다. 그리고 피부색 확률 이미지 생성부(130)는 생성된 색상 값 히스토그램, 제2 피부 색상 값 히스토그램 모델 및 히스토그램 역 투영 알고리즘을 이용하여 색상 이미지(42)에서 피부색일 확률이 높은 영역을 검출하여 제2 피부색 확률 이미지(53)를 생성한다.
손 영역 검출부(140)는 피부색 확률 이미지 생성부(130)에서 생성된 제1 및 제2 피부색 확률 이미지(52, 53)와 제2 마스크 이미지(45)를 조합하여 사용자의 손 영역을 검출한다.
일 예로서, 손 영역 검출부(140)는 제1 피부색 확률 이미지(52)와 제2 피부색 확률 이미지(53)를 먼저 조합한다. 이때, 손 영역 검출부(140)는 제1 피부색 확률 이미지(52)와 제2 피부색 확률 이미지(53)가 AND 연산된 이미지를 획득한다. 여기서, AND 연산된 이미지는 제1 피부색 확률 이미지(52)와 제2 피부색 확률 이미지(53) 간에 공통된 영역만이 추출되어 잡음이 제거된 이미지이다.
또한, 손 영역 검출부(140)는 AND 연산 결과 잡음이 제거된 이미지와 제2 마스크 이미지(45)를 조합하여 손 영역 검출 이미지(54)를 획득한다. 이때, 손 영역 검출부(140)는 잡음이 제거된 이미지와 제2 마스크 이미지(45)를 OR 연산하여 손 영역 검출 이미지(54)를 획득한다. 여기서, OR 연산된 손 영역 검출 이미지(54)는 잡음이 제거된 이미지에 속하거나 제2 마스크 이미지(45)에 속하는 모든 영역이 추출되어 손 영역으로 검출된 이미지이다.
다른 예로서, 손 영역 검출부(140)는 제1 피부색 확률 이미지(52)와 제2 피부색 확률 이미지(53) 중 적어도 하나와 제2 마스크 이미지(45)를 조합(OR 연산)하여 손 영역을 검출할 수도 있다.
이와 같이, 본 발명의 실시예에 따른 사용자 손 검출 장치는 깊이 이미지와 색상 이미지를 이용하여 제1 및 제2 마스크 이미지를 추출하고, 색상 이미지와는 다른 색상 공간에서 표현되는 피부색 확률 이미지를 생성하고, 생성된 피부색 확률 이미지와 마스크 이미지를 조합하여 사용자의 손 영역을 검출함으로써, 빛 및 복잡한 배경 등 다양한 환경의 이미지에서 사용자의 손을 검출하는 기술의 정확성을 향상시킬 수 있다.
도 6은 본 발명의 일 실시예에 따른 사용자 손 검출 장치의 사용자 손 검출 방법 흐름도이다. 여기서, 이하의 단계는 특별히 언급되지 않는 한, 사용자 손 검출 장치(100)가 수행하는 것으로 한다.
단계 S610에서, 깊이 이미지(41) 및 색상 이미지(42)를 획득하는 과정이 수행된다. 여기서, 깊이 이미지와 색상 이미지는 스마트 안경(10)의 카메라(200)(깊이 카메라 및 색상 카메라)로부터 획득된다. 이때, 카메라(200)로부터 유선 또는 무선 통신을 통해 깊이 이미지(41) 및 색상 이미지(42)가 획득될 수 있다.
단계 S620에서, 깊이 이미지(41)로부터 제1 마스크 이미지(43)를 추출하는 과정이 수행된다. 여기서, 제1 마스크 이미지(43)는 깊이 이미지(41)에서 깊이 카메라로부터 소정 거리(예컨대, 35cm) 이내의 물체를 포함한다. 이는, 스마트 안경(10)을 착용한 사용자가 손을 뻗었을 때의 손의 위치가 소정 거리 이내에 위치할 가능성이 높기 때문이다. 여기서, 소정 거리는 사용자의 신체 특성에 따라 변경이 가능하다.
단계 S630에서, 제1 마스크 이미지(43)와 색상 이미지(42)를 이용하여 제2 마스크 이미지(45)를 추출하는 과정이 수행된다. 여기서, 제2 마스크 이미지(45)는 색상 이미지(42)에서 제1 마스크 이미지(43)에 대응하는 영역들 중에서, 기 설정된 피부 색상 값을 갖는 영역이다. 예컨대, 색상 이미지(42)와 제1 마스크 이미지(43)를 대응시킨 이미지(44)의 색상 영역들 중에서, 기 설정된 피부 색상 값을 갖는 영역을 제2 마스크 이미지(45)로 추출될 수 있다. 여기서, 기 설정된 피부 색상 값은 Cb 값 및 Cr 값의 소정 범위 값일 수 있다.
이를 위해, 영상 처리 알고리즘을 이용하여 색상 이미지(42)의 색상 공간이 변환될 수 있다. 여기서, 영상 처리 알고리즘은 카메라(200)로부터 색상 이미지(42)를 획득할 때의 색상 공간과는 다른 색상 공간으로 변환하는 알고리즘이다. 예컨대, 색상 이미지(42)가 RGB 색상 공간의 이미지라면, 영상 처리 알고리즘은 색상 이미지(42)를 RGB 색상 공간에서 YCbCr 색상 공간으로 변환한다.
RGB 색상 공간에서의 색상 이미지(42)가 YCbCr 색상 공간에서의 이미지로 변환된 후, 제1 마스크 이미지(43)와 대응되는 영역들 중에서 기 설정된 피부 색상 값을 갖는 영역이 제2 마스크 이미지(45)로 추출된다. 이때, Y 값, Cb 값, Cr 값들 중에서 대응된 영역의 Cb 값과 Cr 값이 기 설정된 소정 범위에 해당하는 영역이 제2 마스크 이미지(45)로 추출될 수 있다. 여기서, 소정 범위는 인종별 피부색 차이 등에 따라 사전에 작업자에 의해 변경되어 설정될 수 있다. 예컨대, 대응시킨 영역에서 85 < Cb < 127, 137 < Cr < 177, 183 < Cb+0.6*Cr < 219의 범위를 만족하는 영역이 제2 마스크 이미지(45)로 추출될 수 있다.
단계 S640에서, 제2 마스크 이미지(45) 내의 색상 영역(51)에 대하여 다른 색상 공간에서 피부 색상 값 히스토그램 모델을 생성하는 과정이 수행된다. 이때, 카메라(200)로부터 획득된 색상 이미지(42)의 색상 공간과는 다른 색상 공간에서의 피부 색상 값 히스토그램 모델이 생성된다. 예컨대, 색상 이미지(42)가 RGB 색상 공간에 따른 색상 신호를 가진다고 가정하면, 다른 색상 공간은 HIS 색상 공간 또는 YCbCr 색상 공간일 수 있다.
단계 S650에서, 피부 색상 값 히스토그램 모델을 이용하여 색상 이미지(42)로부터 다른 색상 공간에서 표현되는 피부색 확률 이미지를 생성하는 과정이 수행된다. 여기서, 피부색 영역을 검출하는 알고리즘을 통해, 색상 이미지(42)에서 피부색일 확률이 높은 영역(예컨대, 피부색일 확률이 소정 값 이상인 영역)이 추출되어 피부색 확률 이미지가 생성된다. 이때, 알고리즘은 수학식 1을 이용하여 이미지 내에서 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영(Histogram Back Projection) 알고리즘이다.
또한, 다른 색상 공간(예컨대, HIS 또는 YCbCr 색상 공간)에서 색상 이미지(42)에 대한 색상 값 히스토그램이 생성된다. 이후, 생성된 색상 값 히스토그램, 단계 S640에서 생성된 피부 색상 값 히스토그램 모델 및 히스토그램 역 투영 알고리즘이 이용되어 색상 이미지(42)에서 피부색일 확률이 높은 영역이 피부색 확률 이미지로 생성된다.
단계 S660에서, 피부색 확률 이미지와 제2 마스크 이미지(45)를 조합하여 손 영역을 검출하는 과정이 수행된다. 예컨대, 피부색 확률 이미지와 제2 마스크 이미지(45)는 OR 연산되어 손 영역 검출 이미지(54)가 획득된다. 여기서, OR 연산은 피부색 확률 이미지와 제2 마스크 이미지(45)에 속하는 모든 영역이 추출되는 것이다.
이와 같이, 본 발명의 일 실시예에 따른 사용자 손 검출 장치는 깊이 이미지와 색상 이미지를 이용하여 제1 및 제2 마스크 이미지를 추출하고, 색상 이미지와는 다른 색상 공간에서 표현되는 피부색 확률 이미지를 생성하고, 생성된 피부색 확률 이미지와 마스크 이미지를 조합하여 사용자의 손 영역을 검출함으로써, 빛 및 복잡한 배경 등 다양한 환경의 이미지에서 사용자의 손을 검출하는 기술의 정확성을 향상시킬 수 있다.
도 7은 본 발명의 다른 실시예에 따른 사용자 손 검출 장치의 사용자 손 검출 방법 흐름도이다. 여기서, 이하의 단계는 특별히 언급되지 않는 한, 사용자 손 검출 장치(100)가 수행하는 것으로 한다.
단계 S710에서, 깊이 이미지(41) 및 색상 이미지(42)를 획득하는 과정이 수행된다. 여기서, 깊이 이미지(41)와 색상 이미지(42)는 스마트 안경(10)의 카메라(200)(깊이 카메라 및 색상 카메라)로부터 유선 또는 무선 통신을 통해 획득된다.
단계 S720에서, 깊이 이미지(41)로부터 제1 마스크 이미지(43)를 추출하는 과정이 수행된다. 여기서, 제1 마스크 이미지(43)는 깊이 이미지(41)에서 깊이 카메라로부터 소정 거리(예컨대, 35cm) 이내의 물체를 포함한다. 이는, 스마트 안경(10)을 착용한 사용자가 손을 뻗었을 때의 손의 위치가 소정 거리 이내에 위치할 가능성이 높기 때문이다. 여기서, 소정 거리는 사용자의 신체 특성에 따라 변경이 가능하다.
단계 S730에서, 제1 마스크 이미지(43)와 색상 이미지(42)를 이용하여 제2 마스크 이미지(45)를 추출하는 과정이 수행된다. 여기서, 제2 마스크 이미지(45)는 색상 이미지(42)에서 제1 마스크 이미지(43)에 대응하는 영역들 중에서, 기 설정된 피부 색상 값을 갖는 영역이다. 예컨대, 색상 이미지(42)와 제1 마스크 이미지(43)를 대응시킨 이미지(44)의 색상 영역들 중에서, 기 설정된 피부 색상 값을 갖는 영역을 제2 마스크 이미지(45)로 추출될 수 있다. 여기서, 기 설정된 피부 색상 값은 Cb 값 및 Cr 값의 소정 범위 값일 수 있다.
이를 위해, 영상 처리 알고리즘을 이용하여 색상 이미지(42)의 색상 공간이 변환될 수 있다. 여기서, 영상 처리 알고리즘은 카메라(200)로부터 색상 이미지(42)를 획득할 때의 색상 공간과는 다른 색상 공간으로 변환하는 알고리즘이다. 예컨대, 색상 이미지(42)가 RGB 색상 공간의 이미지라면, 영상 처리 알고리즘은 색상 이미지(42)를 RGB 색상 공간에서 YCbCr 색상 공간으로 변환한다.
RGB 색상 공간에서의 색상 이미지(42)가 YCbCr 색상 공간에서의 이미지로 변환된 후, 제1 마스크 이미지(43)와 대응되는 영역들 중에서 기 설정된 피부 색상 값을 갖는 영역이 제2 마스크 이미지(45)로 추출된다. 이때, Y 값, Cb 값, Cr 값들 중에서 대응된 영역의 Cb 값과 Cr 값이 기 설정된 소정 범위에 해당하는 영역이 제2 마스크 이미지(45)로 추출될 수 있다. 여기서, 소정 범위는 인종별 피부색 차이 등에 따라 사전에 작업자에 의해 변경되어 설정될 수 있다. 예컨대, 대응시킨 영역에서 85 < Cb < 127, 137 < Cr < 177, 183 < Cb+0.6*Cr < 219의 범위를 만족하는 영역이 제2 마스크 이미지(45)로 추출될 수 있다.
단계 S740에서, 제2 마스크 이미지(45) 내의 색상 영역에 대하여 제1 색상 공간에서 제1 피부 색상 값 히스토그램 모델을 생성하는 과정이 수행된다. 이때, 카메라(200)로부터 획득된 색상 이미지(42)의 색상 공간과는 다른 제1 색상 공간에서의 제1 피부 색상 값 히스토그램 모델이 생성된다. 예컨대, 제1 색상 공간은 HIS 색상 공간일 수 있다.
이와 마찬가지로, 단계 S750에서, 제2 마스크 이미지(45) 내의 색상 영역에 대하여 제2 색상 공간에서 제2 피부 색상 값 히스토그램 모델을 생성하는 과정이 수행된다. 이때, 카메라(200)로부터 획득된 색상 이미지(42)의 색상 공간과 제1 색상 공간과는 다른 제2 색상 공간에서의 제2 피부 색상 값 히스토그램 모델이 생성된다. 예컨대, 제2 색상 공간은 YCbCr 색상 공간일 수 있다.
단계 S760에서, 단계 S740에서 생성된 제1 피부 색상 값 히스토그램 모델을 이용하여 색상 이미지(42)로부터 제1 색상 공간에서 표현되는 제1 피부색 확률 이미지(52)를 생성하는 과정이 수행된다. 여기서, 피부색 영역을 검출하는 알고리즘을 통해, 색상 이미지(42)에서 피부색일 확률이 높은 영역(예컨대, 피부색일 확률이 소정 값 이상인 영역)이 추출되어 제1 피부색 확률 이미지(52)가 생성된다. 이때, 알고리즘은 이미지 내에서 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영 알고리즘이다. 예컨대, 제1 피부색 확률 이미지(52)는 제1 색상 공간에서 색상 이미지(42)에 대한 색상 값 히스토그램이 생성되고, 생성된 색상 값 히스토그램, 제1 피부 색상 값 히스토그램 모델 및 히스토그램 역 투영 알고리즘이 이용되어 색상 이미지(42)에서 피부색일 확률이 높은 영역으로 추출된 것이다.
이와 마찬가지로, 단계 S770에서, 단계 S750에서 생성된 제2 피부 색상 값 히스토그램 모델을 이용하여 색상 이미지(42)로부터 제2 색상 공간에서 표현되는 제2 피부색 확률 이미지(53)를 생성하는 과정이 수행된다. 여기서, 단계 S760에서와 마찬가지로 히스토그램 역 투영 알고리즘이 이용된다. 예컨대, 제2 피부색 확률 이미지(53)는 제2 색상 공간에서 색상 이미지(42)에 대한 색상 값 히스토그램이 생성되고, 생성된 색상 값 히스토그램, 제2 피부 색상 값 히스토그램 모델 및 히스토그램 역 투영 알고리즘이 이용되어 색상 이미지(42)에서 피부색일 확률이 높은 영역으로 추출된 것이다.
단계 S780에서, 단계 S750에서 생성된 제1 피부색 확률 이미지(52)와 단계 S770에서 생성된 제2 피부색 확률 이미지(53)를 조합하여 잡음을 제거하는 과정이 수행된다. 이때, AND 연산은 제1 피부색 확률 이미지(52)와 제2 피부색 확률 이미지(53)에 공통으로 속한 영역만이 추출되어 잡음이 제거된 이미지로 획득될 수 있다.
단계 S790에서, 단계 S780에서 잡음이 제거된 이미지와 제2 마스크 이미지(45)가 조합되어 손 영역이 검출된다. 이때, 잡음이 제거된 이미지와 제2 마스크 이미지(45)는 OR 연산되어 손 영역 검출 이미지(54)가 획득될 수 있다. 여기서, OR 연산은 잡음이 제거된 이미지에 속하거나 제2 마스크 이미지(45)에 속하는 모든 영역이 추출되는 것이다.
이와 같이, 본 발명의 다른 실시예에 따른 사용자 손 검출 장치는 깊이 이미지와 색상 이미지를 이용하여 제1 및 제2 마스크 이미지를 추출하고, 색상 이미지와는 다른 색상 공간에서 표현되는 제1 및 제2 피부색 확률 이미지를 생성하고, 생성된 제1 및 제32 피부색 확률 이미지와 마스크 이미지를 조합하여 사용자의 손 영역을 검출함으로써, 빛 및 복잡한 배경 등 다양한 환경의 이미지에서 사용자의 손을 검출하는 기술의 정확성을 향상시킬 수 있다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 투과형 스마트 안경 100 : 사용자 손 검출 장치
110 : 이미지 획득부 120 : 마스크 이미지 추출부
130 : 피부색 확률 이미지 생성부 140 : 손 영역 검출부
200 : 카메라 300 : 렌즈

Claims (17)

  1. 사용자의 손을 촬영한 깊이 이미지와 색상 이미지를 획득하는 이미지 획득부;
    상기 깊이 이미지에서 제1 마스크 이미지를 추출하는 제1 마스크 이미지 추출부 - 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함 -;
    상기 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 제2 마스크 이미지 추출부;
    상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성하고, 상기 제1 및 제2 피부 색상 값 히스토그램과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 제1 색상 공간의 제1 피부색 확률 이미지와 상기 제2 색상 공간의 제2 피부색 확률 이미지를 생성하는 피부색 확률 이미지 생성부 - 상기 제1 및 제2 색상 공간은 상기 색상 이미지의 색상 공간과는 다른 것임 -; 및
    상기 제1 피부색 확률 이미지, 상기 제2 피부색 확률 이미지 및 상기 제2 마스크 이미지 중 적어도 2개를 조합하여 상기 사용자의 손 영역을 검출하는 손 영역 검출부;
    를 포함하는 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치.
  2. 제1항에 있어서,
    상기 색상 이미지의 색상 공간은 RGB 색상 공간이며,
    상기 제1 및 제2 색상 공간 각각은 HIS(Hue, Intensity, Saturation) 색상 공간 및 YCbCr 색상 공간인 것인 사용자 손 검출 장치.
  3. 제1항에 있어서, 상기 제2 마스크 이미지 추출부는,
    상기 색상 이미지 내에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 Cb 값 및 Cr 값에 해당하는 영역을 상기 제2 마스크 이미지로 추출하는 것인 사용자 손 검출 장치.
  4. 제1항에 있어서,
    상기 피부색 영역을 검출하는 알고리즘은 조건부 확률을 이용하여 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영(Histogram Back Projection) 알고리즘인 것인 사용자 손 검출 장치.
  5. 제1항에 있어서, 상기 손 영역 검출부는,
    상기 제1 및 제2 피부색 확률 이미지 중 적어도 하나와 상기 제2 마스크 이미지를 OR 연산하는 것인 사용자 손 검출 장치.
  6. 제1항에 있어서, 상기 손 영역 검출부는,
    상기 제1 피부색 확률 이미지와 상기 제2 피부색 확률 이미지를 AND 연산하고, 상기 AND 연산 결과 출력된 이미지와 상기 제2 마스크 이미지를 OR 연산하는 것인 사용자 손 검출 장치.
  7. 사용자 손 검출 장치에 의해 사용자의 손을 검출하는 방법으로서,
    상기 사용자의 손이 촬영된 깊이 이미지에서 제1 마스크 이미지를 추출하는 단계 - 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함-;
    상기 사용자의 손이 촬영된 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 단계;
    상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 다른 색상 공간에서의 피부 색상 값 히스토그램 모델을 생성하는 단계;
    상기 피부 색상 값 히스토그램 모델과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 다른 색상 공간의 피부색 확률 이미지를 생성하는 단계; 및
    상기 피부색 확률 이미지와 상기 제2 마스크 이미지를 조합하여 상기 사용자의 손 영역을 검출하는 단계;
    를 포함하는 사용자의 손을 검출하는 방법.
  8. 제7항에 있어서,
    상기 다른 색상 공간은 HIS(Hue, Intensity, Saturation) 색상 공간 및 YCbCr 색상 공간 중 적어도 하나인 것인 사용자의 손을 검출하는 방법.
  9. 제7항에 있어서, 상기 기 제2 마스크 이미지를 추출하는 단계는,
    상기 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 Cb 값 및 Cr 값에 해당하는 영역을 상기 제2 마스크 이미지로 추출하는 단계를 포함하는 것인 사용자의 손을 검출하는 방법.
  10. 제7항에 있어서,
    상기 알고리즘은 조건부 확률을 이용하여 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영 알고리즘인 것인 사용자의 손을 검출하는 방법.
  11. 제7항에 있어서, 상기 사용자의 손 영역을 검출하는 단계는,
    상기 피부색 확률 이미지와 상기 제2 마스크 이미지를 OR 연산하여 상기 사용자의 손 영역을 검출하는 단계를 포함하는 것인 사용자의 손을 검출하는 방법.
  12. 사용자 손 검출 장치에 의해 사용자의 손을 검출하는 방법으로서,
    상기 사용자의 손이 촬영된 깊이 이미지에서 제1 마스크 이미지를 추출하는 단계 - 상기 제1 마스크 이미지는 상기 깊이 이미지를 생성한 촬상장치로부터 소정 거리 이내의 물체를 포함함-;
    상기 사용자의 손을 촬영한 색상 이미지에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 피부 색상 값을 갖는 제2 마스크 이미지를 추출하는 단계;
    상기 제2 마스크 이미지의 색상 영역에 대응되는 상기 색상 이미지의 영역에 대한 제1 및 제2 색상 공간에서의 제1 및 제2 피부 색상 값 히스토그램 모델을 생성하는 단계 - 상기 제1 및 제2 색상 공간은 상기 색상 이미지의 색상 공간과는 다른 것임 -;
    상기 제1 및 제2 피부 색상 값 히스토그램과 피부색 영역을 검출하는 알고리즘을 이용하여, 상기 색상 이미지로부터 상기 제1 색상 공간의 제1 피부색 확률 이미지와 상기 제2 색상 공간의 제2 피부색 확률 이미지를 생성하는 단계; 및
    상기 제1 피부색 확률 이미지, 상기 제2 피부색 확률 이미지 및 상기 제2 마스크 이미지 중 적어도 2개를 조합하여 상기 사용자의 손 영역을 검출하는 단계;
    를 포함하는 사용자의 손을 검출하는 방법.
  13. 제12항에 있어서, 상기 제2 마스크 이미지를 추출하는 단계는,
    상기 색상 이미지 내에서 상기 제1 마스크 이미지에 대응하는 영역들 중, 기 설정된 Cb 값 및 Cr 값에 해당하는 영역을 상기 제2 마스크 이미지로 추출하는 단계를 포함하는 것인 사용자의 손을 검출하는 방법.
  14. 제12항에 있어서,
    상기 제1 및 제2 색상 공간 각각은 HIS(Hue, Intensity, Saturation) 색상 공간 및 YCbCr 색상 공간인 것인 사용자의 손을 검출하는 방법.
  15. 제12항에 있어서,
    상기 피부색 영역을 검출하는 알고리즘은 조건부 확률을 이용하여 피부색일 확률이 높은 영역을 검출하는 히스토그램 역 투영 알고리즘인 것인 사용자의 손을 검출하는 방법.
  16. 제12항에 있어서, 상기 사용자의 손 영역을 검출하는 단계는,
    상기 제1 및 제2 피부색 확률 이미지 중 적어도 하나와 상기 제2 마스크 이미지를 OR 연산하여 상기 사용자의 손 영역을 검출하는 단계를 포함하는 것인 사용자의 손을 검출하는 방법.
  17. 제12항에 있어서, 상기 사용자의 손 영역을 검출하는 단계,
    상기 제1 피부색 확률 이미지와 상기 제2 피부색 확률 이미지를 AND 연산하고, 상기 AND 연산 결과 출력된 이미지와 상기 제2 마스크 이미지를 OR 연산하여 상기 사용자의 손 영역을 검출하는 단계를 포함하는 것인 사용자의 손을 검출하는 방법.
KR1020140057774A 2014-05-14 2014-05-14 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법 KR102207856B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140057774A KR102207856B1 (ko) 2014-05-14 2014-05-14 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
US14/712,391 US9342751B2 (en) 2014-05-14 2015-05-14 User hand detecting device for detecting user's hand region and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140057774A KR102207856B1 (ko) 2014-05-14 2014-05-14 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20150130767A true KR20150130767A (ko) 2015-11-24
KR102207856B1 KR102207856B1 (ko) 2021-01-26

Family

ID=54538956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057774A KR102207856B1 (ko) 2014-05-14 2014-05-14 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법

Country Status (2)

Country Link
US (1) US9342751B2 (ko)
KR (1) KR102207856B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321359B1 (ko) * 2020-06-02 2021-11-02 국민대학교산학협력단 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템
US11983959B2 (en) 2020-04-17 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6587421B2 (ja) * 2015-05-25 2019-10-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera
US9639943B1 (en) * 2015-12-21 2017-05-02 Intel Corporation Scanning of a handheld object for 3-dimensional reconstruction
US10628700B2 (en) 2016-05-23 2020-04-21 Intel Corporation Fast and robust face detection, region extraction, and tracking for improved video coding
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US10645357B2 (en) * 2018-03-01 2020-05-05 Motorola Mobility Llc Selectively applying color to an image
CN108564063B (zh) * 2018-04-27 2020-12-18 北京华捷艾米科技有限公司 基于深度信息的掌心定位方法及系统
US11562555B2 (en) * 2021-06-02 2023-01-24 The Nielsen Company (Us), Llc Methods, systems, articles of manufacture, and apparatus to extract shape features based on a structural angle template

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036052A (ja) * 1998-06-22 2000-02-02 Sharp Corp 複数人物が存在する場合の人間の顔のロバスト追跡方法
JP2003346145A (ja) * 2002-04-08 2003-12-05 Mitsubishi Electric Information Technology Centre Europa Bv 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置
KR20100138602A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
US8265380B1 (en) * 2008-08-14 2012-09-11 Adobe Systems Incorporated Reuse of image processing information
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
KR20130143405A (ko) * 2012-06-21 2013-12-31 안양대학교 산학협력단 깊이 정보 기반 사람의 피부 영역 검출 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350577A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 動作分析装置
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
US8442267B2 (en) 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture
US8295557B2 (en) * 2009-01-12 2012-10-23 Arcsoft Hangzhou Co., Ltd. Face image processing method
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8523667B2 (en) * 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
KR101476503B1 (ko) 2012-06-07 2014-12-26 한양대학교 산학협력단 착용형 디스플레이 장치를 위한 인터랙션 제공 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036052A (ja) * 1998-06-22 2000-02-02 Sharp Corp 複数人物が存在する場合の人間の顔のロバスト追跡方法
JP2003346145A (ja) * 2002-04-08 2003-12-05 Mitsubishi Electric Information Technology Centre Europa Bv 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置
US8265380B1 (en) * 2008-08-14 2012-09-11 Adobe Systems Incorporated Reuse of image processing information
US8406482B1 (en) * 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
KR20100138602A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
KR20130143405A (ko) * 2012-06-21 2013-12-31 안양대학교 산학협력단 깊이 정보 기반 사람의 피부 영역 검출 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983959B2 (en) 2020-04-17 2024-05-14 Beckman Coulter, Inc. Securing data of objects in a laboratory environment
KR102321359B1 (ko) * 2020-06-02 2021-11-02 국민대학교산학협력단 손 모양 및 조도 센서에 기초하여 가상현실 콘텐츠를 제어하는 휴대용 단말 및 이를 포함하는 vr 뷰어 시스템

Also Published As

Publication number Publication date
KR102207856B1 (ko) 2021-01-26
US20150332471A1 (en) 2015-11-19
US9342751B2 (en) 2016-05-17

Similar Documents

Publication Publication Date Title
KR102207856B1 (ko) 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
EP3284011B1 (en) Two-dimensional infrared depth sensing
WO2019228473A1 (zh) 人脸图像的美化方法和装置
US20180081434A1 (en) Eye and Head Tracking
Shreve et al. Macro-and micro-expression spotting in long videos using spatio-temporal strain
TWI455040B (zh) 前景物件偵測方法與裝置及背景偵測方法與裝置
US9432594B2 (en) User recognition apparatus and method
JP6564271B2 (ja) 撮像装置及び画像処理方法、プログラム、並びに記憶媒体
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US10181073B2 (en) Technologies for efficient identity recognition based on skin features
EP4206973A1 (en) Method for providing text translation managing data related to application, and electronic device thereof
JP6157165B2 (ja) 視線検出装置及び撮像装置
US11080888B2 (en) Information processing device and information processing method
US20230386256A1 (en) Techniques for detecting a three-dimensional face in facial recognition
CN115049819A (zh) 注视区域识别方法及装置
KR101158016B1 (ko) 상체자세 및 손모양 검출 장치 및 그 방법
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
CN108564070B (zh) 用于提取手势的方法及其装置
CN105718067B (zh) 可辅助辨色的扩增实境系统及方法
EP2328112A1 (en) A method of recognizing an object in a digital image, corresponding computer program product, and device therefor
KR20200074050A (ko) 식별 장치 및 전자기기
JP2013157675A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
WO2017214848A1 (en) Apparatus, method and computer program product for removing object in image
CN114761999A (zh) 图像处理方法、图像处理装置以及图像处理程序

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant