KR101350387B1 - 깊이 정보를 이용한 손 검출 방법 및 그 장치 - Google Patents

깊이 정보를 이용한 손 검출 방법 및 그 장치 Download PDF

Info

Publication number
KR101350387B1
KR101350387B1 KR1020120111447A KR20120111447A KR101350387B1 KR 101350387 B1 KR101350387 B1 KR 101350387B1 KR 1020120111447 A KR1020120111447 A KR 1020120111447A KR 20120111447 A KR20120111447 A KR 20120111447A KR 101350387 B1 KR101350387 B1 KR 101350387B1
Authority
KR
South Korea
Prior art keywords
hand
region
area
depth
image
Prior art date
Application number
KR1020120111447A
Other languages
English (en)
Inventor
최형일
주성일
원선희
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020120111447A priority Critical patent/KR101350387B1/ko
Application granted granted Critical
Publication of KR101350387B1 publication Critical patent/KR101350387B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 깊이 정보를 이용한 손 검출 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 카메라를 통해 전방에 대한 깊이 영상을 획득하는 단계와, 상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성하는 단계와, 상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성하는 단계와, 상기 누적차영상으로부터 손 후보영역을 검출하는 단계와, 상기 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증하는 단계, 및 상기 검증된 손 영역을 추적하는 단계를 포함하는 깊이 정보를 이용한 손 검출 방법을 제공한다.
상기 깊이 정보를 이용한 손 검출 방법 및 그 장치에 따르면, 피사체의 3차원 깊이 정보를 바탕으로 사용자의 손 영역을 효과적으로 검출하고 검출된 손 영역을 용이하게 추적할 수 있는 이점이 있다.

Description

깊이 정보를 이용한 손 검출 방법 및 그 장치{Method for detecting hand using depth information and apparatus thereof}
본 발명은 깊이 정보를 이용한 손 검출 방법 및 그 장치에 관한 것으로서, 보다 상세하게는 피사체의 깊이 정보를 바탕으로 사용자의 손 영역을 검출하고 추적할 수 있는 깊이 정보를 이용한 손 검출 방법 및 그 장치에 관한 것이다.
제스처 추적 및 인식 기술은 HCI(Human-Computer Interface) 분야에서 사용자-기기 간의 상호작용을 위한 기술로 적용되면서 인간의 행동을 분석하기 위한 척도로 연구 및 활용되고 있다. 실제로 제스처는 인간이 비언어적으로 표현할 수 있는 가장 효과적인 의사소통 방식으로 사람들 간의 복잡한 상호작용을 위한 간단한 동작만으로도 의사 전달이 가능하다. 최근에는 주로 스마트 디지털 디스플레이 장치를 작동하기 위한 사용자 인터페이스로서 상용화되어, 간단한 게임, 소셜 네트워크 서비스, 영상 통화 등에 주로 적용되고 있다.
손 검출 및 제스처 인식에 관한 연구는 대부분 컬러 영상에서의 영상처리 방법을 이용한 기술이다. 주로 카메라 영상으로부터 색상 정보와 화소의 특징 정보들을 가공하여 사용자의 형태와 얼굴을 인식하고 그로부터 검출된 손을 인식하여 기기 동작을 위한 기본적인 제스처가 가능하도록 하는 기술들이 주를 이루고 있다. 대부분 카메라의 영상을 이용하는 방법들은 주로 손의 피부 색상이나 에지 정보와 같은 영상의 화소 정보들을 이용한다.
영상처리 기반의 색상 정보를 이용하는 방법은 주로 영상에서 초기 영역을 설정하고 YIQ 혹은 HSV 색상 모델을 통해 피부 색상 모델을 생성하여 사용자의 얼굴과 손 영역 등 피부 영역을 배경으로부터 분할한 후, 확률밀도함수(Probability density function)을 이용하여 검출된 영역들로부터 손 영역을 검출한다. 또 다른 방법은 템플릿(template) 형태모델을 이용하는 방법으로 색상과 움직임 모델을 이용하여 손을 검출하고, 사전에 정의된 손 포즈(pose) 템플릿과의 거리를 계산하여 손의 정적 제스처(포즈) 및 동적 제스처를 인식한다.
그러나 이러한 방법들은 오직 2차원의 영상 공간 안에서만 손 검출과 제스처 인식이 가능하다. 만약, 초기에 사용자가 제스처를 수행하던 위치에서 사용자의 움직임에 의해 카메라로부터 거리가 멀어진다면 손 검출의 정확도가 낮아지게 되어 제스처 궤적 추적에 실패할 수 있게 된다. 이는 2차원 영상에서 화소들의 이동 거리 및 방향만을 분석하여 추적하기 때문이다. 또한, 기존의 방법은 제스처를 수행하는 환경에서 조명의 변화가 최소한이어야 하며, 초기 손 검출을 위한 기본 제스처 및 자세가 요구되는 등의 환경적인 제약 조건이 필요하다는 문제점이 있다. 본 발명의 배경이 되는 기술은 국내특허공개 제2012-0093226호에 개시되어 있다.
본 발명은 피사체의 3차원 깊이 정보를 바탕으로 사용자의 손 영역을 효과적으로 검출하고 검출된 손 영역을 용이하게 추적할 수 있는 깊이 정보를 이용한 손 검출 방법 및 그 장치를 제공하는데 목적이 있다.
본 발명은, 카메라를 통해 전방에 대한 깊이 영상을 획득하는 단계와, 상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성하는 단계와, 상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성하는 단계와, 상기 누적차영상으로부터 손 후보영역을 검출하는 단계와, 상기 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증하는 단계, 및 상기 검증된 손 영역을 추적하는 단계를 포함하는 깊이 정보를 이용한 손 검출 방법을 제공한다.
이때, 상기 차영상은 아래의 수학식을 통해 생성할 수 있다.
Figure 112012081469678-pat00001
여기서, S(x,y)는 상기 차영상을 구성하는 (x,y) 좌표의 밝기값, dt - 1(x,y)는 t-1 시점의 프레임에서 (x,y) 좌표의 깊이 정보, dt(x,y)는 t 시점의 프레임에서 (x,y) 좌표의 깊이 정보, Ts는 깊이 정보 차의 임계값, A는 이진 영상의 High 값에 대응하는 밝기값을 의미한다.
또한, 상기 누적차영상은 아래의 수학식을 통해 생성할 수 있다.
Figure 112012081469678-pat00002
여기서, A(x,y)는 상기 누적차영상을 구성하는 (x,y) 좌표의 밝기값, Si(x,y)는 i번째 차영상을 구성하는 (x,y) 좌표의 밝기값, n은 누적 개수이다.
그리고, 상기 누적차영상으로부터 손 후보영역을 검출하는 단계는, 상기 누적차영상의 전경 영역 중에서 가장 근거리의 깊이 정보를 갖는 기준 화소를 선택하는 단계; 및 상기 기준 화소로부터 임계 거리 내에 존재하는 인접 화소들 중에서 상기 기준 화소와의 깊이 차이가 기준값 이하인 인접 화소들에 대해 영역 확장을 수행하여 상기 손 후보영역을 검출하는 단계를 포함할 수 있다.
또한, 상기 영역 확장은 아래의 수학식을 이용할 수 있다.
Figure 112012081469678-pat00003
여기서, ∥P-p∥는 상기 기준 화소 P와 상기 인접 화소 p 사이의 거리 값, Tgd는 상기 임계 거리, d(px ,y)는 상기 기준 화소의 좌표인 px ,y의 깊이 정보, d(px -i,y-i)는 상기 px ,y 주변에 있는 8개의 인접 화소의 좌표, Tdep는 상기 기준 화소와 상기 인접 화소 간의 깊이 차이에 대한 임계치를 나타낸다.
또한, 상기 손 후보영역을 검증하는 단계는, 상기 손 후보영역의 크기 정보를 상기 카메라와의 거리별 기 저장된 손 크기 정보와 비교하여 상기 손 후보영역에 대한 크기 검증을 수행하는 단계, 및 상기 손 후보영역의 형태 정보를 상기 기 저장된 손 형태모델과 비교하여 손 후보영역에 대한 형태 검증을 수행하는 단계를 포함할 수 있다.
여기서, 상기 손 후보영역에 대한 형태 검증을 수행하는 단계는, 상기 손 형태모델에 대해 기 생성한 특징벡터와 상기 손 후보영역에 대해 생성한 특징벡터의 차이값(Diff)을 아래의 수학식과 같이 연산하고, 상기 연산된 차이값이 기 설정된 임계값보다 작은 경우 상기 손 후보영역이 상기 손 영역인 것으로 판단할 수 있다.
Figure 112012081469678-pat00004
여기서, FM은 학습용 손 영역의 윤곽선을 n개의 특징점으로 정규화하여 기 생성한 상기 손 형태모델의 특징벡터, f는 상기 손 후보영역의 윤곽선을 n개의 점으로 정규화하여 생성한 특징벡터, FM(i)는 상기 손 형태모델의 i번째 특징점, f(i)는 상기 손 후보영역의 i번째 특징점, ∥FM(i)- f(i)∥는 FM(i)과 f(i)의 차이값을 나타낸다.
또한, 상기 검증된 손 영역을 추적하는 단계는, 상기 검증된 손 영역에 대한 현재 프레임에서의 중심점을 기준으로 하여, 다음 프레임에 대해 상기 중심점과의 최근접점을 검출하는 단계와, 상기 최근접점을 기준 화소로 하여 상기 영역 확장을 수행하여 상기 다음 프레임에서의 손 영역의 객체를 획득하는 단계와, 상기 획득된 손 영역의 객체에 대한 윤곽선에 대해 평균 이동(Mean Shifting) 모델을 적용하여 상기 윤곽선의 무게중심이 수렴하는 좌표점을 획득하는 단계, 및 상기 수렴한 좌표점이 상기 획득된 손 영역의 객체 내부에 존재하면, 상기 수렴한 좌표를 이후의 프레임에 대한 추적점으로 설정하는 단계를 포함할 수 있다.
그리고, 본 발명은 카메라를 통해 전방에 대한 깊이 영상을 획득하는 깊이영상 획득부와, 상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성하는 차영상 생성부와, 상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성하는 누적차영상 생성부와, 상기 누적차영상으로부터 손 후보영역을 검출하는 손 검출부와, 상기 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증하는 손 검증부, 및 상기 검증된 손 영역을 추적하는 손 추적부를 포함하는 깊이 정보를 이용한 손 검출 장치를 제공한다.
본 발명에 따른 깊이 정보를 이용한 손 검출 방법 및 그 장치에 따르면, 피사체의 3차원 깊이 정보를 바탕으로 사용자의 손 영역을 효과적으로 검출하고 검출된 손 영역을 용이하게 추적할 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 깊이 정보를 이용한 손 검출 장치의 구성도이다.
도 2는 도 1을 이용한 깊이 정보를 이용한 손 검출 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 요구되는 기본 포즈에 대한 깊이 영상의 예시도이다.
도 4는 도 2의 S220 단계에 따른 차영상 생성 결과를 나타낸다.
도 5는 도 2의 S240 단계에 따라 검출된 손 후보영역을 나타낸다.
도 6은 도 5의 S240 단계의 영역 확장을 설명하는 개념도이다.
도 7은 도 2의 S250 단계에 사용되는 손 형태모델의 실시예를 나타낸다.
도 8은 도 2의 S250 단계에서 손 영역의 크기정보를 이용하여 2차 선형모델을 생성하기 위한 학습 데이터의 실시예를 나타낸다.
도 9는 도 2의 S260 단계의 수행 과정을 나타내는 영상이다.
도 10은 도 2의 S260 단계에서 추적점을 결정하는 실시예를 나타내는 개념도이다.
도 11은 본 발명의 실시예에 따른 손 검출 방법을 1m의 거리에서 수행한 결과를 나타낸다.
도 12는 본 발명의 실시예를 이용하여 나선형의 제스처 궤적을 추적한 결과를 나타낸다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 깊이 정보를 이용한 손 검출 장치의 구성도이다. 상기 장치(100)는 깊이영상 획득부(110), 차영상 생성부(120), 누적차영상 생성부(130), 손 검출부(140), 손 검증부(150), 손 추적부(160), 손 모델링부(170)를 포함한다.
깊이영상 획득부(110)는 카메라를 통해 전방에 대한 깊이 영상을 획득하는 부분이다. 이러한 깊이 영상은 3차원의 깊이 정보를 포함하는 영상으로서 카메라의 적외선 센서로부터 얻어진다.
깊이 영상의 배경에 대해 전경 영역이 발생하게 되면 추적 객체(ex, 손)가 검출된 것을 의미한다. 깊이 영상에서 추적 객체의 발생을 판단하는 방법은 기존에 다양하게 개시되어 있다.
차영상 생성부(120)는 상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성한다. 누적차영상 생성부(130)는 상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성한다.
손 검출부(140)는 상기 누적차영상으로부터 손 후보영역을 검출한다. 손 검증부(150)는 상기 검출된 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증한다. 여기서, 손 형태모델은 상기 손 모델링부(170)를 통해 미리 생성된 것이다.
그리고, 손 추적부(160)는 상기 검증된 손 영역을 추적한다. 이에 따라, 사용자의 손 영역에 대한 지속적인 궤적 추적이 가능해진다.
도 2는 도 1을 이용한 깊이 정보를 이용한 손 검출 방법의 흐름도이다. 이하에서는 본 발명의 실시예에 따른 깊이 정보를 이용한 손 검출 방법에 관하여 도 1 및 도 2를 참조로 하여 상세히 설명한다.
먼저, 깊이영상 획득부(110)는 카메라를 통해 전방에 대한 깊이 영상을 획득한다(S210).
도 3은 본 발명의 실시예에서 요구되는 기본 포즈에 대한 깊이 영상의 예시도이다. 손 영역의 검출을 위한 기본 포즈로서 손바닥은 팔꿈치보다 앞에 있는 상태(측면 자세 참조), 손가락은 편안하게 펴진 상태(정면 자세 참조)로 가정한다.
이렇게 획득된 깊이 영상으로부터 추적 객체가 검출되면, 차영상 생성부(120)는 인접 프레임 간의 시간에 따른 차영상들을 생성한다(S220).
이때, 상기 차영상은 아래의 수학식 1을 통해 생성한다.
Figure 112012081469678-pat00005
여기서, S(x,y)는 상기 차영상을 구성하는 (x,y) 좌표의 밝기값, dt - 1(x,y)는 t-1 시점의 프레임에서 (x,y) 좌표의 깊이 정보, dt(x,y)는 t 시점의 프레임에서 (x,y) 좌표의 깊이 정보, Ts는 깊이 정보 차의 임계값, A는 이진 영상의 High 값에 대응하는 밝기값을 의미한다. 본 실시예에서 A는 255의 값을 사용한다.
수학식 1에 따르면, 차영상의 생성에 있어서, t-1 시점에서의 (x,y) 좌표의 깊이 값 dt -1(x,y)로부터 t 시점에서의 (x,y) 좌표의 깊이 값 dt(x,y)를 차감한 값이 상기 임계값 Ts보다 크면, 해당 (x,y) 좌표의 밝기값은 255로 결정된다. 그렇지 않은 경우 해당 (x,y) 좌표의 밝기값은 0으로 결정된다.
임의 (x1,y1) 좌표를 예를 들면, t-1 시점에서보다 t 시점에서의 깊이 값이 작아졌다는 것(dt -1(x,y) - dt(x,y) > 0)은, t-1 시점에서는 존재하지 않던 물체(ex, 손)가 t 시점에서는 (x1,y1) 좌표 상에 물체(ex, 손)가 나타났다는 것을 의미한다.
본 실시예에서는 (x,y) 좌표에 대해 'dt -1(x,y) - dt(x,y)' 값이 0보다 크되 그 값이 임계치 Ts 보다 클 경우 현재 시점에서 움직임이 발생한 좌표로 판단하고 해당 좌표에 대해 255의 밝기값을 부가한다.
도 4는 도 2의 S220 단계에 따른 차영상 생성 결과를 나타낸다. 도 4의 (a)는 t-1 시점에서 손이 존재하다가 t 시점에서 사라진 경우, (b)는 t-1 시점에서 손이 존재하지 않다가 t 시점에서 존재하게 된 경우, 그리고 (c)는 t-1 시점의 손이 t 시점에서 위치를 바꾼 경우이다.
만약, 차영상의 생성 시에 'dt -1(x,y) - dt(x,y)'의 절대 값을 사용했다면, t 시점뿐만 아니라 t-1 시점에서의 손 부분도 차영상에 반영되는데, 특히 도 4의 (c)의 경우에는 차영상에 2개의 손 영역이 모두 한 화면에 나타나는 문제점이 발생한다. 그러나, 본 실시예는 차영상의 생성 시에 'dt -1(x,y) - dt(x,y)'의 절대 값을 사용하지 않기 때문에, t 시점에서의 손 부분만이 차영상에 반영되어 차영상의 안정성을 제공한다. 실제로 도 4의 (a),(b),(c) 모든 경우에 있어서 t-1 프레임 이후 t 프레임에서 변화가 발생한 영역을 기준으로 차영상이 생성된 것을 확인할 수 있다.
여기서, 단순히 차영상만을 사용할 경우, 손과 같은 객체가 천천히 이동하게 되는 경우에는 움직임을 감지하지 못하여 차영상이 제대로 생성되지 않을 수 있다. 이러한 문제점을 해결하기 위하여, 누적차영상 생성부(130)는 상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성한다(S230).
상기 누적차영상은 아래의 수학식 2을 통해 생성한다.
Figure 112012081469678-pat00006
여기서, A(x,y)는 상기 누적차영상을 구성하는 (x,y) 좌표의 밝기값, Si(x,y)는 i번째 차영상을 구성하는 (x,y) 좌표의 밝기값, n은 누적 개수이다. 여기서, t는 물론 프레임 인덱스를 의미한다. n의 개수를 변경하면 누적차 영상 생성에 필요한 차영상의 개수가 조절된다.
만약, 누적 개수가 3인 경우, 3개의 각 시점별로 기 획득된 3개의 차영상에서의 임의 (x,y) 좌표의 밝기값을 모두 합산한다. 여기서, 그 합산 값이 0보다 크기만 하면 누적차 영상을 구성하는 좌표들 중 상기 임의 (x,y) 좌표에 대해서는 255의 밝기값을 무조건 적용한다. 즉, 임의 (x,y) 좌표에 대해 차영상들 중 한번이라도 255 값이 적용된 적이 있다면, 누적차영상에서도 상기 임의 (x,y) 좌표에 대해서는 255 값이 적용된다.
이후, 손 검출부(140)는 상기 누적차영상으로부터 손 후보영역을 검출한다(S240). 도 5는 도 2의 S240 단계에 따라 검출된 손 후보영역을 나타낸다. 도 5의 (a)는 S210 단계에서 얻어진 깊이 영상, (b)는 S230 단계에 따른 누적차영상, (c)는 S240 단계에 따른 손 후보영역 검출의 결과를 나타낸다.
도 5의 (b)의 누적차영상에서 흰색 부분은 앞서 수학식 2에 의해 255의 밝기값이 부여된 픽셀들에 해당된다. 누적차영상은 차영상을 서로 결합한 것이므로, 각각의 프레임 영상에 대해 시간에 따라 손이 이동할 경우 손 여러 개가 손의 이동 궤적에 대응되어 중첩된 형태로 보여지게 된다.
도 5의 (c)에서 손 후보영역은 붉은 색으로 도시하고 있다. 이러한 손 후보영역은 도 5의 (b)에 도시된 누적차 영상에서 기준 화소로 선택된 P 점을 기준으로 영역 확장하여 얻어진다.
도 6은 도 5의 S240 단계의 영역 확장을 설명하는 개념도이다. 이러한 S240 단계는 아래와 같이 두 단계로 세분화된다.
먼저, 상기 누적차영상의 전경 영역(배경을 제외한 대상체 영역) 중에서 카메라로부터 가장 근거리의 깊이 정보를 갖는 기준 화소 P를 선택한다. 이 기준 화소의 선택은 누적차 영상의 생성에 사용된 각각의 프레임 중에서 가장 마지막 시점에 해당되는 프레임의 깊이 영상으로부터 선택될 수 있는데, 본 발명에 반드시 이에 한정되는 것은 아니다.
다음, 상기 기준 화소 P로부터 임계 거리 내에 존재하는 인접 화소들 중에서 상기 기준 화소 P와의 깊이 차이가 임계치 이하인 인접 화소들에 대해 영역 확장을 수행한다.
예를 들어, 도 6의 P 주변을 둘러싼 8개의 p 좌표들(ex, p1~p8)은 상기 임계 이내의 인접 화소들로서, 영역 확장의 대상이 되는 화소에 해당된다. 수학식 3은 임계 거리 이내의 인접 화소들을 결정하는 조건을 나타낸다.
Figure 112012081469678-pat00007
여기서, ∥P-p∥는 상기 기준 화소 P와 상기 인접 화소 p 사이의 거리 값, Tgd는 상기 임계 거리를 나타낸다.
상기 임계 거리를 만족하는 인접 화소들 중에서 일부 또는 전부는 아래의 수학식 4의 조건을 만족하는 경우, 영역 확장의 대상이 된다. 즉, 8개의 p 좌표들 중에서도 기준 화소 P와의 깊이 차이가 임계치 이하인 인접 화소만이 영역 확장에 이용된다.
Figure 112012081469678-pat00008
d(px ,y)는 상기 기준 화소의 좌표인 px ,y의 깊이 정보, d(px -i,y-i)는 상기 px ,y 주변에 있는 8개의 인접 화소의 좌표, i 값과 j 값은 -1과 1 사이에 해당되는 정수 값, Tdep는 상기 기준 화소와 상기 인접 화소 간의 깊이 차이에 대한 임계치를 나타낸다.
예를 들어, 도 6의 p1은 수학식 3과 수학식 4를 모두 만족한 인접 화소로서, 이후에는 앞서와 같은 방법으로 p1을 기준으로 하여 주변 화소들에 대해 영역 확장을 반복(점선 영역 참조)하면 된다.
본 실시예에서는 이와 같이 움직임이 발생한 영역에서 마지막 시점까지 발생한 영역의 화소들에 대해 깊이 정보를 통해 손 후보영역을 검출함에 따라, 추적 대상인 손에 해당되는 영역만 분할된다.
이후, 손 검증부(150)는 상기 검출된 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증한다(S250).
상기 손 영역의 검증 과정에 대한 설명에 앞서, 손 영역의 검증에 이용되는 손 형태모델 생성에 관하여 설명하면 다음과 같다. 손 형태모델 생성은 미리 촬영된 손의 깊이 영상인 훈련 데이터들을 이용한다.
손 형태모델을 생성하기 위해서는 손의 윤곽선 크기, 손의 이동 및 회전에 불변하도록 특징을 생성해야 한다. 먼저, 윤곽선의 길이가 손 영역의 크기에 따라 달라지는 것을 방지하기 위하여 윤곽선의 특징의 길이를 n 개로 정규화한다.
윤곽선의 길이에 무관하게 샘플링(sampling)되는 특징벡터 FM은 수학식 5와 같다. 본 실시예에서는 손 하나에 대해 윤곽선 상에 n=64개의 특징점을 갖는 특징벡터를 정의한다.
Figure 112012081469678-pat00009
여기서 물론 Pi는 특징벡터 FM을 구성하는 i번째 특징점을 의미한다. 이러한 특징벡터의 생성 과정은 다음과 같다.
우선, 손바닥의 중심점은 상기 검출된 손의 윤곽선 정보와 함께 특징벡터 추출을 위해 사용되는 중요한 특징에 해당된다. 손의 중심점을 검출하기 위해 본 실시예서는 Distance Transform을 이용하여 손바닥 중심에 있는 가장 큰 값을 갖는 좌표인 극점을 추출한다. Distance Transform은 기 공지된 방식으로서 상세한 설명은 생략한다.
여기서, 추출된 극점은 윤곽선의 크기와 이동, 회전에 민감하게 작용할 수 있다. 따라서 이동에 불변하기 위해서는 상기에서 구한 극점이 손 영역의 중심점이 되도록 각 윤곽선의 좌표 pi를 수학식 6을 이용하여 이동하도록 한다.
Figure 112012081469678-pat00010
여기서, Dm은 상기 극점을 의미한다.
이러한 수학식 6에 따르면, 극점 부분은 손 영역에 대한 영점 좌표로 보정된다. 즉, 극점 좌표 Dm은 Dm-Dm= (0,0)으로 갱신된다. 또한, 손 윤곽선의 i번째 좌표 pi는 pi-Dm 값으로 갱신된다.
이후에는, 손의 크기에 불변하도록 아래의 수학식 7과 같이 극점(기준점)으로부터 윤곽선을 이루는 좌표 점들과의 거리의 합이 1이 되도록 pi 값을 정규화한다.
Figure 112012081469678-pat00011
여기서, pk는 64개의 윤곽선 점들 중에서 k번째 점을 의미한다. 여기서, 수학식 7의 분모 값이 1이 되도록 Pi를 정규화한다. 이후에는, 수학식 8을 이용하여 중심점 Dm으로부터 가장 거리가 먼 윤곽선 상의 한 점 pmax를 기준점으로 선택하고, 이 기준점을 기준으로 특정 각도로 회전하여 시계방향으로 특징벡터를 생성한다.
Figure 112012081469678-pat00012
아래의 수학식 9는 선택된 기준점의 회전 각도를 산출하기 위한 것이다.
Figure 112012081469678-pat00013
수학식 9를 통해 획득한 θ를 이용하여 모든 점들을 -θ 만큼 회전함으로써 회전에 불변하도록 하고, 기준점 pmax를 기준으로 모든 윤곽선 점들을 시계 방향으로 재배치함으로써 최종 특징벡터를 생성한다.
상기와 같은 방법으로 생성된 특징벡터를 모든 학습 영상으로부터 획득하여 평균적인 특징벡터 모델을 생성할 수 있다. 본 실시예에서 손 형태모델은 여러 영상으로부터 얻어진 평균 형태모델을 의미한다.
도 7은 도 2의 S250 단계에 사용되는 손 형태모델의 실시예를 나타낸다. 이는 하나의 학습 영상에 대한 특징벡터의 일 실시예(좌측 그림)와, 모든 학습 영상으로부터 구한 특징 벡터를 평균하여 생성한 평균 형태모델(우측 그림)의 일 실시예를 도시한 것이다.
도 7의 시작점은 앞서 설명한 기준점 pmax에 해당된다. 이러한 도 7의 시작점은 특징 벡터의 시작점을 의미하며, 시계방향의 순서로 조합된 좌표들은 손 영역 형태모델의 최종 특징벡터를 나타낸다.
이렇게 생성된 손 형태모델은 S240 단계 시에 검출된 손 후보영역을 검증하기 위한 것으로서, 손 후보영역이 손 영역이 맞는지를 평가하기 위하여 S250 단계 시에 사용된다.
이러한 S250 단계는 손 후보영역에 대한 크기 및 형태 검증의 과정을 포함한다. 크기 검증 및 형태 검증은 손 검증부(150)에 포함된 크기 검증부(미도시) 및 형태 검증부(미도시)를 통해 각각 수행한다.
본 실시예에서는 손 검증을 위한 척도로서 손 영역에 대한 일반적인 크기가 존재한다는 실험적인 가정을 이용한다. 손 영역의 크기 정보를 획득하여 1차 검증을 수행하고, 앞서 추출한 특징벡터를 사용하는 형태정보를 이용하여 사전 생성된 손 형태모델과의 거리 분석을 통해 2차 검증을 수행한다. 이하에서는 이러한 S250 단계에 관하여 보다 상세히 설명한다.
먼저, 크기 검증부는 상기 손 후보영역의 크기 정보를 상기 카메라와의 거리별 기 저장된 손 크기 정보와 비교하여 상기 손 후보영역에 대한 크기 검증을 수행한다.
일반적으로 사람의 손 영역 크기는 일정 범위의 크기를 가지며, 카메라로부터의 거리에 따라 달라지는 사전적인 크기 정보를 기반으로 2차 선형모델을 사용하여 깊이, 즉 거리에 따른 손 영역의 크기를 미리 정의한다. 수학식 10은 깊이에 따른 손 영역의 크기를 2차 선형모델을 사용하여 정의한 것이다.
Figure 112012081469678-pat00014
여기서, α 값은 수학식 11로 정의된다.
Figure 112012081469678-pat00015
아래의 수학식 12에서 y는 각각의 학습 데이터로부터 획득한 손 영역의 크기 r로 이루어진 열벡터이고, P는 손 영역의 중심으로부터 추출된 깊이 값 x를 이용하여 생성된 n×3 행렬을 나타낸다.
Figure 112012081469678-pat00016
이때,
Figure 112012081469678-pat00017
이다. 최종적으로 수학식 11을 이용하여 α 를 계산하면, 깊이값에 대응하는 영역의 크기 정보를 획득할 수 있다. 이러한 수학식 10 내지 수학식 12는 기 공지된 방식으로서 보다 상세한 설명은 생략한다.
수학식 13은 상기 수학식 10에 대입하여 획득한 y값과 현재 영역의 크기인 Region의 차이가 임계값 Tr보다 작으면 1차 검증(크기 검증)에 성공한 것으로 판단한다.
Figure 112012081469678-pat00018
여기서, True 및 False는 크기 검증의 성공 및 실패를 각각 나타낸다.
도 8은 도 2의 S250 단계에서 손 영역의 크기정보를 이용하여 2차 선형모델을 생성하기 위한 학습 데이터의 실시예를 나타낸다. 이러한 도 8은 다양한 형태를 가지고 다양한 거리에 위치한 손 영역을 검출하여 학습 데이터로 사용함을 도시한 것이다.
이후에는, 이렇게 1차 검증에 성공한 후보영역에 대해 상기 손 형태모델과의 형태학적인 검증 작업을 수행한다. 즉, 형태검증부는 상기 손 후보영역의 형태 정보를 상기 기 저장된 손 형태모델과 비교하여 손 후보영역에 대한 형태 검증을 수행한다.
아래의 수학식 14는 1차 검증에 성공한 후보영역과 기 저장된 평균 형태모델 간의 형태학적인 차이값을 계산하는 과정을 나타낸다.
Figure 112012081469678-pat00019
여기서, FM은 학습용 손 영역의 윤곽선을 n개의 특징점으로 정규화하여 기 생성한 상기 손 형태모델의 특징벡터이고, f는 상기 손 후보영역의 윤곽선을 n개의 점으로 정규화하여 생성한 특징벡터이다. FM(i)는 상기 손 형태모델의 i번째 특징점, f(i)는 상기 손 후보영역의 i번째 특징점, ∥FM(i)- f(i)∥는 FM(i)과 f(i)의 차이값을 나타낸다.
즉, 형태검증 단계에서는 상기 손 형태모델에 대해 기 생성한 특징벡터와 상기 손 후보영역에 대해 생성한 특징벡터의 차이값(Diff)을 상기 수학식 14와 같이 연산하고, 상기 연산된 차이값이 기 설정된 임계값 Tm보다 작은 경우 상기 손 후보영역이 상기 손 영역인 것으로 판단한다.
이상과 같이 손 후보영역의 검증이 완료되면, 손 추적부(160)는 상기 검증된 손 영역을 추적한다(S260). 손 영역의 추적은 제스처 궤적을 검출하는 과정에 해당된다. 제스처 궤적 검출을 위해서는 손 중심점을 전이시키고 추적하는 과정이 필요하다.
도 9는 도 2의 S260 단계의 수행 과정을 나타내는 영상이다. 이러한 S260 단계는 최근접점을 검출하는 제1 과정, 최근접점으로부터 영역 확장을 수행하는 제2 과정, 그리고 적응적 Mean-Shift를 이용하여 추적점을 검출하는 제3 과정을 포함한다.
먼저, 상기 검증된 손 영역에 대한 현재 프레임에서의 중심점을 기준으로 하여, 다음 프레임에 대해 상기 중심점과 가장 가까운 최근접점을 검출한다. 상기 손 영역에 대한 중심점을 찾는 방법은 기 공지된 다양한 방법이 사용될 수 있다.
최근접점 검출의 예는 다음과 같다. 도 9와 같이, t 시점에서 검출된 초기 손 영역의 중심점이 t+1 시점에서 손 위치가 이동되었을 경우, 이전 중심점으로부터 가장 가까운 점인 최근접점을 검출하도록 한다.
이하에서는 t와 t-1 시점을 예로 하여 최근접점 검출의 방법을 설명한다. t 시점에서의 손 영역의 중심점
Figure 112012081469678-pat00020
을 기준으로 하여 t-1 시점에서의 최근접점
Figure 112012081469678-pat00021
의 검출은 수학식 15를 이용한다.
Figure 112012081469678-pat00022
여기서, p는 해당 프레임에서 비교하고자 하는 대상이 되는 임의의 점을 나타낸다.
수학식 16은 일반적으로 특징 간의 거리를 구하기 위해 사용되는 유클리디언 거리(Euclidean distance)로서 x축과 y축의 거리는 두 점간의 좌표 거리를 계산하지만, 거리 정보인 z축으로의 거리는 수학식 17을 이용하여 산출한다.
Figure 112012081469678-pat00023
Figure 112012081469678-pat00024
이때, Tf는 상수로서 카메라로부터 근접한 거리에 위치하는 점에 가중치를 부가하는 역할을 하며, Tdc는 z축의 단위와 x축, y축에서의 단위가 서로 다르기 때문에 이를 보정하는 역할을 한다. 이 값들은 실험을 통해 경험적으로 결정된 값(Tf=50, Tdc=4)로 적용한다.
최근접점의 검출 이후에는, 상기 최근접점으로부터 영역확장을 수행하여 손 영역과 그 윤곽선을 검출한다(도 9의 아래 두 그림 참조). 즉, 상기 최근접점을 기준 화소로 하여 앞서 상술한 영역 확장 기법을 수행하여 상기 다음 프레임에서의 손 영역의 객체를 획득한다. 이를 통해 손 영역의 분할이 가능해진다.
그리고, 손 영역의 추적을 위해, 상기 획득된 손 영역의 객체에 대한 윤곽선에 대해 적응적 평균 이동(Mean Shifting) 모델을 적용하여 상기 윤곽선의 무게중심이 수렴하는 좌표점을 획득한다.
도 10은 도 2의 S260 단계에서 추적점을 결정하는 실시예를 나타내는 개념도이다. 여기서, 평균 이동은 최근접점(#1)에서 시작하며, 도 9와 같이 검출된 윤곽선의 좌표들에 대해 수행한다. 그 원리는 다음과 같다.
상기 최근접점을 기준으로 원(ROI; 관심영역)을 도시한 다음 상기 윤곽선을 이루는 좌표들 중 원 내부에 들어오는 윤곽선 좌표들의 무게 중심(#2)을 구한다. 그런 다음, 다시 이 무게 중심(#2)을 기준으로 원을 그려서 새로운 무게 중심을 구하는 동작을 반복한다. 이러한 반복 동작은 무게 중심이 일정 오차 범위 내로 수렴할 때까지 수행한다.
즉, 본 실시예는 검출된 손 영역에 대해 원을 그려가면서 원 내부에 들어오는 윤곽선 점들의 무게중심을 이동 갱신하면서 무게중심이 수렴할 때까지 반복한다.
수학식 18은 본 발명의 실시예에 사용된 적응적 평균 이동(Mean Shifting)을 설명하기 위한 수식에 해당된다.
Figure 112012081469678-pat00025
이때 K는 커널함수이고,
Figure 112012081469678-pat00026
은 적응적으로 커널의 크기를 변화시키기 위한 파라미터로서 직전 프레임 시점에서의 추적점 위치의 깊이값을 의미하며,
Figure 112012081469678-pat00027
는 윤곽선 집합에 속하는 점이다. 초기 시작 위치는 앞서 산출한 최근접점
Figure 112012081469678-pat00028
로부터 평균 이동을 시작하며
Figure 112012081469678-pat00029
를 새로 산출된
Figure 112012081469678-pat00030
으로 교체하여 수렴할 때까지 반복 수행한다. 커널함수는 깊이값에 따라 반경이 변화된다.
Figure 112012081469678-pat00031
수학식 19의 α1,α2,α3은 앞서 기술된 2차 선형모델과 같은 방법으로 계산한다. 먼저 다양한 거리 환경에서 모든 손가락이 펴진 상태의 손 영역이 포함된 영상을 획득하고, 수동으로 손바닥의 중심을 선정한 후, 선정된 중심으로부터 가장 멀리 떨어진 중지의 끝점까지의 거리와 손바닥 중심의 깊이값을 수집한다. 수집한 깊이값을 상기 수학식 12의 x에 대입하고, 손바닥 중심으로부터 가장 멀리 떨어진 중지까지의 거리를 r에 대입하여 상기 수학식 11을 적용하면 α1,α2,α3의 값이 계산된다.
기존의 CAM-Shift(Continuously Adaptive Mean Shift) 알고리즘으로는 수렴한 위치가 항상 손 영역 내부에 존재함을 보장하지 못하기 때문에, 이를 보완하기 위해 본 실시예에서는 도 9와 같이 스택구조를 사용한다. 이러한 도 9는 초기 위치를 #1로 정하고 #1 위치의 깊이값을 대입한 커널함수로 평균 이동을 수행한 결과로서, 최종 수렴위치(#9)는 손 영역의 외부에 위치하게 되어 다음 프레임의 중심점 전이 과정에서 오류를 발생시키게 됨을 의미한다.
이를 해결하기 위해 본 발명의 평균 이동의 각 반복과정마다 획득된 좌표를 스택구조의 메모리 공간에 저장함으로써 수렴하게 될 경우 top위치부터 pop을 수행하여 해당 좌표가 손 영역 내부에 존재하는지 검사를 수행하여 최종 추적점을 결정하고 정보를 갱신한다. 즉, 상기 수렴한 좌표점이 상기 획득된 손 영역의 객체 내부에 존재하면, 상기 수렴한 좌표를 이후의 프레임에 대한 추적점으로 설정하여 계속적으로 제스처 궤적을 추적한다.
무게중심을 계속적으로 이동시키다 보면 무게 중심이 손 영역을 이탈하게 될 수 있다. 그러나, 실시간으로 손을 추적하기 위해서는 수렴된 무게 중심이 손 영역을 벗어나서는 안 된다. 본 실시예에서는 상기 수렴한 무게중심의 좌표점이 상기 획득된 손 영역의 객체 내부에 존재할 경우, 상기 수렴한 좌표를 그 이후의 프레임에 대한 추적점으로 설정한다.
도 11은 본 발명의 실시예에 따른 손 검출 방법을 1m의 거리에서 수행한 결과를 나타낸다. #17 프레임에서 움직임을 시작하여 손을 올리는 동작이 마무리되는 #35 프레임에서 손 영역 검출이 성공하였다. #25 프레임에서 영역 확장 결과가 없는 것은 상단의 누적차영상 영역 중 가장 근접한 좌표를 기준으로 영역확장을 수행하였을 경우 획득한 영역의 크기가 너무 작아서 검출에 실패하였기 때문이다.
도 12는 본 발명의 실시예를 이용하여 나선형의 제스처 궤적을 추적한 결과를 나타낸다. 이는 나선형 제스처가 완료되는 순간의 깊이 영상과 나선형 제스처 궤적의 추적 결과를 3차원 공간상에 도시한 것이다.
이상과 같은 본 발명에 따른 깊이 정보를 이용한 손 검출 방법 및 그 장치에 따르면, 피사체의 3차원 깊이 정보를 바탕으로 사용자의 손 영역을 효과적으로 검출하고 검출된 손 영역을 용이하게 추적할 수 있는 이점이 있다.
이러한 본 발명은 적외선 센서가 내장된 카메라를 이용하여 깊이 영상 데이터를 획득하고 실시간으로 손 검출 및 제스처 궤적을 추적하는 기술을 구현한 것으로서, 사용자로 하여금 쉽고 효율적인 디지털 기기의 작동 제어를 위한 제스처 인식 기반 기술을 제공한다. 이러한 본 발명은 카메라와는 독립적인 제스처 인터페이스 소프트웨어 기술로 응용될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 깊이 정보를 이용한 손 검출 장치
110: 깊이영상 획득부 120: 차영상 생성부
130: 누적차영상 생성부 140: 손 검출부
150: 손 검증부 160: 손 추적부
170: 손 모델링부

Claims (16)

  1. 카메라를 통해 전방에 대한 깊이 영상을 획득하는 단계;
    상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성하는 단계;
    상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성하는 단계;
    상기 누적차영상으로부터 손 후보영역을 검출하는 단계;
    상기 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증하는 단계; 및
    상기 검증된 손 영역을 추적하는 단계를 포함하며,
    상기 누적차영상으로부터 손 후보영역을 검출하는 단계는,
    상기 누적차영상의 전경 영역 중에서 가장 근거리의 깊이 정보를 갖는 기준 화소를 선택하는 단계; 및
    상기 기준 화소로부터 임계 거리 내에 존재하는 인접 화소들 중에서 상기 기준 화소와의 깊이 차이가 기준값 이하인 인접 화소들에 대해 영역 확장을 수행하여 상기 손 후보영역을 검출하는 단계를 포함하는 깊이 정보를 이용한 손 검출 방법.
  2. 청구항 2은(는) 설정등록료 납부시 포기되었습니다.
    청구항 1에 있어서,
    상기 차영상은 아래의 수학식을 통해 생성하는 깊이 정보를 이용한 손 검출 방법:
    Figure 112013109473686-pat00052

    여기서, S(x,y)는 상기 차영상을 구성하는 (x,y) 좌표의 밝기값, dt-1(x,y)는 t-1 시점의 프레임에서 (x,y) 좌표의 깊이 정보, dt(x,y)는 t 시점의 프레임에서 (x,y) 좌표의 깊이 정보, Ts는 깊이 정보 차의 임계값, A는 이진 영상의 High 값에 대응하는 밝기값을 의미한다.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    청구항 2에 있어서,
    상기 누적차영상은 아래의 수학식을 통해 생성하는 깊이 정보를 이용한 손 검출 방법:
    Figure 112013109473686-pat00053

    여기서, A(x,y)는 상기 누적차영상을 구성하는 (x,y) 좌표의 밝기값, Si(x,y)는 i번째 차영상을 구성하는 (x,y) 좌표의 밝기값, n은 누적 개수이다.
  4. 삭제
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    청구항 1에 있어서,
    상기 영역 확장은 아래의 수학식을 이용하는 깊이 정보를 이용한 손 검출 방법:
    Figure 112013109473686-pat00034

    여기서, ∥P-p∥는 상기 기준 화소 P와 상기 인접 화소 p 사이의 거리 값, Tgd는 상기 임계 거리, d(px,y)는 상기 기준 화소의 좌표인 px,y의 깊이 정보, d(px+i,y+j)는 상기 px,y 주변에 있는 8개의 인접 화소의 좌표인 px+i,y+j의 깊이 정보, Tdep는 상기 기준 화소와 상기 인접 화소 간의 깊이 차이에 대한 임계치를 나타낸다.
  6. 청구항 1에 있어서,
    상기 손 후보영역을 검증하는 단계는,
    상기 손 후보영역의 크기 정보를 상기 카메라와의 거리별 기 저장된 손 크기 정보와 비교하여 상기 손 후보영역에 대한 크기 검증을 수행하는 단계; 및
    상기 손 후보영역의 형태 정보를 상기 기 저장된 손 형태모델과 비교하여 손 후보영역에 대한 형태 검증을 수행하는 단계를 포함하는 깊이 정보를 이용한 손 검출 방법.
  7. 청구항 7은(는) 설정등록료 납부시 포기되었습니다.
    청구항 6에 있어서,
    상기 손 후보영역에 대한 형태 검증을 수행하는 단계는,
    상기 손 형태모델에 대해 기 생성한 특징벡터와 상기 손 후보영역에 대해 생성한 특징벡터의 차이값(Diff)을 아래의 수학식과 같이 연산하고, 상기 연산된 차이값이 기 설정된 임계값보다 작은 경우 상기 손 후보영역이 상기 손 영역인 것으로 판단하는 깊이 정보를 이용한 손 검출 방법:
    Figure 112012081469678-pat00035

    여기서, FM은 학습용 손 영역의 윤곽선을 n개의 특징점으로 정규화하여 기 생성한 상기 손 형태모델의 특징벡터, f는 상기 손 후보영역의 윤곽선을 n개의 점으로 정규화하여 생성한 특징벡터, FM(i)는 상기 손 형태모델의 i번째 특징점, f(i)는 상기 손 후보영역의 i번째 특징점, ∥FM(i)- f(i)∥는 FM(i)과 f(i)의 차이값을 나타낸다.
  8. 청구항 1에 있어서,
    상기 검증된 손 영역을 추적하는 단계는,
    상기 검증된 손 영역에 대한 현재 프레임에서의 중심점을 기준으로 하여, 다음 프레임에 대해 상기 중심점과 가장 가까운 최근접점을 검출하는 단계;
    상기 최근접점을 기준 화소로 하여 상기 영역 확장을 수행하여 상기 다음 프레임에서의 손 영역의 객체를 획득하는 단계;
    상기 획득된 손 영역의 객체에 대한 윤곽선에 대해 평균 이동(Mean Shifting) 모델을 적용하여 상기 윤곽선의 무게중심이 수렴하는 좌표점을 획득하는 단계; 및
    상기 수렴한 좌표점이 상기 획득된 손 영역의 객체 내부에 존재하면, 상기 수렴한 좌표점을 이후의 프레임에 대한 추적점으로 설정하는 단계를 포함하는 깊이 정보를 이용한 손 검출 방법.
  9. 카메라를 통해 전방에 대한 깊이 영상을 획득하는 깊이영상 획득부;
    상기 깊이 영상으로부터 추적 객체가 검출되면, 인접 프레임 간의 시간에 따른 차영상들을 생성하는 차영상 생성부;
    상기 차영상들을 일정시간 동안 누적하여 누적차영상을 생성하는 누적차영상 생성부;
    상기 누적차영상으로부터 손 후보영역을 검출하는 손 검출부;
    상기 손 후보영역을 기 저장된 손 형태모델과 비교하여 상기 손 후보영역이 손 영역에 해당되는지를 검증하는 손 검증부; 및
    상기 검증된 손 영역을 추적하는 손 추적부를 포함하며,
    상기 손 검출부는,
    상기 누적차영상의 전경 영역 중에서 가장 근거리의 깊이 정보를 갖는 기준 화소를 선택한 다음,
    상기 기준 화소로부터 임계 거리 내에 존재하는 인접 화소들 중에서 상기 기준 화소와의 깊이 차이가 기준값 이하인 인접 화소들에 대해 영역 확장을 수행하여 상기 손 후보영역을 검출하는 깊이 정보를 이용한 손 검출 장치.
  10. 청구항 10은(는) 설정등록료 납부시 포기되었습니다.
    청구항 9에 있어서,
    상기 차영상은 아래의 수학식을 통해 생성하는 깊이 정보를 이용한 손 검출 장치:
    Figure 112013109473686-pat00054

    여기서, S(x,y)는 상기 차영상을 구성하는 (x,y) 좌표의 밝기값, dt-1(x,y)는 t-1 시점의 프레임에서 (x,y) 좌표의 깊이 정보, dt(x,y)는 t 시점의 프레임에서 (x,y) 좌표의 깊이 정보, Ts는 깊이 정보 차의 임계값, A는 이진 영상의 High 값에 대응하는 밝기값을 의미한다.
  11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.
    청구항 10에 있어서,
    상기 누적차영상은 아래의 수학식을 통해 생성하는 깊이 정보를 이용한 손 검출 장치:
    Figure 112013109473686-pat00055

    여기서, A(x,y)는 상기 누적차영상을 구성하는 (x,y) 좌표의 밝기값, Si(x,y)는 i번째 차영상을 구성하는 (x,y) 좌표의 밝기값, n은 누적 개수이다.
  12. 삭제
  13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.
    청구항 9에 있어서,
    상기 영역 확장은 아래의 수학식을 이용하는 깊이 정보를 이용한 손 검출 장치:
    Figure 112013109473686-pat00038

    여기서, ∥P-p∥는 상기 기준 화소 P와 상기 인접 화소 p 사이의 거리 값, Tgd는 상기 임계 거리, d(px,y)는 상기 기준 화소의 좌표인 px,y의 깊이 정보, d(px+i,y+j)는 상기 px,y 주변에 있는 8개의 인접 화소의 좌표인 px+i,y+j의 깊이 정보, Tdep는 상기 기준 화소와 상기 인접 화소 간의 깊이 차이에 대한 임계치를 나타낸다.
  14. 청구항 9에 있어서,
    상기 손 검증부는,
    상기 손 후보영역의 크기 정보를 상기 카메라와의 거리별 기 저장된 손 크기 정보와 비교하여 상기 손 후보영역에 대한 크기 검증을 수행하는 크기검증부; 및
    상기 손 후보영역의 형태 정보를 상기 기 저장된 손 형태모델과 비교하여 손 후보영역에 대한 형태 검증을 수행하는 형태검증부를 포함하는 깊이 정보를 이용한 손 검출 장치.
  15. 청구항 15은(는) 설정등록료 납부시 포기되었습니다.
    청구항 14에 있어서,
    상기 형태검증부는,
    상기 손 형태모델에 대해 기 생성한 특징벡터와 상기 손 후보영역에 대해 생성한 특징벡터의 차이값(Diff)을 아래의 수학식과 같이 연산하고, 상기 연산된 차이값이 기 설정된 임계값보다 작은 경우 상기 손 후보영역이 상기 손 영역인 것으로 판단하는 깊이 정보를 이용한 손 검출 장치:
    Figure 112012081469678-pat00039

    여기서, FM은 학습용 손 영역의 윤곽선을 n개의 특징점으로 정규화하여 기 생성한 상기 손 형태모델의 특징벡터, f는 상기 손 후보영역의 윤곽선을 n개의 점으로 정규화하여 생성한 특징벡터, FM(i)는 상기 손 형태모델의 i번째 특징점, f(i)는 상기 손 후보영역의 i번째 특징점, ∥FM(i)- f(i)∥는 FM(i)과 f(i)의 차이값을 나타낸다.
  16. 청구항 9에 있어서,
    상기 손 추적부는,
    상기 검증된 손 영역에 대한 현재 프레임에서의 중심점을 기준으로 하여, 다음 프레임에 대해 상기 중심점과의 최근접점을 검출한 후, 상기 최근접점을 기준 화소로 하여 상기 영역 확장을 수행하여 상기 다음 프레임에서의 손 영역의 객체를 획득하고,
    상기 획득된 손 영역의 객체에 대한 윤곽선에 대해 평균 이동(Mean Shifting) 모델을 적용하여 상기 윤곽선의 무게중심이 수렴하는 좌표점을 획득한 다음, 상기 수렴한 좌표점이 상기 획득된 손 영역의 객체 내부에 존재하면, 상기 수렴한 좌표점을 이후의 프레임에 대한 추적점으로 설정하는 깊이 정보를 이용한 손 검출 장치.
KR1020120111447A 2012-10-08 2012-10-08 깊이 정보를 이용한 손 검출 방법 및 그 장치 KR101350387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120111447A KR101350387B1 (ko) 2012-10-08 2012-10-08 깊이 정보를 이용한 손 검출 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120111447A KR101350387B1 (ko) 2012-10-08 2012-10-08 깊이 정보를 이용한 손 검출 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101350387B1 true KR101350387B1 (ko) 2014-01-13

Family

ID=50145288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120111447A KR101350387B1 (ko) 2012-10-08 2012-10-08 깊이 정보를 이용한 손 검출 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101350387B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078796B2 (en) 2015-09-03 2018-09-18 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
KR20190082336A (ko) * 2017-11-30 2019-07-10 서울대학교산학협력단 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치
WO2020096183A1 (ko) * 2018-11-08 2020-05-14 주식회사 에이치케이 튜브 부재의 편심 감지방법
CN112542163A (zh) * 2019-09-04 2021-03-23 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质
CN113112541A (zh) * 2021-04-28 2021-07-13 西南大学 基于图像处理的蚕蛹蛹体位姿测算方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
I. Oikonomidis et al.,"Efficient model-based 3D tracking of hand articulations using Kinect,"British Machine Vision Conference (BMVC), pp.101.1-101.11, 2011. *
S. Park et al., "3D Hand Tracking Using Kalman Filter in Depth Space," EURASIP Journal on Advances in Signal Processing, vol.2012, no.1, pp.1-18, Feb. 2012. *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078796B2 (en) 2015-09-03 2018-09-18 Korea Institute Of Science And Technology Apparatus and method of hand gesture recognition based on depth image
KR20190082336A (ko) * 2017-11-30 2019-07-10 서울대학교산학협력단 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치
KR102002533B1 (ko) * 2017-11-30 2019-07-22 서울대학교산학협력단 동영상으로부터 보행자를 검출하기 위한 방법 및 이를 수행하기 위한 장치
WO2020096183A1 (ko) * 2018-11-08 2020-05-14 주식회사 에이치케이 튜브 부재의 편심 감지방법
CN112542163A (zh) * 2019-09-04 2021-03-23 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质
CN112542163B (zh) * 2019-09-04 2023-10-27 百度在线网络技术（北京）有限公司 智能语音交互方法、设备及存储介质
CN113112541A (zh) * 2021-04-28 2021-07-13 西南大学 基于图像处理的蚕蛹蛹体位姿测算方法及系统

Similar Documents

Publication Publication Date Title
KR102317247B1 (ko) 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
US9330307B2 (en) Learning based estimation of hand and finger pose
Wang et al. Multi-cue based tracking
Holte et al. View-invariant gesture recognition using 3D optical flow and harmonic motion context
CN104573614B (zh) 用于跟踪人脸的设备和方法
WO2017152794A1 (en) Method and device for target tracking
CN109977833B (zh) 物体追踪方法、物体追踪装置、存储介质及电子设备
Kumano et al. Pose-invariant facial expression recognition using variable-intensity templates
JP5777582B2 (ja) 画像中の物体の検出及び追跡
US9672634B2 (en) System and a method for tracking objects
CN104123529B (zh) 人手检测方法及系统
CN105760826A (zh) 一种人脸跟踪方法、装置和智能终端
JP2016006626A (ja) 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US9727776B2 (en) Object orientation estimation
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
KR20130043394A (ko) 목표물을 검출하기 위한 영상 처리 방법, 장치, 사용자 인터페이스를 위한 방법 및 장치
KR20120035604A (ko) 영상 기반의 손 검출 장치 및 그 방법
US20150199592A1 (en) Contour-based classification of objects
KR20160044316A (ko) 깊이 정보 기반 사람 추적 장치 및 그 방법
Unzueta et al. Efficient generic face model fitting to images and videos
EP2899706B1 (en) Method and system for analyzing human behavior in an intelligent surveillance system
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
JP2017033556A (ja) 画像処理方法及び電子機器
JP4559375B2 (ja) 対象物位置追跡方法、装置、およびプログラム
JP7024876B2 (ja) 検出装置、処理装置、検出方法、及び処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7