KR101789071B1 - 깊이 영상의 특징 추출 방법 및 장치 - Google Patents

깊이 영상의 특징 추출 방법 및 장치 Download PDF

Info

Publication number
KR101789071B1
KR101789071B1 KR1020110003452A KR20110003452A KR101789071B1 KR 101789071 B1 KR101789071 B1 KR 101789071B1 KR 1020110003452 A KR1020110003452 A KR 1020110003452A KR 20110003452 A KR20110003452 A KR 20110003452A KR 101789071 B1 KR101789071 B1 KR 101789071B1
Authority
KR
South Korea
Prior art keywords
level
depth
feature
depth image
information
Prior art date
Application number
KR1020110003452A
Other languages
English (en)
Other versions
KR20120082126A (ko
Inventor
한재준
유병인
최창규
서성주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110003452A priority Critical patent/KR101789071B1/ko
Priority to US13/290,623 priority patent/US9460336B2/en
Publication of KR20120082126A publication Critical patent/KR20120082126A/ko
Application granted granted Critical
Publication of KR101789071B1 publication Critical patent/KR101789071B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

3차원 깊이 영상의 특징을 추출하기 위한 특징 추출 방법 및 장치에 관한 것이다. 특징 추출 장치는 깊이 영상을 이용하여 복수의 레벨 세트를 생성하고, 상기 생성된 각 레벨의 깊이 영상 별로 특징을 추출할 수 있다.

Description

깊이 영상의 특징 추출 방법 및 장치{APPARATUS AND METHOD FOR EXTRACTING FEATURE OF DEPTH IMAGE}
깊이 영상의 특징을 추출하는 기술에 관한 것이다.
3차원(Dimension) 비디오 영상의 특징을 추출하기 위한 방법으로는 3차원 깊이(Depth) 영상의 포인트 클라우드(Point cloud)에서 평면(Plane) 등을 세분화(Segmentation)하는 방법을 활용하여 특징을 추출하고 있다. 이러한 방법은 RanSac(Random Sample Consensus) 등의 계산적으로 복잡한 방법들로 고속 계산을 하기에는 많은 제약을 가지며, 그 영상의 구조를 미리 알고 있어야 정확한 특징 추출이 가능하다.
다른 방법으로는 3차원 영상에서 객체(Object)의 윤곽(실루엣)을 추출하고, 추출된 윤곽(Contour)의 모양(Shape) 추정을 위해 순간(Moment)을 활용하는 방법이 있으나, 3차원 영상의 깊이 정보를 외곽선 추출에만 활용한 방식이어서 입체의 특징을 활용하지 못한다.
또 다른 방법은 복셀(Volume Pixel, Voxel)을 구성하고, 복셀 별로 깊이 정보를 추정하고, 추정된 깊이 정보에 기초하여 주 성분 분석(Principle Component Analysis) 등의 고유치 분석(Eigenvalue Analysis) 등을 활용하는 방법이 있다.
본 발명의 일실시예에 따른 특징 추출 장치는 깊이(depth) 영상을 이용하여 복수의 레벨 세트를 생성하는 세트 생성부, 및 상기 생성된 각 레벨의 깊이 영상 별로 특징을 추출하는 특징 추출부를 포함한다.
상기 세트 생성부는 상기 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역(Region of Interest, ROI)을 추출하고, 상기 추출된 관심영역을 복수의 레벨로 구분하여 상기 복수의 레벨 세트를 생성할 수 있다.
상기 세트 생성부는 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하고, 상기 구분된 복수의 레벨을 이용하여 상기 복수의 레벨 세트를 생성할 수 있다.
상기 세트 생성부는 상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상을 획득하거나, 상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상을 획득하거나, 또는 상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상을 획득할 수 있다.
상기 깊이 정보는 상기 i번째 레벨의 깊이 문턱값(threshold)일 수 있다.
상기 특징 추출부는 상기 생성된 각 레벨의 깊이 영상으로부터 모양(shape) 정보를 추출하는 디스크립터(descriptor)를 이용하여 상기 특징을 추출할 수 있다.
상기 특징 추출 장치는 상기 추출된 특징에 대응하는 이동 정보 또는 자세(Posture) 정보를 선택하는 정보 선택부를 더 포함할 수 있다.
상기 정보 선택부는 상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 분류기(classifier)를 생성할 수 있다.
상기 정보 선택부는 영상 취득부를 통해 새롭게 획득되는 깊이 영상의 특징과 매칭되는 학습 샘플을 식별하여, 상기 식별된 학습 샘플을 이용하여 상기 획득된 깊이 영상의 이동 정보 또는 상기 자세 정보를 선택할 수 있다.
본 발명의 다른 일실시예에 따른 특징 추출 장치는 깊이 영상에서 추출된 관심영역을 선정된 방향으로 구분하는 세트 생성부, 및 상기 구분된 2차원 경계의 깊이 영상에 기초하여 특징을 추출하는 특징 추출부를 포함할 수 있다.
상기 세트 생성부는 상기 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 구분할 수 있다.
상기 특징 추출부는 상기 깊이 영상을 선정된 간격(interval)으로 구분하여 상기 깊이 영상의 경계(Boundary)를 추출하고, 상기 추출된 경계의 깊이 영상에 기초하여 특징을 추출할 수 있다.
본 발명의 또 다른 일실시예에 따른 특징 추출 장치는 깊이 영상을 획득하는 영상 취득부, 상기 획득한 깊이 영상을 이용하여 복수의 레벨을 생성하는 세트 생성부, 및 상기 생성된 각 레벨의 깊이 영상 별로 특징을 추출하는 특징 추출부를 포함할 수 있다.
본 발명의 일실시예에 따른 특징 추출 방법은 깊이 영상을 이용하여 복수의 레벨을 생성하는 단계, 및 상기 생성된 각 레벨의 깊이 영상 별로 특징을 추출하는 단계를 포함한다.
레벨 별로 구분된 깊이 영상으로부터 특징을 추출함으로써, 깊이 방향에 대한 거리와 회전에 대해 변함없는 특징을 가질 수 있다.
3차원 깊이 영상으로부터 추출된 특징을 이용하여 2차원 영상에서 사용 가능한 자세를 인식하는데 활용할 수 있다.
도 1은 특징 추출 장치의 구성을 도시한 블록도이다.
도 2는 깊이 영상을 이용하여 복수의 레벨 세트를 생성하는 일례를 도시한 도면이다.
도 3은 레벨 세트 방식의 자세 추정 방법의 알고리즘을 도시한 도면이다.
도 4는 특징 추출 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 특징 추출 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 특징 추출 장치(100)는 영상 취득부(110), 세트 생성부(120), 특징 추출부(130), 정보 선택부(140), 및 분류기(150)를 포함할 수 있다.
영상 취득부(110)는 깊이 카메라로부터 깊이 영상을 획득할 수 있다. 깊이 카메라(Depth Camera)는 TOF(Time-of-flight) 방식으로 3차원 깊이 영상을 생성할 수 있다. 이러한, 깊이 카메라는 컬러 카메라(color Camera)에 비하여 낮은 해상도와 정확성을 보이지만, 3차원 입체 영상을 획득하기 위해 활용될 수 있다.
세트 생성부(120)는 상기 획득한 깊이 영상을 이용하여 복수의 레벨 세트를 생성한다. 구체적으로, 세트 생성부(120)는 상기 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역(Region of Interest, ROI)을 추출할 수 있다. 관심영역은 상기 깊이 영상이 사용자의 손 동작에 대한 것일 경우, 상기 사용자의 손 동작에 대한 움직임 정보를 생성하기 위한 센서(또는 깊이 카메라)로부터 수신된 깊이 영상의 일부 영역을 나타낸다. 세트 생성부(120)는 상기 추출된 관심영역을 복수의 레벨로 구분하여 상기 복수의 레벨 세트를 생성할 수 있다.
도 2는 깊이 영상을 이용하여 복수의 레벨 세트를 생성하는 일례를 도시한 도면이다.
도 2를 참고하면, 세트 생성부(120)는 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역(사용자 손)을 추출하고, 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분할 수 있다. 도면에서는, 깊이 방향인 'Z축 방향'으로 레벨을 구분하는 것으로 도시되어 있지만, 실시예에 따라 X축 방향 또는 Y축 방향으로도 레벨을 구분할 수 있다.
예를 들어, 세트 생성부(120)는 상기 추출된 관심영역을 Z축 방향으로 복수의 레벨(L-1~L-3)로 구분하고, 구분된 복수의 레벨을 이용하여 복수의 레벨 세트(제1 레벨, 제2 레벨, 제3 레벨)를 생성할 수 있다.
실시예로, 세트 생성부(120)는 상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상을 획득할 수 있다. 상기 i번째 레벨 세트 아래와 같은 '수학식 1'로 나타낼 수 있다.
Figure 112011002848154-pat00001
여기서, p는 깊이 영상의 픽셀 위치(x, y), d(p)는 각 픽셀의 깊이 정보, di는 i번째 레벨의 깊이 문턱값(Threshold)이다. 따라서, 세트 생성부(120)는 i번째 레벨 세트로서, i번째 깊이 정보와 일치하는 선정된 픽셀값이 '1'이 되는 깊이 영상을 획득할 수 있다.
다른 실시예로, 세트 생성부(120)는 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상을 획득할 수 있다. 이때, 상기 i번째 레벨 세트 아래와 같은 '수학식 2'로 나타낼 수 있다.
Figure 112011002848154-pat00002
여기서, p는 깊이 영상의 픽셀 위치(x, y), d(p)는 각 픽셀의 깊이 정보, di는 i번째 레벨의 깊이 문턱값이다. 따라서, 세트 생성부(120)는 i번째 레벨 세트로서, i번째 레벨의 깊이 정보보다 큰 픽셀값(d(p)≥di)을 갖는 깊이 영상을 획득할 수 있다.
또 다른 실시예로, 세트 생성부(120)는 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상을 획득할 수 있다. 이때, 상기 i번째 레벨 세트 아래와 같은 '수학식 3'으로 나타낼 수 있다.
Figure 112011002848154-pat00003
여기서, p는 깊이 영상의 픽셀 위치(x, y), d(p)는 각 픽셀의 깊이 정보, di는 i번째 레벨의 깊이 문턱값이다. 따라서, 세트 생성부(120)는 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보(di)와 i+1번째 깊이 정보(di +1) 사이의 픽셀값 (di+1> d(p)≥di)을 갖는 깊이 영상을 획득할 수 있다.
한편, 실시예로 설명한, 깊이 축은 실제 깊이 축이 아닐 수 있고, 깊이 카메라 기준으로 깊이 축일 수도 있으며, 실제 공간에서 정해놓은 축일 수도 있다.
이렇게, 위와 같은 방법으로 획득된 깊이 영상은 레벨의 개수에 따라 획득하는 깊이 영상의 수가 정해질 수 있다. 특징 추출부(130)는 상기 획득한 깊이 영상을 이용하여 2차원 영상 처리에서 사용하는 모든 방식을 활용함으로써, 특징을 추출할 수 있다.
실시예로, 특징 추출부(130)는 상기 생성된 각 레벨의 깊이 영상으로부터 모양(shape) 정보를 추출하는 디스크립터(descriptor)를 이용하여 상기 특징을 추출할 수 있다. 일 예로는 Hu Moment를 들 수 있는데, 특징 추출부(130)는 각 레벨 영상에 Hu moment를 계산하여 특징으로 추출할 수 있다.
다른 실시예로, 특징 추출부(130)는 상기 깊이 영상을 선정된 간격(interval)으로 구분하여 상기 깊이 영상의 경계(Boundary)를 추출하고, 상기 추출된 경계의 깊이 영상에 기초하여 특징을 추출할 수도 있다.
정보 선택부(140)는 상기 추출된 특징에 대응하는 이동 정보 또는 자세(Posture) 정보를 선택할 수 있다. 예컨대, 정보 선택부(140)는 상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 분류기(150)를 생성할 수 있다. 이때, 정보 선택부(140)는 상기 특징 벡터의 개수를 줄이기 위해 성분 감소(Component reduction)를 수행할 수 있다.
분류기(classifier, 150)는 상기 생성된 특징 벡터를 이용하여 학습 샘플을 생성할 수 있다. 상기 학습 샘플은 새롭게 입력되는 깊이 영상을 분류하는데 기준이 되는 것이다. 즉, 분류기(150)는 영상 취득부(110)를 통해 새롭게 획득되는 깊이 영상의 특징과 매칭되는 학습 샘플을 식별할 수 있다.
정보 선택부(140)는 상기 식별된 학습 샘플을 이용하여 상기 획득된 깊이 영상의 상기 이동 정보 또는 상기 자세 정보를 선택할 수 있다. 실시예로, 분류기(150)는 정보 선택부(140)의 구성요소로서 포함될 수 있다. 이 경우, 정보 선택부(140)는 분류기(150)를 통해 상기 생성된 특징 벡터를 이용하여 학습 샘플을 생성하고, 상기 새롭게 획득되는 깊이 영상의 특징과 매칭되는 학습 샘플을 식별할 수 있다.
도 3은 레벨 세트 방식의 자세 추정 방법의 알고리즘을 도시한 도면이다.
도 3을 참조하면, 특징 추출 장치(100)는 샘플 데이터의 깊이 영상을 획득할 수 있다(301).
특징 추출 장치(100)는 상기 획득한 깊이 영상을 프로세싱(Preprocessing)하는 단계를 수행한다(302). 프로세싱 단계는 잡음 감소(Noise reduction) 방법, 관심영역 선택, 스무싱(Smoothing) 등의 이미지 처리 기술을 활용하여 관심영역을 추출할 수 있다.
특징 추출 장치(100)는 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하여 복수의 레벨을 생성할 수 있다(303).
특징 추출 장치(100)는 레벨 세트 기반으로 상기 각 레벨의 깊이 영상 별로 특징을 추출할 수 있다(304). 레벨 세트 기반으로 특징을 추출하는 단계(304)에서는 사용자의 손 등의 3차원 깊이 영상으로부터 가장 가까운 점(최근점)에서 선정된 간격으로 떨어진 거리의 깊이 영상의 경계를 추출하는 것일 수 있다. 또는, 상기 특징 추출 단계(304)는 각각의 레벨 별로 추출된 깊이 영상에서 모양을 추출 가능한 디스크립터를 활용하여 특징을 추출할 수도 있다.
특징 추출 장치(100)는 상기 추출된 특징을 이용하여 학습을 수행할 수 있다(305). 학습(Learning) 단계(305)에서는 각 레벨에서 추출된 특징을 특징 벡터로 활용하여 분류기(150)를 학습할 수 있다.
이때, 특징 추출 장치(100)는 모든 레벨에서 추출된 특징을 다 활용하지 않을 수도 있으며, 특히, 고유치 분석(Eigenvalue Analysis) 등을 활용하여 가장 각 자세를 잘 분류할 수 있게 하는 특징들의 부분 집합을 활용하여 분류기(150)를 학습시킬 수 있다(306). 위의 학습 방법은 아다 부스팅(Adaboosting), 의사결정 나무(Decision tree), 지지 벡터 머신(Supporting Vector Machine) 등을 사용할 수 있다. 위와 같이 학습된 분류기(150)는 테스트 데이터의 깊이 영상에도 활용될 수 있다.
예컨대, 분류기(150)는 상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 학습 샘플을 생성하여, 유지할 수 있다. 이때, 분류기(150)는 상기 특징 벡터의 개수를 줄이기 위해 성분 감소를 수행할 수 있다.
특징 추출 장치(100)는 테스트 데이터의 깊이 영상을 획득할 수 있다(307).
특징 추출 장치(100)는 상기 획득한 깊이 영상을 프로세싱(Preprocessing)하는 단계를 수행한다(308). 프로세싱 단계는 302와 같이, 잡음 감소(Noise reduction) 방법, 관심영역 선택, 스무싱(Smoothing) 등의 이미지 처리 기술을 활용하여 관심영역을 추출할 수 있다.
특징 추출 장치(100)는 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하여 복수의 레벨을 생성할 수 있다(309). 예를 들어, 상기 복수의 레벨 중 i번째 레벨은 상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상이거나, 상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상이거나, 또는 상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상일 수 있다.
특징 추출 장치(100)는 레벨 세트 기반으로 상기 각 레벨의 깊이 영상 별로 특징을 추출할 수 있다(310).
특징 추출 장치(100)는 상기 추출된 특징과 상기 학습 샘플을 비교하여, 매칭 확률이 가장 높은 이동 정보 또는 자세 정보를 선택할 수 있다(311).
예컨대, 특징 추출 장치(100)는 상기 테스트 데이터의 깊이 영상으로부터 추출된 특징을 분류기(150)에 통과시켜, 가장 신뢰도(Confidence)가 높은 이동 정보 또는 자세 정보를 선택하도록 한다. 상기 깊이 영상이 사용자의 손에 대한 것일 경우, 상기 이동 정보는 상기 사용자가 손을 움직이는 모션(motion), 또는 손의 모양일 수 있다. 상기 자세 정보는 상기 사용자의 손을 썸스-업(Thumbs-Up) 또는 썸즈-다운(Thumbs-Down)하는 자세일 수 있다.
따라서, 특징 추출 장치(100)는 사용자의 자세 인식을 활용한 인터페이스 장치에 활용될 수 있다.
도 4는 특징 추출 방법의 순서를 도시한 흐름도이다.
도 4를 참조하면, 특징 추출 방법은 특징 추출 장치(100)에 의해 수행될 수 있다.
단계 410에서, 특징 추출 장치(100)는 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역을 추출할 수 있다. 깊이 영상은 깊이 카메라를 통해 획득될 수 있다. 관심영역은 상기 깊이 영상이 사용자의 손 동작에 대한 것일 경우, 상기 사용자의 손 동작에 대한 움직임 정보를 생성하기 위한 센서(또는 깊이 카메라)로부터 수신된 깊이 영상의 일부 영역을 나타낸다.
단계 420에서, 특징 추출 장치(100)는 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하고, 상기 구분된 복수의 레벨을 이용하여 복수의 레벨 세트를 생성할 수 있다. 예컨대, 특징 추출 장치(100)는 깊이 방향인, Z축 방향으로 하나 이상의 레벨을 구분하여, 상기 복수의 레벨 세트를 생성할 수 있다.
단계 430에서, 특징 추출 장치(100)는 상기 생성된 각 레벨의 깊이 영상 별로 특징을 추출할 수 있다.
실시예로, 특징 추출 장치(100)는 상기 복수의 레벨 세트 중 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상을 획득할 수 있다. 여기서, 상기 선정된 픽셀값은 1이고, 상기 깊이 정보는 상기 i번째 레벨의 깊이 문턱값일 수 있다.
다른 실시예로, 특징 추출 장치(100)는 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상을 획득할 수 있다.
또 다른 실시예로, 특징 추출 장치(100)는 i번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상을 획득할 수 있다.
또 다른 실시예로, 특징 추출 장치(100)는 상기 생성된 각 레벨의 깊이 영상으로부터 모양 정보를 추출하는 디스크립터를 이용하여 상기 특징을 추출할 수 있다.
또 다른 실시예로, 특징 추출 장치(100)는 상기 깊이 영상을 선정된 간격으로 구분하여 상기 깊이 영상의 경계를 추출하고, 상기 추출된 경계의 깊이 영상에 기초하여 특징을 추출할 수 있다.
단계 440에서, 특징 추출 장치(100)는 상기 추출된 특징을 이용하여 상기 깊이 영상의 이동 정보 또는 자세 정보를 선택할 수 있다.
실시예로, 특징 추출 장치(100)는 상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 분류기(150)를 생성할 수 있다. 분류기(150)는 상기 생성된 특징 벡터를 이용하여 학습 샘플을 생성할 수 있다. 이후, 특징 추출 장치(100)는 새롭게 획득된 깊이 영상으로부터 추출된 특징을 분류기(150)에 통과시켜, 상기 새롭게 획득된 깊이 영상의 특징과 매칭되는 학습 샘플을 식별하고, 상기 식별된 학습 샘플을 이용하여 상기 획득된 깊이 영상의 이동 정보 또는 상기 자세 정보를 선택할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 특징 추출 장치
110: 영상 취득부
120: 세트 생성부
130: 특징 추출부
140: 정보 선택부
150: 분류기

Claims (20)

  1. 깊이 영상을 이용하여 복수의 레벨 세트를 생성하는 세트 생성부;
    상기 복수의 레벨 세트에 기초하여, 각 레벨 별로, 상기 깊이 영상의 특징을 추출하는 특징 추출부; 및
    상기 추출된 특징에 대응하는 이동 정보 또는 자세 정보를 선택하는 정보 선택부
    를 포함하고,
    상기 특징 추출부는,
    상기 생성된 각 레벨의 깊이 영상으로부터 모양(shape) 정보를 추출하는 디스크립터(descriptor)를 이용하여 상기 특징을 추출하는 특징 추출 장치.
  2. 제1항에 있어서,
    상기 세트 생성부는,
    상기 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역(Region of Interest, ROI)을 추출하고, 상기 추출된 관심영역을 복수의 레벨로 구분하여 상기 복수의 레벨 세트를 생성하는, 특징 추출 장치.
  3. 제2항에 있어서,
    상기 세트 생성부는,
    상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하고, 상기 구분된 복수의 레벨을 이용하여 상기 복수의 레벨 세트를 생성하는, 특징 추출 장치.
  4. 제1항에 있어서,
    상기 세트 생성부는,
    상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상을 획득하거나,
    상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상을 획득하거나, 또는
    상기 복수의 레벨 세트 중 i(i는 자연수)번째 레벨 세트로서, 상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상을 획득하는, 특징 추출 장치.
  5. 제4항에 있어서,
    상기 깊이 정보는,
    상기 i번째 레벨의 깊이 문턱값(threshold)인, 특징 추출 장치.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서,
    상기 정보 선택부는,
    상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 분류기(classifier)를 생성하는, 특징 추출 장치.
  9. 제1항에 있어서,
    상기 정보 선택부는,
    상기 깊이 영상의 특징과 매칭되는 학습 샘플을 식별하여, 상기 특징과 상기 학습 샘플을 비교하여 매칭 확률이 가장 높은 이동 정보 또는 자세 정보를 선택하는, 특징 추출 장치.
  10. 제1항에 있어서
    상기 세트 생성부는,
    상기 깊이 영상에서 추출된 관심영역을 선정된 방향으로 구분하고,
    상기 특징 추출부는,
    상기 구분에 따른 2차원 경계에 기초하여 상기 특징을 추출하는, 특징 추출 장치.
  11. 제10항에 있어서,
    상기 세트 생성부는,
    상기 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 구분하는, 특징 추출 장치.
  12. 제10항에 있어서,
    상기 특징 추출부는,
    상기 깊이 영상을 선정된 간격(interval)으로 구분하여 상기 깊이 영상의 경계(Boundary)를 추출하고, 상기 추출된 경계의 깊이 영상에 기초하여 특징을 추출하는, 특징 추출 장치.
  13. 제1항에 있어서,
    상기 깊이 영상을 획득하는 영상 취득부
    를 더 포함하는, 특징 추출 장치.
  14. 제13항에 있어서,
    상기 세트 생성부는,
    상기 획득한 깊이 영상으로부터 깊이의 레벨이 동일한 관심영역을 추출하고, 상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하여 상기 복수의 레벨을 생성하는, 특징 추출 장치.
  15. 제13항에 있어서,
    상기 추출된 특징을 이용하여 특징 벡터를 생성하고, 상기 생성된 특징 벡터를 이용하여 학습 샘플을 생성하고, 상기 영상 취득부를 통해 새롭게 획득한 깊이 영상의 특징과 매칭되는 학습 샘플을 식별하는 분류기
    를 더 포함하는, 특징 추출 장치.
  16. 제15항에 있어서,
    상기 정보 선택부는,
    상기 식별된 학습 샘플을 이용하여 상기 새롭게 획득한 깊이 영상의 이동 정보 또는 자세 정보를 선택하는, 특징 추출 장치.
  17. 깊이 영상을 이용하여 복수의 레벨을 생성하는 단계
    상기 복수의 레벨 세트에 기초하여, 각 레벨 별로, 상기 깊이 영상의 특징을 추출하는 단계; 및
    상기 추출된 특징에 대응하는 이동 정보 또는 자세 정보를 선택하는 단계
    를 포함하고,
    상기 추출하는 단계는,
    상기 생성된 각 레벨의 깊이 영상으로부터 모양 정보를 추출하는 디스크립터를 이용하여 상기 특징을 추출하는 단계
    를 포함하는, 특징 추출 방법.
  18. 제17항에 있어서,
    상기 깊이 영상을 이용하여 복수의 레벨을 생성하는 단계는,
    상기 깊이 영상으로부터 깊이의 레벨이 동일한 영역을, 관심영역으로 추출하는 단계; 및
    상기 추출된 관심영역을 X축 방향, Y축 방향, 또는 Z축 방향 중 어느 하나의 방향으로 레벨을 구분하여 상기 복수의 레벨을 생성하는 단계
    를 포함하는, 특징 추출 방법.
  19. 제17항에 있어서,
    상기 복수의 레벨 중 i(i는 자연수)번째 레벨은,
    상기 i번째 레벨의 깊이 정보와 일치하는 선정된 픽셀값을 갖는 깊이 영상이거나,
    상기 i번째 레벨의 깊이 정보보다 큰 픽셀값을 갖는 깊이 영상이거나, 또는
    상기 i번째 레벨의 깊이 정보와 i+1번째 깊이 정보 사이의 픽셀값을 갖는 깊이 영상인, 특징 추출 방법.
  20. 제17항에 있어서,
    상기 깊이 영상의 특징과 매칭되는 학습 샘플을 식별하는 단계; 및
    상기 특징과 상기 학습 샘플을 비교하여 매칭 확률이 가장 높은 이동 정보 또는 자세 정보를 선택하는 단계
    를 더 포함하는, 특징 추출 방법.
KR1020110003452A 2011-01-13 2011-01-13 깊이 영상의 특징 추출 방법 및 장치 KR101789071B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110003452A KR101789071B1 (ko) 2011-01-13 2011-01-13 깊이 영상의 특징 추출 방법 및 장치
US13/290,623 US9460336B2 (en) 2011-01-13 2011-11-07 Apparatus and method for extracting feature of depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110003452A KR101789071B1 (ko) 2011-01-13 2011-01-13 깊이 영상의 특징 추출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120082126A KR20120082126A (ko) 2012-07-23
KR101789071B1 true KR101789071B1 (ko) 2017-10-24

Family

ID=46490804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110003452A KR101789071B1 (ko) 2011-01-13 2011-01-13 깊이 영상의 특징 추출 방법 및 장치

Country Status (2)

Country Link
US (1) US9460336B2 (ko)
KR (1) KR101789071B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449392B2 (en) 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
CN105893926A (zh) * 2015-12-15 2016-08-24 乐视致新电子科技（天津）有限公司 手识别方法、系统及装置
US10747327B2 (en) * 2016-06-28 2020-08-18 Intel Corporation Technologies for adaptive downsampling for gesture recognition
US10325184B2 (en) * 2017-04-12 2019-06-18 Youspace, Inc. Depth-value classification using forests
KR101976290B1 (ko) * 2017-12-13 2019-05-07 연세대학교 산학협력단 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
CN109522859B (zh) * 2018-11-27 2020-11-27 南京林业大学 基于高光谱遥感影像多特征输入的城市不透水层提取方法
WO2022034481A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
KR102483351B1 (ko) * 2020-12-24 2022-12-30 주식회사 아진엑스텍 매니퓰레이터 제어 시스템 및 제어 방법
CN112633300B (zh) * 2020-12-30 2023-06-20 中国人民解放军国防科技大学 一种多维交互的图像特征参数提取匹配方法
KR102431984B1 (ko) * 2021-02-24 2022-08-12 (주)엠브이텍 이미지를 활용한 패턴 매칭방법 및 이를 이용한 패턴 매칭장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
JP2010504575A (ja) * 2006-09-22 2010-02-12 フラウンホーファー・ゲゼルシャフト・ツール・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ 顔を認識するための方法と装置及び顔認識モジュール

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100321897B1 (ko) 1998-12-22 2002-05-13 박남은 입체영상이미지변환방법및그장치
JP2000293687A (ja) * 1999-02-02 2000-10-20 Minolta Co Ltd ３次元形状データ処理装置および３次元形状データ処理方法
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
EP1646012B1 (en) * 2003-06-20 2016-04-13 Nippon Telegraph And Telephone Corporation Virtual visual point image generating method and 3-d image display method and device
KR20030064703A (ko) 2003-07-11 2003-08-02 홍길천 추출 및 합성을 통한 3차원 매체 제작기법
JP5134365B2 (ja) * 2004-05-27 2013-01-30 アペリオ・テクノロジーズ・インコーポレイテッド 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法
US20060291697A1 (en) * 2005-06-21 2006-12-28 Trw Automotive U.S. Llc Method and apparatus for detecting the presence of an occupant within a vehicle
US9122946B2 (en) * 2006-01-24 2015-09-01 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for capturing scene images and depth geometry and generating a compensation image
KR100806201B1 (ko) 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
KR100873638B1 (ko) 2007-01-16 2008-12-12 삼성전자주식회사 영상 처리 방법 및 장치
JP2008294785A (ja) 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
US8311954B2 (en) * 2007-11-29 2012-11-13 Nec Laboratories America, Inc. Recovery of 3D human pose by jointly learning metrics and mixtures of experts
CN102803991B (zh) * 2009-06-03 2014-06-04 学校法人中部大学 物体检测设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156756A1 (en) * 2002-02-15 2003-08-21 Gokturk Salih Burak Gesture recognition system using depth perceptive sensors
JP2010504575A (ja) * 2006-09-22 2010-02-12 フラウンホーファー・ゲゼルシャフト・ツール・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ 顔を認識するための方法と装置及び顔認識モジュール

Also Published As

Publication number Publication date
US9460336B2 (en) 2016-10-04
US20120183203A1 (en) 2012-07-19
KR20120082126A (ko) 2012-07-23

Similar Documents

Publication Publication Date Title
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
US10599228B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
KR101283262B1 (ko) 영상 처리 방법 및 장치
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
US9443137B2 (en) Apparatus and method for detecting body parts
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
JP2019114103A (ja) 物体認識処理装置、物体認識処理方法及びプログラム
US8938132B2 (en) Image collation system, image collation method and computer program
JP2010044438A (ja) 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
KR20130083997A (ko) 신체 자세군 생성 장치 및 방법
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
JP6052533B2 (ja) 特徴量抽出装置および特徴量抽出方法
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
KR101696086B1 (ko) 소나 이미지 내의 물체 부분 추출 방법 및 장치
EP2887261B1 (en) Information processing device, information processing method, and program
JP5960642B2 (ja) ３次元情報取得方法及び３次元情報取得装置
JP4687579B2 (ja) 画像処理装置及び画像処理プログラム
JP2008003800A (ja) 画像処理装置及び画像処理プログラム
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
Paduano et al. Face detection in 3D images with more than one person
JP2008003793A (ja) 画像処理装置及び画像処理プログラム
JP2008003794A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant