KR101636370B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101636370B1
KR101636370B1 KR1020090107980A KR20090107980A KR101636370B1 KR 101636370 B1 KR101636370 B1 KR 101636370B1 KR 1020090107980 A KR1020090107980 A KR 1020090107980A KR 20090107980 A KR20090107980 A KR 20090107980A KR 101636370 B1 KR101636370 B1 KR 101636370B1
Authority
KR
South Korea
Prior art keywords
target object
silhouette
region
image
depth
Prior art date
Application number
KR1020090107980A
Other languages
English (en)
Other versions
KR20110051416A (ko
Inventor
강병민
임화섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090107980A priority Critical patent/KR101636370B1/ko
Priority to US12/844,242 priority patent/US8355568B2/en
Publication of KR20110051416A publication Critical patent/KR20110051416A/ko
Application granted granted Critical
Publication of KR101636370B1 publication Critical patent/KR101636370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 입력 깊이 영상 및 입력 칼라 영상을 이용하여 상기 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출한다. 이러한 영상 처리를 위해, 영상 처리 장치는 입력 깊이 영상으로부터 타킷 오브젝트의 실루엣 영역을 추출하고, 상기 입력 칼라 영상을 이용하여 이를 정제할 수 있다.
영상 처리, 이미지 추출, 3D 모델링, 깊이 영상, Human segmentation, Depth image, Depth Camera, Motion Capture

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
입력 영상으로부터 사용자의 인체(human body)와 같은 타킷 오브젝트 영역을 추출하는 영상 처리에 연관되며, 보다 특정하게는 가상 현실(Virtual Reality), 3D(3 Dimensional) TV, 3D 게임 등에서 인간의 아바타(Avatar) 또는 캐릭터를 모델링하는 기술 분야에 연관된다.
가상 현실, 또는 가상 세계(Virtual World)에서 사용자(user)를 모델링 한 아바타를 생성하는 연구가 진행되어 왔다. 이러한 연구는, 비디오 게임이나 영화 등의 분야에서도 관심을 받고 있다.
그리고 이러한 연구는, 사용자의 몸을 레이저를 이용하여 3차원으로 스캔하는 등 별도의 고가의 장비를 이용하는 쪽으로 진행된 바 있다. 그러나, 이러한 3차원 스캔을 위한 장비는 고가일 뿐만 아니라, 휴대가 간편하지 않기 때문에 활용도에 제한이 있을 수 있다.
따라서, 3차원 스캐너와 같이 부피가 크고 고가인 장비를 이용하지 않고, 칼라 영상으로부터 사용자 영역, 즉 인체(human body) 영역을 추출하는 경우, 활용도가 높을 수 있다.
특히, 이러한 인체 영역의 추출 과정에서, 깊이 영상만을 사용하는 영상 분리(image segmentation), 또는 칼라 영상만을 사용하는 영상 분리 기술은, 정밀도 향상에 한계가 존재한다.
입력 칼라 영상으로부터 빠른 속도로 소정의 타킷 오브젝트 영역이 추출하는 영상 처리 장치 및 방법이 제공된다.
또한, 이러한 관심 영역 추출의 정밀도를 향상시킨 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 입력 깊이 영상으로부터 타킷 오브젝트의 실루엣 영역을 추출하는 제1 계산부, 및 상기 입력 깊이 영상에 매칭된 입력 칼라 영상을 이용하여 상기 실루엣 영역을 정제하고, 상기 정제된 실루엣 영역을 이용하여 상기 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출하는 제2 계산부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 일 실시예에 따르면, 상기 타킷 오브젝트는 인체(human body)일 수 있다.
그리고, 상기 제1 계산부는, 상기 입력 깊이 영상으로부터, 수평면에 대응하는 픽셀을 제거하는 바닥 제거부, 깊이 값이 제1 임계치 이상이고 제2 임계치 미만인 영역을 추출하여 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역을 추출하 는 깊이 값 필터부, 및 상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 타킷 오브젝트의 실루엣 영역을 선택하는 실루엣 추출부를 포함할 수 있다.
이 경우, 상기 바닥 제거부는, 상기 깊이 영상 내의 하단에서 적어도 세 개의 픽셀들을 선택하여 수평면의 방정식을 구하여 수평면 추정하고, 상기 깊이 영상의 전체 픽셀들에 대하여 상기 수평면과의 거리가 제3 임계치 미만인 픽셀들을 제거한다.
그리고, 상기 실루엣 추출부는, 상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 픽셀 수가 가장 많은 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택할 수 있다.
한편, 본 발명의 다른 일 실시예에서, 상기 실루엣 추출부는, 상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 상기 깊이 영상의 중심 점에 가장 가까운 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택할 수도 있다.
한편, 본 발명의 다른 일 실시예에서, 상기 실루엣 추출부는, 상기 적어도 하나의 타깃 오브젝트의 실루엣 후보 영역 중, 상기 칼라 영상 혹은 깊이 영상을 이용하여 얼굴 검출을 수행 후 검출된 후보 영역을 상기 타깃 오브젝트의 실루엣 영역으로 선택할 수도 있다.
본 발명의 일 실시예에 따르면, 상기 제1 계산부는, 상기 입력 깊이 영상에 대응하는 입력 인텐시티 영상(Intensity image)을 참조하여, 상기 깊이 값 필터부에 의해 추출된 상기 적어도 하나의 타킷 오브젝트 후보 영역 중 인텐시티 값이 제4 임계치 미만인 부분을 제거하는 깊이 접힘 제거부를 더 포함할 수 있다.
또한, 상기 제2 계산부는, 상기 타킷 오브젝트의 실루엣 영역의 외곽 픽셀들로부터 제5 임계치 미만의 거리에 있는 픽셀을 병합하여 상기 타킷 오브젝트의 확장된 실루엣 영역을 생성하는 실루엣 확장부, 상기 입력 칼라 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 칼라 분포를 계산하고, 상기 입력 깊이 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 깊이 분포를 계산하는 히스토그램 생성부, 상기 칼라 분포 및 상기 깊이 분포 및 을 이용하여, 상기 타킷 오브젝트의 확장된 실루엣 영역의 각 픽셀들이 상기 타킷 오브젝트에 속할 확률을 계산하는 확률 계산부, 및 상기 계산된 확률을 이용하여, 상기 입력 칼라 영상으로부터 상기 타킷 오브젝트 영역을 추출하는, 타킷 오브젝트 영역 추출부를 포함할 수 있다.
이 경우, 상기 제2 계산부는 상기 타킷 오브젝트 영역 추출부에 의해 추출된 상기 타킷 오브젝트 영역을 정제하는 후처리부를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 상기 영상 처리 장치는 상기 입력 깊이 영상과 상기 입력 칼라 영상이 서로 정합되지 않은 경우, 상기 입력 깊이 영상과 상기 입력 칼라 영상을 정합시키는 영상 정합부를 더 포함한다.
본 발명의 다른 일측에 따르면, 입력 깊이 영상으로부터 타킷 오브젝트의 실루엣 영역을 추출하는 단계, 및 상기 입력 깊이 영상에 매칭된 입력 칼라 영상을 이용하여 상기 실루엣 영역을 정제하고, 상기 정제된 실루엣 영역을 이용하여 상기 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출하는 단계를 포함하는, 영상 처리 방법이 제공된다.
입력 영상으로부터 타킷 오브젝트 영역 또는 관심 영역을 추출하는 경우, 영상 처리 속도가 높아지고, 노이즈 특성이 개선되어 보다 정밀한 영상 처리가 가능하다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
본 실시예에 따르면, 영상 처리 장치(100)에 깊이 영상 및 칼라 영상이 입력된다. 이 입력 깊이 영상은 입력 칼라 영상에 정합된 것일 수 있다.
그러나, 정합된 것이 아니라면, 이를테면 해상도가 상이하거나, 촬영 시점이 상이한 경우라면, 영상 정합부(110)는 상기 입력 깊이 영상과 입력 칼라 영상을 서로 정합시킨다. 영상 정합부(110)의 동작은 도 3을 참조하여 보다 상세히 후술한다.
이하에서는, 깊이 영상과 칼라 영상이 정합된 이후, 또는 처음부터 정합된 상태로 입력된 경우를 전제로 서술한다.
본 발명의 일 실시예에 따르면, 제1 계산부(120)는 바닥 제거부(121), 깊이 값 필터부(122), 깊이 접힘 영역 제거부(123), 및 실루엣 추출부(124)를 포함한다. 그러나, 이는 본 발명의 일 실시예에 불과하며, 경우에 따라서는 깊이 접힘 영역 제거부(123) 등의 일부 구성이 생략되거나, 또는 도시되지 않은 다른 구성이 더 포함될 수 있다.
바닥 제거부(121)는, 입력 깊이 영상으로부터 수평면인 바닥 영역을 제거한다. 이 경우, 바닥 제거부(121)는 입력 깊이 영상의 하단 부의 세 개 이상의 픽셀을 선택한다. 그리고, 선택된 픽셀을 이용하여 평면 방정식을 구한다.
그리고, 바닥 제거부(121)는 상기 입력 깊이 영상 내의 전체 픽셀들 각각에 대하여, 픽셀의 공간 좌표가 대표하는 점과, 상기 평면 방정식이 대표하는 평면 사이의 거리 값을 구한다. 그리고 구해진 거리가 소정의 임계 거리 미만인 픽셀들을 수평 면인 바닥 영역에 속하는 것으로 간주하여 제거한다. 바닥 제거부(121)의 동작은 도 4를 참조하여 보다 상세히 후술한다.
깊이 값 필터부(122)는, 바닥 영역이 제거된 깊이 영상으로부터, 깊이 값이 제1 범위(상기한 제1 임계치 이상 제2 임계치 미만인 범위) 밖인 픽셀들을 더 제거한다. 깊이 값 필터부(122)의 동작은 도 5를 참조하여 보다 상세히 후술한다.
그리고, 본 발명의 일 실시예에 따르면, 깊이 접힘 영역 제거부(123)는 상기 입력 깊이 영상 자체로부터 깊이 접힘 영역(depth folding region)을 제거하거나, 또는 상기 바닥 제거부(121)에 의해 바닥이 제거되고 깊이 값 필터부(122)에 의해 상기 제1 범위 밖의 깊이 값을 갖는 영역이 제거된 결과에서 깊이 접힘 영역을 제거한다.
깊이 접힘 영역에 대한 내용 및 깊이 접힘 영역 제거부(123)의 동작은 도 5를 참조하여 보다 상세히 후술한다.
상기한 과정을 통해, 복수 개의 타킷 오브젝트의 실루엣 후보 영역들이 추출된다. 그러면, 실루엣 추출부(124)는, 상기 타킷 오브젝트의 실루엣 후보 영역들 중 하나를 타킷 오브젝트의 실루엣 영역으로서 선택한다.
보다 상세한 내용은 도 5 내지 도 6을 참조하여 후술한다.
본 발명의 일 실시예에 따르면, 제2 계산부(130)는 상기 추출된 타킷 오브젝트의 실루엣 영역을 정제한다.
상기 제2 계산부(130)는 실루엣 확장부(131), 히스토그램 생성부(132), 확률 계산부(133), 타킷 오브젝트 영역 추출부(134) 및 후처리부(135)를 포함할 수 있다.
물론, 일부 구성이 병합되거나, 후처리부(135) 등의 일부 구성이 생략되는 것도 가능하다.
실루엣 확장부(131)는 제1 계산부(120)에 의해 추출된 상기 타킷 오브젝트의 실루엣 영역의 주변 픽셀들을 상기 타킷 오브젝트의 실루엣 영역에 병합하여, 타킷 오브젝트의 확장된 실루엣 영역을 생성한다.
실루엣 확장부(131)의 동작은 도 7을 참조하여 보다 상세히 후술한다.
그리고 히스토그램 생성부(132)는, 상기 타킷 오브젝트의 확장된 실루엣 영역 내의 픽셀들의 깊이 값들의 히스토그램 및 이에 대응하는 칼라 픽셀들의 칼라 히스토그램들을 생성한다.
이러한 히스토그램 생성부(132)의 동작은 도 9를 참조하여 보다 상세히 후술한다.
확률 계산부(133)는, 상기 칼라 픽셀들 각각에 대하여, 히스토그램 생성부(132)가 생성한 히스토그램들을 참조하여, 타킷 오브젝트에 속할 확률을 계산한다.
그러면, 상기 계산된 확률에 따라, 타킷 오브젝트 영역 추출부(134)는 입력 칼라 영상의 픽셀 중, 타킷 오브젝트 영역에 속하는 것으로 간주되는 픽셀들을 선택한다.
후처리부(135)는 상기 픽셀들에, 다양한 후처리(post processing), 이를테면 아웃라이어(outlier) 제거, 홀(hole) 채우기, 로우 패스 필터링(low pass filtering) 등을 수행함으로써 최종 타킷 오브젝트 영역을 추출한다.
타킷 오브젝트 영역 추출부(134) 및 후처리부(135)의 동작에 대한 보다 상세한 내용은 도 10 등을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따라 입력되는 칼라 영상(200)을 도시한다.
본 발명의 일 실시예에 따르면, 상기 입력 칼라 영상(200)으로부터 타킷 오브젝트인 인체 영역(210)이 추출된다.
입력 칼라 영상(200) 내에는 상기 타킷 오브젝트인 인체 영역(210) 이외에도, 서랍장 영역(220), 바닥 영역(230), 벽 영역(240) 및 벽 영역(250) 등이 존재한다.
도 3은 본 발명의 일 실시예에 따라 입력되는 깊이 영상(300)을 도시한다.
본 발명의 일 실시예에 따르면, 상기 입력 깊이 영상(300)은 상기 도 2의 입력 칼라 영상(200)과 서로 매칭된(matched) 것이다. 즉, 상기 입력 깊이 영 상(300)은 입력 칼라 영상(200)과 해상도가 동일하고, 상기 두 영상 내에서 동일한 인덱스의 픽셀은 오브젝트 공간의 동일한 포인트에 대응한다.
그러나, 본 발명의 다른 일 실시예에 따르면, 도 1의 영상 처리 장치(100)에는 상기 입력 칼라 영상(200)보다 해상도가 낮거나, 및/또는 영상 촬영 시점(point of view)이 상이한 깊이 영상이 입력된다.
이 경우, 상기 영상 처리 장치(100)의 영상 정합부(110)는, 입력된 깊이 영상의 해상도를 높이고, 및/또는 특징점 추출 및 비교를 이용한 영상 정합 과정을 수행함으로써, 상기 입력 칼라 영상(200)에 매칭된 상기 입력 깊이 영상(300)을 생성한다.
따라서, 입력 칼라 영상(200)에 매칭된 입력 깊이 영상(300)은 영상 처리 장치(100)에 직접 입력된 것일 수도 있으며, 영상 정합부(110)에 의해 생성된 것일 수도 있다.
후자의 경우, 영상 정합부(110)는, 입력 칼라 영상(200) 및 상기 입력 칼라 영상(200)과 정합되지 않음(unmatched) 입력 깊이 영상(도시 되지 않음)의 각각으로부터 소정의 개수의 특징 점을 추출하고, 특징점들 사이의 변환 함수(transpose function) 또는 변환 행렬(transpose matrix)를 구하고, 이를 상기 입력 깊이 영상 전체의 픽셀에 적용함으로써, 입력 칼라 영상(200)에 매칭된 입력 깊이 영상(300)을 생성할 수 있다.
상기 특징점 추출에는 에지 검출(edge detection) 과정을 포함한 종래의 영상 처리 알고리즘이 활용될 수 있다.
이하에서는, 입력 깊이 영상(300)이 영상 처리 장치(100)에 직접 입력되는 것을 전제하고 영상 처리 장치(100)의 동작을 설명한다. 그러나, 상술한 바와 같이 이는 본 발명의 일부 실시예에 지나지 않으며, 칼라 영상(200)에 정합되지 않은 깊이 영상이 입력되는 경우의 실시예를 배제하는 것이 아님은 자명하다.
한편, 상기 입력 깊이 영상에는 인체인 타킷 오브젝트의 실루엣 영역(310), 서랍장 영역(320), 바닥 영역(330), 벽 영역(340) 및 벽 영역(350) 등이 포함된다.
본 발명의 일 실시예에 따르면, 도 1의 제1 계산부(120)는 상기 입력 깊이 영상(300)으로부터, 타킷 오브젝트의 실루엣 영역(310)을 추출한다.
상기 제1 계산부(120)에서 타킷 오브젝트의 실루엣 영역(310)이 추출되는 상세한 과정은 도 4 내지 도 6을 참조하여 후술한다.
도 4는 본 발명의 일 실시예에 따라, 도 3의 입력 깊이 영상(300)으로부터 수평면인 바닥 영역(330)이 제거된 결과(400)를 도시한다.
본 발명의 일 실시예에 따르면, 도 1의 바닥 제거부(121)는, 깊이 영상(300)의 하단(bottom) 영역으로부터 적어도 세 개의 픽셀을 선택한다.
깊이 영상(300)의 하단 영역은 오브젝트 공간(object space)의 바닥(floor) 부분에 해당될 확률이 높다.
그리고, 선택된 각 픽셀들은, 카메라로부터 물체의 삼차원 공간좌표를 나타내는 x 좌표 값, y 좌표 값, 및 깊이 값인 z 좌표 값을 갖는다. 즉, 상기 선택된 각 픽셀들은 3차원 좌표 값을 갖는다.
따라서, 세 개 이상의 픽셀들을 이용하여 평면 방정식(plane equation)이 구해질 수 있다. 물론, 바닥 제거부(121)는 깊이 영상(300)의 픽셀들의 노이즈를 고려하여, 복수 개의 픽셀 세트를 선택하고, 이들 각각에 대해 평면 방정식들을 구한 다음, 이들 전체를 대표할 수 있는 보다 정확한 평면 방정식이 구해질 수도 있다. 이러한 일련의 과정은 평면 추정(plane estimation)으로 불리기도 한다.
이렇게 평면 방정식이 구해지면, 바닥 제거부(121)는 상기 깊이 영상(300)의 전체 픽셀들 각각의 3차원 좌표를 참조하여, 상기 바닥 영역(330)에 속하는 픽셀들을 선택하여 제거한다.
만약 특정한 픽셀이 바닥 영역(330)에 속하는 지의 여부는, 상기 특정한 픽셀의 3차원 위치를 대표하는 점(point)로부터 상기 평면 방정식이 대표하는 평면까지의 거리(distance)를 구함으로써 판단될 수 있다.
3차원 공간 내에서는, 상기 점의 위치 벡터(position vector)와 평면의 법선 벡터(normal vector of the plane)의 내적(inner product)이 상기 점과 상기 평면의 거리가 된다. 다만, 이는 본 발명의 일부 실시예에 불과하며, 상기 점과 상기 평면 사이의 거리는 다른 방법에 의해서 구해질 수도 있다는 점은, 본 기술 분야의 통상의 지식을 가진 자에게 자명하다.
바닥 제거부(121)는, 이러한 방식으로 상기 깊이 영상(300) 내의 전체 픽셀들에 대해 상기 평면과의 거리를 구하여, 구해진 거리가 미리 설정된 임계치 미만인 픽셀들을 바닥 영역(330)으로 간주하여 제거한다.
바닥 영역(330)이 제거되면, 영상 처리 장치(100)의 깊이 값 필터부(122)는 제거되지 않은 영역을 복수 개의 개별 영역으로 분리함으로써 상기 타킷 오브젝트 의 실루엣(310)의 후보 영역들을 추출한다. 이 과정이 도 5를 참조하여 서술된다.
도 5는 본 발명의 일 실시예에 따라, 도 4의 입력 깊이 영상(300)으로부터 세 개의 타킷 오브젝트의 실루엣 후보 영역들(510 내지 530)이 추출된 결과(500)를 도시한다.
깊이 값 필터부(122)는 상기 도 4의 결과(400)로부터, 깊이 값이 미리 설정된 제1 임계치 이상이고 제2 임계치 미만인 픽셀들만을 남기고, 나머지 픽셀들을 제거한다.
이를 테면, 상기 제1 임계치는 2.5m(미터)이고, 상기 제2 임계치는 3.5m이다. 그러면, 깊이 값이 2.5m 이상이고 3.5m 미만인 픽셀들만 남게 된다.
한편, 깊이 영상(300)은 TOF(Time of flight) 기법 등을 이용하여 획득될 수 있는데, 이 경우, 하드웨어의 물리적 특성 때문에 깊이 접힘(depth folding) 영역이 포함된 것일 수 있다.
깊이 영상(300)의 획득을 위해 깊이 카메라(depth camera)로부터 조사되는 적외선 파형의 주기성(periodicity) 때문에, 일정 거리, 이를테면 7.5m 의 거리마다 동일한 깊이 값이 반복될 수 있다. 이를테면, 0.1m 거리인 위치의 깊이 값과 7.6m 거리인 위치의 깊이 값, 그리고 15.1m 거리인 위치의 깊이 값 등이 동일할 수 있다. 이러한 현상이 깊이 접힘 현상이다.
본 발명의 일 실시예에 따르면, 깊이 접힘 영역 제거부(123)은 상기 입력 깊이 영상(300)으로부터, 또는 바닥이 제거된 결과(400)로부터 이러한 깊이 접힘 영역을 보정할 수 있다. 이를테면, 깊이 영상 생성 과정에서 깊이 카메라가 생성 할 수 있는 인텐시티 영상(Intensity image)을 이용하여, 인텐시티 값이 소정의 인텐시티 임계치(intensity threshold) 미만인 영역을 깊이 접힘이 발생된 영역으로 간주하여, 상기 영역 내의 픽셀들의 깊이 값을 일률적으로 보정할 수 있다.
한편 본 발명의 다른 일 실시예에 따르면, 상기 깊이 값 필터부(122)가 깊이 값이 상기 제1 임계치 이상이고 상기 제2 임계치 미만인 범위 밖의 픽셀들을 제거한 뒤, 상기 깊이 접힘 영역 제거부(123)가 남아 있는 픽셀들 중, 인텐시티 값이 소정의 인텐시티 임계치(intensity threshold) 미만인 픽셀들을 더 제거할 수 있다.
이러한 과정을 통해, 깊이 영상(300)으로부터, 세 개의 타킷 오브젝트의 실루엣 후보 영역들(510 내지 530)이 추출되었다.
그러면, 실루엣 추출부(124)는 이 세 개의 타킷 오브젝트의 실루엣 후보 영역들(510 내지 530) 중 실제 타킷 오브젝트의 실루엣 영역(510)을 선택한다.
본 발명의 일 실시예에 따르면, 실루엣 추출부(124)는 상기 세 개의 타킷 오브젝트의 실루엣 후보 영역들(510 내지 530) 중, 가장 많은 픽셀을 포함한, 즉 가장 넓은 영역을 타킷 오브젝트의 실루엣 영역으로 선택한다. 통상적으로 인체와 같은 타킷 오브젝트를 3D 모델 또는 아바타로 생성하기 위한 목적으로 촬영하는 경우, 타킷 오브젝트를 가장 크게 촬영할 수 있기 때문이다.
또한, 상기한 선택 방법과 함께, 또는 이에 대신하여, 본 발명의 다른 일 실시예에 따르면, 실루엣 추출부(124)는 상기 세 개의 타킷 오브젝트의 실루엣 후보 영역들(510 내지 530) 중, 깊이 영상(300)의 중심점에 가장 가까운 영역을 타킷 오브젝트의 실루엣 영역으로 선택한다. 타킷 오브젝트는 깊이 영상(300)의 생성을 위한 촬영 앵글의 중심에 놓일 확률이 크기 때문이다.
도 6은 본 발명의 일 실시예에 따라, 도 5의 세 개의 타킷 오브젝트의 실루엣 후보 영역(510 내지 530) 중 타킷 오브젝트의 실루엣 영역(610)이 선택된 결과(600)를 도시한다.
상기 타킷 오브젝트의 실루엣 영역(610)은 타킷 오브젝트를 대체적으로 잘 반영할 수 있다. 그러나, 낮은 해상도, 깊이 접힘 현상 및 많은 노이즈 발생 등의 깊이 카메라의 하드웨어적인 한계, 그리고 물체 자체가 발산하는 적외선에 의한 깊이 값 왜곡 등으로 인하여, 상기 추출된 타킷 오브젝트의 실루엣 영역(610)은 어느 정도의 오차(error)를 갖는다.
이를테면, 인체의 부위 중, 머리카락(Hair)과 같은 부위는 적외선을 많이 흡수하기 때문에, 깊이 영상(300) 내에서 타킷 오브젝트인 인체 중 머리카락 부분은 실제 깊이 값보다 더 큰 깊이 값을 가지질 수 있다.
도시된 타킷 오브젝트의 실루엣 영역(610)에서도 인체의 머리카락 부분 중 상당한 부분이 제거되어버린 것을 발견할 수 있다.
또한, 타킷 오브젝트의 실루엣 영역(610)의 가장자리 부분들에서는, 도 3의 입력 깊이 영상(300) 내의 벽 영역(350)이나 바닥 영역(330)에 해당하는 일부의 픽셀들이 실루엣 영역(610) 내에 포함되거나, 또는 반대로 타킷 오브젝트 영역(310)에 해당하는 다른 일부 픽셀들이 제거되어버리는 등의 오차가 존재할 수 있다.
본 발명의 일 실시예에 따르면, 영상 처리 장치(100)의 제2 계산부(130)는, 상기 타킷 오브젝트의 실루엣 영역(610)을 정제하여, 이러한 오차를 보정한다.
보다 상세한 과정은 도 7 이하를 참조하여 후술한다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 타킷 오브젝트의 실루엣 영역(610)의 주변 픽셀들(710)을 병합하여, 상기 타킷 오브젝트의 확장된 실루엣 영역(720)을 생성한 결과(700)를 도시한다.
본 발명의 일 실시예에 따르면, 도 1의 실루엣 확장부(131)는, 상기 타킷 오브젝트의 실루엣 영역(610)의 가장 자리로부터 거리가 미리 지정된 거리 임계치(distance threshold) 미만인 픽셀들을 병합한다.
상기 거리 임계치는 전체 부분에 대해 균등하게 설정될 수도 있고, 머리카락 부분에 대응될 확률이 높은 윗 부분(top)에 대해서 더 큰 값으로 설정될 수도 있다.
이렇게 주변 픽셀들을 병합하여 상기 타킷 오브젝트의 실루엣 영역(610)을 더 크게 만드는 과정이 실루엣 팽창(dilation) 과정이다. 그리고, 이러한 실루엣 팽창 과정을 통해 상기 타킷 오브젝트의 확장된 실루엣 영역(720)이 생성된다.
도 8은 상기 도 2의 칼라 영상(200) 중, 상기 도 7에 도시된 타킷 오브젝트의 확장된 실루엣 영역(720)에 대응하는 부분을 표시한 결과(800)를 도시한다.
이 중에는, 실제 타킷 오브젝트에 해당되는 부분(810)도 존재하고, 그렇지 않은 부분(820)도 존재한다.
이하에서는, 제2 계산부(130)에서 실제 타킷 오브젝트에 해당되는 부분(810)이 추출되는 과정이 도 9 내지 도 10을 참조하여 서술된다.
도 9는 본 발명의 일 실시예에 따라, 상기 도 7에 도시된 타킷 오브젝트의 확장된 실루엣 영역(720)에 대한 깊이 값 분포의 히스토그램(910 내지 930), 및 상기 도 8에 도시된 부분의 칼라 값 분포의 히스토그램(940)을 도시한다.
이하에서는 각 픽셀의 칼라 값이 RGB 칼라 시스템에 기초하여, 세 개의 채널 R(Red), G(Green) 및 B(Blue)에 대해 분석되지만, 이는 일 실시예에 지나지 않으며, 다른 실시예에서는 다른 칼라 시스템, 이를테면 YCbCr, HSV 등에 기초하여 분석될 수도 있다.
히스토그램(910)은 상기 도 8에 표시된 영역의 칼라 값 중 R 채널 값에 관한 것이다. x축은 픽셀들의 R 채널 값에 대응하고, y축은 픽셀의 수 또는 픽셀의 수를 확률 분포로 규준화(normalization)한 값에 대응한다.
마찬가지로, 히스토그램(920)은 G 채널 값에, 그리고 히스토그램(930)은 B 채널 값에 대한 것이다.
그리고, 히스토그램(940)은 상기 타킷 오브젝트의 확장된 실루엣 영역(720) 내의 깊이 값 분포에 관한 것이다.
이러한 히스토그램들(910 내지 940)은 도 1의 히스토그램 생성부(132)에 생성된다. 그리고, 확률 계산부(133)는 상기 히스토그램들(910 내지 940)을 참조하여, 상기 도 8에 표시된 부분(810 및 820)에 속하는 전체 픽셀들 각각이 상기 타킷 오브젝트에 해당될 확률을 구한다.
그리고, 타킷 오브젝트 영역 추출부(134)가, 상기 구해진 확률이 소정의 임계 확률 이상인 픽셀들을 선별하고, 선별된 픽셀들로 구성되는 타킷 오브젝트 영역 을 추출한다.
이 경우, 타킷 오브젝트의 머리카락에 해당하는 특정 픽셀 값을 분석하면, 상기 특정 픽셀은 히스토그램(910) 내에서 포인트(911)에 해당되고, 히스토그램(920) 내에서 포인트(921), 히스토그램(930) 내에서 포인트(931), 그리고 히스토그램(940) 내에서 포인트(941)에 각각 해당한다. 즉, 타킷 오브젝트에 속할 확률이 높다.
그러나, 배경 영역에 속하는 또 다른 픽셀 값을 분석하면, 이 픽셀은 히스토그램(910) 내에서 포인트(912), 히스토그램(920) 내에서 포인트(922), 히스토그램(930) 내에서 포인트(932), 그리고 히스토그램(940) 내에서 포인트(942)에 각각 해당한다. 즉, 타킷 오브젝트에 속할 확률이 낮다.
이러한 차이점에 의해, 적절한 임계 확률 값을 설정하면, 실제 타킷 오브젝트에 속하는 픽셀들만 선별할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 후처리부(135)는 이렇게 선별된 픽셀들 집합에 대해, 아웃라이어(outlier) 제거, 홀(hole) 채우기, 로우 패스 필터링(low pass filtering), 밴드 패스 필터링(band pass filtering) 등의 다양한 후처리를 필요에 따라 수행한다. 그러면, 보다 자연스럽고 품질이 높은 결과가 도출될 수 있다.
도 10은 상기한 바에 따라, 도 9의 히스토그램들(910 내지 940)을 참조하여, 도 2의 입력 칼라 영상(200)으로부터 타킷 오브젝트 영역(1010)을 추출한 결과(1000)를 도시한다.
상기한 바와 같이, 본 발명의 일 실시예에 따르면 1 장의 입력 칼라 영상(200) 및 상기 입력 칼라 영상(200)에 매칭된 1 장의 입력 깊이 영상(300)을 이용하여, 타킷 오브젝트 영역(1010)이 추출되었다.
이러한 과정은, 칼라 영상(200)만을 이용하여 칼라 값 세그먼테이션(segmentation)을 수행하거나, 또는 깊이 영상(300)만을 이용하여 깊이 값 세그먼테이션을 수행함으로써 추출한 타킷 오브젝트 영역 보다 품질이 높다.
또한, 사용자 인체 부분을 세그먼테이션 하는 종래의 방법들에 비해, 구현 비용이 저렴하고, 처리 속도가 높다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
본 실시예에서는, 깊이 영상과 칼라 영상이 입력되는 경우, 단계(S1110)에서 이들 영상들의 정합이 필요한 지의 여부가 판단된다. 이들 영상이 이미 서로 정합된 것인 경우라면 정합 과정은 요구되지 않으며, 바로 단계(S1130)가 수행된다.
그러나, 정합이 필요한 경우라면, 단계(S1120)에서 영상 처리 장치(100)의 영상 정합부(110)에 의해 정합이 수행된다. 영상 정합 과정에 대한 보다 상세한 내용은 도 3을 참조하여 상술한 바와 같다.
그리고, 단계(S1130)에서 바닥 제거부(121)에 의해, 깊이 영상(300)으로부터 수평면인 바닥 영역(330)이 제거된다. 이 과정에서 깊이 영상(300)의 하단 부의 세 개 이상의 픽셀이 선택되고, 선택된 픽셀을 이용하여 평면 방정식이 구해진다. 그리고, 깊이 영상(300) 내의 전체 픽셀들 각각에 대하여, 픽셀의 공간 좌표 가 대표하는 점과, 상기 평면 방정식이 대표하는 평면 사이의 거리 값이 구해진다. 그리고 구해진 거리가 소정의 임계 거리 미만인 픽셀들이 바닥 영역(330)에 속하는 것으로 간주되어 제거된다. 보다 상세한 내용은 도 4를 참조하여 상술한 바와 같다.
그리고, 단계(S1140)에서 깊이 값이 제1 범위(상기한 제1 임계치 이상 제2 임계치 미만인 범위) 밖인 픽셀들이 깊이 값 필터부(122)에 의해 제거된다. 이러한 과정은 도 5를 참조하여 상술한 바와 같다.
또한, 단계(S1150)에서는 깊이 접힘 영역 제거부(123)에 의해, 깊이 접힘이 발생한 영역, 이를테면 인텐시티 영상 내의 인텐시티 값이 소정의 인텐시티 임계 값 미만인 영역이 제거된다. 이러한 과정 역시 도 5를 참조하여 상술되었다.
이러한 과정을 통해 복수 개의 타킷 오브젝트의 실루엣 후보 영역들(이를테면 도 5의 510 내지 530)이 추출된다.
그리고, 단계(S1160)에서 실루엣 추출부(124)에 의해, 상기 타킷 오브젝트의 실루엣 후보 영역들 중 하나가 타킷 오브젝트의 실루엣 영역(610)으로서 선택된다.
이러한 실루엣 추출부(124)의 동작은 도 5 내지 도 6을 참조하여 상술한 바와 같다.
그리고 단계(S1170)에서 제2 계산부(130)에 의해 상기 추출된 타킷 오브젝트의 실루엣 영역(610)이 정제된다.
단계(S1170)의 내용은 도 12를 참조하여 보다 상세히 후술한다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
단계(S1210)에서, 실루엣 확장부(131)에 의해, 상기 타킷 오브젝트의 실루엣 영역(610)의 주변 픽셀들이 병합되어, 타킷 오브젝트의 확장된 실루엣 영역(720)이 생성된다. 이러한 과정의 보다 상세한 내용은 도 7을 참조하여 상술한 바와 같다.
그리고 단계(S1220)에서, 히스토그램 생성부(132)에 의해, 상기 타킷 오브젝트의 확장된 실루엣 영역(720) 내의 픽셀들의 깊이 값들의 히스토그램(940) 및 이에 대응하는 도 8에 표시된 부분의 칼라 픽셀들의 히스토그램들(910 내지 930)이 생성된다.
이러한 히스토그램들의 생성 과정은 도 9를 참조하여 상술한 바와 같다.
그리고, 단계(S1230)에서, 확률 계산부(133)에 의해, 상기 도 8에 표시된 부분의 각 픽셀들에 대하여, 상기 히스토그램들(910 내지 940)을 참조하여 타킷 오브젝트에 속할 확률이 계산된다.
그러면, 상기 계산된 확률에 따라, 타킷 오브젝트 영역 추출부(134)에 의해 타킷 오브젝트 영역에 속하는 것으로 간주되는 픽셀들이 선택된다.
그리고, 단계(S1240)에서, 후처리부(135)에 의해, 도 10을 통하여 상술한 다양한 후처리가 수행된다.
그러면, 단계(S1250)에서 최종 타킷 오브젝트 영역(1010)이 추출된다.
이상의 과정은 도 10을 이용하여 상술한 바와 같다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따라 입력되는 칼라 영상을 도시한다.
도 3은 본 발명의 일 실시예에 따라 입력되는 깊이 영상을 도시한다.
도 4는 본 발명의 일 실시예에 따라, 도 3의 입력 깊이 영상으로부터 수평면인 바닥 영역이 제거된 결과를 도시한다.
도 5는 본 발명의 일 실시예에 따라, 도 4의 입력 깊이 영상으로부터 세 개의 타킷 오브젝트의 실루엣 후보 영역이 추출된 결과를 도시한다.
도 6은 본 발명의 일 실시예에 따라, 도 5의 세 개의 타킷 오브젝트의 실루엣 후보 영역 중 타킷 오브젝트의 실루엣 영역이 선택된 결과를 도시한다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 타킷 오브젝트의 실루엣 영역의 주변 픽셀들을 병합하여, 상기 타킷 오브젝트의 확장된 실루엣 영역을 생성한 결과를 도시한다.
도 8은 상기 도 2의 칼라 영상 중, 상기 도 7에 도시된 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 부분을 표시한 결과를 도시한다.
도 9는 본 발명의 일 실시예에 따라, 상기 도 7에 도시된 타킷 오브젝트의 확장된 실루엣 영역에 대한 깊이 값 분포의 히스토그램, 및 상기 도 8에 도시된 영역의 칼라 값 분포의 히스토그램을 도시한다.
도 10은 도 9의 히스토그램들을 참조하여, 도 2의 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출한 결과를 도시한다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
도 12는 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

Claims (17)

  1. 입력 깊이 영상으로부터 타킷 오브젝트의 실루엣 영역을 추출하는 제1 계산부; 및
    상기 입력 깊이 영상에 매칭된 입력 칼라 영상을 이용하여 상기 실루엣 영역을 정제하고, 상기 정제된 실루엣 영역을 이용하여 상기 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출하는 제2 계산부
    를 포함하고,
    상기 제1 계산부는,
    상기 입력 깊이 영상으로부터, 수평면에 대응하는 픽셀을 제거하는 바닥 제거부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 타킷 오브젝트는 인체(human body)인, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 제1 계산부는,
    깊이 값이 제1 임계치 이상이고 제2 임계치 미만인 영역을 추출하여 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역을 추출하는 깊이 값 필터부; 및
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 타킷 오브젝트의 실루엣 영역을 선택하는 실루엣 추출부
    를 포함하는, 영상 처리 장치.
  4. 제3항에 있어서,
    상기 바닥 제거부는,
    상기 깊이 영상 내의 하단에서 적어도 세 개의 픽셀들을 선택하여 수평면의 방정식을 구하여 수평면 추정하고, 상기 깊이 영상의 전체 픽셀들에 대하여 상기 수평면과의 거리가 제3 임계치 미만인 픽셀들을 제거하는, 영상 처리 장치.
  5. 제3항에 있어서,
    상기 실루엣 추출부는,
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 픽셀 수가 가장 많은 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택하는, 영상 처리 장치.
  6. 제3항에 있어서,
    상기 실루엣 추출부는,
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 상기 깊이 영상의 중심 점에 가장 가까운 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택하는, 영상 처리 장치.
  7. 제3항에 있어서,
    상기 제1 계산부는,
    상기 입력 깊이 영상에 대응하는 입력 인텐시티 영상(Intensity image)을 참조하여, 상기 깊이 값 필터부에 의해 추출된 상기 적어도 하나의 타킷 오브젝트 후보 영역 중 인텐시티 값이 제4 임계치 미만인 부분을 제거하는 깊이 접힘 제거부
    를 더 포함하는, 영상 처리 장치.
  8. 제1항에 있어서,
    상기 제2 계산부는,
    상기 타킷 오브젝트의 실루엣 영역의 외곽 픽셀들로부터 제5 임계치 미만의 거리에 있는 픽셀을 병합하여 상기 타킷 오브젝트의 확장된 실루엣 영역을 생성하는 실루엣 확장부;
    상기 입력 칼라 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 칼라 분포를 계산하고, 상기 입력 깊이 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 깊이 분포를 계산하는 히스토그램 생성부;
    상기 칼라 분포 및 상기 깊이 분포를 이용하여, 상기 타킷 오브젝트의 확장된 실루엣 영역의 각 픽셀들이 상기 타킷 오브젝트에 속할 확률을 계산하는 확률 계산부; 및
    상기 계산된 확률을 이용하여, 상기 입력 칼라 영상으로부터 상기 타킷 오브젝트 영역을 추출하는, 타킷 오브젝트 영역 추출부
    를 포함하는, 영상 처리 장치.
  9. 제8항에 있어서,
    상기 타킷 오브젝트 영역 추출부에 의해 추출된 상기 타킷 오브젝트 영역을 정제하는 후처리부
    를 더 포함하는, 영상 처리 장치.
  10. 제1항에 있어서,
    상기 입력 깊이 영상과 상기 입력 칼라 영상이 서로 정합되지 않은 경우, 상기 입력 깊이 영상과 상기 입력 칼라 영상을 정합시키는 영상 정합부
    를 더 포함하는, 영상 처리 장치.
  11. 입력 깊이 영상으로부터 타킷 오브젝트의 실루엣 영역을 추출하는 단계; 및
    상기 입력 깊이 영상에 매칭된 입력 칼라 영상을 이용하여 상기 실루엣 영역을 정제하고, 상기 정제된 실루엣 영역을 이용하여 상기 입력 칼라 영상으로부터 타킷 오브젝트 영역을 추출하는 단계
    를 포함하고,
    상기 타킷 오브젝트의 실루엣 영역을 추출하는 단계는,
    상기 입력 깊이 영상으로부터 수평면에 대응하는 픽셀을 제거하는 단계;
    를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 타킷 오브젝트의 실루엣 영역을 추출하는 단계는,
    상기 수평면에 대응하는 픽셀이 제거된 상기 입력 깊이 영상으로부터 깊이 값이 제1 임계치 이상이고 제2 임계치 미만인 영역을 추출하여, 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역을 추출하는 단계; 및
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중 상기 타킷 오브젝트의 실루엣 영역을 선택하는 단계
    를 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 타킷 오브젝트의 실루엣 영역을 선택하는 단계는,
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 픽셀 수가 가장 많은 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택하는, 영상 처리 방법.
  14. 제12항에 있어서,
    상기 타킷 오브젝트의 실루엣 영역을 선택하는 단계는,
    상기 적어도 하나의 타킷 오브젝트의 실루엣 후보 영역 중, 상기 깊이 영상의 중심 점에 가장 가까운 것을 상기 타킷 오브젝트의 실루엣 영역으로 선택하는, 영상 처리 방법.
  15. 제14항에 있어서,
    상기 타킷 오브젝트 영역을 추출하는 단계는,
    상기 타킷 오브젝트의 실루엣 영역에 주변 픽셀을 병합하여 상기 타킷 오브젝트의 확장된 실루엣 영역을 생성하는 단계;
    상기 입력 칼라 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 칼라 분포 히스토그램, 및 상기 입력 깊이 영상의 픽셀들 중 상기 타킷 오브젝트의 확장된 실루엣 영역에 대응하는 픽셀들의 깊이 분포 히스토그램을 생성하는 단계;
    상기 칼라 분포 히스토그램 및 상기 깊이 분포 히스토그램을 이용하여, 상기 타킷 오브젝트의 확장된 실루엣 영역의 각 픽셀들이 상기 타킷 오브젝트에 속할 확률을 계산하는 단계; 및
    상기 계산된 확률을 이용하여, 상기 입력 칼라 영상으로부터 상기 타킷 오브젝트 영역을 추출하는 단계
    를 포함하는, 영상 처리 방법.
  16. 제11항에 있어서,
    상기 입력 깊이 영상이 상기 입력 칼라 영상과 정합되지 않은 경우, 상기 실루엣 영역의 정제에 앞서서 상기 입력 깊이 영상과 상기 입력 칼라 영상을 정합하는 단계
    를 더 포함하는, 영상 처리 방법.
  17. 제11항 내지 제16항 중 어느 한 항의 영상 처리 방법을 수행하기 위한 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020090107980A 2009-11-10 2009-11-10 영상 처리 장치 및 방법 KR101636370B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090107980A KR101636370B1 (ko) 2009-11-10 2009-11-10 영상 처리 장치 및 방법
US12/844,242 US8355568B2 (en) 2009-11-10 2010-07-27 Image processing apparatus, method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090107980A KR101636370B1 (ko) 2009-11-10 2009-11-10 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110051416A KR20110051416A (ko) 2011-05-18
KR101636370B1 true KR101636370B1 (ko) 2016-07-05

Family

ID=43974220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090107980A KR101636370B1 (ko) 2009-11-10 2009-11-10 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US8355568B2 (ko)
KR (1) KR101636370B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5336939B2 (ja) * 2009-06-15 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
JP2012075088A (ja) * 2010-09-03 2012-04-12 Pentax Ricoh Imaging Co Ltd 画像処理システムおよび画像処理方法
KR101283262B1 (ko) 2011-10-21 2013-07-11 한양대학교 산학협력단 영상 처리 방법 및 장치
KR101357581B1 (ko) * 2012-06-21 2014-02-05 안양대학교 산학협력단 깊이 정보 기반 사람의 피부 영역 검출 방법
KR101978176B1 (ko) * 2012-07-12 2019-08-29 삼성전자주식회사 영상 처리 장치 및 방법
US9406135B2 (en) 2012-10-29 2016-08-02 Samsung Electronics Co., Ltd. Device and method for estimating head pose
KR101732898B1 (ko) * 2012-11-26 2017-05-08 삼성전자주식회사 영상 처리 장치 및 방법
US9092657B2 (en) * 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9563955B1 (en) * 2013-05-15 2017-02-07 Amazon Technologies, Inc. Object tracking techniques
US9363499B2 (en) * 2013-11-15 2016-06-07 Htc Corporation Method, electronic device and medium for adjusting depth values
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
WO2018180578A1 (ja) * 2017-03-31 2018-10-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
KR101967858B1 (ko) * 2017-11-03 2019-04-11 전자부품연구원 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
CN107895377B (zh) * 2017-11-15 2020-07-10 国光电器股份有限公司 一种前景目标提取方法、装置、设备及存储介质
KR102030040B1 (ko) * 2018-05-09 2019-10-08 한화정밀기계 주식회사 빈 피킹을 위한 빈 모델링 방법 및 그 장치
CN110910393B (zh) * 2018-09-18 2023-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
KR20200055812A (ko) * 2018-11-08 2020-05-22 전자부품연구원 딥러닝 기반 이상 행위 인지 장치 및 방법
CN112819878B (zh) * 2021-01-28 2023-01-31 北京市商汤科技开发有限公司 一种深度检测方法、装置、计算机设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
JPH11312228A (ja) 1998-04-28 1999-11-09 Minolta Co Ltd ３次元形状データ処理装置
US6028673A (en) * 1998-03-31 2000-02-22 Ngk Spark Plug Co., Ltd. Inspection of solder bumps of bump-attached circuit board
US6504569B1 (en) * 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
JP2002008041A (ja) * 2000-06-22 2002-01-11 Namco Ltd 動作検出装置、動作検出方法および情報記憶媒体
KR20040000144A (ko) 2002-06-24 2004-01-03 (학)창성학원 스테레오 매칭을 이용한 이미지 추출방법
JP3714350B2 (ja) 2004-01-27 2005-11-09 セイコーエプソン株式会社 画像中の人物候補領域抽出方法及び人物候補領域抽出システム並びに人物候補領域抽出プログラム
JP4532171B2 (ja) 2004-06-01 2010-08-25 富士重工業株式会社 立体物認識装置
JP2006113738A (ja) 2004-10-13 2006-04-27 Matsushita Electric Ind Co Ltd 物体検出装置および物体検出方法
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
JP4516516B2 (ja) 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP2009533778A (ja) 2006-04-17 2009-09-17 オブジェクトビデオ インコーポレイテッド 統計的画素モデリングを使った映像セグメント化
US7671867B2 (en) * 2006-05-08 2010-03-02 Schlumberger Technology Corporation Method for locating underground deposits of hydrocarbon including a method for highlighting an object in a three dimensional scene
KR100922429B1 (ko) 2007-11-13 2009-10-16 포항공과대학교 산학협력단 스테레오 영상을 이용한 사람 검출 방법
KR100953076B1 (ko) * 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"다시점 집적 영상 배경을 가지는 새로운 공간영상 디스플레이 시스템의 구현." 한국통신학회 종합 학술 발표회 논문집 (하계) 2008 (2008)*

Also Published As

Publication number Publication date
KR20110051416A (ko) 2011-05-18
US20110110585A1 (en) 2011-05-12
US8355568B2 (en) 2013-01-15

Similar Documents

Publication Publication Date Title
KR101636370B1 (ko) 영상 처리 장치 및 방법
US10990191B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2016066038A1 (zh) 一种图像主体提取方法及系统
US9672634B2 (en) System and a method for tracking objects
US9443137B2 (en) Apparatus and method for detecting body parts
CN103927016A (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
KR20110020718A (ko) 타겟 분석 장치 및 방법
CN103440662A (zh) Kinect深度图像获取方法与装置
KR100813168B1 (ko) 사전 모양 정보를 이용한 디지털 영상에서의 물체를추출하기 위한 방법 및 상기 방법을 수행하는 시스템
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
JP2013030183A (ja) 環境認識装置及びプログラム
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP6098498B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
TWI494865B (zh) 從深度資訊中截取目標物的方法
CN105868789B (zh) 一种基于图像区域内聚测度的目标发现方法
KR20140061101A (ko) 입체영상에서의 외곽선 가중치 기반 장애물 영역 검출 장치 및 방법
KR20110044392A (ko) 영상 처리 장치 및 방법
CN113592892A (zh) 一种行人统计方法、装置、设备、存储介质
KR102145959B1 (ko) 다중지평면 추정장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4