KR20150008744A - 깊이 영상 처리 방법 및 장치 - Google Patents

Abstract

본 발명은 깊이 영상 처리 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 깊이 영상 처리 방법은 저해상도 깊이 영상의 깊이 분포 특성에 상응하는 업 샘플링 필터를 미리 훈련된 분류기를 통해 결정하고, 선택된 필터를 이용하여 업 샘플링을 수행함으로써, 최적화된 업 샘플링 필터를 이용하여 고해상도 깊이 영상을 생성할 수 있다.

Description

깊이 영상 처리 방법 및 장치{Method and apparatus processing a depth image}

본 발명은 깊이 영상 처리 방법 및 장치에 관한 것이다.

최근에 사물의 거리 정보를 촬영하는 3D 카메라 또는 LIDAR(Light Detection And Ranging)기술이 연구 중에 있는데, 그 중 하나가 빛의 왕복시간 측정법(Time Of Flight, 이하 TOF라 한다)으로서 촬상 장치와 피사체 간의 거리(이하 깊이 영상(깊이)라 한다)를 측정하는 기능을 갖는다.

TOF 방법은 기본적으로 특정 파장의 빛, 예를 들면 근 적외선(850nm)을 LED 또는 LD를 이용하여 피사체로 투사하고, 피사체로부터 반사된 동 파장의 빛을 포토 다이오드 또는 카메라에서 측정 또는 촬영하고 깊이 영상을 추출하는 프로세싱을 거치게 된다. 이러한 광 처리 과정 즉, 광원 투사, 피사체 반사, 광 변조, 촬영, 프로세싱의 일련의 과정에 대한 다양한 TOF 방법이 소개되었다.

하지만, TOF 카메라 또는 structured-light 카메라로 획득한 깊이 영상은 일반적으로 컬러 영상에 비하여 낮은 공간 해상도(spatial resolution)를 갖는다. 3D 영상 렌더링, 예를 들면 뷰 합성(view synthesis), 깊이 영상 기반 렌더링(depth image based rendering) 등을 포함한 다양한 3D 애플리케이션은 동일한 공간 해상도의 컬러 영상과 깊이 영상을 요구하기 때문에 깊이 영상의 해상도를 증가시키는 기술(depth superresolution)이 필수적이다.

본 발명의 일 실시 예는 저해상도 깊이 영상의 깊이 분포 특성에 상응하는 업 샘플링 필터를 미리 훈련된 분류기를 통해 결정하고, 선택된 필터를 이용하여 업 샘플링을 수행함으로써, 최적화된 업 샘플링 필터를 이용하여 고해상도 깊이 영상을 생성할 수 있는 깊이 영상 처리 방법 및 장치를 제공하는 것이다.

상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시 예에 따른 깊이 영상 처리 방법은 고해상도 컬러 영상과, 상기 고해상도 컬러 영상에 상응하는 저해상도 깊이 영상을 입력받는 단계; 상기 저해상도 깊이 영상의 깊이 분포를 기초로 특징 벡터를 생성하는 단계; 상기 특징 벡터를 미리 학습 된 분류기에 따라 분류하여, 상기 저해상도 깊이 영상을 업 샘플링할 필터를 선택하는 단계; 상기 선택된 필터를 이용하여 상기 저해상도 깊이 영상을 업 샘플링하는 단계; 및 상기 업 샘플링된 고해상도 깊이 영상을 출력하는 단계를 포함한다.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 깊이 영상 처리 장치는 고해상도 컬러 영상과, 상기 고해상도 컬러 영상에 상응하는 저해상도 깊이 영상을 입력받아, 상기 저해상도 깊이 영상의 깊이 분포를 기초로 특징 벡터를 생성하는 특징 벡터 생성부; 상기 생성된 특징 벡터를 미리 학습 된 분류기에 따라 분류하는 분류부; 상기 저해상도 깊이 영상을 업 샘플링할 필터를 선택하는 필터 선택부; 및 상기 선택된 필터를 이용하여 상기 저해상도 깊이 영상을 업 샘플링하여, 상기 업 샘플링된 고해상도 깊이 영상을 출력하는 업 샘플링 부를 포함한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 깊이 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.

본 발명의 일 실시 예에 따른 깊이 영상 처리 방법은 저해상도 깊이 영상의 깊이 분포 특성에 상응하는 업 샘플링 필터를 미리 훈련된 분류기를 통해 결정하고, 선택된 필터를 이용하여 업 샘플링을 수행함으로써, 최적화된 업 샘플링 필터를 이용하여 고해상도 깊이 영상을 생성할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 저해상도 깊이 영상과 고해상도 컬러 영상을 이용하여 업 샘플링 대상인 홀 픽셀을 결정하는 것을 설명하기 위한 예시 도이다.
도 2 내지 5는 깊이 영상의 분포 특성의 예시 도들이다.
도 6은 본 발명의 일 실시 예에 따른 깊이 영상 처리 장치(600)의 개략도이다.
도 7은 도 6에 도시된 깊이 영상 처리 장치(600)의 구체적인 구성의 개략도이다.
도 8은 샘플 고해상도 깊이 영상과 고해상도 컬러 영상을 이용하여 트레이닝 데이터베이스를 생성하는 예시 도이다.
도 9 내지 11은 깊이 영상의 분포 특성을 이용하여 특징 벡터를 생성하는 것을 설명하기 위한 예시 도들이다.
도 12는 각각의 클래스의 특징 벡터 셋을 이용하여 분류기를 생성하는 예시 도이다.
도 13은 본 발명의 다른 실시 예에 따른 깊이 영상 처리 방법을 설명하기 위한 흐름 도이다.
도 14는 본 발명의 또 다른 실시 예에 따른 특징 벡터 생성 방법을 설명하기 위한 흐름 도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

먼저, 도 1 내지 5를 참조하여, 깊이 영상의 고해상도 변환 및 고해상도 변환을 위한 필터 선택에 대해 간략히 설명한다.

도 1을 참조하면 저해상도 깊이 영상(100)과 고해상도 컬러 영상(120)의 예가 도시되어 있다. 여기서, 깊이 영상의 해상도는 컬러 영상의 해상도의 1/2(즉, 가로 1/2, 세로 1/2)에 해당한다. 여기서, 깊이 영상의 해상도가 컬러 영상의 해상도보다 작은 것을 가정하나 두 영상 간의 해상도의 배율은 임의의 값을 가질 수 있다. 도 1을 참조하면, 저해상도 깊이 영상(100)을 고해상도 컬러 영상(120)의 해상도에 맞게 확장시킨 결과를 나타낸다. 도시된 것처럼, 깊이 영상(100)의 특정 영역(110)과 컬러 영상(120)의 동일한 영역(130)을 비교하면, 해상도의 차이로 인하여 많은 홀 픽셀들(도면에서 검색은 부분으로 도면 번호 103)의 깊이 값이 존재하지 않는다. 본 발명의 일 실시 예에서, 이러한 픽셀들을 홀 픽셀로 정의한다. 그러므로 깊이 영상의 고해상도 변환은 이러한 홀 픽셀의 깊이 값을 계산하는 과정이다.

다시 도 1을 참조하면, 홀 픽셀(111)의 깊이 값은 주변에 홀이 아닌 픽셀들(112 내지 115)의 깊이 값으로부터 계산하여 채울 수 있다. 이때 계산하는 방식은 다양할 수 있으며 각 방식에 따라 결과 깊이 값이 채워지는 특성이 달라진다. 예를 들면 주변 픽셀들(112 내지 115)의 깊이 값의 평균(average) 값을 이용하여 채울 경우에는 부드럽게 홀 픽셀을 채울 수 있으나 깊이의 불연속성(discontinuity)을 블러시키는 문제를 발생시킬 수 있다. 주변의 깊이 값을 이용하여 홀 픽셀의 깊이 값을 구하는 것을 필터링(filtering)이라고 정의한다. 이때 가우시안 필터(Gaussian filter), 가중치 평균 필터(weighted mean filter), 가중치 중간값 필터(weighted median filter), 최소값 필터(min filter), 최대값 필터(max filter) 등 다양한 필터를 사용할 수 있다.

한편, 고해상도의 컬러 영상이 존재하기 때문에 고해상도 컬러 영상의 픽셀 값을 이용하여 필터를 설계할 수 있다. 예를 들면 조인트 양방향 필터(joint bilateral filter, 이하 JBF라 한다)의 경우, 홀 픽셀로부터 거리가 가까운 깊이 픽셀에 큰 가중치를 주고, 홀 픽셀의 컬러 값과 주변 깊이 픽셀의 컬러 값이 유사할수록 큰 가중치를 주는 방식을 사용한다. 두 가중치를 같이 이용함으로써 컬러 영상의 에지와 유사한 깊이 영상의 에지를 생성하면서 깊이 영상의 홀 픽셀을 채울 수 있다. 그러나 이러한 JBF는 텍스처 카핑(texture copying), 깊이-에지 블러(depth-edge blur) 등의 문제를 갖는다. JBF뿐만 아니라 다양한 다른 필터들도 일부 영역에서는 잘 동작하나 일반적으로 영상 전체에서는 잘 동작하지 않는다. 그러므로 필터를 영상 영역에 따라 선택적으로 적용할 필요가 있다.

도 2 내지 5를 참조하여, 깊이 영상의 분포 특성 및 이에 따른 필터 선택을 설명한다.

도 2를 참조하면, 가중치는 홀 픽셀과 주변 픽셀 사이의 거리차이, 홀 픽셀의 컬러와 주변 픽셀 컬러의 차이 등을 이용하여 계산할 수 있다. 이때 가중치의 합이 1이 되도록 정규화(normalization)처리를 수행할 수 있다. 정규화된 깊이 분포는 히스토그램 또는 확률 분포 함수(probability distribution function)로 정의할 수 있다. 깊이의 가중치 분포로부터 홀 픽셀의 값을 결정할 수 있다. 도 2에 도시된 것처럼, 가중치 모드 필터(weighted mode filter, 이하 WMF라 한다)의 경우는 이 분포에서 최대값을 갖는 깊이 값(도면번호 200)으로 홀 픽셀을 채운다.

도 3을 참조하면, 바이모달(bimodal) 분포 특성을 갖는 예를 나타낸다. 홀 픽셀이 물체의 경계에 위치할 경우 주변 깊이 값들은 2개의 레이어, 즉 전경과 배경으로 나뉘게 되며, 이 경우에는 홀 픽셀의 깊이 값이 둘 중 하나의 레이어에 속하도록 할당해야 전경과 배경을 명확하게 분할하면서 고해상도 변환을 수행할 수 있다.

도 4를 참조하면, 유니모달(unimodal) 분포 특성의 예를 나타낸다. 주로 부드러운 물체 영역 주변에서 이와 같은 깊이 값 분포 특성이 나타난다. 이 경우에는 평균 필터(mean filter) 등의 스무딩(smoothing) 필터가 효과적일 수 있다.

도 5를 참조하면, sparse하게 분포하는 깊이 분포 특성의 예를 나타낸다. 깊이 값에 노이즈가 있을 경우에, 특히 비선형 특성의 노이즈가 있을 경우에 이와 같은 분포 특성을 나타낸다. 이 경우에는 중간값 필터(median filter)가 효과적으로 동작할 수 있다.

도 2 내지 5를 참조하여 설명한 것처럼, 깊이 영상의 분포의 차이에 따라 업 샘플링에 효과적인 필터는 다를 수 있다. 본 발명의 일 실시 예에 따른 깊이 영상 처리 방법 및 장치는 깊이 영상의 분포 특성의 차이에 따라 효과적인 업 샘플링 필터를 선택할 수 있도록 깊이 영상의 분포 특성에 따른 업 샘플링 필터를 학습하고, 학습 결과에 따른 분류기(classifier)를 설계하여 데이터베이스화하고, 데이터베이스에 저장된 분류기를 통해 깊이 영상 처리 장치에 입력된 저해상도 깊이 영상의 홀 픽셀마다 적합한 필터들을 선택하여, 홀 픽셀마다 업 샘플링하여 고해상도 깊이 영상을 생성한다.

도 6은 본 발명의 일 실시 예에 따른 깊이 영상 처리 장치(600)의 개략도이다.

도 6을 참조하면, 깊이 영상 처리 장치(600)는 저해상도 깊이 영상과 고해상도 컬러 영상을 입력받아, 고해상도 깊이 영상을 출력한다. 본 발명의 일 실시 예에 따른 깊이 영상 처리 장치(600)는 저해상도 깊이 영상에서 업 샘플링 대상 픽셀을 기준으로 주변 깊이 값의 분포 특성에 따라 필터를 선택적으로 적용한다. 필터의 선택을 위해, 기계 학습(machine-learning) 기법을 적용하여 샘플(ground-truth) 고해상도 깊이 영상으로부터 깊이 값 분포에 따라 효과적인 필터링 방식을 학습한다. 학습 결과를 실제 저해상도 깊이 영상에 적용하는 방식을 통하여 고해상도 깊이 영상을 생성한다. 여기서, 깊이 영상 처리 장치(600)는 3D 카메라, 3D TV, 3D 모니터, 3D 시네마 시스템에 구비될 수 있다. 또한, 컬러 영상은 컬러 영상 획득 장치를 통해서 촬영된 영상이고, 깊이 영상은 깊이 센서 또는 깊이 영상 획득 장치를 통해 촬영된 영상일 수 있거나, 또는 동일한 영상 획득 장치를 통해 촬영될 영상일 수 있다.

깊이 영상 처리 장치(600)는 저해상도 깊이 영상과 고해상도 컬러 영상을 입력으로 사용하며, 고해상도 복원이 완료된 고해상도 깊이 영상을 출력으로 한다. 또한, 입력 저해상도 깊이 영상과 고해상도 컬러 영상은 동일한 촬영시점(view point)을 갖는다. 하지만, 입력 영상들 간에 촬영시점의 차이가 존재할 경우에는 이미지 정합(image registration), 이미지 조정(image calibration) 등을 통하여 촬영 시점을 일치시키는 전처리 과정을 수행할 수도 있다. 따라서, 깊이 영상과 컬러 영상의 촬영 시점에 차이가 있는 경우, 깊이 영상 처리 장치(600)의 내부 또는 앞 부분에 전처리모듈을 더 포함할 수 있다. 여기서, 입력 깊이 영상은 입력 컬러 영상보다 작은 임의의 해상도를 가지는 것으로 충분하며, 저해상도 또는 고해상도의 용어에서 의미하는 높고 낮음의 수치에 한정되는 것은 아니다. 깊이 영상 처리 장치(600)의 구체적인 구성은 도 7을 참조하여 설명한다.

도 7은 도 6에 도시된 깊이 영상 처리 장치(600)의 구체적인 구성의 개략도이다.

도 7을 참조하면, 깊이 영상 처리 장치(600)는 홀 픽셀 결정부(610), 깊이 분포 결정부(620), 특징 벡터 생성부(630), 분류부(640), 필터 선택부(650), 업 샘플링부(660)를 포함한다.

홀 픽셀 결정부(610)는 입력된 고해상도 컬러 영상을 이용하여 저해상도 깊이 영상에서의 업 샘플링 대상 픽셀인 홀 픽셀을 결정한다. 본 발명의 일 실시 예에서 컬러 영상의 해상도가 깊이 영상의 해상도보다 크기 때문에, 도 1에 도시된 것처럼, 고해상도 컬러 영상과 저해상도 깊이 영상을 비교하면, 저해상도 깊이 영상에서는 깊이 값이 존재하지 않는 픽셀들이 존재한다. 본 발명의 일 실시 예에 따른 깊이 영상 처리 장치(600)는 이러한 깊이 값이 존재하지 않는 픽셀들의 깊이 값을 채움으로써 또는 보간(interpolation)함으로써, 고해상도의 깊이 영상을 생성한다.

깊이 분포 결정부(620)는 홀 픽셀 결정부(610)에서 결정된 홀 픽셀에 대해 깊이 분포를 결정한다. 깊이 분포 결정부(620)는 홀 픽셀의 주변 픽셀들의 깊이 값 및 가중치를 기초로 깊이 분포를 결정한다. 도 2 내지 5에 도시된 것처럼, 홀 픽셀에 대해, 주변 픽셀들의 깊이 값에 대한 가중치를 나타내는 분포 또는 히스토그램을 결정한다. 여기서, 가중치는 도 1에 도시된 인접한 주변 픽셀들(112 내지 115)과 홀 픽셀(111)의 거리 및 홀 픽셀(111)의 컬러 값과 주변 픽셀들(112 내지 114)의 컬러 값의 차이를 이용하여 가중치를 부여한다. 가중치는 주변 픽셀이 홀 픽셀과 가까울수록 크게, 홀 픽셀(111)과 주변 픽셀(112 내지 114)의 컬러 값의 차이가 작을수록 크게 할당한다. 즉, 홀 픽셀(111)에 영향을 줄 가능성 큰 경우는 가까이 있는 픽셀과 비슷한 컬러의 픽셀이기 때문에, 전술한 바와 같이 가중치를 부여한다. 여기서, 홀 픽셀(111)과 인접한 주변 픽셀들(112 내지 115)이 4개의 픽셀이 도시되어 있지만, 일정한 영역(110)에 포함된 픽셀들을 확대할 수 있음은 물론이다.

특징 벡터 생성부(630)는 깊이 분포 결정부(620)에서 결정된 깊이 분포를 기초로 특징 벡터를 생성한다. 특정 홀 픽셀에 대한 업 샘플링 필터를 결정하기 위해, 깊이 분포의 전체 특성을 기초로 선택할 수도 있지만, 깊이 분포에서 의미 있는 정보를 추출하는 것이 더 효과적이다. 따라서, 본 발명의 일 실시 예에서, 깊이 분포를 기초로 특징 벡터를 생성한다.

특징 벡터를 생성하는 것은 도 9 내지 11을 참조하여 설명한다.

도 9를 참조하면, 저해상도 깊이 영상의 특정 홀 픽셀에 대한 깊이 분포가 도시되어 있다. 여기서, 깊이 분포는 홀 픽셀의 주변 픽셀들의 깊이 값에 대한 가중치로 표현된다. 전술한 것처럼, 깊이 분포의 전체 특성, 즉 깊이 분포 값뿐만 아니라, 깊이 분포의 변화 패턴이 의미 있는 정보를 포함한다. 여기서, 가중치의 합은 1로서 정규화되어 있다.

도 9 및 10a을 참조하면, 가중치가 0이 아닌 빈(non-empty bin)이 6개 도시되어 있다. 여기서, 각각의 가중치가 0이 아닌 빈의 가중치를 이용하여 특징 벡터를 생성한다. 가중치가 0이 아닌 가중치를 이용하여 생성된 특징 벡터(1000)는 0.2, 0.15, 0.25, 0.15, 0.15, 0.1 을 포함하는 길이가 6인 특징 벡터이다.

도 9 및 10c를 참조하면, 가중치가 0 이 아닌 빈들 사이의 거리를 이용하여 특징 벡터를 생성한다. 가중치가 0이 아닌 빈들 사이의 거리를 이용하여 생성된 특징 벡터(1020)는 2, 3, 25, 5, 3을 포함하는 길이가 5인 특징 벡터이다.

도 10a 및 10c를 참조하여, 가중치가 0이 아닌 빈, 가중치가 0이 아닌 빈들 사이의 거리를 이용하는 것으로 설명하였지만, 이에 한정되지 않고, 가중치가 일정 임계값 이상인 가중치, 또는 가중치가 일정 임계값 이상인 가중치들 사이의 거리를 이용할 수 있다. 여기서, 임계값들은 동일하거나 또는 0 일 수 있다.

특징 벡터를 생성하는 경우, 깊이 분포에 따라 생성된 특징 벡터의 길이가 달라질 수 있다. 따라서, 특징 벡터의 길이를 고정할 필요가 있다. 또한, 분류기는 동일한 길이의 특징 벡터를 필요로 하기 때문에 미리 특징 벡터의 길이를 충분히 길게 설정한 후 추출한 특징 벡터의 길이가 고정 길이보다 작을 경우에는 특징 벡터의 마지막 구성요소 값을 추가 또는 패딩(padding)하는 방식을 사용할 수 있다.

도 10a 및 10c를 참조하면, 특징 벡터의 길이가 6과 5이고, 예를 들면 특징 벡터의 길이를 8로 고정한 경우, 도 10b 및 10d에 도시된 것처럼, 깊이 분포를 기초로 생성된 특징 벡터의 마지막 구성요소(도 12a에서는 0.1, 도 12b에서는 3)를 각각 추가하여, 특징 벡터를 생성한다.

도 10b를 참조하면, 가중치가 0이 아닌 가중치를 이용하여 생성된 특징 벡터는 0.2, 0.15, 0.25, 0.15, 0.15, 0.1에 마지막 구성요소 0.1이 2개 추가(1010)된다. 따라서, 길이가 8인 특징 벡터는 0.2, 0.15, 0.25, 0.15, 0.15, 0.1, 0.1, 0.1이 된다.

도 11을 참조하여 특징 벡터를 생성하는 다른 예시를 설명한다.

깊이 값이 변하는 패턴은 주파수 영역(frequency domain)에서 더 명확하게 해석할 수 있다. 도 10b 및 10d에 도시된 공간 영역의 특징 벡터들을 주파수 영역으로 이산 주파수 변환하여, 도 11a 및 11b를 생성한다. 예를 들면 DCT(discrete cosine transform)하여 주파수 영역으로 변환하여 주파수 영역에서 특징 벡터를 생성한다. 주파수 변환은 전술한 DCT 뿐만 아니라, 이산 사인 변환(discrete sine transform), 이산 푸리에 변환(discrete Fourier transform) 등을 사용할 수 있다. 또한, 앞서 공간 영역에서 특징 벡터의 일정한 길이를 유지시키기 위하여 패딩을 수행했기 때문에 주파수 영역의 특징 벡터의 저주파 성분에 바이어스가 존재할 수 있다. 따라서, 저주파 성분 일부를 제외하고 특징 벡터를 생성할 수 있다. 도 11a에 도시된 것처럼, DC 성분(1100)인 2.14를 제거하거나, 도 11b에 도시된 것처럼, DC 성분(1110)인 2를 제거하고 특징 벡터를 생성한다. 또한, 도 11a 및 11b에 각각 도시된 특징 벡터들을 연결하여, 도 11c에 도시된 것처럼, 특징 벡터(1120 및 1130)를 생성할 수도 있다. 여기서, DC 성분(1100)을 제거하는 것으로 설명하였지만, DC 성분 이외에 작은 AC 성분들, 즉 AC 성분이 일정 값 이하인 AC 성분도 제거할 수 있다. 예를 들면 주파수 변환된 특징 벡터가 DC 성분과 9개의 AC성분(AC1(가장 저주파 AC),...,AC9(가장 고주파 AC))으로 이루어져 있을 때, DC, DC+AC1, DC+AC1+AC2 등이 제거될 수도 있다.

본 발명의 일 실시 예에서, 도 9 내지 11을 참조하여 특징 벡터를 생성하는 것을 설명하였지만, 특징 벡터를 생성하는 방식은 이에 한정되지 않고, 깊이 분포의 특성을 나타낼 수 있는 다양한 방법을 사용할 수 있음은 물론이다. 본 발명의 일 실시 예에서는, 저해상도 깊이 영상의 깊이 분포를 나타내는 히스토그램에서, 0이 아닌 가중치 및/또는 0이 아닌 가중치를 갖는 깊이 값 사이의 거리를 이용한다.

분류부(640)는 특징 벡터 생성부(630)에서 생성된 특징 벡터를 미리 학습된 분류기에 따라 분류한다. 분류부(640)는 훈련된 데이터베이스(670)에 저장된 분류기를 이용하여 입력된 특징 벡터를 분류한다. 여기서, 데이터베이스(670)는 깊이 영상 처리 장치(600)에 직접 포함되지 않으며, 고해상도 컬러 영상과 고해상도 깊이 영상을 이용하여 생성된 각각의 클래스의 특징 벡터 셋들을 저장하고 있다. 분류부(640)는 데이터베이스(650)에 저장된 각각의 클래스의 특징 벡터 셋들을 학습한 분류기(classifier)만을 이용하여 입력된 특징 벡터를 분류한다. 여기서, 분류기는 입력된 특징 벡터에 적합한 필터를 선택하기 위한 기준이다. 이러한 기준은 기계 학습을 통해 학습된다. 도 8을 참조하여, 분류기 학습에 대해 설명한다.

도 8은 샘플 고해상도 깊이 영상과 고해상도 컬러 영상을 이용하여 트레이닝 데이터베이스를 생성하는 예시 도이다.

도 8을 참조하면, 샘플 또는 Ground-truth 고해상도 깊이 영상(800)과 고해상도 컬러 영상(810)을 이용하여 트레이닝 데이터베이스를 생성하는 예가 도시되어 있다. Supervised classification을 위하여 고해상도의 컬러-깊이 영상 쌍(800 및 810)을 이용한다. 고해상도 깊이 영상(800)을 임의의 배율로 축소하여 저해상도 깊이 영상(820)을 생성하고 이를 고해상도 깊이 영상(830)으로 확장한다. 이때 고해상도의 깊이 영상(830)에는 0의 픽셀 값들이 포함되어 있다. 즉 저해상도 깊이 영상의 해상도를 확대할 때 제로 패딩(zero padding)을 통해 고해상도 깊이 영상을 생성한다. 생성된 고해상도 깊이 영상(830)의 홀 픽셀에 다양한 필터를 적용하여 어떤 필터가 가장 효과적인지를 실제 고해상도 깊이 영상(800)의 깊이 값과 비교하여 알 수 있다. 모든 홀 픽셀에 대해 최적의 필터를 결정하여 데이터베이스화한다.

각각의 홀 픽셀에 대하여 다수의 필터링 방식 중 가장 효과적이라고 판단되는 필터링 방식을 선택한다. 이때 고려 대상이 되는 필터를 f₁, f₂, ... , f_N으로 정의한다. 각각의 홀 픽셀에 대하여 다양한 필터를 적용한 후 실제 고해상도 깊이 영상(800)의 픽셀 값과 가장 가까운 깊이 값을 나타내는 필터를 선택한다. 이때 다수의 필터가 동일한 깊이 값을 나타낼 경우에는 트레이닝 데이터베이스 생성을 생략할 수 있다. 각각의 필터(또는 클래스)마다 그 필터를 최적으로 선택하는 홀 픽셀의 깊이 분포를 이용하여 트레이닝 데이터베이스를 구성할 수 있다. 이를 위해, 도 1에 도시된 것처럼, 깊이 분포 전체(또는 깊이 분포 히스토그램)를 이용할 수도 있으며, 또는 이를 변환한 특징 벡터를 이용할 수도 있다. 분류기 설계를 위해서는 깊이 분포 전체를 이용하는 것보다 깊이 분포에서 의미 있는 정보를 추출하는 것이 더 효과적이다. 트레이닝 데이터베이스를 생성하는 경우에도 깊이 영상의 깊이 분포에서 특징 벡터를 추출한다. 여기서, 특징 벡터의 추출은 도 9 내지 11을 참조하여 설명한 바와 같다.

도 12는 각각의 클래스의 특징 벡터 셋을 이용하여 분류기를 생성하는 예시 도이다.

도 8을 참조하여 설명한 방식을 이용하여 저해상도 깊이 영상의 각각의 홀 픽셀에 대한 최적의 필터를 선택하고, 선택된 필터에 대하여 특징 벡터를 저장한다. 트레이닝 데이터베이스의 컬러-깊이 영상에 대하여 전술한 과정을 수행하면 도 12에 도시된 바와 같이, 각 필터에 대한 특징 벡터 셋이 생성된다. 도 12를 참조하면, 필터 1(1200)에서는 특징 벡터 셋 1이 저장되고, 필터 2(1210)에 대해서는 특징 벡터 셋 2가 저장된다. 따라서, 트레이닝 데이터베이스에서 모든 필터(필터 1 내지 필터 N)에 대한 특징 벡터 셋(1 내지 N)이 각각 매칭되어 저장된다.

특징 벡터 셋을 이용하여 다양한 필터를 분류할 수 있는 분류기(classifier)를 설계한다. 이를 위하여 서포트 벡터 머신(support vector machine), 뉴럴 네트워크(neural network), 어댑티브 부스팅(adaptive boosting) 등의 학습 방법을 사용할 수 있다. 기계 학습을 완료한 이후에는 각 필터에 대한 분류기만 저장한다.

필터 선택부(650)는 분류부(640)의 분류에 따라 저해상도 깊이 영상을 업 샘플링할 필터를 선택한다. 도 12에 도시된 것처럼, 입력된 저해상도 깊이 영상의 깊이 분포의 특징 벡터가 특징 벡터 셋 1 내지 N 중 어디에 속하는지를 판단하고, 입력된 특징 벡터가 속하는 클래스가 필터 1 내지 N(1200 내지 1230) 중 어디에 속하는지는 선택한다. 예를 들면 입력된 저해상도 깊이 영상의 특징 벡터가 특징 벡터 셋 1에 속하는 경우, 해당 홀 픽셀을 업 샘플링할 필터로서 필터 1(1200)을 선택하고, 입력된 저해상도 깊이 영상의 특징 벡터가 특징 벡터 셋 2에 속하는 경우, 해당 홀 픽셀을 업 샘플링할 필터 2(1210)를 선택한다. 필터 1(1200)이 평균 필터인 경우, 해당 홀 픽셀의 주위 픽셀들을 평균하여 해당 홀 픽셀의 깊이 값을 생성하고, 필터 2(1210)가 최대값 필터인 경우, 해당 홀 픽셀의 주위 픽셀들 중 최대 가중치를 갖는 깊이 값을 해당 홀 픽셀의 깊이 값으로 대체한다.

업 샘플링부(660)는 필터 선택부(650)에서 선택된 필터를 이용하여 저해상도 깊이 영상을 업 샘플링한다. 도 12에 도시된 것처럼, 제1 내지 N 필터 중(1200 내지 1230) 선택된 필터를 이용하여 해당 홀 픽셀을 업 샘플링한다.

도 13은 본 발명의 다른 실시 예에 따른 깊이 영상 처리 방법을 설명하기 위한 흐름 도이다.

도 13을 참조하면, 단계 1300에서, 고해상도 컬러 영상 및 저해상도 깊이 영상을 입력받는다. 여기서, 저해상도 깊이 영상은 고해상도 컬러 영상보다 낮은 해상도를 갖으며, 임의의 비율을 가질 수 있다. 즉, 저해상도 또는 고해상도의 크기에 한정되지 않는다.

단계 1302에서, 저해상도 깊이 영상의 깊이 분포를 기초로 특징 벡터를 생성한다. 저해상도 깊이 영상에서 업 샘플링 또는 필터링의 대상이 되는 홀 픽셀을 결정하고, 해당 홀 픽셀의 인접한 주변 픽셀들과의 깊이 값에 대한 가중치를 나타내는 분포 특성을 기초로 특징 벡터를 생성한다. 여기서, 가중치는 해당 홀 픽셀과 주변 픽셀들이 거리 및 컬러 차이 값에 따라 결정된다. 즉, 거리가 가까울수록, 컬러 차이 값이 작을수록 가중치가 크게 결정된다. 이러한 주변 픽셀들의 깊이 값에 대한 가중치의 히스토그램에서 가중치가 0이 아닌 가중치를 가지고 특징 벡터를 생성하거나, 가중치가 0 이 아닌 빈사이의 거리를 가지고 특징 벡터를 생성하거나, 이들을 결합하여 특징 벡터를 생성할 수도 있다. 또한, 전술한 방법으로 생성된 특징 벡터를 주파수 영역으로 변환하여 특징 벡터를 생성할 수도 있다.

단계 1304에서, 특징 벡터를 미리 학습된 분류기에 따라 분류하여 저해상도 깊이 영상을 업 샘플링할 필터를 선택한다. 분류기는 기계 학습에 의해 특징 벡터 셋과 이에 최적화된 필터를 학습한 분류 기준을 제공한다. 따라서, 입력된 저해상도 깊이 영상의 특정 홀 픽셀의 특징 벡터에 최적화된 필터를 분류기에서 정의된 분류 기준에 따라 선택한다.

단계 1306에서, 선택된 필터를 이용하여 저해상도 깊이 영상을 업 샘플링한다. 본 발명의 일 실시 예에서, 하나의 홀 픽셀에 최적화된 필터를 선택하여 해당 홀 픽셀을 필터링하고, 모든 홀 픽셀에 대해 단계 1300 내지 1306을 반복하여 고해상도 깊이 영상을 생성한다. 선택적으로, 하나의 홀 픽셀에 대해 단계 1300 내지 1306을 통해 해당 홀 픽셀의 깊이 값을 계산한 다음, 계산된 홀 픽셀은 알고 있는 픽셀(즉, 깊이 값을 갖는 픽셀)로 하여 다음 홀 픽셀에 대한 깊이 분포 및 특징 벡터 생성에 사용할 수도 있다.

단계 1308에서, 업 샘플링된 고해상도 깊이 영상을 출력한다.

본 발명의 일 실시 예에 따른 깊이 영상 처리 방법은 고해상도의 superresolution 대상 픽셀을 기준으로 주변 깊이 값의 분포 특성에 따라 필터를 선택적으로 적용한다. 이 과정에서, machine-learning 기법을 적용하여 샘플(ground-truth) 고해상도 깊이 영상으로부터 깊이 값 분포에 따라 효과적인 필터링 방식을 학습하고, 학습 결과를 실제 저해상도 깊이 영상에 적용함으로써, 고해상도 깊이 영상을 생성한다.

도 14는 본 발명의 또 다른 실시 예에 따른 특징 벡터 생성 방법을 설명하기 위한 흐름 도이다.

도 14를 참조하면, 단계 1400에서, 깊이 분포 히스토그램을 입력받는다. 여기서, 깊이 분포 히스토그램은 저해상도 깊이 영상의 홀 픽셀에 대한 주변 픽셀들의 깊이 값에 대한 가중치를 나타낸다. 가중치는 홀 픽셀과 주변 픽셀의 거리가 가까울수록 크게 부여되고, 홀 픽셀과 주변 픽셀의 컬러 값의 차이가 작을수록 크게 부여된다.

단계 1402에서, 0이 아닌 가중치들 및 0이 아닌 가중치들 사이의 거리 값들 중 적어도 하나를 기초로 제1 특징 벡터를 생성한다. 본 발명의 일 실시 예에서, 단계 1400에서 입력된 깊이 분포 히스토그램 전체를 이용하여 저해상도 깊이 영상의 홀 픽셀을 업 샘플링할 필터를 선택할 수 있지만, 전체 깊이 분포에서 의미 있는 정보(즉, 특징 벡터)를 추출하여 업 샘플링할 필터를 선택한다. 여기서, 특징 벡터를 생성하는 것은 히스토그램에서 0이 아닌 가중치를 갖는 빈(non-empty bin)의 가중치를 이용한다. 또한, 선택적으로, 0이 아닌 가중치를 갖는 빈(non-empty bin)들 사이의 거리 값을 이용할 수도 있다. 또한, 2개의 특징 벡터를 결합하여 하나의 특징 벡터를 생성할 수도 있다.

단계 1404에서, 특징 벡터의 길이가 일정한지 판단한다. 단계 1042에서, 생성된 특징 벡터의 길이가 일정한지 판단한다. 홀 픽셀은 가중치를 갖는 빈의 개수가 서로 상이할 수 있기 때문에, 특징 벡터의 길이를 일정하게 유지할 필요가 있다.

단계 1404에서, 특징 벡터의 길이가 일정하지 않은 경우, 단계 1406에서, 제1 특징 벡터에 소정의 값을 추가하여 제2 특징 벡터를 생성한다. 예를 들면, 특징 벡터의 길이를 고정한 경우, 고정된 길이보다 짧게 특징 벡터가 생성된 경우, 소정의 값을 특징 벡터에 추가하여 고정된 길이에 맞는 특징 벡터를 생성한다. 예를 들면, 단계 1402에서 생성된 특징 벡터의 마지막 구성요소 값을 추가할 수 있다.

단계 1404에서, 특징 벡터의 길이가 일정한 경우에는 단계 1408로 진행한다.

단계 1408에서, 생성한 특징 벡터를 주파수 영역으로 변환한다. 공간 영역의 특징 벡터들을 주파수 영역으로 이산 주파수 변환한다. 주파수 영역으로의 변환은 하여, DCT(discrete cosine transform), 이산 사인 변환, 이산 푸리에 변환 등을 사용할 수 있으며, 그 방법에 한정되는 것은 아니다.

단계 1410에서, 단계 1406에서 소정의 값이 추가되었는지 판단한다. 소정의 값이 추가된 경우, 단계 1412에서, 주파수 영역으로 변환된 특징 벡터에서 DC 성분을 제거한다. 단계 1406에서, 공간 영역에서 특징 벡터의 일정한 길이를 유지시키기 위하여 패딩을 수행했기 때문에 주파수 영역의 특징 벡터의 저주파 성분에 바이어스가 존재할 수 있다. 따라서, 단계 1412에서, 저주파 성분 일부(DC성분)를 제거한다.

단계 1414에서, 특징 벡터를 생성한다.

도 14를 참조하여, 본 발명의 일 실시 예들에 따른 특징 벡터를 생성하는 예시들을 설명하였지만, 이에 한정되지 않고, 저해상도 깊이 영상의 깊이 분포를 표현할 수 있는 다양한 특징 벡터를 사용할 수 있음은 물론이다.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

600: 깊이 영상 처리 장치
610: 홀 픽셀 결정부
620: 깊이 분포 결정부
630: 특징 벡터 생성부
640: 분류부
650: 필터 선택부
660: 업 샘플링부
670: 트레이닝 데이터베이스

Claims (25)

1. 고해상도 컬러 영상과, 상기 고해상도 컬러 영상에 상응하는 저해상도 깊이 영상을 입력받는 단계;
   상기 저해상도 깊이 영상의 깊이 분포를 기초로 특징 벡터를 생성하는 단계;
   상기 생성된 특징 벡터를 미리 학습 된 분류기에 따라 분류하여, 상기 저해상도 깊이 영상을 업 샘플링할 필터를 선택하는 단계;
   상기 선택된 필터를 이용하여 상기 저해상도 깊이 영상을 업 샘플링하는 단계; 및
   상기 업 샘플링된 고해상도 깊이 영상을 출력하는 단계를 포함하는 깊이 영상 처리 방법.
2. 제 1 항에 있어서,
   상기 고해상도 컬러 영상을 이용하여, 상기 저해상도 깊이 영상에서의 업 샘플링 대상 픽셀인 홀 픽셀을 결정하는 단계; 및
   상기 홀 픽셀의 주변 픽셀들의 깊이 값 및 가중치를 기초로 상기 깊이 분포를 결정하는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 처리 방법.
3. 제 2 항에 있어서,
   상기 가중치는,
   상기 홀 픽셀과 상기 주변 픽셀들의 거리가 가까울수록, 상기 홀 픽셀과 상기 주변 픽셀들의 컬러 값의 차이가 작을수록 크게 설정되는 것을 특징으로 하는 깊이 영상 처리 방법.
4. 제 1 항에 있어서,
   상기 특징 벡터는,
   상기 깊이 분포의 변화 패턴을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 방법.
5. 제 1 항에 있어서,
   상기 특징 벡터는,
   상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 방법.
6. 제 1 항에 있어서,
   상기 특징 벡터는,
   상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 방법.
7. 제 1 항에 있어서,
   상기 특징 벡터는,
   상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들 및 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들 중 적어도 하나와, 상기 특징 벡터의 고정된 길이를 유지하기 위해 추가된 소정의 값을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 방법.
8. 제 1 항에 있어서,
   상기 특징 벡터를 생성하는 단계는,
   상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들 및 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들 중 적어도 하나를 기초로 제1 특징 벡터를 생성하는 단계;
   상기 특징 벡터의 고정된 길이를 유지하기 위해 상기 제1 특징 벡터에 소정의 값을 추가하여, 제2 특징 벡터를 생성하는 단계;
   상기 생성된 제2 특징 벡터를 주파수 영역으로 이산 주파수 변환하는 단계; 및
   상기 이산 주파수 변환된 제2 특징 벡터의 DC 성분 및 AC 성분들 중 제3 임계값보다 작은 AC 성분 중 적어도 하나를 제거하는 단계를 포함하는 깊이 영상 처리 방법.
9. 제 1 항에 있어서,
   상기 분류기는,
   상기 고해상도 컬러 영상과 상기 고해상도 컬러 영상에 상응하는 샘플 고해상도 깊이 영상을 기초로 기계 학습된(machine learning) 것을 특징으로 하는 깊이 영상 처리 방법.
10. 제 9 항에 있어서,
    상기 분류기는,
    상기 샘플 고해상도 깊이 영상을 축소한 저해상도 깊이 영상에 대해 복수의 필터를 이용하여 샘플링한 결과를 기초로 학습된 특징 벡터 셋을 포함하는 것을 특징으로 하는 깊이 영상 처리 방법.
11. 제 1 항에 있어서,
    상기 고해상도 컬러 영상과 상기 저해상도 깊이 영상 각각의 촬영 시점을 일치시키는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 처리 방법.
12. 제 2 항에 있어서,
    상기 가중치를 정규화하는 단계를 더 포함하는 것을 특징으로 하는 깊이 영상 처리 방법.
13. 제 2 항에 있어서,
    상기 업 샘플링은,
    상기 결정된 홀 픽셀 전체에 대해 상기 업 샘플링을 수행한 후, 상기 고해상도 깊이 영상을 출력하는 것을 특징으로 하는 깊이 영상 처리 방법.
14. 제 2 항에 있어서,
    상기 업 샘플링은,
    상기 결정한 홀 픽셀에 대해 상기 업 샘플링을 수행한 후, 다음 홀 픽셀에 대해 상기 업 샘플링을 수행하는 것을 특징으로 하는 깊이 영상 처리 방법.
15. 고해상도 컬러 영상과, 상기 고해상도 컬러 영상에 상응하는 저해상도 깊이 영상을 입력받아, 상기 저해상도 깊이 영상의 깊이 분포를 기초로 특징 벡터를 생성하는 특징 벡터 생성부;
    상기 생성된 특징 벡터를 미리 학습 된 분류기에 따라 분류하는 분류부
    상기 저해상도 깊이 영상을 업 샘플링할 필터를 선택하는 필터 선택부; 및
    상기 선택된 필터를 이용하여 상기 저해상도 깊이 영상을 업 샘플링하여, 상기 업 샘플링된 고해상도 깊이 영상을 출력하는 업 샘플링 부를 포함하는 깊이 영상 처리 장치.
16. 제 15 항에 있어서,
    상기 고해상도 컬러 영상을 이용하여, 상기 저해상도 깊이 영상에서의 업 샘플링 대상 픽셀인 홀 픽셀을 결정하는 홀 픽셀 결정부; 및
    상기 결정된 홀 픽셀의 주변 픽셀들의 깊이 값 및 가중치를 기초로 상기 깊이 분포를 결정하는 깊이 분포 결정부를 더 포함하는 것을 특징으로 하는 깊이 영상 처리 장치.
17. 제 16 항에 있어서,
    상기 가중치는,
    상기 홀 픽셀과 상기 주변 픽셀들의 거리가 가까울수록, 상기 홀 픽셀과 상기 주변 픽셀들의 컬러 값의 차이가 작을수록 크게 설정되는 것을 특징으로 하는 깊이 영상 처리 장치.
18. 제 15 항에 있어서,
    상기 특징 벡터는,
    상기 깊이 분포의 변화 패턴을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 장치.
19. 제 15 항에 있어서,
    상기 특징 벡터는,
    상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 장치.
20. 제 15 항에 있어서,
    상기 특징 벡터는,
    상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 장치.
21. 제 15 항에 있어서,
    상기 특징 벡터는,
    상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들 및 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들 중 적어도 하나와, 상기 특징 벡터의 고정된 길이를 유지하기 위해 추가된 소정의 값을 기초로 생성되는 것을 특징으로 하는 깊이 영상 처리 장치.
22. 제 15 항에 있어서,
    상기 특징 벡터 생성부는,
    상기 깊이 분포를 나타내는 깊이 값에 대한 가중치의 히스토그램에서 상기 가중치가 제1 임계값 이상인 가중치들 및 상기 가중치가 제2 임계값 이상인 가중치들 사이의 거리 값들 중 적어도 하나를 기초로 제1 특징 벡터를 생성하고, 상기 특징 벡터의 고정된 길이를 유지하기 위해 상기 제1 특징 벡터에 소정의 값을 추가하여, 제2 특징 벡터를 생성하고, 상기 생성한 제2 특징 벡터를 주파수 영역으로 이산 주파수 변환하고, 상기 이산 주파수 변환된 제2 특징 벡터의 DC 성분 및 AC 성분들 중 제3 임계값보다 작은 AC 성분 중 적어도 하나를 제거하는 것을 특징으로 하는 깊이 영상 처리 장치.
23. 제 15 항에 있어서,
    상기 분류기는,
    상기 고해상도 컬러 영상과 상기 고해상도 컬러 영상에 상응하는 샘플 고해상도 깊이 영상을 기초로 기계 학습된(machine learning) 것을 특징으로 하는 깊이 영상 처리 장치.
24. 제 15 항에 있어서,
    상기 분류기는,
    상기 샘플 고해상도 깊이 영상을 축소한 저해상도 깊이 영상에 대해 복수의 필터를 이용하여 샘플링한 결과를 기초로 학습된 특징 벡터 셋을 포함하는 것을 특징으로 하는 깊이 영상 처리 장치.
25. 제 1 항 내지 제 14 항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.

Images