KR102161613B1

KR102161613B1 - 깊이영상 생성장치

Info

Publication number: KR102161613B1
Application number: KR1020130153586A
Authority: KR
Inventors: 이준서
Original assignee: 엘지이노텍 주식회사
Priority date: 2013-12-11
Filing date: 2013-12-11
Publication date: 2020-10-05
Also published as: KR20150067949A

Abstract

깊이영상 생성장치가 개시된다. 본 발명의 일실시예의 장치는, 입력되는 좌영상 및 우영상을 제1 및 제2방향의 저주파 성분 및 고주파 성분으로 각각 분해하여 제분해영상을 생성하고, 좌영상 및 우영상에 대한 분해영상 중 하나를 수신하여 깊이영상을 생성한다.

Description

깊이영상 생성장치{APPARATUS FOR GENERATING DEPTH MAP}

본 발명은 깊이영상 생성장치에 관한 것이다.

일반적으로 컴퓨터 비전(computer vision)이란, 영상을 이용하여 정보를 얻어내는 기술을 말하며, 영상을 이용하여 거리정보(깊이영상)를 얻은 기술을 스테레오 비전이라 한다.

스테레오 시스템에서는 카메라가 가로로 2개 위치하므로, 좌영상과 우영상의 대응점을 찾는 것이 중요한데, 이를 스테레오 매칭이라 한다. 즉, 스테레오 매칭이란, 좌영상의 모든 픽셀에서 우영상의 픽셀을 비교하였을 때 가장 유사한 대응점을 찾는 것을 말한다. 이러한 대응점을 구하면 거리를 결정할 수 있다.

종래의 스테레오 매칭 방법에는, 상위 라인 제약조건(upper line constraint)를 이용하는 방법이 있다.

상위라인 제약조건은 영상의 평탄(smoothness) 특성과 관련된다. 어떤 사물이 영상에 사영될 때 각 픽셀에 각각 할당되는 것이 아니라 여러 픽셀에 걸쳐 사영된다. 즉, 이는 어떤 픽셀이 주변 픽셀과 유사한 값을 가진다는 것이다.

마찬가지로, 사물의 깊이(depth)도 주변과 유사하게 나타나게 된다. 이는 좌우에도 적용되지만 특히 상하에 작용한다는 특징을 이용할 수 있다.

트렐리스(Trellis) 알고리즘은 래스터 스캔라인(raster scan line) 방법을 사용하므로 상위라인 제약조건을 사용하면 라인간 독립성을 완화할 수 있다. 트렐리스 알고리즘은 매칭 코스트(matching cost)와 비정합(occlusion) 코스트를 계산하여, 이 값들을 비교하여 트랜지션(transition)이 일어나는지 여부를 결정하는데, 윗줄에서 트랜지션이 발생한 경우 아랫줄에도 동일하게 트랜지션이 발생할 가능성이 높다는 점을 이용하는 것이 상위라인 제약조건 방식이다.

즉, 윗줄에 트랜지션이 발생하면 그 픽셀의 위치를 저장했다가 다음 줄 같은 위치에 비정합 코스트를 낮추어 트랜지션이 쉽게 일어나게 한다.

그러나, 이와 같은 방법은 영상에 노이즈가 있는 경우 적합하지 않을 수 있으며, 주변의 픽셀에 대한 의존도가 너무 높아지므로 영상 자체를 왜곡하게 되는 문제점이 있다.

본 발명이 해결하고자 하는 기술적 과제는, 보다 안정적이고 정확한 깊이영상 정보를 획득하기 위하여 웨이블렛 변환을 이용하는 깊이영상 생성장치를 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 일실시예의 깊이영상 생성장치는, 좌영상 및 우영상을 제1 및 제2방향의 저주파 성분 및 고주파 성분으로 각각 분해하여 제1분해영상을 생성하는 제1웨이블렛 변환부; 및 상기 제1웨이블렛 변환부로부터 좌영상 및 우영상에 대한 제1분해영상 중 하나를 수신하여, 깊이영상을 생성하는 생성부를 포함할 수 있다.

본 발명의 일실시예에서, 좌영상 및 우영상을 생성하는 센서부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 센서부로부터 수신한 좌영상 및 우영상에 대해, 각각 에피폴라 라인이 평행하도록 이미지를 변환하는 정렬부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1분해영상 중 각각 어느 하나를 상기 생성부로 출력하도록 제어하는 제1제어부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1웨이블렛 변환부는, 입력되는 영상의 제1방향의 소정 고주파성분을 검출하는 제1고역통과필터(HPF); 상기 제1HPF를 통과한 영상을 축소하는 제1다운샘플링부; 입력되는 영상을 제1방향의 소정 저주파성분을 검출하는 제1저역통과필터(LPF); 상기 제1LPF를 통과한 영상을 축소하는 제2다운샘플링부; 상기 제1다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제2HPF; 상기 제2HPF를 통과한 영상을 축소하는 제3다운샘플링부; 상기 제1다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제2LPF; 상기 제2LPF를 통과한 영상을 축소하는 제4다운샘플링부; 상기 제2다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제3HPF; 상기 제3HPF를 통과한 영상을 축소하는 제5다운샘플링부; 상기 제2다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제3LPF; 및 상기 제3LPF를 통과한 영상을 축소하는 제6다운샘플링부를 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1분해영상 중 각각 어느 하나를, 제1 및 제2방향의 저주파 성분 및 고주파 성분으로 각각 분해하여 제2분해영상을 생성하는 제2웨이블렛 변환부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제1웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1분해영상과, 상기 제2웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제2분해영상 중 어느 하나를 상기 생성부로 출력하도록 제어하는 제2제어부를 더 포함할 수 있다.

본 발명의 일실시예에서, 상기 제2웨이블렛 변환부는, 입력되는 영상의 제1방향의 소정 고주파성분을 검출하는 제4HPF; 상기 제4HPF를 통과한 영상을 축소하는 제7다운샘플링부; 입력되는 영상을 제1방향의 소정 저주파성분을 검출하는 제4LPF; 상기 제4LPF를 통과한 영상을 축소하는 제8다운샘플링부; 상기 제8다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제5HPF; 상기 제5HPF를 통과한 영상을 축소하는 제9다운샘플링부; 상기 제9다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제5LPF; 상기 제5LPF를 통과한 영상을 축소하는 제10다운샘플링부; 상기 제10다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제6HPF; 상기 제6HPF를 통과한 영상을 축소하는 제11다운샘플링부; 상기 제11다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제6LPF; 및 상기 제6LPF를 통과한 영상을 축소하는 제12다운샘플링부를 포함할 수 있다.

비정상성(non-stationary)을 가지는 영상신호에 대해서도 웨이블렛 변환에 의해 해상도가 다양한 영상으로 분해하고, 이를 통해 노이즈가 적은 영상으로 깊이영상을 생성할 수 있으므로, 보다 안정적이고 정확한 깊이영상을 생성할 수 있다.

도 1은 본 발명의 일실시예의 깊이영상 생성장치의 구성도이다.
도 2는 도 1의 제1웨이블렛 변환부의 일실시예 상세 구성도이다.
도 3은 원영상에 대하여 웨이블렛 변환된 영상을 설명하기 위한 일예시도이다.
도 4는 본 발명의 다른 실시예에 따른 깊이영상 생성장치의 구성도이다.
도 5는 원영상에 대하여 2단계 웨이블렛 변환된 영상을 설명하기 위한 일예시도이다.

본 발명은 다양한 변경을 가할 수 있고 여러가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 상세히 설명한다.

도 1은 본 발명의 일실시예의 깊이영상 생성장치의 구성도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 깊이영상 생성장치(1)는, 센서부(10), 정렬부(20), 웨이블렛 변환부(30), 깊이영상 생성부(40) 및 제어부(50)를 포함할 수 있다.

센서부(10)는 제1센서부(11) 및 제2센서부(12)를 포함한다. 제1센서부(11) 및 제2센서부(12)는 소정 간격을 두고 배치되어, 각각 스테레오 영상 중 하나를 획득한다. 예를 들어, 제1센서부(11)는 좌영상을 획득하고, 제2센서부(12)는 우영상을 획득할 수 있다. 반면, 제1센서부(11)가 우영상을 획득하고, 제2센서부(12)가 좌영상을 획득할 수도 있다. 본 발명의 일실시예의 설명에서는, 설명의 편의상, 제1센서부(11)가 획득하는 영상을 좌영상으로, 제2센서부(12)가 획득하는 영상을 우영상으로 정하여 설명하기로 하겠다.

제1센서부(11) 및 제2센서부(12)는 예를 들어, 전하결합소자(Charge Coupled Device; CCD), 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor; CMOS) 센서 등의 이미지 센서일 수 있으나, 이에 한정되는 것은 아니며, 그와 유사한 기능을 수행하는 다른 소자일 수도 있다.

정렬부(20)는 제1정렬부(21) 및 제2정렬부(22)를 포함하며, 제1정렬부(21)는 제1센서부(11)로부터 좌영상을 수신하고, 제2정렬부(22)는 제2센서부(12)로부터 우영상을 수신한다.

제1 및 제2정렬부(21, 22)는 센서부(10)로부터 수신한 좌영상 및 우영상의 에피폴라 라인(epipolarline)을 평행하도록 이미지를 변환한다. 이를 통해 매칭에 소요되는 시간을 대폭 줄일 수 있다. 정렬부(20)가 수행하는 정렬에 대해서는, 본 발명이 속하는 기술분야에서 널리 알려진 바와 같으므로, 그 상세한 설명은 생략한다.

본 발명의 일실시예의 웨이블렛 변환부(Wavelet Transfermer)(30)는 제1웨이블렛 변환부(31)와 제2웨이블렛 변환부(32)를 포함할 수 있다. 제1웨이블렛 변환부(31)는 제1정렬부(21)로부터 에피폴라 라인이 정렬된 좌영상을 수신하여 웨이블렛 변환을 수행하고, 제2웨이블렛 변환부(32)는 제2정렬부(22)로부터 에피폴라 라인이 정렬된 우영상을 수신하여 웨이블렛 변환을 수행할 수 있다.

보통, 깊이영상 생성장치는, 보다 정확하고 노이즈에 덜 민감하도록 설계되어야 인식처리시 정확도를 향상시킬 수 있다.

본 발명의 일실시예의 깊이영상 생성장치는, 웨이블릿 변환부(30)를 도입하여, 영역기반의 정합에서 얻어진 경계선에 대한 정보를 활용함으로써 종래에 비해 정확하게 깊이영상을 생성할 수 있다. 또한, 계층적 구조를 도입하여, 노이즈에 대한 면역성이 크고, 각 계층구조에서의 정보가 다음 계층으로 유지되는 특성을 가지므로, 부정확한 정합을 줄일 수 있다.

도 2는 도 1의 제1웨이블렛 변환부(31)의 일실시예 상세 구성도이다. 본 발명의 일실시예의 설명에서는 제1웨이블렛 변환부(31)를 설명하겠으나, 제2웨이블렛 변환부(32)의 구성 역시 다르지 않다 할 것이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 제1웨이블렛 변환부(31)는, 제1고역통과필터(High-Pass Filter; HPF)(61), 제1다운샘플링부(62), 제1저역통과필터(Low-Pass Filter; LPF)(63), 제2다운샘플링부(64), 제2HPF(65), 제3다운샘플링부(66), 제2LPF(67), 제4다운샘플링부(68), 제3HPF(69), 제5다운샘플링부(70), 제3LPF(71) 및 제6다운샘플링부(72)를 포함할 수 있다.

웨이블렛 변환은 입력신호를 특정 기저함수의 집합으로 분리하는 과정으로도 이해될 수 있으며, 웨이블렛 변환에 사용되는 기저함수의 집합은 하나의 기본 웨이블렛 기저 함수(모함수)에 대한 시간축 방향으로의 확대 및 축소, 그리고 평행이동을 통해 얻어질 수 있다. 기본 웨이블렛 기저함수는 밴드패스필터로 생각할 수 있으며, 상황에 따라 해상도(resolution)의 선택이 가능하다.

웨이블렛 변환과정은 근사값(approximations)과 세부값(details)을 만드는 과정으로 해석될 수 있으며, 이때 근사값은 신호의 저주파 성분이고, 세부값은 고주파 성분이라 할 수 있다. 따라서, 2차원 영상에 웨이블렛 변환을 적용하면 4개의 세부 성분으로 나누어질 수 있다. 즉, x방향으로 필터링하면 저주파 성분 L과 고주파 성분 H로 분해할 수 있으며, L과 H를 y방향으로 필터링하면 LL, LH, HL, HH 4개의 부영상을 얻을 수 있다.

이를 도 2의 웨이블렛 변환부의 구성을 이용하여 설명하기로 한다.

제1정렬부(21)로부터 에피폴라 라인이 정렬된 좌영상이 입력되면, 제1HPF(61)는 영상의 x 방향의 고주파 성분을 필터링하고 제1다운샘플링부(62)에 의해 크기가 1/2로 축소된다.

또한, 제1정렬부(21)로부터 에피폴라 라인이 정렬된 좌영상이 입력되면, 제1L0PF(63)는 영상의 x 방향의 저주파 성분을 필터링하고 제2다운샘플링부(64)에 의해 크기가 1/2로 축소된다.

따라서, 제1다운샘플링부(62)의 출력은 좌영상의 L성분이고, 제2다운샘플링부(64)의 출력은 좌영상의 H성분이다.

한편, L성분은 각각 제2HPF(65) 및 제2LPF(67)로 입력되어 각각 고주파 성분과 저주파 성분이 필터링되고, 이는 제3다운샘플링부(66) 및 제4다운샘플링부(68)에 입력되어 크기가 1/2로 축소될 수 있다.

또한, H성분은 각각 제3HPF(69) 및 제3LPF(71)로 입력되어 각각 고주파 성분과 저주파 성분이 필터링되고, 이는 제5다운샘플링부(70) 및 제6다운샘플링부(72)에 입력되어 크기가 1/2로 축소될 수 있다.

따라서, 제3 내지 제6다운샘플링부의 출력은 각각 좌영상의 HH성분, HL성분, LH성분 및 LL성분이다.

도 3은 원영상에 대하여 웨이블렛 변환된 영상을 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 하나의 원영상이 x 및 y방향으로 주파수 대역이 분리된 4개의 영상으로 분해된 것을 알 수 있다.

이와 같이 분해된 4개의 영상 중, LL영상은 해상도가 반으로 줄어든 저주파 성분으로서, 에너지 집중도가 높고 중요한 정보를 가진다. 나머지 LH, HL, HH영상은 수평, 수직 및 대각성분에 대한 에지성분을 가지고 있는 고주파 성분으로서, 에너지 집중도가 낮고 물체의 윤곽부분에 해당하는 상세정보를 가진다.

즉, 에너지는 최저대역에 집중되며, 여러 단계의 상세정보를 얻을 수 있다.

이와 같이 나뉘어진 신호는 서로 다른 주파수 특성을 가지며, 상관관계가 존재하며, 이때, 상관관계는 물체의 외곽선과 같은 영상의 특성을 결정짓는 정보에 해당한다.

따라서, 깊이영상 생성부(40)는 제1웨이블렛 변환부(31)로부터 좌영상에 대한 어느 하나의 분해영상과, 제2웨이블렛 변환부(32)로부터 우영상에 대한 어느 하나의 분해영상을 수신하여, 이를 이용하여 깊이영상을 생성한다.

제어부(50)는 제1웨이블렛 변환부(31)가 생성하는 네개의 분해영상 및 제2웨이블렛 변환부(32)가 생성하는 네개의 분해영상에 대하여, 어떠한 분해영상을 깊이영상 생성부(40)에 출력할 것인지를 결정할 수 있다. 제어부(50)의 제어에 따라 제1 및 제2웨이블렛 변환부(31, 32)가 각각 어느 하나의 분해영상을 깊이영상 생성부(40)로 출력할 수 있다.

본 발명의 일실시예의 깊이영상 생성장치(1)는, 다양한 해상도의 분해영상을 제공하므로, 제어부(50)는 깊이영상 생성부(40)의 출력에 따라 다양한 분해영상을 선택하여 깊이영상 생성부(40)로 출력하게 할 수 있다. 다만, 좌영상과 우영상의 분해영상은 동일한 분해영상이어야 하는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다 할 것이다. 즉, 좌영상의 분해영상으로서 LL영상이 선택된 경우 우영상의 분해영상으로서 LL영상이 선택되어야 할 것이다.

따라서, 깊이영상 생성부(40)는 웨이블렛 변환부(30)에 의해 노이즈가 제거된 분해영상을 수신하고, 이를 이용하여 깊이영상을 생성할 수 있다.

깊이영상 생성부(40)가 깊이영상을 생성하는 방법은, 예를 들어 스테레오 매칭을 이용할 수 있지만, 본 발명이 이에 한정되는 것은 아니며, 다양한 방식에 의해 깊이영상을 생성할 수 있을 것이다.

본 발명의 일실시예의 설명에서는 입력되는 영상에 대한 고주파 필터링 및 저주파 필터링을 위해, 제1HPF(61), 제1LPF(63), 제2HPF(65), 제2LPF(67), 제3HPF(69) 및 제3LPF(71)의 두 단계의 스테이지에 각각 HPF 및 LPF가 사용되는 것을 예를 들어 설명하였으나, 이에 한정되는 것은 아니며, 하나의 스테이지에서 또는 더 많은 스테이지에서 고주파 필터링 및 저주파 필터링을 수행하는 것을 배제하는 것이 아니다. 즉, 영상의 크기에 따라 다양한 방식으로 고주파 필터링 및 저주파 필터링을 수행할 수 있을 것이다.

한편, 본 발명의 일실시예의 웨이블렛 변환부(30)는 1단계로 변환한 분해영상에서 LL 영상에 대해 다시 웨이블렛 변환을 수행할 수 있다. 이를 도면을 참조로 설명하기로 한다.

도 4는 본 발명의 다른 실시예에 따른 깊이영상 생성장치의 구성도이다.

도면에 도시된 바와 같이, 본 발명의 일실시예의 깊이영상 생성장치(2)는, 센서부(10), 정렬부(20), 웨이블렛 변환부(30), 깊이영상 생성부(40) 및 제어부(50)를 포함한다. 도 4의 실시예의 설명은, 도 1의 실시예와 웨이블렛 변환부(30)의 구성만이 상이한 것으로서, 다른 구성요소의 설명은 생략하기로 한다.

본 발명의 일실시예의 웨이블렛 변환부(30)는, 제1 내지 제4웨이블렛 변환부(31 내지 34)를 포함할 수 있다.

제1 내지 제4웨이블렛 변환부(31 내지 34)의 구성은 도 2의 웨이블렛 변환부의 상세 구성과 동일하다할 수 있다.

즉, 제1웨이블렛 변환부(31)의 분해영상 중 LL 영상이 제3웨이블렛 변환부(33)로 입력되며, 제2웨이블렛 변환부(32)의 분해영상 중 LL영상이 제4웨이블렛 변환부(34)로 입력될 수 있다. 이와 같은 3단계 변환에 의해, 다양한 해상도의 분해영상이 생성될 수 있을 것이다.

도 5는 원영상에 대하여 2단계 웨이블렛 변환된 영상을 설명하기 위한 일예시도이다.

도면에 도시된 바와 같이, 원영상의 LL영상이 다시 웨이블렛 변환되어 다양한해상도의 분해영상이 생성된 것을 알 수 있다.

제어부(50)는 이와 같이 복수의 분해영상 중 어느 하나를 선택하여 깊이영상 생성부(40)로 출력하도록 제어할 수 있다.

본 발명의 일실시예에서는, 2단계 웨이블렛 변환을 설명하였으나, 이보다 많은 단계를 거쳐 복수의 분해영상이 생성되는 것을 배제하는 것은 아니다.

이와 같이, 깊이영상 생성부(40)에 의해 생성된 깊이영상은 다양한 3D 어플리케이션에 사용될 수 있다.

즉, 본 발명의 일실시예의 깊이영상 생성장치가 3D 디스플레이 장치에 구현되어, 사용자가 3D 모션게임을 수행하는데 사용될 수 있다.

이와 같이, 본 발명의 일실시예의 깊이영상 생성장치에 의하면, 비정상성(non-stationary)을 가지는 영상신호에 대해서도 웨이블렛 변환에 의해 해상도가 다양한 영상으로 분해하고, 이를 통해 노이즈가 적은 영상으로 깊이영상을 생성할 수 있으므로, 보다 안정적이고 정확한 깊이영상을 생성할 수 있다.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

10, 11, 12: 센서부 20, 21, 22: 정렬부
30, 31, 32, 33, 34: 웨이블렛 변환부 40: 깊이영상 생성부
50: 제어부 61, 65, 69: HPF
63, 67, 71: LPF 62, 64, 66, 68, 70, 72: 다운샘플링부

Claims

좌영상 및 우영상을 제1 및 제2방향의 저주파 성분 및 고주파 성분으로 각각 분해하여 제1단계 분해영상을 생성하는 제1단계 웨이블렛 변환부; 및
상기 제1단계 웨이블렛 변환부로부터 좌영상 및 우영상에 대한 제1단계 분해영상 중 서로 대응되는 분해영상을 각각 수신하여, 깊이영상을 생성하는 생성부를 포함하는 깊이영상 생성장치.
제1항에 있어서,
좌영상 및 우영상을 생성하는 센서부를 더 포함하는 깊이영상 생성장치.
제1항에 있어서,
상기 좌영상 및 우영상에 대해, 각각 에피폴라 라인이 평행하도록 이미지를 변환하는 정렬부를 더 포함하는 깊이영상 생성장치.
제1항에 있어서,
상기 제1단계 웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1단계 분해영상 중 각각 어느 하나를 상기 생성부로 출력하도록 제어하는 제1제어부를 더 포함하는 깊이영상 생성장치.
제1항에 있어서, 상기 제1단계 웨이블렛 변환부는,
입력되는 영상의 제1방향의 소정 고주파성분을 검출하는 제1고역통과필터(HPF);
상기 제1HPF를 통과한 영상을 축소하는 제1다운샘플링부;
입력되는 영상을 제1방향의 소정 저주파성분을 검출하는 제1저역통과필터(LPF);
상기 제1LPF를 통과한 영상을 축소하는 제2다운샘플링부;
상기 제1다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제2HPF;
상기 제2HPF를 통과한 영상을 축소하는 제3다운샘플링부;
상기 제1다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제2LPF;
상기 제2LPF를 통과한 영상을 축소하는 제4다운샘플링부;
상기 제2다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제3HPF;
상기 제3HPF를 통과한 영상을 축소하는 제5다운샘플링부;
상기 제2다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제3LPF; 및
상기 제3LPF를 통과한 영상을 축소하는 제6다운샘플링부를 포함하는 깊이영상 생성장치.
제1항에 있어서,
상기 제1단계 웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1단계 분해영상 중 각각 어느 하나를, 제1 및 제2방향의 저주파 성분 및 고주파 성분으로 각각 분해하여 제2단계 분해영상을 생성하는 제2단계 웨이블렛 변환부를 더 포함하는 깊이영상 생성장치.
제6항에 있어서,
상기 제1단계 웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제1단계 분해영상과, 상기 제2단계 웨이블렛 변환부가 생성한 좌영상 및 우영상에 대한 제2단계 분해영상 중 어느 하나를 상기 생성부로 출력하도록 제어하는 제2제어부를 더 포함하는 깊이영상 생성장치.
제6항에 있어서, 상기 제2단계 웨이블렛 변환부는,
입력되는 영상의 제1방향의 소정 고주파성분을 검출하는 제4HPF;
상기 제4HPF를 통과한 영상을 축소하는 제7다운샘플링부;
입력되는 영상을 제1방향의 소정 저주파성분을 검출하는 제4LPF;
상기 제4LPF를 통과한 영상을 축소하는 제8다운샘플링부;
상기 제8다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제5HPF;
상기 제5HPF를 통과한 영상을 축소하는 제9다운샘플링부;
상기 제9다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제5LPF;
상기 제5LPF를 통과한 영상을 축소하는 제10다운샘플링부;
상기 제10다운샘플링부의 출력의 제2방향의 소정 고주파성분을 검출하는 제6HPF;
상기 제6HPF를 통과한 영상을 축소하는 제11다운샘플링부;
상기 제11다운샘플링부의 출력의 제2방향의 소정 저주파성분을 검출하는 제6LPF; 및
상기 제6LPF를 통과한 영상을 축소하는 제12다운샘플링부를 포함하는 깊이영상 생성장치.