KR20130019295A

KR20130019295A - 다시점 3차원 영상 변환 장치 및 방법

Info

Publication number: KR20130019295A
Application number: KR1020110081365A
Authority: KR
Inventors: 박상민
Original assignee: (주)레이딕스텍
Priority date: 2011-08-16
Filing date: 2011-08-16
Publication date: 2013-02-26
Also published as: KR101239149B1

Abstract

본 발명은 다시점 3차원 영상 변환 장치에 관한 것이다. 다시점 3차원 영상 변환 장치는 제 1 영상과 제 2 영상을 디스플레이하는 디스플레이부, 상기 디스플레이부의 화면을 기준으로 하는 사용자 시점을 감지하는 센서부, 현재 영상 프레임과 이전 영상 프레임을 수신하고, 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 깊이 지도 생성부, 및 상기 깊이 지도와 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 상기 제 1 영상을 생성하고, 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 기울기 제어를 통해 상기 제 2 영상을 생성하는 다시점 영상 생성부를 포함하고, 상기 제 1 영상과 상기 제 2 영상은 3차원 영상을 구성하기 위한 영상이다.

Description

다시점 3차원 영상 변환 장치 및 방법{APPARATUS AND METHOD FOR CONVERTING MULTIVIEW 3D IMAGE}

본 발명은 영상 변환 시스템에 관한 것으로, 2차원 영상을 사용자 시점에 따른 다시점 3차원 영상으로 실시간 변화하는 다시점 3차원 영상 변환 장치 및 방법에 관한 것이다.

급속도로 발전하고 있는 3차원 영상 기술은 사용자들에게 입체영상을 전달하는 수준에서 더 나아가, 실제 상황과 같이 현실감 있는 영상을 제공하는 기술로 진보하고 있다. 3차원 정보를 전달에서 3차원 체험을 전달하는 기술로 발전하고 있다. 다시점 3차원 영상 변환 기술이란 단시점 3차원 영상기술과 달리 사용자 시점의 변화에 따라 현실세계와 같이 다양한 양안 시차를 갖는 입체 영상을 제공하는 기술이다.

3차원 영상은 2차원 영상과 달리 많은 정보를 포함하고 있어 제작 단계에서 많은 비용이 들어간다. 다시점 3차원 영상기술의 경우 단시점 3차원 영상기술에 비해 더 많은 정보를 필요로 하며 다양한 표준들의 난립으로 인해 3차원 방송을 비롯하여 3차원 컨텐츠의 제작이 활성화되지 못하고 있다.

3차원 영상 디스플레이 장치 및 관련 산업들이 활성화되고 더 다양한 곳에서 사용되기 위해서는 단시점 3차원 영상의 생성뿐만 아니라 다시점 3차원 영상을 생성하는 것이 더욱 경쟁력이 있다.

그러므로, 2차원 영상을 3차원 영상으로 변환하고, 사용자 시점에 따라 제공되는 3차원 영상의 입체감을 변화시켜 활용할 필요성이 있다.

본 발명의 목적은 2차원 영상을 사용자 시점에 따른 다시점의 3차원 영상으로 변환할 수 있는 다시점 3차원 영상 변환 장치 및 방법을 제공함에 있다.

본 발명의 다시점 3차원 영상 변환 장치는 제 1 영상과 제 2 영상을 디스플레이하는 디스플레이부, 상기 디스플레이부의 화면을 기준으로 하는 사용자 시점을 감지하는 센서부, 현재 영상 프레임과 이전 영상 프레임을 수신하고, 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 깊이 지도 생성부, 및 상기 깊이 지도와 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 상기 제 1 영상을 생성하고, 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 기울기 제어를 통해 상기 제 2 영상을 생성하는 다시점 영상 생성부를 포함하고, 상기 제 1 영상과 상기 제 2 영상은 3차원 영상을 구성하기 위한 영상이다.

이 실시예에 있어서, 상기 지도 생성부는 상기 이전 영상 프레임을 사용하여 원근감 정보가 설정된 복수개의 기본 지도들 중에서 하나의 기본 지도를 선택하고, 상기 이전 영상 프레임을 사용하여 밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 하나의 밝기 보정 테이블을 선택하는 전처리부, 상기 선택된 기본 지도에 따라 상기 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 전체 영상 처리부, 상기 현재 영상 프레임을 상기 선택된 밝기 보정 테이블로 밝기 보정하여 지역 깊이 지도를 생성하는 지역 영상 처리부, 및 상기 전체 깊이 지도와 상기 지역 깊이 지도의 연산을 통해 상기 깊이 지도를 생성하는 깊이 지도 생성부를 포함한다.

이 실시예에 있어서, 상기 3차원 영상 생성부는 상기 사용자 위치 정보에 대응되는 제 1 다시점 정보와 제 2 다시점 정보를 선택하는 다시점 정보 선택부, 상기 깊이 지도를 상기 제 1 다시점 정보에 따라 다시점 처리하고, 상기 다시점 처리된 다시점 깊이 지도와 상기 현재 영상 프레임의 연산을 통해 상기 현재 영상 프레임으로부터 3차원 영상 재생을 위한 제 1 영상을 생성하는 시차 처리부, 및 상기 현재 영상 프레임을 상기 제 2 다시점 정보를 사용한 기울기 연산을 통해 3차원 영상 재생을 위한 제 2 영상을 생성하는 기울기 제어부를 포함한다.

이 실시예에 있어서, 상기 제 1 다시점 정보는 상기 깊이 지도를 다시점 처리하기 위한 모수와 깊이 방향에 대한 정보를 포함한다.

이 실시예에 있어서, 상기 제 2 다시점 정보는 상기 현재 영상 프레임을 다시점 처리하기 위한 기울기 값과 기울기 방향에 대한 정보를 포함한다.

이 실시예에 있어서, 상기 3차원 영상 생성부는 상기 제 1 영상을 제 1 거리 제어 신호에 따라 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 제 1 거리 제어부, 및 상기 제 2 영상을 제 2 거리 제어 신호에 따라 우측과 좌측 방향 중 하나의 방향으로 이동하도록 제어하는 제 2 거리 제어부를 더 포함한다.

이 실시예에 있어서, 상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들이다.

이 실시예에 있어서, 상기 시차 처리부는 상기 현재 영상 프레임을 저장하는 버퍼, 상기 깊이 지도와 상기 제 1 다시점 정보를 수신하고, 상기 깊이 지도를 상기 다시점 정보에 따라 다시점 처리하는 깊이 지도 변환부, 상기 버퍼로부터 출력된 현재 영상 프레임을 상기 다시점 처리된 다시점 깊이 지도와 연산하여 상기 제 1 영상을 생성하는 시차 연산부, 상기 제 1 영상을 보간하는 3차원 영상 보간부, 및 상기 보간된 제 1 영상을 순차적으로 선택하여 출력하는 순환 버퍼를 포함한다.

이 실시예에 있어서, 상기 기울기 제어부는 상기 제 2 다시점 정보를 수신하고, 상기 현재 영상 프레임을 상기 제 2 다시점 정보에 따라 다시점 처리한다.

이 실시예에 있어서, 상기 제 1 영상이 좌측 영상이면, 상기 제 2 영상은 우측 영상이고, 상기 제 1 영상이 우측 영상이면, 상기 2 영상은 좌측 영상이다.

이 실시예에 있어서, 상기 단위 요소는 픽셀임을 특징으로 한다.

본 발명의 실시예에 따른 다시점 3차원 영상 변환 방법은 디스플레이 화면으로부터의 사용자 위치를 감지하는 단계, 이전 영상 프레임과 현재 영상 프레임을 사용하여 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 단계, 상기 사용자 위치에 대응되는 제 1 다시점 정보를 선택하고, 상기 제 1 다시점 정보에 근거하여 상기 깊이 지도를 다시점 깊이 지도로 변환하는 단계, 상기 다시점 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하는 단계, 상기 사용자 위치에 대응되는 제 2 다시점 정보를 선택하고, 상기 제 2 다시점 정보에 근거하여 상기 현재 영상 프레임의 기울기 제어를 통해 제 2 영상을 생성하는 단계, 및 상기 제 1 영상과 상기 제 2 영상을 동기 제어하여 출력하는 단계를 포함한다.

이 실시예에 있어서, 상기 현재 영상 프레임과 상기 이전 영상 프레임은 2차원 영상 프레임이다.

본 발명에 의하면, 다시점 3차원 영상 변환 장치는 사용자 시점에 따라 2차원 영상으로부터 2 개의 좌측 영상과 우측 영상을 각각 생성함으로서 2차원 영상을 다시점의 3차원 영상으로 변환할 시킬 수 있다. 또한, 본 발명의 3차원 영상 변환 장치는 2차원 영상으로부터 다시점의 3차원 영상을 획득할 수 있음으로 다시점 3차원 영상 제작에 소요되는 비용을 감소시킬 수 있다.

도 1은 본 발명의 실시예에 따른 다시점 3차원 영상 변환 장치를 도시한 도면,
도 2는 본 발명의 실시예에 따른 센서부에서 측정되는 사용자 시점을 도시한 도면,
도 3은 본 발명의 실시예에 따른 지도 생성부를 도시한 도면,
도 4는 본 발명의 실시예에 따른 기본 지도들과 기본 지도 인덱스들을 도시한 도면,
도 5a 내지 도 5d는 본 발명의 실시예에 따른 밝기 보정 테이블 인덱스 ‘1’, ‘2’, ‘3’, 및 ‘k’ 각각에 대응되는 밝기 보정 테이블을 이용한 밝기 보정을 도시한 도면,
도 6은 본 발명의 실시예에 따른 지역 영상 처리부를 도시한 도면,
도 7은 본 발명의 실시예에 따른 밝기 보정부를 도시한 도면,
도 8은 본 발명의 실시예에 따른 깊이 지도 생성부를 도시한 도면,
도 9는 본 발명의 실시예에 따른 전체 깊이 지도, 지역 깊이 지도, 및 깊이 지도를 도시한 도면,
도 10은 본 발명의 실시예에 따른 깊이 지도 생성부의 깊이 지도 생성 동작을 도시한 도면,
도 11은 본 발명의 실시예에 따른 깊이 지도 보정에 따라 영상 필드에 할당된 깊이 지도를 도시한 도면,
도 12는 본 발명의 실시예에 따른 깊이 지도와 보정된 깊이 지도를 도시한 도면,
도 13는 본 발명의 실시예에 따른 다시점 영상 생성부의 구조를 도시한 도면,
도 14는 본 발명의 실시예에 따른 사용자 시점에 따른 깊이 지도와 기울기 지도를 도시한 도면,
도 15는 본 발명의 실시예에 따른 시차 처리부를 도시한 도면,
도 16는 본 발명의 실시예에 따른 시차 처리부의 3차원 영상 생성 동작을 도시한 도면,
도 17은 본 발명의 실시예에 따른 기울기 제어부의 기울기 제어 동작을 도시한 도면,
도 18은 본 발명의 실시예에 따라 생성되는 제 1 영상들과 제 2 영상들을 개략적으로 도시한 도면, 및
도 19는 본 발명의 실시예에 따른 제 1 거리 제어부와 제 2 거리 제어부의 동작을 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 발명의 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, "연결되는/결합되는"이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.

본 발명은 2차원 영상을 사용자 시점에 따라 다시점의 3차원 영상으로 변환하는 다시점 3차원 영상 변환 장치를 제공한다.

도 1은 본 발명의 실시예에 따른 다시점 3차원 영상 변환 장치를 도시한 도면이다.

도 1을 참조하면, 다시점 3차원 영상 변환 장치(100)는 센서부(110), 지도 생성부(120), 다시점 영상 생성부(130), 및 디스플레이부(140)를 포함한다.

센서부(110)는 사용자의 시점을 감지할 수 있다. 센서부(110)는 사용자 시점 즉, 사용자의 눈동자 위치를 감지할 수 있다. 센서부(110)는 디스플레이부(140)의 화면을 기준으로 사용자의 시점을 감지할 수 있다. 센서부(110)는 디스플레이부(140) 또는 다시점 영상 생성부(130)에 포함될 수도 있다. 센서부(110)는 사용자의 시점 감지를 위해 카메라 센서, 동작 감지 센서, 온도 센서, 적외선 센서 등을 포함할 수 있다. 센서부(110)는 감지된 사용자 시점 정보를 다시점 영상 생성부(130)로 출력한다.

지도 생성부(120)는 2차원 영상(현재 영상 프레임(n 영상 프레임)과 이전 영상 프레임(n-1 영상 프레임))으로부터 제 1 영상(3차원 영상을 구성하는 영상들 중 하나의 영상)을 획득하기 위한 깊이 지도를 생성한다. 일예로, 깊이 지도는 2차원 영상을 구성하는 단위 요소(일예로, 픽셀)들 각각에 대해서 위치를 이동(일예로, 쉬프트(shift))시키기 위한 값(깊이)들이 설정된 지도이다. 지도 생성부(120)는 생성된 깊이 지도를 다시점 영상 생성부(130)로 출력한다.

다시점 영상 생성부(130)는 양안 시차에 따른 제 1 영상과 제 2 영상(일예로, 좌측 영상과 우측 영상)을 생성한다. 다시점 영상 생성부(120)는 사용자 시점 정보에 근거하여 다시점 처리를 위한 다시점 정보를 선택할 수 있다. 다시점 영상 생성부(120)는 선택된 다시점 정보들을 사용하여 제 1 영상과 제 2 영상에 대해 깊이 또는 기울기 제어를 통해 다시점 처리를 수행한다. 다시점 영상 생성부(130)는 외부의 제어 신호들(제 1 거리 제어 신호(D_CTRL1), 제 2 거리 제어 신호(D_CTRL2)) 각각에 응답하여 다시점 처리된 영상의 깊이(깊이감) 및 다시점 처리된 영상의 거리(거리감)을 설정할 수 있다. 다시점 영상 생성부(130)는 다시점 처리된 제 1 영상과 제 2 영상을 디스플레이부(140)로 출력한다.

한편, 제 1 영상과 제 2 영상은 영상 프레임에 3차원의 입체감을 사용자에게 제공하기 위해 각각 생성된다. 그러므로 제 1 영상과 제 2 영상은 상호 간에 연관 관계를 갖는다. 따라서, 다시점 영상 생성부(120)는 제 1 영상과 제 2 영상 간에 동기 제어를 통해 3차원의 다시점 처리된 영상들(제 1 영상, 제 2 영상)을 출력할 수 있다.

디스플레이부(140)는 다시점 처리된 제 1 영상과 제 2 영상을 수신하고, 수신된 제 1 영상과 제 2 영상을 디스플레이 화면을 통해 출력한다. 이때, 디스플레이부(140)에서 출력되는 제 1 영상과 제 2 영상은 사용자가 보는 위치, 즉 용자 시점에 따라 생성된 영상들이다.

따라서, 본 발명의 다시점 3차원 영상 변환 장치(100)는 2차원 영상으로부터 사용자 시점에 따른 두 개의 영상들(제 1 영상, 제 2 영상)을 생성할 수 있다. 여기서, 제 1 영상과 제 2 영상은 양안 시차에 따른 영상들이다. 만약, 제 1 영상이 좌측(L) 영상이면, 제 2 영상은 우측(R) 영상이고, 제 1 영상이 우측(R) 영상이면, 제 1 영상은 좌측 영상이다.

다시점 3차원 영상 변환 장치(100)는 제 1 영상을 깊이 지도에 따라 생성하고, 제 2 영상을 기울기 제어에 의해 생성할 수 있다. 이때, 다시점 3차원 영상 변환 장치(100)는 사용자 시점 정보에 근거하여 제 1 영상과 제 2 영상을 다시점 처리한다. 이로써, 본 발명의 다시점 3차원 영상 변환 장치(100)는 화면을 보는 사용자 시선에 따라 입체감 있는 영상을 사용자에게 제공할 수 있다.

도 2는 본 발명의 실시예에 따른 센서부에서 측정되는 사용자 시점을 도시한 도면이다.

도 2를 참조하면, 센서부(110)는 디스플레이부의 화면(141)의 중심을 기준으로 사용자 시점을 감지할 수 있다. 일예로, 센서부(110)는 사용자 시점에 따른 영역을 22개의 영역으로 구분하고, 사용자 시점에 따른 영역을 감지한다. 여기서, 구분된 영역은 좌표인 ‘(x, x)’로 나타내었다.

좌표의 앞에 위치한 숫자(0 또는 1)는 화면(141)을 기준으로 하는 사용자 시점의 거리에 따른 위치를 나타낸다. 여기서, 0은 1로 나타내는 영역에 비해 상대적으로 화면(141)에 근거리에 위치하고, 1은 0으로 나타내는 영역에 비해 상대적으로 화면에 원거리에 위치한다.

좌표의 뒤에 위치한 숫자(-5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5)는 화면(141)의 중심을 기준으로 하는 사용자 시점의 방향(좌측 또는 우측)에 따른 위치를 나타낸다. 여기서, 5의 경우는 사용자의 시점이 화면(141)을 기준으로 오른쪽을 의미하고, -5의 경우는 사용자의 시점이 화면(141)을 기준으로 왼쪽임을 의미한다. 또한, 0은 사용자의 시점이 화면(141)을 기준으로 정면임을 나타낸다. 따라서, 센서부(110)는 사용자 시점을 감지하기 위해 디스플레이 화면을 감상하는 사용자 시점을 22개 영역으로 구분할 수 있다. 구분된 영역들 각각의 좌표는 (0, -5), (0, -4), (0, -3), (0, -2), (0, -1), (0, 0), (0, 1), (0, 2), (0, 3), (0, 4), (0, 5), (1, -5), (1, -4), (1, -3), (1, -2), (1, -1), (1, 0), (1, 1), (1, 2), (1, 3), (1, 4), (1, 5)로 나타낼 수 있다. 일예로, (0, 0)의 좌표를 갖는 사용자 시점은 (1, 0)의 좌표를 갖는 사용자 시점에 비해 근거리에 위치함을 확인할 수 있다. (1, -5)의 좌표를 갖는 사용자 시점은 (1, -2)의 좌표를 갖는 사용자 시점에 비해 상대적으로 좌측에 위치함을 확인할 수 있다. 또한, (1, 5)의 좌표를 갖는 사용자 시점은 (1, 1)의 좌표를 갖는 사용자 시점에 비해 상대적으로 우측에 위치함을 확인할 수 있다.

센서부(110)는 사용자 시점을 감지할 수 있고, 감지된 사용자 시점을 다시점 영상 생성부(130)로 제공할 수 있다. 사용자 시점은 화면(141)을 통해 영상을 감상하는 사용자의 시선이 위치한 지점을 나타낸다. 예를 들어, 사용자 시점은 화면(141)을 중심으로 사용자의 시선이 위치한 영역의 좌표(또는, 사용자 위치를 나타내는 좌표)로 나타낼 수 있다.

도 3은 본 발명의 실시예에 따른 지도 생성부를 도시한 도면이다.

도 3을 참조하면, 지도 생성부(120)는 전처리부(121), 전체 영상 처리부(122), 지역 영상 처리부(123), 깊이 지도 생성부(124), 및 깊이 지도 보정부(125)를 포함한다.

전처리부(121)는 2차원 영상(이전(n-1) 영상 프레임)을 입력받는다. 이때, 전처리부(121)에 입력되는 2차원 영상(이전 영상 프레임)은 다시점 3차원 영상 변환 장치(100)에서 3차원 영상으로 변환을 위한 2차원 영상(현재(n) 영상 프레임)의 이전 영상 프레임이 입력된다.

다시점 3차원 영상 변환 장치(100)를 기준으로 2차원 영상인 현재 영상 프레임(n 영상 프레임)이 입력되면 이전 영상 프레임(n-1 영상 프레임)에서 계산된 값들이 현재 영상 프레임(n 영상 프레임)을 처리하는데 사용된다. 연속적으로 입력되는 영상 프레임들은 서로 유사한 특징을 가지고 있어서 이전 영상 프레임(n-1 영상 프레임)에서 추출한 영상의 특징을 현재 영상 프레임(n 영상 프레임)에 적용해서 처리한다.

전처리부(121)는 복수개의 전체 깊이 지도들 중에서 이전 영상 프레임(n-1 영상 프레임)과 유사한 기본 지도의 인덱스를 선택한다. 기본 지도는 이전 영상 프레임(n-1 영상 프레임)에 대응되는 픽셀들 각각의 깊이를 전체 영상의 원근감에 따라 설정하기 위한 지도이다. 기본 지도의 인덱스는 2차원 영상(n 영상 프레임)의 전체 영상 지도 생성에 사용될 수 있다. 전처리부(121)는 선택된 기본 지도 인덱스를 전체 영상 처리부(122)로 출력한다.

또한, 전처리부(121)는 복수개의 밝기 보정 테이블들 중에서 2차원 영상(이전(n-1) 영상 프레임)의 밝기 분포와 유사한 밝기 보정 테이블의 인덱스를 선택한다. 밝기 보정 테이블은 입력되는 2차원 영상(현재(n) 영상 프레임)에 대응되는 픽셀들 각각의 밝기를 보정해서 깊이 정보를 추출하기 위한 테이블이다. 전처리부(121)는 선택된 테이블 인덱스를 지역 영상 처리부(123)로 출력한다.

전체 영상 처리부(122)는 전처리부(121)에 의해 선택된 기본 지도 인덱스에 대응되는 전체 깊이 지도를 생성한다. 즉, 전체 영상 처리부(122)는 전체 깊이 지도를 생성함으로서 하나의 2차원 영상 프레임 전체에 대해 입체감을 설정할 수 있다. 전체 깊이 지도는 기본 지도에 의해 설정된 깊이들을 갖는다. 전체 영상 처리부(122)는 생성된 전체 깊이 지도를 깊이 지도 생성부(124)로 출력한다.

지역 영상 처리부(123)는 입력되는 2차원 영상(현재(n) 영상 프레임)으로부터 영상 내 각각의 화소에 대한 깊이의 설정을 통해 지역 깊이 지도를 생성한다. 지역 영상 처리부(123)는 지역 깊이 지도 생성에 의해 제 1 영상(3차원 영상) 생성 시 영상 내 화소들 각각에 대해 입체감을 설정할 수 있게 한다. 일예로, 2차원 영상(현재 영상 프레임)이 입력되면 지역 영상 처리부(123)는 영상의 밝기 정보를 추출한다. 이후 지역 영상 처리부(123)는 전처리부(121)에서 계산한 밝기보정 테이블의 인덱스에 해당하는 값으로부터 추출된 밝기값을 보정해서 지역 깊이 지도를 생성한다. 생성된 지역 깊이 지도를 깊이 지도 생성부(124)로 출력한다.

깊이 지도 생성부(124)는 전체 깊이 지도와 지역 깊이 지도를 입력받는다. 깊이 지도 생성부(124)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다. 여기서, 깊이 지도는 제 1 영상을 생성하기 위해 입력되는 현재 영상 프레임의 픽셀들 각각에 대해 설정된 깊이를 갖는다. 깊이 지도 생성부(124)는 생성된 깊이 지도를 깊이 지도 보정부(125)로 출력한다.

깊이 지도 보정부(125)는 3차원 영상의 화질 개선을 위해서 깊이 지도를 보정한다. 깊이 지도 보정부(125)는 깊이 지도를 보정함으로서 시차 처리 후 생성되는 영상의 화질을 개선시킨다. 따라서, 깊이 지도 보정부(125)는 생성되는 제 1 영상의 화질을 보다 선명하고 노이즈에 강하게 구현할 수 있다.

일예로, 깊이 지도 보정부(125)는 깊이 지도에서 하나의 픽셀을 기준으로 주변에 위치한 복수개의 픽셀들에 해당되는 깊이값에 대해 각각의 깊이 평균 및 깊이 보정을 통해 각 픽셀의 깊이를 보정한다. 깊이 지도 보정부(125)는 보정된 깊이 지도를 다시점 영상 생성부(130)로 출력한다.

도 4는 본 발명의 실시예에 따른 기본 인덱스들과 기본 지도들을 도시한 도면이다.

도 4를 참조하면, 전처리부(121)는 2차원 영상의 원근감 추정을 통해서 미리 정의된 기본 지도들 중 하나의 인덱스를 선택한다. 따라서, 기본 지도는 영상의 원근감 정보를 갖는다.

예를 들어, 카메라 프레임에 찍힌 영상을 보면, 가까이 있는 피사체는 작은 원근감(근거리의 거리감)을 갖고, 풍경, 바다, 및 하늘 등의 배경은 피사체에 비해 큰 원근감(원거리의 거리감)을 갖는다. 그러므로, 하나의 영상 프레임을 기준으로 영상 프레임의 상부 영역과 하부 영역 사이에 거리감의 차이가 많이 나면 원거리 영상, 적게 나면 근거리 영상으로 간주한다. 원거리 영역에 대해 깊이를 ‘0’으로 설정하면, 근거리 영역으로 올수록 '0'보다 큰 값의 깊이값이 설정된다. 기본 지도는 2차원 영상이 근거리의 영상인지 원거리의 영상인지에 따라 깊이가 다르게 설정될 수 있다. 근거리 영상은 원거리 영상에 비해 상대적으로 배경 영상과 객체 영상 간에 깊이의 차이가 유사하다. 풍경을 기준으로 프레임의 상단은 원거리 또는 배경, 하단은 근거리 또는 객체라고 가정했을 때 원거리 영상은 근거리 영상에 비해 상대적으로 배경 영역보다 객체 영역이 큰 깊이를 갖는다.

여기서, 근거리 영상의 기본 지도 인덱스를 '1'로 설정하고, 원거리 영상의 기본 지도 인덱스를 'i'로 설정하였다.

일예로, 기본 지도 인덱스 '1'에 대응되는 기본 지도는 배경 영역과 객체 영역 간의 깊이 값의 차이가 없이 깊이 값이 균등한 분포를 갖는다. 하지만, 기본 지도 인덱스 'i'에 대응되는 기본 지도는 가장 하단을 기준으로 객체 영역이 배경 영역보다 큰 깊이 값을 갖는다. 근거리 영상으로부터 원거리 영상으로 변화함에 따라 기본 지도 인덱스는 '1'부터 인덱스 'i'까지 순차적으로 증가될 수 있다.

이때, 기본 지도 인덱스들 각각에 대해 좌측의 도형은 원근감을 나타내고, 우측은 이러한 원근감이 설정된 기본 지도를 나타낸다. 따라서 기본 지도에서 어두운 부분이 밝은 부분에 비래 원거리 영역이다. 여기서, 거리에 따라 설정된 기본 지도의 형태는 일예로 설명된 것으로 다른 다양한 형태로 구현될 수 있다.

전처리부(121)는 2차원 영상에서 전체 프레임의 분석을 통해서 2차원 영상과 유사한 기본 지도의 인덱스를 선택한다. 전처리부(121)는 선택된 기본 지도 인덱스를 전체 영상 처리부(122)로 전달한다. 전체 영상 처리부(122)는 기본 지도 인덱스에 대응되는 기본 지도를 깊이지도 생성부(124)로 전달한다. 기본 지도 인덱스에 대응되는 기본 지도들은 전체 영상 처리부(122) 내부에 위치한 메모리에 저장되거나 전체 영상 처리부(122) 외부에 위치한 메모리에 저장될 수 있다.

한편, 다시점 3차원 영상 변환 장치(100)에 2차원 영상이 최초로 입력되면, 전처리부(121)는 입력되는 2차원 영상(현재(n) 프레임)의 이전 2차원 영상(즉, 이전(n-1) 프레임)이 존재하지 않는다. 이때, 전처리부(121)는 미리 설정된 기본 지도 인덱스(일예로, 기본 지도 인덱스 'i')를 출력할 수 있다.

또한, 전처리부(121)는 2차원 영상 내에서 화소 각각의 밝기 보정을 위한 밝기 보정 테이블 인덱스를 선택한다. 전처리부(121)는 선택된 테이블 인덱스를 지역 영상 처리부(123)로 출력한다.

지역 영상 처리부(123)는 전처리부 (121)에서 생성된 밝기보정 테이블 인덱스에 대응되는 밝기 보정 테이블을 사용하여 보정할 수 있다. 밝기 보정 테이블들은 지역 영상 처리부(123) 내부에 위치한 메모리에 저장되거나 지역 영상 처리부(123) 외부에 위치한 메모리에 저장될 수 있다.

도 5a 내지 도 5d는 본 발명의 실시예에 따른 밝기 보정 테이블 인덱스 ‘1’, ‘2’, ‘3’, 및 ‘k’에 대응되는 밝기 보정 테이블을 이용한 밝기 보정을 도시한 도면이다.

지역 깊이 지도는 영상의 밝기값을 이용해서 생성한다. 영상의 밝기가 전체적으로 밝은 영상, 전체적으로 어두운 영상 또는 명확하지 않은 영상 등의 밝기 분포를 분석해 보면 특정 영역에 밝기가 분포한다. 이런 영상으로 지역 깊이 지도를 생성하면, 3 차원 영상의 화질이 저하되고 입체감도 떨어진다. 밝기값의 분포가 균일 할수록 입체감을 향상시킬 수 있는 깊이 지도를 생성할 수 있다.

영상의 특성에 따라 선택된 밝기 보정 테이블을 이용해 영상 내 각 화소의 밝기값을 치환시켜서 전체 영상의 밝기 분포를 균일하게 만들 수 있다. 밝기 보정 테이블의 인덱스는 미리 정의된 밝기 분포에 따라 ‘1’부터 ‘k’까지 설정될 수 있다. 밝기 보정 테이블의 입력 밝기값(또는, 입력 밝기 레벨)은 입력영상에서 추출한 화소의 밝기값을 정규화 시킨 값이며 출력 밝기값(또는, 출력 밝기 레벨)은 이를 보정해서 입력 밝기값의 범위에 맞게 정규화된 밝기값이다.

테이블 내 입력 밝기값과 출력 밝기값의 의미는 다음과 같다. 이전 프레임에서 입력된 영상을 서브 샘플링해서 화소값의 밝기정보를 추출한 후 이 값을 0-15단계로 정규화시킨다. 입력 영상의 영상 프레임이 끝날 때까지 0-15에 해당되는 밝기값의 빈도수를 누적한다. 영상 프레임이 다 입력되면 0-15단계의 밝기값의 분포가 생성된다. 다음 영상 프레임이 입력되기 전까지 입력된 영상의 밝기값의 분포와 비슷한 테이블의 인덱스를 설정한다. 다음 영상 프레임에 입력되는 영상은 미리 설정된 밝기 보정 테이블의 인덱스를 이용해서 인덱스에 대응되는 밝기 보정 테이블을 찾아 해당되는 값들로 치환해서 화소의 밝기값들을 보정한다.

도 5a를 참조하면, 밝기 보정 테이블 인덱스가 ‘1’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘1’로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0’ 내지 ‘15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 5b를 참조하면, 밝기 보정 테이블 인덱스가 ‘2’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘0’으로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 0, 0, 0, 0, 0, 0, 1, 2, 4, 6, 8, 10, 12, 14, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 5c를 참조하면, 밝기 보정 테이블 인덱스가 ‘3’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘1’로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 1, 2, 4, 6, 8, 10, 12, 14, 15, 15, 15, 15, 15, 15, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 5d를 참조하면, 밝기 보정 테이블 인덱스가 ‘k’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘0’으로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 0, 0, 0, 0, 1, 3, 5, 7, 9, 11, 13, 15, 15, 15, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 5a 내지 도 5d에서는 ‘1’ 내지 ‘k’의 인덱스에 대응되는 밝기 보정 테이블들을 일예로 설명하였다. 따라서, 각 밝기 보정 테이블들의 인덱스는 다양한 값들로 구현될 수 있다.

도 6은 본 발명의 실시예에 따른 지역 영상 처리부를 도시한 도면이다.

도 6을 참조하면, 지역 영상 처리부(123)는 밝기 보정부(210)와 깊이 생성부(220)를 포함한다.

밝기 보정부(210)는 밝기 보정 테이블의 인덱스와 2차원 영상을 입력받는다. 밝기 보정부(210)는 입력된 2차원 영상의 밝기 정보를 밝기 보정 테이블을 사용하여 보정한다. 이때, 밝기 보정 테이블은 밝기 보정부(210)에 입력된 밝기 보정 테이블의 인덱스에 대응된다. 보정된 2차원 영상은 깊이 생성부(220)로 출력된다.

깊이 생성부(220)는 보정된 2차원 영상의 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성한다.

도 7은 본 발명의 실시예에 따른 밝기 보정부를 도시한 도면이다.

도 7을 참조하면, 밝기 보정부(210)는 테이블 선택부(211), 밝기값 변환부(212), 밝기 정보 추출부(213), 및 보정 밝기값 생성부(214)를 포함한다.

테이블 선택부(211)는 밝기 보정 테이블 인덱스를 수신하고, 복수개의 밝기 보정 테이블들 중에서 밝기 보정 테이블 인덱스에 대응되는 밝기 보정 테이블을 선택한다. 그러므로, 밝기 보정 테이블은 이전 영상을 이용하여 선택될 수 있다. 테이블 선택부(211)는 선택된 밝기 보정 테이블을 밝기값 변환부(212)로 출력한다.

밝기값 변환부(212)는 밝기 보정 테이블을 사용하여 밝기 보정 테이블의 0-15단계의 밝기 보정값들을 입력 영상의 밝기값의 범위에 대응되는 0-n단계(n은 밝기값의 최대값으로 255인 경우 0~255단계, 즉 256단계의 밝기 레벨을 의미함)로 업 샘플링시킨다. 밝기값 변환부(212)는 밝기 정보 추출부(213)에서 출력되는 밝기값에 대응되는 업 샘플링된 밝기 레벨을 보정 밝기값 생성부(214)로 출력한다.

밝기 정보 추출부(213)는 2차원 영상으로부터 밝기 레벨(0-n 단계)을 추출한다. 밝기 정보 추출부(213)는 2차원 영상으로부터 추출된 밝기 레벨을 보정 밝기값 생성부(214)로 출력한다. 일예로, 밝기 정보 추출부(213)는 출력되는 밝기값에 대응되는 정보를 밝기값 변환부(212)로 제공하여 대응되는 업 샘플링된 밝기값을 출력하도록 할 수 있다.

보정 밝기값 생성부(214)는 밝기 정보 추출부(213)의 밝기값을 밝기값 변환부(212)의 업 샘플링된 밝기값으로 치환한다. 보정 밝기값 생성부(214)는 치환 연산을 통해 생성된 보정 밝기값을 깊이 생성부(220)로 출력한다.

한편, 밝기 보정 테이블의 밝기값 즉, 밝기 레벨(0-15 단계)을 입력 영상의 밝기값 즉, 밝기 레벨(0-n)과 다른 ‘0’ 내지 ‘15’단계를 사용한다. 이와 같이 다른 밝기 레벨을 사용하는 이유는 밝기 보정 테이블을 저장하는 메모리의 크기를 최소화 시키고 밝기값의 분포를 쉽게 확인할 수 있기 때문이다. 일예로, ‘0-15’단계의 밝기값을 ‘0-255’로 변환 시키려면 ‘0-15’단계의 밝기값을 16배로 업 샘플링해야 한다. 즉, 밝기보정 테이블의 입력과 출력값들의 각 단계를 16배로 업 샘플링해야 한다. 이때, 밝기값 변환부(212)는 업 샘플링 동작을 수행하기 위해 선형 보간법을 사용할 수 있다.

도 8은 본 발명의 실시예에 따른 깊이 지도 생성부를 도시한 도면이다.

도 8을 참조하면, 깊이 지도 생성부(124)는 지도 연산부(310)를 포함한다.

지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 조합하여 깊이 지도를 생성한다. 깊이 지도를 생성하기 위해서 지도 연산부(310)는 서로 대응되는 픽셀들 간에 미리 설정된 연산(일예로, 조건문 연산)을 수행할 수 있다.

도 9는 본 발명의 실시예에 따른 전체 깊이 지도, 지역 깊이 지도, 및 깊이 지도를 도시한 도면이다.

도 9를 참조하면, 깊이 지도 생성부(124)는 전체 깊이 지도(410)와 지역 깊이 지도(420)를 조합하여 깊이 지도(430)를 생성할 수 있다.

전체 깊이 지도(410), 지역 깊이 지도(420), 및 깊이 지도(430) 내의 픽셀들 각각에는 깊이가 설정되어 있다. 여기서, 깊이는 각 픽셀의 위치 변경에 따른 이동 거리를 나타낸다. 일예로, 깊이가 '0'인 픽셀은 제 1 영상 생성 시 위치를 변경하지 않는다. 그러나 깊이가 '2'인 픽셀은 제 1 영상 생성 시 2픽셀만큼 위치를 변경한다. 또한, 깊이가 ‘10’인 픽셀은 제 1 영상 생성 시 10픽셀만큼 위치를 변경한다.

일예로, 전체 깊이 지도(410)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘0’인 픽셀은 지역 깊이 지도(420)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘1’인 픽셀과의 조합을 통해 깊이 지도(430)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘0’인 픽셀로 설정될 수 있다.

도 10은 본 발명의 실시예에 따른 깊이 지도 생성부의 깊이 지도 생성 동작을 도시한 도면이다.

도 10을 참조하면, 깊이 지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다. 전체 깊이 지도는 영상 프레임 전체에 대한 원근감을 설정한다. 지역 깊이 지도는 영상의 각 영역의 입체적 질감을 설정한다. 전체 깊이 지도와 지역 깊이 지도를 조합해서 전체적인 원근감과 영상 내 각 영역의 입체적 질감을 표현 할 수 있는 깊이 지도를 생성한다. 깊이 지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다.

도 11은 본 발명의 실시예에 따른 깊이 지도 보정에 따라 영상 필드에 할당된 깊이 지도를 도시한 도면이다.

도 11를 참조하면, 깊이 지도 보정부(125)는 깊이 지도를 보정한다. 일예로, 깊이 지도 보정부(125)는 하나의 영상 프레임을 구성하는 복수개의 필드들에 정의된 깊이 정보를 포함한다. 여기서, 복수개의 필드들 각각은 하나의 영상 프레임을 구성하는 픽셀들을 포함하는 라인이다.

깊이 지도 보정부(125)는 일예로, 두 개의 라인을 기준으로 깊이 지도 내의 각 픽셀의 깊이를 아래 정의된 계산을 통해 보정한다. 깊이 정보는 짝수 번째 화소의 깊이 정보(

)와 홀수 번째 화소의 깊이 정보(

)를 포함한다. 'p'는 한 라인 또는 한 필드를 기준으로 라인 또는 필드 상에 위치한 깊이 정보의 위치이다.

일예로, 깊이값

과

을 보정을 하면

,

으로 출력된다.

,

는 이전 필드의 깊이 정보를 의미한다.

,

는 하기의 수학식 1로 나타낼 수 있다.

홀수 영역의 깊이 정보 보정(

)은 이전 필드를 기준으로 현재 위치(p)와 같은 위치의 홀수 화소의 깊이 정보(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

), 현재 필드를 기준으로 현재 위치(p)의 짝수 화소의 깊이 정보와 홀수 화소의 깊이 정보의 평균값(

)과 이전 위치(p-1)의 홀수 화소의 깊이 정보(

)의 평균값으로 보정될 수 있다.

짝수 영역의 깊이 정보 보정(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

), 현재 필드를 기준으로 현재 위치(p)의 보정된 홀수 화소의 깊이 정보(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

)의 평균값으로 보정될 수 있다.

홀수 영역의 깊이 보정은 깊이 지도를 평활화시켜 노이즈 등의 영향을 감소시킬 수 있다. 짝수 영역의 깊이 보정은 홀수 영역에 할당된 깊이 정보값의 보정을 통해 3차원 시차 처리시 발생할 수 있는 화소 이동의 중첩 현상을 최소화시켜 선명한 화질을 획득할 수 있게 한다.

이를 통해 깊이 지도 보정부(125)는 3차원 영상 내에 위치한 객체의 경계 영역을 보다 부드럽게 만든다. 또한, 깊이 지도 보정부(125)는 깊이 지도의 선형성 및 인접 화소와의 연결성을 증가시켜 노이즈의 영향을 감소시킨다. 이를 통해 깊이 지도 보정부(125)는 3차원 영상의 화질을 개선할 수 있다.

또한, 깊이 지도 보정부(125)는 보정된 깊이 지도를 메모리 등에 저장할 수 있다. 이때, 깊이 지도 보정부(125)는 보정된 홀수 영역의 깊이지도(

)만을 저장해서 메모리에 저장되는 정보의 크기를 줄일 수 있다.

도 12은 본 발명의 실시예에 따른 깊이 지도와 보정된 깊이 지도를 도시한 도면이다.

도 12을 참조하면, 깊이 지도 보정부(125)는 깊이 지도로부터 보정된 깊이 지도를 획득할 수 있다. 좌측에는 깊이 지도를 예시적으로 도시하고, 우측에는 깊이 지도 보정부(125)에 의해 보정된 깊이 지도를 도시하였다.

도 13는 본 발명의 실시예에 따른 다시점 영상 생성부의 구조를 도시한 도면이다.

도 13을 참조하면, 다시점 영상 생성부(130)는 다시점 정보 선택부(131), 시차 처리부(132), 기울기 제어부(133), 제 1 거리 제어부(134), 및 제 2 거리 제어부(135)를 포함한다.

다시점 정보 선택부(131)는 센서부(110)로부터 측정된 사용자 시점 정보를 수신한다. 사용자 시점 정보는 디스플레이부의 화면을 기준으로 한다. 다시점 정보 선택부(131)는 사용자 시점 정보를 사용하여 사용자 시점에 대응되는 다시점 정보들(제 1 다시점 정보와 제 2 다시점 정보)을 선택한다. 여기서, 제 1 다시점 정보는 깊이 지도를 다시점 처리하기 위한 모수(parameter)와 깊이 방향에 대한 정보를 포함한다. 또한, 제 2 다시점 정보는 기울기 지도를 다시점 처리하기 위한 기울기 값과 기울기 방향에 대한 정보를 포함한다. 다시점 정보 선택부(131)는 제 1 다시점 정보를 시차 처리부(132)로 출력하고, 제 2 다시점 정보를 기울기 제어부(133)로 출력한다.

시차 처리부(132)는 깊이 지도를 제 1 다시점 정보로 다시점 변환하여 다시점 깊이 지도를 생성한다. 시차 처리부(132)는 2차원 영상(현재(n) 영상 프레임)을 다시점 깊이 지도를 사용하여 제 1 영상으로 변환한다. 일예로, 제 1 영상을 생성하기 위해, 시차 처리부(132)는 2차원 영상 내 각 단위 요소(픽셀)들의 위치를 다시점 깊이 지도에 따라 재설정(일예로, 좌측 또는 우측 쉬프트)한다. 시차 처리부(132)는 제 1 영상을 제 1 거리 제어부(134)로 출력한다.

기울기 제어부(133)는 제 2 다시점 정보를 사용하여 2차원 영상의 기울기를 제어한다. 기울기 제어부(133)는 2차원 영상의 기울기를 제 2 다시점 정보를 사용하여 기울기 제어함으로써 제 2 영상을 생성한다. 일예로, 제 2 영상을 생성하기 위해, 기울기 제어부(133)는 2차원 영상의 각 픽셀들의 위치를 제 2 다시점 정보에 근거하여 재설정한다.

예를 들어, 기울기 제어는 직사각형 형태의 영상 프레임을 마름모 형태의 영상 프레임으로 변환 시키는 제어를 의미한다. 정면에서 보여지는 영상을 사용자의 다시점에서 보여지는 것과 비슷하게 영상 프레임을 구성하는 픽셀 라인들(필드들) 각각에 깊이 정보를 설정할 수 있다. 영상 프레임은 복수개의 픽셀 라인들로 구성될 수 있다.

기울기 제어부(133)는 마름모 형태의 영상 프레임을 구성하기 위해 필드들 각각에 서로 다른 깊이를 설정한다. 기울기 제어부(133)는 영상 프레임의 필드들 각각을 순차적으로 좌측 쉬프트 시키거나 우측 쉬프트 시켜 영상 프레임을 마름모 형태로 변환할 수 있다. 기울기 변환부(133)에서 필드들의 쉬프트 정도(즉, 기울기 연산의 정도)에 따라 측면에서 보는 깊이감을 조절할 수 있다. 따라서, 쉬프트 정도가 클수록 사용자에게 깊이감을 크게 느껴지게 할 수 있다. 기울기 제어부(133)는 제 2 영상을 제 2 거리 제어부(135)로 출력한다.

기울기 제어부(133)는 기울기 제어 정보에 따른 제 2 영상의 기울기를 제어한다. 이를 통해 기울기 제어부(133)는 3차원 영상의 깊이감을 조절할 수 있다.

시차 처리부(132)와 기울기 제어부(133)는 양안 시차에 따른 두 개의 영상(제 1 영상과 제 2 영상(좌측 영상 또는 우측 영상))을 생성한다. 따라서 시차 처리부(132)에서 양안 시차에 따른 3차원 좌측(왼쪽) 영상을 생성하면, 기울기 제어부(133)는 양안 시차에 따른 3차원 우측(오른쪽) 영상을 생성한다. 또한, 시차 처리부(132)에서 양안 시차에 따른 3차원 우측 영상을 생성하면, 기울기 제어부(133)는 양안 시차에 따른 3차원 좌측 영상을 생성한다.

제 1 거리 제어부(134)는 제 1 거리 제어 신호(D_CTRL1)에 응답하여 제 1 영상의 거리(사용자에 의해 느끼게 되는 거리감)를 제어할 수 있다. 제 1 거리 제어부(134)는 제 1 영상을 좌측 또는 우측으로의 이동(shift)시킨 제 1 영상을 출력한다.

제 2 거리 제어부(135)는 제 2 거리 제어 신호(D_CTRL2)에 응답하여 제 2 영상의 거리를 제어할 수 있다. 제 2 거리 제어부(135)는 제 2 영상을 우측 또는 좌측으로의 이동(shift)시킨 제 2 영상을 출력한다.

제 1 거리 제어부(134)와 제 2 거리 제어부(135)는 사용자 제어 즉, 제 1 거리 제어 신호(D_CTRL1)와 제 2 거리 제어 신호(D_CTRL2)에 의해 3차원 영상들의 거리를 제어(일예로, 전체 프레임의 좌측 또는 우측 방향으로의 이동을 제어)함으로서 3차원 영상의 거리감을 조절할 수 있다.

기울기 제어부(133), 제 1 거리 제어부(134), 및 제 2 거리 제어부(135) 각각을 제어 신호들(기울기 제어 신호(SL_CTRL), 제 1 거리 제어 신호(D_CTRL1), 제 2 거리 제어 신호(D_CTRL2))에 의해 제어함으로서 3차원 영상을 생성할 때 입체감을 제어할 수 있다.

본 발명의 다시점 3차원 영상 변환 장치(100)는 2차원 영상으로부터 양안 시차에 따른 두 개의 영상들(제 1 영상과 제 2 영상)을 생성할 수 있다.

이때, 다시점 3차원 영상 변환 장치(100)는 두 개의 영상들 중 하나의 영상을 깊이 지도에 따라 생성할 수 있고, 다른 하나의 영상을 기울기 제어에 의해 생성할 수 있다. 즉, 본 발명의 다시점 3차원 영상 변환 장치(100)는 입력되는 2차원 영상에서 양안시차를 가진 제 1 영상(좌측(L) 또는 우측(R) 영상)과 제 2 영상(우측(R) 또는 좌측(L) 영상)을 생성해서 사용자에게 제공할 수 있다.

도 14는 본 발명의 실시예에 따른 사용자 시점에 따른 깊이 지도와 기울기 지도를 도시한 도면이다.

도 14를 참조하면, (a)는 좌측 영상의 깊이 지도들이다. (b)는 우측 영상의 기울기 지도들이다. 시차 처리부(132)에서 생성되는 제 1 영상은 (a)에서와 같은 좌측 영상을 생성하고, 기울기 제어부(134)에서 생성되는 제 2 영상은 (b)에서와 같은 우측 영상을 생성한다.

(a)는 사용자 시점에 따라 L(-3), L(-2), L(1), L(0), L(1), L(2), 및 L(3)에 대응되는 깊이가 설정된 좌측 영상의 깊이 지도들을 도시한다.

(b)는 사용자 시점에 따라 R(-3), R(-2), R(1), R(0), R(1), R(2), 및 R(3)에 대응되는 깊이가 설정된 우측 영상의 기울기 지도들을 도시한다.

(c)는 도 2에서 도시된 사용자 시점에 대응되는 보정된 깊이 지도를 사용하여 생성된 제 1 영상과, 기울기를 제어하여 생성된 제 2 영상를 도시한다. 여기서, 가로축은 (141)으로부터의 좌측 또는 우측에 따른 방향을 나타내고, 세로축은 화면(141)으로부터의 거리를 나타낸다.

예를 들어, 사용자 시점이 좌표 (1, -5)에 해당하면, L(-3)과 R(-1)에 대응되는 3차원 영상(제 1 영상과 제 2 영상)을 생성할 수 있다. 사용자 시점이 좌표 (0, 2)에 해당하면, L(0)과 R(2)에 대응되는 3차원 영상(제 1 영상과 제 2 영상)을 생성할 수 있다.여기서, 사용자 시점에 대응되는 3차원 영상은 일예로, 좌측,우측,정면 총 7개의 영상들의 조합을 통해 사용자 시점에 따라 22개로 구분된 영역에 대한 다시점 영상들을 생성할 수 있다. 하지만, 좌측 영상의 깊이 지도와 여기서 설명된 우측 영상의 기울기 지도들 각각의 개수와 사용자 시점에 따른 영역 개수는 변화될 수 있다.

도 15는 본 발명의 실시예에 따른 시차 처리부를 도시한 도면이다.

도 15를 참조하면, 시차 처리부(132)는 버퍼(510), 깊이 지도 변환부(520), 시차 연산부(530), 3차원 영상 보간부(540), 및 순환 버퍼(550)를 포함한다.

버퍼(510)는 2차원 영상을 저장한다. 버퍼(510)는 2차원 영상의 적녹청(Red-Green-Blue, 이하 'RGB'라 칭하기로 함)값을 저장한다. 버퍼(510)는 2차원 영상의 RGB를 시차 연산부(520)로 출력한다.

깊이 지도 변환부(520)는 깊이 지도와 제 1 다시점 정보를 수신한다. 깊이 지도 변환부(520)는 깊이 지도를 제 1 다시점 정보를 사용하여 다시점 영상 생성을 위한 다시점 깊이 지도를 생성한다. 깊이 지도 변환부(520)는 깊이 지도의 상대적인 깊이를 사용자 시점에 따라 깊이를 증가 또는 감소시킬 수 있다. 깊이 지도 변환부(520)는 곱셈기를 사용하여 구현할 수 있다. 깊이 지도는 일예로, 0~255단계를 가질 수 있다. 깊이 지도 변환부(520)는 사용자 시점에 따라 선택된 제 1 다시점 정보(일예로, 모수)를 깊이 지도와 곱셈한다. 여기서, 모수가 ‘#0’이면, ‘1.0’의 값을 갖고, 모수가 ‘#1’, ‘1.1’의 값을 갖고, 모수가 ‘#2’이면, ‘1.2’의 값을 갖고, 모수가 ‘#3’이면, ‘1.3’의 값을 가질 수 있다. 하지만, 모수는 일예로 설명된 것으로 다양한 값으로 설정될 수 있다.

깊이 지도 변환부(520)는 모수값이 곱해진 깊이 지도에서 생성된 결과 값을 0~255단계로 잘라 다시점 깊이 지도를 생성한다. 여기서는 모수값이 곱해진 깊이 지도를 정규화하는 것이 아니고, 255를 초과하는 값들에 대해서는 255의 값으로 고정한다. 깊이지도 변환부(520)는 다시점 깊이 지도의 생성을 통해 깊이 지도의 영상에 비해 상대적으로 깊이 차이가 더 변화한다. 깊이 지도 변환부(520)는 사용자의 시점에 따른 (0, 5)의 좌표일 때, 다시점 정보 선택부(131)에 의해 선택된 제 1 다시점 정보(일예로, 모수 #2에 대응되는 1.2)를 깊이 지도와 곱셈한다. 이를 통해, 깊이 지도 변환부(520)는 깊이 지도 내에서 ‘150’의 값은 다시점 깊이 지도에서 ‘180’의 값으로 변환된다.

또한, 깊이 지도 변환부(520)는 인버터를 추가로 포함할 수 있다. 깊이 지도 변환부(520)는 제 1 다시점 정보(일예로, 깊이 방향)에 근거하여 ‘+’ 방향 또는 ‘-’ 방향 중 하나의 방향에 대해 인버터를 사용하여 모수가 곱해진 깊이 지도에 방향을 설정할 수 있다. 따라서, 깊이 지도 변환부(520)는 모수와 깊이 방향을 사용하여 사용자 시점에 대응되는 다시점 깊이 지도를 생성할 수 있다. 깊이 지도 변환부(520)는 다시점 깊이 지도를 시차 연산부(530)로 출력한다.

시차 연산부(530)는 2차원 영상(RGB)을 보정된 깊이 지도를 참조해 버퍼(510)에서 전달되는 영상들을 이용해서 제 1 영상(3차원 영상)을 생성한다. 시차 연산부(530)는 제 1 영상 생성을 위해 2차원 영상을 각 픽셀들에 설정된 깊이 지도의 깊이값에 따라 이동시킨다. 시차 연산부(530)는 다시점 깊이 지도에 설정된 방향이 일예로 ‘+’ 방향에 대해 인버터 연산이 적용된다고 가정한다. 예를 들어, 보정된 깊이 지도가 255(0xff)이면, 인버스 연산을 통해 0(0x00)이 되고, 보정된 깊이 지도가 127(0x7f)이면, 인버스 연산을 통해 128(0x10)이 될 수 있다. 시차 연산부(530)는 생성된 제 1 영상을 3차원 영상 보간부(540)로 출력한다.

3차원 영상 보간부(540)는 시차 연산부(530)에서 전달된 제 1 영상을 각각의 깊이를 이용해서 보간한다. 3차원 영상 보간부(540)는 보간된 제 1 영상을 순환 버퍼(550)로 출력한다.

순환 버퍼(550)는 링 형태로 순환되는 구조를 가질 수 있다. 3차원 영상 보간부(540)에서 보간된 제 1 영상은 순환 버퍼(550)에 저장된다. 순환 버퍼(550)에 저장된 영상은 순환 버퍼(550)에 의해 순차적으로 출력한다.

도 16는 본 발명의 실시예에 따른 시차 처리부의 3차원 영상 생성 동작을 도시한 도면이다.

도 16을 참조하면, 시차 처리부(132)는 2차원 영상을 깊이 지도를 사용하여 3차원 영상으로 변환한다.

(a)에서, 2차원 영상이 도시된다.

(b1)-(b4)에서, 다시점 깊이 지도가 도시된다.

(c1)-(c4)에서, 깊이 지도에 의해 2차원 영상으로부터 획득된 3차원 영상이 도시된다. 시차 처리부(132)는 2차원 영상의 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각을 일예로, 다시점 깊이 지도에 설정된 깊이에 따라 우측으로 이동(쉬프트)시킨다. 여기서, 시차 처리부는 (c)에서, 시차 처리부(132)는 제 1 영상(일예로, 양안 시차에 따른 3차원 좌측 영상)의 생성을 일예로 설명한다. 하지만, 제 1 영상을 생성하기 위해, 시차 처리부(132)는 2차원 영상의 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각을 깊이 지도에 설정된 깊이에 따라 우측으로 이동(쉬프트)(일예로, 양안 시차에 따른 3차원 우측 영상의 생성을 위해)시킬 수도 있다.

(b1)에서, 다시점 깊이 지도의 제 1 영역(610)은 '0'의 깊이로 설정된다. 다시점 깊이 지도의 제 2 영역(620)은 '4'의 깊이로 설정된다. 다시점 깊이 지도의 제 3 영역(630)은 '2'의 깊이로 설정된다. 다시점 깊이 지도의 제 4 영역(640)은 '10'의 깊이로 설정된다. (c1)에서, 2차원 영상(a)은 다시점 깊이 지도(b1)에 의해 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각이 ‘0’, ‘4’, ‘2’, ‘10’만큼 이동되었다.

(b2)에서, 다시점 깊이 지도의 제 1 영역(610)은 '0'의 깊이로 설정된다. 다시점 깊이 지도의 제 2 영역(620)은 '5'의 깊이로 설정된다. 다시점 깊이 지도의 제 3 영역(630)은 '2'의 깊이로 설정된다. 다시점 깊이 지도의 제 4 영역(640)은 '13'의 깊이로 설정된다. (c2)에서, 2차원 영상(a)은 다시점 깊이 지도(b2)에 의해 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각이 ‘0’, ‘5’, ‘2’, ‘13’만큼 이동되었다.

(b3)에서, 다시점 깊이 지도의 제 1 영역(610)은 '0'의 깊이로 설정된다. 다시점 깊이 지도의 제 2 영역(620)은 '6'의 깊이로 설정된다. 다시점 깊이 지도의 제 3 영역(630)은 '3'의 깊이로 설정된다. 다시점 깊이 지도의 제 4 영역(640)은 '14'의 깊이로 설정된다. (c3)에서, 2차원 영상(a)은 다시점 깊이 지도(b3)에 의해 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각이 ‘0’, ‘6’, ‘3’, ‘14’만큼 이동되었다.

(b4)에서, 다시점 깊이 지도의 제 1 영역(610)은 '0'의 깊이로 설정된다. 다시점 깊이 지도의 제 2 영역(620)은 '7'의 깊이로 설정된다. 다시점 깊이 지도의 제 3 영역(630)은 '3'의 깊이로 설정된다. 다시점 깊이 지도의 제 4 영역(640)은 '16'의 깊이로 설정된다. (c4)에서, 2차원 영상(a)은 다시점 깊이 지도(b4)에 의해 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각이 ‘0’, ‘7’, ‘3’, ‘16’만큼 이동되었다.

도 17은 본 발명의 실시예에 따른 기울기 제어부의 기울기 제어 동작을 도시한 도면이다.

도 17을 참조하면, 기울기 제어부(134)는 2차원 영상을 제 2 다시점 정보에 근거하여 기울기를 제어할 수 있다.

(a)에서, 기울기 제어부(134)는 (0, 1) 좌표에 대응되는 제 2 다시점 정보를 수신할 수 있다. 이때, 기울기 제어부(134)는 좌측의 2차원 영상의 기울기를 제어할 수 있다. 기울기 제어부(134)는 제 2 다시점 정보, 일예로, 도 14의 R(1)에 대응되는 영상을 생성하기 위한 기울기 값과 기울기 방향을 수신한다. 기울기 제어부(134)는 좌측의 2차원 영상으로부터 기울기 제어를 통해 우측의 R(1)에 대응되는 제 2 영상을 생성한다.

(b)에서, 기울기 제어부(134)는 (0, -1) 좌표에 대응되는 제 2 다시점 정보를 수신할 수 있다. 이때, 기울기 제어부(134)는 좌측의 2차원 영상의 기울기를 제어할 수 있다. 기울기 제어부(134)는 제 2 다시점 정보, 일예로, 도 14의 R(-1)에 대응되는 영상을 생성하기 위한 기울기 값과 기울기 방향을 수신한다. 기울기 제어부(134)는 좌측의 2차원 영상으로부터 기울기 제어를 통해 우측의 R(-1)에 대응되는 제 2 영상을 생성한다.

기울기 제어부(134)는 픽셀들로 구성된 픽셀 라인들 각각을 기울기에 따라 우측 또는 좌측으로의 이동을 통해 제 2 영상의 기울기를 제어할 수 있다.

그러므로 시차 처리부(132)와 기울기 제어부(134)는 제 1 영상과 제 2 영상을 생성할 수 있다. 일예로, 양안 시차에 따라 시차 처리부(132)가 좌측의 제 1 영상을 생성하면, 기울기 제어부(134)는 우측의 제 2 영상을 생성할 수 있다. 이와 반대로, 양안 시차에 따라 시차 처리부(132)가 우측의 제 1 영상을 생성하면, 기울기 제어부(134)는 좌측의 제 2 영상을 생성할 수 있다.

도 18은 본 발명의 실시예에 따라 생성되는 제 1 영상들과 제 2 영상들을 개략적으로 도시한 도면이다.

도 18을 참조하면, 시차 처리부(132)는 (a)에 도시된 5개의 제 1 영상들 중 사용자 시점에 의해 선택된 하나의 영상을 생성할 수 있다. 기울기 제어부(133)는 (b)에 도시된 5개의 제 2 영상들 중 사용자 시점에 의해 선택된 하나의 영상을 생성할 수 있다.

화면(141)을 통해 재생되는 피사체는 사용자의 시점에 따라 다양한 형태를 갖는다. 정면에서 물체를 바라볼 때와 좌측 또는 우측에서 물체를 바라볼 때, 피사체의 형태는 변화될 수 있다. 이에 본 발명의 다시점 영상 생성 장치는 좌측의 시점과 우측의 시점에 근거하여 사용자 시점이 측면으로 위치할수록 영상의 깊이(또는, 기울기)(d(x))가 큰 값을 갖는다.

도 19는 본 발명의 실시예에 따른 제 1 거리 제어부와 제 2 거리 제어부의 동작을 도시한 도면이다.

도 19를 참조하면, 제 1 거리 제어부(134)와 제 2 거리 제어부(135)는 제 1 영상과 제 2 영상 각각의 거리 변화를 통해 사용자에게 인식되는 3차원 영상의 거리감을 제어할 수 있다. 제 1 거리 제어부(134)는 제 1 거리 제어 신호(D_CTRL1)에 응답하여 동작하고, 제 2 거리 제어부(135)는 제 2 거리 제어 신호(D_CTRL2)에 응답하여 동작한다. 이를 통해 제 1 거리 제어부(134)와 제 2 거리 제어부(135)는 3차원 영상을 통해 사용자에 의해 감지되는 거리감을 변화시킬 수 있다. 여기서, 제 1 거리 제어 신호(D_CTRL1)와 제 2 거리 제어 신호(D_CTRL2)는 제 1 영상과 제 2 영상 간의 거리(또는, 간격)를 증가시키거나 감소시키기 위한 신호들이다.

제 1 거리 제어부(134)와 제 2 거리 제어부(135)는 각각 제 1 영상을 좌측(왼쪽)으로 이동시키고, 제 2 영상을 우측(오른쪽)으로 이동하도록 제어할 수 있다. 이를 통해, 사용자에게 제공되는 3차원 영상들(제 1 영상 및 제 2 영상) 간의 거리가 증가하게 된다. 제 1 방향(710)으로의 제어에 의해, 3차원 영상을 제공받는 사용자는 3차원 영상의 거리감을 멀어지도록 느낄 수 있다.

또한, 제 1 거리 제어부(134)와 제 2 거리 제어부(135)는 각각 제 1 영상을 우측(오른쪽)으로 이동시키고, 제 2 영상을 좌측(왼쪽)으로 이동하도록 제어할 수 있다. 이를 통해, 사용자에게 제공되는 3차원 영상들(제 1 영상 및 제 2 영상) 간의 거리가 감소하게 된다. 제 2 방향(720)으로의 제어에 의해, 3차원 영상을 제공받는 사용자는 3차원 영상의 거리감을 가까워지도록 느낄 수 있다.

결국, 본 발명의 다시점 3차원 영상 변환 장치(100)는 3차원 영상 생성 시 사용자 시점에 근거하여 생성할 수 있다. 따라서, 본 발명의 다시점 3차원 영상 변환 장치(100)는 사용자 시점의 변화에 따라 더욱 현실감 있는 3차원 영상을 생성할 수 있다.

본 발명의 다시점 3차원 영상 변환 장치는 칩(일예로, 단일 칩) 형태로 구현될 수 있고, 차세대 디스플레이 장치들, 일예로 텔레비전(TV), 모니터, 노트북, 넷북, 디지털 비디오 디스크(DVD: Digital Video Disk) 플레이어, 휴대용 멀티미디어 플레이어(PMP: Portable Media Player), 휴대폰, 태블릿, 네비게이션 장치 등)에 적용될 수 있다. 또한 가상 입력 장치(Virtial Input Device) 및 실감 체험 영상의 생성, 일예로 홀로그램 디스플레이(Hologram Display)등에 적용될 수 있다. 또한 본 발명의 다시점 3차원 영상 변환 장치는 차세대 디스플레이 장치들 각각의 내부에 구현될 수도 있다.

100: 다시점 3차원 영상 변환 장치
110: 센서부 120: 지도 생성부
130: 다시점 영상 생성부 140: 디스플레이부
121: 전처리부 122: 전체 영상 처리부
123: 지역 영상 처리부 124: 깊이 지도 생성부
125: 깊이 지도 보정부 131: 다시점 정보 선택부
132: 시차 처리부 133: 기울기 제어부
134: 제 1 거리 제어부 135: 제 2 거리 제어부
210: 밝기 보정부 220: 깊이 생성부
211: 테이블 선택부 212: 밝기값 변환부
213: 밝기 정보 추출부 214: 보정 밝기값 생성부
310: 지도 연산부
510: 버퍼 520: 깊이 지도 변환부
530: 시차 연산부 540: 3차원 영상 보간부
550: 순환 버퍼

Claims

제 1 영상과 제 2 영상을 디스플레이하는 디스플레이부;
상기 디스플레이부의 화면을 기준으로 하는 사용자 시점을 감지하는 센서부;
현재 영상 프레임과 이전 영상 프레임을 수신하고, 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 깊이 지도 생성부; 및
상기 깊이 지도와 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 상기 제 1 영상을 생성하고, 상기 사용자 시점에 근거하여 상기 현재 영상 프레임의 기울기 제어를 통해 상기 제 2 영상을 생성하는 다시점 영상 생성부를 포함하고,
상기 제 1 영상과 상기 제 2 영상은 3차원 영상을 구성하기 위한 영상인 다시점 3차원 영상 변환 장치.
제 1 항에 있어서,
상기 지도 생성부는
상기 이전 영상 프레임을 사용하여 원근감 정보가 설정된 복수개의 기본 지도들 중에서 하나의 기본 지도를 선택하고, 상기 이전 영상 프레임을 사용하여 밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 하나의 밝기 보정 테이블을 선택하는 전처리부;
상기 선택된 기본 지도에 따라 상기 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 전체 영상 처리부;
상기 현재 영상 프레임을 상기 선택된 밝기 보정 테이블로 밝기 보정하여 지역 깊이 지도를 생성하는 지역 영상 처리부; 및
상기 전체 깊이 지도와 상기 지역 깊이 지도의 연산을 통해 상기 깊이 지도를 생성하는 깊이 지도 생성부를 포함하는 다시점 3차원 영상 변환 장치.
제 1 항에 있어서,
상기 3차원 영상 생성부는
상기 사용자 위치 정보에 대응되는 제 1 다시점 정보와 제 2 다시점 정보를 선택하는 다시점 정보 선택부;
상기 깊이 지도를 상기 제 1 다시점 정보에 따라 다시점 처리하고, 상기 다시점 처리된 다시점 깊이 지도와 상기 현재 영상 프레임의 연산을 통해 상기 현재 영상 프레임으로부터 3차원 영상 재생을 위한 제 1 영상을 생성하는 시차 처리부; 및
상기 현재 영상 프레임을 상기 제 2 다시점 정보를 사용한 기울기 연산을 통해 3차원 영상 재생을 위한 제 2 영상을 생성하는 기울기 제어부를 포함하는 다시점 3차원 영상 변환 장치.
제 3 항에 있어서,
상기 제 1 다시점 정보는 상기 깊이 지도를 다시점 처리하기 위한 모수와 깊이 방향에 대한 정보를 포함하는 다시점 3차원 영상 변환 장치.
제 3 항에 있어서,
상기 제 2 다시점 정보는 상기 현재 영상 프레임을 다시점 처리하기 위한 기울기 값과 기울기 방향에 대한 정보를 포함하는 다시점 3차원 영상 변환 장치.
제 3 항에 있어서,
상기 3차원 영상 생성부는
상기 제 1 영상을 제 1 거리 제어 신호에 따라 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 제 1 거리 제어부; 및
상기 제 2 영상을 제 2 거리 제어 신호에 따라 우측과 좌측 방향 중 하나의 방향으로 이동하도록 제어하는 제 2 거리 제어부를 더 포함하는 다시점 3차원 영상 변환 장치.
제 6 항에 있어서,
상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들인 다시점 3차원 영상 변환 장치.
제 3 항에 있어서,
상기 시차 처리부는
상기 현재 영상 프레임을 저장하는 버퍼;
상기 깊이 지도와 상기 제 1 다시점 정보를 수신하고, 상기 깊이 지도를 상기 다시점 정보에 따라 다시점 처리하는 깊이 지도 변환부;
상기 버퍼로부터 출력된 현재 영상 프레임을 상기 다시점 처리된 다시점 깊이 지도와 연산하여 상기 제 1 영상을 생성하는 시차 연산부;
상기 제 1 영상을 보간하는 3차원 영상 보간부; 및
상기 보간된 제 1 영상을 순차적으로 선택하여 출력하는 순환 버퍼를 포함하는 다시점 3차원 영상 변환 장치.
제 3 항에 있어서,
상기 기울기 제어부는
상기 제 2 다시점 정보를 수신하고, 상기 현재 영상 프레임을 상기 제 2 다시점 정보에 따라 다시점 처리하는 다시점 3차원 영상 변환 장치.
제 1 항에 있어서,
상기 제 1 영상이 좌측 영상이면, 상기 제 2 영상은 우측 영상이고, 상기 제 1 영상이 우측 영상이면, 상기 2 영상은 좌측 영상인 다시점 3차원 영상 변환 장치.
제 1 항에 있어서,
상기 단위 요소는 픽셀임을 특징으로 하는 다시점 3차원 영상 변환 장치.
디스플레이 화면으로부터의 사용자 위치를 감지하는 단계;
이전 영상 프레임과 현재 영상 프레임을 사용하여 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 단계;
상기 사용자 위치에 대응되는 제 1 다시점 정보를 선택하고, 상기 제 1 다시점 정보에 근거하여 상기 깊이 지도를 다시점 깊이 지도로 변환하는 단계;
상기 다시점 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하는 단계;
상기 사용자 위치에 대응되는 제 2 다시점 정보를 선택하고, 상기 제 2 다시점 정보에 근거하여 상기 현재 영상 프레임의 기울기 제어를 통해 제 2 영상을 생성하는 단계; 및
상기 제 1 영상과 상기 제 2 영상을 동기 제어하여 출력하는 단계를 포함하는 다시점 3차원 영상 변환 방법.
제 12 항에 있어서,
상기 제 1 다시점 정보는 상기 깊이 지도를 다시점 처리하기 위한 모수와 깊이 방향에 대한 정보를 포함하는 다시점 영상 변환 방법.
제 12 항에 있어서,
상기 제 2 다시점 정보는 상기 현재 영상 프레임을 다시점 처리하기 위한 기울기 값과 기울기 방향에 대한 정보를 포함하는 다시점 영상 변환 방법.
제 12 항에 있어서,
상기 현재 영상 프레임과 상기 이전 영상 프레임은 2차원 영상 프레임인 다시점 영상 변환 방법.