KR101165728B1 - 3차원 영상 변환 장치 및 방법 - Google Patents

Abstract

본 발명은 3차원 영상 변환 장치에 관한 것이다. 3차원 영상 변환 장치는 현재 영상 프레임과 이전 영상 프레임을 사용하여 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 지도 생성부, 및 상기 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하고, 상기 현재 영상 프레임의 기울기 제어를 통해 제 2 영상을 생성하는 3차원 영상 생성부를 포함한다.

Description

3차원 영상 변환 장치 및 방법{APPARATUS AND METHOD FOR CONVERTING THREE DIMENSION IMAGE}

본 발명은 영상 변환 시스템에 관한 것으로, 2차원 영상을 3차원 영상으로 실시간 변환하는 3차원 영상 변환 장치 및 방법에 관한 것이다.

현재 영상 디스플레이 장치들은 고화질 영상을 제공하도록 변화하고 있다. 또한, 영상 디스플레이 장치들은 2차원 영상뿐만 아니라 3차원 영상을 제공할 수 있도록 발전을 거듭하고 있다. 3차원 영상을 제공하는 영상 디스플레이 장치들은 사용자들에게 2차원 영상을 통한 정보 전달뿐만 아니라 3차원의 영상을 통한 3차원 정보 전달을 통해 현실감 있는 체험을 사용자에게 제공하도록 발전하고 있다. 2차원 영상에 비해 3차원 영상은 보다 현실적이고 입체적인 정보를 제공할 수 있다. 그러므로, 3차원 영상 컨텐츠에 대한 수요는 꾸준히 증가하고 있다.

3차원 영상 디스플레이 장치들의 활성화를 위해 다양한 3차원 컨텐츠가 제공되어야 한다. 하지만 3차원 영상 디스플레이 장치의 발전과 달리 3차원 영상 컨텐츠는 제작단계에서 많은 비용을 필요로 한다. 또한, 다양한 표준들로 인해 3차원 방송을 비롯해 3차원 컨텐츠 제작이 활성화되지 못하고 있다. 또한, 기존의 영상 컨텐츠는 2차원 영상으로 제작되어 있어서 3차원 영상을 제공하는 디스플레이 장치에서 활용되지 못한다. 그러므로, 2차원 영상을 3차원 영상으로의 변환을 통해 3차원 영상 디스플레이 장치에서 활용할 필요성이 있다.

본 발명의 목적은 2차원 영상을 3차원 영상으로 변환할 수 있는 3차원 영상 변환 장치를 제공함에 있다.

본 발명의 3차원 영상 변환 장치는 현재 영상 프레임과 이전 영상 프레임을 사용하여 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 지도 생성부, 및 상기 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하고, 상기 현재 영상 프레임의 기울기 제어를 통해 제 2 영상을 생성하는 3차원 영상 생성부를 포함한다.

이 실시예에 있어서, 상기 지도 생성부는 상기 이전 영상 프레임을 사용하여 원근감 정보가 설정된 복수개의 기본 지도들 중에서 하나의 기본 지도를 선택하고, 상기 이전 영상 프레임을 사용하여 밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 하나의 밝기 보정 테이블을 선택하는 전처리부, 상기 선택된 기본 지도에 따라 상기 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 전체 영상 처리부, 상기 현재 영상 프레임을 상기 선택된 밝기 보정 테이블로 밝기 보정하여 지역 깊이 지도를 생성하는 지역 영상 처리부, 및 상기 전체 깊이 지도와 상기 지역 깊이 지도의 연산을 통해 상기 깊이 지도를 생성하는 깊이 지도 생성부를 포함한다.

이 실시예에 있어서, 상기 지도 생성부는 상기 깊이 지도 내의 각 픽셀의 깊이를 적어도 두 개의 라인에 포함된 상기 단위 요소들 간의 평균 연산을 통해 보정하는 깊이 지도 보정부를 더 포함한다.

이 실시예에 있어서, 상기 지역 영상 처리부는 상기 현재 영상 프레임을 상기 선택된 밝기 변환 테이블로 밝기를 보정하는 밝기 보정부, 및 상기 현재 영상 프레임의 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성하는 깊이 생성부를 포함한다.

이 실시예에 있어서, 상기 밝기 보정부는 상기 선택된 밝기 보정 테이블에 대응되는 밝기 보정 테이블을 선택하는 테이블 선택부, 상기 선택된 테이블에 따라 상기 현재 영상 프레임의 입력 밝기값에 대응되는 출력 밝기값을 선택하는 밝기값 변환부, 상기 현재 영상 프레임의 입력 밝기값을 추출하는 밝기 정보 추출부, 및 상기 입력 밝기값을 상기 출력 밝기값으로 치환시켜 상기 현재 영상 프레임의 밝기값을 보정하는 보정 밝기값 생성부를 포함한다.

이 실시예에 있어서, 상기 3차원 영상 생성부는 상기 현재 영상 프레임과 상기 깊이 지도의 연산을 통해 상기 현재 영상 프레임으로부터 3차원 영상 재생을 위한 제 1 영상을 생성하는 시차 처리부, 및 상기 현재 영상 프레임의 기울기 제어를 통해 3차원 영상 재생을 위한 제 2 영상을 생성하는 기울기 제어부를 포함한다.

이 실시예에 있어서, 상기 3차원 영상 생성부는 상기 제 1 영상을 제 1 거리 제어 신호에 따라 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 제 1 거리 제어부, 및 상기 제 2 영상을 제 2 거리 제어 신호에 따라 우측과 좌측 방향 중 하나의 방향으로 이동하도록 제어하는 제 2 거리 제어부를 더 포함한다.

이 실시예에 있어서, 상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들이다.

이 실시예에 있어서, 상기 시차 처리부는 상기 현재 영상 프레임을 저장하는 버퍼, 상기 버퍼로부터 출력된 현재 영상 프레임을 상기 깊이 지도와 연산하여 상기 제 1 영상을 생성하는 시차 연산부, 상기 제 1 영상을 보간하는 3차원 영상 보간부, 및 상기 보간된 제 1 영상을 순차적으로 선택하여 출력하는 순환 버퍼를 포함한다.

이 실시예에 있어서, 상기 제 1 영상이 좌측 영상이면, 상기 제 2 영상은 우측 영상이고, 상기 제 1 영상이 우측 영상이면, 상기 2 영상은 좌측 영상이다.

이 실시예에 있어서, 상기 단위 요소는 픽셀임을 특징으로 한다.

본 발명의 3차원 영상 변환 방법은 이전 영상 프레임을 사용하여 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 단계, 상기 이전 영상 프레임을 사용하여 상기 현재 영상 프레임의 밝기값을 보정한 지역 깊이 지도를 생성하는 단계, 상기 전체 깊이 지도와 상기 지역 깊이 지도를 사용하여 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 단계, 상기 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하는 단계, 상기 현재 영상 프레임의 기울기를 제어를 통해 제 2 영상을 생성하는 단계, 및 3차원 영상 재생을 위한 상기 제 1 영상과 상기 제 2 영상을 동기 제어하여 출력하는 단계를 포함한다.

이 실시예에 있어서, 상기 전체 깊이 지도를 생성하는 단계는 원근감이 설정된 복수개의 기본 지도들 중에서 상기 이전 영상 프레임에 대응되는 기본 지도를 선택하는 단계, 및 상기 기본 지도를 사용하여 상기 전체 깊이 지도를 생성하는 단계를 포함한다.

이 실시예에 있어서, 상기 지역 깊이 지도를 생성하는 단계는 밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 상기 이전 영상 프레임에 대응되는 밝기 보정 테이블을 선택하는 단계, 상기 밝기 보정 테이블을 사용하여 상기 현재 영상 프레임의 구성 요소들 각각의 밝기값을 보정하는 단계, 및 상기 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성하는 단계를 포함한다.

이 실시예에 있어서, 제 1 거리 제어 신호에 응답하여 상기 제 1 영상을 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 단계, 및 제 2 거리 제어 신호에 응답하여 상기 제 2 영상을 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 단계를 더 포함한다.

이 실시예에 있어서, 상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들이다.

이 실시예에 있어서, 상기 현재 영상 프레임과 상기 이전 영상 프레임은 2차원 영상 프레임이다.

본 발명에 의하면, 3차원 영상 변환 장치는 2차원 영상의 깊이 정보를 사용하여 시차 처리, 기울기 제어, 및 거리 제어에 의해 2차원 영상으로부터 3차원 영상을 위한 2 개의 좌측 영상과 우측 영상을 생성함으로서 2차원 영상을 3차원 영상으로 변환할 시킬 수 있다. 또한, 본 발명의 3차원 영상 변환 장치는 영상 변환에 소모되는 시간을 최소화함으로서 2차원 영상을 3차원 영상으로 실시간 변환 시킬 수 있다. 또한, 본 발명의 3차원 영상 변환 장치는 실시간 영상 변환이 가능함으로서 시간 지연에 필요한 부가적인 저장 장치의 크기를 감소시킬 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 영상 변환 장치를 도시한 도면,
도 2는 본 발명의 실시예에 따른 기본 지도들과 기본 지도 인덱스들을 도시한 도면,
도 3a 내지 도 3d는 본 발명의 실시예에 따른 밝기 보정 테이블 인덱스 ‘1’, ‘2’, ‘3’, 및 ‘k’ 각각에 대응되는 밝기 보정 테이블을 이용한 밝기 보정을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 지역 영상 처리부를 도시한 도면,
도 5는 본 발명의 실시예에 따른 밝기 보정부를 도시한 도면,
도 6은 본 발명의 실시예에 따른 깊이 지도 생성부를 도시한 도면,
도 7은 본 발명의 실시예에 따른 전체 깊이 지도, 지역 깊이 지도, 및 깊이 지도를 도시한 도면,
도 8은 본 발명의 실시예에 따른 깊이 지도 생성부의 깊이 지도 생성 동작을 도시한 도면,
도 9는 본 발명의 실시예에 따른 깊이 지도 보정에 따라 영상 필드에 할당된 깊이 지도를 도시한 도면,
도 10은 본 발명의 실시예에 따른 깊이 지도와 보정된 깊이 지도를 도시한 도면,
도 11은 본 발명의 실시예에 따른 시차 처리부를 도시한 도면,
도 12는 본 발명의 실시예에 따른 시차 처리부의 3차원 영상 생성 동작을 도시한 도면,
도 13은 본 발명의 실시예에 따른 기울기 제어부의 기울기 제어 동작을 도시한 도면,
도 14는 본 발명의 실시예에 따른 제 1 거리 제어부와 제 2 거리 제어부의 동작을 도시한 도면,
도 15는 본 발명의 실시예에 따른 양안 시차를 가지는 의 좌측 영상과 우측 영상을 도시한 도면,
도 16은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 제 1 영상 생성 동작을 도시한 순서도,
도 17은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 제 2 영상 생성 동작을 도시한 순서도, 및
도 18은 본 발명의 실시예에 따른 3차원 영상 생성의 지연 시간을 비교한 타이밍도이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 발명의 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시 예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, "연결되는/결합되는"이란 표현은 다른 구성요소와 직접적으로 연결되거나 다른 구성요소를 통해 간접적으로 연결되는 것을 포함하는 의미로 사용된다. 본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.

본 발명은 2차원 영상을 3차원 영상으로 변환하는 3차원 영상 변환 장치를 제공한다.

도 1은 본 발명의 실시예에 따른 3차원 영상 변환 장치를 도시한 도면이다.

도 1을 참조하면, 3차원 영상 변환 장치(100)는 지도 생성부(110)와 3차원 영상 생성부(120)를 포함한다.

지도 생성부(110)는 2차원 영상으로부터 제 1 영상(3차원 영상)을 획득하기 위한 깊이 지도를 생성한다. 일예로, 깊이 지도는 2차원 영상을 구성하는 단위 요소(일예로, 픽셀)들 각각에 대해서 위치를 이동(일예로, 쉬프트(shift))시키기 위한 값(깊이)들이 설정된 지도이다.

지도 생성부(110)는 전처리부(111), 전체 영상 처리부(112), 지역 영상 처리부(113), 깊이 지도 생성부(114), 및 깊이 지도 보정부(115)를 포함한다.

전처리부(111)는 2차원 영상(이전(n-1) 영상 프레임)을 입력받는다. 이때, 전처리부(111)에 입력되는 2차원 영상(이전 영상 프레임)은 3차원 영상 변환 장치(100)에서 3차원 영상으로 변환을 위한 2차원 영상(현재(n) 영상 프레임)의 이전 영상 프레임이 입력된다.

3차원 영상 변환 장치(100)를 기준으로 2차원 영상인 현재 영상 프레임(n 영상 프레임)이 입력되면 이전 영상 프레임(n-1 영상 프레임)에서 계산된 값들이 현재 영상 프레임(n 영상 프레임)을 처리하는데 사용된다. 연속적으로 입력되는 영상 프레임들은 서로 유사한 특징을 가지고 있어서 이전 영상 프레임(n-1 영상 프레임)에서 추출한 영상의 특징을 현재 영상 프레임(n 영상 프레임)에 적용해서 처리한다.

전처리부(111)는 복수개의 전체 깊이 지도들 중에서 이전 영상 프레임(n-1 영상 프레임)과 유사한 기본 지도의 인덱스를 선택한다. 기본 지도는 이전 영상 프레임(n-1 영상 프레임)에 대응되는 픽셀들 각각의 깊이를 전체 영상의 원근감에 따라 설정하기 위한 지도이다. 기본 지도의 인덱스는 2차원 영상(n 영상 프레임)의 전체 영상 지도 생성에 사용될 수 있다. 전처리부(111)는 선택된 기본 지도 인덱스를 전체 영상 처리부(112)로 출력한다.

또한, 전처리부(111)는 복수개의 밝기 보정 테이블들 중에서 2차원 영상(이전(n-1) 영상 프레임)의 밝기 분포와 유사한 밝기 보정 테이블의 인덱스를 선택한다. 밝기 보정 테이블은 입력되는 2차원 영상(현재(n) 영상 프레임)에 대응되는 픽셀들 각각의 밝기를 보정해서 깊이 정보를 추출하기 위한 테이블이다. 전처리부(111)는 선택된 테이블 인덱스를 지역 영상 처리부(113)로 출력한다.

전체 영상 처리부(112)는 전처리부(111)에 의해 선택된 기본 지도 인덱스에 대응되는 전체 깊이 지도를 생성한다. 즉, 전체 영상 처리부(112)는 전체 깊이 지도를 생성함으로서 하나의 2차원 영상 프레임 전체에 대해 입체감을 설정할 수 있다. 전체 깊이 지도는 기본 지도에 의해 설정된 깊이들을 갖는다. 전체 영상 처리부(112)는 생성된 전체 깊이 지도를 깊이 지도 생성부(114)로 출력한다.

지역 영상 처리부(113)는 입력되는 2차원 영상(현재(n) 영상 프레임)으로부터 영상 내 각각의 화소에 대한 깊이의 설정을 통해 지역 깊이 지도를 생성한다. 지역 영상 처리부(113)는 지역 깊이 지도 생성에 의해 제 1 영상(3차원 영상) 생성 시 영상 내 화소들 각각에 대해 입체감을 설정할 수 있게 한다. 일예로, 2차원 영상(현재 영상 프레임)이 입력되면 지역 영상 처리부(113)는 영상의 밝기 정보를 추출한다. 이후 지역 영상 처리부(113)는 전처리부(111)에서 계산한 밝기보정 테이블의 인덱스에 해당하는 값으로부터 추출된 밝기값을 보정해서 지역 깊이 지도를 생성한다. 생성된 지역 깊이 지도를 깊이 지도 생성부(114)로 출력한다.

깊이 지도 생성부(114)는 전체 깊이 지도와 지역 깊이 지도를 입력받는다. 깊이 지도 생성부(114)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다. 여기서, 깊이 지도는 제 1 영상을 생성하기 위해 입력되는 현재 영상 프레임의 픽셀들 각각에 대해 설정된 깊이를 갖는다. 깊이 지도 생성부(114)는 생성된 깊이 지도를 깊이 지도 보정부(115)로 출력한다.

깊이 지도 보정부(115)는 3차원 영상의 화질 개선을 위해서 깊이 지도를 보정한다. 깊이 지도 보정부(115)는 깊이 지도를 보정함으로서 시차 처리 후 생성되는 영상의 화질을 개선시킨다. 따라서, 깊이 지도 보정부(115)는 생성되는 제 1 영상의 화질을 보다 선명하고 노이즈에 강하게 구현할 수 있다.

일예로, 깊이 지도 보정부(115)는 깊이 지도에서 하나의 픽셀을 기준으로 주변에 위치한 복수개의 픽셀들에 해당되는 깊이값에 대해 각각의 깊이 평균 및 깊이 보정을 통해 각 픽셀의 깊이를 보정한다. 깊이 지도 보정부(115)는 보정된 깊이 지도를 3차원 영상 생성부(120)로 출력한다.

3차원 영상 생성부(120)는 양안 시차에 따른 제 1 영상과 제 2 영상 (일예로, 좌측 영상과 우측 영상))을 생성한다. 3차원 영상 생성부(120)는 외부의 제어 신호들(기울기 제어신호(SL_CTRL), 제 1 거리 제어 신호(D_CTRL1), 제 2 거리 제어 신호(D_CTRL2)) 각각에 응답하여 3차원 영상의 깊이(깊이감) 및 3차원 영상의 거리(거리감)을 설정할 수 있다. 한편, 제 1 영상과 제 2 영상은 영상 프레임에 3차원의 입체감을 사용자에게 제공하기 위해 각각 생성된다. 그러므로 제 1 영상과 제 2 영상은 상호 간에 연관 관계를 갖는다. 따라서, 3차원 영상 생성부(120)는 제 1 영상과 제 2 영상 간에 동기 제어를 통해 3차원 영상들을 출력할 수 있다.

3차원 영상 생성부(120)는 시차 처리부(121), 기울기 제어부(122), 제 1 거리 제어부(123), 및 제 2 거리 제어부(124)를 포함한다.

시차 처리부(121)는 2차원 영상(현재(n) 영상 프레임)을 깊이 지도를 사용하여 제 1 영상으로 변환한다. 일예로, 제 1 영상을 생성하기 위해, 시차 처리부(121)는 2차원 영상 내 각 단위 요소(픽셀)들의 위치를 깊이 지도에 따라 재설정(일예로, 좌측 또는 우측 쉬프트)한다. 시차 처리부(121)는 제 1 영상을 제 1 거리 제어부(123)로 출력한다.

기울기 제어부(122)는 기울기 제어 신호(SL_CTRL)에 응답하여, 2차원 영상의 기울기를 제어를 통해 제 2 영상을 생성한다. 일예로, 제 2 영상을 생성하기 위해, 기울기 제어부(122)는 2차원 영상의 각 픽셀들의 위치를 미리 설정된 기울기에 근거하여 재설정한다.

예를 들어, 기울기 제어는 직사각형 형태의 영상 프레임을 마름모 형태의 영상 프레임으로 변환 시키는 제어를 의미한다. 정면에서 보여지는 영상을 측면에서 보여지는 것과 비슷하게 영상 프레임을 구성하는 픽셀 라인들(필드들) 각각에 깊이 정보를 설정할 수 있다. 영상 프레임은 복수개의 픽셀 라인들로 구성될 수 있다.

기울기 제어부(122)는 마름모 형태의 영상 프레임을 구성하기 위해 필드들 각각에 서로 다른 깊이를 설정한다. 기울기 제어부(122)는 영상 프레임의 필드들 각각을 순차적으로 좌측 쉬프트시키거나 우측 쉬프트시켜 영상 프레임을 마름모 형태로 변환할 수 있다. 기울기 변환부(122)에서 필드들의 쉬프트 정도(즉, 기울기 연산의 정도)에 따라 측면에서 보는 깊이감을 조절할 수 있다. 따라서, 쉬프트 정도가 클수록 사용자에게 깊이감을 크게 느껴지게 할 수 있다. 기울기 제어부(122)는 제 2 영상을 제 2 거리 제어부(124)로 출력한다.

기울기 제어부(122)는 사용자 제어(즉, 기울기 제어 신호(SL_CTRL))에 따른 제 2 영상의 기울기를 제어한다. 이를 통해 기울기 제어부(122)는 3차원 영상의 깊이감을 조절할 수 있다.

시차 처리부(121)와 기울기 제어부(122)는 양안 시차에 따른 두 개의 영상(제 1 영상과 제 2 영상(좌측 영상 또는 우측 영상))을 생성한다. 따라서 시차 처리부(121)에서 양안 시차에 따른 3차원 좌측(왼쪽) 영상을 생성하면, 기울기 제어부(122)는 양안 시차에 따른 3차원 우측(오른쪽) 영상을 생성한다. 또한, 시차 처리부(121)에서 양안 시차에 따른 3차원 우측 영상을 생성하면, 기울기 제어부(122)는 양안 시차에 따른 3차원 좌측 영상을 생성한다.

제 1 거리 제어부(123)는 제 1 거리 제어 신호(D_CTRL1)에 응답하여 제 1 영상의 거리(사용자에 의해 느끼게 되는 거리감)를 제어할 수 있다. 제 1 거리 제어부(123)는 제 1 영상을 좌측 또는 우측으로의 이동(shift)시킨 제 1 영상을 출력한다.

제 2 거리 제어부(124)는 제 2 거리 제어 신호(D_CTRL2)에 응답하여 제 2 영상의 거리를 제어할 수 있다. 제 2 거리 제어부(124)는 제 2 영상을 우측 또는 좌측으로의 이동(shift)시킨 제 2 영상을 출력한다.

제 1 거리 제어부(123)와 제 2 거리 제어부(124)는 사용자 제어 즉, 제 1 거리 제어 신호(D_CTRL1)와 제 2 거리 제어 신호(D_CTRL2)에 의해 3차원 영상들의 거리를 제어(일예로, 전체 프레임의 좌측 또는 우측 방향으로의 이동을 제어)함으로서 3차원 영상의 거리감을 조절할 수 있다.

기울기 제어부(122), 제 1 거리 제어부(123), 및 제 2 거리 제어부(124) 각각을 제어 신호들(기울기 제어 신호(SL_CTRL), 제 1 거리 제어 신호(D_CTRL1), 제 2 거리 제어 신호(D_CTRL2))에 의해 제어함으로서 3차원 영상을 생성할 때 입체감을 제어할 수 있다.

본 발명의 3차원 영상 변환 장치(100)는 2차원 영상으로부터 양안 시차에 따른 두 개의 영상들(제 1 영상과 제 2 영상)을 생성할 수 있다.

이때, 3차원 영상 변환 장치(100)는 두 개의 영상들 중 하나의 영상을 깊이 지도에 따라 생성할 수 있고, 다른 하나의 영상을 기울기 제어에 의해 생성할 수 있다. 즉, 본 발명의 3차원 영상 변환 장치(100)는 입력되는 2차원 영상에서 양안시차를 가진 제 1 영상(좌측(L) 또는 우측(R) 영상)과 제 2 영상(우측(R) 또는 좌측(L) 영상)을 생성해서 사용자에게 제공할 수 있다.

도 2는 본 발명의 실시예에 따른 기본 인덱스들과 기본 지도들을 도시한 도면이다.

도 2를 참조하면, 전처리부(111)는 2차원 영상의 원근감 추정을 통해서 미리 정의된 기본 지도들 중 하나의 인덱스를 선택한다. 따라서, 기본 지도는 영상의 원근감 정보를 갖는다.

예를 들어, 카메라 프레임에 찍힌 영상을 보면, 가까이 있는 피사체는 작은 원근감(근거리의 거리감)을 갖고, 풍경, 바다, 및 하늘 등의 배경은 피사체에 비해 큰 원근감(원거리의 거리감)을 갖는다. 그러므로, 하나의 영상 프레임을 기준으로 영상 프레임의 상부 영역과 하부 영역 사이에 거리감의 차이가 많이 나면 원거리 영상, 적게 나면 근거리 영상으로 간주한다. 원거리 영역에 대해 깊이를 ‘0’으로 설정하면, 근거리 영역으로 올수록 '0'보다 큰 값의 깊이값이 설정된다. 기본 지도는 2차원 영상이 근거리의 영상인지 원거리의 영상인지에 따라 깊이가 다르게 설정될 수 있다. 근거리 영상은 원거리 영상에 비해 상대적으로 배경 영상과 객체 영상 간에 깊이의 차이가 유사하다. 풍경을 기준으로 프레임의 상단은 원거리 또는 배경, 하단은 근거리 또는 객체라고 가정했을 때 원거리 영상은 근거리 영상에 비해 상대적으로 배경 영역보다 객체 영역이 큰 깊이를 갖는다.

여기서, 근거리 영상의 기본 지도 인덱스를 '1'로 설정하고, 원거리 영상의 기본 지도 인덱스를 'i'로 설정하였다.

일예로, 기본 지도 인덱스 '1'에 대응되는 기본 지도는 배경 영역과 객체 영역 간의 깊이 값의 차이가 없이 깊이 값이 균등한 분포를 갖는다. 하지만, 기본 지도 인덱스 'i'에 대응되는 기본 지도는 가장 하단을 기준으로 객체 영역이 배경 영역보다 큰 깊이 값을 갖는다. 근거리 영상으로부터 원거리 영상으로 변화함에 따라 기본 지도 인덱스는 '1'부터 인덱스 'i'까지 순차적으로 증가될 수 있다.

이때, 기본 지도 인덱스들 각각에 대해 좌측의 도형은 원근감을 나타내고, 우측은 이러한 원근감이 설정된 기본 지도를 나타낸다. 따라서 기본 지도에서 어두운 부분이 밝은 부분에 비래 원거리 영역이다. 여기서, 거리에 따라 설정된 기본 지도의 형태는 일예로 설명된 것으로 다른 다양한 형태로 구현될 수 있다.

전처리부(111)는 2차원 영상에서 전체 프레임의 분석을 통해서 2차원 영상과 유사한 기본 지도의 인덱스를 선택한다. 전처리부(111)는 선택된 기본 지도 인덱스를 전체 영상 처리부(112)로 전달한다. 전체 영상 처리부(112)는 기본 지도 인덱스에 대응되는 기본 지도를 깊이지도 생성부(114)로 전달한다. 기본 지도 인덱스에 대응되는 기본 지도들은 전체 영상 처리부(112) 내부에 위치한 메모리에 저장되거나 전체 영상 처리부(112) 외부에 위치한 메모리에 저장될 수 있다.

한편, 3차원 영상 변환 장치(100)에 2차원 영상이 최초로 입력되면, 전처리부(111)는 입력되는 2차원 영상(현재(n) 프레임)의 이전 2차원 영상(즉, 이전(n-1) 프레임)이 존재하지 않는다. 이때, 전처리부(111)는 미리 설정된 기본 지도 인덱스(일예로, 기본 지도 인덱스 'i')를 출력할 수 있다.

또한, 전처리부(111)는 2차원 영상 내에서 화소 각각의 밝기 보정을 위한 밝기 보정 테이블 인덱스를 선택한다. 전처리부(111)는 선택된 테이블 인덱스를 지역 영상 처리부(113)로 출력한다.

지역 영상 처리부(113)는 전처리부에서(111)에서 생성된 밝기보정 테이블 인덱스에 대응되는 밝기 보정 테이블을 사용하여 보정할 수 있다. 밝기 보정 테이블들은 지역 영상 처리부(113) 내부에 위치한 메모리에 저장되거나 지역 영상 처리부(113) 외부에 위치한 메모리에 저장될 수 있다.

도 3a 내지 도 3d는 본 발명의 실시예에 따른 밝기 보정 테이블 인덱스 ‘1’, ‘2’, ‘3’, 및 ‘k’에 대응되는 밝기 보정 테이블을 이용한 밝기 보정을 도시한 도면이다.

지역 깊이 지도는 영상의 밝기값을 이용해서 생성한다. 영상의 밝기가 전체적으로 밝은 영상, 전체적으로 어두운 영상 또는 명확하지 않은 영상 등의 밝기 분포를 분석해 보면 특정 영역에 밝기가 분포한다. 이런 영상으로 지역 깊이 지도를 생성하면, 3 차원 영상의 화질이 저하되고 입체감도 떨어진다. 밝기값의 분포가 균일할수록 입체감을 향상시킬 수 있는 깊이 지도를 생성할 수 있다.

영상의 특성에 따라 선택된 밝기 보정 테이블을 이용해 영상 내 각 화소의 밝기값을 치환시켜서 전체 영상의 밝기 분포를 균일하게 만들 수 있다. 밝기 보정 테이블의 인덱스는 미리 정의된 밝기 분포에 따라 ‘1’부터 ‘k’까지 설정될 수 있다. 밝기 보정 테이블의 입력 밝기값(또는, 입력 밝기 레벨)은 입력 영상에서 추출한 화소의 밝기값을 정규화 시킨 값이며 출력 밝기값(또는, 출력 밝기 레벨)은 이를 보정해서 입력 밝기값의 범위에 맞게 정규화된 밝기값이다.

테이블 내 입력 밝기값과 출력 밝기값의 의미는 다음과 같다. 이전 프레임에서 입력된 영상을 서브 샘플링해서 화소값의 밝기정보를 추출한 후 이 값을 0-15단계로 정규화시킨다. 입력 영상의 영상 프레임이 끝날 때까지 0-15에 해당되는 밝기값의 빈도수를 누적한다. 영상 프레임이 다 입력되면 0-15단계의 밝기값의 분포가 생성된다. 다음 영상 프레임이 입력되기 전까지 입력된 영상의 밝기값의 분포와 비슷한 테이블의 인덱스를 설정한다. 다음 영상 프레임에 입력되는 영상은 미리 설정된 밝기 보정 테이블의 인덱스를 이용해서 인덱스에 대응되는 밝기 보정 테이블을 찾아 해당되는 값들로 치환해서 화소의 밝기값들을 보정한다.

도 3a를 참조하면, 밝기 보정 테이블 인덱스가 ‘1’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘1’로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0’ 내지 ‘15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 3b를 참조하면, 밝기 보정 테이블 인덱스가 ‘2’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘0’으로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 0, 0, 0, 0, 0, 0, 1, 2, 4, 6, 8, 10, 12, 14, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 3c를 참조하면, 밝기 보정 테이블 인덱스가 ‘3’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘1’로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 1, 2, 4, 6, 8, 10, 12, 14, 15, 15, 15, 15, 15, 15, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 3d를 참조하면, 밝기 보정 테이블 인덱스가 ‘k’ 인 경우, 밝기 보정 테이블의 입력 밝기값은 ‘0’ 내지 ‘15’로 구분될 수 있다. 이때, 입력 밝기값 ‘0’은 출력 밝기값 ‘0’으로 변환(또는, 치환)되고, 입력 밝기값 ‘1’은 출력 밝기값 ‘0’으로 변환된다. 이와 같은 순서로 입력 밝기값 ‘0’ 내지 ‘15’는 출력 밝기값 ‘0, 0, 0, 0, 0, 1, 3, 5, 7, 9, 11, 13, 15, 15, 15, 15’에 각각 대응된다. 이때, 입력 밝기값에 따른 출력 밝기값의 빈도수가 일예로 우측에 그래프로 도시되어 있다.

도 3a 내지 도 3d에서는 ‘1’ 내지 ‘k’의 인덱스에 대응되는 밝기 보정 테이블들을 일예로 설명하였다. 따라서, 각 밝기 보정 테이블들의 인덱스는 다양한 값들로 구현될 수 있다.

도 4는 본 발명의 실시예에 따른 지역 영상 처리부를 도시한 도면이다.

도 4를 참조하면, 지역 영상 처리부(113)는 밝기 보정부(210)와 깊이 생성부(220)를 포함한다.

밝기 보정부(210)는 밝기 보정 테이블의 인덱스와 2차원 영상을 입력받는다. 밝기 보정부(210)는 입력된 2차원 영상의 밝기 정보를 밝기 보정 테이블을 사용하여 보정한다. 이때, 밝기 보정 테이블은 밝기 보정부(210)에 입력된 밝기 보정 테이블의 인덱스에 대응된다. 보정된 2차원 영상은 깊이 생성부(220)로 출력된다.

깊이 생성부(220)는 보정된 2차원 영상의 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성한다.

도 5는 본 발명의 실시예에 따른 밝기 보정부를 도시한 도면이다.

도 5를 참조하면, 밝기 보정부(210)는 테이블 선택부(211), 밝기값 변환부(212), 밝기 정보 추출부(213), 및 보정 밝기값 생성부(214)를 포함한다.

테이블 선택부(211)는 밝기 보정 테이블 인덱스를 수신하고, 복수개의 밝기 보정 테이블들 중에서 밝기 보정 테이블 인덱스에 대응되는 밝기 보정 테이블을 선택한다. 그러므로, 밝기 보정 테이블은 이전 영상을 이용하여 선택될 수 있다. 테이블 선택부(211)는 선택된 밝기 보정 테이블을 밝기값 변환부(212)로 출력한다.

밝기값 변환부(212)는 밝기 보정 테이블을 사용하여 밝기 보정 테이블의 0-15단계의 밝기 보정값들을 입력 영상의 밝기값의 범위에 대응되는 0-n단계(n은 밝기값의 최대값으로 255인 경우 0~255단계, 즉 256단계의 밝기 레벨을 의미함)로 업 샘플링시킨다. 밝기값 변환부(212)는 밝기 정보 추출부(213)에서 출력되는 밝기값에 대응되는 업 샘플링된 밝기 레벨을 보정 밝기값 생성부(214)로 출력한다.

밝기 정보 추출부(213)는 2차원 영상으로부터 밝기 레벨(0-n 단계)을 추출한다. 밝기 정보 추출부(213)는 2차원 영상으로부터 추출된 밝기 레벨을 보정 밝기값 생성부(214)로 출력한다. 일예로, 밝기 정보 추출부(213)는 출력되는 밝기값에 대응되는 정보를 밝기값 변환부(212)로 제공하여 대응되는 업 샘플링된 밝기값을 출력하도록 할 수 있다.

보정 밝기값 생성부(214)는 밝기 정보 추출부(213)의 밝기값을 밝기값 변환부(212)의 업 샘플링된 밝기값으로 치환한다. 보정 밝기값 생성부(214)는 치환 연산을 통해 생성된 보정 밝기값을 깊이 생성부(220)로 출력한다.

한편, 밝기 보정 테이블의 밝기값 즉, 밝기 레벨(0-15 단계)을 입력 영상의 밝기값 즉, 밝기 레벨(0-n)과 다른 ‘0’ 내지 ‘15’단계를 사용한다. 이와 같이 다른 밝기 레벨을 사용하는 이유는 밝기 보정 테이블을 저장하는 메모리의 크기를 최소화 시키고 밝기값의 분포를 쉽게 확인할 수 있기 때문이다. 일예로, ‘0-15’단계의 밝기값을 ‘0-255’로 변환 시키려면 ‘0-15’단계의 밝기값을 16배로 업 샘플링해야 한다. 즉, 밝기보정 테이블의 입력과 출력값들의 각 단계를 16배로 업 샘플링해야 한다. 이때, 밝기값 변환부(212)는 업 샘플링 동작을 수행하기 위해 선형 보간법을 사용할 수 있다.

도 6는 본 발명의 실시예에 따른 깊이 지도 생성부를 도시한 도면이다.

도 6을 참조하면, 깊이 지도 생성부(114)는 지도 연산부(310)를 포함한다.

지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 조합하여 깊이 지도를 생성한다. 깊이 지도를 생성하기 위해서 지도 연산부 (310)는 서로 대응되는 픽셀들 간에 미리 설정된 연산(일예로, 조건문 연산)을 수행할 수 있다.

도 7은 본 발명의 실시예에 따른 전체 깊이 지도, 지역 깊이 지도, 및 깊이 지도를 도시한 도면이다.

도 7을 참조하면, 깊이 지도 생성부(114)는 전체 깊이 지도(410)와 지역 깊이 지도(420)를 조합하여 깊이 지도(430)를 생성할 수 있다.

전체 깊이 지도(410), 지역 깊이 지도(420), 및 깊이 지도(430) 내의 픽셀들 각각에는 깊이가 설정되어 있다. 여기서, 깊이는 각 픽셀의 위치 변경에 따른 이동 거리를 나타낸다. 일예로, 깊이가 '0'인 픽셀은 제 1 영상 생성 시 위치를 변경하지 않는다. 그러나 깊이가 '2'인 픽셀은 제 1 영상 생성 시 2 픽셀만큼 위치를 변경한다. 또한, 깊이가 ‘10’인 픽셀은 제 1 영상 생성 시 10 픽셀만큼 위치를 변경한다.

일예로, 전체 깊이 지도(410)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘0’인 픽셀은 지역 깊이 지도(420)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘1’인 픽셀과의 조합을 통해 깊이 지도(430)의 좌측 상단에 첫 번째로 위치한 깊이가 ‘0’인 픽셀로 설정될 수 있다.

도 8은 본 발명의 실시예에 따른 깊이 지도 생성부의 깊이 지도 생성 동작을 도시한 도면이다.

도 8을 참조하면, 깊이 지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다. 전체 깊이 지도는 영상 프레임 전체에 대한 원근감을 설정한다. 지역 깊이 지도는 영상의 각 영역의 입체적 질감을 설정한다. 전체 깊이 지도와 지역 깊이 지도를 조합해서 전체적인 원근감과 영상 내 각 영역의 입체적 질감을 표현할 수 있는 깊이 지도를 생성한다. 깊이 지도 연산부(310)는 전체 깊이 지도와 지역 깊이 지도를 연산하여 깊이 지도를 생성한다.

도 9는 본 발명의 실시예에 따른 깊이 지도 보정에 따라 영상 필드에 할당된 깊이 지도를 도시한 도면이다.

도 9를 참조하면, 깊이 지도 보정부(115)는 깊이 지도를 보정한다. 일예로, 깊이 지도 보정부(115)는 하나의 영상 프레임을 구성하는 복수개의 필드들에 정의된 깊이 정보를 포함한다. 여기서, 복수개의 필드들 각각은 하나의 영상 프레임을 구성하는 픽셀들을 포함하는 라인이다.

깊이 지도 보정부(115)는 일예로, 두 개의 라인을 기준으로 깊이 지도 내의 각 픽셀의 깊이를 아래 정의된 계산을 통해 보정한다. 깊이 정보는 짝수 번째 화소의 깊이 정보(

)와 홀수 번째 화소의 깊이 정보(

)를 포함한다. 'p'는 한 라인 또는 한 필드를 기준으로 라인 또는 필드 상에 위치한 깊이 정보의 위치이다.

일예로, 깊이값

과

을 보정을 하면

,

으로 출력된다.

,

는 이전 필드의 깊이 정보를 의미한다.

,

는 하기의 수학식 1로 나타낼 수 있다.

홀수 영역의 깊이 정보 보정(

)은 이전 필드를 기준으로 현재 위치(p)와 같은 위치의 홀수 화소의 깊이 정보(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

), 현재 필드를 기준으로 현재 위치(p)의 짝수 화소의 깊이 정보와 홀수 화소의 깊이 정보의 평균값(

)과 이전 위치(p-1)의 홀수 화소의 깊이 정보(

)의 평균값으로 보정될 수 있다.

짝수 영역의 깊이 정보 보정(

)은 이전 필드를 기준으로 현재 위치(p)와 같은 위치의 홀수 화소의 깊이 정보(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

), 현재 필드를 기준으로 현재 위치(p)의 보정된 홀수 화소의 깊이 정보(

)와 이전 위치(p-1)의 홀수 화소의 깊이 정보(

)의 평균값으로 보정될 수 있다.

홀수 영역의 깊이 보정은 깊이 지도를 평활화시켜 노이즈 등의 영향을 감소시킬 수 있다. 짝수 영역의 깊이 보정은 홀수 영역에 할당된 깊이 정보값의 보정을 통해 3차원 시차 처리시 발생할 수 있는 화소 이동의 중첩 현상을 최소화시켜 선명한 화질을 획득할 수 있게 한다.

이를 통해 깊이 지도 보정부(115)는 3차원 영상 내에 위치한 객체의 경계 영역을 보다 부드럽게 만든다. 또한, 깊이 지도 보정부(115)는 깊이 지도의 선형성 및 인접 화소와의 연결성을 증가시켜 노이즈의 영향을 감소시킨다. 이를 통해 깊이 지도 보정부(115)는 3차원 영상의 화질을 개선할 수 있다.

또한, 깊이 지도 보정부(115)는 보정된 깊이 지도를 메모리 등에 저장할 수 있다. 이때, 깊이 지도 보정부(115)는 보정된 홀수 영역의 깊이지도(

)만을 저장해서 메모리에 저장되는 정보의 크기를 줄일 수 있다.

도 10은 본 발명의 실시예에 따른 깊이 지도와 보정된 깊이 지도를 도시한 도면이다.

도 10을 참조하면, 깊이 지도 보정부(115)는 깊이 지도로부터 보정된 깊이 지도를 획득할 수 있다. 좌측에는 깊이 지도를 예시적으로 도시하고, 우측에는 깊이 지도 보정부(115)에 의해 보정된 깊이 지도를 도시하였다.

도 11은 본 발명의 실시예에 따른 시차 처리부를 도시한 도면이다.

도 11을 참조하면, 시차 처리부(121)는 버퍼(510), 시차 연산부(520), 3차원 영상 보간부(530), 및 순환 버퍼(540)를 포함한다.

버퍼(510)는 2차원 영상을 저장한다. 버퍼(510)는 2차원 영상의 적녹청(Red-Green-Blue, 이하 'RGB'라 칭하기로 함)값을 저장한다. 버퍼(510)는 2차원 영상의 RGB를 시차 연산부(520)로 출력한다.

시차 연산부(520)는 2차원 영상(RGB)을 깊이 지도를 참조해 버퍼(510)에서 전달되는 영상들을 이용해서 제 1 영상(3차원 영상)을 생성한다. 시차 연산부(520)는 제 1 영상 생성을 위해 2차원 영상을 각 픽셀들에 설정된 깊이 지도의 깊이값에 따라 이동시킨다. 시차 연산부(520)는 생성된 제 1 영상을 3차원 영상 보간부(530)로 출력한다.

3차원 영상 보간부(530)는 시차 연산부(520)에서 전달된 제 1 영상을 각각의 깊이를 이용해서 보간한다. 3차원 영상 보간부(530)는 보간된 제 1 영상을 순환 버퍼(540)로 출력한다.

순환 버퍼(540)는 링 형태로 순환되는 구조를 가질 수 있다. 3차원 영상 보간부(530)에서 보간된 제 1 영상은 순환 버퍼(540)에 저장된다. 순환 버퍼(540)에 저장된 영상은 순환 버퍼(540)에 의해 순차적으로 출력한다.

도 12는 본 발명의 실시예에 따른 시차 처리부의 3차원 영상 생성 동작을 도시한 도면이다.

도 12를 참조하면, 시차 처리부(121)는 2차원 영상을 깊이 지도를 사용하여 3차원 영상으로 변환한다.

(a)에서, 2차원 영상이 도시된다.

(b)에서, 깊이 지도가 도시된다. 깊이 지도의 제 1 영역(610)은 '0'의 깊이로 설정된다. 깊이 지도의 제 2 영역(620)은 '4'의 깊이로 설정된다. 깊이 지도의 제 3 영역(630)은 '2'의 깊이로 설정된다. 깊이 지도의 제 4 영역(640)은 '10'의 깊이로 설정된다.

(c)에서, 깊이 지도에 의해 2차원 영상으로부터 획득된 3차원 영상이 도시된다.

시차 처리부(121)는 2차원 영상의 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각을 일예로, 깊이 지도에 설정된 깊이에 따라 우측으로 이동(쉬프트)시킨다. (c)에서, 시차 처리부(121)는 제 1 영상(일예로, 양안 시차에 따른 3차원 좌측 영상)의 생성을 일예로 설명한다. 하지만, 제 1 영상을 생성하기 위해, 시차 처리부(121)는 2차원 영상의 각 영역들(610, 620, 630, 640)에 포함된 픽셀들 각각을 깊이 지도에 설정된 깊이에 따라 좌측으로 이동(쉬프트)(일예로, 양안 시차에 따른 3차원 우측 영상의 생성을 위해)시킬 수도 있다.

도 13은 본 발명의 실시예에 따른 기울기 제어부의 기울기 제어 동작을 도시한 도면이다.

도 13을 참조하면, 기울기 제어부(122)는 기울기 제어 신호(SL_CTRL)에 응답하여 동작함으로서, 2차원 영상의 기울기를 제어할 수 있다.

(a)에서, 기울기 제어부(122)는 2차원 영상의 우측을 기준으로 기울기를 제어할 수 있다. 기울기 제어부(122)는 2차원 영상의 기울기 제어를 통해 제 2 영상을 생성한다. 이때, 기울기 제어부(122)에서 생성된 제 2 영상은 일예로, 3차원 우측 영상일 수 있다.

(b)에서, 기울기 제어부(122)는 2차원 영상의 좌측을 기준으로 기울기를 제어할 수 있다. 기울기 제어부(122)는 2차원 영상의 기울기 제어를 통해 제 2 영상을 생성한다. 이때, 기울기 제어부(122)에서 생성된 제 2 영상은 일예로, 3차원 좌측 영상일 수 있다.

기울기 제어부(122)는 픽셀들로 구성된 픽셀 라인들 각각을 기울기에 따라 우측 또는 좌측으로의 이동을 통해 제 2 영상의 기울기를 제어할 수 있다.

그러므로 시차 처리부(121)와 기울기 제어부(122)는 제 1 영상과 제 2 영상을 생성할 수 있다. 일예로, 양안 시차에 따라 시차 처리부(121)가 좌측의 제 1 영상을 생성하면, 기울기 제어부(122)는 우측의 제 2 영상을 생성할 수 있다. 이와 반대로, 양안 시차에 따라 시차 처리부(121)가 우측의 제 1 영상을 생성하면, 기울기 제어부(122)는 좌측의 제 2 영상을 생성할 수 있다.

도 14는 본 발명의 실시예에 따른 제 1 거리 제어부와 제 2 거리 제어부의 동작을 도시한 도면이다.

도 14를 참조하면, 제 1 거리 제어부(123)와 제 2 거리 제어부(124)는 제 1 영상과 제 2 영상 각각의 거리 변화를 통해 사용자에게 인식되는 3차원 영상의 거리감을 제어할 수 있다. 제 1 거리 제어부(123)는 제 1 거리 제어 신호(D_CTRL1)에 응답하여 동작하고, 제 2 거리 제어부(124)는 제 2 거리 제어 신호(D_CTRL2)에 응답하여 동작한다. 이를 통해 제 1 거리 제어부(123)와 제 2 거리 제어부(124)는 3차원 영상을 통해 사용자에 의해 감지되는 거리감을 변화시킬 수 있다. 여기서, 제 1 거리 제어 신호(D_CTRL1)와 제 2 거리 제어 신호(D_CTRL2)는 제 1 영상과 제 2 영상 간의 거리(또는, 간격)를 증가시키거나 감소시키기 위한 신호들이다.

제 1 거리 제어부(123)와 제 2 거리 제어부(124)는 각각 제 1 영상을 좌측(왼쪽)으로 이동시키고, 제 2 영상을 우측(오른쪽)으로 이동하도록 제어할 수 있다. 이를 통해, 사용자에게 제공되는 3차원 영상들(제 1 영상 및 제 2 영상) 간의 거리가 증가하게 된다. 제 1 방향(710)으로의 제어에 의해, 3차원 영상을 제공받는 사용자는 3차원 영상의 거리감을 멀어지도록 느낄 수 있다.

또한, 제 1 거리 제어부(123)와 제 2 거리 제어부(124)는 각각 제 1 영상을 우측(오른쪽)으로 이동시키고, 제 2 영상을 좌측(왼쪽)으로 이동하도록 제어할 수 있다. 이를 통해, 사용자에게 제공되는 3차원 영상들(제 1 영상 및 제 2 영상) 간의 거리가 감소하게 된다. 제 2 방향(720)으로의 제어에 의해, 3차원 영상을 제공받는 사용자는 3차원 영상의 거리감을 가까워지도록 느낄 수 있다.

도 15는 본 발명의 실시예에 따른 양안 시차를 가지는 제 1 영상과 제 2 영상을 도시한 도면이다.

도 15를 참조하면, 시차 처리부(121)는 깊이 지도에 의해 2차원 영상으로부터 제 1 영상을 생성한다. 또한, 기울기 제어부(122)는 기울기 제어에 의해 2차원 영상으로부터 제 2 영상을 생성한다.

따라서 시차 제어부(121)와 기울기 제어부(122) 각각은 2차원 영상으로부터 좌측 영상과 우측 영상을 생성할 수 있다.

또한 기울기 제어부(122)는 제 2 영상의 기울기 제어에 의해 3차원 영상의 깊이감(d)을 제어할 수 있다.

제 1 거리 제어부(123)와 제 2 거리 제어부(124) 각각은 거리 제어를 할 수 있다. 제 1 거리 제어부(123)와 제 2 거리 제어부(124) 각각은 제 1 영상과 제 2 영상의 거리 제어를 통해 3차원 영상의 거리감을 멀게 또는 가깝게 제어할 수 있다. 있다. 기울기 제어부(122)와 거리 제어부들(123, 124)를 이용해 3차원 영상의 입체감을 제어할 수 있다.

도 16은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 제 1 영상 생성 동작을 도시한 순서도이다.

도 16을 참조하면, 전처리부(111)는 2차원 영상을 처리한다(S110단계). 이때, 2차원 영상은 3차원 영상 변환 장치(100)에 입력되는 2차원 영상의 이전 프레임을 포함한다. 전처리부(111)는 2차원 영상 처리를 통해 2차원 영상의 밝기정보 추출, 밝기분포의 분석, 밝기정보의 변화를 분석한다.

전처리부(111)는 2차원 영상 처리를 통해 기본 지도의 인덱스와 밝기보정 테이블의 인덱스를 선택한다(S120단계). 전처리부(111)는 영상의 전반적인 깊이 분포에 대응되는 기본 지도 인덱스를 선택한다. 또한, 전처리부(111)는 영상 밝기보정을 위한 밝기보정 테이블의 인덱스를 선택한다. 전처리부(111)는 기본 지도 인덱스를 전체 영상 처리부(112)로 출력하고, 밝기보정 테이블 인덱스를 깊이 지역 영상 처리부(113)로 출력한다.

전체 영상 처리부(112)와 지역 영상 처리부(113)는 2차원 영상으로부터 전체 깊이 지도와 지역적인 깊이 지도를 각각 생성한다(S130단계). 전체 영상 처리부(112)는 2차원 영상에 기본 지도에 따른 깊이 설정을 통해 전체 깊이 지도를 생성한다. 여기서, 기본 지도는 기본 지도 인덱스에 대응된다. 전체 영상 처리부(112)는 생성된 전체 깊이 지도를 깊이 지도 생성부(114)로 출력한다. 지역 영상 처리부(113)는 입력된 영상의 지역 영상(현재 입력되는 화소)의 밝기정보를 추출한 뒤 밝기보정 테이블을 이용해서 밝기를 보정한 후 보정된 밝기정보를 이용해서 지역 깊이 지도를 생성한다. 지역 영상 처리부(113)는 생성된 지역 깊이 지도를 깊이 지도 생성부(114)로 출력한다.

깊이 지도 생성부(114)는 전체 깊이지도와 지역 깊이지도를 사용해서 깊이지도를 생성한다. 깊이 지도 생성부(114)는 전체 깊이 지도와 지역 깊이 지도의 조합을 통해 깊이 지도를 생성한다(S140단계). 깊이 지도 생성부(114)는 생성된 깊이 지도를 깊이 지도 보정부(115)로 출력한다. 깊이 지도 보정부(115)는 3차원 영상의 화질 개선을 위해 깊이 지도 내의 인접된 깊이들의 보정연산을 통해 깊이 지도를 보정한다. 보정된 깊이 지도를 시차 처리부(121)로 출력한다(S150단계).

시차 처리부(121)는 깊이 지도를 사용하여 2차원 영상으로부터 제 1 영상을 생성한다(S160단계). 일예로, 시차 처리부(121)는 2차원 영상의 픽셀들을 깊이 값에 따라 위치를 변경시켜 제 1 영상을 생성한다. 시차 처리부(121)는 생성된 영상을 제 1 거리 제어부(123)로 출력한다.

제 1 거리 제어부(123)는 제 1 영상의 거리 제어를 할지 판단한다(S170단계). S170단계의 판단결과, 제 1 거리 제어부(123)는 제 1 영상의 거리를 제어하도록 판단하면 S180단계로 진행한다.

제 1 거리 제어부(123)는 제 1 거리 제어 신호(D_CTRL1)에 따라 제 1 영상의 거리를 제어한다(S180단계).

S170단계의 판단결과, 제 1 거리 제어부(123)는 제 1 영상의 거리를 제어하지 않도록 판단하면, S190단계로 진행한다.

제 1 거리 제어부(123)는 생성된 제 1영상을 출력한다(S190단계). 여기서 출력되는 제 1 영상은 양안 시차를 가지는 두 개의 영상들(좌측 영상 또는 우측 영상) 중 하나이다.

도 17은 본 발명의 실시예에 따른 3차원 영상 변환 장치의 제 2 영상 생성 동작을 도시한 순서도이다.

도 17을 참조하면, 기울기 제어부(122)는 기울기 제어 신호(SL_CTRL)에 따라 2차원 영상의 기울기를 제어한다(S210단계). 기울기 제어부(122)는 2차원 영상의 좌측 또는 우측을 기준으로 기울기를 제어한다.

기울기 제어부(122)는 기울기 제어를 통해 제 2 영상을 생성한다(S220단계). 기울기 제어부(122)는 생성된 제 2 영상을 제 2 거리 제어부(124)로 출력한다.

제 2 거리 제어부(124)는 제 2 영상의 거리 제어를 할 것인지를 판단한다(S230단계). S220단계의 판단결과, 제 2 거리 제어부(124)는 제 2 영상의 거리를 제어하도록 판단하면 S240단계로 진행한다.

제 2 거리 제어부(124)는 제 2 거리 제어 신호(D_CTRL2)에 따라 제 2 영상의 거리를 제어한다(S240단계).

S230단계의 판단결과, 제 2 거리 제어부(124)는 제 2 영상의 거리를 제어하지 않도록 판단하면, S250단계로 진행한다.

제 2 거리 제어부(124)는 생성된 제 2 영상을 출력한다(S250단계). 여기서 출력되는 제 2 영상은 양안 시차를 가지는 두 개의 영상(좌측 영상 또는 우측 영상)들 중 하나이다.

도 18은 본 발명의 실시예에 따른 3차원 영상 생성의 지연 시간을 비교한 타이밍도이다.

도 18을 참조하면, 2차원 영상은 복수개의 프레임들로 구성된다. 이때, 하나의 프레임은 복수개의 필드(일예로, 픽셀 라인)들로 구성된다.

본 발명에서 제안된 3차원 영상 변환 장치(100)는 필드 단위로 영상을 처리할 수 있다. 3차원 영상 변환 장치(100)는 3차원 영상 변환으로 인해 입력되는 2차원 영상을 3차원 영상으로 변환하기 위해 제 1 지연 시간(DL1)을 갖는다. 제 1 지연 시간(DL1)은 깊이 지도 생성에 소요되는 'a' 시간(지도 생성부(110)의 깊이 지도 생성에 소요되는 시간)과 3차원 영상 생성에 소요되는 'b' 시간(3차원 영상 생성부에서 소요되는 시간)을 합산한 시간이다.

프레임 단위로 영상을 변환하는 3차원 영상 변환 장치는 제 2 지연 시간(DL2)을 갖는다. 제 2 지연 시간(DL)은 하나의 프레임을 수신하는 데 소요되는 시간을 포함한다. 이때, 3차원 영상 변환 장치는 하나의 프레임이 수신 완료되기 이전에 3차원 영상을 생성할 수 없다.

결국, 본 발명의 3차원 영상 변환 장치(100)는 프레임 단위로 영상을 변환하는 3차원 영상 장치에 비해 상대적으로 짧은 지연 시간을 갖는다. 즉, 본 발명의 3차원 영상 변환 장치(100)는 실시간으로 3차원 영상을 변환할 수 있다.

본 발명의 3차원 영상 변환 장치는 칩(일예로, 단일 칩) 형태로 구현될 수 있고, 차세대 디스플레이 장치들, 일예로 텔레비전(TV), 모니터, 노트북, 넷북, 디지털 비디오 디스크(DVD: Digital Video Disk) 플레이어, 휴대용 멀티미디어 플레이어(PMP: Portable Media Player), 휴대폰, 태블릿, 네비게이션 장치 등)에 적용될 수 있다. 또한 본 발명의 3차원 영상 변환 장치는 차세대 디스플레이 장치들 각각의 내부에 구현될 수도 있다.

100: 3차원 영상 변환 장치 110: 지도 생성부
111: 전처리부 112: 전체 영상 처리부
113: 지역 영상 처리부 114: 깊이 지도 생성부
115: 깊이 지도 보정부 120: 3차원 영상 생성부
121: 시차 처리부 122: 기울기 제어부
123: 제 1 거리 제어부 124: 제 2 거리 제어부
210: 밝기 보정부 220: 깊이 생성부
211: 테이블 선택부 212: 밝기값 변환부
213: 밝기 정보 추출부 214: 보정 밝기값 생성부
310: 지도 연산부 510: 버퍼
520: 시차 연산부 530: 3차원 영상 보간부
540: 순환 버퍼

Claims (17)

1. 삭제
2. 현재 영상 프레임과 이전 영상 프레임을 사용하여 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 지도 생성부; 및
   상기 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하고, 상기 현재 영상 프레임의 기울기 제어를 통해 제 2 영상을 생성하는 3차원 영상 생성부를 포함하고,
   상기 지도 생성부는
   상기 이전 영상 프레임을 사용하여 원근감 정보가 설정된 복수개의 기본 지도들 중에서 하나의 기본 지도를 선택하고, 상기 이전 영상 프레임을 사용하여 밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 하나의 밝기 보정 테이블을 선택하는 전처리부;
   상기 선택된 기본 지도에 따라 상기 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 전체 영상 처리부;
   상기 현재 영상 프레임을 상기 선택된 밝기 보정 테이블로 밝기 보정하여 지역 깊이 지도를 생성하는 지역 영상 처리부; 및
   상기 전체 깊이 지도와 상기 지역 깊이 지도의 연산을 통해 상기 깊이 지도를 생성하는 깊이 지도 생성부를 포함하는 3차원 영상 변환 장치.
3. 제 2 항에 있어서,
   상기 지도 생성부는
   상기 깊이 지도 내의 각 픽셀의 깊이를 상기 깊이 지도에 대응되는 영상 프레임을 구성하는 라인들 중에서 적어도 두 개의 라인에 포함된 상기 단위 요소들 간의 평균 연산을 통해 보정하는 깊이 지도 보정부를 더 포함하는 3차원 영상 변환 장치.
4. 제 2 항에 있어서,
   상기 지역 영상 처리부는
   상기 현재 영상 프레임을 상기 선택된 밝기 변환 테이블로 밝기를 보정하는 밝기 보정부; 및
   상기 현재 영상 프레임의 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성하는 깊이 생성부를 포함하는 3차원 영상 변환 장치.
5. 제 2 항에 있어서,
   상기 밝기 보정부는
   상기 선택된 밝기 보정 테이블에 대응되는 밝기 보정 테이블을 선택하는 테이블 선택부;
   상기 선택된 테이블에 따라 상기 현재 영상 프레임의 입력 밝기값에 대응되는 출력 밝기값을 선택하는 밝기값 변환부;
   상기 현재 영상 프레임의 입력 밝기값을 추출하는 밝기 정보 추출부; 및
   상기 입력 밝기값을 상기 출력 밝기값으로 치환시켜 상기 현재 영상 프레임의 밝기값을 보정하는 보정 밝기값 생성부를 포함하는 3차원 영상 변환 장치.
6. 제 2 항에 있어서,
   상기 3차원 영상 생성부는
   상기 현재 영상 프레임과 상기 깊이 지도의 연산을 통해 상기 현재 영상 프레임으로부터 3차원 영상 재생을 위한 제 1 영상을 생성하는 시차 처리부; 및
   상기 현재 영상 프레임의 기울기 제어를 통해 3차원 영상 재생을 위한 제 2 영상을 생성하는 기울기 제어부를 포함하는 3차원 영상 변환 장치.
7. 제 6 항에 있어서,
   상기 3차원 영상 생성부는
   상기 제 1 영상을 제 1 거리 제어 신호에 따라 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 제 1 거리 제어부; 및
   상기 제 2 영상을 제 2 거리 제어 신호에 따라 우측과 좌측 방향 중 하나의 방향으로 이동하도록 제어하는 제 2 거리 제어부를 더 포함하는 3차원 영상 변환 장치.
8. 제 7 항에 있어서,
   상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들인 3차원 영상 변환 장치.
9. 제 6 항에 있어서,
   상기 시차 처리부는
   상기 현재 영상 프레임을 저장하는 버퍼;
   상기 버퍼로부터 출력된 현재 영상 프레임을 상기 깊이 지도와 연산하여 상기 제 1 영상을 생성하는 시차 연산부;
   상기 제 1 영상을 보간하는 3차원 영상 보간부; 및
   상기 보간된 제 1 영상을 순차적으로 선택하여 출력하는 순환 버퍼를 포함하는 3차원 영상 변환 장치.
10. 제 2 항에 있어서,
    상기 제 1 영상이 좌측 영상이면, 상기 제 2 영상은 우측 영상이고, 상기 제 1 영상이 우측 영상이면, 상기 2 영상은 좌측 영상인 3차원 영상 변환 장치.
11. 제 2 항에 있어서,
    상기 단위 요소는 픽셀임을 특징으로 하는 3차원 영상 변환 장치.
12. 이전 영상 프레임을 사용하여 현재 영상 프레임의 원근감 설정을 위한 전체 깊이 지도를 생성하는 단계;
    상기 이전 영상 프레임을 사용하여 상기 현재 영상 프레임의 밝기값을 보정한 지역 깊이 지도를 생성하는 단계;
    상기 전체 깊이 지도와 상기 지역 깊이 지도를 사용하여 상기 현재 영상 프레임을 구성하는 단위 요소들 각각의 이동을 위한 깊이 지도를 생성하는 단계;
    상기 깊이 지도를 사용하여 상기 현재 영상 프레임의 단위 요소들 각각을 이동시킨 제 1 영상을 생성하는 단계;
    상기 현재 영상 프레임의 기울기를 제어를 통해 제 2 영상을 생성하는 단계; 및
    3차원 영상 재생을 위한 상기 제 1 영상과 상기 제 2 영상을 동기 제어하여 출력하는 단계를 포함하는 3차원 영상 변환 방법.
13. 제 12 항에 있어서,
    상기 전체 깊이 지도를 생성하는 단계는
    원근감이 설정된 복수개의 기본 지도들 중에서 상기 이전 영상 프레임에 대응되는 기본 지도를 선택하는 단계; 및
    상기 기본 지도를 사용하여 상기 전체 깊이 지도를 생성하는 단계를 포함하는 3차원 영상 변환 방법.
14. 제 12 항에 있어서,
    상기 지역 깊이 지도를 생성하는 단계는
    밝기값이 설정된 복수개의 밝기 보정 테이블들 중에서 상기 이전 영상 프레임에 대응되는 밝기 보정 테이블을 선택하는 단계;
    상기 밝기 보정 테이블을 사용하여 상기 현재 영상 프레임의 구성 요소들 각각의 밝기값을 보정하는 단계; 및
    상기 보정된 밝기값에 대응되는 깊이 설정을 통해 지역 깊이 지도를 생성하는 단계를 포함하는 3차원 영상 변환 방법.
15. 제 12 항에 있어서,
    제 1 거리 제어 신호에 응답하여 상기 제 1 영상을 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 단계; 및
    제 2 거리 제어 신호에 응답하여 상기 제 2 영상을 좌측과 우측 방향 중 하나의 방향으로 이동하도록 제어하는 단계를 더 포함하는 3차원 영상 변환 방법.
16. 제 15 항에 있어서,
    상기 제 1 거리 제어 신호와 상기 제 2 거리 제어 신호는 상기 제 1 영상과 상기 제 2 영상 간의 거리의 증가와 감소 중 하나를 위한 신호들인 3차원 영상 변환 방법.
17. 제 12 항에 있어서,
    상기 현재 영상 프레임과 상기 이전 영상 프레임은 2차원 영상 프레임인 3차원 영상 변환 방법.

Images