KR20150049952A

KR20150049952A - 다시점 영상 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR20150049952A
Application number: KR1020130131183A
Authority: KR
Inventors: 백아론
Original assignee: 삼성전자주식회사
Priority date: 2013-10-31
Filing date: 2013-10-31
Publication date: 2015-05-08
Also published as: KR102130123B1; HUE046051T2; EP2869571B1; EP2869571A3; US9105133B2; EP2869571A2; CN104601979B; US20150116312A1; CN104601979A

Abstract

다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 디스플레이 장치는, 입력된 영상의 뎁스를 조정하는 뎁스 조정부, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부 및, 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하도록 뎁스 조정부를 제어하는 제어부를 포함한다.

Description

다시점 영상 디스플레이 장치 및 그 제어 방법 { MULTI VIEW IMAGE DISPLAY APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 다시점 영상 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 디스플레이 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.

한편, 입체 디스플레이 시스템은 3D 영상 시청 용 안경의 사용 여부에 따라서 안경식 또는 무 안경식 시스템으로 나뉘어질 수 있다.

안경식 시스템의 일 예로는, 셔터 글래스 방식의 디스플레이 장치가 있다. 셔터 글래스 방식이란, 좌안 이미지 및 우안 이미지를 교번적으로 출력하면서, 이와 연동하여 사용자가 착용한 3D 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 방식이다.

무 안경식 시스템은 오토스테레오스코피(autostereoscopy)시스템이라고도 한다. 무 안경 방식의 3D 디스플레이 장치는, 광학적으로 분리된 다시점 영상을 디스플레이하면서 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 렌즈를 이용하여 시청자의 좌안 및 우안에 다른 시점의 영상에 해당하는 광이 투사되도록 하여, 사용자가 입체감을 느낄 수 있도록 한다.

한편, 무 안경식 3D 디스플레이에 의해 지원되는 뷰의 개수는 다양하지만, 전형적으로 약 7~9 뷰 정도가 된다. 하지만, 많은 촬영 뷰를 갖는 컨텐츠가 많지 않고, 3D 디스플레이에 필요한 뷰의 개수가 다양하기 때문에 일반적인 포맷으로 촬영된 컨텐츠를 디스플레이에서 지원되는 포맷으로 변환하기 위한 포맷 컨버터가 필요하다. 3D에서 가장 일반적인 포맷은 스테레오이다. 포맷 컨버터는 입력된 스테레오 이미지를 가지고, 출력 디스플레이에 적합한 개수의 뷰를 생성한다. 이러한 작업을 수행하기 위해 스테레오 이미지 페어(pair) 간의 픽셀 유사도(correspondence)를 산출하는, 스테레오 매칭(또는 디스패리티 추정) 작업 및 산출된 디스패리티 이미지 및 입력 이미지를 가지고 디스플레이에 필요한 개수의 뷰를 생성하는 렌더링 작업이 필요하다. 간단히 말해, 다시점 뷰는 픽셀은 입력 뷰와 추정된 디스패리티로부터의 거리에 비례하는 양 만큼 시프트됨으로써 생성된다.

이러한 픽셀 시프트 양은 인간의 뎁스 인지와 직접적으로 관련되기 때문에 디스플레이 성능 향상을 위하여 픽셀 시프트의 양을 적절히 컨트롤하기 위한 방안이 요구된다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 사용자에게 인지되는 입체감이 최적화되도록 뎁스를 조정하여 다시점 영상을 렌더링하는 다시점 영상 디스플레이 장치 및 그 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 다시점 영상 디스플레이 장치는, 입력된 영상의 뎁스를 추정하는 뎁스 추정부, 상기 추정된 뎁스를 조정하는 뎁스 조정부, 상기 조정된 뎁스에 기초하여 다시점 영상을 렌더링하는 렌더링부 및, 상기 다시점 영상을 디스플레이하는 디스플레이부를 포함하며, 상기 뎁스 조정부는, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스를 조정한다.

여기서, 상기 뎁스 조정부는, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는, 상기 디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보이며, 상기 뎁스 조정부는, 상기 임계 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 입력된 영상에 존재하는 주기 패턴 정보는, 상기 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보이며, 상기 뎁스 조정부는, 상기 주기 패턴 주파수 정보가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보는, 상기 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보이며, 상기 뎁스 조정부는, 상기 MRF 에너지가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 뎁스 조정부는, 상기 디스패리티 히스토그램으로부터 산출된 임계 주파수, 상기 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 상기 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 상기 입력된 영상의 뎁스를 조정할 수 있다.

또한, 상기 뎁스 조정부는, 상기 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 조정할 수 있다.

이 경우, 상기 뎁스 조정부는, 아래 수학식에 기초하여 상기 다시점 영상을 렌더링하기 위해 필요한 픽셀 시프트 양을 산출할 수 있다.

여기서, p는 디스패리티에 대응하여 생성된 뷰에서 발생하는 픽셀 시프트의 양, d는 디스패리티 이미지의 로컬 디스패리티, p_max는 최대 화면 시차, d_span 및 d_offset은 디스패리티 히스토그램으로부터 산출된 값, 및 β는 임계 주파수, 주기 패턴 주파수, MRF 에너지의 최소값, α는 뷰 최좌측 및 최우측 이미지 간의 거리가 1이 되도록 센터로부터 노멀라이즈된 뷰 거리를 나타낸다.

한편, 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 제어 방법은, 입력된 영상의 뎁스를 추정하는 단계, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스를 조정하는 단계, 상기 조정된 뎁스에 기초하여 다시점 영상을 렌더링하는 단계 및, 상기 다시점 영상을 디스플레이하는 단계를 포함한다.

또한, 상기 추정된 뎁스를 조정하는 단계는, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 입력된 영상의 뎁스가 감소되도록 조정할 수 있다.

여기서, 상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는, 상기 디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보이며, 상기 추정된 뎁스를 조정하는 단계는, 상기 임계 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 입력된 영상에 존재하는 주기 패턴 정보는, 상기 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보이며, 상기 추정된 뎁스를 조정하는 단계는, 상기 주기 패턴 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보는, 상기 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보이며, 상기 추정된 뎁스를 조정하는 단계는, 상기 MRF 에너지가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 상기 추정된 뎁스를 조정하는 단계는, 상기 디스패리티 히스토그램으로부터 산출된 임계 주파수, 상기 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 상기 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 상기 입력된 영상의 뎁스를 조정할 수 있다.

또한, 상기 추정된 뎁스를 조정하는 단계는, 상기 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 조정할 수 있다.

또한, 상기 추정된 뎁스를 조정하는 단계는, 아래 수학식에 기초하여 상기 다시점 영상을 렌더링하기 위해 필요한 픽셀 시프트 양을 산출할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 3D 디스플레이에서 사용자에게 최적의 입체감을 제공할 수 있게 된다.

도 1은 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 디스패리티 값의 히스토그램을 도시한 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 뎁스 컨트롤에 필요한 수치를 산출하기 위한 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따라 임계 주파수를 산출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 뎁스 조정부의 세부 동작을 설명하기 위한 도면이다.
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따라 뎁스 감소를 위한 감쇠 함수의 일 예를 나타내는 도면들이다.
도 8은 본 발명의 일 실시 예에 따른 뷰 스프레드의 일 예를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 흐름도이다.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.

도 1은 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타낸다. 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.

일 예로, 도 1은 총 6 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 1에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 6 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다. 다만 이는 일 실시 예에 불과하며, 7 시점, 9 시점 등 다양한 시점의 영상을 제공할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.

도 2에 따르면, 다시점 영상 디스플레이 장치(100)는 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.

다시점 영상 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.

영상 입력부(미도시)는 다양한 영상을 입력받는다. 구체적으로, 영상 입력부(미도시)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상과 영상의 깊이 정보를 수신받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.

또한, 영상 입력부(미도시)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.

한편, 이하에서는 설명의 편의를 위하여 스테레오 영상이 입력되고, 별도의 뎁스 정보가 입력되지 않는 경우를 상정하여 설명하도록 한다.

뎁스 추정부(110)는 입력된 스테레오 영상 즉, 좌안 및 우안 영상에 기초하여 영상 내에 존재하는 객체에 대한 뎁스 정보를 추출한다. 여기서, 뎁스(depth) 정보란, 영상 내에 존재하는 객체의 3차원 거리 정보를 나타내는 것으로, 뎁스 맵(또는 디스패리티 맵) 또는 뎁스 영상(디스패리티 이미지)으로 명명될 수도 있다. 예를 들어, 피사체와 카메라 간의 거리, 피사체와 피사체의 영상이 맺히는 기록 매체 간의 거리 등과 같이 입체감의 정보를 나타내는 정보를 의미한다. 즉, 좌안 영상과 우안 영상 간의 서로 대응되는 포인트 간의 거리 차가 크면 그만큼 더 입체감이 증대하게 된다. 뎁스 맵이란 이러한 깊이의 변화 상태를 하나의 영상으로 구성한 것으로, 좌안 및 우안 영상에서 서로 매칭되는 포인트 간의 거리 크기에 따라 상이해지는 그레이 레벨로 표현될 수 있다. 예를 들어, 뎁스 맵에서 밝게 표시된 부분은 카메라와 물체 간의 거리가 가까운 부분이고 어둡게 표시된 부분은 카메라와 물체 간의 거리가 먼 부분을 나타낸다.

한편, 뎁스 추정부(110)는 뎁스 맵을 생성하기 위하여 좌안 및 우안 영상에서 서로 매칭되는 포인트를 찾아 3차원 공간 상의 거리 정보를 추출하는 스테레오 매칭 작업을 수행할 수 있다. 경우에 따라, 뎁스 추정부(110)는 적응적 가중치를 적용하여 스테레오 매칭을 수행할 수도 있다.

예를 들어, 좌안 영상과 우안 영상은 하나의 피사체를 서로 다른 시점에서 촬영한 영상이므로, 시각의 차이로 인한, 영상 차이가 생길 수 있다. 예를 들어, 좌안 영상에서는 피사체의 에지 부분과 배경이 겹치게 나오고, 우안 영상에서는 약간 떨어진 경우 등이 있을 수 있다. 따라서, 피사체를 기준으로 일정 범위 내의 픽셀 값을 가지는 픽셀들에 대해서는 가중치를 높이고, 범위를 벗어난 픽셀값을 가지는 픽셀에 대해서는 가중치를 낮추어 준 적응적 가중치를 적용할 수 있다. 이에 따라 좌안 영상 및 우안 영상 각각에 대하여 적응적 가중치를 적용한 후에, 그 결과를 비교하여 매칭 여부를 결정할 수 있다. 이와 같이 적응적 가중치를 이용하게 되면, 올바른 대응점임에도 불구하고 낮은 상관 관계를 가지는 것으로 판정되는 것을 방지할 수 있게 되므로 매칭의 정확도가 향상될 수 있다.

한편, 도면에는 도시되지 않았지만, 다시점 영상 디스플레이 장치(100)에는 뎁스 맵 생성을 위한 연산 부담을 줄이기 위한 다운 스케일러부(미도시)가 더 포함될 수 있다. 즉, 다운 스케일러부(미도시)는 영상 수신부(미도시)를 통해 수신된 영상을 다운 스케일링하여 뎁스 추정부(110)에 제공함으로써, 연산 부담을 경감시킬 수 있게 된다.

다만, 상술한 바와 같이 영상과 함께 뎁스 정보가 입력되는 경우 뎁스 추정부(110)에서 수행되는 기능이 생략될 수도 있다.

뎁스 조정부(120)는 뎁스 추정부(110)에서 추정된 뎁스를 조정한다.

구체적으로, 뎁스 조정부(120)는 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 입력된 영상에 존재하는 주기 패턴 정보 및 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 컨트롤한다.

여기서, 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는,

디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보가 될 수 있다. 이 경우, 뎁스 조정부(120)는 임계 주파수가 기설정된 임계값을 초과하는 경우 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 입력된 영상에 존재하는 주기 패턴 정보는, 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보가 될 수 있다. 이 경우, 뎁스 조정부(120)는 주기 패턴 주파수가 기설정된 임계값을 초과하는 경우 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 입력된 영상의 MRF(Markov random fields) 에너지 정보는, 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보가 될 수 있다. 이 경우, 뎁스 조정부(120)는 MRF 에너지가 기설정된 임계값을 초과하는 경우 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 뎁스 조정부(120)는 디스패리티 히스토그램으로부터 산출된 임계 주파수 정보, 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 추정된 뎁스를 조정할 수 있다. 이에 대한 자세한 설명은 도면을 참조하여 후술하도록 한다.

렌더링부(130)는 뎁스 조정부(120)에서 조정된 뎁스, 즉 픽셀 시프트 양에 기초하여 다시점 영상을 렌더링할 수 있다.

구체적으로, 렌더링부(130)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 멀티 뷰 즉, N 개의 뷰 및 대응되는 N개의 뎁스 정보가 입력되는 경우 입력된 N개의 뷰 및 뎁스 정보 중 적어도 하나의 뷰 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 N 개의 뷰 만 입력되는 경우, N 개의 뷰 로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.

일 예로, 렌더링부(130)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 렌더링부(130)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 픽셀 시프트 양을 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다.

렌더링부(130)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다.

한편, 렌더링부(130)는 다시점 영상을 렌더링하기 전에 최좌측 뷰 및 최우측 뷰들에 존재하는 홀 필링 작업을 수행하여 최좌측 뷰 및 최우측 뷰를 보상할 수 있다.

또한, 렌더링부(130)는 센터 뷰, 최좌측 뷰 및 최우측 뷰를 기초로 생성된 다시점 영상 각각에 대한 홀 영역에 대해서는 최좌측 뷰 및 최우측 뷰 중 하나에 대응되는 픽셀 영역의 값을 카피하여 홀 영역을 인페인팅(inpainting)할 수 있다. 이 경우 배경에서 가까운 부분부터 홀 필링을 수행할 수 있다. 예를 들어, 총 35 개의 다시점 영상을 렌더링하는 경우 17번째에 위치하는 센터뷰 및 최우측 뷰인 35 번째 뷰 사이에 존재하는 18 내지 34 번째 뷰에 대해서는 최우측 뷰인 35 번째 뷰에 대응되는 픽셀 영역의 값을 홀 영역을 필링할 수 있다. 다만 경우에 따라서는 입력 영상을 기초로 각 다시점 영상 각각에 대한 홀 필링을 수행하는 것도 가능하다.

디스플레이부(140)는, 멀티 뷰(또는 멀티 광학 뷰)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(140)는 멀티 뷰 제공을 위한 디스플레이 패널(141) 및 시역 분리부(142)를 포함한다.

디스플레이 패널(141)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(141)을 구성할 수 있다. 이 경우, 디스플레이 패널(141)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.

디스플레이 패널(141)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(141)은 렌더링부(130)에서 생성된 다시점 영상이 순차적으로 반복 배치된 영상 프레임을 디스플레이할 수 있다.

한편, 도 2에 도시하지 않았지만, 디스플레이 패널(141)이 LCD 패널로 구현되는 경우, 디스플레이 장치(100)는 디스플레이 패널(141)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(141)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.

시역 분리부(142)는 디스플레이 패널(141)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 멀티 뷰를 제공할 수 있다. 이 경우, 시역 분리부(142)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.

예를 들어, 시역 분리부(142)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(141)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.

다른 예로, 시역 분리부(142)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역별로 상이한 시점의 영상이 출사되도록 할 수 있다.

한편, 도면에는 도시되지 않았지만, 다시점 영상 디스플레이 장치(100)는 비정류 스테레오 검출, 컬러 부정합 검출, 모션 블러 검출과 같은 다른 감쇠 모듈을 더 포함할 수 있다.

상술한 바와 같이 본 발명의 일 실시 예에 따르면 다시점 영상을 렌더링하기 전에 입력된 영상에 대해 추정된 뎁스를 컨트롤하게 되는데 그 이유는 다음과 같다.

첫째 디스플레이가 이미지 퀄리티의 심각한 악화 없이 표현할 수 있는 뎁스의 크기는 디스플레이 기술에 따라 다양하다는 점이다. 인접 뷰 간에 발생되는 과도한 양의 크로스토크는 화면 디스패리티 양 또는 디스플레이가 보여줄 수 있는 시차(parallax)를 제한할 수 있다. 따라서, 다양한 뎁스 표현 성능을 갖는 디스플레이 기술을 가능한 수용하기 위하여 렌더링부(140)에서 발생되는 픽셀 시프트 양을 컨트롤할 필요가 있다. 둘째, 뎁스 추정부(110)에서 수행되는 스테레오 매칭에서의 결함은 생성된 뷰에서의 결함을 초래한다는 점이다. 이에 따라 뎁스 조정부(120)에서 퀄리티가 낮은 씬을 검출하고, 해당 씬에서 뎁스를 감소시킨다면 시각적 결함 및 왜곡을 완화될 수 있게 된다. 셋째, 디스플레이 상에서 보여지는 뎁스 양에 대한 일종의 컨트롤을 사용자에게 제공할 수 있게 된다.

이하에서는, 도면을 참조하여 본 발명의 일 실시 예에 뎁스를 조정하는 방법을 좀더 자세히 설명하도록 한다.

도 3은 본 발명의 일 실시 예에 따른 디스패리티 값의 히스토그램을 도시한 도면이다.

도 3에서는 설명의 편의를 위하여 히스토그램의 빈(bin) 사이즈를 1 픽셀로 도시하였지만, 빈 사이즈는 변경가능하다.

도 3에 도시된 바와 같은 히스토그램은 하나의 이미지 및 하나의 뎁스로부터 만들어지거나, 가능한 경우 두 개의 이미지 및 두 개의 뎁스로부터 만들어질 수 있다. 여기서, 히스토그램의 스프레딩 정도 및 형상은 스테레오 이미지의 컨텐츠에 따라 달라진다. 이러한 히스토그램에는 카운팅된 디스패리티 값의 전체 수에 대한 퍼센티지의 범위를 정하는 상/하위 디스패리티가 존재한다. 도시된 바에 따르면 이러한 퍼센티지는 95%이다. 또한 중심 디스패리티 값을 산출할 수 있는데 이는 다양한 방식으로 산출가능하다. 한 가지 방법은 모든 디스패리티 값의 평균으로 중심 디스패리티 값을 산출하는 것이다. 또 다른 방법은 상/하위 디스패리티 값 사이에서 중간 포인트를 찾는 것이다. 이러한 포인트를 발견하는 이유는 추후에 뎁스를 컨트롤하는데 이용될 d_span 및 d_offset을 결정하기 위함이다.

도 4a 및 도 4b는 본 발명의 일 실시 예에 따라 뎁스 컨트롤에 필요한 수치를 산출하기 위한 방법을 설명하기 위한 도면이다.

d_span 및 d_offset 을 발견하는 방법으로 도 4a 및 도 4b에 도시된 바와 같이 두 가지 방법이 존재한다.

첫번째 방법으로, 도 4a에 도시된 바와 같이 d_offset은 0으로 설정하고, d_span 만을 발견하는 것이다. 이 경우, d_span은 이전에 발견된 상/하위 디스패리티 값을 범위로 하는 0로부터의 디스패리티 값에 해당한다. 도 4a에서 하위 디스패리티는 상위 디스패리티보다 더 크기 때문에, d_span은 하위 디스패리티의 크기에 할당된다. 이러한 값은 도 4a에 기재된 최소 및 최대 패럴랙스 값을 결정한다. 이들은 0로부터 d_span거리만큼 떨어진 값이 된다. 여기서, 패럴랙스는 렌더링부(130)에서 출력될 실제 화면 디스패리티를 고려한다.

이하에서는 설명의 편의를 위하여 로컬 픽셀에 대한 최좌측 및 최우측 렌더링된 뷰 간의 화면 픽셀 디스패리티로서 패럴랙스(시차)를 정의하도록 한다(이러한 정의는 기술적으로 옳지 않지만, 무관하게 해당 용어를 이용하도록 한다). 이러한 최대 패럴랙스 값은 제조자나 사용자에 의해 설정될 수 있는 상수 파라미터이다. 이러한 값을 정의하고, 디스패리티 값이 실제 온 스크린 픽셀 디스패리티 또는 패럴랙스로 변환되는 방법을 살펴보도록 한다. 디스패리티가 보여줄 수 있는 최대 양의 뎁스에 대응되도록 최대 패럴랙스 값을 설정하는 경우, 디스패리티-패럴랙스 매핑 방법은 이미지의 모든 영역이 시청자에게 적절히 보여지도록 할 수 있다.

두번째 방법으로, 도 4b에 도시된 바와 같이 d_span을 중심 디스패리티에 대해 산출되는 것이다. 상하위 디스패리티 값을 범위로 하는 중심 디스패리티로부터의 디스패리티 값이 d_span으로 할당된다. 여기서, 패럴랙스 제한은 이전과 동일하고 디스패리티-화면 패럴랙스 변환 함수를 결정한다. 두번째 방법이 첫번째 방법보다 디스패리티 값을 좀더 많은 패럴랙스 값으로 분산시킬 수 있다는 점은 명백하다. 이는 뎁스를 지나치게 하거나, 시청자에게 보여지는 좀더 넓은 범위에 걸쳐 뎁스를 분산시키는 효과가 있다.

도 5는 본 발명의 일 실시 예에 따라 임계 주파수를 산출하는 방법을 설명하기 위한 도면이다.

도 5에 도시된 바와 같이 디스패리티 히스토그램으로부터 적어도 하나의 수치가 산출될 수 있다. 구체적으로, 디스패리티 검색 범위의 가장 코너 영역에 존재하는 샘플의 개수를 카운팅하고, 카운팅된 수량을 임계 주파수라고 하도록 한다. 여기서, 디스패리티 검색 범위는 뎁스 이미지를 획득하는데 이용되는 디스패리티 추정 또는 스테레오 매칭 알고리즘에 따라 고유하게 결정된다. 즉, 많은 알고리즘들이 디스패리티가 발견되는 검색 범위를 정의한다.

도 5에 도시된 바에 따르면 디스패리티 검색 범위는 -128 ~ 127이다. 임계 주파수가 카운팅되는 히스토그램의 외곽 가장자리는 디스패리티 범위의 퍼센티지 또는 빈의 개수로서 설정될 수 있다. 이는 이미지에 실제 존재하는 디스패리티가 알고리즘의 검색 범위 제한을 초과할 가능성을 판단하기 위한 것이다.

부정확하게 추정된 디스패리티 이미지는 마지막에 렌더링된 뷰에서 결함을 초래한다. 이에 따라 본 발명에 따르면, 사용자에게 인지되는 뎁스를 감소시킴으로써 잠재적으로 시각적 인지 결함을 감소시킬 수 있게 된다.

구체적으로, 디스패리티 검색 범위의 외곽 가장자리에 대응되는 임계 주파수의 감쇠 함수인, 감쇠 상수를 결정한다.

한편, 도 5에 도시되지 않았지만, 임계 주파수에 더하여, 뎁스 조정부(120)에 의해 이용될 수 있는 적어도 두 개의 수치를 산출하도록 한다. 그 중 하나는 이미지에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수이다.

대부분의 스테레오 매칭 알고리즘은 존재하는 주기 패턴에서 정확한 디스패리티를 산출하지 못한다. 이에 따라 부정확하게 추정된 디스패리티가 존재할 가능성이 있는 경우 인지된 뎁스를 감소시킬 수 있다. 한편, 정확한 주기 패턴 검출 방법은 본 발명의 범위 밖이므로 자세한 설명은 생략하도록 한다.

다른 하나는 매칭 매트릭스의 퀄리티이다. 일반적인 최적화 스테레오 매칭 알고리즘의 경우, 매칭 매트릭스의 퀄리티는 스테레오 이미지가 얼마나 잘 매칭되는지 기본적으로 정량화하는 MRF 에너지 공식으로부터 산출될 수 있다. 구체적으로, 에너지가 높은 경우 다시 말해, 매칭 퀄리티가 낮은 경우 인지된 뎁스를 감소시키는 방향으로 뎁스를 컨트롤할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 뎁스 조정부의 세부 동작을 설명하기 위한 도면이다.

도 6에 도시된 바와 같이 뎁스 조정부(120)는 디스패리티 히스토그램 분석 서브 모듈, 주기 패턴 검출 서브 모듈 및 MRF 에너지 산출 서브 모듈의 세 가지 주요한 서브 모듈을 포함한다. 이 중 MRF 에너지 산출 서브 모듈은 임의의 매칭 메트릭스의 퀄리티를 고려할 수 있도록 일반화된 모듈이 될 수 있다.

디스패리티 히스토그램 분석 서브 모듈의 출력은 d_span, d_offset 및 임계 주파수이다. 주기 패턴 검출 서브 모듈 및 MRF 에너지 산출 서브 모듈의 출력은 각각 주기 패턴 주파수 및 MRF 에너지이다. 세가지 메트릭스(임계 주파수, 주기 패턴 주파수, MRF 에너지)는 (f, g, 및 h로 표기된) 감쇠 함수에 적용되고, 세 값의 최소값이 감쇠 상수(β)로서 선택된다. 여기서, 상술한 메트릭스을 감쇠 상수로 변환하는 감쇠 함수의 일 예가 도 7a 내지 도 7c에 도시된다. 감쇠 상수의 출력은 0 및 1 사이의 값이다.

한편, 감쇠 상수는 렌더러에서 발생하는 뎁스 감소량을 결정한다. 즉, 뎁스 컨트롤 모듈의 출력은 d_span, d_offset (모드에 따라 0가 될 수 있음), 감쇠 상수(β)가 될 수 있다.

디스패리티가 스크린 패럴렉스(화면 시차)로 변환되는 방법이 아래 수학식 1에 도시된다.

여기서, d는 디스패리티 이미지의 로컬 디스패리티이고, p는 해당 디스패리티에 대응하여 생성된 뷰에서 발생하는 픽셀 시프트의 양이다. 또한, p_max는 최대 패럴랙스이고, 뎁스 컨트롤 모듈의 출력은 d_span, d_offset, 및 beta이다. 또한, α는 뷰 스프레드(spread) 또는 최좌측 및 최우측 이미지 간의 거리가 1이 되도록 센터로부터 노멀라이즈된 뷰 거리이다. 예를 들어, 7 개의 다시점 뷰를 제공하는 디스플레이의 경우 다양한 뷰에 대응되는 α 값이 도 8에 도시된다.

도 8을 참고하면, 센터 뷰에 대한 α 값 0을 중심으로 좌 우측 방향의 다시점 뷰 각각에 대한 α 값은 (-3/6, -2/6, -1/6, 0, 1/6, 2/6, 3/6) 값을 가질 수 있다.

한편, 수학식 1에서 p_max가 상수이고, α가 -1/2 ~1/2 범위 값이고, β가 0 및 1 범위 값이며, 마지막 항은 -1~1 범위에 근접하게 된다.

스크린 패럴랙스(p)는 대략적으로 -p_max/2 및 p_max/2 사이 값을 갖는다. 다시 말해, 최우측 및 최좌측 렌더링 뷰 사이에서 임의의 두 대응 픽셀 간의 최대 분리값은 대략적으로 p_max가 될 것이다. 큰 임계 주파수, 큰 주기 패턴 주파수 또는 높은 에너지 값의 경우, β는 0에 근접하고, 두 개의 대응 픽셀 간의 분리값은 0에 근접하게 되고, 인지된 뎁스를 효과적으로 감소시키게 된다.

한편, 경우에 따라 모듈에 이용되는 중요한 수치, 즉 d_span, d_offset 및 bβ에 일종의 시간 필터를 적용할 수 있다. 시간 필터의 일 예로, 감쇠 상수의 경우, 아래와 같은 수학식 2에 정의된 지수 이동 평균이 있다.

여기서, γ는 0~1 범위의 가중치 파라미터이다. 선택적으로, 씬 변화가 있을 때마다 시간 필터가 적용되지 않도록 씬 변화 검출 모듈을 포함할 수 있다. 예를 들어, 수학식 2의 지수 이동 평균의 경우에, 씬 변화가 검출될 때마다 γ파라미터는 1로 설정될 수 있다.

도 9는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 흐름도이다.

도 9에 도시된 흐름도에 따르면, 다시점 영상 디스플레이 장치는, 우선 입력된 영상의 뎁스를 추정한다(S910).

이어서, 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 입력된 영상에 존재하는 주기 패턴 정보 및 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 추정된 뎁스를 조정한다(S920).

이어서, 조정된 뎁스에 기초하여 다시점 영상을 렌더링한다(S930).

이 후, 다시점 영상을 디스플레이한다(S940).

한편, 추정된 뎁스를 조정하는 S920 단계에서는, 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 입력된 영상에 존재하는 주기 패턴 정보 및 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 입력된 영상의 뎁스가 감소되도록 조정할 수 있다.

여기서, 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는, 디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보가 될 수 있다. 이 경우, 추정된 뎁스를 조정하는 S920 단계에서는, 임계 주파수가 기설정된 임계값을 초과하는 경우 정된 뎁스가 감소되도록 조정할 수 있다.

또한, 입력된 영상에 존재하는 주기 패턴 정보는, 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보가 될 수 있다. 이 경우, 추정된 뎁스를 조정하는 S920 단계에서는, 주기 패턴 주파수가 기설정된 임계값을 초과하는 경우 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 입력된 영상의 MRF(Markov random fields) 에너지 정보는, 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보가 될 수 있다. 이 경우, 추정된 뎁스를 조정하는 S920 단계에서는, MRF 에너지가 기설정된 임계값을 초과하는 경우 추정된 뎁스가 감소되도록 조정할 수 있다.

또한, 추정된 뎁스를 조정하는 S920 단계에서는, 디스패리티 히스토그램으로부터 산출된 임계 주파수, 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 입력된 영상의 뎁스를 조정할 수 있다.

구체적으로 추정된 뎁스를 조정하는 S920 단계에서는, 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 조정할 수 있다. 이 경우, 상술한 수학식 1에 기초하여 상기 다시점 영상을 렌더링하기 위해 필요한 픽셀 시프트 양을 산출할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경 3D 디스플레이 장치에서 사용자에게 최적의 입체감을 제공할 있게 된다.

상술한 다양한 실시 예에 따른 뎁스 조정 방법은 프로그램으로 구현되어 디스플레이 장치 또는 스테레오-멀티 뷰 칩에 제공될 수 있다.

일 예로, 입력된 영상의 뎁스를 추정하는 단계, 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 입력된 영상에 존재하는 주기 패턴 정보 및 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 추정된 뎁스를 조정하는 단계, 및 조정된 뎁스에 기초하여 다시점 영상을 렌더링하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 다시점 영상 디스플레이 장치
110 : 뎁스 조정부 120 : 렌더링부
130 : 디스플레이부 140 : 제어부
150 : 저장부

Claims

다시점 영상 디스플레이 장치에 있어서,
입력된 영상의 뎁스를 추정하는 뎁스 추정부;
상기 추정된 뎁스를 조정하는 뎁스 조정부;
상기 조정된 뎁스에 기초하여 다시점 영상을 렌더링하는 렌더링부; 및
상기 다시점 영상을 디스플레이하는 디스플레이부;를 포함하며,
상기 뎁스 조정부는,
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스를 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제1항에 있어서,
상기 뎁스 조정부는,
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제2항에 있어서,
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는,
상기 디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보이며,
상기 뎁스 조정부는,
상기 임계 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제2항에 있어서,
상기 입력된 영상에 존재하는 주기 패턴 정보는,
상기 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보이며,
상기 뎁스 조정부는,
상기 주기 패턴 주파수 정보가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제2항에 있어서,
상기 입력된 영상의 MRF(Markov random fields) 에너지 정보는,
상기 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보이며,
상기 뎁스 조정부는,
상기 MRF 에너지가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제1항에 있어서,
상기 뎁스 조정부는,
상기 디스패리티 히스토그램으로부터 산출된 임계 주파수, 상기 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 상기 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 상기 입력된 영상의 뎁스를 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제1항에 있어서,
상기 뎁스 조정부는,
상기 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 조정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
제7항에 있어서,
상기 뎁스 조정부는,
아래 수학식에 기초하여 상기 다시점 영상을 렌더링하기 위해 필요한 픽셀 시프트 양을 산출하는 것을 특징으로 하는 다시점 영상 디스플레이 장치;

여기서, p는 디스패리티에 대응하여 생성된 뷰에서 발생하는 픽셀 시프트의 양, d는 디스패리티 이미지의 로컬 디스패리티, p_max는 최대 화면 시차, d_span 및 d_offset은 디스패리티 히스토그램으로부터 산출된 값, 및 β는 임계 주파수, 주기 패턴 주파수, MRF 에너지의 최소값, α는 뷰 최좌측 및 최우측 이미지 간의 거리가 1이 되도록 센터로부터 노멀라이즈된 뷰 거리를 나타낸다.
다시점 영상 디스플레이 장치의 제어 방법에 있어서,
입력된 영상의 뎁스를 추정하는 단계;
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 추정된 뎁스를 조정하는 단계;
상기 조정된 뎁스에 기초하여 다시점 영상을 렌더링하는 단계; 및
상기 다시점 영상을 디스플레이하는 단계;를 포함하는 제어 방법.
제9항에 있어서,
상기 추정된 뎁스를 조정하는 단계는,
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보, 상기 입력된 영상에 존재하는 주기 패턴 정보 및 상기 입력된 영상의 MRF(Markov random fields) 에너지 정보 중 적어도 하나에 기초하여 상기 입력된 영상의 뎁스가 감소되도록 조정하는 것을 특징으로 하는 제어 방법.
제10항에 있어서,
상기 입력된 영상에 대한 디스패리티 히스토그램으로부터 산출된 정보는,
상기 디스패리티 히스토그램에서 디스패리티가 발견되는 범위인 디스패리티 검색 범위의 가장 자리 영역에 대응되는 임계 주파수 정보이며,
상기 추정된 뎁스를 조정하는 단계는,
상기 임계 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 제어 방법.
제10항에 있어서,
상기 입력된 영상에 존재하는 주기 패턴 정보는,
상기 입력된 영상에 존재하는 주기적 또는 반복적 텍스처의 양을 추정하는 주기 패턴 주파수 정보이며,
상기 추정된 뎁스를 조정하는 단계는,
상기 주기 패턴 주파수가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 제어 방법.
제10항에 있어서,
상기 입력된 영상의 MRF(Markov random fields) 에너지 정보는,
상기 입력된 영상을 구성하는 스테레오 영상의 매칭 정도를 정량화하는 에너지에 대한 정보이며,
상기 추정된 뎁스를 조정하는 단계는,
상기 MRF 에너지가 기설정된 임계값을 초과하는 경우 상기 추정된 뎁스가 감소되도록 조정하는 것을 특징으로 하는 제어 방법.
제9항에 있어서,
상기 추정된 뎁스를 조정하는 단계는,
상기 디스패리티 히스토그램으로부터 산출된 임계 주파수, 상기 입력된 영상에 존재하는 주기 패턴에 관한 주기 패턴 주파수 및 상기 입력된 영상의 MRF 에너지를 감쇠 상수로 변환하고, 변환된 감쇠 상수 중 최소값을 뎁스 감소량으로 결정하고, 결정된 뎁스 감소량에 기초하여 상기 입력된 영상의 뎁스를 조정하는 것을 특징으로 하는 제어 방법.
제9항에 있어서,
상기 추정된 뎁스를 조정하는 단계는,
상기 다시점 영상을 렌더링하기 위한 픽셀 시프트 양을 조정하는 것을 특징으로 하는 제어 방법.
제15항에 있어서,
상기 추정된 뎁스를 조정하는 단계는,
아래 수학식에 기초하여 상기 다시점 영상을 렌더링하기 위해 필요한 픽셀 시프트 양을 산출하는 것을 특징으로 하는 제어 방법;

여기서, p는 디스패리티에 대응하여 생성된 뷰에서 발생하는 픽셀 시프트의 양, d는 디스패리티 이미지의 로컬 디스패리티, p_max는 최대 화면 시차, d_span 및 d_offset은 디스패리티 히스토그램으로부터 산출된 값, 및 β는 임계 주파수, 주기 패턴 주파수, MRF 에너지의 최소값, α는 뷰 최좌측 및 최우측 이미지 간의 거리가 1이 되도록 센터로부터 노멀라이즈된 뷰 거리를 나타낸다. 32aA