KR20100059013A

KR20100059013A - 멀티 레이어 디스플레이에 3차원 영상을 표현하기 위한 영상 처리 장치 및 방법

Info

Publication number: KR20100059013A
Application number: KR1020080117629A
Authority: KR
Inventors: 한영란; 곽영신; 박두식; 정영주
Original assignee: 삼성전자주식회사
Priority date: 2008-11-25
Filing date: 2008-11-25
Publication date: 2010-06-04
Also published as: US20100128034A1; US8866812B2; US20160133041A1; US20170256089A9; US10282891B2; KR101580275B1

Abstract

멀티 레이어 디스플레이에 3차원 영상을 표현하기 위한 영상 처리 장치 및 방법이 제공된다. 영상 처리 장치 및 방법은 원래의 깊이 정보를 기초로 가상의 깊이 정보를 생성하고, 생성된 가상의 깊이 정보를 이용하여 다양한 깊이들을 가진 3 차원 영상을 표현할 수 있다. 또한, 영상 처리 장치 및 방법은 복수의 디스플레이 레이어들 각각에 적절히 컬러 정보를 제공함으로써, 원래의 영상을 훼손시키지 않을 수 있다.

멀티 레이어, 디스플레이, 깊이, depth, 3차원, 컬러, 영상

Description

멀티 레이어 디스플레이에 3차원 영상을 표현하기 위한 영상 처리 장치 및 방법{APPARAUTUS AND METHOD FOR PROCESSING THREE DIMENSIONAL IMAGE ON THE MULTI-LAYER DISPLAY}

본 발명의 실시예들은 멀티 레이어 디스플레이에 3차원 영상을 표현하는 기술에 관한 것이다.

사람의 두 눈은 서로 떨어져 있기 때문에, 양안 시차(binocular parallax)가 존재한다. 이러한 양안 시차로 인해 관찰자는 입체감을 느낄 수 있다. 최근, 다양한 분야에서 양안 시차의 원리를 이용하여 3 차원 영상을 표현하는 디스플레이 기술이 주목 받고 있다.

3 차원 영상을 디스플레이하는 기술은 안경 방식(shutter glass method), 무안경 방식, 완전 3차원 방식 등으로 구분된다. 안경 방식에는 사용자가 별도의 편광 안경과 같은 별도의 장비를 착용해야 하는 문제점이 있으며, 무안경 방식에는 사용자가 특정 위치에서만 3차원 영상을 볼 수 있는 문제점이 있다. 따라서, 안경 방식 및 무안경 방식에는 여러 문제점들이 존재하므로, 최근에는 완전 3차원 방식에 대한 연구가 활발히 진행되고 있다.

완전 3차원 방식의 일종으로 체적형(volumetric) 3차원 디스플레이 기술이 있다. 체적형 3차원 디스플레이 기술은 사용자가 복수의 디스플레이 레이어들에 투사되는 영상들을 볼 때 발생하는 착시 현상을 이용하여 3차원 영상을 표현한다. 그러나, 복수의 디스플레이 레이어들을 사용하더라도 경우에 따라 사용자는 풍부한 깊이감을 느끼지 못할 수 있다.

본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치는 입력 영상의 원래의(original) 깊이 정보를 변환하여 가상의 깊이 정보를 생성하는 깊이 정보 변환부 및 상기 가상의 깊이 정보를 기초로 상기 입력 영상의 컬러 정보를 조절하여 복수의 디스플레이 레이어들 각각으로 출력 컬러 정보를 제공하는 컬러 정보 변환부를 포함한다.

이 때, 상기 깊이 정보 변환부는 히스토그램 평활화(histogram equalization)를 이용하여 상기 입력 영상의 원래의(original) 깊이 정보를 변환하여 상기 가상의 깊이 정보를 생성할 수 있다.

그리고, 상기 컬러 정보 변환부는 상기 가상의 깊이 정보를 기초로 상기 입력 영상의 휘도를 유지한 채 상기 입력 영상의 휘도 및 채도를 조절하여 상기 복수의 디스플레이 레이어들 각각으로 상기 출력 컬러 정보를 제공할 수 있다.

또한, 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 방법은 입력 영상의 원래의(original) 깊이 정보를 변환하여 가상의 깊이 정보를 생성하는 단계 및 상기 가상의 깊이 정보를 기초로 상기 입력 영상의 컬러 정보를 조절하여 복수의 디스플레이 레이어들 각각으로 출력 컬러 정보를 제공하는 단계를 포함한다.

본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치 및 방법은 원래의 깊이 정보를 변환하여 생성된 가상의 깊이 정보를 이용함으로써, 사용자에게 보다 풍부한 깊이들을 갖는 3차원 영상을 제공할 수 있다.

또한, 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치 및 방법은 히스토그램 평활화(histogram equalization) 가상의 깊이 정보를 생성함으로써, 사용자에게 실제로 느껴지는 깊이들을 증가시킬 수 있다.

또한, 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치 및 방법은 복수의 디스플레이 레이어들을 위한 컬러 정보를 적절히 생성함으로써, 원래의 영상이 갖는 컬러를 유지한 채로, 다양한 깊이들을 갖는 3차원 영상을 제공할 수 있다.

또한, 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치 및 방법은 로컬 디밍 제어기를 활용함으로써, 입체감을 극대화할 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 입력 영상의 2차원 RGB, 원래의 깊이 지도 및 가상의 깊이 지도의 일예를 나타낸 도면이다.

도 2는 원래의 깊이 정보 및 가상의 깊이 정보에 대한 히스토그램들을 나타낸 도면이다.

도 1을 참조하면, 입력 영상의 2차원 RGB(Red Green Blue, 110)는 영상 처리 장치로 제공된다. 추후, 입력 영상의 2차원 RGB(Red Green Blue, 110)는 복수의 디스플레이 레이어들 각각을 위한 출력 컬러 정보를 생성하는 데에 사용된다.

도면 부호 120는 입력 영상의 원래의 깊이 정보에 따른 입력 영상의 원래의 깊이 지도를 나타내며, 도면 부호 130은 원래의 깊이 정보를 변환하여 생성된 가상의 깊이 정보에 따른 가상의 깊이 지도를 나타낸다.

원래의 깊이 지도(120) 및 가상의 깊이 지도(130)를 비교하면, 사용자는 원래의 깊이 지도(120)에 비해 가상의 깊이 지도(130)로부터 더 많은 깊이 값들을 느낄 수 있음을 알 수 있다.

도 2를 참조하면, 관찰자로부터 가까운 물체일수록 그 물체의 깊이는 1에 가깝고, 관찰자로부터 먼 물체일수록 그 물체의 깊이는 0에 가깝다고 가정한다. 즉, (디스플레이) 레이어 1 및 레이어 2 사이에서, 관찰자로부터 먼 물체는 레이어 1에 가깝게 보이고, 관찰자로부터 가까운 물체는 레이어 2에 가깝게 보인다.

도면 부호 210은 도 1에 도시된 원래의 깊이 지도(120)에 대응하는 원래의 깊이 정보에 대한 히스토그램을 나타낸다. 히스토그램(210)에서, 깊이 정보를 구성하는 깊이 정보 엘리먼트들 중 유효한 깊이 정보 엘리먼트들은 특정 범위에 집중적으로 존재한다. 즉, 원래의 깊이 정보는 A 범위 및 B 범위의 깊이들에서만 0보다 큰 휘도값(V)들을 가지며, A 범위 및 B 범위를 제외한 나머지 범위의 깊이들에서는 0(거의 0)의 휘도값들을 갖는다.

도면 부호 220은 도 1에 도시된 가상의 깊이 지도(130)에 대응하는 가상의 깊이 정보에 대한 히스토그램을 나타낸다. 여기서, 히스토그램(220)은 히스토그램(210)에 대하여 히스토그램 평활화를 적용함으로써 생성될 수 있다. 히스토그 램(220)에서, 깊이 0~1 범위 전체에 걸쳐 0보다 큰 휘도값들이 존재하므로, 유효한 깊이 정보 엘리먼트들은 분산적으로 존재함을 알 수 있다. 이 때, 유효한 깊이 정보 엘리먼트들이 분산적으로 존재하므로, 사용자는 실제적으로 보다 많은 깊이값들을 느낄 수 있다.

아래에서 상세히 설명하겠지만, 본 발명의 일실시예에 따른 영상 처리 장치 및 방법은 사용자가 실제로 많은 깊이 값들을 느낄 수 있도록 원래의 깊이 정보를 가상의 깊이 정보로 변환할 수 있다.

도 3은 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치를 나타낸 블록도이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 멀티 레이어 디스플레이를 위한 영상 처리 장치는 깊이 정보 변환부(310) 및 컬러 정보 변환부(320)를 포함한다.

깊이 정보 변환부(310)는 입력 영상의 원래의(original) 깊이 정보(Depth_in)를 변환하여 가상의 깊이 정보(Depth')를 생성한다. 여기서, 가상의 깊이 정보(Depth')는 다양한 방법에 따라 생성될 수 있다.

예를 들어, 깊이 정보 변환부(310)는 히스토그램 평활화(histogram equalization)를 이용하여 입력 영상의 원래의(original) 깊이 정보(Depth_in)를 변환하여 가상의 깊이 정보(Depth')를 생성할 수 있다. 또한, 깊이 정보 변환부(310)는 입력 영상의 원래의 깊이 정보(Depth_in)에 포함된 유효한 깊이 정보 엘리먼트들이 특정 범위(range)에서 집중적으로 존재하는 것을 분산할 수 있도록 입 력 영상의 원래의(original) 깊이 정보(Depth_in)를 변환하여 가상의 깊이 정보(Depth')를 생성할 수 있다. 뿐만 아니라, 깊이 정보 변환부(310)는 특정 범위에 집중적으로 존재하는 유효한 깊이 정보 엘리먼트들 사이의 간격을 확장하여 가상의 깊이 정보(Depth')를 생성할 수 있다.

결국, 가상의 깊이 정보(Depth')에 포함된 유효한 깊이 정보 엘리먼트들은 분산적으로 존재하므로, 사용자는 원래의 깊이 정보(Depth_in)보다 가상의 깊이 정보(Depth')로부터 깊이값들을 실제적으로 더 많이 느낄 수 있다.

또한, 컬러 정보 변환부(320)는 가상의 깊이 정보(Depth')를 기초로 입력 영상의 컬러 정보를 조절하여 복수의 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각으로 출력 컬러 정보를 제공한다. 이 때, 컬러 정보 변환부(320)는 입력 영상의 휘도를 유지한 채 입력 영상의 휘도 및 채도만을 조절하여 출력 컬러 정보를 생성할 수 있다. 특히, 컬러 정보 변환부(320)는 사용자가 보는 영상의 컬러와 입력 영상의 컬러가 달라지지 않도록 출력 컬러 정보를 생성할 수 있다.

이 때, 복수의 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각은 출력 컬러 정보를 이용하여 출력 영상들을 디스플레이하고, 사용자는 그 출력 영상들을 통하여 3차원 영상을 관찰할 수 있다.

컬러 정보 변환부(320)는 색공간 변환기(321), 매개 컬러 정보 생성부(322) 및 복수의 출력 컬러 정보 생성부(323, 324, 325)를 포함할 수 있다.

컬러 정보가 RGB 입력(RGB_in)인 경우, 색공간 변환기(321)는 RGB 입력을 HSV(Hue Saturation Value) 포맷으로 변환한다. 변환된 HSV 중 S 값 및 V 값은 매 개 컬러 정보 생성부(322)로 제공된다.

또한, 매개 컬러 정보 생성부(322)는 복수의 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각의 레이어 정보, 입력 영상의 S 값, V 값 및 가상의 깊이 정보(Depth')를 수신한다. 그리고, 매개 컬러 정보 생성부(322)는 레이어 정보, 입력 영상의 S 값, V 값 및 가상의 깊이 정보를 이용하여 복수의 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각을 위한 매개 컬러 정보를 생성한다. 여기서, 매개 컬러 정보는 복수의 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각을 위한 S 값 및 V 값을 포함한다. 이 때, 매개 컬러 정보는 사용자가 보는 3차원 영상의 컬러와 입력 영상의 원래 컬러가 달라지지 않도록 생성될 수 있다.

또한, 매개 컬러 정보 생성부(322)는 레이어 1을 위한 매개 컬러 정보인 S1, V1, 레이어 2를 위한 매개 컬러 정보인 S2, V2, 레이어 N을 위한 매개 컬러 정보인 SN, VN을 각각 제1 출력 컬러 정보 생성부(323), 제2 출력 컬러 정보 생성부(324) 및 제N 출력 컬러 정보 생성부(325)로 제공한다.

이 때, 출력 컬러 정보 생성부들(323, 324, 325) 각각은 색공간 변환기(321)로부터 제공된 H 값과 매개 컬러 정보 생성부(322)로부터 제공된 S 값 및 V 값을 RGB 포맷으로 변환한다. 그리고, 출력 컬러 정보 생성부들(323, 324, 325) 각각은 R1, G1, B1과 R2, G2, B2 및 RN, GN, BN을 레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각으로 제공한다.

레이어들(레이어 1, 레이어 2, . . . 레이어 N) 각각은 제공된 RGB 값을 이용하여 출력 영상을 디스플레이하고, 사용자는 레이어들 각각의 출력 영상으로부터 3차원 영상을 볼 수 있다.

또한, 로컬 디밍 제어기(330)는 입체감을 향상시키기 위하여 가상의 깊이 정보를 기초로 LED BLU(Back Light Unit)에 대하여 로컬 디밍을 제어한다. 즉, 로컬 디밍 제어기(330)는 소비 전력을 줄이고 콘트라스트를 향상시키기 위하여 LED BLU(Light Emitting Diode Back Light Unit)의 파워를 제어한다. 예를 들어, 관찰자와 가까운 오브젝트는 상대적으로 강한 파워가 적용되며, 관찰자와 멀리 떨어진 오브젝트는 상대적으로 약한 파워가 적용될 수 있다.

이 때, 일반적으로 LED들의 개수는 픽셀들의 개수보다 작으므로, 로컬 디밍 제어기(330)는 가상의 깊이 정보에 따른 깊이 지도를 블러링함으로써, 하나의 LED에 대응하는 복수의 픽셀들에 대한 깊이값들의 평균을 구할 수 있다. 그리고, 로컬 디밍 제어기(330)는 하나의 LED에 대응하는 복수의 픽셀들에 대한 깊이값들의 평균을 기초로 LED에 적용되는 파워를 제어할 수 있다.

도 4는 본 발명의 일실시예에 따른 컬러 정보 변환부의 동작을 나타낸 동작 흐름도이다.

여기서, 디스플레이 레이어들의 개수가 두 개이고, 관찰자로부터 가까운 디스플레이 레이어를 앞 레이어, 관찰자로부터 멀리 떨어진 디스플레이 레이어를 백 레이어라고 가정한다.

두 개의 디스플레이 레이어들을 포함하는 구조에서, 백 레이어는 관찰자로부터 가장 멀리 떨어진 오브젝트를 디스플레이하는 기능 및 앞 레이어에 대한 백 라이트로서의 기능을 모두 수행한다. 또한, 앞 레이어는 관찰자로부터 가장 가까운 오브젝트를 디스플레이하는 기능 및 백 레이어에 대한 윈도우로서의 기능을 모두 수행한다. 이러한 백 레이어 및 앞 레이어의 기능들을 고려하여 백 레이어 및 앞 레이어에 디스플레이되는 오브젝트를 처리할 필요가 있다.

도 4를 참조하면, 컬러 정보 변환부는 가상의 깊이 정보(Depth'), 입력 영상의 V, S를 인지한다(S410). 여기서, 컬러 정보 변환부는 입력 영상의 H를 미리 파악하였다고 가정한다.

또한, 컬러 정보 변환부는 가상의 깊이 정보(Depth') 및 백 레이어 및 앞 레이어의 관계 또는 기능을 고려하여 백 레이어를 위한 휘도값(Back_V) 및 채도값(Back_S)을 계산한다(S420).

극단적인 예를 들어, 컬러 정보 변환부는 백 레이어에 디스플레이되는 관찰자로부터 멀리 떨어진 오브젝트에 대하여는 원래의 휘도값 및 채도값을 그대로 백 레이어를 위한 휘도값(Back_V) 및 채도값(Back_S)으로 결정할 수 있다. 이 때, 컬러 정보 변환부는 앞 레이어를 위한 컬러를 화이트로 결정한다. 여기서, 앞 레이어를 위한 컬러를 화이틀 결정한다고 함은 앞 레이어를 위한 휘도값을 최대로, 채도값을 최소로 하는 것을 의미한다. 이 때, 앞 레이어의 기능은 백 레이어에 대한 윈도우임을 알 수 있다.

또 다른 극단적인 예를 들어, 컬러 정보 변환부는 앞 레이어에 디스플레이되는 관찰자로부터 가까운 오브젝트에 대하여는 백 레이어를 위한 컬러를 화이트로 결정한다. 이 때, 컬러 정보 변환부는 원래의 휘도값 및 채도값을 그대로 앞 레이어를 위한 휘도값 및 채도값으로 결정할 수 있다. 여기서, 백 레이어의 기능은 앞 레이어에 대한 백 라이트임을 알 수 있다.

또한, 컬러 정보 변환부는 백 레이어 및 앞 레이어 사이에 디스플레이되는 중간 정도의 깊이를 갖는 오브젝트에 대하여는 백 레이어 및 앞 레이어의 관계를 고려하여 백 레이어를 위한 적절한 휘도값(Back_V) 및 채도값(Back_S)을 계산한다.

또한, 컬러 정보 변환부는 백 레이어를 위한 휘도값(Back_V) 및 채도값(Back_S)과 가상의 깊이 정보(Depth')를 고려하여 앞 레이어를 위한 휘도값(Front_V) 및 채도값(Front_S)을 계산한다(S430).

이 때, 컬러 정보 변환부는 사용자가 보는 3차원 영상의 컬러가 입력 영상의 컬러와 다르지 않도록 앞 레이어를 위한 휘도값(Front_V) 및 채도값(Front_S)을 계산할 수 있다.

결국, 컬러 정보 변환부는 하기 수학식 1을 이용하여 백 레이어를 위한 휘도값(Back_V), 채도값(Back_S) 및 앞 레이어를 위한 휘도값(Front_V) 채도값(Front_S)을 계산할 수 있다.

Back_V = (1-V)*Depth'+V

Back_S = S*(1-Depth')

Front_V = V/(Back_V)

Front_S = S-Back_S

도 5는 윈도우 역할을 수행하는 백 레이어 또는 앞 레이어를 설명하기 위한 HSV 색공간의 단면이다.

도 5를 참조하면, HSV 색공간의 단면에서, 휘도 및 채도는 각각 화살표 방향으로 증가한다. 입력 영상의 V(휘도), S(채도)가 포인트 A에 대응된다고 가정한다.

입력 영상(또는 픽셀)의 깊이값이 0으로서 오브젝트가 관찰자로부터 가장 멀리 떨어진 경우, 백 레이어에는 입력 영상의 원래의 V, S가 그대로 할당된다. 이 때, 앞 레이어가 윈도우 기능을 수행할 수 있도록, 앞 레이어를 위한 휘도 및 채도는 각각 1 및 0으로 결정된다.

반대로, 입력 영상의 깊이값이 1로서 오브젝트가 관찰자로부터 가장 가까운 경우, 앞 레이어에는 입력 영상의 원래의 V, S가 그대로 할당된다. 이 때, 백 레이어가 백 라이트 기능을 수행할 수 있도록, 백 레이어를 위한 휘도 및 채도는 각각 1 및 0으로 결정된다.

또한, 입력 영상의 깊이값이 0 과 1 사이의 값인 경우, 백 레이어 및 앞 레이어를 위한 휘도 및 채도는 상기 수학식 1을 통하여 적절히 결정된다.

도 6은 본 발명의 일실시예에 따른 로컬 디밍 제어기의 동작을 설명하기 위한 그래프이다.

가상의 깊이(Depth')가 감소할수록 오브젝트는 관찰자로부터 멀리 떨어져 있음을 의미한다고 가정한다.

도 6을 참조하면, 로컬 디밍 제어기는 적은 소비 전력을 가지고 콘트라스트 를 향상시키기 위하여 가상의 깊이에 따라 BLU(Light Emitting Diode Back Light Unit)의 파워를 제어한다.

즉, 로컬 디밍 제어기는 관찰자와 가까운 오브젝트를 위하여 상대적으로 강한 파워를 적용하며, 관찰자와 멀리 떨어진 오브젝트를 위해서는 상대적으로 약한 파워를 적용함을 알 수 있다.

도 7은 3 개의 디스플레이 레이어들을 개념적으로 도시한 도면이다.

도 8은 N 개의 디스플레이 레이어들을 개념적으로 도시한 도면이다.

도 7 및 도 8을 참조하면, 본 발명의 일실시예에 따른 영상 처리 장치 및 방법은 3개 이상의 디스플레이 레이어들을 갖는 구조에도 잘 적용될 수 있다.

도 7을 참조하면, 3개의 디스플레이 레이어들을 갖는 구조에서, 레이어 1 및 레이어 2 사이에는 영역 1에 속하는 깊이들을 갖는 오브젝트가 디스플레이되고, 레이어 2 및 레이어 3 사이에는 영역 2에 속하는 깊이들을 갖는 오브젝트가 디스플레이된다.

또한, 도 8을 참조하면, 레이어 N-1과 레이어 N 사이에는 영역 N-1에 속하는 깊이들을 갖는 오브젝트가 디스플레이된다.

도 7에서, 영역 1에 속하는 깊이를 갖는 오브젝트를 표현하는 경우, 레이어 1은 백 레이어로 기능하며, 레이어 2는 앞 레이어로 기능한다. 이 때, 레이어 3은 레이어 1 및 2에 대한 윈도우로서 처리된다.

이와 유사하게, 도 8에서, 영역 K에 속하는 깊이를 갖는 오브젝트를 표현하는 경우, 레이어 K는 백 레이어로 기능하며, 레이어 K+1은 앞 레이어로 기능한다. 이 때, 레이어 1 내지 레이어 K-1은 레이어 K를 위한 백 라이트로 기능하며, 레이어 K+2 내지 레이어 N은 레이어 K 및 레이어 K+1을 위한 윈도우로 기능한다.

결론적으로, 도 7 및 도 8과 같이 3 개 이상의 디스플레이 레이어들이 존재하는 구조에 대하여도 도 1 내지 도 6과 관련하여 설명된 내용이 그대로 적용될 수 있다. 이에 대해서는 도 9와 관련하여 상세히 설명한다.

도 9는 N 개의 디스플레이 레이어들이 존재하는 상황에서, K 번째 및 K+1 번째 디스플레이 레이어를 위해 컬러 정보를 생성하는 방법을 나타낸 동작 흐름도이다.

도 9를 참조하면, 컬러 정보 변환부는 입력 영상의 V, S 및 가상의 깊이 정보(Depth')를 인지한다(S910).

또한, 컬러 정보 변환부는 가상의 깊이 정보(Depth')를 기초로 영상이 N 개의 디스플레이 레이어들에 의해 구분된 N-1개의 영역들 중 어느 영역에 디스플레이될 것인지를 판단한다. 그리고, 컬러 정보 변환부는 판단 결과에 따라 K 번째 레이어 및 K+1 번째 레이어를 선택한다(S920). 이 때, K 번째 레이어는 백 레이어로, K+1 번째 레이어는 앞 레이어로 기능한다.

또한, 컬러 정보 변환부는 가상의 깊이 정보(Depth')를 고려하여 백 레이어로 기능하는 K 번째 레이어를 위한 휘도(Back_V) 및 채도(Back_S)를 계산한다(S930).

또한, 컬러 정보 변환부는 K 번째 레이어를 위한 휘도(Back_V) 및 채도(Back_S)를 고려하여 앞 레이어로 기능하는 K+1 번째 레이어를 위한 휘 도(Front_V) 및 채도(Front_S)를 계산한다(S940).

이 때, 컬러 정보 변환부는 나머지 레이어들은 윈도우 또는 백 라이트로 기능하도록 나머지 레이어들을 위한 휘도를 1로, 채도를 0으로 설정한다(S950).

상술한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

입력 영상의 원래의(original) 깊이 정보를 변환하여 가상의 깊이 정보를 생성하는 깊이 정보 변환부; 및

상기 가상의 깊이 정보를 기초로 상기 입력 영상의 컬러 정보를 조절하여 복수의 디스플레이 레이어들 각각으로 출력 컬러 정보를 제공하는 컬러 정보 변환부

를 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 깊이 정보 변환부는

히스토그램 평활화(histogram equalization)를 이용하여 상기 입력 영상의 원래의(original) 깊이 정보를 변환하여 상기 가상의 깊이 정보를 생성하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 깊이 정보 변환부는

상기 입력 영상의 원래의 깊이 정보에 포함된 유효한 깊이 정보 엘리먼트들이 특정 범위(range)에서 집중적으로 존재하는 것을 분산할 수 있도록 상기 입력 영상의 원래의(original) 깊이 정보를 변환하여 상기 가상의 깊이 정보를 생성하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 깊이 정보 변환부는

상기 입력 영상의 원래의 깊이 정보에 포함된 유효한 깊이 정보 엘리먼트들 사이의 간격을 확장하여 상기 가상의 깊이 정보를 생성하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 컬러 정보 변환부는

상기 가상의 깊이 정보를 기초로 상기 입력 영상의 휘도를 유지한 채 상기 입력 영상의 휘도 및 채도를 조절하여 상기 복수의 디스플레이 레이어들 각각으로 상기 출력 컬러 정보를 제공하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 컬러 정보 변환부는

관찰자 또는 백라이트에 대한 상기 복수의 디스플레이 레이어들 사이의 전후 관계 및 상기 가상의 깊이 정보를 고려하여 상기 복수의 디스플레이 레이어들 각각으로 상기 출력 컬러 정보를 제공하는 것을 특징으로 하는 멀티 레이어 디스플레이 를 위한 영상 처리 장치.
제1항에 있어서,

상기 컬러 정보 변환부는

상기 가상의 깊이 정보를 기초로 상기 입력 영상의 휘도 및 채도를 조절하여 상기 복수의 디스플레이 레이어들 중 적어도 하나의 디스플레이 레이어를 위한 상기 출력 컬러 정보를 생성하고, 상기 적어도 하나의 디스플레이 레이어를 위한 상기 출력 컬러 정보를 고려하여 적어도 하나의 나머지 디스플레이 레이어를 위한 상기 출력 컬러 정보를 생성하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 복수의 디스플레이 레이어들은 출력 컬러 정보를 이용하여 출력 영상들을 디스플레이하고,

상기 컬러 정보 변환부는

상기 출력 영상들로 인해 형성되는 디스플레이(displayed) 영상이 상기 입력 영상의 컬러 정보를 왜곡하지 않도록 상기 출력 컬러 정보를 생성하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 가상의 깊이 정보에 따라 상기 입력 영상에 대해 적용되는 로컬 디밍(local dimming)을 제어하는 로컬 디밍 제어기

를 더 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제1항에 있어서,

상기 컬러 정보 변환부는

상기 입력 영상의 컬러 정보의 포맷을 알지비(RGB, Red Green Blue) 포맷으로부터 색상/채도/휘도(HSV, Hue Saturation Value) 포맷으로 변환하는 색공간 변환기

를 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
제10항에 있어서,

상기 컬러 정보 변환부는

상기 가상의 깊이 정보를 이용하여 상기 색상/채도/휘도 포맷의 상기 입력 영상의 컬러 정보를 조절하여 상기 복수의 디스플레이 레이어들 각각을 위한 매개 컬러 정보를 생성하는 매개 컬러 정보 생성부; 및

상기 매개 컬러 정보의 포맷을 상기 알지비 포맷으로 변환하여 상기 출력 컬러 정보를 생성하고, 상기 복수의 디스플레이 레이어들로 상기 출력 컬러 정보를 제공하는 출력 컬러 정보 생성부

를 더 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 장치.
입력 영상의 원래의(original) 깊이 정보를 변환하여 가상의 깊이 정보를 생성하는 단계; 및

상기 가상의 깊이 정보를 기초로 상기 입력 영상의 컬러 정보를 조절하여 복수의 디스플레이 레이어들 각각으로 출력 컬러 정보를 제공하는 단계

를 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 방법.
제12항에 있어서,

상기 가상의 깊이 정보를 생성하는 단계는

히스토그램 평활화(histogram equalization)를 이용하여 상기 입력 영상의 원래의(original) 깊이 정보를 변환하여 상기 가상의 깊이 정보를 생성하는 단계인 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 방법
제12항에 있어서,

상기 가상의 깊이 정보를 생성하는 단계는

상기 입력 영상의 원래의 깊이 정보에 포함된 유효한 깊이 정보 엘리먼트들 이 특정 범위(range)에서 집중적으로 존재하는 것을 분산할 수 있도록 상기 입력 영상의 원래의(original) 깊이 정보를 변환하여 상기 가상의 깊이 정보를 생성하는 단계인 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 방법.
제12항에 있어서,

상기 복수의 디스플레이 레이어들 각각으로 출력 컬러 정보를 제공하는 단계는

상기 가상의 깊이 정보를 기초로 상기 입력 영상의 휘도를 유지한 채 상기 입력 영상의 휘도 및 채도를 조절하여 상기 복수의 디스플레이 레이어들 각각으로 상기 출력 컬러 정보를 제공하는 단계인 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 방법.
제12항에 있어서,

상기 가상의 깊이 정보에 따라 상기 입력 영상에 대해 적용되는 로컬 디밍(local dimming)을 제어하는 단계

를 더 포함하는 것을 특징으로 하는 멀티 레이어 디스플레이를 위한 영상 처리 방법.
제12항 내지 제16항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.