KR20130025216A - 입체영상 디스플레이장치 및 그 구동 방법 - Google Patents

Abstract

본 발명은 입체영상 디스플레이장치 및 그 구동 방법에 관한 것으로서, 특히, 수신된 송수신 깊이지도를 균일영역과 경계영역으로 분류한 후, 경계영역에 대하여만 업샘플링을 실행하는, 입체영상 디스플레이장치 및 그 구동 방법을 제공하는 것을 기술적 과제로 한다. 이를 위해 본 발명에 따른 입체영상 디스플레이장치는, 시스템으로부터 수신된 송수신 깊이지도를 균일영역과 경계영역으로 구분한 후, 상기 경계영역에 대하여만 깊이지도 업샘플링을 실시하여, 상기 시스템으로부터 수신된 2차원 영상과 같은 해상도 크기를 갖는 재생 깊이지도를 생성하기 위한 깊이지도 업샘플링기; 상기 재생 깊이지도와 상기 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰를 생성하기 위한 생성기; 및 상기 복수의 입체영상뷰를 이용하여 입체영상을 생성하며, 상기 입체영상을 패널을 구동하는 데이터 구동부로 출력하기 위한 랜더링기를 포함한다.

Description

입체영상 디스플레이장치 및 그 구동 방법{Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same}

본 발명은 입체영상 디스플레이장치 및 그 구동 방법에 관한 것으로서, 특히, 깊이지도를 이용하여 입체영상을 구현하는 장치 및 그 구동 방법에 관한 것이다.

실감나는 입체감을 제공하기 위한 디스플레이 기술인 3차원(3D; 3-dimension) 영상 기술이 멀티미디어 및 방송기술의 발전과 함께 주목받고 있다.

3차원 영상이란 가로, 세로의 2개의 축으로만 이루어진 2차원(2D; 2-dimension) 평면 영상에 깊이 축을 추가하여, 사물을 입체적으로 표현한 영상으로서, 이러한 3차원 영상을 스테레오 스코픽 영상(stereoscopic image)(이하, 간단히 '입체영상'이라 함)이라고 한다.

입체영상을 생성하는 방법으로는 크게 아래의 두 가지 방법이 제시되고 있다.

첫 번째 방법은, 두 대 이상의 카메라를 사용하여 영상을 촬영함으로써, 좌안 영상 및 우안 영상에 해당하는 두 개의 영상을 생성하고, 이들을 조합(랜더링)하여 입체영상을 생성하는 방법이다.

두 번째 방법은, 단일한 시점(point of view, 예를 들어, 하나의 카메라 위치)에서 촬영된 2차원 영상을 분석 및 가공함으로써, 좌안 영상 및 우안 영상에 해당하는 두 개의 2차원 영상을 생성하고, 이들을 조합(랜더링)하여 입체영상을 생성하는 방법이다.

특히, 두 번째 방법에서는 2차원 영상으로부터 3차원의 입체영상 생성을 위해, 깊이값의 설정이 필요하다. 여기서, 깊이값이란, 2차원 영상 내에 포함된 배경이나 인물을 포함한 각각의 개별 객체(object)들이 3차원의 입체영상에서 어떠한 깊이에 있는지를 결정하기 위한 상대적인 수치를 말하는 것으로서, 2차원 영상에 대한 깊이 값들의 정보는 깊이지도의 형태로 설정된다.

즉, 방송국 시스템 또는 입체영상을 제작하기 위한 시스템은, 2차원 영상을 이용하여 원본 깊이지도를 생성하고, 원본 깊이지도를 다시 송수신 깊이지도로 변환시킨 후, 2차원 영상과 송수신 깊이지도를 입체영상 디스플레이장치로 전송하며, 입체영상 디스플레이장치는 2차원 영상과 송수신 깊이지도를 이용하여, 입체영상을 생성한 후, 생성된 입체영상을 패널을 통해 출력한다.

상기한 바와 같은 원본 깊이지도(depth map)는, 그레이(gray) 스케일로 표현되어 카메라와 객체간 거리 정보를 제공하는 것으로서, 일반적으로 방송국 시스템 또는 3차원 비디오 시스템에서 생성된 후, 입체영상을 표시할 수 있는 입체영상 디스플레이장치로 전송된다.

한편, 이러한 원본 깊이지도는 일반적으로 깊이 카메라의 물리적 한계와 깊이지도 생성 알고리즘의 특성, 그리고, 무선통신망 등을 통한 전송 또는 저장 상의 이유 등으로 인해, 저해상도 또는 저용량의 송수신 깊이지도로 변환된 후, 입체영상 디스플레이장치로 제공된다.

따라서, 입체영상 디스플레이장치에서는 이러한 송수신 깊이지도를 수신한 후, 깊이지도 업샘플링 알고리즘을 이용하여, 2차원 컬러 영상과 같은 해상도 및 크기를 갖는 재생 깊이지도로 리사이징(resize)한 후, 이를 이용하여 최종적으로 입체영상을 생성한다.

상기한 바와 같은 종래의 깊이지도 업샘플링 방법은 크게 두 가지 방법으로 나뉘어질 수 있다.

첫 번째 방법은 선형 업샘플링 방법으로서, nearest neighbor, bilinear, bicubic 방법 등이 있다. 이러한 선형 업샘플링 방법은 깊이지도 업샘플링 뿐만 아니라, 일반적인 컬러 영상 업샘플링에도 많이 사용되는 전통적인 방법으로서, 연산이 간단하고 빠르게 동작한다는 특징을 가지고 있다.

두 번째 방법은 비선형 방법으로서, bilateral filter, joint bilateral filtering, joint bilateral upsampling, multi-step joint bilateral upsampling 방법 등이 깊이지도 업샘플링을 위해 최근에 소개되었다.

비선형 방법의 기본이 되는 bilateral filter는 두 개의 가우시안 필터 (Gaussian filter) 즉, 도메인 필터(domain filter)와 레인지 필터(range filter)에 의해 동작한다. Joint bilateral upsampling(JBU)은 고해상도(high resolution)인 원본 컬러 영상과 저해상도(low resolution)인 깊이지도 영상을 동시에 참조하여 깊이지도 업샘플링을 한다는 특징을 가지고 있다. 이러한 비선형 방법은 선형 방법보다 정확한 업샘플링 결과를 얻을 수 있다.

그러나, 상기한 바와 같은 종래의 깊이지도 업샘플링 방법은 다음과 같은 문제점들을 가지고 있다.

첫 번째로 선형 업샘플링 방법은, 업샘플링 결과가 정확하지 않으며, 업샘플링 결과, 영상의 경계(boundary) 영역에 계단현상이 발생한다는 문제점을 가지고 있다.

두 번째로 비선형 업샘플링 방법은, 업샘플링 결과, 영상에서 경계 부분이 흐려지고(blur), 계산이 복잡하고 선형 방법에 비해 계산시간이 많이 소요되며, 고정소수점 연산과 on-the-fly로 연산되는 하드웨어 시스템에서 구현이 불가능하다는 문제점을 가지고 있다.

한편, 종래의 깊이지도 업샘플링 방법이 상기한 바와 같은 문제점을 가지고 있는 원인은 다음과 같다.

즉, 선형 업샘플링 방법을 이용하여 송수신 깊이지도를 2차원 영상 또는 원본 깊이지도의 크기로 업샘플링을 하게 되면, 간단한 연산의 결과로 영상의 경계(boundary) 영역에 계단현상이 발생하게 된다. 이로 인해 재생 깊이지도와 2차원 컬러 영상의 경계 부분이 일치하지 않게 되며, 이러한 현상은 이후의 3차원 변환 과정(랜더링 과정)에 영향을 미치게 된다.

이에 반해 비선형 업샘플링 방법을 사용하면, 선형 방법을 사용하였을 경우에 비해 보다 정밀하게 업샘플링된 재생 깊이지도를 얻을 수 있지만, 가우시안 커널 연산을 이용하므로, 고정소수점을 사용하고, on-the-fly로 처리되는 하드웨어 시스템에서 구현이 불가능하다.

상기한 바와 같은 종래의 깊이지도 업샘플링 방법의 문제점을 다시 한번 정리하면 다음과 같다.

첫째, 선형 업샘플링 방법은, 단순한 연산의 결과로 인해 원본 2차원 영상과 재생 깊이지도의 경계가 불일치한다는 문제점을 가지고 있다.

둘째, 비선형 업샘플링 방법은, 가우시안 커널 사용으로 인해 연산이 복잡하며, 고정소수점 연산이 불가능하다는 문제점을 가지고 있다.

셋째, 비선형 업샘플링 방법은, 가우시안 커널을 pixel-wise로 처리하므로 on-the-fly 처리 불가능하다는 문제점을 가지고 있다.

즉, 깊이지도 업샘플링을 위한 종래의 방법들은, 연산에 많은 시간이 소요되어 실시간 작업이 이루어 지지 않고 있으며, 업샘플링 과정에서 복잡한 연산과 메모리를 요구하므로 일반적인 하드웨어(입체영상 디스플레이장치) 환경에서 구현하는 데 문제점이 있다.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 수신된 송수신 깊이지도를 균일영역과 경계영역으로 분류한 후, 경계영역에 대하여만 업샘플링을 실행하는, 입체영상 디스플레이장치 및 그 구동 방법을 제공하는 것을 기술적 과제로 한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 따른 입체영상 디스플레이장치는, 시스템으로부터 수신된 송수신 깊이지도를 단순 확대하여 균일영역과 경계영역으로 구분한 후, 상기 경계영역에 대하여만 깊이지도 업샘플링을 실시하여, 상기 시스템으로부터 수신된 2차원 영상과 같은 해상도 크기를 갖는 재생 깊이지도를 생성하기 위한 깊이지도 업샘플링기; 상기 재생 깊이지도와 상기 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰를 생성하기 위한 생성기; 및 상기 복수의 입체영상뷰를 이용하여 입체영상을 생성하며, 상기 입체영상을 패널을 구동하는 데이터 구동부로 출력하기 위한 랜더링기를 포함한다.

상술한 기술적 과제를 달성하기 위한 본 발명에 따른 입체영상 디스플레이장치 구동 방법은, 시스템으로부터 수신된 송수신 깊이지도를 단순 확대하여 균일영역과 경계영역으로 구분한 후, 상기 경계영역에 대하여만 깊이지도 업샘플링을 실시하여, 상기 시스템으로부터 수신된 2차원 영상과 같은 해상도 크기를 갖는 재생 깊이지도를 생성하는 단계; 상기 재생 깊이지도와 상기 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰를 생성하는 단계; 및 상기 복수의 입체영상뷰를 이용하여 입체영상을 생성하며, 상기 입체영상을 패널을 통해 출력하는 단계를 포함한다.

상술한 해결 수단에 따른 본 발명은 수신된 송수신 깊이지도에 표시되어 있는 영상을 균일영역과 경계영역으로 분류한 후, 경계영역에 대하여만 업샘플링을 실행함으로써, 신속하고 정확하게 깊이지도 업샘플링을 수행할 수 있다는 효과를 제공한다.

즉, 본 발명은 경계영역에 대해서만 업샘플링을 실행함으로써, 업샘플링 처리에 소요되는 시간과 비용을 절감할 수 있다.

이로 인해, 본 발명은 신속한 깊이지도 업샘플링을 하고자 하는 하드웨어와 소프트웨어 환경에서 동시에 구현이 가능하며, 특히, 제한된 리소스 시스템에서 유용하게 적용될 수 있다.

따라서, 본 발명은 실시간 3DTV 시스템의 깊이지도 처리에 적합하다.

도 1은 본 발명에 따른 입체영상 디스플레이장치의 구성을 나타낸 예시도.
도 2는 본 발명에 따른 입체영상 디스플레이장치의 타이밍 컨트롤러의 내부 구성을 나타낸 예시도.
도 3은 본 발명에 따른 입체영상 디스플레이장치 중 타이밍 컨트롤러가 시스템과 통신을 수행하고 있는 상태를 나타낸 예시도.
도 4는 본 발명에 따른 입체영상 디스플레이장치 구동 방법의 일실시예 흐름도.
도 5는 본 발명에 따른 입체영상 디스플레이장치 구동 방법 중 깊이지도 업샘플링 과정을 상세히 나타낸 예시도.
도 6은 본 발명에 따른 입체영상 디스플레이장치 구동 방법에 적용되는 2차원 영상과 원본 깊이지도의 해상도의 관계를 설명하기 위한 예시도.
도 7은 본 발명에 따른 입체영상 디스플레이장치 구동 방법의 깊이지도 업샘플링 과정 중 균일영역과 경계영역을 구분하는 방법을 설명하기 위한 예시도.
도 8은 본 발명에 따른 입체영상 디스플레이장치 구동 방법 중 깊이지도 업샘플링 과정에 의해 생성된 재생 깊이지도를 종래의 방법에 의해 생성된 재생 깊이지도와 비교한 예시도.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다.

도 1은 본 발명에 따른 입체영상 디스플레이장치의 구성을 나타낸 예시도이다.

본 발명에 따른 입체영상 디스플레이장치는, 저연산 및 고속으로 깊이지도 업샘플링을 수행하기 위한 것으로서 이를 위해 도 1에 도시된 바와 같이, 복수의 좌안픽셀과 우안픽셀이 형성되어 있는 패널(100), 패널의 전면에 배치되어, 좌안픽셀과 우안픽셀로부터 출력된 좌안영상과 우안영상을 투과시키거나 차단시키기 위해 광투과 영역과 광차단 영역을 형성하는 베리어 패널(140), 시스템으로부터 수신된 2차원 영상과 송수신 깊이지도를 이용하여 입체영상을 생성하기 위한 타이밍 컨트롤러(110), 패널의 게이트라인에 스캔펄스를 인가하기 위한 게이트 구동부(130) 및 패널의 데이터라인에 디지털 입체영상 데이터(RGB) 신호를 인가하기 위한 데이터 구동부(120)를 포함하여 구성될 수 있다.

본 발명에 따른 입체영상 디스플레이장치는 액정표시장치(Liquid Crystal Display, LCD), 전계 방출 표시장치(FieldEmission Display : FED), 플라즈마 패널(Plasma Display Panel, PDP), 전계발광소자(Electroluminescence Device, EL), 전기영동 표시장치(EPD) 등의 평판표시장치로 구현될 수 있으나, 이하에서는, 설명의 편의상, 액정표시장치(LCD)가 본 발명의 일예로서 설명된다.

또한, 본 발명에 따른 입체영상 디스플레이장치는, 입체영상을 출력하는 텔레비젼(TV), 휴대용 단말기(스마트폰), 개인용 컴퓨터의 모니터, 노트북 등에 장착되어 이용될 수 있으나, 이하에서는 설명의 편의상, 텔레비젼을 일예로 하여 본 발명이 설명된다.

우선, 패널(100)은, 입체영상 디스플레이장치가 어떠한 종류의 평판표시장치인지에 따라 다양한 형태로 형성될 수 있는 것으로서, 예를 들어, 액정 디스플레이 패널, 플라즈마 디스플레이 패널, 유기 발광 디스플레이 패널, 또는 전기 영동 디스플레이 패널 등이 될 수 있다. 이하에서는 설명의 편의상 패널이 액정 디스플레이 패널인 경우를 일예로 하여 본 발명이 설명된다.

상기한 바와 같은 패널(100)에는 Red와, Green과, Blue를 표시하는 복수의 픽셀들이 형성되어 있으며, 이러한 픽셀들은 베리어 패널(140)과 작용하여 입체영상을 표시하기 위해, 좌안영상과 우안영상을 표시하는 좌안픽셀과 우안픽셀이 구분되어 있다.

한편, 본 발명에 따른 입체영상 디스플레이장치는 입체영상을 구현하기 위한 방법으로, 양안시차 방식(stereoscopic technique), 볼류메트릭 방식(Volumetric technique) 및 홀로그래픽 방식(Holographic technique) 등을 이용할 수 있으며, 각 방식에 따라 패널(100)의 구성이 달라질 수 있다.

또한, 본 발명이 양안시차 방식을 이용하는 경우, 패널(100) 이외에 별도의 구성요소가 필요 없을 수도 있으나, 특히, 무안경식을 이용하는 경우에는 도 1에 도시된 바와 같이, 베리어 패널(140)을 더 포함할 수도 있다.

한편, 무안경식은 다시 패럴랙스 베리어를 이용하는 패럴랙스 베리어(parallax barrier) 방식, 렌티큘라 렌즈(lensticularlens) 방식, 스위쳐블 베리어 방식 또는 스위쳐블 액정 렌즈 방식 등으로 구분될 수 있으며, 이러한 방식들에 적용되는 피럴랙스 베리어, 렌티큘라 렌즈, 스위쳐블 베리어, 스위쳐블 액정 렌즈 등을 총칭하여 베리어 패널(140)이라 한다.

이러한 베리어 패널(140)은 패널(100)에서 조사되는 빛을 선택적으로 차단함으로써, 좌안영상과 우안영상을 나누어 주어, 관찰자가 입체영상을 인식하도록 하는 기능을 수행한다.

또한, 본 발명이 스위쳐블 베리어 방식 또는 스위쳐블 액정 렌즈 방식을 이용하는 경우에는, 베리어 패널(140)을 제어하기 위해 미도시된 베리어 구동부를 더 포함할 수도 있다.

이러한 베리어 구동부(미도시)는, 베리어 패널(140)로 인가되는 전압의 인가 순서 또는 방법 또는 전압값을 제어하여 베리어 패널의 광투과 영역과 광차단 영역을 변경시켜 줌으로써, 입체영상을 시청할 수 있는 정시영역의 위치를 자동적으로 변경시켜 주는 기능을 수행한다.

한편, 이하에서는 도 1에 도시된 바와 같이, 패럴랙스 베리어 또는 렌티큘라 렌즈로 구성된 베리어 패널(140)을 이용하고 있는 무안경식을 일예로 하여 본 발명이 설명된다.

다음으로, 타이밍 컨트롤러(110)는 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍신호를 입력받아 데이터 구동부(120)와 게이트 구동부(130)의 동작 타이밍을 제어하기 위한 제어신호들(GCS, DCS)을 발생한다.

게이트 구동부(130)를 제어하기 위한 제어신호(GCS)는 게이트 스타트 펄스(Gate Start Pulse, GSP), 게이트 쉬프트 클럭(GateShift Clock, GSC), 게이트 출력 인에이블신호(Gate Output Enable, GOE), 쉬프트 방향 제어신호(DIR) 등을 포함한다. 데이터 구동부(120)를 제어하기 위한 제어신호는 소스 샘플링 클럭(Source Sampling Clock, SSC), 극성제어신호(Polarity, POL) 및 소스 출력 인에이블신호(Source Output Enable, SOE) 등을 포함한다.

한편, 본 발명에 따른 타이밍 컨트롤러(110)는 상기한 바와 같이, 저연산 및 고속으로 깊이지도 업샘플링을 수행하기 위한 것으로서, 이러한 타이밍 컨트롤러(110)의 구성에 대하여는 이하에서 도 2를 참조하여 상세히 설명된다.

또한, 이하에서는 본 발명에 따른 입체영상 디스플레이장치 구동 방법을 구현하기 위한 구성들이, 도 2에 도시된 바와 같이 타이밍 컨트롤러(110)에 구비되어 있는 것으로 설명되고 있으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 저장기(114), 깊이지도 업샘플링기(117), 생성기(118) 및 랜더링기(119) 만으로 구성되어 본 발명에 따른 입체영상 디스플레이장치 구동 방법을 구현할 수 있는 영상 데이터 정렬부(113)는, 타이밍 컨트롤러와는 별도로 입체영상 디스플레이장치 구비될 수 있다. 그러나, 이하에서는 설명의 편의상 상기 구성요소들이 타이밍 컨트롤러(110)에 구비되어 있는 것으로 하여 본 발명이 설명된다.

다음으로, 데이터 구동부(120)는 다수의 데이터 드라이브 IC(Source Integrated Circuit)를 포함하며, 타이밍 컨트롤러(110)의 제어 하에 디지털 영상 데이터(RGB)를 래치한다. 그리고, 데이터 구동부(120)는 디지털 영상 데이터(RGB)를 아날로그 정극성/부극성 감마보상전압으로 변환함으로써 아날로그 정극성/부극성 화소전압을 발생하여 데이터라인들(D1 내지 Dm)에 공급한다.

마지막으로, 게이트 구동부(130)는 하나 이상의 게이트 드라이브 IC를 포함하여 스캔펄스(또는 게이트펄스)를 게이트라인들(G1내지 Gn)에 순차적으로 공급한다.

한편, 본 발명에 따른 입체영상 디스플레이장치 및 그 구동 방법은 입체영상을 실제로 표시하여 사용자들이 이를 감지하도록 하기 위한 용도로 사용되는 것을 특징으로 하고 있으나, 그 이외에도, 다양한 용도로 사용될 수 있다.

즉, 본 발명은 2차원 영상을 3차원 영상으로 변경하는 것 자체를 목적으로 하여 구현될 수도 있으며, 변경된 3차원 영상은 또 다른 장치들을 통해 입체영상으로 표현될 수도 있다.

또한, 본 발명은 2차원 영상(2D)의 화질을 개선하여, 보다 선명한 2차원 영상(2.5D)을 얻기 위한 용도로도 사용될 수 있다.

도 2는 본 발명에 따른 입체영상 디스플레이장치의 타이밍 컨트롤러의 내부 구성을 나타낸 예시도이다. 또한, 도 3은 도 2에 도시된 타이밍 컨트롤러 중 영상 데이터 정렬부가 시스템과 통신을 수행하고 있는 상태를 나타낸 예시도이다.

영상 데이터 정렬부(113)를 포함하고 있는 본 발명에 따른 타이밍 컨트롤러(110)는 도 2에 도시된 바와 같이, 시스템(600)으로부터 타이밍 신호와 2차원 영상(700)과 송수신 깊이지도(820)를 수신하기 위한 수신부(111), 수신부로부터 전송되어온 타이밍 신호를 추출하며, 이를 이용해 제어신호를 생성하여 출력하기 위한 제어신호 생성부(112) 및 저해상도 및 저용량으로 생성된 송수신 깊이지도(820)를 깊이지도 업샘플링 방법을 이용하여 2차원 영상(700)과 같은 해상도 크기로 리사이징하며, 리사이징된 재생 깊이지도(830)와 2차원 영상(700)을 이용하여 입체영상(900)을 생성한 후, 생성된 입체영상(900)을 데이터 구동부(120)로 전송하기 위한 영상 데이터 처리부(113)를 포함하여 구성된다.

여기서, 시스템(600)이라 함은, 방송국 시스템이 될 수도 있으며, 또는 본 발명에 따른 입체영상 디스플레이장치가 적용되고 있는 상기한 바와 같은 텔레비젼(TV), 휴대용 단말기(스마트폰), 개인용 컴퓨터의 모니터, 노트북, 카메라를 구동하는 시스템일 수도 있다.

우선, 수신부(111)는 상기한 바와 같이 타이밍 신호, 2차원 영상(700) 및 송수신 깊이지도(820)를 수신하여, 타이밍 신호는 제어신호 생성부(112)로 전송하고 나머지 신호들은 영상 데이터 처리부(113)로 전송하는 기능을 수행한다.

다음으로, 제어신호 생성부(112)는 수신부로부터 전송되어온 타이밍 신호를 이용하여, 상기한 바와 같이, 데이터 구동부(120)와 게이트 구동부(130)의 동작 타이밍을 제어하기 위한 제어신호들(GCS, DCS)을 생성하는 기능을 수행한다.

마지막으로, 영상 데이터 처리부(113)는 저해상도 및 저용량으로 생성된 송수신 깊이지도(820)를 깊이지도 업샘플링 방법을 이용하여 2차원 영상(700)과 같은 해상도 크기로 리사이징하며, 리사이징된 재생 깊이지도(830)와 2차원 영상(700)을 이용하여 입체영상(900)을 생성한 후, 생성된 입체영상(900)을 데이터 구동부(120)로 전송하는 기능을 수행한다.

이를 위해 영상 데이터 처리부(113)는 도 2에 도시된 바와 같이, 수신부로부터 전송되어온 2차원 영상과 송수신 깊이정보 등을 저장하기 위한 저장기(114), 수신된 송수신 깊이지도를 깊이지도 업샘플링을 과정을 이용하여 2차원 영상과 같은 해상도 크기로 리사이징하기 위한 깊이지도 업샘플링기(117), 업샘플링된 재생 깊이지도(830)와 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰(710)를 생성하기 위한 생성기(118) 및 생성기로부터 전송되어온 복수의 입체영상뷰를 이용하여 입체영상을 생성하기 위한 랜더링기(119)를 포함하여 구성될 수 있다.

여기서, 저장기(114)는 상기한 바와 같이 수신부를 통해 수신된 2차원 영상(700)과 송수신 깊이지도(820)들을 임시로 저장하는 기능을 수행한다.

또한, 깊이지도 업샘플링기(117)는 수신된 송수신 깊이지도를 업샘플링 방법을 이용하여 2차원 영상과 같은 해상도 크기로 리사이징하기 위한 것으로서, 깊이지도 업샘플링기의 구체적인 기능은 이하에서 도 4 내지 도 8을 참조하여 상세히 설명된다.

또한, 생성기(118)는 재생 깊이지도(830)와 2차원 영상(700)을 이용하여, 패널 뷰 수에 해당되는 적어도 두 개 이상의 입체영상뷰(710)를 생성하는 기능을 수행한다. 즉, 입체영상(900)은 적어도 두 개 이상의 입체영상뷰에 의해 생성되는 것으로서, 상기한 바와 같이 시스템으로부터 수신된 입체영상뷰는 2차원 영상(700)이 하나이기 때문에, 생성기는 패널이 요구하는 패널 뷰 수에 맞게 적어도 하나 이상의 입체영상뷰(710)를 새롭게 생성한다. 즉, 입체영상(900)은 2차원적으로 형성되어 있는 복수의 입체영상뷰(710)를 이용하여 생성되는 것으로서, 본 발명의 경우에는 입체영상뷰로 하나의 2차원 영상(700)이 시스템으로부터 수신되고 있기 때문에, 생성기는 이러한 2차원 영상(700)과 재생 깊이지도(830)를 이용하여 복수의 입체영상뷰(710)를 생성하는 기능을 수행한다.

한편, 시스템으로부터 복수의 2차원 영상 및 송수신 깊이지도가 수신될 수도 있으며, 이 경우, 생성기(118)는 복수의 2차원 영상들 외에 패널에서 더 요구되는 입체영상뷰를 생성할 수도 있다.

그러나, 이하에서는 설명의 편의상 하나의 2차원 영상이 수신되는 것으로 하여 본 발명이 설명된다.

여기서, 생성기가 2차원 영상(700)과 재생 깊이지도(830)를 이용하여 추가적으로 복수의 입체영상뷰(710)를 생성하는 방법은, 현재 공지되어 있는 기술들을 이용하여 구현가능한 것임으로, 그에 대한 상세한 설명은 생략된다.

또한, 랜더링기(119)는 생성기에서 생성된 복수의 입체영상뷰(710)들에 대하여 랜더링을 수행하여, 하나의 입체영상(900)을 생성하는 기능을 수행한다. 즉, 랜더링기(119)는 복수의 입체영상뷰(710)들을, 패널에 형성되는 수평라인에 대하여 동일한 순서로 선택하여 입체영상을 생성하거나 또는, 복수의 입체영상뷰들을, 수평라인에 대하여 그 순서가 하나씩 차이가 나는 형태로 선택하여 입체영상을 생성하는 기능을 수행할 수도 있으며, 이 외에도 다양한 방법을 이용하여 하나의 입체영상(900)을 생성할 수 있다.

한편, 랜더링기(119)가 복슈의 입체영상뷰(710)들을 이용하여 하나의 입체영상(900)을 생성하는 방법은 현재 공지되어 있는 기술들을 이용하여 구현 가능한 것임으로, 그에 대한 상세한 설명은 생략된다.

이하에서는, 도 4 내지 도 8을 참조하여, 본 발명에 따른 입체영상 디스플레이장치 및 그 구동 방법이 상세히 설명된다.

도 4는 본 발명에 따른 입체영상 디스플레이장치 구동 방법의 일실시예 흐름도이다.

본 발명에 따른 입체영상 디스플레이장치 구동 방법은, 시스템(600)으로부터 전송되어온 2차원 영상(700)과 송수신 깊이지도(820)를 이용하여 입체영상(900)을 생성한 후, 이를 패널을 통해 출력하는 것으로서, 2차원 영상(820)과 송수신 깊이지도(700)를 수신하는 단계(S100), 송수신 깊이지도를 균일영역과 경계영역으로 구분하여 경계영역에 대하여 깊이지도 업샘플링을 실시하는 단계(S200), 깊이지도 업샘플링된 재생 깊이지도(830)를 이용하여 패널에서 추가적으로 필요한 입체영상뷰(710)를 생성하는 단계(S300), 생성된 입체영상뷰를 포함한 적어도 두 개 이상의 입체영상뷰들을 이용하여 입체영상(900)을 생성하는 단계(랜더링 단계)(S400) 및 생성된 입체영상을 데이터 구동부로 전송하면 데이터 구동부가 패널을 통해 입체영상을 출력하는 단계(S500)를 포함하여 구성된다.

우선, 2차원 영상(700)과 송수신 깊이지도(820)를 수신하는 단계(S100)는, 상기한 바와 같이, 방송국 시스템 또는 텔레비젼(TV), 휴대용 단말기(스마트폰), 개인용 컴퓨터의 모니터, 노트북, 카메라를 구동하는 시스템으로부터 2차원 영상과 송수신 깊이지도를 수신하는 단계이다.

즉, 시스템은 2차원 영상과 함께, 원본 깊이지도(810)를 생성한 후, 원본 깊이지도(810)를 저해상도 및 저데이터량의 송수신 깊이지도(820)로 변환하여 본 발명에 따른 입체영상 디스플레이장치로 전송하게 되며, 입체영상 디스플레이장치의 타이밍 컨트롤러가 이를 수신하게 된다.

따라서, 입체영상 디스플레이장치로 수신되는 송수신 깊이지도(820)는 도 3에 도시된 바와 같이, 2차원 영상(700)과 비교해 볼 때, 그 해상도 및 데이터량이 작음을 알 수 있다.

즉, 시스템의 일예인 방송국 시스템은 2차원 영상과 원본 깊이지도를 생성한 후, 유무선 네트워크의 전송속도 및 저장공간 등의 제약으로 인해, 상기한 바와 같이 해상도 및 데이터량이 작은 상태로 송수신 깊이지도(820)를 생성하여, 이를 입체영상 디스플레이장치로 전송하고 있다.

따라서, 입체영상 디스플레이장치는 아래에서 설명되는 바와 같은 깊이지도 업샘플링 과정을 통해, 송수신 깊이지도(820)를 2차원 영상(700)과 같은 해상도를 갖는 재생 깊이지도(830)로 변환시켜 주어야 한다.

다음으로, 깊이지도 업샘플링 단계(S200)는 상기한 바와 같이, 송수신 깊이지도를 2차원 영상(700)과 같은 해상도를 갖는 재생 깊이지도(830)로 변환시켜 주기 위한 것으로서, 이에 대하여는 도 5를 참조하여 상세히 설명된다.

다음으로, 입체영상뷰 생성 단계(S300)는 재생 깊이지도와 2차원 영상을 이용하여, 패널 뷰 수에 해당되는 적어도 두 개 이상의 입체영상뷰(710)를 생성하는 단계이다. 즉, 입체영상(900)은 적어도 두 개 이상의 입체영상뷰에 의해 생성되는 것으로서, 본 발명에서는 입체영상뷰로 2차원 영상(700) 하나만이 입력되고 있기 때문에, 생성기는 패널이 요구하는 패널 뷰 수에 맞게 적어도 하나 이상의 입체영상뷰를 새롭게 생성한다.

여기서, 생성기가 2차원 영상(700)과 재생 깊이정보(830)를 이용하여 추가적으로 입체영상뷰(710)를 생성하는 방법은 현재 공지되어 있는 기술들을 이용하여 구현가능한 것임으로, 그에 대한 상세한 설명은 생략된다.

다음으로, 입체영상을 생성하는 단계(랜더링 단계)(S500)는 입체영상뷰 생성 과정에서 생성된 복수의 입체영상뷰(710)들에 대하여 랜더링을 수행하여 하나의 입체영상(900)을 생성하는 단계이다. 즉, 이 단계에서는, 랜더링기(119)가 복수의 입체영상뷰(710)들을 상기한 바와 같은 다양한 방법을을 이용하여 패널(100)에서 출력될 하나의 입체영상(900)을 생성한다..

한편, 랜더링기(119)가 복슈의 입체영상뷰(710)들을 이용하여 하나의 입체영상(900)을 생성하는 방법은 현재 공지되어 있는 기술들을 이용하여 구현 가능한 것임으로, 그에 대한 상세한 설명은 생략된다.

마지막으로, 상기 랜더링 단계를 통해 생성된 입체영상(900)은 데이터 구동부로 전송되며, 데이터 구동부는 입체영상을 입체영상 데이터 신호로 변환시킨 후, 게이트 구동부를 통해 각 게이트 라인으로 스캔신호가 입력되는 기간에 맞춰 각 데이터 라인으로 입체영상 데이터 신호를 전송함으로써, 패널을 통해 입체영상이 출력되도록 한다.

이때, 패널(100)의 전면에 구비되어 있는 베리어 패널(140)의 특성에 따라, 시청자는 안경을 착용한 상태에서 또는 안경을 착용하지 않은 상태에서 입체영상을 시청할 수 있다.

즉, 본 발명은 입체영상을 출력하기 위한 장치 및 방법에 관한 것으로서, 특히, 시스템으로부터 전송되어온 송수신 깊이지도(820)를 2차원 영상(700) 또는 원본 깊이지도(810)와 같은 해상도를 갖는 재생 깊이지도(830)로 변환시킨 후, 이를 이용해 복수의 입체영상뷰(710)를 생성하여 최종적으로 입체영상(900)을 생성한다는 특징을 가지고 있다.

도 5는 본 발명에 따른 입체영상 디스플레이장치 구동 방법 중 깊이지도 업샘플링 과정을 상세히 나타낸 예시도로서, 도 4에 도시된 깊이지도 업샘플링 과정(S200)을 상세히 나타낸 것이다. 또한, 도 6은 본 발명에 따른 입체영상 디스플레이장치 구동 방법에 적용되는 2차원 영상과 원본 깊이지도의 해상도의 관계를 설명하기 위한 예시도이다. 또한, 도 7은 본 발명에 따른 입체영상 디스플레이장치 구동 방법의 깊이지도 업샘플링 과정 중 균일영역과 경계영역을 구분하는 방법을 설명하기 위한 예시도이다.

본 발명은 깊이지도 업샘플링 과정(S200)을 하드웨어 환경에서 구현 가능한 저연산 및 고속의 깊이지도 업샘플링 방법을 통해 실행하고 있는 것으로서, 다음과 같은 특징을 가지고 있다. 즉, 본 발명은 깊이지도 업샘플링 과정(S200)을 위해 영역 분류(region classification) 기반의 시스템을 제안하고 있으며, 또한, 본 발명은 하드웨어 환경, 즉 고정소수점(fixed-point)연산의 사용과 온-더-플라이(on-the-fly) 방식으로 깊이지도를 업샘플링하고 있다는 특징을 가지고 있다.

즉, 본 발명은 영역 분류에 기반하여, 하드웨어 환경에서 구현 가능한 저연산 및 고속의 깊이지도 업샘플링 방법을 이용한다는 특징으로 가진 것으로서, 도 4에 도시된 깊이지도 업샘플링 과정(S200)은 다음과 같이 크게 세 개의 과정으로 구분될 수 있다.

첫 번째 과정(S210)은, 수신부(111)를 통해 수신된 송수신 깊이지도(820)를 균일(homogeneous)영역과 경계(boundary)영역으로 구분하는 과정이다.

두 번째 과정(S220)은, 2차원 컬러 영상 중 경계영역에 대하여 경사도 필터링(gradient filtering)을 수행하여 영역 최대값(local maximum)을 가지는 위치(경계선)를 찾는 과정이다.

세 번째 과정(S230)은, 영역 최대값을 가지는 위치(경계선)를 기준으로 하여, 경계 영역의 픽셀들 각각에 대하여 깊이값을 보정하는 과정이다.

이하에서는, 상기한 바와 같은 본 발명의 세 개의 과정이 상세히 설명된다.

우선, 첫 번째 과정(S210)은, 수신부를 통해 수신된 송수신 깊이지도(820)를 균일(homogeneous)영역과 경계(boundary)영역으로 분류하는 과정이다.

본 발명은 원본 깊이지도(810) 및 송수신 깊이지도(820)가 여러 개의 스무스(smooth)한 영역으로 구성되어 있다는 점을 이용하고 있다. 또한, 본 발명은 원본 깊이지도 및 송수신 깊이지도의 경계(boundary)가 항상 2차원 영상(700)의 경계(boundary)와 일치한다는 점을 이용하고 있다.

이러한 깊이지도의 특성에 대한 예는 도 6에 도시되어 있다. 즉, 도 6에서 (a)는 2차원 영상(700)을 나타낸 것이고, (b)는 2차원 영상에 대응하는 원본 깊이지도(810) 또는 송수신 깊이지도(820) 또는 재생 깊이지도(830)(이하, 이들을 총칭하여 '깊이지도(800)'라 함)를 나타낸 것이고, (c)는 2차원 영상의 특정영역(701)을 확대한 영상이며, (d)는 2차원 영상의 특정영역(701)에 대응되는 깊이지도(800)의 특정영역(802)을 확대한 영상이다.

여기서, (b)에 도시된 깊이지도(800)가 원본 깊이지도(810)라면, (d)에 도시된 확대 영상의 각 경계선은 (c)에 도시된 확대 영상의 각 경계선과 동일하게 표현될 것이다.

그러나, (b)에 도시된 깊이지도(800)가 송수신 깊이지도(820)라면, (d)에 도시된 확대 영상의 각 경계선은 (c)에 도시된 확대 영상의 각 경계선보다 덜 정밀한 상태로 표현될 것이다.

또한, (b)에 도시된 깊이지도(800)가 재생 깊이지도(830)라면, (d)에 도시된 확대 영상의 각 경계선은 (c)에 도시된 확대 영상의 각 경계선과 완전히 일치되지는 않지만, 송수신 깊이지도(820) 상에서 표현되는 각 경계선보다는 정밀한 상태로 표현될 것이다. 즉, 재생 깊이지도(830)의 경계선은, 본 발명에서 제시하는 방법을 통하여, 송수신 깊이지도(820)의 경계선보다 정밀한 상태로 표현될 수 있다.

이하에서는, 재생 깊이지도(830) 상에서 표현되는 경계선이, 송수신 깊이지도(820) 상에서 표현되는 경계선보다 선명하게 표현되는 방법이 설명된다.

즉, 도 6에 도시된 바와 같이, 깊이지도(800)에는 2차원 영상(700)에 표시되어 있는 각종 이미지들의 경계선과 일치되는 경계선이 형성되어 있음을 알 수 있다. 따라서, 본 발명은 이러한 특성으로부터 깊이지도(800)를 균일영역(homogenous region)과 경계영역(boundary region)으로 분류하여 깊이지도 업샘플링 과정에서 경계영역에 좀 더 집중하고 있다는 특징을 가지고 있다.

즉, 종래의 일반적인 깊이지도 업샘플링 방법에 있어서는, 송수신 깊이지도(820) 상에 표시되어 있는 모든 픽셀에 대하여 깊이지도 업샘플링을 실시하고 있으나, 본 발명은 송수신 깊이지도(820)의 모든 픽셀 값에 대하여 깊이지도 업샘플링을 실시하는 것이 아니라, 경계영역(boundary region)으로 분류된 픽셀에 대해서만 깊이지도 업샘플링을 수행하고 있다는 특징을 가지고 있다.

이를 위해 본 발명은 우선, 송수신 깊이지도를 단순 확대하여 2차원 영상의 크기로 업샘플링 한다.

즉, 도 3에 도시된 바와 같이, 송수신 깊이지도(820)는 저해상도 및 저데이터용량에 맞게 축소된 상태로 수신되며, 따라서, 본 발명은 우선적으로 저해상도의 송수신 깊이지도(820)를 2차원 영상(700)과의 비율을 고려한 단순 확대 방법으로 복제한다.

예를 들어, 송수신 깊이지도(820)와 2차원 영상(700)의 크기 비가 1대5인 경우, 깊이지도 업샘플링기(117)는 가로축 및 세로축 모두를 1대5의 비율로 확대시킴으로써, 송수신 깊이지도를 2차원 영상의 크기로 단순 확대한다.

이후, 깊이지도 업샘플링기(117)는 크기가 단순 확대된 송수신 깊이지도(820)(이하, 간단히 '단순 확대된 송수신 깊이지도'라 함)의 모든 영역을 균일영역과 경계영역으로 구분한다.

여기서, 균일영역(homogenous region)이란 도 6에 도시된 깊이지도(800)에서 하나의 객체를 구성하는 영역을 말하며, 경계영역(boundary region)이란 객체의 형태를 나타내는 외곽으로서 다른 객체와 구분되는 경계선을 포함하는 영역을 말한다.

예를 들어, 도 7은 도 6에 도시된 깊이지도(800)에서 사람의 얼굴 모양으로 나타나고 있는 조각상(804)의 코 부분을 확대한 영상으로서, 조각상(804)을 하나의 객체라고 할 때, 조각상 이외의 부분에 표시되고 있는 배경(806) 역시 하나의 객체라고 할 수 있으며,

여기서, 조각상(804)을 구성하고 있는 전체 영역들 중, 조각상과 배경을 구분하고 있는 경계선(502)을 기준으로 하여, 경계선과 일정 거리 이내에 포함되어 있는 영역을 경계영역(520)이라 하며, 조각상의 전체 영역들 중 경계영역(520)을 제외한 모든 영역을 균일영역(510)이라 한다.

즉, 도 7에서 경계영역(520)은 두 개의 객체(조각상과 배경)를 구분하고 있는 경계선(502)을 중심으로, 그 양측으로 일정한 거리 이내에 형성된다.

따라서, 도 7에 도시되어 있는 깊이지도에서는 두 개의 균일영역(510)와 하나의 경계영역(520)이 존재한다.

한편, 본 발명은 상기한 바와 같은 균일영역과 경계영역을 구분하기 위해 단순 확대된 송수신 깊이지도(820)의 불연속(discontinuity) 픽셀을 아래의 [수학식 1]을 이용하여 찾는다. 즉, 상기한 바와 같은 영역 구분을 위해 아래의 [수학식 1]이 적용된다.

[수학식 1]에서,

이고,

는 단순 확대된 송수신 깊이지도를 나타낸다. 여기서,

와

는 단순 확대된 송수신 깊이지도의 좌표를 나타내며, x와 y는 상기 좌표에 대응하는 재생 깊이지도의 픽셀 좌표를 나타낸다.

또한, [수학식 1]에서

은 균일영역(homogeneous region)에 속해 있는 픽셀을 나타내고,

는 경계영역(boundary region)에 속해 있는 픽셀을 나타낸다.

여기서,

영역의 단순 확대 업샘플링 결과는 균일영역의 특성상 그 주변 픽셀의 값이 비슷하기 때문에,

영역에 대해서만 다음 과정, 즉, 영역최대값(local maximum)을 가지는 위치를 찾는 과정(S220)을 수행한다.

즉,

에 해당하는 수평 방향의 국부 영역(local area)은 두 개의 다른 깊이 값으로 구성되어 있음을 [수학식 1]을 통해 알 수 있다. 이 영역의 위치에 해당하는 2차원 영상에

경사도 필터링(gradient filtering)을 수행하여, 2차원 영상에서의 실제 경계선(boundary)(502)의 위치를 찾는다.

부연하여 설명하면, 단순 확대된 송수신 깊이지도의 각 좌표에 대응하는 2차원 영상의 좌표를 추출하여, 단순 확대된 송수신 깊이지도에서의 경계선(502)을 찾는다.

따라서, 첫 번째 과정(S210)은, 송수신 깊이지도를 단순 확대하여 2차원 영상의 크기로 업샘플링 하는 과정과, 단순 확대된 송수신 깊이지도의 각 영역의 좌표를 2차원 영상의 좌표와 비교하여, 단수 확대된 송수신 깊이지도 상에서의 서로 다른 객체들 간의 경계선(502)의 좌표를 파악한 후 이를 통해 균일영역과 경계영역을 구분하는 과정으로 세분화될 수 있다.

즉, 깊이지도에서 각 객체들 간의 경계선(502)을 중심으로하여 두 객체들간의 깊이값이 서로 다르게 되므로, 본 발명은 각 객체들에 대하여 경계선 부근의 경계영역과 그 이외의 부분인 균일영역을 구분한다.

다음으로 두 번째 과정(S220)은, 경계영역에 해당되는 픽셀들로 형성되는 2차원 영상에 대하여 경사도 필터링(gradient filtering)을 수행하여, 영역 최대값(local maximum)을 가지는 위치(경계선)를 찾는 과정이다.

즉, 두 번째 과정은 도 7에 도시되어 있는 경계영역(520) 중에서, 특히, 경계선(502)의 위치를 찾는 과정이다.

부연하여 설명하면, 본 발명은 상기한 바와 같이 첫 번째 과정(S210)을 통해 송수신 깊이지도에 나타난 이차원 영상을 경계영역(520)과 균일영역(510)으로 구분한 후, 두 번째 과정(S220)을 통해 경계영역(502)에 해당되는 픽셀들에 대하여만 경사도 필터링을 수행하여 경계선(502)의 위치를 파악하고 있다.

예를 들어, 각 균일영역(510)에서는 각 픽셀이 가지고 있는 픽셀값이 동일하지만, 하나의 균일영역에서 또 다른 균일영역으로 넘어가는 경계선(502)에서는 픽셀값이 급격하게 변하게 된다.

따라서, 본 발명은 송수신 깊이지도에 표현되는 영상 중 경계영역(520)에 해당되는 픽셀들에 대하여 일차 미분과정을 수행한 후, 일차 미분된 정보들을 이용하여 경사도 값을 측정하는, 경사도 필터링을 수행하여, 최대값을 가지는 픽셀을 찾는 과정을 수행한다.

즉, 경사도 필터링에 따라 최대값을 갖는 픽셀들을 연결시킨 선이 두 개의 인접되어 있는 균일영역(510)들의 경계선(502)이 된다.

마지막으로 세 번째 과정(S230)은, 영역 최대값을 가지는 경계선을 따라 배치되는 각각의 픽셀들에 대하여 각각의 깊이값을 보정하는 과정이다.

즉, 송수신 깊이지도(820)에 대한 경사도 필터링에 따라 검출된 최대 기울기(Maximum gradient) 값을 가지는 위치(경계선)는, 2차원 영상(700)에서의 실제 경계선의 위치와 대략적으로 유사한 위치를 나타내므로, 검출된 경계선(502)을 2차원 영상(700)의 경계선과 비교하여, 검출된 경계선(502) 주변의 픽셀들에 대하여 다른 깊이값을 할당하여 경계영역을 조정함으로써, 보다 정밀한 고해상도 깊이지도(재생 깊이지도(830))를 얻을 수 있다.

부연하여 설명하면, 상기와 같은 두 번째 과정을 통해 검출된 경계선(502)은, 원본 깊이지도(810)를 축소시킨 송수신 깊이지도(820)를 다시 단순 확대시킨 송수신 깊이지도 상에서 표현되는 것으로서, 이러한 경계선(502)은 원본 깊이지도(810) 또는 2차원 영상(700) 상에서의 경계선과 차이가 있다. 즉, 송수신 깊이지도(820)를 원본 깊이지도(810)의 크기로 변환시키는 과정에서 각종 변수가 작용하여, 단순 확대된 송수신 깊이지도(820)에서의 경계선(502)은 원본 깊이지도(810) 또는 2차원 영상(700)의 경계선과 완전히 일치하지 않게 된다.

따라서, 본 발명은 이러한 오차를 줄이기 위하여, 단순 확대된 송수신 깊이지도(820)의 경계선(502)에 해당되는 픽셀들 및 경계선과 인접되어 있는 픽셀들 각각의 깊이값을, 2차원 영상(700) 중에서 이 픽셀들 각각과 대응되는 좌표의 픽셀들의 값을 이용하여 보정 하는 세 번째 과정을 거치고 있다.

즉, 두 번째 과정을 통해 검출된 경계선(502)에 인접되어 있는 픽셀의 좌표값이 파악되면, 2차원 영상(700) 중에서 이 좌표값에 해당되는 픽셀을 검출한 후, 해당 픽셀의 값이 어떤 값을 갖는지를 판단하여, 그 값에 따라 단순 확대된 송수신 깊이지도(820) 상에서의 해당 픽셀의 깊이값을 변경하여 최종적으로 재생 깊이지도(830)를 생성한다.

예를 들어, 단순 확대된 송수신 깊이지도(820) 상에서 경계선(502)으로 검출된 픽셀 또는 그 픽셀에 인접되어 있는 픽셀과 동일한 좌표값을 갖는 2차원 영상(700)의 픽셀이, 2차원 영상, 즉, 도 6의 (a)에 도시되어 있는 2차원 영상의 얼굴에 해당되는 흰색을 가지고 있다면, 단순 확대된 송수신 깊이지도 상에서의 해당 픽셀에 대하여는 도 7에서 얼굴에 해당되는 균일영역(510)과 동일한 깊이값을 부여한다.

그러나, 단순 확대된 송수신 깊이지도(820) 상에서 경계선(502)으로 검출된 픽셀 또는 그 픽셀에 인접되어 있는 픽셀과 동일한 좌표값을 갖는 2차원 영상(700)의 픽셀이, 얼굴 주변의 배경색을 가지고 있다면, 단순 확대된 송수신 깊이지도 상에서의 해당 픽셀에 대하여는 도 7에서 배경에 해당되는 균일영역(510)과 동일한 깊이값을 부여한다.

즉, 상기한 바와 같은 과정들을 통해, 단순 확대된 송수신 깊이지도(820) 상에서의 경계선(502)을 따라 인접되어 있는 각 픽셀들의 깊이값이, 2차원 영상(700)의 각 픽셀들과 매칭되어 보정됨으로써, 보정된 경계선은 2차원 영상(700)의 경계선과 보다 더 일치하게 된다.

한편, 상기한 바와 같은 과정은 단순 확대된 송수신 깊이지도(820)의 수평 방향에 대하여 이루어진 것으로서, 상기 과정들을 수행한 후, 수직 방향에 대하여도 상기한 바와 같은 과정을 수행하여, 최종적으로 업샘플링된 깊이지도, 즉, 재생 깊이지도가 생성된다.

도 8은 본 발명에 따른 입체영상 디스플레이장치 구동 방법 중 깊이지도 업샘플링 과정에 의해 생성된 재생 깊이지도를 종래의 방법에 의해 생성된 재생 깊이지도와 비교한 예시도로서, (a)는 종래 방법에 의해 생성된 재생 깊이지도 및 확대도이며, (b)는 본 발명에 의해 생성된 재생 깊이지도 및 확대도를 나타내고 있다.

상기한 바와 같은 본 발명은 영역 분류를 기반으로하여, 저해상도의 송수신 깊이지도(820)를 2차원 (컬러) 영상의 해상도로 업샘플링하고(S100, S200), 이를 이용해 새로운 입체영상뷰를 생성한 후(S300), 이러한 입체영상뷰들을 이용해 입체영상을 생성하여(S400) 출력(S500)하는 것을 특징으로 하고 있다.

즉, 본 발명에 적용되는 깊이지도 업샘플링 과정(S200)은, 깊이지도가 여러 개의 스무스(smooth)한 영역과 샤프 에지(sharp edge)들로 구성되어 있다는 특징을 이용한 것으로서, 우선, 깊이지도를 균일영역(homogenoeus)과 경계영역(boundary)으로 분류한 뒤(S210), 경계영역에 대해서만 업샘플링 과정을 수행(S220, S230)하고 있다.

한편, 상기한 바와 같은 본 발명의 깊이지도 업샘플링 방법에 의하면 도 6에 도시된 바와 같이, 깊이지도의 특성을 이용하여 간단한 연산만으로도 정밀한 고해상도의 재생 깊이지도를 획득할 수 있음을 확인할 수 있다.

즉, 도 8의 (a)는 종래의 깊이지도 업샘플링 방법에 의해 생성된 재생 깊이지도를 나타낸 것으로서, 각 객체들 간의 경계선이 계단형태로 울퉁불퉁하게 표시되어 있으나, 본 발명에 의해 생성된 재생 깊이지도를 나타내고 있는 (b)에 의하면, 각 객체들 간의 경계선이 고해상도의 2차원 영상과 같이 매끄럽게 처리되어 있음을 알 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.　 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

700 : 2차원 영상 710 : 입체영상뷰
800 : 깊이지도 810 : 원본 깊이지도
820 : 송수신 깊이지도 830 : 재생 깊이지도
900 : 입체영상

Claims (10)

1. 시스템으로부터 수신된 송수신 깊이지도를 단순 확대하여 균일영역과 경계영역으로 구분한 후, 상기 경계영역에 대하여만 깊이지도 업샘플링을 실시하여, 상기 시스템으로부터 수신된 2차원 영상과 같은 해상도 크기를 갖는 재생 깊이지도를 생성하기 위한 깊이지도 업샘플링기;
   상기 재생 깊이지도와 상기 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰를 생성하기 위한 생성기; 및
   상기 복수의 입체영상뷰를 이용하여 입체영상을 생성하며, 상기 입체영상을 패널을 구동하는 데이터 구동부로 출력하기 위한 랜더링기를 포함하는 입체영상 디스플레이장치.
2. 제 1 항에 있어서,
   상기 깊이지도 업샘플링기는,
   상기 단순 확대된 송수신 깊이지도를 상기 균일영역과 상기 경계영역으로 구분하고,
   상기 경계영역에 대하여 경사도 필터링을 수행하여, 상기 균일영역들 간의 경계를 형성하는 경계선을 검출한 후,
   상기 경계선에 해당되는 픽셀들의 깊이값을 상기 2차원 영상을 이용하여 보정해 상기 재생 깊이지도를 생성하는 것을 특징으로 하는 입체영상 디스플레이장치.
3. 제 2 항에 있어서,
   상기 깊이지도 업샘플링기는,
   상기 송수신 깊이지도를 단순 확대하여 상기 2차원 영상의 크기로 업샘플링한 후, 상기 단순 확대된 송수신 깊이지도의 각 영역의 좌표를 상기 2차원 영상의 좌표와 비교하고, 상기 단순 확대된 송수신 깊이지도 상에서의 서로 다른 객체들 간의 경계선의 좌표를 파악하여, 상기 단순 확대된 송수신 깊이지도를 상기 균일영역과 경계영역으로 구분하는 것을 특징으로 하는 입체영상 디스플레이장치.
4. 제 2 항에 있어서,
   상기 깊이지도 업샘플링기는,
   상기 단순 확대된 송수신 깊이지도에 표현되는 영상 중 상기 경계영역에 해당되는 픽셀들에 대하여 일차 미분과정을 수행한 후, 일차 미분된 정보들을 이용하여 경사도 값을 측정하는, 경사도 필터링을 수행하여, 최대값을 가지는 픽셀들을 찾아, 상기 픽셀들을 연결시킨 선을 상기 경계선으로 검출하는 것을 특징으로 하는 입체영상 디스플레이장치.
5. 제 2 항에 있어서,
   상기 깊이지도 업샘플링기는,
   상기 경계선과 상기 경계선에 인접되어 있는 픽셀들 각각의 깊이값을, 상기 2차원 영상 중 상기 픽셀들 각각에 대응되는 픽셀들의 값을 이용해 보정하여 상기 재생 깊이지도를 생성하는 것을 특징으로 하는 입체영상 디스플레이장치.
6. 시스템으로부터 수신된 송수신 깊이지도를 단순 확대하여 균일영역과 경계영역으로 구분한 후, 상기 경계영역에 대하여만 깊이지도 업샘플링을 실시하여, 상기 시스템으로부터 수신된 2차원 영상과 같은 해상도 크기를 갖는 재생 깊이지도를 생성하는 단계;
   상기 재생 깊이지도와 상기 2차원 영상을 이용하여 패널에서 요구하는 패널 뷰 수에 해당되는 복수의 입체영상뷰를 생성하는 단계; 및
   상기 복수의 입체영상뷰를 이용하여 입체영상을 생성하며, 상기 입체영상을 패널을 통해 출력하는 단계를 포함하는 입체영상 디스플레이장치 구동 방법.
7. 제 6 항에 있어서,
   상기 재생 깊이지도를 생성하는 단계는,
   상기 송수신 깊이지도를 단순 확대한 후, 상기 단순 확대된 송수신 깊이지도를 상기 균일영역과 상기 경계영역으로 구분하는 단계;
   상기 경계영역에 대하여 경사도 필터링을 수행하여, 상기 균일영역들 간의 경계를 형성하는 경계선을 검출하는 단계; 및
   상기 경계선에 해당되는 픽셀들의 깊이값을 상기 2차원 영상을 이용하여 보정해 상기 재생 깊이지도를 생성하는 단계를 포함하는 입체영상 디스플레이장치 구동 방법.
8. 제 7 항에 있어서,
   상기 단순 확대된 송수신 깊이지도를 상기 균일영역과 상기 경계영역으로 구분하는 단계는,
   상기 송수신 깊이지도를 단순 확대하여 상기 2차원 영상의 크기로 업샘플링하는 단계; 및
   상기 단순 확대된 송수신 깊이지도의 각 영역의 좌표를 상기 2차원 영상의 좌표와 비교하고, 상기 단순 확대된 송수신 깊이지도 상에서의 서로 다른 객체들 간의 경계선의 좌표를 파악하여, 상기 단순 확대된 송수신 깊이지도를 상기 균일영역과 경계영역으로 구분하는 단계를 포함하는 입체영상 디스플레이장치 구동 방법.
9. 제 7 항에 있어서,
   상기 경계선을 검출하는 단계는,
   상기 단순 확대된 송수신 깊이지도에 표현되는 영상 중 상기 경계영역에 해당되는 픽셀들에 대하여 일차 미분과정을 수행한 후, 일차 미분된 정보들을 이용하여 경사도 값을 측정하는, 경사도 필터링을 수행하여, 최대값을 가지는 픽셀들을 찾는 단계; 및
   상기 픽셀들을 연결시킨 선을 상기 경계선으로 검출하는 단계를 포함하는 입체영상 디스플레이장치 구동 방법.
10. 제 7 항에 있어서,
    상기 경계선에 해당되는 픽셀들의 깊이값을 상기 2차원 영상을 이용하여 보정해 상기 재생 깊이지도를 생성하는 단계는,
    상기 경계선과 상기 경계선에 인접되어 있는 픽셀들 각각의 깊이값을, 상기 2차원 영상 중 상기 픽셀들 각각에 대응되는 픽셀들의 값을 이용해 보정하여 상기 재생 깊이지도를 생성하는 것을 특징으로 하는 입체영상 디스플레이장치 구동 방법.
    

Images