KR102267601B1 - 최적의 3d을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법 - Google Patents

Abstract

본 발명의 입체영상표시장치에서는 시청자가 최적시청거리 이외의 거리에 위치할 때 뷰데이터를 수정하여 3D영상을 수정하며, 수정된 3D영상에 발생하는 단차를 표시하지 않기 위해 디스패리티맵을 생성하고 생성된 디스패리티맵의 이진화한 후 디스패리티맵의 영역을 확장하고 확장된 디스패리티맵에 단차영역이 위치하지 않도록 함으로써 영상에서 단차를 인식하지 않도록 한다.

Description

최적의 3D을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법{STEREOSCOPIC DISPLAY DEVICE AND METHOD OF DISPLAYING 3D IMAGE HAVING GOOLD QUALITY}

본 발명은 입체영상 표시장치에 관한 것으로, 특히 시청자의 거리에 따른 최적의 3D을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법에 관한 것이다.

3D 디스플레이(display)란 "인위적으로 3D화면 을재생시켜 주는 시스템의 총체"라고 할 수 있다. 여기서, 시스템이란 3D로 보여질 수 있는 소프트웨어적인 기술과 그 소프트웨어적 기술로 만든 컨텐츠를 실제로 3D로 구현해내는 하드웨어를 동시에 포함한다. 소프트웨어 영역까지 포함시키는 이유는 3D 디스플레이 하드웨어의 경우 각각의 입체 구현방식마다 별도의 소프트웨어적 방식으로 구성된 컨텐츠가 따로 필요하기 때문이다.

또한, 가상 3D 디스플레이는 사람이 입체감을 느끼는 여러 요인 중 우리 눈이 가로방향으로 약 65mm 떨어져 있어서 나타나게 되는 양안시차(binocular disparity)를 이용하여 평면적인 디스플레이 하드웨어에서 말 그대로 가상적으로 입체감을 느낄 수 있게 하는 시스템의 총체이다. 다시 말해 우리의 눈은 양안시차 때문에 똑같은 사물을 바라보더라도 각각 약간은(정확히 말하면 좌우의 공간적 정보를 약간씩 나눠 가지고 있는) 다른 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 정확히 서로 융합시킴으로써 우리가 입체감을 느낄 수 있게 되는데, 그것을 이용하여 2D 디스플레이 장치에서 좌우 화상 2개를 동시에 표시하여 각각의 눈으로 보내는 설계를 통해 가상적인 입체감을 만들어 내는 것이 바로 가상 3D 디스플레이인 것이다.

이러한 가상 3D디스플레이 하드웨어 장치에서 하나의 화면으로 두 채널의 화상을 나타내기 위해서는 대부분의 경우 하나의 화면에서 가로나 세로의 한쪽 방향으로 줄을 한 줄씩 바꿔가며 한 채널씩 출력하게 된다. 그렇게 동시에 두 채널의 화상이 하나의 디스플레이 장치에서 출력되면 하드웨어적 구조상 무안경 방식의 경우에는 오른쪽 화상은 그대로 오른쪽 눈으로 들어가고, 왼쪽 화상은 왼쪽 눈으로만 들어가게 된다. 또한, 안경을 착용하는 방식의 경우에는 각각의 방식에 맞는 특수한 안경을 통하여 오른쪽 화상은 왼쪽 눈이 볼 수 없게 가려주고, 왼쪽 화상은 오른쪽 눈이 볼 수 없게 각각 가려주는 방법을 사용한다.

이와 같이 사람이 입체감과 깊이감을 느끼는 요인으로 가장 중요하게는 두 눈 사이의 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 입체 구현방식 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원표현방식(holographic type), 입체감표현방식(stereoscopic type)으로 구분된다.

부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽, 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 빨려 들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.

가장 완전한 입체영상 구현기술이라 알려져 있는 3차원표현방식은 레이저광 재생 홀로그래피(holography) 내지 백색광 재생 홀로그래피로 대표될 수 있다.

그리고, 입체감표현방식은 양안의 생리적 요인을 이용하여 입체감을 느끼는 방식으로, 전술한 바와 같이 약 65㎜ 떨어져 존재하는 인간의 좌, 우안에 시차정보가 포함된 평면의 연관 영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 입체 사진술(stereography)을 이용한 것이다. 이러한 입체감표현방식은 크게 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.

안경을 착용하지 않는 방식으로서 알려진 대표적인 것으로는 원통형의 렌즈를 수직으로 배열한 렌티큘러(lenticular) 렌즈 판을 표시패널 전방에 설치하는 렌티큘러렌즈방식과 패러렉스 배리어(parallax barrier) 방식이 있다.

도 1은 일반적인 렌티큘러렌즈방식의 입체영상표시장치의 개념을 설명하기 위한 도면으로써, 렌즈의 배면거리(S)와 시청거리(d) 사이의 관계를 보여준다.

또한, 도 2는 일반적인 렌티큘러렌즈방식의 입체영상표시장치 및 광 프로파일(profile)을 예를 들어 보여주는 도면이다.

이때, 도 2의 중앙에는 시청영역(viewing zone)을 형성하는 뷰잉 다이아몬드(viewing diamond) 및 광 프로파일과 뷰 데이터를 도시하고 있으며, 도 2의 하단에는 뷰잉 다이아몬드 내에 실제로 인지되는 뷰를 개략적으로 도시하고 있다.

도 1 및 도 2에 도시된 바와 같이, 일반적인 렌티큘러렌즈방식의 입체영상표시장치는 상부기판 및 하부기판, 상기 상부기판과 하부기판 사이에 액정이 충진된 액정패널(10)과, 액정패널(10)의 후면에 위치하여 광을 조사하는 백라이트부(미도시) 및 입체영상의 구현을 위해 액정패널(10) 전면에 배치되는 렌티큘러렌즈판(20)을 포함하여 이루어진다.

렌티큘러 렌즈판(20)은 평평한 기판상에 상부 표면이 볼록렌즈형상의 물질층으로 이루어진 다수의 렌티큘라 렌즈(25)가 형성되어 이루어진다. 이러한 렌티큘러 렌즈판(20)은 좌안영상 및 우안 영상을 나누어주는 역할을 수행하고 있으며, 렌티큘러 렌즈판(20)으로부터 최적 시청거리 d에는 좌안 및 우안 각각으로 좌안 및 우안에 해당되는 영상들이 정상적으로 도달하는 다이아몬드형태의 뷰잉다이아몬드(정시영역)(30)가 형성된다.

뷰잉다이아몬드(30)의 하나의 폭은 시청자의 양안 간격(e)의 크기로 형성되는데, 이는 시청자의 좌안과 우안에 각각 시차가 있는 영상을 입력함으로써 입체영상으로 인식하게 하기 위함이다.

이때, 각 뷰잉다이아몬드(30)에는 대응되는 액정패널(10)의 서브-픽셀의 뷰데이터(view data), 즉 이미지가 형성된다. 상기 뷰데이터는 양안 간격(e)의 기준만큼 떨어진 카메라에서 촬영된 영상을 의미한다.

이러한 일반적인 렌티큘러 렌즈 방식의 입체영상표시장치는 액정패널(10)과 렌티큘러렌즈판(20)이 기구물(미도시) 등에 의해 지지되어, 액정패널(10)과 렌티큘러렌즈판(20) 사이가 소정 간격(배면거리; S)으로 이격되어 있다. 이때, 일반적인 렌티큘라렌즈방식의 입체영상표시장치에서는 배면거리(S)를 일정하게 유지하기 위해 갭글라스(26)가 삽입되어 있다.

전술한 바와 같이, 렌티큘러렌즈방식의 입체영상표시장치에서는 초기에 설계된 뷰-맵(view map)에 따라 형성되는 멀티뷰(multi view) 방식으로 구현되기 때문에 시청자는 정해진 뷰의 영역으로 들어갈 때 3D영상을 시청할 수 있다.

그러나, 상기와 같은 구조의 무안경의 렌티큘러렌즈방식의 입체영상표시장치에서는 다음과 같은 문제가 발생한다.

일반적으로 TV 등과 같은 전자기기에 무안경방식 입체영상표시장치가 적용되는 경우, 시청자는 다양한 위치 및 거리에서 3D영상을 시청한다. 그런데, 최적의 3D 영상을 시청할 수 있는 뷰잉다이아몬드(30)는 특정 거리에 형성되므로, 시청자가 다양한 거리에서 3D영상을 시청할 수가 없었다. 물론, 시청은 가능하지만, 시청자가 인식하는 3D영상에는 영상왜곡이나 단차 등과 같이 화질이 저하되므로, 입체영상표시장치가 극도로 비효율적으로 되는 문제가 있었다.

본 발명은 상기한 문제를 해결하기 위한 것으로, 시청자의 위치를 추적하여 뷰데이터를 수정하고 단차를 제거함으로써 최적시청거리가 아닌 위치에서도 3D영상을 시청할 수 있는 입체영상표시장치 및 입체영상 표시방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위해, 본 발명에 따른 입체영상표시장치에서는 시청자가 최적시청거리 이외의 거리에 위치할 때 뷰데이터를 수정하여 3D영상을 수정하며, 수정된 3D영상에 발생하는 단차를 표시하지 않기 위해 디스패리티맵을 생성하고 생성된 디스패리티맵의 이진화한 후 디스패리티맵의 영역을 확장하고 확장된 디스패리티맵에 단차영역이 위치하지 않도록 한다.

따라서, 본 발명에서는 단차발생영역이 깊이가 최소화된 영역에 위치하게 되므로, 3D영상에서 단차를 인식할 수 없게 된다.

이러한 뷰데이터의 수정 및 디스패리티맵의 생성 및 수정은 제어부에 의해 이루어지는데, 상기 제어부는 위치검출부와, 상기 시청자가 보는 뷰데이터를 수정하는 뷰데이터수정부와, 상기 단차의 발생영역을 추출하는 단차발생영역 추출부와, 인접하는 두개의 뷰 사이의 디스패리티맵(disparity map)을 생성하고 생성된 디스패리티맵으로부터 디스패리티의 최대값을 추출하는 디스패리티맵 생성부와, 디스패리티맵을 음과 양의 디스패리티별 및 영역별로 이진화하고 디스패리티맵의 영역을 확장하는 디스패리티맵 수정부와, 상기 단차발생영역을 이동시키는 단차이동부를 포함한다.

본 발명에서는 시청자가 최적시청거리가 아니 위치에서 3D를 시청하는 경우, 시청자에게 거리에 따라 뷰데이터를 수정하여 3D영상을 시청할 수 있도록 한다. 또한, 본 발명에서는 수정된 뷰데이터의 단차를 깊이가 작은 영역으로 이동하여 시청자의 영상에 표시되는 단차를 인식하지 못하도록 함으로써 좋은 품질의 3D영상을 시청자에게 제공할 수 있게 된다.

또한, 본 발명에서는 기구적인 장치에 의해 다수의 시청자가 3D영상을 시청할 수 있도록 하는 것이 아니라 입체영상표시장치에서 다수의 시청자를 인지하고 3D영상의 데이터를 처리하여 시청자가 다양한 거리에서 3D영상을 시청하도록 함으로써, 별도 장치가 추가되거나 입체영상표시장치의 구조적인 변경이 필요없게 되므로, 비용상승 등을 방지할 수 있게 된다.

도 1은 일반적인 렌티큘러 렌즈 방식의 입체영상표시장치의 개념을 설명하기 위한 도면.
도 2는 일반적인 렌티큘러 렌즈 방식의 입체영상표시장치 및 광 프로파일을 예를 들어 보여주는 도면.
도 3은 본 발명에 따른 무안경 입체영상표시장치를 개략적으로 보여주는 사시도.
도 4는 본 발명에 따른 렌티큘러렌즈방식의 입체영상표시장치의 단면 구조를 예시적으로 보여주는 도면.
도 5는 도 4에 도시된 렌티큘러렌즈판을 개략적으로 보여주는 사시도.
도 6은 본 발명에 따른 입체영상표시장치의 제어부의 구조를 나타내는 블럭도.
도 7은 본 발명에 따른 입체영상표시장치에서 시청자의 위치를 검출한 후 입체영상 표시방법을 나타내는 플로우챠트.
도 8a-도 8d는 본 발명의 입체영상표시장치에서 4번-7번뷰의 영상을 나타내는 도면.
도 9는 도 8a-도 8d에 도시된 4번-7번뷰의 뷰패턴을 수정하는 것을 나타내는 도면.
도 10은 뷰패턴의 수정에 의한 영상을 나타내는 도면.
도 11a는 시청자가 최적시청거리가 아닌 장소에 위치한 경우 뷰데이터를 수정하여 시청자에 제공하는 영상을 나타내는 도면.
도 11b는 본 발명에 따른 입체영상표시장치에서 뎁스가 작은 영역으로 단차를 이동한 영상을 나타내는 도면.

이하, 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명한다.

본 발명에서는 시청자의 거리에 따라 최적의 3D영상을 시청할 수 있는 3D 표시장치를 제공한다. 특히, 본 발명에서는 시청자가 최적시청거리가 아니 위치에서 3D를 시청하는 경우, 시청자에게 거리에 따라 뷰데이터를 수정하여 3D영상을 시청할 수 있도록 한다. 또한, 본 발명에서는 수정된 뷰데이터의 단차를 깊이가 작은 영역으로 이동하여 시청자의 영상에 표시되는 단차를 인식하지 못하도록 함으로써 좋은 품질의 3D영상을 시청자에게 제공할 수 있게 된다.

특히, 본 발명에서는 기구적인 장치에 의해 다수의 시청자가 3D영상을 시청할 수 있도록 하는 것이 아니라 입체영상표시장치에서 다수의 시청자를 인지하고 3D영상의 데이터를 처리하여 시청자가 다양한 거리에서 3D영상을 시청하도록 함으로써, 별도 장치가 추가되거나 입체영상표시장치의 구조적인 변경이 필요없게 되므로, 비용상승 등을 방지할 수 있게 된다.

도 3은 본 발명에 따른 렌티큘러렌즈방식 입체영상표시장치를 개략적으로 보여주는 사시도이다.

도 3에 도시된 바와 같이, 본 발명에 따른 렌티큘러렌즈방식의 입체영상표시장치는 표시패널(110)으로 이루어진다.

상기 표시패널(110)은 액정패널(Liquid Crystal Display Panel), 유기발광표시패널(Organic Light Emitting Diode Panel), 전계발광표시패널(Field Emission Panel), 플라즈마영상표시패널(Plasma Display Panel), 전기발광표시장치(Electroluminescent Panel) 등의 평판표시소자로 구현될 수 있다. 이하의 설명에서는 표시패널(110)로 액정패널을 일례로 사용하고 있지만, 본 발명이 이에 한정되는 것은 아니다.

표시패널(110)을 액정패널인 경우, 본 발명은 액정 모드, 즉 트위스티드 네마틱(Twisted Nematic; TN) 모드, 인-플레인 스위칭(In Plane Switching; IPS) 모드, 프린지 필드 스위칭(Fringe Field Switching; FFS) 모드 및 수직배향(Vertical Alignment; VA) 모드에 상관없이 적용 가능하다.

또한, 도면에는 도시하지 않았지만, 액정패널은 제1기판 및 제2기판과 그 사이의 액정층으로 이루어져 외부로부터 신호가 인가됨에 따라 화상을 구현한다. 제1기판에는 종횡으로 배열되어 복수의 화소영역을 정의하는 복수의 게이트라인과 데이터라인이 형성되어 있으며, 각각의 화소영역에는 스위칭소자인 박막트랜지스터가 형성되고 상기 화소영역 위에는 화소전극이 형성된다. 또한, 도면에는 도시하지 않았지만, 상기 박막트랜지스터는 게이트라인과 접속되는 게이트전극, 상기 게이트전극 위에 비정질실리콘 등이 적층되어 형성되는 반도체층, 상기 반도체층 위에 형성되고 데이터라인 및 화소전극에 연결되는 소스전극 및 드레인전극으로 이루어진다.

도면에는 도시하지 않았지만, 제2기판은 적(Red; R), 녹(Green; G) 및 청(Blue; B)의 색상을 구현하는 다수의 서브-컬러필터로 구성된 컬러필터, 상기 서브-컬러필터 사이를 구분하고 액정층을 투과하는 광을 차단하는 블랙매트릭스(black matrix)로 이루어질 수 있다. 이와 같이 구성된 제1기판 및 제2기판은 화상표시 영역의 외곽에 형성된 실런트(sealant)(미도시)에 의해 대향하도록 합착되어 액정패널을 구성하며, 상기 제1기판과 제2기판의 합착은 상기 제1기판 또는 제2기판에 형성된 합착키를 통해 이루어진다. 도면에는 도시하지 않았지만, 상기 액정패널에는 좌안용 화소와 우안용 화소가 구비되어, 각각 좌안용 화상 및 우안용 화상을 표시한다.

상기 표시패널(110)에는 멀티 뷰영상을 표시할 수 있는데, 이때, 멀티 뷰영상은 제1 내지 제n(n은 2 이상의 자연수)뷰 영상을 의미한다. 입체영상의 뷰는 일반인의 양안 간격만큼 카메라들을 이격하고 객체에 대한 이미지를 촬영하여 생성할 수 있다. 일례로, 4대의 카메라를 이용하여 객체를 촬영하는 경우, 표시패널(110)은 4뷰의 입체영상을 표시할 수 있다.

다수의 서브-픽셀(R, G, B)이 배치되는 표시패널(110) 전면에는 소정의 폭을 갖는 다수의 렌티큘라렌즈(125)를 포함하는 렌티큘러렌즈판(120)이 배치된다.

도 3에 도시된 바와 같이, 상기 렌티큘러렌즈판(120)의 다수의 렌티큘라 렌즈(125)의 배열은 서브-픽셀(R,G,B)의 종 방향(y축 방향)에 대해 제1각도(θ)를 갖고 기울어진 형태로 배치되고 있으며, 렌티큘라렌즈(125)의 서브-픽셀(R,G,B)의 횡 방향(x축 방향)을 따르는 수평폭(w)은 서브-픽셀(R,G,B)의 정수 배로 설정할 수 있다.

즉, 본 발명에 따른 입체영상표시장치는 렌티큘러렌즈판(120)에 구비되는 렌티큘라렌즈(125)가 서브-픽셀(R,G,B)의 종 방향을 기준으로 제1각도(θ)의 기울기로 배치될 수 있다. 따라서, 표시패널(110)에 대해 이러한 렌티큘러 렌즈판(120)의 기울어진 배치에 의해 3D 영상시청을 위한 뷰 수를 조절할 수 있다.

이러한 렌티큘러렌즈판(120)에 있어서, 렌티큘라렌즈(125)의 서브-픽셀(R, G, B)의 종 방향을 기준으로 기울어진 제1각도 θ는 tan^-1((M*Pa)/(N*Pb))의 식으로 표현될 수 있다. 이때, Pa는 서브-픽셀(R,G,B)의 단축피치, Pb는 서브-픽셀(R,G,B)의 장축피치이며, M과 N은 각각 임의의 자연수로서 렌티큘라 렌즈(125)가 다수의 서브-픽셀(R,G,B)을 하나의 그룹으로 하고, 하나의 그룹을 정확히 대각방향으로 꼭지점을 관통했을 때의 그룹 내의 서브-픽셀(R,G,B)의 횡 방향으로의 서브-픽셀(R,G,B)의 개수 및 서브-픽셀(R,G,B)의 종 방향으로의 서브-픽셀(R, G, B)의 개수로 정의된다. 이때, 통상적으로 M과 N은 M/N ≤ 2의 값을 만족하는 것이 일반적이다.

이때, 하나의 그룹 내부에 위치하는 다수의 서브-픽셀(R,G,B)에 부여된 숫자는 렌티큘러렌즈판(120)의 렌티큘라렌즈(125)를 제1각도(θ)로 기울여 배치한 입체영상표시장치의 3D 영상시청이 가능한 영역으로 정의되는 뷰의 개수가 되며, 각 뷰에 부여된 숫자는 각 뷰영역에서 3D 영상시청시 보여지는 서브-픽셀(R,G,B)이 된다.

이렇게 렌티큘러렌즈판(120)을 구비한 본 발명에 따른 입체영상표시장치는 휘도 향상 측면에서 효과가 있으며, 뷰수의 증가를 통해 3D 영상시청을 위한 시야각을 향상시키는 효과를 갖는다. 또한, 3D 영상시청이 가능한 영역의 확장되는 효과를 얻을 수 있게 된다.

더욱이, 본 발명에서는 시청자의 시청거리를 확장할 수 있게 된다. 즉, 본 발명에서는 뷰수의 증가에 따라 시청영역(즉, 입체영상표시장치를 시청할 수 있는 수평방향의 영역)을 확장시킬 뿐만 아니라 입체영상표시장치로부터의 시청 가능한 거리를 확장한다.

수평방향의 시청영역의 확장은 뷰수를 증가시키는 물리적 방법에 의해 이루어지지만, 시청거리의 확장은 표시되는 3D영상을 데이터처리함으로써 이루어지므로, 시청거리를 확장하기 위한 별도의 카메라 등이 필요없게 되므로, 간단하고 저렴하게 시청거리를 확장할 수 있게 된다.

도면에는 도시하지 않았지만, 본 발명의 입체영상표시장치에는 시점추적기(eye tracking system)이 구비되어 3D 영상을 시청하는 시청자의 눈을 추적하여 시청자의 위치를 검출한 후, 시청자의 시청거리에 따라 뷰데이터를 처리하는데, 이러한 뷰데이터의 처리는 제어부에서 이루어진다.

상기 제어부는 시청자의 거리를 검출하여 거리에 따라 왜곡된 영상을 수정함과 아울러 수정된 영상에 발생하는 단차를 깊이가 작은 영역으로 이동하여 시청자의 눈에 나타나지 않게 함으로써 최적화된 3D 영상을 시청자에게 제공할수 있게 된다.

도 6은 본 발명에 따른 입체영상표시장치의 제어부(160)를 나타내는 도면이다.

도 6에 도시된 바와 같이, 제어부(160)는 시점추적기로부터 입력되는 정보를 기초로 현재 입체영상표시장치를 시청하는 시청자의 위치를 검출하는 위치검출부(161)와, 상기 위치검출부(162)에서 검출된 시청자의 위치를 기초로 시청자가 보는 뷰데이터를 수정하는 뷰데이터수정부(163)와, 상기 뷰데이터수정부(163)에 의해 수정된 3D 영상에서 단차가 발생하는 단차발생영역을 추출하는 단차발생영역 추출부(165)와, 인접하는 두개의 뷰 사이의 디스패리티맵(disparity map)을 생성하고 생성된 디스패리티맵으로부터 디스패리티의 최대값을 추출하는 디스패리티맵 생성부(167)와, 디스패리티맵 생성부(167)으로부터 생성된 디스패리티맵을 음과 양의 디스패리티별 및 영역별로 이진화하고 디스패리티맵의 영역을 확장하는 디스패리티맵 수정부(168)와, 상기 단차발생영역을 이동시켜 확장된 디스패리티맵에 위치하지 않도록 하여 단차가 또렷이 보이지 않게 하는 단차이동부(169)로 이루어진다.

도면에는 도시하지 않았지만, 본 발명의 입체영상표시장치에는 시점추적기가 설치되어 입체영상표시장치를 시청하는 시청자의 눈을 추적한다. 상기 시점추적기로는 일반카메라와 웹캠(web cam)이 사용될 수 있다.

위치검출부(162)에서는 시점추적기에서 검출된 정보에 의해 시청자의 위치를 검출하며, 뷰데이터수정부(163)는 위치에 따라 시청자의 눈에 도달하는 뷰를 수정한다. 이때, 뷰의 수정은 다양한 방법으로 이루어질 수 있다.

단차발생영역 추출부(165)는 뷰데이터수정부(163)에 의해 수정된 3D영상에 단차가 발생하는 경우, 단차발생영역을 추출하며, 디스패리티맵 생성부(167)에서는 인접하는 두뷰(two view)에 표시되는 영상의 컨텐츠(contents)를 분석하여 디스패리티를 검출하고 검출된 디스패리티의 최대값을 추출한다.

디스패리티맵 수정부(168)에서는 추출된 디스패리티맵을 음과 양으로 이진화한 후, 각각 -방향 및 +방향으로 이진화된 디스패리티맵의 영역을 확장하며, 단차이동부(169)에서는 깊이가 큰 영역에서 깊이가 작은 영역으로 단차를 이동함으로써, 단차가 존재하지만 시청자가 단차를 인식하지 못하도록 한다.

이하에서는 본 발명에 따른 입체영상표시장치의 3D영상 표시방법을 설명한다.

도 7은 본 발명에 따른 시청거리에 따른 입체영상표시장치의 입체영상 표시방법을 나타내는 플로우챠트이다.

도 7에 도시된 바와 같이, 우선 시점추적기에 의해 현재 입체영상표시장치를 시청하는 시청자의 위치를 추적하며, 위치검출부(161)에서는 추적된 위치정보를 기초로 하여 시청자의 위치를 검출한다(S101,S102).

이때, 시청자의 위치가 최적시청거리(Optimal Viewing Distance;OVD)에 위치하는 경우 시청자가 제공되는 3D영상이 최적의 영상이므로, 시청자가 현재 시청중인 3D영상을 계속 시청하도록 한다.

시청자의 위치가 최적시청거리가 아닌 경우, 상기 뷰데이터수정부(163)에서 현재 시청자가 시청하는 3D영상이 최적의 영상이 아님을 판단하여 시청자의 좌안 및 우안에 각각 도달하는 3D영상의 뷰데이터를 수정한다(S103).

도 8a-도 8d는 최적시청거리가 아닌 시청자가 보는 3D영상의 일례를 나타내는 도면이다. 이때, 입체영상표시장치는 9개의 멀티뷰를 표시하는 표시장치이며, 도 8a는 9개의 멀티뷰중에서 4번뷰의 영상이고 도 8b는 5번뷰의 영상이며, 8c는 6번뷰의 영상이고 8d는 7번뷰의 영상이다. 도면에는 도시하지 않았지만, 나머지 1-3번뷰 및 8-9번뷰는 모두 블랙으로 표시된다.

시청자가 최적시청거리에 위치하는 경우, 입체영상표시장치가 화이트를 표시할 때 시청자에게는 뷰 전체가 화이트인 영상이 도달한다. 도 8a-도 8d에 도시된 바와 같이, 시청자가 최적시청거리에 위치하지 않을 경우, 시청자에게 도달하는 뷰에는 다른 뷰의 영상이 혼입되는 등과 같은 영상의 왜곡이 발생하여 영상이 분리되거나 전체적으로 블랙이 된다.

본 발명에서는 시청자의 시청거리에 따른 영상왜곡을 해소하기 위해, 각 뷰의 뷰데이터를 수정한다. 이때, 뷰데이터는 모든 뷰를 대상으로 수정되며, 모든 뷰가 동일한 방법에 의해 수정된다. 이하에서는 5번뷰에서 뷰데이터를 수정하는 방법을 설명하고 다른 뷰의 데이터뷰 수정은 생략하지만, 동일한 방법에 의해 실행될 것이다.

도 8a-도 8d에 도시된 바와 같이, 4번-7번뷰의 각각에서는 광패턴이 분리되어 화이트영역이 서로 다른 영역에 다른 형상으로 나타난다. 본 발명에서는 4-7번뷰에 표시되는 화이트영역을 5번뷰에 병합함으로써 5번뷰에 최적의 영상을 제공한다.

도 9a는 도 8a-도 8d에 도시된 4-7번뷰 영상의 뷰패턴을 나타내는 도면이다. 도 9a에 도시된 바와 같이, 도 8a에 도시된 영상을 표시하는 4번뷰는 '1,3,5,7,9,2,4,6,8'의 뷰패턴으로 배열되어 있다. 본 발명에서는 4번뷰를 5번뷰와 병합하기 위해(즉, 4번뷰의 일부 영역을 5번뷰에 표시하기 위해), 상기 4번뷰의 뷰패턴의 배열을 변경하여 현재 4번뷰가 있는 위치에 5번뷰가 위치시켜 4번뷰의 영상이 5번뷰에 채워지도록 한다. 즉, 4번뷰의 뷰패턴을 '1,3,5,7,9,2,4,6,8'에서 '2,4,6,8,1,3,5,7,9'로 변경한다.

도 8b에 도시된 영상을 표시하는 5번뷰의 영상은 그대로 5번뷰에 계속 표시되므로, 5번뷰의 뷰패턴은 수정하지 않고 그래도 '1,3,5,7,9,2,4,6,8'을 유지하게 된다.

또한, 도 8c에 도시된 영상을 표시하는 6번뷰는 '1,3,5,7,9,2,4,6,8'의 뷰패턴으로 배열되어 있다. 상기 6번뷰의 뷰패턴의 배열을 변경하여 현재 6번뷰가 있는 위치에 5번뷰가 위치시켜 6번뷰의 영상이 5번뷰에 채워지도록 한다. 즉, 6번뷰의 뷰패턴을 '1,3,5,7,9,2,4,6,8'에서 '9,2,4,6,8,1,3,5,7'로 변경한다.

그리고, 도 8d에 도시된 영상을 표시하는 7번뷰는 '1,3,5,7,9,2,4,6,8'의 배열로 배치되어 있다. 상기 7번뷰의 뷰패턴의 배열을 변경하여 현재 7번뷰가 있는 위치에 5번뷰가 위치시켜 76번뷰의 영상이 5번뷰에 채워지도록 한다. 즉, 7번뷰의 뷰패턴을 '1,3,5,7,9,2,4,6,8'에서 '8,1,3,5,7,9,2,4,6'으로 변경한다.

상기와 같이, 4번뷰, 6번뷰, 7번뷰의 뷰데이터를 수정하여, 뷰패턴을 변경함에 따라 도 8b에 도시된 5번뷰의 영상이 도 10에 도시된 뷰로 변경된다. 이때, 도 10에 도시된 최적화된 5번뷰는 원래의 4번뷰, 5번뷰, 6번뷰, 7번뷰의 일부 영상, 특히 화이트를 포함하는 영상이 병합되어 포함된다. 다시 말해서, 4번뷰, 5번뷰, 6번뷰, 7번뷰의 화이트영역이 모두 5번뷰에 병합되어 5번뷰 전체에 걸쳐 화이트가 표시된다. 도 8b의 5번뷰와 도 10의 5번뷰를 비교하면, 도 8b의 5번뷰에는 광패턴이 일정 영역에만 배치되고 나머지 영역에는 블랙으로 표시되어 영상의 왜곡이 심한 반면에, 도 10의 뷰패턴이 수정된 5번뷰는 4번뷰, 6번뷰, 7번뷰의 광패턴이 병합되어 뷰의 전체 영역에 걸쳐 광패턴이 균일하게 배치되어 최적의 영상을 표시된다.

그러나, 상기 병합된 5번뷰에는 각각의 화이트영역 사이가 분리되어 보이는 단차가 발생하게 된다. 이러한 단차는 기존의 4번뷰, 5번뷰, 6번뷰, 7번뷰의 뷰데이터의 차이에 기안한 것이다. 이러한 단차는 뷰데이터의 수정에 의해 항상 발생하지만, 특히 영상간의 깊이(depth)가 클수록 단차가 또렷하게 표시되어 영상왜곡을 일으킨다.

본 발명에서는 단순히 뷰패턴을 수정하여 뷰에 전체에 걸쳐 균일한 광패턴을 가진 영상을 표시할 뿐만 아니라 영상에 단차가 표시되지 않도록 하여 최적의 3D영상이 표시되도록 한다.

이를 위해, 상기 단차발생영역 추출부(165)에서는 상기와 같이 영상의 뷰패턴을 수정한 후에 수정된 영상으로부터 단차발생영역을 추출한다(S104).

상기 단차발생영역 추출부(165)에서는 5번뷰를 복수의 영역으로 분할한 후, 각각의 분할된 영역을 인접하는 영역과 비교하여 물리량이 서로 다를 경우 또는 인접하는 영역 사이에 연속성(contiunity) 이 없을 경우, 인접하는 영역의 경계에 심(seam)이 발생함을 인식하고 이를 단차로 검출한다. 이때, 단차검출을 위한 물리량은 다양한 변수가 사용될 수 있는데, 예를 들어, 5번뷰에 표시되는 영상의 깊이 차이 또는 휘도차이 등의 데이터를 상기 물리량으로 사용될 수 있다. 단차발생영역 추출부(165)에서는 상기와 같이 단차의 발생을 검출하여 상기 단차가 발생한 영역의 위치를 추출함과 동시에 추출된 단차영역의 좌표정보(x,y)를 저장한다.

이어서, 상기 디스패러티맵 생성부(167)에서 인접하는 두개의 뷰 사이의 디스패리티맵(disparity map)을 생성한다(S105). 디스패리티는 인접하는 두개의 뷰 사이의 거리정보를 나타내는 깊이맵(depth map)으로 두 뷰 사이의 깊이를 나타낸다. 상기 디스패리티맵은 점대점매칭(point to point matching)법, 동적프로그래밍(dynamic programing)법, 그래프컷(graph cut)법 등과 같은 다양한 방법이 사용될 수 있지만, 본 발명에서는 주로 두뷰 사이의 일정 영역(블록)을 비교하는 블록매칭(block matching)법을 사용한다.

이어서, 상기 디스패리팀맵 생성부(167)에서 생성된 디스패리티맵의 최대값(max)을 추출한다(S106). 전술한 바와 같이, 디스패리티맵은 두뷰 사이의 거리정보를 나타내는 깊이맵이므로, 상기 디스패리티맵은 두뷰 사이의 깊이정보를 나타낸다. 따라서, 디스패리티맵의 최대값을 추출하는 것은 두뷰 사이의 깊이정보의 최대값을 산출하는 것이다.

이와 같이, 디스패리티맵의 최대값을 추출하는 것은 이후의 과정에서 디스패리티맵의 영역을 확장하여 단차발생영역의 이동영역을 결정하기 위한 것이다. 전술한 바와 같이, 뷰데이터가 수정된 뷰의 단차는 깊이가 큰 경우 눈에 또렷하게 나타나므로, 디스패리티맵의 최대값을 추출하여 이 영역에 단차가 위치하지 않도록 하기 위한 것이다.

그 후, 상기 디스패리티맵 수정부(169)에서 생성된 디스패리티맵을 이진화한다(S107).

상기 디스패리티는 양(positive)의 디스패리티와 음(negative)의 디스패리티로 이루어진다. 양의 디스패리티는 화면의 위치를 중심으로 돌출거리(깊이)가 화면의 뒤쪽인 경우이고 음의 디스패리티는 화면의 위치를 중심으로 돌출거리(깊이)가 화면의 앞쪽인 경우이다. 본 발명에서는 양의 디스패리티와 음의 디스패리티의 이진화를 따로 진행함으로써 모든 가능한 디스패리티맵을 이진화할 수 있으며, 이후 디스패리티맵의 영역을 확장할 때 확장의 방향을 결정한다.

또한, 상기 디스패리티맵 수정부(168)에서 깊이정보의 크기에 따라 이진화를 영역별로 진행한다. 즉, 설정된 깊이정보값 이상인 영역별로 이진화를 따로 진행할 수 있다. 예들 들어, 디스패리티의 최대값의 1/2 보다 큰 디스패리티를 갖는 영역의 이진화를 다른 영역과는 달리 따로 진행할 수 있다. 이때에도, 음과 양의 이진화는 별개로 진행된다. 즉, 음의 디스패리티의 최대값의 1/2 보다 큰 음의 디스패리티를 갖는 영역의 이진화와 양의 디스패리티의 최대값의 1/2 보다 큰 양의 디스패리티를 갖는 영역의 이진화가 별개로 진행된다.

이후, 상기 디스패리티맵 수정부(168)에서 상기 이진화된 디스패리티맵을 확장한다(S108). 이때, 음의 디스패리티영역은 -방향으로 확장하고 양의 디스패리티영역은 +방향으로 확장한다. 상기 디스패리티맵의 확장영역(x)은 다음의 수학식 1과 같이 된다.

여기서, N은 입체영상표시장치의 뷰수이고 Dmax는 디스패리티의 최대값이다.

전술한 바와 같이, 디스패리티맵의 이진화는 디스패리티가 설정값 이상을 갖는 영역이 따로 진행되므로, 이진화된 디스패리티맵은 디스패리티가 설정값 이상이 영역이다. 한편, 디스패리티맵은 두뷰 사이의 깊이맵을 의미하므로, 이진화된 디스패리티맵은 설정된 깊이값 이상을 갖는 영역을 의미한다.

상기와 같이, 이진화된 디스패리티맵을 확장한 후에는 단차이동부(169)가 단차발생영역을 상기 확장된 디스패리티맵으로부터 이동하여 단차발생영역이 디스패리티맵의 확장된 영역에 위치하지 않도록 한다(S109).

이와 같이, 단차발생영역을 이동하여 디스패리티맵의 확장된 영역에 위치하지 않도록 한다는 것은 단차발생영역이 깊이가 큰 영역에 위치하지 않도록 한다는 것을 의미한다. 전술한 바와 같이, 영상의 합성시 단차가 깊이가 큰 영역에 발생하는 경우 시청자의 눈에 뚜렷이 인식되는 반면에, 깊이가 작은 영역에 발생하는 경우에는 시청자의 눈에 뚜렷이 인식되지 않는다. 본 발명에서는 단차발생영역을 깊이가 큰 영역에서 작은 영역으로 이동시킴으로써 단 차 자체를 제거하는 것이 아니라 시청자의 눈에 뚜렷하게 인식되지 않도록 함으로써 단차발생 문제를 해결하다.

도면에는 도시하지 않았지만, 모든 뷰(예를 들면, 9뷰)에 상술한 바와 같은 과정, 즉 뷰데이터를 수정하는 과정, 단차발생영역을 추출하는 과정, 디스패리티맵을 생성하는 과정, 최대 디스패리티를 추출하는 과정, 디스패리티맵을 이진화하는 과정, 디스패리티맵의 영역을 확장하는 과정, 단차의 위치를 이동하는 과정을 거쳐, 최적의 3D영상을 시청자에게 제공한다(S110).

도 11a는 시청자가 최적시청거리가 아닌 장소에 위치한 경우 뷰데이터를 수정하여 시청자에 제공하는 영상을 나타내는 도면이고 도 11b는 깊이가 작은 영역으로 단차를 이동한 영상을 나타내는 도면이다.

도 11a에 도시된 바와 같이, 뷰데이터의 수정후 시청자에게 제공되는 영상은 인접하는 복수의 뷰가 병합되어 영상의 왜곡 등이 제거되어 거의 완벽한 영상을 표시된다. 그러나, 상기 수정된 영상에는 단차가 발생하는데, 이때 도면에 도시된 바와 같이 상기 단차가 깊이가 큰 영역에 발생하므로 상기 단차가 영상에 뚜렷하게 나타난다.

그러나, 도 11b에 도시된 바와 같이, 단차발생영역을 깊이가 작은 영역으로 이동시킴으로서 비록 단차가 영상중에 발생하지만, 사람의 눈으로는 이를 인식할 수 없게 된다.

한편, 상술한 상세한 설명에서는 본 발명의 입체영상표시장치를 특정한 구조로 설명하고 있지만, 본 발명이 이러한 특정한 구조에만 한정되는 것은 아니다. 예를 들어, 상술한 설명에서는 3D 구현을 위해 시야를 분리하는 3D용 필터로서 렌티큘러렌즈판이 예시되고 있지만, 본 발명의 3D용 셀이 이러한 렌티큘러렌즈판에만 한정되는 것이 아니라 패럴렉스 배리어도 포함할 것이다.

본 발명의 요지는 시청자의 거리에 따라 뷰데이터를 수정하여 다양한 거리에 위치하는 시청자에게 모두 3D영상을 구현하기 위한 것이므로, 이러한 뷰데이터를 수정할 수 있는 모든 구조의 입체영상표시장치에 적용될 수 있을 것이다.

즉, 본 발명의 다양한 변형례나 본 발명을 기초로 용이하게 창안할 수 있는 구조 등도 본 발명의 범위에 포함되어야만 할 것이다. 따라서, 본 발명의 권리범위는 상술한 상세한 설명에 의해 결정되는 것이 아니라 첨부한 특허청구범위에 의해 결정되어야만 할 것이다.

110 : 표시패널 120 : 렌티큘러 렌즈판
125 : 렌티큘러 렌즈 126 : 갭 글라스
160 : 제어부 161 : 위치검출부
163 : 뷰데이터수정부 165 : 단차발생영역 추출부
167 : 디스패리티맵 생성부 168 : 디스패리티맵 수정부
169 : 단차이동부

Claims (12)

1. 표시패널;
   상기 표시패널의 전면에 배치된 3D용 필터; 및
   시청자의 위치를 검출하여, 시청자가 최적시청거리에 위치하지 않는 경우, 뷰데이터를 수정하여 수정된 뷰데이터의 단차를 깊이가 작은 영역으로 이동하여 시청자에게 최적의 3D 영상을 제공하는 제어부로 구성되고,
   상기 제어부는,
   상기 시청자의 위치를 검출하는 위치검출부;
   상기 위치검출부에서 검출된 시청자의 위치를 기초로 시청자가 보는 뷰데이터를 수정하는 뷰데이터수정부;
   상기 뷰데이터수정부에 의해 수정된 3D 영상에 발생하는 단차의 발생영역을 추출하는 단차발생영역 추출부;
   인접하는 두개의 뷰 사이의 디스패리티맵(disparity map)을 생성하고 생성된 상기 디스패리티맵으로부터 디스패리티의 최대값을 추출하는 디스패리티맵 생성부;
   상기 디스패리티맵 생성부로부터 생성된 상기 디스패리티맵을 음과 양의 디스패리티별 및 영역별로 이진화하고 상기 디스패리티맵의 영역을 확장하는 디스패리티맵 수정부; 및
   상기 단차발생영역을 이동시켜 확장된 디스패리티맵에 위치하지 않도록 하는 단차이동부를 포함하고,
   상기 디스패리티맵의 확장영역(x)은 x=(N-2)×D_max (여기서, N은 입체영상표시장치의 뷰수이고 Dmax는 디스패리티 최대값)인 입체영상표시장치.
2. 삭제
3. 제1항에 있어서, 상기 디스패리티맵 수정부는 음의 디스패리티영역과 양의 디스패리티영역을 이진화하는 입체영상표시장치.
4. 제1항에 있어서, 상기 디스패리티맵 수정부는 설정된 깊이 이상을 갖는 디스패리티영역별로 디스패러티영역을 이진화하는 입체영상표시장치.
5. 제4항에 있어서, 상기 설정된 깊이는 디스패리티의 최대값의 1/2인입체영상 표시장치.
6. 삭제
7. 제1항에 있어서, 시청자를 추적하는 시점추적기를 추가로 포함하는 입체영상 표시장치.
8. 제1항에 있어서, 상기 3D용 필터는 렌티큘러렌즈판 및 패럴렉스 배리어를 포함하는 입체영상 표시장치.
9. 시청자의 위치를 검출하는 위치를 검출하는 단계;
   시청자의 위치를 기초로 시청자가 보는 뷰데이터를 수정하는 단계;
   뷰데이터의 수정에 의한 3D 영상에 발생하는 단차의 발생영역을 추출하는 단계;
   인접하는 두개의 뷰 사이의 디스패리티맵(disparity map)을 생성하고 생성된 디스패리티맵으로부터 디스패리티의 최대값을 추출하는 단계;
   생성된 디스패리티맵을 음과 양의 디스패리티별 및 영역별로 이진화하고 디스패리티맵의 영역을 확장하는 단계; 및
   확장된 디스패리티맵에 위치하지 않도록 단차발생영역을 이동시키는 단계를 포함하고,
   상기 디스패리티맵의 확장영역(x)은 x=(N-2)×D_max (여기서, N은 입체영상표시장치의 뷰수이고 Dmax는 디스패리티 최대값)인 입체영상 표시방법.
10. 제9항에 있어서, 상기 디스패리티맵은 두뷰의 영상의 컨텐츠(contents)를 분석하여 생성되는 입체영상 표시방법.
11. 제9항에 있어서, 상기 디스패리티맵을 이진화하는 단계는 음의 디스패리티영역과 양의 디스패리티영역을 이진화하는 단계를 포함하는 입체영상 표시방법.
12. 제9항에 있어서, 상기 디스패리티맵을 이진화하는 단계는 설정된 깊이 이상을 갖는 디스패리티영역별로 디스패러티영역을 이진화하는 단계를 포함하는 입체영상 표시방법.

Images