KR101721103B1

KR101721103B1 - 입체영상표시장치 및 그 구동방법

Info

Publication number: KR101721103B1
Application number: KR1020100131891A
Authority: KR
Inventors: 김성우; 임희진
Original assignee: 엘지디스플레이 주식회사
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2017-03-30
Also published as: KR20120070363A

Abstract

본 발명의 입체영상표시장치 및 그 구동방법은 초다시점(Super Multi View; SMV)을 구현하여 시청자에게 피로(visual fatigue)를 주지 않고 자연스러운 입체감을 제공하는 한편, n-뷰에서 M(M≥4, n>M)개의 비등간격 시차 영상만을 표시하여 좌, 우안에 나누어 들어가게 함으로써 초다시점 구현에 따른 해상도 저하를 완화하는 것을 특징으로 한다.
이에 따르면, 본 발명은 초다시점을 구현하여 시청자에게 피로를 주지 않고 자연스러운 입체감을 제공하는 한편, n-뷰에서 M(M≥4, n>M)개의 시청 영상만을 표시하여 좌, 우안에 나누어 들어가게 함으로써 초다시점 구현에 따른 해상도 저하를 완화할 수 있는 효과를 제공한다.

Description

입체영상표시장치 및 그 구동방법{STEREOSCOPIC 3D DISPLAY DEVICE AND METHOD OF DRIVING THE SAME}

본 발명은 입체영상표시장치 및 그 구동방법에 관한 것으로, 보다 상세하게는 시청자에게 피로(visual fatigue)를 주지 않고 자연스러운 입체감을 주는 한편, 이에 따른 해상도 저하를 완화하도록 한 입체영상표시장치 및 그 구동방법에 관한 것이다.

3D 디스플레이(display)란 간단히 정의를 내리자면 "인위적으로 3D화면을 재생시켜 주는 시스템의 총체"라고 할 수 있다.

여기서, 시스템이란 3D로 보여질 수 있는 소프트웨어적인 기술과 그 소프트웨어적 기술로 만든 컨텐츠를 실제로 3D로 구현해내는 하드웨어를 동시에 포함한다. 소프트웨어 영역까지 포함시키는 이유는 3D 디스플레이 하드웨어의 경우 각각의 입체 구현방식마다 별도의 소프트웨어적 방식으로 구성된 컨텐츠가 따로 필요하기 때문이다.

또한, 가상 3D 디스플레이는 사람이 입체감을 느끼는 여러 요인 중 우리 눈이 가로방향으로 약 65mm 떨어져 있어서 나타나게 되는 양안시차(binocular disparity)를 이용하여 평면적인 디스플레이 하드웨어에서 말 그대로 가상적으로 입체감을 느낄 수 있게 하는 시스템의 총체이다. 다시 말해 우리의 눈은 양안시차 때문에 똑같은 사물을 바라보더라도 각각 약간은(정확히 말하면 좌우의 공간적 정보를 약간씩 나눠 가지고 있는) 다른 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 정확히 서로 융합시킴으로써 우리가 입체감을 느낄 수 있게 되는데, 그것을 이용하여 2D 디스플레이 장치에서 좌우 화상 2개를 동시에 표시하여 각각의 눈으로 보내는 설계를 통해 가상적인 입체감을 만들어 내는 것이 바로 가상 3D 디스플레이인 것이다.

이러한 가상 3D 디스플레이 하드웨어 장치, 즉 입체영상표시장치에서 하나의 화면으로 두 채널의 화상을 나타내기 위해서는 대부분의 경우 하나의 화면에서 가로나 세로의 한쪽 방향으로 줄을 한 줄씩 바꿔가며 한 채널씩 출력하게 된다. 그렇게 동시에 두 채널의 화상이 하나의 디스플레이 장치에서 출력되면 하드웨어적 구조상 무안경 방식의 경우에는 오른쪽 화상은 그대로 오른쪽 눈으로 들어가고, 왼쪽 화상은 왼쪽 눈으로만 들어가게 된다. 또한, 안경을 착용하는 방식의 경우에는 각각의 방식에 맞는 특수한 안경을 통하여 오른쪽 화상은 왼쪽 눈이 볼 수 없게 가려주고, 왼쪽 화상은 오른쪽 눈이 볼 수 없게 각각 가려주는 방법을 사용한다.

이와 같이 사람이 입체감과 깊이감을 느끼는 요인으로 가장 중요하게는 두 눈 사이의 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 입체 구현방식 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원표현방식(holographic type), 입체감표현방식(stereoscopic type)으로 구분된다.

부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽, 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 빨려 들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.

가장 완전한 입체영상 구현기술이라 알려져 있는 3차원표현방식은 레이저광 재생 홀로그래피(holography) 내지 백색광 재생 홀로그래피로 대표될 수 있다.

그리고, 입체감표현방식은 양안의 생리적 요인을 이용하여 입체감을 느끼는 방식으로, 전술한 바와 같이 약 65㎜ 떨어져 존재하는 인간의 좌, 우안에 시차정보가 포함된 평면의 연관 영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 입체 사진술(stereography)을 이용한 것이다. 이러한 입체감표현방식은 크게 안경을 착용하는 방식과 안경을 착용하지 않는 무안경 방식이 있다.

이러한 입체영상표시장치가 실용화되기 위해서는 시청자에게 피로(visual fatigue)를 주지 않고 자연스러운 입체감을 제공하는 한편, 다수가 시청할 수 있을 정도로 넓은 시청영역(viewing zone) 조건을 갖추는 것이 중요하다. 이러한 조건을 만족하기 위해서는 자연스러운 운동시차의 제공이 필요하다.

현재, 여러 종류의 입체영상표시장치가 실용화되고 있으나, 대부분은 입체 안경을 착용해야 하는 불편이 있고, 장시간 시청 시에는 눈이 피로와 같은 문제가 있어 실용성이 결여되고 있다.

본 발명은 상기한 문제를 해결하기 위한 것으로, 시청자에게 피로를 주지 않고 자연스러운 입체감을 제공할 수 있는 입체영상표시장치 및 그 구동방법을 제공하는데 목적이 있다.

본 발명의 다른 목적은 초다시점을 구현하면서도 해상도 저하를 완화하도록 한 입체영상표시장치 및 그 구동방법을 제공하는데 있다.

본 발명의 다른 목적은 시청자의 움직임에 관계없이 자연스러운 입체 영상의 구현이 가능한 입체영상표시장치 및 그 구동방법을 제공하는데 있다.

본 발명의 다른 목적 및 특징들은 후술되는 발명의 구성 및 특허청구범위에서 설명될 것이다.

상기한 목적을 달성하기 위하여, 본 발명의 입체영상표시장치는 n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 표시하는 제 M, ... , 3, 2, 1 영상화소가 반복 배열되어 2차원 영상 정보를 출사하는 영상패널과, 상기 영상패널과 시청자 사이에 배치되며, 좌, 우안 영상을 분리하는 시차 배리어 및 상기 시차 배리어와 영상패널을 제어하는 제어부를 포함하여 구성될 수 있다. 이때, 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시하는 것을 특징으로 한다.

이때, 시청자의 움직임을 읽어들여 이에 대한 정보를 상기 제어부에 전달하는 관측장치를 추가로 포함하는 것을 특징으로 한다.

이때, 상기 제어부는 상기 관측장치와 전기적으로 연결되어 시청자가 정상 위치로부터 어느 정도 이격되어 있는지를 판단하여 해당 이동 정보를 전달받고, 해당 이동 정보에 따라 상기 영상패널에 인가하는 신호를 제어하여 시청자의 움직임에 따라 시차 영상을 이동시키는 것을 특징으로 한다.

본 발명의 입체영상표시장치의 구동방법은 2차원 영상 정보를 출사하는 영상패널 및 상기 영상패널과 시청자 사이에 배치되며, 좌, 우안 영상을 분리하는 시차 배리어를 포함하는 입체영상표시장치의 구동방법에 있어, n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 이용하여 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시하는 것을 특징으로 한다.

이때, 시청자의 움직임을 트레킹(tracking)하여 상기 뷰 1, 2, ... , M/2의 시차 영상은 좌안에 상기 뷰 n-(M/2-1), ... , n-1, n의 시차 영상은 우안에 들어가게 시차 영상을 이동시키는 것을 특징으로 한다.

이때, 이미 센서 영상 또는 적외선 출력 센서 출력에 기초하여 시청자 위치 정보를 획득하는 단계를 추가로 포함하는 것을 특징으로 한다.

이때, 상기 시청자 위치 정보는 시청자 얼굴의 X축 위치 정보, 시청자 얼굴의 Y축 위치 정보, 시청자와 입체영상표시장치 사이의 거리(또는, Z축 위치 정보)를 포함하는 3차원 위치 정보인 것을 특징으로 한다.

상기 획득한 시청자의 위치 정보에 따라 입체영상표시장치에 표시되는 좌, 우안 영상 각각의 뷰 각도와 깊이 정보를 렌더링하기 위한 좌, 우안 영상 렌더링 파라미터를 생성하는 단계를 추가로 포함하는 것을 특징으로 한다.

이때, 상기 좌, 우안 영상 렌더링 파라미터와 시청자의 위치 정보에 따라 좌안 영상과 우안 영상을 생성하고, 그 좌안 영상과 우안 영상을 입체영상표시장치에 표시하는 단계를 추가로 포함하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 입체영상표시장치 및 그 구동방법은 초다시점을 구현하여 시청자에게 피로를 주지 않고 자연스러운 입체감을 제공하는 한편, n-뷰에서 M(M≥4, n>M)개의 시청 영상만을 표시하여 좌, 우안에 나누어 들어가게 함으로써 초다시점 구현에 따른 해상도 저하를 완화할 수 있는 효과를 제공한다.

예를 들면, 30-뷰인 경우 30개의 시차 영상을 이용하는 경우에는 1/30만큼 해상도 저하가 발생하였으나, 총 4개의 시차 영상을 이용하는 경우에는 1/4만큼 해상도 저하가 발생하며 초다시점의 효과를 낼 수 있다.

도 1은 다시점 입체영상표시장치의 원리를 예시적으로 나타내는 도면.
도 2a 및 도 2b는 초다시점 입체영상표시장치의 원리를 예시적으로 나타내는 도면.
도 3은 본 발명의 제 1 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면.
도 4는 본 발명에 따른 입체영상표시장치의 구성을 개략적으로 나타내는 예시도.
도 5는 본 발명에 따른 입체영상표시장치의 뷰 제어방법을 순차적으로 나타내는 흐름도.
도 6 및 도 7은 본 발명의 제 2 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면.
도 8 및 도 9는 본 발명의 제 3 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면.

이하, 첨부한 도면을 참조하여 본 발명에 따른 입체영상표시장치 및 그 구동방법의 바람직한 실시예를 상세히 설명한다.

안경 방식의 3D는 사실 어느 위치에서 보든지 좌안과 우안에 각각 좌안 영상과 우안영상이 들어오는 방식이다. 즉, 영상패널은 전방위로 좌안 영상과 우안 영상을 발산하고, 안경을 통해 상기 좌안 영상과 우안 영상을 분리하여 보는 방식이다.

무안경 방식도 단 한 명의 시청자가 고정된 위치에 있다면 상기 안경 방식과 같은 형태로 볼 수 있는데, 안경을 낀 것과 마찬가지로 영상패널 자체에서 좌안 영상과 우안 영상을 각각 시청자의 좌안과 우안으로 보내주면 된다. 그러나, 이는 일반적으로 모니터나 휴대폰 등 개인 디스플레이에 사용되는 방식으로 위치에 따라 3D로 보이지 않을 수 있다.

하지만, 여러 명이, 또는 움직이면서 보는 3D는 인위적으로 좌안 영상과 우안 영상을 분리할 수 없다. 그래서 다시점 무안경 방식에서 가상 창(뷰(view))라는 것을 만들게 된다. 즉, 좌안 영상과 우안 영상의 2개의 영상을 조합하여 n개의 뷰를 만들게 된다.

도 1은 다시점 입체영상표시장치의 원리를 예시적으로 나타내는 도면이다.

상기 도 1을 참조하면, 예를 들어 시청자(130)가 좌안에 V1을, 우안에 V2를 보는 위치에 서면 왼쪽에서 보는 영상이 비교적 생생하게 느껴지고, 오른쪽으로 이동해 좌안에 V6을, 우안에 V7이 들어오는 위치가 되면 오른쪽에서 보는 영상이 비교적 생생하게 느껴지게 된다.

이때, 뷰 1~8까지는 3D를 정상적으로 느끼지만, 뷰의 세트가 바뀌는 가령 좌안에 V8을, 우안에 V1을 받는 시점에서는 3D를 전혀 느끼지 못하게 된다.

참고로, 가장 단순한 2안식(2-뷰)은 어떤 시점을 정하여, 그 위치에서 좌안과 우안에 다른 화상이 보이도록 영상패널과 시차 배리어를 배치한다. 영상패널에는 시점부터 영상패널까지의 거리에 투영면이 있으며, 좌안과 우안에 각각 투시 중심이 있는 2개의 투시 투영 화상을 영상패널의 화소 1열마다 세로로 분할하여 교대로 배치한다. 이것을 실현하는 것은 비교적 용이하지만, 정해진 위치 이외에서는 입체적으로 보이지 않아 시청영역이 매우 좁다는 점과 좌우 눈 거리만큼 이동한 위치로부터 보면 역입체시, 즉 볼록하게 돌출되는 부분과 오목하게 들어가는 부분이 반대로 보이는 것과 같은 이상한 화면이 된다는 결점이 있다.

다시점(멀티 뷰)은 시차 수를 4 내지 8 정도로 늘려, 정상적으로 보이는 위치를 늘리고 있다. 운동시차, 즉 관찰자가 가로 방향으로 이동하여 보는 각도를 바꾼 경우에 그것에 따라 입체영상표시장치(100)에서도 상이한 각도로부터의 화상을 볼 수 있다.

보통 하나의 뷰의 크기는 사람의 보편적인 좌우 눈 거리인 65mm로 만들게 된다. 뷰가 많아지면 3D 시야각이 넓어지지만, 해상도는 상대적으로 떨어지게 된다.

이러한 다시점의 개념을 확장하여 뷰의 간격을 눈의 동공 보다 좁게 설계한 경우(즉, 동공(~3mm) 안에 2-뷰 이상의 영상이 들어가는 경우)를 가정할 수 있는데, 이것을 초다시점(Super Multi View; SMV) 조건이라 부른다.

도 2a 및 도 2b는 초다시점 입체영상표시장치의 원리를 예시적으로 나타내는 도면이다.

상기 도 2a에 도시된 바와 같이, 초다시점 입체영상표시장치는 2차원 영상 정보를 출사하는 영상패널(140)에 제 1, 2, 3, ... , n 시차 영상(1, 2, 3, ... , n)을 각각 표시하는 제 n, ... , 3, 2, 1 영상화소(n, ... , 3, 2, 1)가 반복 배열되게 된다.

이때, 상기 제 1, 2, 3, ... , n 시차 영상(1, 2, 3, ... , n)으로 이루어진 시차 영상의 조합을 하나의 뷰 세트(S)로 정의할 수 있으며, 이 경우 하나의 뷰 세트(S)에 대응하는 제 n, ... , 3, 2, 1 영상화소(n, ... , 3, 2, 1)의 집합을 단위 화소(unit pixel)(145)로 정의할 수 있다.

상기 초다시점 입체영상표시장치는 2mm ~ 3mm정도의 동공 안에 2-뷰 이상의 시차 영상(1, 2, 3, ... , n)이 들어오게 설계하는데, 상기 도 2b에 도시된 바와 같이, 시청자가 뷰 세트(S) 내에서 이동을 하는 경우 n-뷰 내의 시차 영상(1, 2, 3, ... , n)이 양안(EL, ER)에 들어오게 된다.

초다시점 조건이 만족되면, 시청자의 단안에는 항상 복수의 카메라의 시차 영상이 입사되고, 망막에 투영되는 과정에 합성된다. 시청자가 좌우로 이동하면, 이동한 방향으로부터 새로운 카메라의 시차 영상이 첨가되어, 이동에 반대되는 방향의 카메라 시차 영상은 동공으로부터 벗어나게 된다. 망막에는 항상 복수의 시차가 존재하여 투영된다. 이산(離散)화된 운동시차가 연속(連續)화되어, 시청자는 입체 영상이 부드럽게 변화하는 것처럼 보이게 된다. 결국, 동공의 좌측과 우측에 입사되는 영상은, 다른 카메라로부터 촬영한 시차를 갖고 있으므로, 단안 가운데에도 시차가 발생한다.

이와 같이 운동시차에 있어서, 다시점 또는 초다시점 입체영상표시장치는 수평방향의 운동시차와 시점에 따라 깊이 방향 운동시차를 제공할 수 있다. 이때, 다시점의 경우 시차간의 이동이 부자연스러우나, 초다시점의 경우 그 시차간의 이동이 자연스럽게 표현된다.

다만, n-뷰의 초다시점의 경우 n개의 등간격 시차 영상을 이용하기 때문에 해상도 저하가 1/n만큼 발생하게 된다. 예를 들어, 30-뷰의 초다시점의 경우 1/30만큼 해상도 저하가 발생하게 된다.

이에 본 발명의 경우에는 n-뷰에서 M(M≥4, n>M)개의 비등간격 시차 영상만을 표시하여 좌, 우안에 나누어 들어가게 함으로써 초다시점 구현에 따른 해상도 저하를 완화할 수 있는 것을 특징으로 하는데, 이를 도면을 참조하여 상세히 설명한다.

즉, 이 경우에 양안 간격은 65mm가 되는 조건에서, n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 이용하여 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시하게 한다. 이때, M이 커질수록 좀더 자연스러운 영상을 볼 수 있다.

도 3은 본 발명의 제 1 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면으로써, 4(n)-뷰에서 4(M)개의 시차 영상으로 초다시점을 구현하는 본 발명의 제 1 실시예에 따른 입체영상표시장치의 구동방법을 예를 들어 나타내고 있다.

도면에 도시된 바와 같이, 본 발명의 제 1 실시예에 따른 입체영상표시장치는 2차원 영상 정보를 출사하는 영상패널(240)에 제 1, 2, 3, 4 시차 영상(1, 2, 3, 4)을 각각 표시하는 제 4, 3, 2, 1 영상화소(4, 3, 2, 1)가 반복 배열되게 된다.

이때, 상기 제 1, 2, 3, 4 시차 영상(1, 2, 3, 4)으로 이루어진 시차 영상의 조합을 하나의 뷰 세트(S)로 정의할 수 있으며, 이 경우 하나의 뷰 세트(S)에 대응하는 제 4, 3, 2, 1 영상화소(4, 3, 2, 1)의 집합을 단위 화소(245)로 정의할 수 있다.

상기 본 발명의 제 1 실시예에 따른 4-뷰의 초다시점 입체영상표시장치는 2mm ~ 3mm정도의 하나의 동공 안에 2(M/2)개의 시차 영상(1, 2, 3, 4)이 들어오게 설계하는데, 예를 들어 뷰 1, 2의 시차 영상(1, 2)은 좌안(EL)에 뷰 3, 4의 시차 영상(3, 4)은 우안(ER)에 들어가게 시차 영상(1, 2, 3, 4)을 설계할 수 있다.

다만, 이 경우에는 n과 M의 값이 동일하기 때문에 해상도 저하에 대한 실질적인 완화 효과는 없으며, 시청자의 움직임에 적절히 대처할 수 있는 방안이 제시되어 있지 않다.

이에 본 발명의 경우에는 n이 M에 비해 큰 값을 가지도록 설계하는 한편, 깊이 방향의 운동에 대하여 연속적이고 자연스러운 운동시차를 제공하기 위해서 트레킹(tracking) 기술을 접목하는 것을 특징으로 하는데, 이를 도면을 참조하여 상세히 설명한다.

도 4는 본 발명에 따른 입체영상표시장치의 구성을 개략적으로 나타내는 예시도이며, 도 5는 본 발명에 따른 입체영상표시장치의 뷰 제어방법을 순차적으로 나타내는 흐름도이다.

상기 도 4에 도시된 바와 같이, 본 발명에 따른 입체영상표시장치는 좌, 우안 영상을 분리하는 시차 배리어(120)와 상기 시차 배리어(120) 하부에 위치하여 2차원 영상 정보를 출사하는 영상패널(140) 및 상기 영상패널(140) 하부에 위치하여 상기 영상패널(140)로 광을 전달하는 광원(미도시)을 포함하여 이루어진다.

이때, 경우에 따라 상기 영상패널(140)이 광을 직접 발광하는 장치라면, 상기 광원의 생략이 가능하다.

예를 들어, 상기 영상패널(140)로는 직시형이나 투영형의 액정표시장치(Liquid Crystal Display; LCD), 유기발광표시장치(Organic Light Emitting Diode Display; OLED), 전계발광표시장치(Field Emission Display; FED), 플라즈마영상표시장치(Plasma Display Panel; PDP), 전기발광표시장치(Electroluminescent Display; EL) 등의 평판표시장치가 사용될 수 있다.

또한, 상기 본 발명에 따른 입체영상표시장치는 상기 시차 배리어(120)와 영상패널(140)을 제어하는 제어부(160) 및 시청자(130)의 움직임을 읽어들여 이에 대한 정보를 상기 제어부(160)에 전달하는 관측장치(150)를 추가로 포함한다.

전술한 바와 같이 상기 본 발명에 따른 입체영상표시장치는 상기 영상패널(140)에 제 1, 2, 3, ... , n 시차 영상을 각각 표시하는 제 n, ... , 3, 2, 1 영상화소가 반복 배열되게 되며, 이때 초다시점을 구현하기 위해 동공 안에 2개 이상의 시차 영상이 들어오도록 뷰 간격을 3mm 이하로 설계하는 것을 특징으로 한다.

또한, 상기 제어부(160)는 예를 들어, 상기 관측장치(150)와 전기적으로 연결되어 시청자(130)가 정상 위치로부터 어느 정도 이격되어 있는지를 판단하여 해당 이동 정보를 전달받고, 해당 이동 정보에 따라 상기 영상패널(140)에 인가하는 신호를 제어하여 시청자(130)의 움직임에 따라 시차 영상을 이동시키는 방식으로 트레킹을 구현할 수 있다.

이때, 상기 관측장치(150)는 시청자(130)의 동공의 움직임이나 시청자(130)의 머리의 이동을 실시간으로 추적하고, 추적된 시청자(130)의 동공 또는 머리의 움직임을 계산하며, 이에 대한 움직임을 이동 정보로 변환하여 저장하며, 이를 상기 제어부(160)로 전달한다.

이와 같은 본 발명에 따른 입체영상표시장치의 뷰 제어방법은 상기 도 5를 참조하면, 이미지 센서 영상 또는 적외선 센서 출력에 기초하여 시청자 위치 정보를 획득한다(S110).

이때, 상기 이미지 센서는 카메라로 구현될 수 있다. 또한, 상기 시청자 위치 정보는 시청자 얼굴의 X축 위치 정보, 시청자 얼굴의 Y축 위치 정보, 시청자와 입체영상표시장치 사이의 거리(또는, Z축 위치 정보)를 포함하는 3차원 위치 정보일 수 있다.

본 발명에 따른 입체영상표시장치의 뷰 제어방법은 획득한 시청자의 3차원 위치 정보에 따라 입체영상표시장치에 표시되는 좌, 우안 영상 각각의 뷰 각도와 깊이 정보를 렌더링(rendering)하기 위한 파라미터(parameter)를 생성한다(S120).

이때, 좌, 우안 영상의 렌더링 파라미터는 시청자 얼굴의 3차원 위치 정보에 따라 결정된다. 시청자의 3차원 위치 정보에 따라 좌, 우안 영상의 X축 관련 파라미터와 함께, 좌, 우안 영상의 Y축 및 Z축 관련 파라미터들은 시청자의 Y축 및 Z축 위치 정보에 따라 실시간 변경될 수 있다.

본 발명에 따른 입체영상표시장치의 뷰 제어방법은 좌, 우안 영상 렌더링 파라미터와 시청자의 위치 정보에 따라 좌안 영상과 우안 영상을 생성하고 그 좌안 영상과 우안 영상을 입체영상표시장치에 표시한다(S130 내지 S150). 시청자의 위치가 바뀔 때마다 좌, 우안 영상의 렌더링 파라미터가 갱신되므로 입체영상표시장치에 표시되는 좌, 우안 영상 각각의 뷰가 시청자의 위치에 따라 실시간으로 바뀐다. 따라서, 본 발명의 입체영상표시장치는 시청자의 위치에 따라 변경되는 입체 영상의 뷰 각도와 깊이 정보를 실시간 생성하여 시청자에게 무제한의 입체 영상 뷰를 제공할 수 있다.

도 6 및 도 7은 본 발명의 제 2 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면으로써, 30(n)-뷰에서 4(M)개의 시차 영상만으로 초다시점을 구현하는 본 발명의 제 2 실시예에 따른 입체영상표시장치의 구동방법을 예를 들어 나타내고 있다.

먼저, 도 6에 도시된 바와 같이, 본 발명의 제 2 실시예에 따른 입체영상표시장치는 2차원 영상 정보를 출사하는 영상패널(340)에 제 1, 2, 29, 30 시차 영상(1, 2, 29, 30)을 각각 표시하는 제 4, 3, 2, 1 영상화소(4, 3, 2, 1)가 반복 배열되게 된다.

이때, 상기 제 1, 2, 29, 30 시차 영상(1, 2, 29, 30)으로 이루어진 시차 영상의 조합을 하나의 뷰 세트(S)로 정의할 수 있으며, 이 경우 하나의 뷰 세트(S)에 대응하는 제 4, 3, 2, 1 영상화소(4, 3, 2, 1)의 집합을 단위 화소(345)로 정의할 수 있다.

상기 본 발명의 제 2 실시예에 따른 30-뷰의 초다시점 입체영상표시장치는 2mm ~ 3mm정도의 하나의 동공 안에 2(M/2)개의 시차 영상(1, 2, 29, 30)이 들어오게 설계하는데, 예를 들어 뷰 1, 2의 시차 영상(1, 2)은 좌안(EL)에 뷰 29, 30의 시차 영상(29, 30)은 우안(ER)에 들어가게 시차 영상(1, 2, 29, 30)을 설계할 수 있다.

이와 같이 30-뷰인 경우 30개의 시차 영상을 이용하는 경우에는 1/30만큼 해상도 저하가 발생하였으나, 총 4개의 시차 영상을 이용하는 경우에는 1/4만큼 해상도 저하가 발생하며 초다시점의 효과를 낼 수 있다.

한편, 시청자가 예를 들어, 우측으로 움직이게 되어 그 위치가 정입체시 영역에서 틀어질 경우에는 상기 도 7에 도시된 바와 같이, 상기 시청자의 움직임을 트레킹하여 뷰 1, 2의 시차 영상(1, 2)은 좌안(EL)에 뷰 29, 30의 시차 영상(29, 30)은 우안(ER)에 들어가게 상기 제 1, 2, 29, 30 시차 영상(1, 2, 29, 30)을 이동시켜 주게 된다.

이때, 상기 제 1, 2, 29, 30 시차 영상(1, 2, 29, 30)의 이동은 실질적으로 영상패널(340)에 배열되는 제 4, 3, 2, 1 영상화소(4, 3, 2, 1)의 이동을 통해 이루어지게 된다.

도 8 및 도 9는 본 발명의 제 3 실시예에 따른 입체영상표시장치의 구동방법을 예시적으로 나타내는 도면으로써, n-뷰에서 6(M; n>M)개의 시차 영상만으로 초다시점을 구현하는 본 발명의 제 3 실시예에 따른 입체영상표시장치의 구동방법을 예를 들어 나타내고 있다.

먼저, 도 8에 도시된 바와 같이, 본 발명의 제 3 실시예에 따른 입체영상표시장치는 2차원 영상 정보를 출사하는 영상패널(440)에 제 1, 2, 3, n-2, n-1, n 시차 영상(1, 2, 3, n-2, n-1, n)을 각각 표시하는 제 6, 5, 4, 3, 2, 1 영상화소(6, 5, 4, 3, 2, 1)가 반복 배열되게 된다.

이때, 상기 제 1, 2, 3, n-2, n-1, n 시차 영상(1, 2, 3, n-2, n-1, n)으로 이루어진 시차 영상의 조합을 하나의 뷰 세트(S)로 정의할 수 있으며, 이 경우 하나의 뷰 세트(S)에 대응하는 제 6, 5, 4, 3, 2, 1 영상화소(6, 5, 4, 3, 2, 1)의 집합을 단위 화소(445)로 정의할 수 있다.

상기 본 발명의 제 3 실시예에 따른 n-뷰의 초다시점 입체영상표시장치는 2mm ~ 3mm정도의 하나의 동공 안에 3(M/2)개의 시차 영상(1, 2, 3, n-2, n-1, n)이 들어오게 설계하는데, 예를 들어 뷰 1, 2, 3의 시차 영상(1, 2, 3)은 좌안(EL)에 뷰 n-2, n-1, n의 시차 영상(n-2, n-1, n)은 우안(ER)에 들어가게 시차 영상(1, 2, 3, n-2, n-1, n)을 설계할 수 있다.

이와 같이 n-뷰인 경우 n개의 시차 영상을 이용하는 경우에는 1/n만큼 해상도 저하가 발생하였으나, 상기 본 발명의 제 3 실시예에서와 같이 총 6개의 시차 영상을 이용하는 경우에는 1/6만큼 해상도 저하가 발생하며 초다시점의 효과를 낼 수 있다.

한편, 시청자가 예를 들어, 우측으로 움직이게 되어 그 위치가 정입체시 영역에서 틀어질 경우에는 상기 도 9에 도시된 바와 같이, 상기 시청자의 움직임을 트레킹하여 뷰 1, 2, 3의 시차 영상(1, 2, 3)은 좌안(EL)에 뷰 n-2, n-1, n의 시차 영상(n-2, n-1, n)은 우안(ER)에 들어가게 상기 제 1, 2, 3, n-2, n-1, n 시차 영상(1, 2, 3, n-2, n-1, n)을 이동시켜 주게 된다.

이때, 상기 제 1, 2, 3, n-2, n-1, n 시차 영상(1, 2, 3, n-2, n-1, n)의 이동은 실질적으로 영상패널(440)에 배열되는 제 6, 5, 4, 3, 2, 1 영상화소(6, 5, 4, 3, 2, 1)의 이동을 통해 이루어지게 된다.

이와 같이 상기 본 발명의 제 2 실시예 및 제 3 실시예의 경우에는 시청자의 움직임에 관계없이 자연스러운 입체 영상의 구현이 가능하게 된다.

다만, 본 발명이 상기 제 1 실시예 내지 제 3 실시예에 한정되는 것은 아니며, 본 발명은 n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 이용하여 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시함으로써 초다시점 구현에 따른 해상도 저하를 완화할 수 있는 것을 특징으로 한다. 이 경우에 영상화소의 개수는 상기 M의 값에 일치하게 할 수 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

1, 2, 3, n-2, n-1, n : 시차 영상 6, 5, 4, 3, 2, 1 : 영상화소
140~440 : 영상패널 145~445 : 단위 화소

Claims

2차원 영상 정보를 출사하는 영상패널; 및 상기 영상패널과 시청자 사이에 배치되며, 좌, 우안 영상을 분리하는 시차 배리어를 포함하는 입체영상표시장치의 구동방법에 있어,
n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 이용하여 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시하는 입체영상표시장치의 구동방법.
제 1 항에 있어서, 시청자의 움직임을 트레킹(tracking)하여 상기 뷰 1, 2, ... , M/2의 시차 영상은 좌안에 상기 뷰 n-(M/2-1), ... , n-1, n의 시차 영상은 우안에 들어가게 시차 영상을 이동시키는 입체영상표시장치의 구동방법.
제 2 항에 있어서, 이미 센서 영상 또는 적외선 출력 센서 출력에 기초하여 시청자 위치 정보를 획득하는 단계를 추가로 포함하는 입체영상표시장치의 구동방법.
제 3 항에 있어서, 상기 시청자 위치 정보는 시청자 얼굴의 X축 위치 정보, 시청자 얼굴의 Y축 위치 정보, 시청자와 입체영상표시장치 사이의 거리(또는, Z축 위치 정보)를 포함하는 3차원 위치 정보인 입체영상표시장치의 구동방법.
제 3 항에 있어서, 상기 획득한 시청자의 위치 정보에 따라 입체영상표시장치에 표시되는 좌, 우안 영상 각각의 뷰 각도와 깊이 정보를 렌더링하기 위한 좌, 우안 영상 렌더링 파라미터를 생성하는 단계를 추가로 포함하는 입체영상표시장치의 구동방법.
제 5 항에 있어서, 상기 좌, 우안 영상 렌더링 파라미터와 시청자의 위치 정보에 따라 좌안 영상과 우안 영상을 생성하고, 그 좌안 영상과 우안 영상을 입체영상표시장치에 표시하는 단계를 추가로 포함하는 입체영상표시장치의 구동방법.
n-뷰에서 M(M≥4, n>M)개의 시차 영상만을 표시하는 제 M, ... , 3, 2, 1 영상화소가 반복 배열되어 2차원 영상 정보를 출사하는 영상패널;
상기 영상패널과 시청자 사이에 배치되며, 좌, 우안 영상을 분리하는 시차 배리어; 및
상기 시차 배리어와 영상패널을 제어하는 제어부를 포함하며, 좌안에는 뷰 1, 2, ... , M/2의 시차 영상이 들어오게 하고 우안에는 뷰 n-(M/2-1), ... , n-1, n의 시차 영상이 들어오게 비등간격으로 시차 영상을 표시하는 입체영상표시장치.
제 7 항에 있어서, 시청자의 움직임을 읽어들여 이에 대한 정보를 상기 제어부에 전달하는 관측장치를 추가로 포함하는 입체영상표시장치.
제 8 항에 있어서, 상기 제어부는 상기 관측장치와 전기적으로 연결되어 시청자가 정상 위치로부터 어느 정도 이격되어 있는지를 판단하여 해당 이동 정보를 전달받고, 해당 이동 정보에 따라 상기 영상패널에 인가하는 신호를 제어하여 시청자의 움직임에 따라 시차 영상을 이동시키는 입체영상표시장치.