KR101670927B1

KR101670927B1 - 디스플레이 장치 및 방법

Info

Publication number: KR101670927B1
Application number: KR1020100109874A
Authority: KR
Inventors: 남동경; 박주용; 황규영; 하인우
Original assignee: 삼성전자주식회사
Priority date: 2010-11-05
Filing date: 2010-11-05
Publication date: 2016-11-01
Also published as: KR20120048301A; US9172949B2; EP2451180A3; EP2451180B1; US20140152781A1; EP2451180A2; US20120113097A1; US8451535B2

Abstract

고밀도 라이트 필드 영상을 생성하는 디스플레이 장치가 제공된다. 상기 디스플레이 장치는 사용자 눈의 위치를 식별하여 눈의 위치 주변에 가상의 뷰잉 윈도우를 설정한다. 그리고, 디스플레이 장치는 상기 뷰잉 윈도우에 대응하는 지향성 광을 생성하여 고밀도 라이트 필드 영상을 생성한다.

Description

디스플레이 장치 및 방법{DISPLAY APPARATUS AND METHOD}

범용적인 디스플레이, 이를테면 TV, 모니터, 휴대형 디바이스의 디스플레이, 광고용 디스플레이 및 교육용 디스플레이 분야 등에 연관되며, 보다 특정하게는 입체 시청에 따른 피로 없이 입체 영상을 재현, 표시하기 위한 고밀도 라이트필드 디스플레이(High Density Light Field Display) 장치 및 방법에 연관된다.

3D(3-dimensional) 영상 디스플레이 장치는 사람의 좌안(left eye)과 우안(right eye)에 시점 차이를 반영한 서로 다른 영상을 제공하여 입체감을 느끼게 하는 영상 디스플레이 장치이다.

3D 영상 디스플레이 장치에는, 좌안 시점 영상과 우안 시점 영상을 제공하는 스테레오스코픽(stereoscopic) 타입과, 보다 다양한 시점의 영상을 제공하는 멀티 뷰 영상이 존재한다.

한편, 최근에는 기술적 구현의 용이성 및 생산 단가 등 시장성을 고려하여 안경 방식(glass type)의 3D 영상 디스플레이 장치가 보편화되고 있는데, 3D 안경 착용이나 보관 등에 불편함을 개선하기 위해 무안경식(non-glass type) 3D 디스플레이 장치에 대한 관심이 높아지고 있다.

그런데, 3D 디스플레이를 구현하는 경우, 시선수렴과 초점조절의 불일치 (Convergence-Accommodation Conflict)로 인한 시청 피로가 발생하는 문제점이 있어, 라이트 필드 영상 디스플레이 기법 등을 이용하여 이를 해결하기 위한 연구가 진행 중이다.

라이트필드 디스플레이 방법은, 이를테면 널리 알려진 합성 사진술(Integral Photography) 등을 포함하는 개념으로서, 충분히 많은 수의 지향성 광을 이용하여 공간 상에 라이트 필드(light field)를 생성하여, 시선수렴과 초점조절 불일치가 발생하지 않는, 3D 영상을 구현하는 방법이다.

다만, Full HD 급의 영상 컨텐츠가 대중화되어가는 현 시점에서, 고해상도(High Definition) 영상을 생성하기 위해 고밀도 라이트 필드를 제공하려면, 디스플레이 장치 단에서의 리소스가 너무 커져서 구현이 어려운 면이 있다.

고해상도 라이트 필드 영상을 생성할 수 있는 디스플레이 장치 및 방법이 제공된다.

디스플레이 단의 픽셀 해상도를 크게 증가시키지 않고도 고해상도 라이트 필드 영상을 사용자에게 제공할 수 있는 디스플레이 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 사용자의 눈의 위치를 센싱하는 위치 센싱부, 상기 사용자의 눈의 위치에 대응하는 가상의 뷰잉 윈도우를 설정하고, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 제어신호를 제공하는 제어부, 및 상기 제어신호에 따라 지향성 광을 생성하는 광 생성부를 포함하는 디스플레이 장치가 제공된다.

상기 디스플레이 장치는, 상기 제어신호에 따라, 상기 지향성 광의 세기를 변조하는 광 변조부를 더 포함할 수 있다.

한편, 본 발명의 일실시예에 따르면, 상기 위치 센싱부는, 상기 사용자의 눈의 위치를 촬영하는 적어도 하나의 카메라를 포함한다.

또한, 상기 위치 센싱부는, 상기 사용자의 눈의 위치 주변에 고정되는 식별부를 촬영하여 상기 사용자의 눈의 위치를 식별하는 적어도 하나의 카메라를 포함할 수도 있다.

한편, 상기 광 생성부는, 비지향성 광을 생성하는 백라이트, 상기 제어 신호에 따라 상기 비지향성 광을 서로 위치가 상이한 복수 개의 점 광원으로 바꾸는 가변 슬릿, 및 상기 복수 개의 점 광원 중 적어도 일부를 굴절시켜, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 렌즈를 포함할 수 있다.

이 경우, 상기 가변 슬릿은 LCD 패널의 복수 개의 픽셀에 대응할 수 있다.

본 발명의 일실시예에 따르면, 상기 제어부는, 상기 센싱된 사용자의 눈의 위치를 이용하여 공간 좌표 상에서의 상기 사용자의 눈 위치 좌표 값을 계산하는 눈 위치 검출부, 및 상기 사용자의 눈 위치 좌표 값을 이용하여, 상기 사용자의 눈을 커버할 수 있는 상기 뷰잉 윈도우의 위치 및 크기 중 적어도 하나를 결정하는 뷰잉 윈도우 설정부를 포함한다.

또한, 상기 제어부는, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 제어신호를 제공하는 지향성 광원 제어부, 및 상기 뷰잉 윈도우를 향하는 상기 지향성 광의 세기를 조절하여 라이트 필드 영상을 생성하는 제어신호를 제공하는 라이트 필드 영상 생성부를 더 포함할 수 있다.

본 발명의 다른 일측에 따르면, 사용자의 눈의 위치를 센싱하는 단계, 상기 사용자의 눈의 위치에 대응하는 가상의 뷰잉 윈도우를 설정하는 단계, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 단계를 포함하는, 디스플레이 방법이 제공된다.

상기 디스플레이 방법은, 상기 지향성 광을 제어하여 상기 뷰잉 윈도우에 라이트 필드 영상을 표현하는 단계를 더 포함할 수 있다.

한편, 상기 지향성 광을 생성하는 단계는, 백라이트를 이용하여 비지향성 광을 생성하는 단계, 가변 슬릿을 이용하여 상기 비지향성 광을 서로 위치가 상이한 복수 개의 점 광원으로 바꾸는 단계, 및 굴절 렌즈를 이용하여 상기 복수 개의 점 광원 중 적어도 일부를 굴절시켜, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 상기 가상의 뷰잉 윈도우를 설정하는 단계는, 상기 센싱된 사용자의 눈의 위치를 이용하여 공간 좌표 상에서의 상기 사용자의 눈 위치 좌표 값을 계산하는 단계, 및 상기 사용자의 눈 위치 좌표 값을 이용하여, 상기 사용자의 눈을 커버할 수 있는 상기 뷰잉 윈도우의 위치 및 크기 중 적어도 하나를 결정하는 단계를 포함한다.

디스플레이 단의 픽셀 해상도를 크게 증가시키지 않고도, 고해상도 라이트 필드 영상이 생성된다.

시선수렴과 초점조절의 불일치 (Convergence-Accommodation Conflict)로 인한 시청 피로를 발생시키지 않는 3D 영상이 제공된다.

도 1은 본 발명의 일실시예에 따른 디스플레이 장치를 도시한다.
도 2는 본 발명의 일실시예에 따라 디스플레이 장치의 제어부가 설정하는 뷰잉 윈도우 및 고밀도 라이트 필드 영상 생성을 위한 지향성 광의 진행을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따른 광 생성부 및 광 변조부에 의해 뷰잉 윈도우 내에 고밀도 라이트 필드 영상이 생성되는 모습을 도시하는 개념도이다.
도 4는 본 발명의 일실시예에 따른 디스플레이 장치의 광 생성부를 설계하기 위한 예시적인 파라미터 산출 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따른 디스플레이 방법을 도시하는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 디스플레이 방법을 이용하여 고밀도 라이트 필드 영상을 생성하는 과정을 도시한 개념도이다.
도 7은 본 발명의 일실시예에 따른 디스플레이 방법을 도시하는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 제어부의 세부 구성을 도시한다.
도 9는 도 8의 실시예에 따른 제어부 세부 구성에서 고밀도 라이트 필드 영상을 생성하는 과정을 설명하기 위한 개념도이다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 디스플레이 장치(100)를 도시한다.

본 발명의 일실시예에 따르면, 디스플레이 장치(100)는 위치 센싱부(110), 제어부(120), 광 생성부(130) 및 광 변조부(140)을 포함한다.

위치 센싱부(110)는 사용자의 눈의 위치를 센싱하기 위한 장치이며, 예를 들어 하나 이상의 가시대역 카메라, 적외선 카메라, 깊이 카메라 또는 이러한 카메라의 조합을 통하여 구현될 수 있다.

또한, 본 발명의 일실시예에 따르면, 사용자는 눈의 위치 검출을 용이하게 하기 위한 목적의 부착물(도시되지 않음)인 식별부를 착용할 수도 있는데, 위치 센싱부(110)는 이러한 식별부를 촬영하여 상기 사용자의 눈의 위치를 센싱할 수도 있다.

제어부(120)는 상기 눈의 위치를 센싱한 파라미터 및/또는 카메라 파라미터를 제공받아서, 상기 사용자의 눈의 위치를 계산하고, 계산된 사용자의 눈의 위치를 커버(cover)할 수 있는 가상의 뷰잉 윈도우(viewing window)의 위치와 크기를 설정한다.

또한, 제어부(120)는 상기 가상의 뷰잉 윈도우의 위치에 라이트 필드 영상이 생성되도록 광 생성부(130)와 광 변조부(140)를 제어하는 제어 신호를 생성한다.

광 생성부(130)는 상기 제어 신호에 따라, 라이트 필드를 생성하기 위한 기준 광원을 제공하는 백라이트(back light), 상기 기준 광원을 일정한 위치의 점 광원으로 변조하는 가변 슬릿(variable slit), 상기 점 광원을 굴절시켜서 상기 뷰잉 윈도우를 향하는 지향성 광을 만드는 렌즈(lens) 등을 포함한다.

본 발명의 일실시예에 따르면, 광 생성부(130)의 백라이트는 CCFL, LED, OLED, 레이저 등으로 구현되며, 또한 생성되는 광(light)의 직진성과 지향성을 향상시키기 위한 광학적 필름, 프리즘, 필터, 거울 등도 포함하는 개념으로 이해될 수 있다.

한편, 광 생성부(130)의 가변 슬릿은 백라이트에서 생성된 면 광(plane light)을 쪼개어, 굴절 렌즈의 일측면 위에 상기 뷰잉 윈도우를 향하는 진행 방향을 가질 수 있는 점 광(point light)을 생성한다.

이러한 가변 슬릿은, 광원의 방향 및 밝기를 제어하기 위한 광학적 셔터, 프리즘, 필터, 거울 등도 포함하는 개념으로 이해될 수 있다.

또한, 이렇게 생성된 점 광은 볼록렌즈, 이를테면 렌디큘러 렌즈 등을 통과하여, 상기 뷰잉 윈도우를 향하도록 굴절되어, 라이트 필드 영상을 생성하게 된다.

그리고, 광 변조부(140)는 광 생성부에서 만들어진 광원을 이용하여 라이트 필드의 세기를 조절하는 기능을 수행한다.

상기 점 광이 렌즈를 통해 굴절되어 뷰잉 윈도우를 향하게 되는 경우, 색(color)의 계조를 표현하기 위해 빛의 세기(intensity)가 컨트롤되어야 하는데, 이러한 컨트롤 신호는 제어부(120)가 제공하고, 실제 빛의 세기를 조절하는 것이 광 변조부(140)이다.

이러한 광 변조부(140)는, 예를 들어 LCD 소자의 픽셀로 구현될 수 있다.

디스플레이 장치(100)가 고밀도 라이트 필드 영상을 생성하는 과정은 도 2 이하를 참조하여 보다 상세히 후술한다.

도 2는 본 발명의 일실시예에 따라 디스플레이 장치(100)의 제어부(120)가 설정하는 뷰잉 윈도우 및 고밀도 라이트 필드 영상 생성을 위한 지향성 광의 진행을 설명하기 위한 개념도이다.

본 발명의 일실시예에 따르면, 디스플레이 장치(100)의 제어부(120)는 위치 센싱부(110)의 눈 위치 센싱 측정치 및/또는 카메라 파라미터 등을 이용하여, 사용자의 눈(201)의 위치를 계산하고, 계산된 눈의 위치, 보다 특정하게는 동공(pupil)을 커버할 수 있는 작은 뷰잉 윈도우(viewing window)(220)를 설정한다.

예를 들어, 사람의 동공(pupil)의 크기는 주변 밝기에 따라 2~8 mm 크기를 가지므로, 제어부(120)는 광선을 집중하여 라이트 필드 영상을 생성할 뷰잉 윈도우(220)의 크기를 가로, 세로 각각 8 mm로 설정할 수 있다.

그리고, 상기 뷰잉 윈도우 내부에 가로, 세로 각각 4개의 광선(211)을 표현함으로써 가로 방향, 세로 방향에 대하여 모두 동공에 두 개 이상의 광선이 표현되도록 한다.

이 경우 디스플레이 장치(100)의 광 변조부(140)에 포함되는 각 3D 요소점(210)마다 16개의 광선을 생성하면 되므로, 3D 요소점의 개수가 VGA급인 300,000 개일 경우 총 4,800,000 개의 광선으로 고밀도 라이트필드 디스플레이를 구현할 수 있다.

4,800,000 개의 픽셀은 현재의 Full HD 디스플레이의 픽셀 수의 2.3배 수준이므로, 현재 상용화되어 있는 고해상도 모니터에서 구현이 가능한 픽셀 수이다.

이와는 대조적으로, 종래의 기술과 같이, 사용자의 눈의 위치에 대응하는 뷰잉 윈도우의 설정 없이 전체 시청 공간(viewing space)에 고밀도 라이트 필드 영상을 생성하려면, 4,800,000 개와는 비교할 수도 없는 정도의 많은 픽셀이 요구된다.

예를 들어, 각 3D 요소점(210) 마다 가로 30ㅀ, 세로 15ㅀ 폭의 광선을 0.1ㅀ간격으로 생성한다고 하면(0.1ㅀ는 1m 떨어진 위치에서 관측하는 관측자의 동공에 두 개 이상의 광선이 동시에 들어갈 수 있는 각도로, 시청 피로 없는 3D 영상 구현을 위해 필요함), 각 3D 요소점(210)에서 생성되어야 하는 광선의 수는 45,000개가 되며 (=300x150), 필요한 전체 광선의 수는 위치 해상도 300,000과 방향 해상도 45,000을 곱하여 135억 개 이상이 된다.

따라서, 본 발명의 일실시예와 같이, 사용자의 눈(201)의 위치를 검출하고, 이를 계속적으로 추적하면서, 뷰잉 윈도우(220)를 동적으로 설정하고, 상기 뷰잉 윈도우(220) 내에만 고밀도 라이트 필드 영상을 생성함으로써, 디스플레이 장치(100)에 필요한 픽셀 수를 크게 줄일 수 있다.

도 3은 본 발명의 일실시예에 따른 광 생성부(130) 및 광 변조부(140)에 의해 뷰잉 윈도우(220) 내에 고밀도 라이트 필드 영상이 생성되는 모습을 도시하는 개념도이다.

상기한 바와 같이, 광 생성부(130)는 면 광(plane light)를 생성하는 백라이트(311), 제어 신호에 따라 상기 면 광을 쪼개어 특정 위치에 점 광(point light)을 만들어주는 가변 슬릿(312), 및 상기 점 광을 굴절시켜서, 뷰잉 윈도우(220)를 향하는 지향성 광을 제공하는 렌즈(313)를 포함한다.

그러면, 광 변조부(140)는 제어 신호에 따라, 상기 지향성 광의 방향을 재조정하거나, 및/또는 상기 지향성 광의 세기(intensity)를 조정하여, 색의 계조를 표현하여 뷰잉 윈도우(220) 내에 라이트 필드를 생성한다.

광 변조부(140)는 이를 테면, LCD 픽셀(141)을 이용하여, 렌즈(313)를 통과한 지향성 광(321)의 세부 방향 제어나 세기 조정하여, 라이트 필드(211)를 만든다.

생성된 라이트 필드(211)는 사용자의 눈 주변의 뷰잉 윈도우(220)로 집중되어 표현되어 높은 밀도로 사용자에게 영상을 표현된다.

도 4는 본 발명의 일실시예에 따른 디스플레이 장치의 광 생성부(130)를 설계하기 위한 예시적인 파라미터 산출 과정을 설명하기 위한 개념도이다.

지향성 광원(321)을 구현하기 위한 렌즈(313)의 설계에 있어서, 예시적으로, 가변 슬릿(312)의 피치(g)가 0.15mm, 3D 요소점(210)의 크기(q)가 0.6mm, 뷰잉 윈도우(220)의 크기(S_W)가 가로 세로 각각 8mm, 렌즈 (313)에서 뷰잉 윈도우(220) 사이의 거리인 시청 거리 (d)가 1000mm라고 가정한다.

이 경우, 물체 거리(object distance)(S1)는 아래 수학식과 같이 표현된다.

[수학식 1]

S1 : g = d : S_W

이 수학식 1에 상기 예시적인 값들을 대입하여, S1을 구하면, 아래와 같다.

[수학식 2]

S1 = g*d / S_W = 18.75 mm

그리고, 렌즈에 의한 상 거리 (S2)는 아래 수학식과 같이 계산된다.

[수학식 3]

S2 : q = S2 + d : S_W

이 수학식 3에 상기 예시적인 값을 대입하여, S2를 구하면, 아래와 같다.

[수학식 4]

S2 = (d * q) / (S_W - q) = 81.08 mm

이로부터 렌즈의 초점 거리(f_L)은 아래와 같이 구할 수 있다.

[수학식 5]

1/S1 - 1/S2 = 1/F_L

[수학식 6]

F_L = (S1 * S2) / (S2 - S1) = 24.39 mm

이러한 계산 결과에 따르면, 가변 슬릿(312) 앞쪽에 18.75 mm의 두께와 24.39 mm의 초점거리를 가진 마이크로 렌즈(313)를 배치하여, 상기 시청 거리에서 사용자의 눈(201) 주변에 가로 세로 각각 8 mm의 가상의 뷰잉 윈도우(220)를 형성하는 지향성 광원을 생성하는 것이 가능하다.

물론, 상기한 바와 같이, 이러한 계산은 어디까지나 예시적인 것에 불과하며, 본 발명의 사상을 벗어나지 않는 범위에서 다양한 변형이나 응용이 가능하다.

도 5는 본 발명의 일실시예에 따른 디스플레이 방법을 도시하는 흐름도이다.

단계(510)에서, 디스플레이 장치(100)의 위치 센싱부는 사용자의 눈의 위치를 센싱하고, 제어부(120)는 이 센싱 결과를 이용하여, 사용자의 눈 위치를 파악한다.

그리고, 단계(520)에서, 제어부(120)는 눈 위치 주변에 라이트 필드를 집중시킬 가상의 뷰잉 윈도우의 위치 및 크기를 설정한다.

그러면 단계(530)에서, 제어부(120)의 제어 신호에 따라, 광 생성부(130) 및 광 변조부(140)는 상기 뷰잉 윈도우(220)로 지향성 광원을 생성하고, 단계(540)에서 이 광원을 이용하여 다수의 고밀도 라이트 필드 영상이 표현된다.

도 6은 본 발명의 일실시예에 따른 디스플레이 방법을 이용하여 고밀도 라이트 필드 영상을 생성하는 과정을 도시한 개념도이다.

사용자의 눈의 위치, 보다 특정하게는 동공(pupil) 위치(u*, v*, z*)를 측정하는 (a) 부분은, 도 5의 단계(510)에 대응하며, 뷰잉 윈도우(220)를 설정하는 (b) 부분은 단계(520)에 대응한다.

그리고, 지향성 광을 생성하는 (c) 부분은 단계(530)에, 라이트 필드 영상을 생성하는 (d) 부분은 단계(540)에 각각 대응한다.

도 7은 본 발명의 일실시예에 따른 디스플레이 방법을 도시하는 흐름도이다.

본 도면은 도 5의 디스플레이 방법의 흐름도를, 영상 입력부터 회귀적인(recursive)하게 전체 디스플레이 과정을 진행하는 과정을 도시하는 상세 흐름도이다.

단계(710)에서 영상이 입력된다. 이러한 영상은, 이를테면, 멀티 뷰 영상의 각 시점에 대응하는 프레임 영상 신호이다.

단계(720)에서 사용자 눈 위치가 파악되는 과정은 단계(510)에 대응하고, 단계(730)에서 뷰잉 윈도우가 설정되는 과정은 단계(520)에 대응한다.

그리고, 단계(730)에서는, 이전 프레임의 영상 디스플레이 시점과 비교하여, 사용자의 눈의 위치의 변화, 즉 뷰잉 윈도우의 위치 변화가 있는지의 여부를 판단한다.

뷰잉 윈도우의 위치 변화가 없다면, 추가적인 지향성 광원 방향 제어 없이, 바로 상기 입력된 영상 신호를 통해 라이트 필드 영상을 생성한다(단계 770)

그러나, 뷰잉 윈도우의 위치 변화가 있다면, 디스플레이 장치(100)의 제어부(120)는 이를 동적으로(dynamic) 반영하여, 단계(750)에서 지향성 광의 방향을 제어하도록 제어 신호를 광 생성부(130) 및 광 변조부(140)에 제공한다.

그러면, 단계(760)에서, 광 생성부(130) 및 광 변조부(140)는 뷰잉 윈도우 내의 라이트 필드 위치를 결정하여 지향성 광을 제어하고, 단계(770)에서 라이트 필드 영상이 생성된다.

이러한 과정을 통해 사용자는 표현된 라이트 필드 영상을 시청하게 되며(단계 780), 영상 표시 종료까지 상기 과정이 회귀적으로(recursively) 반복된다(단계 790).

도 8은 본 발명의 일실시예에 따른 제어부(120)의 세부 구성을 도시한다.

본 발명의 일실시예에 따르면, 제어부(120)는 위치 센싱부(110)의 사용자 눈 위치 촬영 결과 및/또는 카메라 파라미터를 이용하여 사용자의 눈, 이를테면 동공의 위치를 계산하는 위치 검출부(810), 상기 계산 결과를 이용하여 사용자의 동공을 커버하는 뷰잉 윈도우의 위치 및 크기를 설정하는 뷰잉 윈도우 설정부(820)를 포함한다.

그리고, 뷰잉 윈도우 설정부(820)가 설정한 뷰잉 윈도우의 위치와 크기에 따라, 지향성 광원 제어부(830)는 광 생성부(130)가 지향성 광을 생성하도록 제어 신호를 제공한다.

또한, 라이트 필드 영상 생성부(840)는 상기 뷰잉 윈도우의 위치와 크기를 고려하여, 입력 영상(801)에 따라 광 변조부(140)가 상기 지향성 광의 세부 방향이나 세기를 조정할 수 있도록 제어 신호를 제공한다.

도 9는 도 8의 실시예에 따른 제어부 세부 구성에서 고밀도 라이트 필드 영상을 생성하는 과정을 설명하기 위한 개념도이다.

위치 센싱부(110)는 센싱된 값(sensed value)(901)를 눈 위치 검출부(810)에 제공하며, 눈 위치 검출부(810)는 이를 통하여 동공의 위치를 계산한다.

이 과정에서, 눈 위치 검출부(810)는 카메라 파라미터(902)를 제공받거나, 또는 미리 저장된 카메라 파라미터를 이용하여, 동공의 위치(u*, v*, z*)를 계산할 수 있다.

그러면, 뷰잉 윈도우 설정부(820)는 뷰잉 윈도우를 설정하는데, 여기서 뷰잉 윈도우 설정부(820)는 가로 방향 좌표인 u 값의 최소와 최대치(u_min 및 u_max)를 설정하고, 세로 방향 좌표인 v 값의 최소와 최대치(v_min 및 v_max)를 설정하여, 뷰잉 윈도우의 거리 방향 좌표 z를 설정함으로써 뷰잉 윈도우를 특정하게 된다(821 부분).

그리고, 뷰잉 윈도우 설정부(820)는 라이트 필드의 위치를 설정하게 되는데, 이는 가로 방향 n 개, 세로 방향 m 개의 위치를 특정하는 과정이다.

그러면 이렇게 특정된 라이트 필드 위치는 라이트 필드 영상 생성부(840)로 전달되어, 입체 영상 입력(801) 및 시청 환경을 특정하는 스크린 파라미터(903)가 반영되어 광 변조부(140)가 라이트 필드 영상을 생성하도록 한다.

한편, 상기 뷰잉 윈도우 영역이 설정되면, 그 결과는 지향성 광원 제어부(830)로 전달되어, 상기 도 7의 단계(740)에 대응하는 뷰잉 윈도우 위치 변화 여부를 검사하고(831), 그 후에 가변 슬릿 제어(832)를 거쳐서, 제어 신호가 가변 슬릿(131)에 전달된다.

이상에서는, 설명의 편의를 위해, 하나의 시점(이를 테면 좌 시점이나 우 시점)에 대해 뷰잉 윈도우를 설정하고 라이트 필드를 생성하는 과정을 서술하였다.

그러나, 이러한 서술은, 별다른 어려움 없이 좌 시점 영상의 라이트 필드 생성과 우 시점 라이트 필드 생성에 함께 적용이 가능하며, 이 경우, 좌/우 눈에 대하여 각각 뷰잉 윈도우를 설정하고 각각의 지향성 광원을 통해 각각의 라이트필드를 생성하는 것은 상술한 과정에 의해 자명하게 구현된다.

이 경우, 왼쪽 눈에 뷰잉 윈도우를 설정하여 라이트 필드 영상을 생성하고, 오른쪽 눈에 뷰잉 윈도우를 설정하여 라이트 필드 영상을 생성하는 과정은, 공간적으로 픽셀 자원을 할당하여 뷰잉 윈도우를 구현하거나, 또는 시간적으로 분할하여 뷰잉 윈도우를 구현함으로써 가능하다.

이러한 내용은 현재 3D 디스플레이에서 좌 우 영상을 번갈아 가면서 제공하는 내용을 참고하면, 별다른 추가 서술 없이도 이해될 수 있는 내용이다.

한편, 이상에서 상술한 실시예들은, 본 발명의 일부 실시예에 불과하며, 본 발명의 사상을 벗어나지 않는 범위에서 다른 응용이나, 추가적 응용이 가능하다.

이를 테면, 라이트 필드 영상의 구현을 위하여 프로젝터(projector) 방식을 이용할 수도 있으며, 렌즈(lens)를 디스플레이 표면에 배치하여 라이트필드를 생성하는 것도 가능하다.

따라서, 본 발명의 사상을 벗어나지 않는 구현상의 변경 응용예들은 본 발명의 사상 및 범주에 포함된다.

또한 본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 디스플레이 장치
110: 위치 센싱부
120: 제어부
130: 광 생성부
140: 광 변조부

Claims

사용자의 눈의 위치를 센싱하는 위치 센싱부;
상기 사용자의 눈의 위치에 대응하는 가상의 뷰잉 윈도우를 설정하고, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하여 라이트 필드 방식 삼차원 영상을 생성하는 제어신호를 제공하는 제어부; 및
상기 제어신호에 따라 지향성 광을 생성하는 광 생성부
를 포함하는 디스플레이 장치.
제1항에 있어서,
상기 제어신호에 따라, 상기 지향성 광의 세기를 변조하는 광 변조부
를 더 포함하는 디스플레이 장치.
제1항에 있어서,
상기 위치 센싱부는,
상기 사용자의 눈의 위치를 촬영하는 적어도 하나의 카메라를 포함하는, 디스플레이 장치.
제1항에 있어서,
상기 위치 센싱부는,
상기 사용자의 눈의 위치 주변에 고정되는 식별부를 촬영하여 상기 사용자의 눈의 위치를 식별하는 적어도 하나의 카메라를 포함하는, 디스플레이 장치.
제1항에 있어서,
상기 광 생성부는,
비지향성 광을 생성하는 백라이트;
상기 제어 신호에 따라 상기 비지향성 광을 서로 위치가 상이한 복수 개의 점 광원으로 바꾸는 가변 슬릿; 및
상기 복수 개의 점 광원 중 적어도 일부를 굴절시켜, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 렌즈
를 포함하는, 디스플레이 장치.
제5항에 있어서,
상기 가변 슬릿은 LCD 패널의 복수 개의 픽셀인, 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
상기 센싱된 사용자의 눈의 위치를 이용하여 공간 좌표 상에서의 상기 사용자의 눈 위치 좌표 값을 계산하는 눈 위치 검출부; 및
상기 사용자의 눈 위치 좌표 값을 이용하여, 상기 사용자의 눈을 커버할 수 있는 상기 뷰잉 윈도우의 위치 및 크기 중 적어도 하나를 결정하는 뷰잉 윈도우 설정부
를 포함하는, 디스플레이 장치.
제7항에 있어서,
상기 제어부는,
상기 뷰잉 윈도우를 향하는 상기 지향성 광을 생성하는 제어신호를 제공하는 지향성 광원 제어부; 및
상기 뷰잉 윈도우를 향하는 상기 지향성 광의 세기를 조절하여 상기 라이트 필드 방식 삼차원 영상을 생성하는 제어신호를 제공하는 라이트 필드 영상 생성부
를 더 포함하는, 디스플레이 장치.
사용자의 눈의 위치를 센싱하는 단계;
상기 사용자의 눈의 위치에 대응하는 가상의 뷰잉 윈도우를 설정하는 단계;
상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 단계; 및
상기 지향성 광을 제어하여 상기 뷰잉 윈도우에 라이트 필드 방식 삼차원 영상을 표현하는 단계
를 포함하는, 디스플레이 방법.
삭제
제9항에 있어서,
상기 지향성 광을 생성하는 단계는,
백라이트를 이용하여 비지향성 광을 생성하는 단계;
가변 슬릿을 이용하여 상기 비지향성 광을 서로 위치가 상이한 복수 개의 점 광원으로 바꾸는 단계; 및
굴절 렌즈를 이용하여 상기 복수 개의 점 광원 중 적어도 일부를 굴절시켜, 상기 뷰잉 윈도우를 향하는 지향성 광을 생성하는 단계
를 포함하는, 디스플레이 방법.
제9항에 있어서,
상기 가상의 뷰잉 윈도우를 설정하는 단계는,
상기 센싱된 사용자의 눈의 위치를 이용하여 공간 좌표 상에서의 상기 사용자의 눈 위치 좌표 값을 계산하는 단계; 및
상기 사용자의 눈 위치 좌표 값을 이용하여, 상기 사용자의 눈을 커버할 수 있는 상기 뷰잉 윈도우의 위치 및 크기 중 적어도 하나를 결정하는 단계
를 포함하는, 디스플레이 방법.
제9항에 있어서,
상기 사용자의 눈의 위치를 센싱하는 단계는,
적어도 하나의 카메라를 이용하여 전방 영상을 촬영하는 단계; 및
상기 전방 영상 중 상기 사용자의 눈을 식별하여 상기 사용자의 눈의 위치를 센싱하는 단계;
를 포함하는, 디스플레이 방법.
제9항에 있어서,
상기 사용자의 눈의 위치를 센싱하는 단계는,
적어도 하나의 카메라를 이용하여 상기 사용자의 눈의 위치 주변에 고정되는 식별부를 촬영하는 단계를 포함하는, 디스플레이 방법.
제9항 및 제11항 내지 제14항 중 어느 한 항의 디스플레이 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.