KR20150039060A - 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치 - Google Patents

사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치 Download PDF

Info

Publication number
KR20150039060A
KR20150039060A KR20130132712A KR20130132712A KR20150039060A KR 20150039060 A KR20150039060 A KR 20150039060A KR 20130132712 A KR20130132712 A KR 20130132712A KR 20130132712 A KR20130132712 A KR 20130132712A KR 20150039060 A KR20150039060 A KR 20150039060A
Authority
KR
South Korea
Prior art keywords
layer
pixel
matching
image
user
Prior art date
Application number
KR20130132712A
Other languages
English (en)
Inventor
박주용
남동경
이석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14178767.1A priority Critical patent/EP2854403A1/en
Priority to CN201410453046.9A priority patent/CN104519333A/zh
Priority to US14/487,550 priority patent/US9948924B2/en
Priority to JP2014201105A priority patent/JP2015070618A/ja
Publication of KR20150039060A publication Critical patent/KR20150039060A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치가 개시된다. 일 실시예에 따른 장치는 사용자의 눈의 위치에 기초하여 픽셀들이 매칭된 정보에 기초하여, 입체 영상을 위한 레이어 영상들을 생성한다.

Description

사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치{IMAGE GENERATING APPARATUS AND DISPLAY DEVICE FOR A LAYERED DISPLAY SCHEME BASED ON LOCATIONS OF EYES OF A USER}
아래 실시예들은 입체 영상 디스플레이를 위한 영상 생성 기법 및 입체 영상 디스플레이 장치에 관한 것이다.
입체 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 원하는 영상을 필터링(Filtering)하는 안경 방식과, 패럴랙스 배리어(parallax barrier) 또는 렌티큘러 렌즈(lenticular lens)를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다.
무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있으나, 시청 영역을 넓히기 위해 많은 시점수가 필요하고, 시점간 크로스톡으로 인하여 영상 품질이 저하되며, 최적 시청거리가 정해져 있어서 이를 벗어날 경우에 영상 품질이 현저히 저하되는 단점이 있다.
일 측에 따른 영상 생성 장치는 사용자의 눈의 위치를 수신하는 수신부; 상기 눈의 위치에 기초하여 복수의 레이어들에 포함된 복수의 픽셀들을 매칭하는 매칭부; 및 상기 매칭된 정보에 기초하여 상기 복수의 레이어들을 위한 복수의 레이어 영상들을 생성하는 생성부를 포함한다. 여기서, 상기 복수의 레이어들은 입체 영상을 표현하는 레이어드 디스플레이에 포함될 수 있다.
이 때, 상기 매칭부는 상기 눈의 위치에 기초하여 상기 복수의 레이어들 각각에서 적어도 하나의 픽셀을 선택함으로써 매칭 정보를 생성할 수 있다. 또한, 상기 매칭부는 발광부로부터 발생된 빛이 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭할 수 있다.
또한, 상기 매칭된 정보는 제1 매칭 정보 및 제2 매칭 정보를 포함하고, 상기 매칭부는 상기 사용자의 왼쪽 눈의 위치에 기초하여 상기 제1 매칭 정보를 생성하고, 상기 사용자의 오른쪽 눈의 위치에 기초하여 상기 제2 매칭 정보를 생성할 수 있다.
또한, 상기 영상 생성 장치는 상기 사용자의 왼쪽 눈의 위치에 대응되는 제1 영상 및 상기 사용자의 오른쪽 눈의 위치에 대응되는 제2 영상을 수신하는 영상 수신부를 더 포함하고, 상기 생성부는 상기 제1 영상, 상기 제2 영상, 및 상기 매칭된 정보에 기초하여 상기 복수의 레이어 영상들을 생성할 수 있다. 또한, 상기 영상 생성 장치는 상기 눈의 위치에 따라 상기 제1 영상 및 상기 제2 영상을 결정하는 영상 결정부를 더 포함할 수 있다.
또한, 상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 중 어느 하나의 레이어에 포함된 픽셀의 중심을 지나 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭할 수 있다. 또는, 상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 중 어느 하나의 레이어에 포함된 픽셀의 바운더리의 내부 영역을 지나 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭할 수 있다. 또는, 상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 사이에 배치된 렌즈를 통과하여 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭할 수 있다. 여기서, 상기 렌즈는 상기 렌즈와 인접한 두 레이어들 중 발광부에 가까운 레이어로부터 상기 렌즈의 초점거리만큼 이격된 위치에 배치될 수 있다.
또한, 상기 생성부는 상기 매칭된 정보 및 상기 복수의 레이어 영상들에 의해 상기 눈의 위치에 표현되는 영상과 상기 눈의 위치에 표현하려는 영상 사이의 차이가 최소화되도록 상기 복수의 레이어 영상들을 생성할 수 있다.
또한, 상기 생성부는 상기 복수의 레이어들을 포함하는 레이어드 디스플레이의 방식에 따라 상기 복수의 레이어 영상들을 생성할 수 있다. 여기서, 상기 레이어드 디스플레이의 방식은 레이어의 투과도를 제어하는 제1 방식 및 레이어의 편광 회전량을 제어하는 제2 방식을 포함할 수 있다.
또한, 상기 사용자의 눈의 위치는 복수의 사용자들에 대한 복수의 눈의 위치들을 포함하고, 상기 매칭부는 상기 복수의 눈의 위치들에 기초하여 상기 복수의 픽셀들을 매칭하며, 상기 생성부는 상기 복수의 사용자들 각각에게 입체 영상을 제공하는 레이어 영상들을 생성할 수 있다.
또한, 상기 매칭부는 상기 눈의 위치에 기초하여 상기 복수의 레이어들 각각에서 동일한 유형의 서브 픽셀을 선택함으로써 매칭 정보를 생성할 수 있다.
다른 일 측에 따른 디스플레이 장치는 입체 영상을 디스플레이하기 위한 복수의 패널들; 목표 위치에 대응되는 매칭 정보-상기 매칭 정보는 서로 다른 패널에 속하는 픽셀들이 매칭된 정보를 포함함-를 획득하는 획득부; 및 상기 매칭 정보를 이용하여 상기 목표 위치에서 입체 영상이 표현되도록 상기 복수의 패널들을 제어하는 제어부를 포함한다. 여기서, 상기 매칭 정보는 발광부로부터 발생된 빛이 상기 목표 위치에 도달하는 경로 상에 위치하는 픽셀들이 매칭된 정보를 포함할 수 있다.
이 때, 상기 디스플레이 장치는 상기 목표 위치를 감지하는 센서를 더 포함할 수 있다. 여기서, 상기 센서는 복수의 비전 센서들을 이용하는 제1 유형의 센서; 및 비전 센서 및 깊이 센서를 이용하는 제2 유형의 센서 중 적어도 어느 하나를 포함할 수 있다.
또한, 상기 복수의 패널들은 패널에 대응하는 레이어에서 빛의 밝기가 감쇄되는 제1 유형의 패널; 및 패널에 대응하는 레이어에서 빛의 편광방향이 회전되는 제2 유형의 패널 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는 상기 매칭 정보 및 상기 복수의 패널들에 의해 상기 목표 위치에서 표현되는 영상과 상기 목표 위치에서 표현하려는 영상 사이의 차이가 최소화되도록 상기 복수의 패널들에 대응되는 복수의 레이어 영상들을 결정할 수 있다.
또한, 상기 디스플레이 장치는 상기 복수의 패널들 사이에 배치되는 렌즈를 더 포함하고, 상기 렌즈는 상기 렌즈와 인접한 두 패널들 중 발광부에 가까운 패널로부터 상기 렌즈의 초점거리만큼 이격된 위치에 배치될 수 있다. 여기서, 상기 렌즈는 빛의 방향을 미리 정해진 영역으로 제한할 수 있다.
또 다른 일 측에 따른 영상 생성 방법은 사용자의 눈의 위치 정보를 획득하는 단계; 상기 눈의 위치 정보에 기초하여 서로 다른 레이어에 속하는 픽셀들 사이의 매칭 정보를 획득하는 단계; 상기 눈의 위치 정보에 기초하여 표현하려는 영상을 획득하는 단계; 및 상기 매칭 정보 및 상기 영상에 기초하여 복수의 레이어들에 대응되는 복수의 레이어 영상들을 생성하는 단계를 포함한다.
이 때, 상기 영상 생성 방법은 상기 복수의 레이어 영상들 각각을 대응하는 레이어에 인가하는 단계를 더 포함할 수 있다.
도 1은 일 실시예에 따른 사용자의 눈의 위치에 입체 영상을 표시하는 디스플레이 장치를 설명하기 위한 도면.
도 2는 일 실시예에 따른 영상 생성 장치를 나타낸 블록도.
도 3 내지 도 6은 레이어드 디스플레이에서 픽셀을 매칭하는 실시예들을 설명하기 위한 도면.
도 7a 및 도 7b는 일 실시예에 따른 렌즈를 통과하는 빛의 경로를 설명하기 위한 도면.
도 8 및 도 9는 렌즈를 포함하는 레이어드 디스플레이에서 픽셀을 매칭하는 실시예들을 설명하기 위한 도면.
도 10은 일 실시예에 따른 디스플레이 장치를 나타낸 블록도.
도 11은 일 실시예에 따른 영상 생성 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 사용자의 눈의 위치에 입체 영상을 표시하는 디스플레이 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 디스플레이 장치는 복수의 레이어들(110, 120)을 포함한다. 디스플레이 장치는 복수의 레이어들(110, 120)을 이용하여 사용자의 왼쪽 눈(141)에서 인지되는 빛과 사용자의 오른쪽 눈(142)에서 인지되는 빛이 달라지도록 함으로써, 입체 영상을 표현할 수 있다. 이하, 디스플레이 장치가 복수의 레이어들(110, 120)을 이용하여 입체 영상을 표현하는 방법을 상세히 설명한다.
복수의 레이어들(110, 120) 각각은 다양한 방식의 디스플레이 패널로 구성될 수 있다. 예를 들어, 일 실시예에 따른 복수의 레이어들(110, 120)은 통과되는 빛의 투과도를 제어하는 디스플레이 패널들로 구성될 수 있다. 디스플레이 패널들은 통과되는 빛의 투과도를 제어함으로써, 색상을 표현할 수 있다. 발광부(130)에 의해 발생된 빛은 R(빨강) 속성, G(초록) 속성, B(파랑) 속성을 모두 포함하는 흰색 빛이다. 디스플레이 패널들은 R 속성의 투과도, G 속성의 투과도, 및 B 속성의 투과도 각각을 제어할 수 있다. 디스플레이 패널들은 복수의 픽셀을 포함할 수 있으며, 각각의 픽셀을 통과하는 빛의 R 속성의 투과도, G 속성의 투과도, 및 B 속성의 투과도를 제어할 수 있다. 복수의 픽셀들 각각은 R 속성의 투과도를 제어하는 R 서브 픽셀, G 속성의 투과도를 제어하는 G 서브 픽셀, 및 B 속성의 투과도를 제어하는 B 서브 픽셀로 구성될 수 있다. 복수의 픽셀들 각각은 R 속성의 투과도, G 속성의 투과도, 및 B 속성의 투과도의 조합으로 흰 색 빛을 표현할 수 있으나, 경우에 따라서 W(하양) 속성의 투과도를 제어하는 W 서브 픽셀을 별도로 포함할 수 있다.
사용자의 왼쪽 눈(141)과 오른쪽 눈(142)은 공간적으로 이격되어 있으므로, 발광부(130)에 의해 발생된 빛이 사용자의 왼쪽 눈(141)과 오른쪽 눈(142)에 도달하는 경로는 서로 다르다. 예를 들어, 제1 레이어(120)에 포함된 픽셀(121)을 통과한 빛은 제2 레이어(110)에 포함된 픽셀(111)을 지나 사용자의 왼쪽 눈(141)에 도달한다. 반면, 제1 레이어(120)에 포함된 픽셀(121)을 통과한 빛은 제2 레이어(110)에 포함된 픽셀(114)를 지나 사용자의 오른쪽 눈(142)에 도달한다. 이 경우, 사용자의 왼쪽 눈(141) 위치에서 인지되는 빛은 제1 레이어(120)에 포함된 픽셀(121)의 투과도 및 제2 레이어(110)에 포함된 픽셀(111)의 투과도의 조합에 의하여 결정될 수 있다. 반면, 사용자의 오른쪽 눈(142) 위치에서 인지되는 빛은 제1 레이어(120)에 포함된 픽셀(121)의 투과도 및 제2 레이어(110)에 포함된 픽셀(114)의 투과도의 조합에 의하여 결정될 수 있다.
디스플레이 장치는 제1 레이어(120)에 포함된 픽셀(121), 제2 레이어(110)에 포함된 픽셀(111) 및 제2 레이어(110)에 포함된 픽셀(114)을 제어함으로써, 사용자의 왼쪽 눈(141) 위치에 표현되는 영상과 사용자의 오른쪽 눈(142) 위치에 표현되는 영상을 다르게 할 수 있다. 예를 들어, 디스플레이 장치는 제1 레이어(120)에 포함된 픽셀(121)에서 R 속성의 투과도를 0.9, G 속성의 투과도를 0.6, B 속성의 투과도를 0.5로 제어할 수 있다. 또한, 디스플레이 장치는 제2 레이어(110)에 포함된 픽셀(111)에서 R 속성의 투과도를 0.1, G 속성의 투과도를 0.5, B 속성의 투과도를 0.8로 제어할 수 있고, 제2 레이어(110)에 포함된 픽셀(114)에서 R 속성의 투과도를 0.9, G 속성의 투과도를 0.1, B 속성의 투과도를 0.5로 제어할 수 있다.
이 경우, 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 색상은 경로 상 위치하는 픽셀들(121, 111) 각각의 R 속성의 투과도의 조합, G 속성의 투과도의 조합, 및 B 속성의 투과도의 조합으로 결정될 수 있다. 여기서, 투과도의 조합은 투과도의 곱으로 계산될 수 있다. 보다 구체적으로, 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 R 속성은 픽셀(121)의 R 속성의 투과도인 0.9와 픽셀(111)의 R 속성의 투과도인 0.1의 곱인 0.09로 표현될 수 있다. 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 G 속성은 픽셀(121)의 G 속성의 투과도인 0.6과 픽셀(111)의 G 속성의 투과도인 0.5의 곱인 0.30으로 표현될 수 있다. 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 B 속성은 픽셀(121)의 B 속성의 투과도인 0.5와 픽셀(111)의 B 속성의 투과도인 0.8의 곱인 0.40으로 표현될 수 있다.
마찬가지로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛은 제1 레이어(120)에 포함된 픽셀(121) 및 제2 레이어(110)에 포함된 픽셀(114)을 통과하므로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 색상은 경로 상 위치하는 픽셀들(121, 114) 각각의 R 속성의 투과도의 조합, G 속성의 투과도의 조합, 및 B 속성의 투과도의 조합으로 결정될 수 있다. 여기서, 투과도의 조합은 투과도의 곱으로 계산될 수 있다. 보다 구체적으로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 R 속성은 픽셀(121)의 R 속성의 투과도인 0.9와 픽셀(114)의 R 속성의 투과도인 0.9의 곱인 0.81로 표현될 수 있다. 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 G 속성은 픽셀(121)의 G 속성의 투과도인 0.6과 픽셀(114)의 G 속성의 투과도인 0.1의 곱인 0.06으로 표현될 수 있다. 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 B 속성은 픽셀(121)의 B 속성의 투과도인 0.5와 픽셀(114)의 B 속성의 투과도인 0.5의 곱인 0.25으로 표현될 수 있다.
사용자의 왼쪽 눈(141)의 위치에는 RGB 속성의 투과도가 (0.09, 0.30, 0.40)인 빛이 도달하고, 사용자의 오른쪽 눈(142)의 위치에는 RGB 속성의 투과도가 (0.81, 0.06, .0.25)인 빛이 도달하므로, 디스플레이 장치는 사용자의 양 눈에 도달하는 빛의 차이를 이용하여 사용자에게 입체 영상을 제공할 수 있다.
다른 실시예에 따르면, 복수의 레이어들(110, 120)은 통과되는 빛의 편광 회전량을 제어하는 디스플레이 패널들로 구성될 수 있다. 디스플레이 패널들은 통과되는 빛의 편광 회전량을 제어함으로써, 색상을 표현할 수 있다. 디스플레이 패널들은 R 속성의 편광 회전량, G 속성의 편광 회전량, 및 B 속성의 편광 회전량 각각을 제어할 수 있다. 디스플레이 패널들은 복수의 픽셀을 포함할 수 있으며, 각각의 픽셀을 통과하는 빛의 R 속성의 편광 회전량, G 속성의 편광 회전량, 및 B 속성의 편광 회전량을 제어할 수 있다. 복수의 픽셀들 각각은 R 속성의 편광 회전량을 제어하는 R 서브 픽셀, G 속성의 편광 회전량을 제어하는 G 서브 픽셀, 및 B 속성의 편광 회전량을 제어하는 B 서브 픽셀로 구성될 수 있다. 복수의 픽셀들 각각은 R 속성의 편광 회전량, G 속성의 편광 회전량, 및 B 속성의 편광 회전량의 조합으로 흰 색 빛을 표현할 수 있으나, 경우에 따라서 W(하양) 속성의 편광 회전량을 제어하는 W 서브 픽셀을 별도로 포함할 수 있다.
디스플레이 장치는 제1 레이어(120)에 포함된 픽셀(121), 제2 레이어(110)에 포함된 픽셀(111) 및 제2 레이어(110)에 포함된 픽셀(114)을 제어함으로써, 사용자의 왼쪽 눈(141) 위치에 표현되는 영상과 사용자의 오른쪽 눈(142) 위치에 표현되는 영상을 다르게 할 수 있다. 예를 들어, 디스플레이 장치는 제1 레이어(120)에 포함된 픽셀(121)에서 R 속성의 편광 회전량을 80°, G 속성의 편광 회전량을 45°, B 속성의 편광 회전량을 30°로 제어할 수 있다. 또한, 디스플레이 장치는 제2 레이어(110)에 포함된 픽셀(111)에서 R 속성의 편광 회전량을 5°, G 속성의 편광 회전량을 15°, B 속성의 편광 회전량을 30°로 제어할 수 있고, 제2 레이어(110)에 포함된 픽셀(114)에서 R 속성의 편광 회전량을 10°, G 속성의 편광 회전량을 5°, B 속성의 편광 회전량을 50°로 제어할 수 있다.
이 경우, 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 색상은 경로 상 위치하는 픽셀들(121, 111) 각각의 R 속성의 편광 회전량의 조합, G 속성의 편광 회전량의 조합, 및 B 속성의 편광 회전량의 조합으로 결정될 수 있다. 여기서, 편광 회전량의 조합은 편광 회전량의 합으로 계산될 수 있다. 보다 구체적으로, 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 R 속성은 픽셀(121)의 R 속성의 편광 회전량인 80°와 픽셀(111)의 R 속성의 편광 회전량인 5°의 합인 85°로 표현될 수 있다. 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 G 속성은 픽셀(121)의 G 속성의 편광 회전량인 45°과 픽셀(111)의 G 속성의 편광 회전량인 15°의 합인 60°로 표현될 수 있다. 사용자의 왼쪽 눈(141) 위치에 도달하는 빛의 B 속성은 픽셀(121)의 B 속성의 편광 회전량인 30°와 픽셀(111)의 B 속성의 편광 회전량인 30°의 합인 60°로 표현될 수 있다.
마찬가지로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛은 제1 레이어(120)에 포함된 픽셀(121) 및 제2 레이어(110)에 포함된 픽셀(114)을 통과하므로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 색상은 경로 상 위치하는 픽셀들(121, 114) 각각의 R 속성의 편광 회전량의 조합, G 속성의 편광 회전량의 조합, 및 B 속성의 편광 회전량의 조합으로 결정될 수 있다. 여기서, 편광 회전량의 조합은 편광 회전량의 합으로 계산될 수 있다. 보다 구체적으로, 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 R 속성은 픽셀(121)의 R 속성의 편광 회전량인 80°와 픽셀(114)의 R 속성의 편광 회전량인 10°의 합인 90°로 표현될 수 있다. 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 G 속성은 픽셀(121)의 G 속성의 편광 회전량인 45°과 픽셀(114)의 G 속성의 편광 회전량인 5°의 합인 50°로 표현될 수 있다. 사용자의 오른쪽 눈(142) 위치에 도달하는 빛의 B 속성은 픽셀(121)의 B 속성의 편광 회전량인 30°와 픽셀(114)의 B 속성의 편광 회전량인 50°의 합인 80°로 표현될 수 있다.
사용자의 왼쪽 눈(141)의 위치에는 RGB 속성의 편광 회전량이 (85°, 60°, 60°)인 빛이 도달하고, 사용자의 오른쪽 눈(142)의 위치에는 RGB 속성의 편광 회전량이 (90°, 50°, 80°)인 빛이 도달하므로, 디스플레이 장치는 사용자의 양 눈에 도달하는 빛의 차이를 이용하여 사용자에게 입체 영상을 제공할 수 있다.
디스플레이 장치는 복수의 레이어들(110, 120)에 표시되는 영상들을 제어함으로써, 입체 영상을 표현할 수 있다. 이하, 복수의 레이어들(110, 120)에 표시되는 영상들을 레이어 영상들이라고 지칭한다. 제1 레이어(120)을 위한 제1 레이어 영상은 제1 레이어(120)에 포함된 복수의 픽셀들(121, 122, 123) 각각을 제어하는 정보를 포함할 수 있다. 예를 들어, 제1 레이어 영상은 제1 레이어(120)에 포함된 복수의 픽셀들(121, 122, 123) 각각의 투과도 또는 편광 회전량을 제어하는 정보를 포함할 수 있다. 또한, 제2 레이어(110)를 위한 제2 레이어 영상은 제2 레이어(110)에 포함된 복수의 픽셀들(111, 112, 113, 114, 115, 116) 각각을 제어하는 정보를 포함할 수 있다. 예를 들어, 제2 레이어 영상은 제2 레이어(110)에 포함된 복수의 픽셀들(111, 112, 113, 114, 115, 116) 각각의 투과도 또는 편광 회전량을 제어하는 정보를 포함할 수 있다.
일 실시예에 따른 디스플레이 장치는 복수의 디스플레이 패널들을 이용하여 사용자의 양 눈의 위치에 따라 서로 다른 영상이 관측되는 기술을 제공할 수 있다. 이로 인하여, 디스플레이 장치는 표현하고자 하는 광선의 방향 수에 비례하여 해상도가 낮아지는 것을 방지할 수 있다. 디스플레이 장치는 영상의 깊이(depth)에 따라 최대 패널 해상도 수준의 영상까지 표현할 수 있다.
도면에 표시하지 않았으나, 디스플레이 장치는 세 개 이상의 레이어들을 이용하여 사용자에게 입체 영상을 제공할 수 있다. 디스플레이 장치는 세 개 이상의 레이어들을 제어하는 레이어 영상들을 생성할 수 있다.
디스플레이 장치는 사용자의 눈의 위치 정보를 이용하여 레이어 영상을 생성하기 위한 연산의 복잡도를 감소시킬 수 있다. 디스플레이 장치는 사용자의 눈의 위치를 추적하는 센서로부터 사용자의 눈의 위치 정보를 수신하고, 수신된 정보를 이용하여 레이어 영상을 생성할 수 있다. 이 경우, 입체 영상을 제공하는 서비스 영역의 크기가 사용자의 눈의 위치로 추정된 영역으로 작아질 수 있다. 디스플레이 장치는 사용자의 눈의 위치로 추정된 영역만을 대상으로 입체 영상이 표시되도록 하면 되기 때문에, 레이어 영상들을 생성하기 위한 연산의 복잡도는 낮아질 수 있다. 디스플레이 장치는 고해상도의 입체 영상을 제공하면서, 낮은 연산량만을 요구하는 기술을 제공할 수 있다.
또한, 디스플레이 장치는 복수의 사용자들의 눈 위치 정보를 이용하여 복수의 사용자들에게 입체 영상을 제공할 수 있다. 복수의 사용자들에게 입체 영상을 제공하는 경우에도 여전히 입체 영상을 제공하는 서비스 영역의 크기는 각각의 사용자들의 눈의 위치로 추정된 영역으로 작아지므로, 레이어 영상들을 생성하기 위한 연산의 복잡도는 낮아질 수 있다. 사용자의 눈의 위치 정보를 이용하여 복수의 레이어 영상들을 생성하는 방법은 도 2 내지 도 11을 참조하여 상세히 후술한다.
도 2는 일 실시예에 따른 영상 생성 장치를 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 영상 생성 장치(200)는 수신부(210), 매칭부(220), 및 생성부(230)를 포함한다. 수신부(210)는 사용자의 눈의 위치를 수신한다. 사용자의 눈의 위치는 3차원 공간 내 좌표로 표현될 수 있고, 사용자의 양 눈의 위치들을 모두 포함할 수 있다. 경우에 따라, 수신부(210)는 복수의 사용자들의 눈의 위치를 수신할 수 있다.
수신부(210)는 사용자의 눈의 위치를 추적하는 센서(도면 미표시)로부터 사용자의 눈의 위치를 수신할 수 있다. 수신부(210)는 센서와 유선 또는 무선으로 연결될 수 있다. 사용자의 눈의 위치를 추적하는 센서는 다양하게 구현될 수 있다. 예를 들어, 센서는 복수의 비전 센서들을 이용하여 사용자의 눈의 위치를 추적할 수 있다. 센서는 복수의 비전 센서들 각각으로부터 촬영된 영상을 분석함으로써, 3차원 공간 내 사용자의 눈의 위치를 추적할 수 있다. 또한, 센서는 비전 센서 및 깊이 센서를 이용하여 사용자의 눈의 위치를 추적할 수 있다. 센서는 비전 센서를 이용하여 촬영된 영상과 깊이 센서를 이용하여 촬영된 깊이를 조합하여 3차원 공간 내 사용자의 눈의 위치를 추적할 수 있다. 또한, 센서는 하나의 비전 센서와 미리 주어진 눈 사이 거리 정보를 이용하여 사용자의 눈의 위치를 추적할 수 있다. 센서는 비전 센서를 이용하여 촬영된 영상과 미리 주어진 눈 사이 거리 정보를 조합하여 3차원 공간 내 사용자의 눈의 위치를 추적할 수 있다.
매칭부(220)는 수신된 눈의 위치를 이용하여 복수의 레이어들에 포함된 복수의 픽셀들을 매칭할 수 있다. 매칭부(220)는 사용자의 양 눈을 위한 각각의 매칭 정보를 생성할 수 있다. 예를 들어, 다시 도 1을 참조하면, 매칭부(220)는 왼쪽 눈(141)의 위치를 수신한 뒤, 발광부(130)에 의해 발생된 빛이 왼쪽 눈(141)에 도달하는 경로에 기초하여 제1 레이어(120)에 포함된 픽셀(121)과 제2 레이어(110)에 포함된 픽셀(111)을 매칭시킬 수 있다. 매칭부(220)는 동일한 방식으로 제1 레이어(120)에 포함된 픽셀(122)와 제2 레이어(110)에 포함된 픽셀(112)를 매칭시킬 수 있다. 또한, 매칭부(220)는 제1 레이어(120)에 포함된 픽셀(123)과 제2 레이어(110)에 포함된 픽셀(113)을 매칭시킬 수 있다. 매칭부(220)는 오른쪽 눈(142)의 위치를 수신한 뒤, 발광부(130)에 의해 발생된 빛이 오른쪽 눈(142)에 도달하는 경로에 기초하여 제1 레이어(120)에 포함된 픽셀(121)과 제2 레이어(110)에 포함된 픽셀(114)을 매칭시킬 수 있다. 매칭부(220)는 제1 레이어(120)에 포함된 픽셀(122)와 제2 레이어(110)에 포함된 픽셀(115)를 매칭시키고, 제1 레이어(120)에 포함된 픽셀(123)과 제2 레이어(110)에 포함된 픽셀(116)을 매칭시킬 수 있다. 매칭부(220)는 매칭 정보를 표 1과 같은 테이블의 형태로 저장할 수 있다.
왼쪽 눈(141) 오른쪽 눈(142)
제1 레이어(120) 제2 레이어(110) 제1 레이어(120) 제2 레이어(110)
픽셀(121) 픽셀(111) 픽셀(121) 픽셀(114)
픽셀(122) 픽셀(112) 픽셀(122) 픽셀(115)
픽셀(123) 픽셀(113) 픽셀(123) 픽셀(116)
매칭부(220)는 다양한 방식으로 서로 다른 레이어에 속하는 픽셀들을 매칭시킬 수 있다. 예를 들어, 매칭부(220)는 복수의 레이어들 중 어느 하나의 레이어를 기준 레이어로 정할 수 있다. 매칭부(220)는 기준 레이어에 포함된 복수의 픽셀들 각각을 다른 레이어의 픽셀들과 매칭시킬 수 있다. 매칭부(220)는 사용자의 눈의 위치에 가장 가까운 최상단 레이어를 기준 레이어로 정하거나, 발광부에 가장 가까운 최하단 레이어를 기준 레이어로 정할 수 있다. 다른 실시예에 따른 매칭부(220)는 각각의 픽셀에 포함된 서브 픽셀들 단위로 매칭시킬 수 있다. 이 경우, 매칭부(220)는 동일한 유형의 서브 픽셀들끼리 매칭시킬 수 있다. 매칭부(220)가 서로 다른 레이어에 속하는 픽셀들을 매칭시키는 기법과 관련된 보다 상세한 사항들은 도 3 내지 도 9를 참조하여 후술한다.
생성부(230)는 매칭 정보를 이용하여 복수의 레이어 영상들을 생성할 수 있다. 영상 수신부(250)는 사용자의 눈의 위치에 표현하려는 영상을 수신할 수 있다. 사용자의 눈의 위치에 표현하려는 영상은 사용자의 왼쪽 눈에 표현하려는 영상과 사용자의 오른쪽 눈에 표현하려는 영상을 포함한다. 생성부(230)는 사용자의 양 눈을 위한 매칭 정보와 양 눈의 위치들에 표시하려는 영상 정보를 이용하여, 복수의 레이어 영상들을 계산할 수 있다.
매칭 정보에 포함된 복수의 매칭 투플들은 동일한 픽셀을 중복하여 포함할 수 있으므로, 사용자의 눈의 위치에 표현하려는 영상과 복수의 레이어들에 의하여 사용자의 눈에 위치에 실제 표현되는 영상 사이에 차이가 있을 수 있다.
예를 들어, 표 1을 참조하면, 매칭 정보는 {픽셀(121), 픽셀(111)}, {픽셀(122), 픽셀(112)}, {픽셀(123), 픽셀(113)}, {픽셀(121), 픽셀(114)}, {픽셀(122), 픽셀(115)}, {픽셀(123), 픽셀(116)}의 매칭 투플들을 포함한다. 매칭 투플 {픽셀(121), 픽셀(111)}에 의하여 표현되는 영상과 매칭 투플 {픽셀(121), 픽셀(114)}에 의하여 표현되는 영상은 상이하나, 매칭 투플 {픽셀(121), 픽셀(111)}에 의하여 표현되는 영상과 매칭 투플 {픽셀(121), 픽셀(114)}에 의하여 표현되는 영상은 모두 픽셀(121)을 이용한다. 경우에 따라, 매칭 정보는 픽셀(121)을 포함하는 다른 매칭 투플들을 더 포함할 수 있다. 뿐만 아니라, 픽셀(121) 이외의 다른 픽셀들도 복수의 매칭 투플들에 의하여 공통적으로 이용될 수 있다. 이처럼 연쇄적으로 영향을 미치는 매칭 관계로 인하여 사용자의 눈의 위치에 표현하려는 영상을 그대로 표현하는 레이어 영상들을 계산하는 것은 어려울 수 있다.
생성부(230)는 사용자의 눈의 위치에 표현하려는 영상과 복수의 레이어들에 의하여 사용자의 눈에 위치에 실제 표현되는 영상 사이의 차이가 최소화 되도록, 복수의 레이어 영상들을 생성할 수 있다. 복수의 레이어 영상들과 사용자의 눈의 위치에 표현하려는 영상 사이의 관계는 수학식 1로 표현될 수 있다.
Figure pat00001
여기서, Lactual은 사용자의 눈의 위치에 실제 표현되는 영상이고, XN은 N번째 레이어를 위한 레이어 영상이며, W는 매칭 정보이다. 다시 말해, 사용자의 눈의 위치에 실제 표현되는 영상은 N개의 레이어 영상들 및 매칭 정보의 함수이다.
생성부(230)는 수학식 2를 이용하여 N개의 레이어 영상들을 계산할 수 있다.
Figure pat00002
여기서, Ldesired는 사용자의 눈의 위치에 표현하려는 영상이다. 다시 말해, 생성부(230)는 사용자의 눈의 위치에 표현하려는 영상(Ldesired)과 복수의 레이어들에 의하여 사용자의 눈에 위치에 실제 표현되는 영상(Lactual) 사이의 차이를 최소화시키는 복수의 레이어 영상들(X1,...,XN)을 계산할 수 있다.
수학식 1과 수학식 2에서 이용되는 함수 f는 각각의 레이어를 구성하는 디스플레이 패널의 종류에 따라 달라질 수 있다. 예를 들어, 일 실시예에 따라 각각의 레이어가 빛의 투과도를 제어하는 감쇠(Attenuation) 방식의 디스플레이 패널로 구성되는 경우, 각각의 레이어를 통과한 빛의 최종 밝기는 수학식 3과 같이 계산될 수 있다.
Figure pat00003
여기서, lactual은 사용자의 눈의 위치에 실제 표현되는 영상에 포함된 하나의 픽셀의 밝기(luminance) 값이고, xN은 N번째 레이어에 포함된 픽셀들 중 lactual에 기여하는 픽셀의 투과도 값이다. 수학식 3을 이용하면, 수학식 2는 수학식 4와 같이 표현될 수 있다.
Figure pat00004
여기서,
Figure pat00005
는 벡터 외적 연산이고, W는 유효한 픽셀 매칭 정보로 정의될 수 있다. 각 레이어의 해상도가 (WIDTH * HEIGHT)인 경우, XN은 (WIDTH * HEIGHT) * 1 크기의 매트릭스이고, Ldesired는 (WIDTH * HEIGHT) * (WIDTH * HEIGHT) 크기의 매트릭스일 수 있다. 또한, W는 (2 * WIDTH * HEIGHT) 개의 '1'을 포함하는 (WIDTH * HEIGHT) * (WIDTH * HEIGHT) 크기의 스파스 매트릭스(sparse matrix)일 수 있다. W는 사용자의 눈의 위치로 향하는 각각의 광선에 대하여, 해당 광선에 기여하는 픽셀들에 대응되는 원소들의 값이 '1'이고, 나머지 원소들의 값은 '0'인 매트릭스이다.
생성부(230)는 수학식 4를 통해, 유효한 픽셀 매칭 정보에 대하여, 사용자의 눈의 위치에서 실제 관측되는 영상과 사용자의 눈의 위치에 표현하고자 하는 영상 사이의 차이를 최소화하는 복수의 레이어 영상들을 계산할 수 있다.
다른 실시예에 따라 각각의 레이어가 빛의 편광 회전량을 제어하는 극성 회전(Polarization Rotation) 방식의 디스플레이 패널로 구성되는 경우, 각각의 레이어를 통과한 빛의 최종 편광 회전량은 수학식 5와 같이 계산될 수 있다.
여기서, lθ, actual은 사용자의 눈의 위치에 실제 표현되는 영상에 포함된 하나의 픽셀의 편광 회전량이고, xθ,N은 N번째 레이어에 포함된 픽셀들 중 , lθ, actual에 기여하는 픽셀의 편광 회전량이다. 수학식 5를 이용하면, 수학식 2는 수학식 6과 같이 표현될 수 있다.
Figure pat00007
여기서, Lθ, desired는 사용자의 눈의 위치에 표현하려는 영상이고, Xθ,N은 N번째 레이어를 위한 레이어 영상이며, W는 유효한 픽셀 매칭 정보로 정의될 수 있다. 각 레이어의 해상도가 (WIDTH * HEIGHT)인 경우, Xθ,N은 (WIDTH * HEIGHT) * 1 크기의 매트릭스이고, Lθ, desired는 (2 * WIDTH * HEIGHT) 개의 '1'을 포함하는 (2 * WIDTH * HEIGHT ) * (N * WIDTH * HEIGHT) 크기의 스파스 매트릭스일 수 있다. W는 사용자의 눈의 위치로 향하는 각각의 광선에 대하여, 해당 광선에 기여하는 픽셀들에 대응되는 원소들의 값이 '1'이고, 나머지 원소들의 값은 '0'인 매트릭스이다.
생성부(230)는 수학식 6을 통해, 표현하고자 하는 영상의 값을 편광 회전량으로 환산한 후, 각 레이어를 구성하는 픽셀들의 편광 회전량에 의해 결정되는 관측 영상의 편광 회전량과 실제 표현 하고자 하는 영상의 편광 회전량 사이의 차이를 최소화하는 복수의 레이어 영상들을 계산할 수 있다.
또 다른 실시예에 따르면, 빛의 편광 회전량을 제어하는 극성 회전 방식의 디스플레이 패널 두 개를 이용하는 경우 생성부(230)는 실험적으로 얻어진 모델을 이용하여 함수 f를 계산할 수 있다. 예를 들어, 두 개의 패널들 사이의 편광 필름을 제거한 채, 두 개의 패널들로 레이어드 디스플레이(layered display)를 구성하는 경우 두 개의 레이어들을 통과한 빛의 편광 회전량은 수학식 7과 같이 모델링될 수 있다.
Figure pat00008
여기서, c는 패널의 특성으로, 예를 들어 패널의 타입에 따른 특성 또는 공정 과정에서 발생되는 개개 패널의 특성 등을 포괄적으로 포함할 수 있다. 수학식 7을 정리하면, 수학식 8이 도출될 수 있다.
Figure pat00009
생성부(230)는 수학식 8에서 x의 도메인을 xc의 도메인으로 변환함으로써, 수학식 9과 같은 형태의 관계식을 도출할 수 있다. 여기서, xc = 1 - x/c 이다. 보다 구체적으로, 수학식 8의
Figure pat00010
는
Figure pat00011
로 변환되고, 수학식 8의
Figure pat00012
는
Figure pat00013
로 변환되며, 수학식 8의
Figure pat00014
는
Figure pat00015
로 변환될 수 있다.
Figure pat00016
여기서, lc는 변환된 도메인 상에서 사용자의 눈의 위치에 실제 표현되는 영상에 포함된 하나의 픽셀의 값이고, xc ,N은 N번째 레이어에 포함된 픽셀들 중 lc에 기여하는 픽셀의 값이다. 생성부(230)는 수학식 10을 이용하여 변환된 도메인 상에서 각각의 레이어 영상들을 계산할 수 있다.
Figure pat00017
여기서, Xc ,N은 변환된 도메인 상에서 N번째 레이어를 위한 레이어 영상이다. 생성부(230)는 수학식 10을 통해 획득된 레이어 영상의 도메인을 다시 원래의 도메인으로 역변환함으로써, 복수의 레이어 영상들을 계산할 수 있다.
또 다른 실시예에 따르면, 생성부(230)는 로그 연산을 이용하여 도메인 변환을 함으로써, 곱셈 연산을 덧셈 연산으로 치환할 수 있다. 예를 들어, 생성부(230)는 수학식 3에서 x의 도메인을 xlog의 도메인으로 변형함으로써, llog = log xlog, 1 + ... + log xlog , N를 도출할 수 있다. 여기서, xlog = log x 이다. 도출된 관계식은 수학식 5와 유사하므로, 생성부(230)는 수학식 6을 이용하여 변환된 도메인 상에서 레이어 영상을 계산할 수 있다. 생성부(230)는 계산된 레이어 영상의 도메인을 원래의 도메인으로 역변환함으로써, 복수의 레이어 영상들을 계산할 수 있다.
또 다른 실시예에 따른 생성부(230)는 로그 연산을 이용하여 수학식 9의 도메인을 변환함으로써, 수학식 9에 포함된 곱셈 연산을 덧셈 연산으로 치환할 수 있다. 이 경우, 생성부(230)는 xc = 1 - x/c의 도메인 변환 및 xlog = log x의 도메인 변환을 포함하는 두 번의 도메인 변환이 수행된 도메인 상에서 레이어 영상을 계산할 수 있다. 생성부(230)는 계산된 레이어 영상의 도메인을 xlog = log x의 도메인 역변환하고, xc = 1 - x/c의 도메인 역변환함으로써, 복수의 레이어 영상들을 계산할 수 있다.
영상 생성 장치(200)는 영상 결정부(240)를 더 포함할 수 있다. 영상 결정부(240)는 사용자의 눈의 위치에 따라 사용자의 눈의 위치에 표현하려는 영상을 결정할 수 있다. 영상 결정부(240)는 사용자의 눈의 위치에 따라 사용자의 눈의 위치에 표현하려는 영상 컨텐츠를 다르게 결정할 수 있다. 다시 말해, 영상 결정부(240)는 사용자의 눈의 위치에 따라 보이는 영상을 다르게 함으로써, 다시점(multi-view) 입체 영상을 사용자에게 제공할 수 있다.
도 3 내지 도 6은 레이어드 디스플레이에서 픽셀을 매칭하는 실시예들을 설명하기 위한 도면이다. 도 3 내지 도 6은 설명의 편의 상, 두 개의 레이어들을 포함하는 레이어드 디스플레이를 설명하고 있으나 실시예들은 세 개 이상의 레이어들을 포함하는 레이어드 디스플레이로 확장될 수 있다.
도 3을 참조하면, 일 실시예에 따른 영상 생성 장치는 사용자의 눈의 위치(330)로 향하는 복수의 광선들을 이용하여 매칭 정보를 생성할 수 있다. 발광부에 의하여 발생된 빛은 레이어(320) 및 레이어(310)을 통과하여 사용자의 눈의 위치(330)로 향하지만, 영상 생성 장치는 빛의 진행 경로를 사용자의 눈의 위치(330)로부터 역으로 따라가면서 매칭 정보를 생성할 수 있다.
영상 생성 장치는 복수의 레이어들(310, 320) 중 어느 하나의 레이어를 기준 레이어로 정할 수 있다. 예를 들어, 영상 생성 장치는 사용자의 눈의 위치(330)와 가장 가까운 최상단 레이어인 레이어(310)을 기준 레이어로 정할 수 있다.
영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 중심을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다. 영상 생성 장치는 사용자의 눈의 위치(330)로부터 기준 레이어로 정해진 레이어(310)에 속하는 픽셀(311)의 중심(312)를 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 이 경우, 해당 경로 상에는 레이어(310)의 픽셀(311)과 레이어(320)의 픽셀(321)이 존재하므로, 영상 생성 장치는 픽셀(311)과 픽셀(321)을 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(330)로부터 기준 레이어로 정해진 레이어(310)에 속하는 픽셀(313)의 중심(314)를 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 이 경우, 해당 경로 상에는 레이어(310)의 픽셀(314)과 레이어(320)의 픽셀(322)이 존재하므로, 영상 생성 장치는 픽셀(314)와 픽셀(322)를 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 발광부에 가장 가까운 최하단 레이어인 레이어(320)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(320)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(310)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(320)의 픽셀(321)은 레이어(310)의 픽셀(311)과 매칭되므로, 영상 생성 장치는 레이어(320)의 픽셀(321)에 대응되는 자료 구조에 레이어(310)의 픽셀(311)의 인덱스인 '7'을 저장할 수 있다. 또한, 레이어(320)의 픽셀(322)는 레이어(310)의 픽셀(314)와 매칭되므로, 영상 생성 장치는 레이어(320)의 픽셀(322)에 대응되는 자료 구조에 레이어(310)의 픽셀(314)의 인덱스인 '14'를 저장할 수 있다. 레이어(310)에 속하는 픽셀들의 크기와 레이어(320)에 속하는 픽셀들의 크기가 같은 경우, 픽셀(323)처럼 어느 픽셀과도 매칭이 되지 않는 픽셀이 존재할 수 있다.
도 4를 참조하면, 영상 생성 장치는 발광부와 가장 가까운 최하단 레이어인 레이어(420)을 기준 레이어로 정할 수 있다. 영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 중심을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(430)로부터 기준 레이어로 정해진 레이어(420)에 속하는 픽셀(421)의 중심(422)를 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 이 경우, 해당 경로 상에는 레이어(410)의 픽셀(411)과 레이어(420)의 픽셀(421)이 존재하므로, 영상 생성 장치는 픽셀(411)과 픽셀(421)을 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(430)로부터 기준 레이어로 정해진 레이어(420)에 속하는 픽셀(423)의 중심(424)를 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 이 경우, 해당 경로 상에는 레이어(410)의 픽셀(412)과 레이어(420)의 픽셀(423)이 존재하므로, 영상 생성 장치는 픽셀(412)와 픽셀(423)를 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(430)에 가장 가까운 최상단 레이어인 레이어(410)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(410)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(420)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(410)의 픽셀(411)은 레이어(420)의 픽셀(421)과 매칭되므로, 영상 생성 장치는 레이어(410)의 픽셀(411)에 대응되는 자료 구조에 레이어(420)의 픽셀(421)의 인덱스인 '4'를 저장할 수 있다. 또한, 레이어(410)의 픽셀(412)는 레이어(420)의 픽셀(423)과 매칭되므로, 영상 생성 장치는 레이어(410)의 픽셀(412)에 대응되는 자료 구조에 레이어(420)의 픽셀(423)의 인덱스인 '11'을 저장할 수 있다.
레이어(310)에 속하는 픽셀들의 크기와 레이어(320)에 속하는 픽셀들의 크기가 같은 경우, 픽셀(413)처럼 복수의 픽셀들과 매칭이 되는 픽셀이 존재할 수 있다. 사용자의 눈의 위치(430)로부터 기준 레이어로 정해진 레이어(420)에 속하는 픽셀(425)의 중심을 지나는 빛의 경로는 레이어(410)의 픽셀(413)의 내부(414)를 통과한다. 또한, 사용자의 눈의 위치(430)로부터 기준 레이어로 정해진 레이어(420)에 속하는 픽셀(426)의 중심을 지나는 빛의 경로는 레이어(410)의 픽셀(413)의 내부(415)를 통과한다. 이 경우, 영상 생성 장치는 레이어(410)의 픽셀(413)에 대응되는 자료 구조에 레이어(410)의 픽셀(425)의 인덱스인 '15'와 레이어(410)의 픽셀(426)의 인덱스인 '16'을 함께 저장할 수 있다.
도 5를 참조하면, 영상 생성 장치는 사용자의 눈의 위치(530)와 가장 가까운 최상단 레이어인 레이어(510)을 기준 레이어로 정할 수 있다. 영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 바운더리(boundary) 내부 영역을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(530)로부터 기준 레이어로 정해진 레이어(510)에 속하는 픽셀(511)의 바운더리(512, 513) 내부 영역을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(511)의 바운더리(512)를 지나는 빛의 경로(531)와 바운더리(513)을 지나는 빛의 경로(532) 사이의 영역에는 레이어(520)의 픽셀(522)와 픽셀(521)이 존재한다. 영상 생성 장치는 픽셀(511)과 픽셀(522)를 하나의 매칭 페어로 설정하고, 픽셀(511)과 픽셀(521)을 또 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(530)로부터 기준 레이어로 정해진 레이어(510)에 속하는 픽셀(514)의 바운더리(513, 515) 내부 영역을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(514)의 바운더리(513)을 지나는 빛의 경로(532)와 바운더리(515)를 지나는 빛의 경로(533) 사이의 영역에는 레이어(520)의 픽셀(521)과 픽셀(523)이 존재한다. 영상 생성 장치는 픽셀(514)와 픽셀(521)을 하나의 매칭 페어로 설정하고, 픽셀(514)와 픽셀(523)을 또 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 발광부에 가장 가까운 최하단 레이어인 레이어(520)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(520)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(510)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(520)의 픽셀(521)은 레이어(510)의 픽셀(511) 및 픽셀(514)와 매칭되므로, 영상 생성 장치는 레이어(520)의 픽셀(521)에 대응되는 자료 구조에 레이어(510)의 픽셀(511)의 인덱스인 '8' 및 레이어(510)의 픽셀(514)의 인덱스인 '9'를 저장할 수 있다.
도 6을 참조하면, 영상 생성 장치는 발광부와 가장 가까운 최하단 레이어인 레이어(620)을 기준 레이어로 정할 수 있다. 영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 바운더리 내부 영역을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(630)로부터 기준 레이어로 정해진 레이어(620)에 속하는 픽셀(621)의 바운더리(622, 623) 내부 영역을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(621)의 바운더리(622)를 지나는 빛의 경로(631)과 바운더리(623)을 지나는 빛의 경로(632) 사이의 영역에는 레이어(610)의 픽셀(612)와 픽셀(611)이 존재한다. 영상 생성 장치는 픽셀(612)와 픽셀(621)을 하나의 매칭 페어로 설정하고, 픽셀(611)과 픽셀(621)을 또 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(630)로부터 기준 레이어로 정해진 레이어(620)에 속하는 픽셀(624)의 바운더리(623, 625) 내부 영역을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(624)의 바운더리(623)을 지나는 빛의 경로(632)와 바운더리(625)를 지나는 빛의 경로(633) 사이의 영역에는 레이어(610)의 픽셀(611)과 픽셀(613)이 존재한다. 영상 생성 장치는 픽셀(611)과 픽셀(624)을 하나의 매칭 페어로 설정하고, 픽셀(613)과 픽셀(624)를 또 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(630)에 가장 가까운 최상단 레이어인 레이어(610)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(610)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(620)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(610)의 픽셀(611)은 레이어(620)의 픽셀(621) 및 픽셀(624)와 매칭되므로, 영상 생성 장치는 레이어(610)의 픽셀(611)에 대응되는 자료 구조에 레이어(620)의 픽셀(621)의 인덱스인 '8' 및 레이어(620)의 픽셀(624)의 인덱스인 '9'를 저장할 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 렌즈를 통과하는 빛의 경로를 설명하기 위한 도면이다. 영상 생성 장치는 복수의 레이어드들 사이에 렌즈가 배치된 구조의 레이어드 디스플레이를 이용할 수 있다.
도 7a를 참조하면, 일 실시예에 따른 렌즈(710)는 인접한 두 개의 레이어드들 중 발광부에 가까운 레이어드로부터 초점거리(720)만큼 이격된 위치에 배치될 수 있다. 초점거리(720)만큼 이격된 위치에서 렌즈(710)에 입사되는 빛은 해당 위치로부터 렌즈(710)의 중심을 향하는 직선과 평행한 방향으로 굴절된다. 예를 들어, 렌즈(710)의 중심으로부터 초점거리(720)만큼 이격된 위치(730)에서 렌즈(710)의 중심으로 입사되는 빛은 경로(731)과 같이 굴절되지 않고 진행한다. 위치(730)에서 렌즈(710)의 좌측 부분으로 입사되는 빛은 렌즈(710)를 통과하면서 굴절되어, 경로(732)와 같이 진행한다. 이 때, 경로(732)는 경로(731)과 평행하다. 또한, 위치(730)에서 렌즈(710)의 우측 부분으로 입사되는 빛은 렌즈(710)를 통과하면서 굴절되어, 경로(733)과 같이 진행한다. 이 때, 경로(733)은 경로(731)과 평행하다.
다른 예로, 렌즈(710)의 우측 부분으로부터 초점거리(720)만큼 이격된 위치(740)에서 렌즈(710)의 중심으로 입사되는 빛은 경로(741)과 같이 굴절되지 않고 진행한다. 위치(740)에서 렌즈(710)의 좌측 부분으로 입사되는 빛은 렌즈(710)를 통과하면서 굴절되어, 경로(742)와 같이 진행한다. 이 때, 경로(742)는 경로(741)과 평행하다. 또한, 위치(740)에서 렌즈(710)의 우측 부분으로 입사되는 빛은 렌즈(710)를 통과하면서 굴절되어, 경로(743)과 같이 진행한다. 이 때, 경로(743)은 경로(741)과 평행하다.
도 7b를 참조하면, 발광부에 의하여 발생된 빛은 포인트(725)를 지나 렌즈(710)를 통과하지만, 영상 생성 장치는 빛의 진행 경로를 사용자의 눈의 위치로부터 역으로 따라가면서 매칭 정보를 생성할 수 있다. 예를 들어, 경로(742) 또는 경로(743)이 사용자의 눈의 위치로부터 역으로 추적한 경로인 경우, 영상 생성 장치는 경로(742) 또는 경로(743)과 평행하면서 렌즈(710)의 중심(715)을 지나는 경로(744)를 이용할 수 있다. 영상 생성 장치는 경로(744)를 따라 초점 거리(720)만큼 이격된 포인트(725)를 빛의 경로 상에 위치하는 포인트로 검출할 수 있다.
도 8 및 도 9는 렌즈를 포함하는 레이어드 디스플레이에서 픽셀을 매칭하는 실시예들을 설명하기 위한 도면이다. 도 8을 참조하면, 일 실시예에 따른 영상 생성 장치는 복수의 레이어드들(810, 820) 사이에 렌즈 레이어(840)가 배치된 구조의 레이어드 디스플레이를 이용할 수 있다. 렌즈 레이어(840)는 레이어(820)으로부터 초점 거리(841)만큼 이격된 위치에 배치될 수 있다.
영상 생성 장치는 사용자의 눈의 위치(830)로 향하는 복수의 광선들을 이용하여 매칭 정보를 생성할 수 있다. 발광부에 의하여 발생된 빛은 레이어(820), 렌즈 레이어(840) 및 레이어(810)을 통과하여 사용자의 눈의 위치(830)로 향하지만, 영상 생성 장치는 빛의 진행 경로를 사용자의 눈의 위치(830)로부터 역으로 따라가면서 매칭 정보를 생성할 수 있다.
영상 생성 장치는 복수의 레이어들(810, 820) 중 어느 하나의 레이어를 기준 레이어로 정할 수 있다. 예를 들어, 영상 생성 장치는 사용자의 눈의 위치(830)와 가장 가까운 최상단 레이어인 레이어(810)을 기준 레이어로 정할 수 있다.
영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 중심을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다. 영상 생성 장치는 사용자의 눈의 위치(830)로부터 기준 레이어로 정해진 레이어(810)에 속하는 픽셀(811)의 중심(813)을 지나는 빛의 경로(831)를 이용하여 매칭 정보를 생성할 수 있다. 빛의 경로(831) 상에는 렌즈 레이어(840)에 속하는 렌즈(842)가 존재한다. 도 7a 및 도 7b를 통하여 설명한 것과 같이, 영상 생성 장치는 빛의 경로(831)과 평행하면서 렌즈(842)의 중심(843)으로부터 진행하는 빛의 경로(833)을 이용할 수 있다. 빛의 경로(833) 상에는 레이어(820)의 픽셀(821)이 존재하므로, 영상 생성 장치는 픽셀(811)과 픽셀(821)을 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(830)로부터 기준 레이어로 정해진 레이어(810)에 속하는 픽셀(812)의 중심(814)를 지나는 빛의 경로(832)를 이용하여 매칭 정보를 생성할 수 있다. 빛의 경로(832) 상에는 렌즈 레이어(840)에 속하는 렌즈(842)가 존재한다. 영상 생성 장치는 빛의 경로(832)와 평행하면서 렌즈(842)의 중심(843)으로부터 진행하는 빛의 경로(834)를 이용할 수 있다. 빛의 경로(834) 상에는 레이어(820)의 픽셀(821)이 존재하므로, 영상 생성 장치는 픽셀(812)와 픽셀(821)을 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 발광부에 가장 가까운 최하단 레이어인 레이어(820)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(820)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(810)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(820)의 픽셀(821)은 레이어(810)의 픽셀(811) 및 레이어(810)의 픽셀(812)와 매칭되므로, 영상 생성 장치는 레이어(820)의 픽셀(821)에 대응되는 자료 구조에 레이어(810)의 픽셀(811)의 인덱스인 '9' 및 레이어(810)의 픽셀(812)의 인덱스인 '10'을 저장할 수 있다.
도 9를 참조하면, 일 실시예에 따른 영상 생성 장치는 복수의 레이어드들(910, 920) 사이에 렌즈 레이어(940)가 배치된 구조의 레이어드 디스플레이를 이용할 수 있다. 렌즈 레이어(940)는 레이어(920)으로부터 초점 거리(941)만큼 이격된 위치에 배치될 수 있다.
영상 생성 장치는 사용자의 눈의 위치(930)와 가장 가까운 최상단 레이어인 레이어(910)을 기준 레이어로 정할 수 있다. 영상 생성 장치는 기준 레이어에 포함된 복수의 픽셀들의 바운더리 내부 영역을 지나는 광선들을 이용하여 매칭 정보를 생성할 수 있다.
영상 생성 장치는 사용자의 눈의 위치(930)로부터 기준 레이어로 정해진 레이어(910)에 속하는 픽셀(911)의 바운더리(912, 913)을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(911)의 바운더리(912)를 지나는 빛의 경로(931)와 바운더리(913)을 지나는 빛의 경로(932) 사이의 영역에는 렌즈 레이어(940)에 속하는 렌즈(942)가 존재한다. 도 7a 및 도 7b를 통하여 설명한 것과 같이, 영상 생성 장치는 빛의 경로(931)과 평행하면서 렌즈(942)의 중심으로부터 진행하는 빛의 경로(933) 및 빛의 경로(932)와 평행하면서 렌즈(942)의 중심으로부터 진행하는 빛의 경로(934)를 이용할 수 있다. 빛의 경로(933) 및 빛의 경로(934) 사이의 영역에는 레이어(920)의 픽셀(921)이 존재하므로, 영상 생성 장치는 픽셀(911)과 픽셀(921)을 하나의 매칭 페어로 설정할 수 있다.
픽셀(911)의 왼쪽 바운더리(912)는 픽셀(911)의 왼쪽 인접 픽셀의 오른쪽 바운더리와 동일하므로, 영상 생성 장치는 픽셀(911)의 왼쪽 인접 픽셀과 픽셀(921)을 하나의 매칭 페어로 설정할 수 있다. 또한, 픽셀(911)의 오른쪽 바운더리(913)은 픽셀(911)의 오른쪽 인접 픽셀의 왼쪽 바운더리와 동일하므로, 영상 생성 장치는 픽셀(911)의 오른쪽 인접 픽셀과 픽셀(921)을 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(930)로부터 기준 레이어로 정해진 레이어(910)에 속하는 픽셀(914)의 바운더리(916)을 지나는 빛의 경로를 이용하여 매칭 정보를 생성할 수 있다. 픽셀(914)의 바운더리(916)을 지나는 빛의 경로(935) 상에는 렌즈 레이어(940)에 속하는 렌즈(943)이 존재한다. 영상 생성 장치는 빛의 경로(935)와 평행하면서 렌즈(943)의 중심으로부터 진행하는 빛의 경로(936)을 이용할 수 있다. 빛의 경로(936) 상에는 레이어(920)의 픽셀(922)가 존재하므로, 영상 생성 장치는 픽셀(914)와 픽셀(922)를 하나의 매칭 페어로 설정할 수 있다. 픽셀(914)의 오른쪽 바운더리(916)은 픽셀(914)의 오른쪽 인접 픽셀(915)의 왼쪽 바운더리와 동일하므로, 영상 생성 장치는 픽셀(914)의 오른쪽 인접 픽셀(915)과 픽셀(922)를 하나의 매칭 페어로 설정할 수 있다.
또한, 영상 생성 장치는 사용자의 눈의 위치(930)로부터 렌즈 레이어(940)에 속하는 렌즈(943)의 바운더리(944)를 지나는 빛의 경로(937)를 이용하여 매칭 정보를 생성할 수 있다. 영상 생성 장치는 빛의 경로(937)과 평행하면서 렌즈(943)의 중심으로부터 진행하는 빛의 경로(938)을 이용할 수 있다. 빛의 경로(937) 상에는 레이어(910)의 픽셀(915)가 존재하고, 빛의 경로(938) 상에는 레이어(920)의 픽셀(923)이 존재하므로, 영상 생성 장치는 픽셀(915)와 픽셀(923)을 하나의 매칭 페어로 설정할 수 있다.
영상 생성 장치는 발광부에 가장 가까운 최하단 레이어인 레이어(920)의 픽셀들에 대응되는 자료 구조를 이용하여 매칭 정보를 저장할 수 있다. 영상 생성 장치는 레이어(920)의 픽셀에 대응되는 자료 구조에 해당 픽셀과 매칭된 레이어(910)의 픽셀의 인덱스를 저장할 수 있다. 예를 들어, 레이어(920)의 픽셀(922)는 레이어(910)의 픽셀(914) 및 레이어(910)의 픽셀(915)와 매칭되므로, 영상 생성 장치는 레이어(920)의 픽셀(922)에 대응되는 자료 구조에 레이어(910)의 픽셀(914)의 인덱스인 '11' 및 레이어(910)의 픽셀(915)의 인덱스인 '12'를 저장할 수 있다.
도 10은 일 실시예에 따른 디스플레이 장치를 나타낸 블록도이다. 도 10을 참조하면, 일 실시예에 따른 디스플레이 장치(1000)는 복수의 패널들(1010), 획득부(1020), 제어부(1030)를 포함한다. 복수의 패널들(1010)은 레이어드 디스플레이 구조를 이용하여 입체 영상을 디스플레이 할 수 있다.
획득부(1020)는 목표 위치에 대응되는 매칭 정보를 획득할 수 있다. 여기서, 목표 위치는 입체 영상을 디스플레이 하려는 위치를 포함할 수 있다. 예를 들어, 목표 위치는 사용자의 눈의 위치(1050)일 수 있다. 매칭 정보는 서로 다른 패널에 속하는 픽셀들이 매칭된 정보를 포함할 수 있다. 일 실시예에 따른 획득부(1020)는 목표 위치를 이용하여, 목표 위치에 대응되는 매칭 정보를 사전에 구축된 저장 공간으로부터 로드(load)할 수 있다. 여기서, 사전에 구축된 저장 공간은 디스플레이 장치에 포함된 메모리, 또는 원격에 위치되어 디스플레이 장치와 유무선으로 연결되는 데이터 베이스 등을 포괄적으로 포함할 수 있다. 다른 실시예에 따른 획득부(1020)는 목표 위치를 이용하여 매칭 정보를 직접 생성할 수 있다.
제어부(1030)는 매칭 정보를 이용하여 목표 위치에서 입체 영상이 표현되도록 복수의 패널들(1010)을 제어할 수 있다. 디스플레이 장치는 목표 위치를 감지하는 센서(1040)를 더 포함할 수 있다.
도 10에 도시된 각 모듈들에는 도 1 내지 도 9를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 11은 일 실시예에 따른 영상 생성 방법을 나타낸 동작 흐름도이다.
도 11을 참조하면, 일 실시예에 따른 영상 생성 방법은 사용자의 눈의 위치 정보를 획득하는 단계(1110), 눈의 위치 정보에 기초하여 서로 다른 레이어에 속하는 픽셀들 사이의 매칭 정보를 획득하는 단계(1120), 눈의 위치 정보에 기초하여 표현하려는 영상을 획득하는 단계(1130), 및 획득된 매칭 정보 및 영상에 기초하여 복수의 레이어들에 대응되는 복수의 레이어들에 대응되는 복수의 레이어 영상들을 생성하는 단계(1140)를 포함한다. 영상 생성 방법은 복수의 레이어 영상들 각각을 해당 레이어 영상에 대응되는 레이어에 인가하는 단계(1150)를 더 포함할 수 있다.
도 11에 도시된 각 단계들에는 도 1 내지 도 10을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (30)

  1. 사용자의 눈의 위치를 수신하는 수신부;
    상기 눈의 위치에 기초하여 복수의 레이어들에 포함된 복수의 픽셀들을 매칭하는 매칭부; 및
    상기 매칭된 정보에 기초하여 상기 복수의 레이어들을 위한 복수의 레이어 영상들을 생성하는 생성부
    를 포함하는 영상 생성 장치.
  2. 제1항에 있어서,
    상기 복수의 레이어들은 입체 영상을 표현하는 레이어드 디스플레이에 포함되는 영상 생성 장치.
  3. 제1항에 있어서,
    상기 매칭부는 상기 눈의 위치에 기초하여 상기 복수의 레이어들 각각에서 적어도 하나의 픽셀을 선택함으로써 매칭 정보를 생성하는 영상 생성 장치.
  4. 제1항에 있어서,
    상기 매칭부는 발광부로부터 발생된 빛이 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭하는 영상 생성 장치.
  5. 제1항에 있어서,
    상기 매칭된 정보는 제1 매칭 정보 및 제2 매칭 정보를 포함하고,
    상기 매칭부는 상기 사용자의 왼쪽 눈의 위치에 기초하여 상기 제1 매칭 정보를 생성하고, 상기 사용자의 오른쪽 눈의 위치에 기초하여 상기 제2 매칭 정보를 생성하는 영상 생성 장치.
  6. 제1항에 있어서,
    상기 사용자의 왼쪽 눈의 위치에 대응되는 제1 영상 및 상기 사용자의 오른쪽 눈의 위치에 대응되는 제2 영상을 수신하는 영상 수신부
    를 더 포함하고,
    상기 생성부는 상기 제1 영상, 상기 제2 영상, 및 상기 매칭된 정보에 기초하여 상기 복수의 레이어 영상들을 생성하는 영상 생성 장치.
  7. 제6항에 있어서,
    상기 눈의 위치에 따라 상기 제1 영상 및 상기 제2 영상을 결정하는 영상 결정부
    를 더 포함하는 영상 생성 장치.
  8. 제1항에 있어서,
    상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 중 어느 하나의 레이어에 포함된 픽셀의 중심을 지나 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭하는 영상 생성 장치.
  9. 제1항에 있어서,
    상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 중 어느 하나의 레이어에 포함된 픽셀의 바운더리의 내부 영역을 지나 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭하는 영상 생성 장치.
  10. 제1항에 있어서,
    상기 매칭부는 발광부로부터 발생된 빛이 상기 복수의 레이어들 사이에 배치된 렌즈를 통과하여 상기 사용자의 눈에 도달하는 경로 상에 위치하는 픽셀들을 서로 매칭하는 영상 생성 장치.
  11. 제10항에 있어서,
    상기 렌즈는 상기 렌즈와 인접한 두 레이어들 중 발광부에 가까운 레이어로부터 상기 렌즈의 초점거리만큼 이격된 위치에 배치되는 영상 생성 장치.
  12. 제1항에 있어서,
    상기 생성부는 상기 매칭된 정보 및 상기 복수의 레이어 영상들에 의해 상기 눈의 위치에 표현되는 영상과 상기 눈의 위치에 표현하려는 영상 사이의 차이가 최소화되도록 상기 복수의 레이어 영상들을 생성하는 영상 생성 장치.
  13. 제12항에 있어서,
    상기 눈의 위치에 표현되는 영상은 상기 매칭된 정보에 포함된 매칭 픽셀들의 값들의 곱 또는 상기 매칭 픽셀들의 값들의 합 중 어느 하나로 결정되는 영상 생성 장치.
  14. 제12항에 있어서,
    상기 눈의 위치에 표현되는 영상이 상기 매칭 픽셀들의 값들의 곱으로 결정되는 경우, 상기 생성부는 로그 연산을 통해 곱셈 연산을 덧셈 연산으로 변환한 뒤 덧셈 연산을 이용하여 상기 매칭 픽셀들의 값들의 곱을 계산하는 영상 생성 장치.
  15. 제12항에 있어서,
    상기 복수의 레이어들의 수가 2개인 경우, 상기 눈의 위치에 표현되는 영상에 포함되는 픽셀의 값은
    Figure pat00018

    -상기 매칭된 정보는 제1 레이어에 포함된 제1 매칭 픽셀과 제2 레이어에 포함된 제2 매칭 픽셀을 포함하고, l actual 은 상기 눈의 위치에 표현되는 영상에 포함되는 픽셀의 값이며, x1은 상기 제1 매칭 픽셀의 값이고, x2는 상기 제2 매칭 픽셀의 값이며, c는 레이어의 패널 특성임-을 이용하여 계산되는 영상 생성 장치.
  16. 제1항에 있어서,
    상기 생성부는 상기 복수의 레이어들을 포함하는 레이어드 디스플레이의 방식에 따라 상기 복수의 레이어 영상들을 생성하는 영상 생성 장치.
  17. 제16항에 있어서,
    상기 레이어드 디스플레이의 방식은 레이어의 투과도를 제어하는 제1 방식 및 레이어의 편광 회전량을 제어하는 제2 방식을 포함하는 영상 생성 장치.
  18. 제1항에 있어서,
    상기 사용자의 눈의 위치는 복수의 사용자들에 대한 복수의 눈의 위치들을 포함하고, 상기 매칭부는 상기 복수의 눈의 위치들에 기초하여 상기 복수의 픽셀들을 매칭하며, 상기 생성부는 상기 복수의 사용자들 각각에게 입체 영상을 제공하는 레이어 영상들을 생성하는 영상 생성 장치.
  19. 제1항에 있어서,
    상기 매칭부는 상기 눈의 위치에 기초하여 상기 복수의 레이어들 각각에서 동일한 유형의 서브 픽셀을 선택함으로써 매칭 정보를 생성하는 영상 생성 장치.
  20. 입체 영상을 디스플레이하기 위한 복수의 패널들;
    목표 위치에 대응되는 매칭 정보-상기 매칭 정보는 서로 다른 패널에 속하는 픽셀들이 매칭된 정보를 포함함-를 획득하는 획득부; 및
    상기 매칭 정보를 이용하여 상기 목표 위치에서 입체 영상이 표현되도록 상기 복수의 패널들을 제어하는 제어부
    를 포함하는 디스플레이 장치.
  21. 제20항에 있어서,
    상기 매칭 정보는 발광부로부터 발생된 빛이 상기 목표 위치에 도달하는 경로 상에 위치하는 픽셀들이 매칭된 정보를 포함하는 디스플레이 장치.
  22. 제20항에 있어서,
    상기 목표 위치를 감지하는 센서
    를 더 포함하는 디스플레이 장치.
  23. 제22항에 있어서,
    상기 센서는
    복수의 비전 센서들을 이용하는 제1 유형의 센서; 및
    비전 센서 및 깊이 센서를 이용하는 제2 유형의 센서
    중 적어도 어느 하나를 포함하는 디스플레이 장치.
  24. 제20항에 있어서,
    상기 복수의 패널들은
    패널에 대응하는 레이어에서 빛의 밝기가 감쇄되는 제1 유형의 패널; 및
    패널에 대응하는 레이어에서 빛의 편광방향이 회전되는 제2 유형의 패널
    중 적어도 하나를 포함하는 디스플레이 장치.
  25. 제20항에 있어서,
    상기 제어부는 상기 매칭 정보 및 상기 복수의 패널들에 의해 상기 목표 위치에서 표현되는 영상과 상기 목표 위치에서 표현하려는 영상 사이의 차이가 최소화되도록 상기 복수의 패널들에 대응되는 복수의 레이어 영상들을 결정하는 디스플레이 장치.
  26. 제20항에 있어서,
    상기 복수의 패널들 사이에 배치되는 렌즈
    를 더 포함하고,
    상기 렌즈는 상기 렌즈와 인접한 두 패널들 중 발광부에 가까운 패널로부터 상기 렌즈의 초점거리만큼 이격된 위치에 배치되는 디스플레이 장치.
  27. 제26항에 있어서,
    상기 렌즈는 빛의 방향을 미리 정해진 영역으로 제한하는 디스플레이 장치.
  28. 사용자의 눈의 위치 정보를 획득하는 단계;
    상기 눈의 위치 정보에 기초하여 서로 다른 레이어에 속하는 픽셀들 사이의 매칭 정보를 획득하는 단계;
    상기 눈의 위치 정보에 기초하여 표현하려는 영상을 획득하는 단계; 및
    상기 매칭 정보 및 상기 영상에 기초하여 복수의 레이어들에 대응되는 복수의 레이어 영상들을 생성하는 단계
    를 포함하는 영상 생성 방법.
  29. 제28항에 있어서,
    상기 복수의 레이어 영상들 각각을 대응하는 레이어에 인가하는 단계
    를 더 포함하는 영상 생성 방법.
  30. 제28항 및 제29항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR20130132712A 2013-09-30 2013-11-04 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치 KR20150039060A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP14178767.1A EP2854403A1 (en) 2013-09-30 2014-07-28 Image generating apparatus and display device for layered display scheme based on location of eye of user
CN201410453046.9A CN104519333A (zh) 2013-09-30 2014-09-05 基于眼睛位置的分层显示方案的图像产生设备和显示装置
US14/487,550 US9948924B2 (en) 2013-09-30 2014-09-16 Image generating apparatus and display device for layered display scheme based on location of eye of user
JP2014201105A JP2015070618A (ja) 2013-09-30 2014-09-30 ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130116425 2013-09-30
KR20130116425 2013-09-30

Publications (1)

Publication Number Publication Date
KR20150039060A true KR20150039060A (ko) 2015-04-09

Family

ID=53029491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130132712A KR20150039060A (ko) 2013-09-30 2013-11-04 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR20150039060A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228752B2 (en) 2015-10-07 2022-01-18 Samsung Electronics Co., Ltd. Device and method for displaying three-dimensional (3D) image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228752B2 (en) 2015-10-07 2022-01-18 Samsung Electronics Co., Ltd. Device and method for displaying three-dimensional (3D) image

Similar Documents

Publication Publication Date Title
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
EP2786583B1 (en) Image processing apparatus and method for subpixel rendering
US9826222B2 (en) Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
KR102270131B1 (ko) 스파스 샘플링 슈퍼-해상도를 가진 니어-아이 디스플레이
KR102240568B1 (ko) 영상 처리 방법 및 장치
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
EP2562581A1 (en) Three-dimensional video display device and three-dimensional video display method
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP2015070618A (ja) ユーザの目の位置に基づくレイヤードディスプレイ方式のための映像生成装置及びディスプレイ装置
US20120169724A1 (en) Apparatus and method for adaptively rendering subpixel
US20140247329A1 (en) Image processing device, stereoscopic image display apparatus, image processing method and image processing program
JP5924046B2 (ja) 表示装置および方法、情報処理装置および方法、並びにプログラム
KR20180057294A (ko) 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR102240564B1 (ko) 영상 렌더링 장치 및 방법
KR20150121386A (ko) 입체 영상 표시 장치 및 영상 처리 방법
KR102463170B1 (ko) 3차원 영상을 표시하는 장치 및 방법
KR102279816B1 (ko) 무안경 입체영상표시장치
KR20150039060A (ko) 사용자의 눈의 위치에 기초하는 레이어드 디스플레이 기법을 위한 영상 생성 장치 및 디스플레이 장치
US11828936B1 (en) Light field display tilting
US8368744B2 (en) Image display apparatus, image processing device, and image processing method
KR20200072623A (ko) 3차원 영상을 표시하는 장치 및 방법
WO2021182265A1 (ja) 表示装置
US11172190B2 (en) Stereo weaving for head-tracked autostereoscopic displays
KR102276252B1 (ko) 3d 필터의 부착오차가 보정된 입체영상표시장치 및 부착오차 보정방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination