KR102549398B1 - 시간 다중화를 이용한 시각적 디스플레이 - Google Patents

시간 다중화를 이용한 시각적 디스플레이 Download PDF

Info

Publication number
KR102549398B1
KR102549398B1 KR1020177023126A KR20177023126A KR102549398B1 KR 102549398 B1 KR102549398 B1 KR 102549398B1 KR 1020177023126 A KR1020177023126 A KR 1020177023126A KR 20177023126 A KR20177023126 A KR 20177023126A KR 102549398 B1 KR102549398 B1 KR 102549398B1
Authority
KR
South Korea
Prior art keywords
image
display
images
sub
partial
Prior art date
Application number
KR1020177023126A
Other languages
English (en)
Other versions
KR20170104603A (ko
Inventor
후안 카를로스 미나노
파블로 베니테즈
Original Assignee
테세랜드 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 테세랜드 엘엘씨 filed Critical 테세랜드 엘엘씨
Publication of KR20170104603A publication Critical patent/KR20170104603A/ko
Application granted granted Critical
Publication of KR102549398B1 publication Critical patent/KR102549398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B25/00—Eyepieces; Magnifying glasses
    • G02B25/001—Eyepieces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0804—Catadioptric systems using two curved mirrors
    • G02B17/0816—Catadioptric systems using two curved mirrors off-axis or unobscured systems in which not all of the mirrors share a common axis of rotational symmetry, e.g. at least one of the mirrors is warped, tilted or decentered with respect to the other elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G02B17/0856—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors
    • G02B17/086—Catadioptric systems comprising a refractive element with a reflective surface, the reflection taking place inside the element, e.g. Mangin mirrors wherein the system is made of a single block of optical material, e.g. solid catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Lenses (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

각각이 주어진 이미지의 부분을 나타내고 함께 주어진 이미지를 나타내는 일련의 부분 실제 이미지들을 생성함으로써 주어진 이미지가 디스플레이되고, 부분 실제 이미지들의 적어도 일부는 중첩하는 위치를 차지한다. 부분 실제 이미지들은 눈 위치로부터 보일 수 있는 서브 이미지를 형성하도록 연속으로 이미징된다. 서브 이미지는, 상이한 부분 실제 이미지의 상기 중첩하는 부분들이 가상 이미지의 상이한 부분을 형성하도록, 눈 위치로부터 보일 수 있는 가상 이미지를 형성하도록 공간적 및 시간적으로 결합된다. 부분 실제 이미지는 디지털 디스플레이 또는 다른 디스플레이 상에 디스플레이될 수 있고, 각각 하나 이상의 렌즈릿을 이용하는 광학 채널들에 의해 이미징될 수 있다.

Description

시간 다중화를 이용한 시각적 디스플레이
[관련 출원의 교차 참조]
본 출원은 통상적으로 발명되고 양도된 "Immersive Compact Display Glasses"에 대한 2015년 1월 21일자 출원의 미국 임시 특허 출원 제62/105,905호와 2015년 8월 21일자 출원의 미국 임시 특허 출원 제62/208,235호의 이익을 주장한다. 이 출원들은 모두 전문이 본 명세서에 참조로서 편입된다. 본 출원은, 전문이 본 명세서에 참조로서 편입되는, 통상적으로 발명되고 양도된 "Immersive Compact Display Glasses"에 대한 2015년 5월 28일 발행된 국제 특허 출원 제WO2015/077718호와 관련된다.
[기술 분야]
본 출원은 시각적 디스플레이에 관한 것으로, 특히 헤드 마운트 디스플레이 기술에 관한 것이다.
1. 인용된 참조 문헌
통상적으로 발명되고 양도된, 아래에서 "PCT1"라 하는 "Immersive compact display glasses"에 대한 2015년 5월 28일 발행된 국제 특허 출원 제WO2015/077718호.
A. Bruckner 등의 Thin wafer-level camera lenses inspired by insect compound eyes, Opt. Exp. Vol. 18, no. 14 (2010) ("Bruckner 2010").
A. Bruckner의 "Microoptical Multi Aperture Imaging System" Ph.D. Thesis dissertation Friedrich Schiller University, Jena, Germany, 2011 http:/ /www.db-thueringen.de/servlets/DerivateServlet/Derivate-24992/br%C3%BCckner/ dissertation_a_brueckner_Multi_Aperture_Imaging_Systems_2011_12_22.pdf ("Bruckner 2011")
D. Cheng 등의 Design of a wide-angle, lightweight head-mounted display using free-form optics tiling, Opt. Lett. 36, 2098-2100 (2011) ("Cheng 2011").
C. Chinnock, Why Counting RGB sub-pixels isn't the Best Way to Measure Resolution, Insight Media Display Intelligence (3 Morgan Ave. Norwalk, CT 06581 USA), November 13th, 2015. http://www.insightmedia.info/insight-media-releases-new-white-paper-on-sub-pixel-rendering-and-resolution/ ("Chinnock 2015")
J. Duparre and R. Volkel, Novel Optics / Micro Optics for Miniature Imaging Systems, Proc. SPIE　6196, Photonics in Multimedia, 619607 (April　21,　2006); doi:10.1117/12.662757 ("Duparre 2006").
D. Fattal, Z. Peng, T. Tran, S. Vo, M. Fiorentino, J. Brug 및 R. G. Beausoleil, "A multi-directional backlight for a wide-angle, glasses-free three-dimensional display", Nature, vol. 495, 7441, pp 348-351, 2013. DOI: 10.1038/nature11972 ("Fattal 2013")
F. Heide, D. Lanman, D. Reddy, J. Kautz, K. Pulli, D. Luebke, Cascaded Displays: Spatiotemporal Superresolution using Offset Pixel Layers doi:10.1145/2601097.2601120 ("Heide 2014")
F. Huang, K. Chen, G. Wetzstein. "The Light Field Stereoscope: Immersive Computer Graphics via Factored Near-Eye Light Field Displays with Focus Cues", ACM SIGGRAPH (Transactions on Graphics 33, 5), 2015 ("Huang 2015")
S. Liu 및 H. Hua, "Time-multiplexed dual-focal plane head-mounted display with a liquid lens," Opt. Lett. 34, 1642-1644 (2009) ("Liu 2009").
P. Llull, N. Bedard,W. Wu, I. Tocic, K. Berkner, and N. Balram Design and optimization of a near-eye multifocal display system for augmented reality doi: 10.1364/AOMS.2015.JTH3A.5 ("Llull 2015")
A. Maimone, R. Chen, H. Fuchs, R. Raskar, G. Wetzstein. "Wide Field of View Compressive Light Field Display using a Multilayer Architecture and Tracked Viewers", Journal of the Society for Information Display, 2015 ("Maimone 2015")
J.E. Melzer, Overcoming the Field of View: Resolution Invariant in Head Mounted Displays, SPIE Vol. 3362, 1998 ("Meltzer 1998")
John R. Moore　; Neil A. Dodgson　; Adrian R. L. Travis　and Stewart R. Lang, Time-multiplexed color autostereoscopic display,　Proc. SPIE　2653, Stereoscopic Displays and Virtual Reality Systems III, 10 (April 10, 1996); doi:10.1117/12.237418) ("Moore 1996").
A Shilov, "Toshiba Develops High-Speed, High-Contrast Active Shutter 3D Glasses", http://www.xbitlabs.com/news/monitors/display/20100519223434_Toshiba_Develops_High_Speed_High_Contrast_Active_Shutter_3D_Glasses.html, 05/19/2010, ("Shilov 2010")
G. Wetzstein, D. Lanman, M. Hirsch, R. Raskar, Tensor displays: compressive light field synthesis using multilayer displays with directional backlighting, Siggraph 2012. DOI: 10.1145/2185520.2185576 ("Wetzstein 2012")
R. Winston, J. C. Minano, and P. Benitez, Nonimaging optics, New York: Elsevier-Academic Press, 2005 ("Winston 2005")
2. 정의:
채널(channel): 동일한 서브 프레임 슬롯 동안 개방되는 렌즈릿(lenslet)의 집합. 셔터가 사용될 때, 동일한 채널의 렌즈릿은 동일한 셔터를 공유할 수 있거나, 또는 동기된 셔터를 가질 수 있다. 채널은 디스플레이 상의 부분 이미지를 가상 스크린 상의 서브 이미지로 이미징하는 단일 렌즈릿으로 구성될 수 있다. 채널은 디스플레이 상의 중첩하지 않는 부분 실제 이미지(partial real image)를 가상 스크린 상의 서브 이미지로 동시에 이미징하는 2 이상의 렌즈릿을 포함할 수 있고, 부분 실제 이미지는 그 다음 디스플레이 상에 인터럽트되지 않은 이미지의 부분들을 형성하지 않도록 배열될 수 있다. 채널은 디스플레이 상의 하나의 부분 실제 이미지의 중첩하는 부분적을 가상 스크린 상의 서브 이미지의 중첩하는 부분으로 동시에 이미징하는 2 이상의 렌즈릿을 포함할 수 있다.
클러스터(cluster): 주어진 렌즈릿(lenslet)을 통해 동공 범위(pupil range)를 조명하는 o 픽셀(opixel)의 집합. 동일한 클러스터에 속하는 o 픽셀은 서로 인접한다; 클러스터들은 위상학적으로(topologically) 연결된 집합이다. 클러스터의 개수는 렌즈릿의 개수와 동일하다. 시간 다중화에 있어서, 상이한 서브 프레임 슬롯의 클러스터들은 교차할 수 있다.
디지털 디스플레이(digital display): 자체 발광하거나(예를 들어, OLED 디스플레이) 또는 프론트 라이트(frontlight) 시스템 또는 백라이트 시스템(예를 들어, LCD나 LCOS)에 의해 외부적으로 조명될 수 있는, 빛을 변조하는 컴포넌트(전형적으로는 전자 부품). 변조는 통상적으로 시간적이고(이미지가 시간에 따라 변화될 수 있다) 또한 공간적이다(이미지가 디지털 디스플레이 상의 위치에 따라 변화될 수 있다). 일부 특수한 디지털 디스플레이는 시간 및 공간적 변조에 더하여 각도 변조를 생성할 수 있다. 이러한 특수한 디스플레이는 광 필드 디스플레이(Light Field Display)이라 한다.
눈 동공(eye pupil): 눈 외부로부터 보이는 눈 각막을 통한 눈의 내부 홍채 에지의 이미지. 시각적 광학 기기에서, 눈의 광학계의 입력 동공(input pupil)으로 참조된다. 이의 경계는 통상적으로 조명 레벨에 따라 3 내지 7 mm 지름의 원이다.
안구(eye sphere): 눈 회전의 대략적인 중심에 중심을 두는 구이며, 그 중심까지의 눈 동공의 평균 거리와 동일한 반지름을 갖는다(일반적으로 13 mm). 장치를 설계하는데 있어서 실용적인 이유로, 눈 및 시청자의 다른 부분은 장치에 상대적인 의도된 위치에 있는 성인인 인간의 전형적인 치수에 의해 표현된다.
시야(field of view): 양안이 정면을 향하여 바라보며 쉬고 있을 때 눈 동공 중심으로부터 가상 스크린이 대하는 수평 및 수직의 전체 각도 내에 있는 영역. 약어로 FoV라 한다.
프레임 시간(frame time): 이미지를 형성하는 완전한 서브 프레임 집합이 한번 보이는 기간. 프레임 디스플레이 시간이라고도 한다.
가드(guard): 활성 o 픽셀을 포함하지 않는 디지털 디스플레이의 인접한 클러스터들 사이의 복도(corridor). 가드는 광학 기기 위치 설정에 대한 소정의 허용 오차를 보증하면서 광학적 크로스토크(optical crosstalk)를 방지한다.
인간 각도 해상도(human angular resolution): 평균적인 완벽한 시력을 갖는 인간의 눈에 의해 구별 가능한 2개의 점원(point source)이 대하는 최소 각도. 각도 해상도는 주변 각도(peripheral angle)와 조명 레벨의 함수이다.
i 픽셀(ipixel): 동일한 웹(web)에 속하는 o 픽셀의 가상 이미지. 바람직하게는, 이 가상 이미지는 눈으로부터 소정의 거리(2m에서 무한대까지)에 형성된다. 또한, 이는 눈이 보는 가상 스크린의 픽셀로서 고려될 수 있다. 디지털 디스플레이로서 광 필드 디스플레이를 이용할 때, i 픽셀은 일반적으로 눈으로부터 고정된 거리에 있지 않을 것이며, 그 거리는 프레임별로 달라질 수 있다.
렌즈릿(lenslet): 디지털 디스플레이로부터 광을 수집하고 이를 안구로 투사하는 광학 기기 어레이의 개별 광학 기기의 각각의 광학 기기. 각각의 렌즈릿은 하나 이상의 광학 표면에 의해 형성될 수 있다. 클러스터당 하나의 렌즈릿이 있다. 렌즈릿은 이의 클러스터의 o 픽셀의 연속 이미지를 i 픽셀로 형성하도록 설계된다. 시간 다중화에 있어서, 그리고 셔터가 사용될 때, 보통 렌즈릿 당 하나의 셔터가 있다.
개방 클러스터(open cluster): 시간 다중화에 있어서, 개방 채널을 통해 서브 프레임 슬롯 동안 가상 스크린 상에 이미징되는 클러스터. 셔터가 사용될 때, 개방 클러스터는 셔터가 개방된 것이다. 개방 클러스터의 렌즈릿은 개방 렌즈릿이다. 시간 다중화가 없을 때, 임의의 클러스터는 개방된 클러스터이다. 동일한 서브 프레임 슬롯의 임의의 2개의 개방된 클러스터의 교집합은 공집합이고, 동일한 서브 프레임 슬롯의 모든 개방된 클러스터와 비활성 영역의 합집합은 전체 디지털 디스플레이이다.
개방 렌즈릿(open lenslet): 시간 다중화에 있어서, 개방 채널에 속하는 렌즈릿. 셔터가 사용될 때, 개방 렌즈릿은 셔터가 개방된 렌즈릿이다. 시간 다중화가 없을 때, 임의의 렌즈릿은 개방된 렌즈릿이다.
o 픽셀(opixel): 디지털 디스플레이의 물리적 픽셀.
디지털 디스플레이의 물리적 픽셀. 디스플레이된 이미지에 기여하도록 조명된 활성 o 픽셀과, 절대로 조명되지 않는 비활성 o 픽셀이 있다. 활성 o 픽셀이 조명될 때, 이의 조명된 광선(ray)의 실질적인 부분이 이의 클러스터의 렌즈릿의 동공 범위 내부에서 안구에 부딪힌다. 비활성 o 픽셀이 조명되면, 이의 광선은 아마도 동공 범위 외부의 안구에 부딪힐 것이다. 비활성 o 픽셀은, 예를 들어, 디스플레이가 그 o 픽셀 위치에서 이를 기능적이게 하는 적어도 하나의 필수 하드웨어 요소(OLED 재료, 전기적 연결)가 없기 때문에 또는 이것이 소프트웨어에 의해 어드레싱될 수 없기 때문에, 물리적으로 실제로 존재하지 않을 수 있다. 비활성 o 픽셀의 사용은 전력 소비 및 관리되는 정보의 양을 줄인다.
모든 활성 o 픽셀은 단일의 개방 클러스터에 속하고, 서브 프레임 슬롯 동안 단일 웹(web)에 속한다.
광학 크로스토크(optical cross-talk): 하나의 o 픽셀이 2 이상의 i 픽셀 내로 이미징되는 바람직하지 않은 상황.
동공 범위(pupil range): 대응하는 렌즈릿을 통해 단일 클러스터에 의해 조명되는 안구의 영역. 눈 동공이 주어진 렌즈릿의 동공 범위와 교차할 때, 이의 대응하는 클러스터에 대응하는 이미지는 망막에 투사된다. 실용적인 몰입형 설계를 위하여, 안구에서 15도의 전체 각도의 원을 포함하는 동공 범위는 충분하다. 평균적인 인간에 대한 모든 액세스 가능한 눈 동공 위치의 합집합의 경계는 대략적으로 전방 방향에 대하여 각진 60도의 수평 반축과 45도의 수직 반축을 갖는 타원이다.
서브 프레임 슬롯(sub-frame slot): 프레임 기간이 분할되는 일련의 시간 슬롯들 중 하나. 서브 프레임 슬롯은 기수로, 즉 제1 서브 프레임 슬롯, 제2 서브 프레임 슬롯 등으로 칭해진다. 임의의 클러스터(또는 렌즈릿)은, 적어도, 하나의 서브 프레임 슬롯 동안 개방 클러스터(또는 개방 렌즈릿)이다.
서브 이미지(sub-image): 한 프레임 동안 가상 프레임에 보여지는 이미지는 서브 이미지라 하는 여러 부분으로 분할된다. 이러한 서브 이미지들의 각각은 단일 채널을 통해 이미징되고, 이는 하나 이상의 서브 프레임 슬롯 동안 보여진다.
시간 다중화(time multiplexing): 한 프레임 동안 가상 스크린 상에 보여지는 이미지는 서브 이미지라 하는 여러 부분으로 분할된다. 이러한 부분들은 시분할 다중화(time-division multiplexing(TDM)) 스킴으로 보여진다. 즉, 각각의 부분은 프레임 기간의 서브 프레임 슬롯 동안 보여진다. 프레임의 마지막에, 모든 이미지 부분이, 적어도, 하나의 서브 프레임 슬롯 동안 보여진다.
가상 스크린(virtual screen): 보통 가상적이며, i 픽셀을 포함하는 평면으로, 바람직하게는 눈과 동심인 구의 표면의 영역이며, 2m에서 무한대까지의 범위 내의 반지름을 갖는다. 광 필드 디스플레이가 사용될 때, 가상 스크린은 더 이상 구(spherical) 상태의 표면이 아니지만, i 픽셀의 광선이 수렴하는 점의 자취(locus)이다.
웹(web): 동일한 서브 프레임 슬롯 동안 동일한 i 픽셀의 정보를 디스플레이하는 활성 o 픽셀의 집합. 동일한 서브 프레임 슬롯 동안, 개방 렌즈릿을 통해 보이는 웹과 i 픽셀 사이에는 일대일 대응 관계가 있다. 렌즈릿 설계는 모든 웹의 모든 o 픽셀을 이의 대응하는 i 픽셀로 이미징하는 것을 목적으로 한다.
동일한 서브 프레임 슬롯의 임의의 2개의 웹의 교집합은 공집합이고, 모든 웹과 비활성 영역의 합집합은 전체 디지털 디스플레이이다. 이것은 모든 활성 o 픽셀이 단일 i 픽셀 상으로 이미징될 것이라는 것을 의미한다.
4. 종래 기술
4.1 헤드 마운트 디스플레이
헤드 마운트 디스플레이(Head Mounted Display(HMD)) 기술은 빠르게 발전하는 영역이다. 헤드 마운트 디스플레이 기술의 일 양태는 완전한 몰입형 시각적 환경(가상 현실로서 설명될 수 있다)을 제공하여, 사용자는 하나 이상의 디스플레이에 의해 제공된 이미지만을 관찰할 수 있고, 외부 환경은 시각적으로 차단된다. 이러한 장치는 엔터테인먼트, 게임, 군사, 의료 및 산업과 같은 영역에서 적용예를 갖는다. Ismael 등의 미국 특허 출원 공보 제2010/0277575 A1호에서, 이러한 장치의 일례에 대한 설명이 있다. HMD의 기본적인 광학적 기능은 Mizukawa에 허여된 미국 등록 특허 제5,390,047호에서 설명된 것과 같은 스테레오 뷰어(stereoviewer)의 광학적 기능이다.
헤드 마운트 디스플레이는 통상적으로 하나 또는 2개의 디스플레이와, 디스플레이를 사용자의 눈에 의해 시각화되는 가상 스크린으로 이미징하는 이의 대응하는 광학 시스템과, 외부 환경을 시각적으로 차단하고 언급된 컴포넌트에 대한 구조적 지지를 제공하는 헬멧으로 이루어진다. 또한, 디스플레이는 디스플레이에 의해 제공된 이미지가 사용자의 움직임에 따라 변화하도록 동공 추적기(pupil tracker) 및/또는 머리 추적기(head tracker)를 가질 수 있다.
이상적인 헤드 마운트 디스플레이는 고해상도, 큰 시야, 가볍고 잘 분산된 중량 및 작은 치수의 구조를 결합한다. 일부 기술이 이러한 원하는 특징을 개별적으로 성공적으로 성취하지만, 지금까지 이 모두를 결합할 수 있었던 알려진 기술은 없었다. 이는 사용자에 대하여 불완전하거나 심지어 불편한 경험을 초래한다. 문제점은, 낮은 정도의 현실성과 눈의 스트레스(낮은 해상도 또는 광학적 이미징 품질), 몰입형 환경 형성의 실패(작은 시야), 또는 사용자의 머리에 대한 과도한 압력(과도한 중량)을 포함할 수 있다.
해상도를 유지하면서 시야를 증가시키는데 사용되는 한 가지 접근 방식은, 타일링(tiling), 즉, 동일한 평면이 아니라 모자이크 패턴으로 배열된 여러 디스플레이를 눈마다 이용하는 것이다. 이 접근 방식은 Melzer 1998 또는 Cheng 2011에 제공된다. 또한, Massof에 허여된 미국 등록 특허 제6,529,331 B2호도 이 해결 방안을 제공한다.
렌즈릿 어레이는, 다중 어퍼처 카메라(multi-aperture cameras) 분야에서, 가상 기계 센서에서 상당한 적용예를 발견하였다. 이는 컴팩트함을 제공하는 작은 초점 길이를 이용하면서 전체 시스템의 시야를 증가시키는 능력을 가진다. 곤충의 눈의 영감을 받은 렌즈릿 어레이 기반의 센서에 대한 2가지 주요 접근 방식이 있다: (1) 병립 시스템(apposition system) 및 (2) 중첩 시스템(superposition system). 중첩 시스템은 환경의 단일 실제 이미지를 형성하는 단일 센서 영역을 조명하는 여러 이웃하는 렌즈를 이용한다. 병립 시스템에서, 표면에서의 단일 실제 이미지 형성은 없다.
병립 다중 어퍼처 카메라 시스템의 여러 하부 유형이 있으며, 본 개시 내용에서 렌즈릿마다 다수의 픽셀이 있지만, 가장 알려진 것은 렌즈릿마다 하나의 픽셀만을 이용하는 것이다. 본 병립 렌즈릿 어레이 시스템의 일례는 Bruckner 2011의 28 페이지에서 찾아볼 수 있다. 다른 예는, 역시 비점수차(astigmatism)를 보정하기 위하여 단일측 토로이달(toroidal) 렌즈릿이 개시되는, Duparre 2006에서 찾아볼 수 있다.
두 번째 유형의 병립 다중 어퍼처 카메라 시스템은 각각의 렌즈릿이 FoV의 관련된 부분을 전달하고, 인접한 부분 이미지 사이의 교집합에서의 이미지 상세가 보존되는 방식으로 인접한 부분 이미지가 광학적으로 함께 스티치되는 광학 스트칭(stitching)을 이용한다. 일례는 Bruckner 2011의 75페이지에 있는 Optical Cluster Eye에서 찾아볼 수 있다. Bruckner의 시스템에서, 각각의 렌즈릿은 시야(Field of VIew(FoV))의 중첩하지 않는 부분을 캡처한다. 이것은 각각의 렌즈릿에 의해 캡처된 FoV가 다른 것과 중첩하여 크로스토크를 방지하기 위한 마스크를 필요로 하지 않는 PCT1에 개시된 장치와 대조적이다. Brucker는 렌즈릿 대신에 "광학 채널(optical channel)"이라는 단어를 사용한다. 우리는 여기에서 일관성 있도록 이를 수정하였다.
세 번째 유형의 병립 다중 어퍼처 카메라 시스템은 세그먼트의 전자 스티칭을 이용한다. Bruckner 2010에서, 각각의 렌즈릿에서 전체 FoV의 일부만이 기록되고 소프트웨어 처리를 이용하여 부분 이미지 모두를 스티칭함으로써 최종 이미지가 형성되도록, 다중 렌즈릿 접근 방식을 이용하는 시스템이 사용된다. 전자 스티칭을 이용하는 다중 어퍼처 카메라에서, 렌즈릿의 피치는, 그 시야를 넓히고 센서 영역을 최소화하기 위하여 센서에서 조명된 섹터의 피치보다 항상 더 크다. 이것은 카메라의 입력 동공이 센서의 뒤에 위치된 가상적인 것이고, 그 위치 및 형상은 관련 없으며 설계에서 고려되지 않는다는 것을 의미한다.
"증가 샘플링(increased sampling)"이라고 하는 다중 어퍼처 카메라에 대한 다른 종래 기술의 접근 방식이 동일한 참조 문헌인 Bruckner 2010의 24384 페이지(또한 Bruckner 2011의 38 페이지)에 제공된다. PCT1의 도 2에 제공된 바와 같이, 각각의 인접한 렌즈릿 쌍의 부분 이미지가 더 낮은 초첨 길이에 대하여 더 높은 해상도를 가능하게 하도록 "꼬아지고(braided)", 픽셀의 섹터를 통해 센서로 초점에 맞추어진다. Brucker에 의해 설명되는 꼬음(braiding)은 센서 대 필드(sensor-to-field) 매핑에서 리던던시(redundancy)를 완전히 제거한다. 즉, 센서에서의 픽셀(본 명세서에서는 o 픽셀이라 한다)과, 이 o 픽셀의 이미지, 즉 필드에서의 픽셀(본 명세서에서는 i 픽셀이라 한다)의 사이에 전단사(bijective)(즉, 일대일) 매핑이 있다.
PCT1은 헤드 마운트 디스플레이를 위한 병립 유형의 광학 기기를 어떻게 설계하는지를 교시한다. 도 1(이는 PCT1의 도 3이다)은 디지털 디스플레이(0107)에서 o 픽셀에 의해 생성된 복합 이미지를 형성하는 단지 4개의 클러스터(0104t, 0104b, 0105t, 0105b)를 갖는 간단한 예를 도시한다. 이러한 o 픽셀들은 (간결함을 위하여 여기에서는 직사각형 윤곽을 갖는 평면으로 그려진) 가상 스크린(0108) 상에서 i 픽셀의 이미지를 형성하기 위한 렌즈릿 어레이 광학 기기에 의해 투사된다. 매 o 픽셀은 단일 클러스터에 속한다(임의의 2개의 클러스터의 교집합은 공집합이며, 모든 클러스터의 합집합은 전체 디지털 디스플레이이다).
각각의 클러스터는 가상 스크린 상에서 이미지의 일부를 디스플레이한다. 인접한 클러스터는 소정의 시프트를 갖는 이미지의 부분을 디스플레이한다. 이미지의 일부 부분은 2 이상의 클러스터에 나타난다. 이것이 왜 필요한지 설명하기 위하여, 2차원의 개략도가 도 1의 상부에 추가되었다. 이것은 o 픽셀과 i 픽셀 사이의 매핑의 에지를 정의하기 위한 관련 광선을 도시한다. 이 도면에서, i 픽셀을 갖는 가상 스크린이 무한대에 위치되고, 따라서 광선(0100a, 0101a, 0102a 및 0103a)의 방향은 가상 스크린 상의 i 픽셀의 위치를 나타낸다. 도면은 간결함을 위하여 2차원적이지만, 도 1에서 하부 왼쪽에 이미지를 투사하는 실제 장치는 3차원적이며, 도 1의 상부에서의 개략도에서는 0104 및 0105로 표시된 2개뿐만이 아닌, 위에 2개와 아래에 2개인 4개의 렌즈릿을 포함한다. 2차원 스킴은 o 픽셀과 i 픽셀 사이의 매핑의 수평 좌표를 설명하는데 사용되며, 유사한 추론이 수직 좌표에 적용된다.
가상 스크린의 수평의 규모는 0100a로부터 0103a로 연장한다. 왼쪽 클러스터(0104t, 0104b)에 나타난 이미지 부분은 가상 스크린(0108) 상에서 수직선(0100a, 0102a)을 정의하는 동공 범위(0106)의 에지에 도달하는 에지 광선(0100a, 0102a)에 의해 제공된다. 유사하게, 오른쪽 클러스터(0105t, 0105b)에 나타난 이미지 부분은 가상 스크린(0108) 상에서 2개의 수직선을 정의하는 에지 광선(0101a, 0103a)에 의해 제공된다. 따라서, 0101a와 0102a 사이의 가상 스크린(0108)의 부분은 왼쪽 클러스터와 오른쪽 클러스터 모두에 디스플레이될 것이다. 구체적으로는, 렌즈릿(0104)은 가상 스크린의 에지 광선(0100a, 0102a)을 디지털 디스플레이(0107) 상의 0100b 및 0102b 상으로 매핑한다. 유사하게, 렌즈릿(0105)은 에지 광선(0101a, 0103a)을 디지털 디스플레이(0107) 상의 0101b 및 0103b 상으로 매핑한다. 광학 설계는 클러스터가 중첩하지 않는 것을 보증하여야 하며, 이는 0101b와 0102b가 일치할 때 디지털 디스플레이의 최대 사용으로 성취된다. 하부 클러스터(0104b, 0105b)와의 상부 클러스터(0104t, 0105t)의 유사한 정렬이 도 1로부터 명백하다.
클러스터에 대한 정보의 부분적인 일치 때문에, i 픽셀(ip1)이 4개의 o 픽셀(op11, op12, op13, op14)의 투사에 의해 형성된다. o 픽셀의 이 집합은 i 픽셀(ip1)의 "웹(web)"이라 한다. ip1과 같은 가상 스크린의 중심에 위치된 i 픽셀의 웹은 4개의 o 픽셀 각각을 포함한다. 그러나, 가상 스크린의 경계에 가까운 i 픽셀의 웹은 더 적은 o 픽셀을 가질 수 있다. 예를 들어, i 픽셀(ip2)의 웹은 단지 2개의 o 픽셀(op21, op22)만을 포함하며, ip3의 웹은 op31만을 포함한다.
4.2 시간 다중화(Time multiplexing)
시각적 디스플레이에서 해상도를 증가시키는데 사용되는 오래된 접근 방식은 시분할 다중화(time-division multiplexing(TDM)) 스킴에 기초한다. 이는 전기 광학 디스플레이에서 생성된 이미지의 빠른 변화에 비하여 인간의 망막에서의 이미지의 상대적으로 긴 지속성에 의존한다. 또한, 이것은 음극선관(cathode ray tube(CRT))의 기초이며, 여기에서 CRT의 스크린 상에서의 음극 빔이 래스터 주사(raster scan)될 때 스크린의 인광 물질과 우리의 망막의 결합된 지속성이 단일 주사점(단지 하나의 점만이 한 시점에서 묘사된다)으로부터의 정적인 이미지의 환영을 형성한다.
망막 상에 전체 이미지를 형성하는데 사용되는 시간이 지속 시간보다 크지 않다면, TDM은 망막 상에 프레임의 이미지를 한 번에 모두가 아니고 순차적으로 형성할 수 있게 한다. 한 프레임 동안 가상 스크린 상이 보여져야 하는 이미지는 서브 이미지라 하는 여러 부분으로 분할된다. 이러한 부분들의 각각은 서브 프레임 슬롯이라 하는 시간 프레임의 일부 동안 보여진다. 시간 프레임의 마지막에, 적어도, 한 서브 프레임 동안 모든 이미지 부분이 보여진다.
시간 다중화 기술이 사용될 때, 프레임 이미지의 한 부분은 전체 이미지의 이 부분만을 형성하기 위하여 완전한 o 픽셀 집합을 이용하여 한 서브 프레임 슬롯에 디스플레이된다. 이미지의 이전 부분이 망막에 여전히 지속하는 동안, 이미지의 나머지 부분이 이후의 서브 프레임 슬롯에서 생성된다. 그 다음, 이미지의 해상도(i 픽셀의 전체 개수)는 디스플레이의 해상도(o 픽셀의 전체 개수)보다 더 클 수 있다.
TDM 기술은 많은 종류의 디지털 디스플레이에 적용되어 왔다. Chinnok 2015는 각각의 픽셀 내에서 2 이상의 서브 픽셀을 생성하기 위하여 디스플레이 패널에서 각각의 픽셀의 내부 구조를 활용함으로써 유효 해상도를 개선하기 위한 다수의 스킴을 설명한다. 그 다음, 더 높은 해상도의 이미지가 2 이상의 인터레이스된(interlaced) 서브 이미지로 분할되고, 각각의 디스플레이 픽셀은 하나의 서브 픽셀을 각각의 서브 이미지에 기여시킨다. 예를 들어, 도 2에 도시된 바와 같이, Panasonic은 10K 픽셀 이미지를 각각의 이미지가 공간에서 약간 시프트되면서 순차적으로 디스플레이되어 이에 따라 디스플레이된 서브 이미지가 Bruckner의 "증가 샘플링(increased sampling)"의 경우에서와 같이 인터레이스되거나 "꼬아지는(braided)" 4개의 2.5K 픽셀 이미지(예를 들어, 검은 색이 아닌 정사각형의 각각의 정사각형이 1개의 활성 서브 이미지 픽셀을 나타내는 도 2에서의 0201, 0202, 0203 및 0204 참조)로 분할함으로써, 2.5K 픽셀 디스플레이 상에 10K 픽셀 이미지를 형성할 수 있었다. 프로젝터는 초당 240 서브 프레임(fps)으로 동작한다. 이러한 서브 프레임의 각각의 서브 프레임이 4개의 서브 이미지 중 하나에 대응하기 때문에, 복합 이미지는 60 fps로 리플레시된다. 광학 요소와 함께 수행되는 시프트는 이미지를 완성하기 위하여 체크보드에서 채워진다.
또한, 시간 다중화는 높은 리프레시 레이트로 동작하고 고속 스위칭 방향성 백라이팅(즉, 저해상도 광 필드 이미터)으로 조명되는 다층 패널에 기초하여 오토멀티스코픽(automultiscopic) 디스플레이에서 사용된다(Wetzstein 2012 참조). 이 경우에, 이미지 픽셀은 이미지 평면의 작은 영역으로부터 나오는 모든 광선에 의해서가 아니라 소정의 위상 공간 영역을 점유하는 얇은 광선속(pencil of ray)에 의해 정의될 수 있다(즉, 공간 및 각도 정의를 가짐). TDM은 물리적 디스플레이의 동일한 부분으로부터 상이한 각도로 광선속을 생성하는데 사용된다.
Lacoste 등의 WO 2009156752 A1는 시간 다중화를 이용하는 HUD를 위한 홀로그래픽 디스플레이를 개시한다. Lacoste에 의해 개시된 구성의 일부에서, 이미지는 단색이고, 따라서 풀 컬러는 상이한 컬러의 이미지를 시간 다중화함으로써 성취된다. Lacoste에 의해 개시된 구성에서 서브 프레임 슬롯 동안 디스플레이된 이미지는 항상 완전하다. 즉, 이는 가상 스크린을 채운다. 단색 이미지의 이러한 시간 다중화는 종종 컬러 순차(color sequential)로서 알려져 있다. 또한, 컬러 순차는 예를 들어 액정 컬러 셔터를 이용하여 구현되어 왔다(Moore 1996 참조).
Liu 2009는 2개의 초점 평면까지 이미징하기 위하여 시간 다중화를 근안(near-eye) 디스플레이 시스템에 적용하였다. 각각의 서브 프레임 슬롯에서 디스플레이된 이미지는 전체 가상 스크린을 차지한다. 몇 년 후, Llull 2015는 6개의 초점 평면에 대하여 유사한 개념을 구현하였다. Liu 2009와 Llull 2015는 고속 초점 변조기(초점 길이가 빠르게 변화될 수 있는 액체 렌즈로 이루어짐)를 이용하여 상이한 초점 평면으로 여러 연속하는 이미지들(이들의 모두는 전체 가상 스크린을 차지한다)를 디스플레이함으로써 자신들의 목표를 달성한다. 이러한 상이한 이미지들은 각각의 프레임 시간 동안 디스플레이된다. 또한, Lacoste 등의 WO 2009/156752 A1는, Lacoste에서 홀로그램을 이용하는 것에 의하지만, 상이한 평면 이미지가 시간 다중화되는 구성을 개시한다.
본 출원의 일 양태에서, 디스플레이 안경은 눈마다 단일 디지털 디스플레이를 이용한다. 이미지는 일련의 서브 이미지들로서 보이고, 각각의 서브 이미지는 서브 프레임 슬롯이라 불리는 프레임 시간의 일부 동안에 보인다. 모든 서브 프레임 슬롯의 합집합은 프레임 디스플레이 시간이고, 모든 서브 이미지의 합집합은 가상 스크린 상에 보이는 전체 이미지를 형성한다. 서브 이미지들은, 시간에 있어서 교집합을 가지지 않는 서브 프레임 슬롯과는 달리, 공간에서 중첩할 수 있다. 디지털 디스플레이로부터 광을 수집하는 광학 기기는 상이한 채널로 분할된다; 각각의 채널은 전형적으로 단일 서브 프레임 슬롯과 단일 서브 이미지에 대응한다. "채널(channel)"이라는 용어는 신호 이론에서 취해지며, 이것은 시간 다중화에서 상이한 세그먼트에 대하여 사용된다. 모든 광학 채널은 디지털 디스플레이인 동일한 객체를 이미징하지만, 서브 이미지들이 일치하지 않기 때문에, 상이한 이미지 영역을 가진다. 이 요건은, 일반적으로, 각각의 광학 채널에 대하여 비대칭 구성을 암시한다; 그리고, 이러한 비대칭성이 자유형(freeform) 광학 설계(즉, 회전 대칭성이나 병진 대칭성(translational symmetry)을 가지지 않는 설계)로부터 혜택을 가지기 때문에, 본 출원에서 설명된 광학 장치는 자유형이다. 단일 채널은 2 이상의 렌즈릿을 포함할 수 있다. 결과적으로, 적용 도메인에서 연속인 단일 렌즈릿에 의해 구축된 매핑과는 달리, 채널에 의해 생성된 i 픽셀과 o 픽셀 사이의 매핑은 불연속일 수 있다.
다른 양태에서, 디스플레이 장치는, 실제 이미지를 생성하도록 동작 가능한 디스플레이와, 복수의 광학 채널을 포함하는 광학 시스템을 포함하고, 각각의 광학 채널은 하나 이상의 렌즈릿을 포함하고, 디스플레이로부터 눈 위치로 광을 투사하는 각각의 렌즈릿에 의해, 그 채널과 연관된 디스플레이 상에 하나 이상의 해당하는 부분 실제 이미지로부터 하나 이상의 서브 이미지를 생성하도록 마련된다. 서브 이미지는, 상이한 광학 채널이 디스플레이의 동일한 부분을 가상 이미지의 상이한 부분으로 이미징하도록 눈 위치로부터 볼 수 있는 가상 이미지를 형성하도록 결합된다. 광 스위칭 시스템은, 디스플레이로부터 동공 범위로 채널 중 선택된 채널을 통한 광의 흐름을 가능하게 하고 디스플레이로부터 동공 범위로 채널 중 다른 선택된 채널을 통한 광의 흐름을 방지한다. 광 스위칭 시스템은, 광학 채널을 통해 광이 연속적으로 흐를 수 있게 하기 위하여 광학 채널을 연속적으로 개방하도록 마련되고, 광학 채널의 각각이 개방되는 동안, 디스플레이는 채널과 연관된 하나 이상의 해당하는 부분 실제 이미지를 디스플레이하도록 마련된다.
다른 양태에서, 디스플레이 장치는, 실제 이미지를 생성하도록 동작 가능한 디스플레이와, 복수의 광학 채널을 포함하는 광학 시스템을 포함하고, 각각의 광학 채널은 하나 이상의 렌즈릿을 포함하고, 디스플레이로부터 눈 위치로 광을 투사하는 각각의 렌즈릿에 의해, 디스플레이 상에 해당하는 부분 실제 이미지로부터 서브 이미지를 생성하도록 마련된다. 서브 이미지는, 상이한 광학 채널이 디스플레이의 동일한 부분을 가상 이미지의 상이한 부분으로 이미징하도록 눈 위치로부터 볼 수 있는 가상 이미지를 형성하도록 결합된다. 광 스위칭 시스템은, 디스플레이로부터 동공 범위로 채널 중 선택된 채널을 통한 광의 흐름을 가능하게 하고 디스플레이로부터 동공 범위로 채널 중 다른 선택된 채널을 통한 광의 흐름을 방지한다. 동기화 컨트롤러는, 광학 채널 중 연관된 광학 채널을 통해 광이 흐르게 하도록 광학 채널 중 연관된 광학 채널을 개방하는 동안, 부분 실제 이미지들 중 연속된 부분 실제 이미지들을 디스플레이하기 위하여 디스플레이와 광 스위칭 시스템을 제어하도록 동작한다.
다른 양태에서, 주어진 이미지를 디스플레이하는 방법은, 각각이 주어진 이미지의 부분을 나타내고 함께 주어진 이미지를 나타내는 일련의 부분 실제 이미지들을 생성하는 단계로서, 부분 실제 이미지들의 적어도 일부는 공간적으로 중첩하는 위치를 차지하는 단계와, 눈 위치로부터 보이는 각각의 서브 이미지를 형성하기 위하여 부분 실제 이미지들을 연속으로 이미징하는 단계를 포함하고, 이에 따라 서브 이미지는, 상이한 부분 실제 이미지의 공간적으로 중첩하는 부분이 가상 이미지의 상이한 부분을 형성하도록 눈 위치로부터 보이는 가상 이미지를 형성하도록 공간적으로 결합된다.
다른 양태에서, 주어진 이미지를 디스플레이하는 방법은, 각각이 주어진 이미지의 부분을 나타내고 함께 주어진 이미지를 나타내는 일련의 부분 실제 이미지들을 생성하는 단계로서, 부분 실제 이미지들의 적어도 일부는 공간적으로 중첩하는 위치를 차지하는 단계와, 눈 위치로부터 보이는 서브 이미지를 형성하기 위하여 부분 실제 이미지들을 연속으로 이미징하는 단계를 포함한다. 서브 이미지는, 상이한 부분 실제 이미지의 공간적으로 중첩하는 부분이 가상 이미지의 상이한 부분을 형성하도록 눈 위치로부터 보이는 가상 이미지를 형성하도록 공간적으로 결합된다.
일 실시예에서, 서브 프레임 슬롯 동안 단지 하나의 채널만이 조명된다. 광이 다른 채널을 통해 들어오는 것을 방지하기 위하여, 디지털 디스플레이로서의 LCD와 함께 방향성 백라이트가 사용될 수 있다(예를 들어, Fattal 2013, Fattal에 허여된 US 9201270 B2 및 Wetzstein 2012 참조). 디지털 디스플레이의 각도 방출 패턴이, OLED 디스플레이 또는 비방향성 백라이트를 사용하는 LCD 디스플레이에서와 같이, 스위칭될 수 없을 때, 각각의 채널의 입구에서의(또는 광로에서의) 전자 셔터가 원하지 않는 채널을 통과하는 광을 차단하는데 사용될 수 있다. 잘못된 채널을 통해 지나가는 광은 고스트 서브 이미지를 형성할 수 있다. 전자 셔터는 강유전성 액정(ferroelectric liquid crystal(FLC))으로 이루어질 수 있다. 강유전성 액정은 전형적으로 100 ㎲ 아래에 있는 이의 빠른 스위칭 시간 때문에 유익하다.
일반적으로, 서브 이미지들은 중첩한다. 이 영역들이 2 이상의 서브 프레임 슬롯 동안 디스플레이되더라도, 이러한 중첩은 이 영역들이 중첩하지 않는 영역들보다 더 밝다는 것을 의미하지 않는다.
디스플레이 또는 디스플레이들은 광 필드 디스플레이(Light Field Display)라 불리는 종류(Huang 2015 참조), 특히 적층된 투과형 LCD에 의해 구현된 것으로 이루어질 수 있다. 사이에 분리기(separator)가 있는 단지 2개의 적층된 LCD를 갖는 LFD는 얇은 두께를 가지며, 매우 매력적이다. 광 필드 디스플레이는, 장치의 나머지와 함께, 타당한 비용과 부피로 폭주(vergence)-원근 조절(accommodation) 충돌을 해결하는데 도움을 준다. 이 충돌은 시각적 불편함과 피로, 안정 파로(eyestrain), 이중 시각(diplopic vision), 두통, 메스꺼움, 및 손상된 이미지 품질을 야기할 수 있으며, 심지어 어린이의 성장하는 시각계에 질환을 야기할 수 있다. 또한, 케스케이드된 디스플레이는 o 픽셀의 밀도(공간 해상도)를 증가시키는 데에만 사용될 수 있다. 특히, Heide 2014는 2층(dual layer) 디스플레이가 겉보기 공간 해상도를 4배로 하고 유효 리프레시 레이트를 2배로 할 수 있다는 것을 보여 주었다. Maimone 2015에서 설명된 바와 같이 눈이 추적될 때(그리고, 디스플레이된 정보가 그 시청자 위치로 제한될 때), 심도(depth of field)뿐만 아니라 공간 해상도가 훨씬 더 증가될 수 있다.
디스플레이 장치는 하나 이상의 사운드 생성 장치 및/또는 카메라와, 카메라에 의해 캡처된 이미지를 디스플레이상에 재생하도록 동작하는 디스플레이 드라이버, 또는 입체적인 사운드 또는 영상을 제공하기 위하여 이들 중 2개 또는 각각을 더 포함할 수 있다.
장치는 머리 추적 장치와, 물리적 지면에 고정된 이미지를 디스플레이에 재생하도록 동작하는 디스플레이 드라이버를 더 포함할 수 있다.
디스플레이 장치는 사용자의 시각의 내부 동공(interpupil) 거리 및/또는 결함을 보상하기 위하여 렌즈릿 어레이로부터 디지털 디스플레이까지의 거리를 조정하기 위한 시스템을 더 포함할 수 있다.
장치는 눈 추적 장치와, 광학 기기를 통해 보일 때, 눈 추적 장치에 의해 검출된 눈 위치에서 인식 가능하고 다른 눈 위치에서는 반드시 그럴 필요가 없는 이미지를 디스플레이 상에 재생하도록 동작하는 디스플레이 드라이버를 더 포함할 수 있다.
일련의 부분 실제 이미지들이 디스플레이 상에 생성될 수 있고, 부분 실제 이미지들 중 적어도 하나는 디스플레이의 실질적으로 전체 활성 영역을 차지할 수 있다.
일련의 부분 실제 이미지들이 디스플레이상에 생성될 수 있고, 부분 실제 이미지들 중 적어도 2개는 디스플레이의 중첩하지 않는 부분을 차지할 수 있고, 연속하여 이미징하는 단계는, 그 다음, 이 2개의 부분 실제 이미지를 동시에 이미징할 수 있다. 이어서, 디스플레이는 이 2개의 부분 실제 이미지를 디스플레이할 수 있고, 디스플레이된 부분 실제 이미지들의 합집합과 연관된 광학 시스템의 부분들이 단일의 개방된 광학 채널로서 동시에 활성화될 수 있다.
광 스위칭 시스템은 광이 채널 중 연관된 채널을 통해 흐르는 것을 선택적으로 방지하도록 동작하는 셔터를 포함할 수 있다. 대신에, 또는 추가로, 광 스위칭 시스템은 광이 디스플레이의 선택된 부분으로 또는 디스플레이의 선택된 부분으로부터 흐르는 방향을 제어하도록 동작할 수 있다.
부분 실제 이미지들을 연속으로 이미징하는 단계는, 동시에 디스플레이된 부분 실제 이미지들의 세트를 연속으로 이미징하는 단계를 포함할 수 있고, 적어도 하나의 세트는 복수의 중첩하지 않는 부분 실제 이미지들을 포함한다.
연속으로 이미징하는 단계는, 반복하는 시퀀스로 주기적으로 채널을 통해 광이 흐르게 허용하는 단계를 포함할 수 있다. 각각의 채널은 개방될 수 있으며, 해당하는 부분 실제 이미지가 반복하는 시퀀스로 주기적으로 동시에 디스플레이될 수 있다.
적어도 하나의 채널은 디스플레이의 하나의 공간적으로 연속하는 부분을 하나의 공간적으로 연속하는 부분 가상 이미지로 함께 이미징하는 병렬로 배열된 2개의 렌즈릿을 포함할 수 있다.
방법은, 입력 이미지를 수신하는 단계, 입력 이미지의 부분들을 각각이 한 위치에 할당된 부분 입력 이미지들로서 정의하는 단계, 및 대응하는 서브 이미지가 입력 이미지의 연속된(uninterrupted) 가상 이미지를 형성하기 위하여 정렬되도록 위치 설정된 부분 실제 이미지들로서 부분 입력 이미지들을 생성하는 단계를 더 포함할 수 있다. 디스플레이 장치는, 입력 이미지를 수신하고, 디스플레이 상의 부분 실제 이미지 위치에 각각 할당된 부분 입력 이미지를 생성하여, 생성된 부분 입력 이미지를 부분 실제 이미지로서 순차적으로 디스플레이하는 것에 따라 대응하는 서브 이미지가 입력 이미지의 연속된 가상 이미지를 형성하게 정렬되도록 동작하는 이미지 생성기를 더 포함할 수 있다. 그 다음, 부분 실제 이미지 위치의 적어도 일부는 중첩하여, 이 위치에서 디스플레이 상에 단일의 연속된 이미지의 일부를 형성하지 않는 부분 실제 이미지를 포함할 수 있다.
입력 이미지를 수신하는 단계는, 입력 비디오를 수신하는 단계를 포함할 수 있어, 입력 비디오의 일련의 이미지들의 각각에 대하여, 대응하는 서브 이미지가 입력 이미지의 연속하는 가상 이미지를 형성하기 위하여 정렬되도록 위치 설정된 부분 실제 이미지들의 각각을 생성할 수 있다.
이미지 생성기는, 입력 비디오를 수신하고, 입력 비디오의 일련의 이미지들의 각각에 대하여, 대응하는 서브 이미지가 입력 이미지의 연속된 가상 이미지를 형성하기 위하여 정렬되도록 각각의 부분 실제 이미지가 디스플레이에 위치 설정되게 부분 실제 이미지를 생성하도록 동작할 수 있다. 그 다음, 비디오는 입력 비디오의 이미지들을 연속으로 디스플레이함으로써 디스플레이 장치에 디스플레이될 수 있고, 입력 비디오의 이미지들의 각각은 입력 비디오의 그 이미지의 부분 실제 이미지를 연속으로 디스플레이함으로써 디스플레이될 수 있다.
방법은, 서브 이미지로부터의 광을 21 내지 27 mm 지름의 눈 위치에서의 가상 구(imaginary sphere)의 표면 상의 영역을 포함하는 동공 범위로 향하게 하는 단계를 포함할 수 있고, 동공 범위는 구의 중심에서 15도의 전 각도(whole angle)를 대각하는 원을 포함한다. 모든 광학 채널은 자신의 해당하는 서브 이미지로부터 그 크기의 동공 범위로 광을 향하게 하도록 정렬될 수 있다.
방법은, 객체 픽셀(object pixel)을 포함하는 디지털 디스플레이 상에 실제 이미지를 형성하는 단계, 객체 픽셀을 인접하는 픽셀들의 클러스터로 그루핑하는 단계, 각각의 클러스터가 광학 채널 중 하나에 속하는 각각의 렌즈릿과 연관된 부분 실제 이미지를 형성하게 하는 단계, 및 적어도 일부의 객체 픽셀을 상이한 시간에 2 이상의 클러스터로 그루핑하여, 이에 따라 각각의 채널이 활성화되는 단계를 포함할 수 있다. 디스플레이는 객체 픽셀을 포함하는 디지털 디스플레이일 수 있고, 객체 픽셀은 인접하는 픽셀의 클러스터로 그루핑되고, 각각의 클러스터는 부분 실제 이미지를 형성하고 광학 채널 중 하나에 속하는 해당하는 렌즈릿과 연관되며, 적어도 일부의 객체 픽셀은 상이한 시간에 2 이상의 클러스터에 속하여 이에 따라 해당하는 광학 채널이 활성화된다.
주어진 렌즈릿을 통해 동공 범위에 입사하는 실질적으로 모든 이미징 광선은 연관된 부분 실제 이미지로부터 나올 수 있고, 연관된 부분 실제 이미지로부터 동공 범위에 입사하는 실질적으로 모든 이미징 광선은 연관된 렌즈릿을 통과할 수 있다.
동공 범위를 향해 주어진 렌즈릿을 빠져나오고 가상 이미지의 임의의 하나의 위치부터 가상적으로 나오는 실질적으로 모든 이미징 광선은 연관된 부분 실제 이미지의 단일 위치로부터 생성될 수 있다.
연속으로 이미징하는 단계는, 디스플레이로부터 눈 위치로 복수의 광학 채널 중 선택된 광학 채널을 통해 연속으로 광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계와, 디스플레이로부터 동공 범위로 복수의 광학 채널 중 다른 선택된 광학 채널을 통한 광의 흐름을 방지하는 단계를 포함할 수 있다.
그 다음, 연속으로 광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계는, 채널 중 연관된 채널을 통해 광이 흐르는 것을 선택적으로 방지하도록 셔터를 동작시키는 단계를 포함할 수 있다.
광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계는, 실제 이미지의 선택된 부분으로 또는 실제 이미지의 선택된 부분으로부터 광이 흐르는 방향을 제어하는 단계를 포함할 수 있다.
광학 채널은 부분 실제 이미지들로부터 서브 이미지를 형성하는 렌즈릿을 포함할 수 있다.
디스플레이 장치는, 가상 스크린에 의해 형성된 가상 구의 중심에 한쪽 눈이 있는 보통의 인간의 머리에 대하여 실질적으로 일정한 위치에 장치를 유지하도록 동작하는 마운팅(mounting)을 더 포함할 수 있다.
제2 디스플레이 장치, 각각의 가상 구의 위치가 인간의 양쪽 눈의 상대적 위치와 매칭하도록 제1 및 제2 디스플레이 장치를 서로에 대하여 위치 설정하기 위한 마운팅, 및 2개의 가상 이미지가 결합되어 눈들이 각각의 가상 구의 중심에서 있는 인간인 관찰자가 때 단일 이미지를 형성하도록 2개의 디스플레이가 객체를 디스플레이하게 동작하는 디스플레이 드라이버가 있을 수 있다.
마운팅은 눈들이 2개의 가상 구의 위치에 있는 인간의 머리에 대하여 실질적으로 일정한 위치에 장치를 유지하도록 동작할 수 있다.
마운팅은 시각에 결함이 있는 사용자의 눈의 앞에 보정 렌즈를 유지하기 위한 마운팅 피처(feature)를 포함할 수 있다.
제1 및 제2 디스플레이 장치의 디스플레이들은 단일 디스플레이를 형성할 수 있다.
다른 양태는, 디스플레이 장치의 눈 위치가 인간의 눈과 일치하도록 인간의 머리 상에 디스플레이 장치를 위치 설정하기 위한 마운트를 갖는 상술한 임의의 양태의 디스플레이 장치를 포함하는 헤드기어를 제공한다.
헤드기어는 제1 디스플레이 장치와 유사할 수 있는 제2 디스플레이 장치를 더 포함할 수 있고, 제2 디스플레이 장치는, 제2 디스플레이 장치의 눈 위치가 인간의 제2 눈과 일치하도록 장착된다. 2개의 디스플레이 장치는 동일할 수 있거나, 서로 거울 이미지를 가질 수 있고, 단일 디스플레이를 공유할 수 있다.
다른 양태는, 입력 이미지를 수신하는 단계와, 입력 이미지의 부분들에 대응하는 부분 이미지들을 생성하는 단계와, 부분 이미지들에 위치들을 할당하는 단계를 포함하는 디스플레이 장치를 위한 이미지 데이터를 생성하는 방법을 제공하며, 위치들의 적어도 일부는 중첩하여, 각각의 부분 이미지가 이의 할당된 위치에 연속으로 디스플레이되고, 적합하게 구성된 전술한 임의의 양태에 따른 디스플레이 장치의 복수의 채널의 각각의 채널에 의해 가상 서브 이미지로 이미징되면, 가상 서브 이미지가 입력 이미지의 연속된 가상 이미지를 형성하도록 결합된다.
다른 양태는, 입력 이미지의 복수의 부분 이미지들과 부분 이미지들의 위치들을 나타내는 컴퓨터 판독 가능한 데이터를 포함하는 비일시적인 컴퓨터 판독 가능한 저장 매체로서 구체화될 수 있는 컴퓨터 판독 가능한 데이터를 제공하며, 위치들의 적어도 일부는 중첩하여, 각각의 부분 이미지가 이의 할당된 위치에 연속으로 디스플레이되고, 적합하게 구성된 디스플레이 장치의 복수의 채널의 각각의 채널에 의해 가상 서브 이미지로 이미징되면, 가상 서브 이미지가 입력 이미지의 연속된 가상 이미지를 형성하도록 결합된다.
전술한 양태, 특징 및 이점 및 다른 양태, 특징 및 이점은 다음의 도면과 함께 제공되는 소정의 실시예에 대한 이어지는 더 많은 특정 설명으로부터 명백하게 될 것이다. 도면에서:
도 1은 i 픽셀 대 o 픽셀 매핑의 개략도이다(종래 기술).
도 2는 (종래 기술의) 시분할 다중화 스킴에서 순차적으로 보여지는 4개의 서브 이미지(0201, 0202, 0203, 0204)로 분해된 이미지를 도시한다.
도 3은 헤드 마운트 디스플레이를 위한 2 폴드 광학 설계의 개략도이다.
도 4는 다른 광학 설계의 등각 투상도(isometric view)이다.
도 5는 2 채널 2 서브 프레임 디스플레이 장치를 위한 광학 구성의 개략적인 수직 단면도이다.
도 6a는 2개의 시간 다중화된 서브 이미지 사이에서의 가상 스크린 분포의 전면도이다.
도 6b는 2개의 시간 다중화된 서브 이미지 사이에서의 다른 가상 스크린 분포의 전면도이다.
도 6c는 4개의 시간 다중화된 서브 이미지 사이에서의 가상 스크린 분포의 전면도이다.
도 7은 평탄한 셔터를 갖는 4 채널 4 서브 프레임 디스플레이 장치를 위한 광학 요소의 개략적인 대각(diagonal) 단면도이다. 또한, 이는 평탄한 셔터를 갖는 2 채널 2 서브 프레임 실시예를 위한 광학 구성의 개략적인 수직 단면도이다.
도 8은 대각 단면이 도 7에 도시된 장치의 등각 투상도이다.
도 9는 디스플레이 장치의 개략도이다.
도 10a는 비-시간 다중화 실시예를 위한 디지털 디스플레이의 클러스터 분포와 가상 스크린의 서브 이미지의 분포를 도시하는 도면이다.
도 10b는 도 9의 디스플레이 장치의 제1 서브 프레임에 대한 도 10a와 유사한 도면이다.
도 10c는 도 9의 디스플레이 장치의 제2 서브 프레임에 대한 도 10a와 유사한 도면이다.
도 10d는 도 9의 디스플레이 장치의 제3 서브 프레임에 대한 도 10a와 유사한 도면이다.
도 10e는 도 9의 디스플레이 장치의 제4 서브 프레임에 대한 도 10a와 유사한 도면이다.
도 11a는 제1 서브 프레임 슬롯 동안 디지털 디스플레이의 완전한 사용을 위한 디지털 디스플레이의 클러스터 분포와 가상 스크린의 서브 이미지의 분포를 도시하는 도면이다.
도 11b는 제2 서브 프레임 슬롯 동안 디지털 디스플레이의 완전한 사용을 위한 디지털 디스플레이의 클러스터 분포와 가상 스크린의 서브 이미지의 분포를 도시하는 도면이다.
도 11c는 제3 서브 프레임 슬롯 동안 디지털 디스플레이의 완전한 사용을 위한 디지털 디스플레이의 클러스터 분포와 가상 스크린의 서브 이미지의 분포를 도시하는 도면이다.
도 11d는 제4 서브 프레임 슬롯 동안 디지털 디스플레이의 완전한 사용을 위한 디지털 디스플레이의 클러스터 분포와 가상 스크린의 서브 이미지의 분포를 도시하는 도면이다.
도 12는 모든 서브 이미지를 갖는 가상 스크린의 전면도이다.
도 13은 3 채널을 위한 구성의 개략도이다.
도 14는 2 채널을 위한 구성의 개략도이다.
도 15는 2 채널 3 렌즈릿 실시예의 등각 투상도이다.
도 16은 도 15의 2 채널 3 렌즈릿 실시예의 수평 단면도이다.
본 장치의 다양한 특징 및 이점에 대한 더 나은 이해는, 특정 원리를 활용하는 예시적인 실시예를 이어지는 상세한 설명 및 첨부된 도면을 참조하여 획득될 수 있다.
첨부된 도면 중 도 3 내지 9와 10b 내지 14를 참조하고, 또한 처음에 도 3을 참조하면, 헤드 마운트 디스플레이의 일 실시예는 면들(0302, 0307)이 경면 처리된(mirrored) 도면 부호 0311로 일반적으로 표시되는 고체 유전체(dielectric) 피스를 포함한다. 이 장치는 디지털 디스플레이(0308)를 눈(0300)을 통해 망막으로 이미징한다. 도 3은 2 폴드 설계의 단면의 측면도이며, 사용자의 코(0309)와 눈(0300)의 위치를 나타낸다. 이 2 폴드 구성에서, 디지털 디스플레이(0308)는 수칙 위치로 배치된 것으로 도시된다. 광선(0304, 0305, 0306)은 입사 표면(0301)에서의 굴절과, 경면 처리된 표면(0302)에서의 반사, 표면(0301)에서의 반사 및 최종적으로 출사 표면(0303)에서의 굴절을 겪고, 눈(0300)으로 향하게 된다. 제2 반사는 광선(0304)의 경우에는 내부 전반사(total internal reflection(TIR))에 의해 수행되며, 광선(0305, 0306)의 경우에는 표면(0307)의 경면 처리된 부분에 의해 수행된다.
이러한 유형의 광학 컴포넌트는, 대부분의 유용한 광선이 겪는 굴절(R), 반사(X) 및 내부 전반사(I)를 지칭하는 RXI라 종종 불린다. 여기에서 개시된 RXI의 일부는, 조명 애플리케이션을 위하여, 특히 자동차 전조등을 위하여 LED의 광을 시준하기 위한, Benitez 등에 허여된 미국 등록 특허 제7,460,985 B2호에 개시된 장치에 어느 정도 유사하다. 그 장치에서의 LED 칩으로부터의 광은 제1 반사 후에 유전체 피스에 들어간다. 그 후, 일부 광선은 내부 전반사, 금속 반사 및 최종 굴절을 겪는다. 광선 입사의 시퀀스가, 도 3에서의 시퀀스와 같이, 여기에 개시된 일부 실시예들에 유사하지만, 종래 기술의 장치가 조명을 위하여 설계되고, 본 장치가 관련되는 이미징 광학(Imaging Optics)과 완전히 다른 프레임워크인 비이미징 광학(Nonimaging Optics)의 원리(예를 들어, Winston 2005 참조)를 이용하기 때문에, 2개의 장치는 실제로 완전히 다르다. 특히, 본 장치에서 본질적인 대상(object), 이미지, 픽셀, 동공 범위, 이미지 품질 등의 개념은 미국 등록 특허 제7,460,985 B2호에서의 의미나 용도를 가지지 않는다. 이러한 차이에도 불구하고, 양 유형의 광학 장치는 "RXI"로서 분류될 수 있다.
도 3의 RXI 광학 기기(0311)의 표면은 자유형이다. 디지털 디스플레이(0308)에 도시된 이미지는 2개의 클러스터로 분할되며, 이들은 광학 기기(0311)를 통해 눈(0300)의 망막으로 투사될 때, PCT1에서 설명되는 것과 유사하게, 2개의 클러스터 서브 이미지가 단일 이미지로 부드럽게 결합하는 방식으로 분할된다. 광학 부분(0311)의 2개의 대칭 부분(중심의 점선(0312)에 의해 표현되는 수직 평면에 의해 분할됨)의 각각은 렌즈릿이라 한다. 각각의 서브 이미지는 이의 대응하는 렌즈릿을 통해 망막 상에 형성된다. 잘못된 렌즈릿을 통해 진행하는 광은 광학적 크로스토크라 하는 원하지 않는 고스트 이미지를 형성한다. 렌즈릿들 사이의 광학적 크로스토크는 PC1에 개시된 것과 완전히 동일한 방식으로의 동공 범위의 정의에 의해 방지된다: 표면(0301)의 킹크(kink)에 부딪히는 동공 범위의 에지 광선(0310)이 클러스터 에지로 0306으로서 전송된다.
동일한 광학 설계가 도 4에 제공되지만, 이 경우에, 렌즈는 90° 회전되어, 도 3의 평면은 수평면이 되고 2개의 렌즈(0311)는 단일의 4 폴드 렌즈를 형성하도록 상하로 장착된다. RXI의 이러한 배향은 양 렌즈가 대략 5 내지 6 인치(125 내지 150 mm) 대각선의 단일 표준 16:9 디스플레이와 함께 작동하는 구성을 가능하게 한다.
도 4는 16:9의 종횡비를 가지면서 대각선으로 145 mm(5.7")인 단일의 표준 디지털 디스플레이(0401)와 함께 작동하는 2개의 4면체 렌즈(한 눈에 하나씩, 금속화된 부분은 그리는데 명료함을 위하여 도시되지 않는다)를 갖는 수정된 형태의 도 3의 구성의 3차원 도면을 도시한다. 도 4로부터 명확하게 이해될 수 있는 바와 같이, 눈(0402)의 앞에 위치된 각각의 장치는 4 렌즈릿을 가지며, 각각의 렌즈릿은, 본질적으로, 디지털 디스플레이(0401)에 가장 가까운 굴절 표면(0403), 반사 표면(0404) 및 눈(0402)에 가장 가까운 굴절 표면(0405)로 구성된다. 디지털 디스플레이(0401)는 광을 전송하며, 이는 표면(0403)에 의해 굴절되고, 표면(0404)에 의해 반사되고, 표면(0403)에서 다시 내부 전반사되고, 표면(0405)에서 굴절되며, 마지막으로 눈(0402) 도달한다.
도 4에서, 각각의 눈은 왼쪽 및 오른쪽의 2개의 채널을 가지지만, 각각의 채널은 상부 및 하부의 2개의 렌즈릿을 사용한다. 그 구성은 광학 표면, 특히 출사 표면(0405)의 과도한 굴곡을 방지하고, 이러한 과도한 굴곡의 결과일 수 있는 색수차를 방지하는데 사용될 수 있다. 임의의 또는 모든 표면(0403, 0404, 0405)을 2개의 렌즈릿으로 분할함으로써, 표면의 곡률은 감소되고, 색수차가 완화된다.
이러한 종류의 설계(도 3 및 4)는, 디지털 디스플레이 상에 보이는 이미지를 시분할 다중화함으로써, 가상 스크린 상에서 i 픽셀의 해상도를 증가시키기 위한 수정을 허락한다. 이러한 다중화는 각각의 렌즈릿을 통해 나오는 광선을 교대로 차단하는 여러 셔터들 덕분에 가능하다. 본 실시예는 셔터로서 동작하는 고속 강유전성 액정 표시 장치(ferroelectric liquid crystal display(FLCD))를 이용할 수 있다. FLCD는 광축이 인가된 필드에 의해 재배향될 수 있는 전통적인 반파장판(half-wave plate)으로서 작동한다. FLCD의 이점은 이의 높은 해상도와 매우 빠른 스위칭 시간(100 ㎲ 미만)이다. Nelson에 허여된 참조 문헌 US 4,924,215에서, 이러한 FLCD는 또한 셔터로서 사용된다. Shilov 2010에 따르면, 도시바의 능동 셔터 스테레오 3D 안경은 0.1 ms(개방-폐쇄/감소)와 1.8 ms(폐쇄-개방/증가) 응답 속도를 가지는 반면, 많은 경쟁하는 해결 방안들은 각각 0.3 ms 및 3.7 ms 속도, 또는 심지어 2 ms의 "전형적인" 응답 시간을 공표한다.
이러한 새로운 실시예는 도 5에 도시된다. 이것도 2 렌즈릿 예이며, 디지털 디스플레이(0501)가 왼쪽에 도시된다. 도 4의 설계와 다르게, 디지털 디스플레이(0501)의 전체는 상부 및 하부 렌즈릿의 각각의 대상이다. 한 번에 단일 클러스터가 있고, 이 경우에 이는 전체 디지털 디스플레이를 차지한다.
도 5에 도시된 바와 같이, 디지털 디스플레이는 상부 렌즈릿에 대하여 극단의 광선(0504, 0505)을 방출하며, 이들은 상부 셔터(0502)가 개방될 때에만 눈에 의해 수광된다. 이 상황에서, 하부 셔터(0503)는 폐쇄된다; 따라서, 눈은 상부 렌즈릿으로부터의 광만 수광한다. 상부 셔터(0502)가 폐쇄되고, 하부 셔터(0503)가 개방될 때, 눈은 렌즈의 하부 렌즈릿을 통해서만 정보를 수신한다. 본 실시예에서, 2개의 서브 프레임 슬롯에 대응하는 2개의 채널과, 채널 당 단일 렌즈릿이 있다. 각각의 렌즈릿은 디지털 디스플레이(0501)를 가상 스크린의 상이한 영역 상으로 이미징하고, 따라서 상부 렌즈릿은 가상 스크린의 상부 절반을 전송하고, 하부 렌즈릿은 가상 스크린의 하부 절반을 전송한다. 엄격하게 말해서, 본 명세서에 개시된 다중 렌즈릿 설계의 대부분에서 공통되는 바와 같이, 눈이 동공 범위 내에서 이동하는 것을 허용해야 하기 때문에, 2개의 서브 이미지는 중첩한다. 이는 가상 스크린을 함께 완전히 채우는 2개의 서브 이미지이다.
프레임의 제1 서브 프레임 슬롯 동안, 상부 서브 이미지에 대응하는 정보만이 보여지고, 제2(그리고 마지막) 서브 프레임은 하부 서브 이미지의 정보를 보여준다. 이러한 2개의 서브 프레임 슬롯 사이의 전이가 충분히 빠르게 수행된다면, 눈은 양 렌즈릿으로부터 나오는 전체적으로 타일링되거나(tiled) 또는 중첩하는 이미지를 인지한다. 즉, 이는 우리가 수직 방향으로 초기에 가지는 것의 거의 2배까지 전체 가상 스크린을 인지할 것이다. 이것은, 전자 빔이 CRT 스크린 상에서 래스터 주사될 때, 스크린의 인광 물질과 우리의 망막의 결합된 지속성이 단일 주사점(단지 하나의 점만이 한 시점에서 묘사된다)으로부터의 정적인 이미지의 환영을 형성하는 전통적인 음극선관에서 발생하는 동일한 "시각 지속성(persistence of vision)" 효과를 이용한다.
도 6a, 6b 및 6c(집합적으로 도 6)을 참조하면, 도 6a는 눈마다 표준 16:9 디지털 디스플레이를 이용하는 가상 스크린(0601)을 나타낸다. 디지털 디스플레이는 수평 위치에 배치되고(즉, 가장 긴 치수가 바닥에 평행하다), 렌즈는 디스플레이의 상부 및 하부 가상 이미지(0602, 0603)가 중첩하도록 형성되어, 도 5의 실시예는 대략 1:1 종횡비(즉, 유사한 수평 시야 및 수직 시야)를 갖는 가상 스크린을 생성한다. 수직 시야가 어떻게 2배가 되는지에 관한 설명은 이 설계를 위한 가상 스크린(0601)을 나타내는 도 6a에서 알 수 있다. 점선으로 나타낸 직사각형(0602)은 상부 채널에 의해 생성된 가상 스크린의 상부 서브 이미지를 나타내며, 파선으로 나타낸 직사각형(0603)은 하부 채널에 의해 생성된 가상 스크린의 하부 서브 이미지를 나타낸다. 양 서브 이미지의 추가는, 위에서 설명된 바와 같이, 더 큰 정사각형 형상의 전체 이미지를 생성한다. 서브 이미지는, 도 6에 도시된 바와 같이, 중앙 영역에서 중첩할 수 있다.
대안적인 구성은, 위에서와 같이 눈 마다의 디지털 디스플레이 대신에, 양안에 대하여 대각선이 대략 145 mm(5.7 인치)인 단일 표준 16:9 디지털 디스플레이를 이용하지만, 이는 그 크기에 한정되지 않는다. 이 경우에, RXI는 수평 위치에서 90° 회전되어 배치되어, 셔터의 2개의 절반이 왼쪽-오른쪽으로 정렬된다. 이 대안적인 구성은 수평 방향으로 더 큰 시야를 갖는 수평으로 신장된 시야를 제공한다.
도 6b는 수평 방향으로 RXI를 이용하는 16:9의 종횡비를 갖는 가상 스크린(0604)의 생성을 도시한다. 물리적 스크린(0308)은 이제 정사각형이다. 점선으로 나타낸 정사각형(0605)은 왼쪽 채널에 의해 생성된 가상 스크린의 왼쪽 서브 이미지를 나타내며, 파선으로 나타낸 정사각형(0606)은 오른쪽 채널에 의해 생성된 가상 스크린의 오른쪽 서브 이미지를 나타내어, 더 큰 직사각형 형상의 전체 시야를 결과로서 제공한다. 도 6b의 실시예의 경우에, 채널당 2개의 렌즈릿이 있다.
시간 다중화의 배후에 있는 아이디어는 프레임 기간 내에서 여러 연속하는 부분에 이미지를 나타내고 임의의 이러한 이미지 부분에 대하여 사용 가능한 모든 o 픽셀을 이용함으로써, i 픽셀의 개수를 증가시키는 것이다. 분명하게는, 이러한 전략의 성공은 OLED, 투과성 또는 반사성 FLC 또는 DMD 디지털 디스플레이와 같은 높은 스위칭 레이트를 갖는 디지털 디스플레이의 가용성에 의존한다. 도 5에서, 이미지는 2개의 부분으로 분할되고, 각각의 부분은 프레임 기간의 절반 동안 눈에 보여졌다. 이제 우리는 이미지가 τ2개의 서브 이미지(τ2는 1보다 더 큰 정수이다)로 분할되고, 프레임 구간이 각각 내에서 서브 이미지가 눈에 보여지는 τ2개의 대응하는 서브 프레임 슬롯으로 분할되는 아키텍처를 개시할 것이다. 서브 프레임 슬롯 동안 작동하는 광학 기기의 부분은 채널이라 한다. 서브 프레임 슬롯 및 서브 이미지와 동일한 개수의 채널, 즉 τ2개의 채널이 있다. 여기에서 개시된 아키텍처의 2개에서, 상이한 서브 이미지의 각각은 시야에 대하여 규칙적으로 이격된 정사각형 또는 육각형 이미지 아일랜드(island)의 세트에 의해 형성된다. 모든 이러한 서브 이미지의 합집합은 우리의 망막의 지속성 덕분에 눈이 보는 것인 전체 이미지이다. 모든 서브 이미지 슬롯의 합집합은 프레임 디스플레이 시간(또는 프레임 기간)이다. 더 정확하게는, 디지털 디스플레이는 모션 블러(motion blur)를 감소시키기 위하여 서브 프레임 슬롯 사이에 검은 색으로 설정될 수 있다. 그 경우에, 우리는 이 검은 색이 되는 시간은 서브 프레임 슬롯의 합집합이 전체 프레임 기간이 되도록 일부 서브 프레임 슬롯에 속한다.
도 6c는 디지털 디스플레이의 물리적 스크린과 대략 동일한 형상을 갖는 가상 스크린(0607)을 형성하기 위한 2×2 어레이에서의 중첩하는 4개의 채널(0608 0609, 0610, 0611)의 일례를 도시한다. 단순함을 위하여, 도 6c는 거의 정사각형인 스크린으로 도시되었지만, 이는 물론 임의의 원하는 종횡비를 가질 수 있다.
도 7 및 8은 4 폴드 구성을 도시하며, τ2 = 4인 TDM이 적용된다. 도 7은 장치의 대각선 2D 단면을 도시하며, 또한 디지털 디스플레이(0701)의 대각선 프로파일을 도시한다. 광선이 셔터에 의해 어떻게 교대로 차단되는지에 대한 설명은 유사하다. 분명하게는, 이 상황에서, 우리는 2개 대신에 4개의 셔터(채널 당 하나)를 가질 것이다. 도 7은 2개의 셔터(0702, 0703)의 대각 단면과, 상부 렌즈의 극단의 광선(0704, 0705)을 도면에 도시한다. 여기에서 도시된 셔터는 모두 공면형이며(coplanar), 이는 도 5에 도시된 각진 셔터(0502, 0503)에 비하여 구현하기 더 쉽다. 도 8은 4개의 채널(0802)을 도시하는 도 7의 4 폴드 구성(0801)의 전면도를 도시한다. 또한, 도 7 및 8에 도시된 4 폴드 설계는 양안에 대한 대각선이 대략 5" 내지 6"(125 내지 150 mm)인 단일의 16:9 디지털 디스플레이(도 6c에서 0607)와 함께 작동하는 것에 대하여 양립 가능하지만, 이는 그에 한정되지 않는다. 따라서, 렌즈의 상부 왼쪽 렌즈릿은 가상 스크린의 상부 왼쪽 부분을 생성하고, 상부 오른쪽 렌즈릿은 가상 스크린의 상부 오른쪽 부분을 생성하고, 기타 등등이다. 이것은 2개의 점선으로 나타낸 정사각형(0608, 0609)이 상부 왼쪽 및 하부 오른쪽 렌즈릿에 의해 생성된 가상 스크린의 부분을 나타내며, 파선으로 나타낸 정사각형(0610, 0611)이 상부 오른쪽 및 하부 오른쪽 렌즈릿에 의해 생성된 가상 스크린의 부분을 나타내어, 대략 1:1의 종횡비를 갖는, 즉 유사한 수평 시야와 수직 시야를 갖는 더 큰 전체 시야를 결과로서 제공하는 도 6c로 표현된다.
도 5에서의 2 폴드 렌즈는 공면형 셔터를 역시 가능하게 하도록 약간 수정될 수 있다. 또한, 이 경우의 수직 단면은 도 7로 나타낼 수 있다. 2개의 공면형 셔터는 각각이 개방된 셔터 영역을 갖는 2개의 픽셀을 구비한 단일 LCD로 이루어질 수 있다. 이것과 같은 2 폴드 시스템에서, 하나의 셔터가 개방되고 다른 셔터가 폐쇄될 때, 이에 따라 셔터 시스템이 단지 2개의 상태를 가지며, 그 다음 이는 단일 액정 픽셀로 제조될 수 있다. 이것은 스위스 알쉬빌 4123, 게베르베스트라세 18에 있는 Rolic Technologies Ltd.에 의해 제조된 것과 같은 이방성 필름을 이용하여 구현될 수 있다(http://www.rolic.com/products/display/rolicr-lcmo-optical-films/rolicr-lcmo-lx/). 이러한 필름은 필름의 상이한 구역에 대하여 상이한 지연(retardation)을 갖도록, 예를 들어, 양 셔터가 동일하게 편광된 들어오는 광으로 조명될 때, 2개의 셔터를 빠져나오는 광의 편광이 서로 직교하도록 셔터 중 각각의 하나에 대하여 상이한 지연을 갖도록 제조될 수 있다. 보통의 LCD의 2개의 편광자(polarizer) 사이에 이와 같은 필름을 이용하여, 액정의 2개의 상태(전기장이 있거나, 전기장이 없는)가 셔터 시스템의 2개의 상태(반대로 개폐되는 2개의 셔터)에 대응하도록 하는 단일 픽셀 LCD 디스플레이가 성취될 수 있다. 2개의 셔터 사이에 (각각의 셔터가 자신의 전극을 가지는 경우에는 필요할 수 있는) 분리 복도(corridor)가 필요하지 않기 때문에 그리고 단일 구동 신호가 LCD 셔터 층에 필요하기 때문에, 이것은 장치의 설계를 단순화시키고, 2개의 셔터 채널이 비동기화되는 위험이 없다. 그러나, 2개의 셔터가 모두 폐쇄되는 상태가 없기 때문에, 셔터를 이용하여 디지털 디스플레이를 턴오프하는 것은 가능하지 않다. 이전에 언급된 바와 같이, 프레임 기간 내에서 소정의 시간에 전체 디지털 디스플레이를 턴오프하는 것은, 특히 서브 프레임들 사이에서 변경될 때, 모션 블러를 감소시키기 위하여는 흥미로울 수 있다.
또한, 개방된 렌즈릿의 제어는 셔터 없이 수행될 수 있다. 대안적인 옵션은 Fittal 2013, Fattal 등에 허여된 US 9201270 B2 및 Wetzstein 2012에서 설명된 바와 같은, 방향성 백라이트의 사용이다. 수정될 수 없는 상대적으로 큰 각도 확산으로 광이 백라이트로부터 빠져나오는 종래의 백라이트와 달리, 방향성 백라이트에서는 백라이트를 빠져나오는 광의 방향이 제어되며, 이는 시간과 공간의 함수로서 변경될 수 있다. 이것은, 예를 들어, 각각의 서브 프레임 동안 방향성 백라이트가 그 서브 프레임에 대응하는 렌즈릿의 입구를 향해서만 광을 전송하는 것을 허용한다. 또한, 방향성 백라이트는 셔터와 함께 광학적 크로스토크를 최소화하고 방향성 백라이트 설계 요건을 완화하는데 사용될 수 있다.
광학 기기의 부피를 감소시키기 위하여, 우리는 또한 PCT1에 개시된 전력을 적용할 수 있으며, 각각의 서브 이미지를 상이한 클러스터들로 분할할 수 있다. 이것은 채널 당 2개의 렌즈릿(그리고, 이에 따라 서브 이미지 당 2개의 클러스터)이 사용된 도 4에서, 그 경우에, 표면(0405)의 과도한 볼록한 굴곡을 방지하기 위하여, 이미 수행되었다. 이러한 이미지 분할 전략의 시간 다중화(TDM)와의 조합은 정의되어야 하는 일부 개념을 필요로 한다. 이것은 위에서 제공된 정의에 대한 리스트에서 수행된다. 광학 기기가 각각이 여러 렌즈릿(이러한 렌즈릿들은 반드시 굴절 요소로 제조될 필요는 없다)을 포함하는 채널의 어레이로 구성되는 일반적인 경우를 고려하라. 각각의 렌즈릿은 가상 스크린에서 이의 클러스터의 이미지를 형성한다. 이 이미지는 그 채널이 개방되는 서브 프레임 슬롯 동안에만 눈에 전송된다. 동일한 채널의 클러스터의 이미지들의 합집합은 서브 이미지로 불린다. 비시간 다중화 디스플레이에서, 각각의 렌즈릿에 대하여 클러스터가 있고, 임의의 o 픽셀은 하나 그리고 단지 하나의 클러스터에 속한다. TDM의 경우에, 클러스터가 상이한 서브 프레임 슬롯에 대응한다면, o 픽셀은 여러 클러스터에 속할 수 있다. 클러스터가 주어진 렌즈릿을 통해 동공 범위를 조명하는 o 픽셀의 그룹인 것을 여기에서 상기하라. 이러한 o 픽셀의 그룹은 대응하는 렌즈릿을 통해 가상 스크린에 이미징된다. 서브 프레임 슬롯 동안, 각각의 o 픽셀은 단지 단일의 개방 클러스터에만 속하고, 모든 개방 클러스터의 세트는 디지털 디스플레이를 형성한다. 셔터는 잘못된 렌즈를 통해, 즉 개방 채널이 아닌 채널에 속하는 렌즈릿을 통해 떠나는 디지털 디스플레이로부터의 광을 방지하는데 사용된다. 따라서, 서브 프레임 슬롯 내에서, 렌즈릿이(이의 대응하는 클러스터와 함께) 분명하게 개방되는 하나의 개방 채널이 있다. 나머지 채널은 폐쇄된다. 임의의 렌즈릿은 하나의 그리고 단지 하나의 채널에 속하고, 일반적으로, 프레임 시간의 2 이상의 서브 프레임 슬롯 동안 개방되는 채널은 없다. 개방 클러스터가 각각의 서브 프레임 슬롯에 대하여 상이하지만, 모든 개방 클러스터의 집합은 항상 전체 디지털 디스플레이와 일치한다.
TDM 애플리케이션에서의 목표는 높은 디지털 디스플레이 프레임 레이트(일부 OLED 디스플레이와 같은)와 사용 가능한 i 픽셀의 개수를 증가시키기 위한 긴 눈의 지속성을 이용하는 것이다. 각각의 채널은 τ2개의 서브 프레임 슬롯 중 하나 동안 개방되며, 이 시간 동안 이는 전체 o 픽셀로 생성되는 서브 이미지를 보여준다. 그 다음, 디지털 디스플레이에서 사용 가능한 o 픽셀의 개수의 τ2배를 이용하여 τ2개의 연속하는 서브 프레임 슬롯에 전체 이미지가 보여진다. 이것은 i 픽셀의 개수가 o 픽셀의 개수의 τ2배로 상한이 정해진다는 것을 의미한다. 렌즈릿 어레이에 내재하는 이미지 중첩 때문에, 즉 하나의 i 픽셀이 2 이상의 o 픽셀로부터 형성될 수 있기 때문에, 또는, 도 6에 도시된 바와 같이, 서브 이미지가 눈에 보이는 심(seam)의 위험을 방지하기 위하여 정교하게 오버랩되기 때문에, 상한은 일반적으로 도달되지 않는다.
시간 다중화로 획득된 i 픽셀의 증가는 시야, 동공 범위, 해상도 또는 이 세 가지의 조합을 증가시키는데 사용될 수 있다. 예를 들어, 해상도(1도 당 i 픽셀의 개수로서)는 더 큰 초점 거리의 렌즈릿 설계를 이용함으로써 증가된다(이는 τ배까지 더 크게 될 수 있다).
또한, 여기에서 설명된 시간 다중화 개념은 광 필드 디스플레이(Light Field Displays(LFD))에 적용 가능하며, 유일한 차이는 이미지 처리를 구현하기 위한 o 픽셀 대 i 픽셀 매핑에 있다. LFD는 Huang 등에 의해 종래의 스테레오스코프에 적용되었다("Huang 2015").
τ2 = 4에 대한 다른 예로 TDM 개념을 더 설명하자(이후에, 우리는 τ2 = 2 및 τ2 = 3인 경우를 예시할 것이다). 도 9에 도시된 구성에서, 우리는 τ2 = 4에서 그루핑된 렌즈릿 어레이 광학 기기(0902)를 사용한다. 도 9의 왼쪽은 앞쪽에 렌즈릿 어레이 광학 기기(0902)가 배치된 디지털 디스플레이(0901)를 도시한다. 개방된 셔터(0911)와 폐쇄된 셔터(0912)를 갖는 셔터 어레이(0910)가 도시된다. 인간의 눈의 0903이다. FLCD 셔터는, 도 9에 도시된 바와 같이, 렌즈릿 어레이와 눈 사이에 또는 디지털 디스플레이와 렌즈릿 어레이 사이에 배치될 수 있다. 렌즈릿 어레이(0902)의 중심부에서의 렌즈릿 그룹(0904)이 강조된다. 이의 대응하는 16 o 픽셀 클러스터(0909)가 도 9의 오른쪽에 있는 확대된 상세도에 도시된다. 각각의 클러스터는 지금은 관련되지 않은 다수의 o 픽셀을 포함한다. 도 9의 오른쪽에서의 클러스터는 각각의 클러스터가 속하는 채널을 나타내기 위하여 상이한 패턴으로 음영 처리된다: 0905 - 흰색 직사각형, 0906 - 수평 스트라이프를 갖는 직사각형, 0907 - 수직 스트라이프를 갖는 직사각형 그리고 0908 - 파선으로 나타낸 직사각형.
PCT 1의 섹션 6.1, 문단 [0158] 내지 [0166]에서 설명된 4 렌즈릿의 소개하는 예와 유사하게, 우리는 우리가 여기에서 16개의 중심 렌즈릿을 분석하려고 하는 더 큰 렌즈릿 어레이의 균등한 예를 설명한다. 비시간 다중화 경우(종래 기술)의 설명인 도 10a에서 시작한다. 도 10a(하부 오른쪽)는 o 픽셀 클러스터로 분할된 디지털 디스플레이(1014)를 도시한다. 렌즈릿 어레이 광학 기기는 (간결함을 위하여 여기에서는 직사각형 윤곽을 갖는 평면으로 그려진) 가상 스크린(1015) 상에서 i 픽셀 이미지를 형성한다(도 10a 하부 왼쪽에 도시됨). 모든 o 픽셀은 단일 클러스터에 속한다. 임의의 2개의 클러스터의 교집합은 공집합이며, 모든 클러스터의 합집합은 전체 디지털 디스플레이이다.
도 10b, 10c, 10d 및 10e에서, 우리는 16개의 유사한 렌즈릿이 어떻게 TDM과 함께 작동하는지 도시한다. 도 10b 내지 10e의 각각에서 왼쪽 컬럼(column)은 i 픽셀 이미지를 도시하고, 오른쪽 컬럼은 개방된 클러스터 분할 부분이 특정 서브 프레임 슬롯에 대응하는 o 픽셀 디지털 디스플레이(1014)를 도시한다. 4개의 로우(row)(B, C, D, E)는 4개의 서브 프레임 슬롯을 나타낸다. 오른쪽 컬럼 상의 개방된 클러스터는 파선에 의해 경계가 지어진다.
또한, 도 10b, 10c, 10d 및 10e에서의 오른쪽 컬럼은 16개의 중심 렌즈릿의 윤곽을 도시한다. 이전에 언급된 바와 같이, τ2 = 4이기 때문에, 우리는 4개의 채널(1009, 1010, 1011, 1012)로 렌즈릿을 그루핑한다. 개방된 클러스터는 소정의 시프트를 갖는 이미지 부분들을 디스플레이한다(도 10a에서 가상 스크린(1015) 참조). 시프트는 이미지의 일부 부분들이 2 이상의 클러스터에 의해 디스플레이되도록 하는 것이다. 비시간 다중화 경우에 대한 2차원 개략도가 도 10a의 상부에 추가되었다. 도 10a의 상부는 배열의 로우 중 하나의 수평 단면의 아래에서 본 도면을 나타낸다. 이것은 o 픽셀과 i 픽셀 사이의 매핑의 에지를 정의하기 위한 관련 광선을 도시한다. 이 도면에서, i 픽셀을 갖는 가상 스크린은 무한대에 배치되고, 따라서 이는 가상 스크린 상에서 i 픽셀 위치를 나타내는 광선(1001a, 1002a, 1003a, 1004a, 1005a, 1006a, 1007a 및 1008a)의 방향이다. 도면은 간결함을 위하여 2차원적이지만, 도 10a의 왼쪽에 이미지를 투사하는 실제 어레이의 중심 부분은 3차원적이며, 단일 렌즈릿 어레이 로우의 중심부에 대응하는 도 10a의 상부에 도시된 4개의 렌즈릿뿐만 아니라, 4×4 어레이의 16개의 렌즈릿을 포함한다. 도 10a의 상부의 이러한 2차원 스킴은 o 픽셀과 i 픽셀 사이의 매핑의 수평 좌표를 설명하는데 사용된다. 유사한 추론이 수직 좌표에 적용된다. 도 10a의 상부에서 광선(1001a 내지 1008a)에 의해 정의된 방향들은 가상 스크린 상의 점에 의해 표현될 수 있는 픽셀들에 대응한다. 그럼에도 불구하고, 도 10a의 상부가 단면도이기 때문에, 도 10a의 왼쪽에서의 임의의 선(1001a, 1002a, 1003a, 1004a, 1005a, 1006a, 1007a 및 1008a)은 도 10a의 상부에서의 표현이 동일한 광선 궤도 상에 투사하는 광선 방향의 세트를 나타낸다. 도 10a의 오른쪽에서의 선(1001a, 1002a, 1003a, 1004a, 1005a, 1006a, 1007a 및 1008a)은 가상 스크린(도 10a의 왼쪽)의 선(1001a, 1002a, 1003a, 1004a, 1005a, 1006a, 1007a 및 1008a)으로 대응하는 렌즈릿에 의해 이미징된 o 픽셀이다. 클러스터는 해당하는 렌즈릿의 번호로 도 10a의 오른쪽에서 라벨링된다. 이러한 렌즈릿(1009, 1010)의 일부는 도 10a의 상부에 도시된다. 도 10a의 오른쪽에서의 클러스터의 윤곽은 이러한 특정 경우에 렌즈릿의 투사와 일치한다.
도 10b는 시간 다중화 경우의 제1 서브 프레임 슬롯을 도시한다. 또한, 시간 다중화 경우의 2차원 개략도가 도 10b의 상부에 추가되었다. 도 10b의 상부는 이러한 새로운 시간 다중화 배열의 하나의 로우의 수평 단면도의 상면도를 나타낸다. 도 10a의 상부와의 비교에서, 셔터 어레이(1020)가 눈과 렌즈릿 어레이 사이에 추가된다. 대신에, 셔터는 디지털 디스플레이와 렌즈릿 어레이 사이에 배치될 수 있다. 이전과 유사하게, i 픽셀을 갖는 가상 이미지가 도 10b의 상부에서 무한대에 배치된다. 광선(1001a, 1003a, 1004a, 1007a)의 방향은 가상 스크린 상의 i 픽셀 위치를 나타낸다. 역시, 도면은 간결함을 위하여 2차원적이지만, 왼쪽에 이미지를 투사하는 실제 어레이의 중심 부분은 3차원적이며, 단일 렌즈릿 어레이 로우에 대응하는 도 10b의 상부에 도시된 4개의 렌즈릿뿐만 아니라, 16개의 렌즈릿을 포함한다. 도 10b의 상부의 이러한 2차원 스킴은 시간 다중화 경우의 제1 서브 프레임 슬롯의 개방된 클러스터를 위한 o 픽셀과 i 픽셀 사이의 새로운 매핑의 수평 좌표를 설명하는 것을 돕는다. 도 10b의 상부는 o 픽셀과 i 픽셀 사이의 새로운 매핑의 에지를 정의하기 위한 관련 광선을 도시한다. 유사한 추론이 수직 좌표에 적용된다.
특히, 개방된 클러스터(1009a)의 매핑이 강조된다. 채널(1009)(도 10b의 오른쪽)은 제1 서브 프레임 슬롯 동안 개방된다(도 10b). 클러스터(1009a)(도 10b의 오른쪽)는 이 채널에 속한다. 이 클러스터는 동공 범위(1013)(도 10b의 상부)의 에지에 도달하는 에지 광선(1004a, 1007a)에 의해 경계가 지어지는 이미지(1016)(도 1b의 왼쪽)의 부분을 생성한다. 이미지(1016)의 이 부분은 가상 스크린(1015)에서 수직선(1004a, 1007a)에 의해 경계가 지어진다(도 10b의 왼쪽).
도 10b에 도시된 이러한 특수한 예에서, 렌즈릿(1009)은 에지 광선(1004a, 1007a)를 디지털 디스플레이(1014) 상에서 1004b' 및 1007b'로 매핑한다(도 10b의 오른쪽). 도 10b의 오른쪽에서의 연속하는 선은 렌즈릿 윤곽의 투사이다. 각각이 채널 번호(1009, 1010, 1011, 1012)로 라벨링된 16개의 렌즈릿이 있다. 4개의 렌즈릿 단면은 도 10b의 상부에서 볼 수 있다. 동일한 채널의 렌즈릿은 가상 스크린의 상이한 연결되지 않은 부분들에서, 완전한 디지털 디스플레이를 매핑한다. 즉, 서브 프레임 슬롯 동안, 개방된 클러스터는 중첩하지 않고, 모든 개방된 클러스터의 합집합은 전체 디지털 디스플레이와 동일하다. 이것은 도 10b의 상부에서 1009로 라벨링된 2개의 렌즈릿이 1003a 및 1004a인 가상 스크린의 2개의 상이한 광선 방향 세트에서 o 픽셀(1004b')을 매핑하는 이유이다. 이 서브 프레임 슬롯에서의 가상 스크린의 다른 부분은 동일한 채널(1009)에 속하는 개방된 클러스터로 표현된다.
도면으로부터 명확한 바와 같이, 1009a와 같은 시간 다중화 경우(도 10b)에서의 클러스터는 크기가 단일 렌즈릿(1009)의 크기와 유사한 비시간 다중화 경우(도 10a)의 클러스터보다 4배 더 크고, 이들이 보여주는 이미지 부분은 TDM 및 비 TDM에 대하여 동일한 크기를 갖는다. 이것은 시간의 1/4 동안에만 디스플레이될 수 있더라도 TDM 경우에 4배 더 많은 o 픽셀이 있다는 것을 의미한다.
유사한 추론이 후속 서브 프레임 슬롯들에 적용된다. 도 10c는 제2 서브 프레임 슬롯을 도시한다. 이제, 채널(1010)(도 10c의 오른쪽)이 개방된다. 개방된 클러스터(1010a)는 이미지(1017)의 일부를 생성하는 한편, 이 제2 서브 프레임 슬롯에 보이는 이미지의 다른 부분들은 동일한 채널의 클러스터들에 의해 표현된다. 제3 서브 프레임 슬롯이 도 10d에 표현된다. 이제, 개방된 채널은 1011로 라벨링된다(도 10d의 오른쪽). 이미지(1018)의 부분은 개방된 클러스터(1011a)로 표현된다. 도 10e는 제4 서브 프레임 슬롯을 도시한다. 클러스터(1012a)는 가상 스크린 상에서 이미지(1019)의 부분을 나타낸다(도 10e의 왼쪽).
또한, 도 10은 렌즈릿 어레이를 이용하여 시간 다중화 스킴에 존재하는 2가지 종류의 중첩을 도시한다: 1) 상이한 서브 프레임 슬롯의 클러스터들은 교차하지 않는다. 임의의 o 픽셀은 τ2개의 상이한 클러스터, 예를 들어, 4개의 클러스터(1009a, 1010a, 1011a 및 1012a)에 속하는 디지털 디스플레이 중심에 있는 것에 속한다. 이러한 클러스터 중첩은 시간 다중화의 특성이고, i 픽셀의 개수가 o 픽셀의 개수의 τ2배까지 될 수 있는 결과를 가진다. 2) 인접한 클러스터의 서브 이미지(예를 들어, 서브 이미지(1016, 1017, 1018, 2619))도 중첩한다. 즉, 2 이상의 렌즈릿을 통해 보여지는 i 픽셀이 있다. 이러한 서브 이미지 중첩은 렌즈릿 어레이의 특성이고, 결과적으로 이는 또한 10a의 하부의 비시간 다중화의 경우에서 나타난다. 이러한 중첩은 i 픽셀의 개수는 보통 o 픽셀의 개수의 τ2배보다 더 작은 결괴를 가지며, 따라서 (광학 기기의 부피를 감소시키기 위하여 필수적인) 이러한 서브 이미지 중첩은 TDM에 의해 제공된 해상도 개선과 경쟁한다. 이러한 서브 이미지 중첩은 PCT1의 섹션 6.2에서 i 픽셀과 연관된 웹의 개념으로 이어졌다. PCT1에 따르면, 웹은 동일한 i 픽셀에 매핑되는 o 픽셀의 집합이다. FDM을 위하여, 이 정의는 수정된다: 웹은 동일한 서브 프레임 슬롯 동안 동일한 i 픽셀에 매핑되는 o 픽셀의 집합이다.
동일한 채널의 개방된 렌즈릿들이 서로 충분히 분리될 때, 개방된 클러스터들은 정보를 공유하지 않고, 결과적으로 웹은 선행하는 예에서 단일 o 픽셀에 의해 형성된다. 이것은 도 10의 경우이다. 그럼에도 불구하고, 상이한 서브 프레임 슬롯에서 개방된 클러스터들은, 이전에 우리가 언급했던 바와 같이, 정보를 공유한다. 그러나, 디지털 디스플레이의 경계에 가까이 있거나 클러스터의 중심에 있는 o 픽셀은 i 픽셀과 일대일 대응 관계를 가진다.
하나의 바람직한 설계 조건은 모든 개방된 클러스터의 합집합은 전체 디스플레이와 동일하다는 것이다. 모든 개방된 클러스터가 크기에서 동일하다면, 이들의 전부의 합집합의 윤곽은 한 프레임에서 다른 프레임으로 이동할 것이어서, 디지털 디스플레이의 윤곽이 변경하기 때문에 이 조건을 충족하는 것을 불가능하게 할 것이다. 그 이유로, 디지털 디스플레이의 경계 근처의 일부 클러스터는. 모든 개방된 클러스터의 합집합의 윤곽이 임의의 서브 프레임 슬롯에서 디지털 디스플레이의 윤곽과 일치하도록, 나머지 클러스터보다 더 크게 정의될 수 있다. 이러한 더 큰 클러스터는 전체 디지털 디스플레이에 대하여 일정한 i 픽셀 대 o 픽셀의 비를 유지하도록 더 큰 서브 이미지를 할당하였을 수 있다.
모든 서브 프레임 슬롯 동안 전체 디지털 디스플레이를 사용하기 위한 클러스터 및 서브 이미지의 가능한 배열이 도 11에 도시된다. 도 10에서와 같이, 왼쪽 컬럼은 가상 스크린(1101) 상의 서브 이미지를 도시하고, 오른쪽 컬럼은 디스플레이(1111) 상의 클러스터(두꺼운 파선에 의해 경계가 지어짐)를 도시한다. 4개의 채널(따라서 4개의 서브 이미지 슬롯) 및 채널 당 9개의 렌즈릿(전체 6x6 = 36 렌즈릿)이 있다. 채널 당 1 서브 이미지가 있다. 도 11에서의 로우는 4개의 서브 프레임 슬롯에 대응한다. 도 11a(제1 서브 프레임 슬롯)은 일부 특정 클러스터에 라벨을 부여한다: 가장 작은 클러스터(1112), 가장 큰 클러스터(1114) 및 중심 클러스터(1113). 중심 클러스터(1113)는 유일한 규칙적인(regular) 클러스터이다. 다른 2개의 클러스터는 디지털 디스플레이 상의 상황에 맞추어진 크기를 가진다. 그 서브 프레임 슬롯 동안의 개방된 렌즈릿 출구 윤곽은, 클러스터(1113)를 서브 이미지(1103)으로 이미징하는 렌즈릿인 1123과 같은 얇은 파선으로 표시된 것이다. 이러한 개방된 렌즈릿은 도 11b, 11c 및 11d에는 강조되지 않는다. 도 11에서 주어진 예에서, 설명의 간략화를 위하여, 서브 이미지 중첩은 없고, 따라서, 왼쪽 컬럼에 도시된 서브 이미지의 합집합은 가상 스크린 상의 전체 이미지를 형성하고, 이러한 서브 이미지들 사이에 교집합은 없다. 각각의 서브 이미지의 크기는 이의 클러스터의 크기에 비례한다. 왼쪽 컬럼에서의 파선은 규칙적인 서브 이미지가 가질 수 있는 크기를 나타낸다. 이는 불규칙적인 것과의 비교를 위하여 묘사되었다. 단지 4개의 중심 클러스터(1113, 1115, 1116, 1117)만이 규칙적인 크기의 서브 이미지(1103, 1105, 1106, 1107)를 가진다.
더 많은 렌즈릿을 갖는 일 실시예는 중심 부분에 더 많은 규칙적인 클러스터를 가질 것이고, 일반적으로 디지털 디스플레이의 에지 또는 가상 스크린의 에지 주위에서 불규칙한 클러스터 및 서브 이미지의 단지 2개의 로우를 가질 것이다. 불규칙한 로우의 개수는 채널의 개수에 따라 변경된다.
도 12는 모든 서브 이미지가 결합된 가상 스크린의 전면도이다. 얇은 연속하는 선은 서브 이미지의 경계를 나타낸다. 4개의 규칙적인 서브 이미지는 1203, 1205, 1206 및 1207로 부호가 붙여졌다.
우리가 4 채널 실시예에 적용한 동일한 개념이 다른 개수의 채널에 확장될 수 있다. 예를 들어, 도 13은 3 채널의 예를 도시한다(τ2 = 3). 육각형 배열을 갖는 렌즈릿 어레이 광학 기기(1305)가 도 13의 왼쪽에 도시된다. 이 어레이는 디지털 디스플레이(1304)와 셔터(도 13에는 도시되지 않음)의 앞쪽에 배치된다. 도 13의 오른쪽은 클러스터 배열(두꺼운 파선)과 렌즈릿의 출구 어퍼처의 윤곽(얇은 연속하는 선)을 갖는 디지털 디스플레이의 전면도 도시한다. 렌즈릿 어레이는 3개의 채널로 분할된다: 수평 스트라이프를 갖는 육각형 렌즈릿(1306), 수직 스트라이프를 갖는 육각형 렌즈릿(1307) 및 흰색 육각형 렌즈릿(1308). 또한, 도 13은 렌즈릿 그룹(1308)(흰색 육각형)에 대응하는 개방 클러스터(1309)를 도시한다. 도 14는 2 채널을 갖는 예를 도시한다(τ2 = 2). 하나의 채널의 렌즈릿은 수평 스트라이프를 갖는 직사각형(1401)이고, 다른 하나의 채널의 렌즈릿은 흰색 직사각형(1402)이다. 또한, 도 14는 채널(1402)(흰색 직사각형)에 대응하는 개방된 클러스터(1403)를 도시한다. 도 14와 동일한 디지털 디스플레이와 동일한 가상 스크린을 이용하는 비 TDM 실시예에서, 클러스터는 렌즈릿 어퍼처와 유사한 크기를 가질 것이며, 렌즈릿의 초점 거리는 TDM 실시예의 렌즈릿의 초점 거리보다 작은 인자 τ(이 실시예에서, τ2 = √2)일 것이다.
PCT1(섹션 6.2 및 6.9)에서 소개되고 개발된 개념인 i 픽셀 인테리이싱은, 렌즈릿 크기가 눈 동공보다 더 작을 때, 서브 이미지 중첩 리던던시(redundancy)를 감소시키는 것을 가능하게 한다. 이 인터레이싱 개념은 각각의 세트가 다른 세트와 인터레이스된 이미지를 눈에 투사하도록 세트 내의 렌즈릿을 그루핑하는 것에 특징이 있고, 디지털 디스플레이 o 픽셀의 방출 영역이 보통 단지 전체 o 픽셀 영역의 일부라는 사실을 이용한다. 인터레이스된 이미지의 일례는 도 2의 4개의 이미지이며, 이미지(0201, 0202, 0203, 0204)의 검은 색이 아닌 정사각형의 각각에 단일 i 픽셀이 있다고 가정한다. 그 다음, 이미지가 인터레이스되기 때문에, 이들은 리던던시가 아니다. 인터리이싱 세트의 개수가 k2이고 k2가 1보다 큰 정수라면(k2 = 1은 인터레이싱이 수행되지 않는다는 것을 나타낸다), PCT1에 설명된 인터레이스된 시스템은 k2 > 1 및 τ2 = 1(즉, 시간 다중화가 없음)을 가진다. 그러나, 여기와 PCT1에서 설명된 설계 규칙을 따르면, 양 개념은 k2 > 1 및 τ2 > 1, 즉 i 픽셀 인터레이싱과 시간 다중화를 동시에 이용하는 것과 결합될 수 있어, 시야, 동공 범위, 해상도 또는 이 3가지의 임의의 조합을 더 증가시킨다. 인터레이싱 세트는 TDM 채널과 일치할 수 있지만, 이는 필수적인 조건이 아니다.
또한, 시간에서의 다중화는 디지털 디스플레이로서 디지털 마이크로미러 장치(Digital Micromirror Device(DMD))를 이용하여 성취될 수 있다. 이 경우에, 조명하기 위한 렌즈릿의 선택은 셔터를 이용하는 대신에 DMD 조명기의 적합한 설계로 수행될 수 있다. 이 대신에, 채널마다 조명 세트가 있다. 이 조명 세트는 단지 DMD가 대응하는 채널에 대응하는 이미지의 일부를 보여주고 있을 때에만 ON이 된다. 조명 세트는 LED와, DMD를 균일하게 조명하는 광학 집광 장치(condenser)와, 각도가 좁은 광선속(pencil of ray)에 의해 DMD 픽셀이 조명되는 소정의 시준(collimation)으로 실현될 수 있다. 이러한 광선의 방향은, 이의 2가지 상태 중 하나에서 DMD에 의해 반사되는 경우 광이 대응하는 채널에만 도달하도록 하는 것이다. 이러한 조명 스위칭 스킴은 또한 이전에 언급된 방향성 백라이트 유닛으로서 방향성 프론트 라이트 유닛의 적합한 설계에 의해 LCOS 디지털 디스플레이에 적용될 수 있다.
본 명세서에서의 모든 실시예를 위한 설계 절차는 다음의 단계들을 이용하여 수행될 수 있다:
1) 채널 개수 선택. 이 개수의 선택은 디스플레이의 스위칭 시간과, 셔터가 사용될 때 셔터의 스위칭 시간에 의존한다. 현재 상업적으로 입수 가능한 장치를 이용하면, 일반적으로, 디스플레이 스위칭 시간은 더욱 제한적이다. 디스플레이의 최대 프레임 레이트의 역수는 최소 서브 프레임 슬롯 시간을 제공할 것이다. 채널의 개수와 최소 서브 프레임 슬롯 시간의 곱은 가상 이미지를 위한 최소 디스플레이 시간을 제공한다. 예를 들어, 2채널의 180 fps의 디스플레이 프레임 레이트는 가상 이미지의 디스플레이를 위한 90 fps 레이트를 제공할 것이다.
2) 서브 이미지 구조 선택. 서브 이미지의 크기 및 근사 위치가 이 단계에서 선택된다. 도 6은 2 서브 이미지의 일부 예를 제공한다. 도 9, 10 및 11에 대응하는 예는 정사각형 매트릭스 구조의 4 서브 이미지에 대한 것이다. 도 13(파선)은 육각형 매트릭스 구조의 3 서브 이미지를 도시하고, 도 14는 정사각형 매트릭스 구조의 2 서브 이미지를 도시한다. 도 15는 2 채널 구성을 도시한다. 이 경우에, 중심 채널과, 중심 채널을 둘러싸는 제2 채널이 있다. 렌즈(1500)는 제1 채널을 위한 중심 렌즈릿(1503)을 가진다. 제2 채널은 중심 렌즈릿(1503)의 양측에서 2개의 렌즈릿(1504)에 의해 형성된다. 광학 시스템(1500)은 눈(1502)과 디지털 디스플레이(1501) 사이에 있다. 클러스터는 동일한 채널의 렌즈릿들 사이에 디지털 디스플레이를 공유한다. 중심 렌즈릿(1503)을 이용하는 제1 채널은 전체 디지털 디스플레이(1501)를 차지하는 단일 클러스터를 가진다. 외부에 렌즈릿(1504)을 이용하는 제2 채널은 파선(1505)을 따라 디지털 디스플레이를 분할하는, 각 채널에 대하여 하나의 클러스터인, 2개의 클러스터를 가진다.
도 16은 도 15의 렌즈(1500)와 유사한 렌즈(1600)의 수평 단면을 도시한다. 중심 채널(1603)에서의 일부 예시적인 광선은 파선으로 도 16의 하부 절반에 묘사된다. 제2 채널에서의 일부 예시적인 광선은 도 16의 상부 절반에서 실선으로 묘사된다. 도면은 눈(1602) 중심과 디지털 디스플레이(1601)의 중심을 연결하는 선에 대하여 대칭이다. 또한, 상부 절반과 하부 절반에서의 광선들은 결과적으로 대칭이다. 전술한 대칭성 때문에, 디지털 디스플레이(1601)의 중심은 제2 채널의 2개의 클러스터를 분리한다. 디지털 디스플레이(1601)의 중심으로부터 나오고, 동공 범위(1606)의 에지에 도달하는 광선(1607)이 특히 관심 대상이며, 이는 PCT1에서 설명된 바와 같이 크로스토크를 방지하기 위하여 필요한 설계 조건이다.
3) 광학 기기 설계. 광학 설계는 PCT1의 섹션 6(특히, 6.2 내지 6.7)에 따라 수행될 수 있다. 유일한 차이는 실제 이미지 디스플레이 상의 o 픽셀의 대응하는 클러스터들이 인접하더라도 동일한 채널의 렌즈릿이 이격될 수 있다는 것이다. 이것은 2개의 클러스터(1608)가 인접하는 도 16에서의 2개의 분리된 렌즈릿(1604)의 경우이다.
4) 셔터 설계. 셔터가 사용될 때, 이는 각각의 셔터가 해당하는 채널에서 모든 광선을 차단하고 다른 채널에서의 광선은 차단하지 않도록 채널의 광선의 경로를 따라 어디엔가 배치되어야 한다. 정렬과 제조 허용 오차를 최대화하기 위하여, 상이한 채널의 광선 궤적이 중첩하지 않고 바람직하게는 인접하지 않는 영역에 셔터를 위치시키는 것이 권할 만 한다. 좋은 위치는 보통, 도 16에 도시된 바와 같이, 렌즈에 가까운 디지털 디스플레이 및 렌즈 사이의 경로 내에 있다. 본 예에서, 모든 클러스터를 위한 셔터(1605)는 동일한 표면 상에 있다. 중심 채널에 대응하는 셔터는 검은 색으로 도시된다. 흰색으로 도시된 제2 채널의 셔터는 2개의 분리된 렌즈릿(1604)에 대응하는 2개의 부분으로 분할된다.
특정 예가 설명되었지만, 본 발명을 실시하는 것의 현재 고려되는 형태에 대한 이전의 설명은 한정적인 의미로 취급되어서는 안 되고, 본 발명의 소정의 일반적인 원리를 설명하는 목적으로만 이루어졌다. 설명된 특정의 실시예들로부터 변형이 가능하다. 예를 들어, 유익하게는 전술한 교차 참조된 특허 및 특허 출원은 본 출원의 교시 내용과 결합될 수 있는 시스템과 방법을 설명한다. 특정의 실시예들이 설명되었지만, 통상의 기술자는 상이한 실시예들의 특징들이 어떻게 결합될 수 있는지 이해할 것이다.
예를 들어, 디스플레이와 렌즈릿 사이에 또는 렌즈릿과 눈 사이의 광학 채널에 셔터를 제공하는 대신에, 일부 실시예에서 셔터를 광원과 디스플레이 사이에 배치하거나, 광의 개별 흐름을 생성하도록 상이한 부분 광원을 스위치 온 및 오프하는 것이 가능하다.
본 발명의 완전한 범위는 청구항을 참조하여 결정되어야 하며, 임의의 2 이상의 청구항의 특징은 결합될 수 있다.

Claims (31)

  1. 실제 이미지를 생성하도록 동작 가능한 디스플레이;
    복수의 광학 채널을 포함하는 광학 시스템; 및
    광 스위칭 시스템
    을 포함하고,
    각각의 상기 광학 채널은 하나 이상의 렌즈릿(lenslet)을 포함하고, 상기 디스플레이로부터 눈 위치로 광을 투사하는 각각의 렌즈릿(lenslet)에 의해, 상기 채널과 연관된 상기 디스플레이 상에 하나 이상의 해당하는 부분 실제 이미지로부터 하나 이상의 서브 이미지를 생성하도록 마련되고,
    상기 서브 이미지는, 상이한 광학 채널이 상기 디스플레이의 동일한 부분을 가상 이미지의 상이한 부분으로 이미징하도록 상기 눈 위치로부터 볼 수 있는 상기 가상 이미지를 형성하도록 결합되고,
    상기 광 스위칭 시스템은, 상기 디스플레이로부터 동공 범위로 상기 채널 중 선택된 채널을 통한 광의 흐름을 가능하게 하고, 상기 디스플레이로부터 상기 동공 범위로의 상기 채널 중 다른 선택된 채널을 통한 광의 흐름을 방지하고,
    상기 광 스위칭 시스템은, 상기 광학 채널을 통해 광이 연속적으로 흐를 수 있게 하기 위하여 상기 광학 채널을 연속적으로 개방하도록 배열되고, 상기 광학 채널의 각각이 개방되는 동안, 상기 디스플레이는 상기 채널과 연관된 상기 하나 이상의 해당하는 부분 실제 이미지를 디스플레이하도록 마련되는,
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 부분 실제 이미지의 적어도 하나는 상기 디스플레이의 실질적으로 전체 활성 영역을 차지하는,
    디스플레이 장치.
  3. 제1항에 있어서,
    상기 부분 실제 이미지의 적어도 2개는 상기 디스플레이의 중첩하지 않는 부분을 차지하고, 상기 디스플레이는, 단일 광학 채널과 동시에, 이 2개의 부분 실제 이미지를 디스플레이하고 디스플레이된 부분 실제 이미지의 합집합과 연관된 상기 광학 시스템의 부분을 개방하도록 배열되는,
    디스플레이 장치.
  4. 제1항에 있어서,
    상기 광 스위칭 시스템은 광이 상기 채널 중 연관된 채널을 통해 흐르는 것을 선택적으로 방지하도록 동작하는 셔터를 포함하는,
    디스플레이 장치.
  5. 제1항에 있어서,
    상기 광 스위칭 시스템은 광이 상기 디스플레이의 선택된 부분으로 또는 상기 디스플레이의 선택된 부분으로부터 흐르는 방향을 제어하도록 동작하는,
    디스플레이 장치.
  6. 제1항에 있어서,
    각각의 상기 채널은 개방되도록 마련되고, 상기 하나 이상의 해당하는 부분 실제 이미지는 반복하는 시퀀스로 주기적으로 디스플레이되는,
    디스플레이 장치.
  7. 제1항에 있어서,
    적어도 하나의 채널은 상기 디스플레이의 하나의 공간적으로 연속하는 부분을 하나의 공간적으로 연속하는 가상 서브 이미지로 이미징하는 병렬로 배열된 2 이상의 렌즈릿을 포함하는,
    디스플레이 장치.
  8. 제1항에 있어서,
    입력 이미지를 수신하고, 디스플레이 상의 부분 실제 이미지 위치에 각각 할당된 부분 입력 이미지를 생성하여, 생성된 상기 부분 입력 이미지를 상기 부분 실제 이미지로서 디스플레이하는 것에 따라 대응하는 서브 이미지가 상기 입력 이미지의 연속된(uninterrupted) 가상 이미지를 형성하게 정렬되도록 동작하는 이미지 생성기를 더 포함하고,
    상기 부분 실제 이미지 위치의 적어도 일부는 중첩하여, 이 위치에서 상기 디스플레이에 단일의 연속된 이미지의 부분을 형성하지 않는 부분 실제 이미지를 포함하는,
    디스플레이 장치.
  9. 제8항에 있어서,
    상기 이미지 생성기는, 입력 비디오를 수신하고, 상기 입력 비디오의 일련의 이미지의 각각에 대하여, 대응하는 서브 이미지가 상기 입력 이미지의 연속된 가상 이미지를 형성하기 위하여 정렬되도록 각각의 부분 실제 이미지가 상기 디스플레이에 위치 설정되게 상기 부분 실제 이미지를 생성하도록 동작하고,
    상기 비디오는 상기 입력 비디오의 이미지들을 연속으로 디스플레이함으로써 상기 디스플레이 장치에 디스플레이되고, 상기 입력 비디오의 이미지들의 각각은 상기 입력 비디오의 이미지들의 부분 실제 이미지를 연속으로 디스플레이함으로써 디스플레이되는,
    디스플레이 장치.
  10. 제1항에 있어서,
    모든 상기 광학 채널은 해당하는 서브 이미지로부터의 광을 21 내지 27 mm 지름의 상기 눈 위치에서의 가상 구(imaginary sphere)의 표면 상의 영역을 포함하는 동공 범위로 향하게 하도록 정렬되고, 상기 동공 범위는 상기 구의 중심에서 15도의 전 각도(whole angle)를 대각하는 원을 포함하는,
    디스플레이 장치.
  11. 제1항에 있어서,
    상기 디스플레이는 객체 픽셀(object pixel)을 포함하는 디지털 디스플레이이고, 상기 객체 픽셀은 인접하는 픽셀의 클러스터로 그루핑되고, 각각의 상기 클러스터는 부분 실제 이미지를 형성하고 상기 광학 채널 중 하나에 속하는 해당하는 렌즈릿과 연관되며, 적어도 일부의 상기 객체 픽셀은 상이한 시간에 2 이상의 클러스터에 속하여 이에 따라 해당하는 상기 광학 채널이 활성화되는,
    디스플레이 장치.
  12. 제1항에 있어서,
    주어진 렌즈릿을 통해 상기 동공 범위에 입사하는 실질적으로 모든 이미징 광선은 연관된 부분 실제 이미지로부터 나오고, 상기 연관된 부분 실제 이미지로부터 상기 동공 범위에 입사하는 실질적으로 모든 상기 이미징 광선은 연관된 상기 렌즈릿을 통과하는,
    디스플레이 장치.
  13. 제1항에 있어서,
    상기 동공 범위를 향해 주어진 렌즈릿을 빠져나오고 상기 가상 이미지의 임의의 하나의 위치부터 가상적으로 나오는 실질적으로 모든 이미징 광선은 연관된 상기 부분 실제 이미지의 단일 위치로부터 생성되는,
    디스플레이 장치.
  14. 제1항의 디스플레이 장치를 포함하는 헤드기어에 있어서,
    상기 디스플레이 장치의 눈 위치가 인간의 눈과 일치하도록 인간의 머리 상에 상기 디스플레이 장치를 위치 설정하기 위한 마운트를 갖는,
    헤드기어.
  15. 제14항에 있어서,
    상기 디스플레이 장치와 동일한 제2 디스플레이 장치를 더 포함하고, 상기 제2 디스플레이 장치는, 상기 제2 디스플레이 장치의 눈 위치가 인간의 제2 눈과 일치하도록 장착되는,
    헤드기어.
  16. 제15항에 있어서,
    상기 디스플레이 장치의 상기 디스플레이와, 상기 제2 디스플레이 장치의 상기 디스플레이는 단일 디스플레이의 부분인,
    헤드기어.
  17. 주어진 이미지를 디스플레이하는 방법에 있어서,
    각각이 상기 주어진 이미지의 부분을 나타내고 함께 상기 주어진 이미지를 나타내는 일련의 부분 실제 이미지들을 생성하는 단계로서, 상기 부분 실제 이미지들의 적어도 일부는 공간적으로 중첩하는 위치를 차지하는 단계; 및
    눈 위치로부터 보이는 각각의 서브 이미지를 형성하기 위하여 상기 부분 실제 이미지들을 연속으로 이미징하는 단계
    를 포함하고,
    상기 서브 이미지들은, 상이한 부분 실제 이미지들의 공간적으로 중첩하는 부분들이 가상 이미지의 상이한 부분들을 형성하도록, 상기 눈 위치로부터 보이는 상기 가상 이미지를 형성하기 위하여 공간적으로 결합되는,
    주어진 이미지를 디스플레이하는 방법.
  18. 제17항에 있어서,
    상기 부분 실제 이미지들을 연속으로 이미징하는 단계는, 동시에 디스플레이된 부분 실제 이미지들의 세트를 연속으로 이미징하는 단계를 포함하고, 적어도 하나의 상기 세트는 복수의 중첩하지 않는 부분 실제 이미지들을 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  19. 제17항에 있어서,
    상기 연속으로 이미징하는 단계는, 상기 디스플레이로부터 상기 눈 위치로 복수의 광학 채널 중 선택된 광학 채널을 통해 연속으로 광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계와, 상기 디스플레이로부터 상기 눈 위치에 있는 동공 범위로 상기 복수의 광학 채널 중 다른 선택된 광학 채널을 통한 광의 흐름을 방지하는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  20. 제19항에 있어서,
    상기 연속으로 광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계는, 상기 채널 중 연관된 채널을 통해 광이 흐르는 것을 선택적으로 방지하도록 셔터를 동작시키는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  21. 제19항에 있어서,
    상기 광이 흐르게 하거나 광이 흐르는 것을 허용하는 단계는, 상기 실제 이미지의 선택된 부분으로 또는 상기 실제 이미지의 선택된 부분으로부터 광이 흐르는 방향을 제어하는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  22. 제19항에 있어서,
    상기 광학 채널은 상기 부분 실제 이미지들로부터 서브 이미지들을 형성하는 렌즈릿(lenslet)을 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  23. 제19항에 있어서,
    객체 픽셀(object pixel)을 포함하는 디지털 디스플레이 상에 상기 실제 이미지를 형성하는 단계, 상기 객체 픽셀을 인접하는 픽셀들의 클러스터로 그루핑하는 단계, 각각의 상기 클러스터가 상기 광학 채널 중 하나에 속하는 렌즈릿과 연관된 부분 실제 이미지를 형성하게 하는 단계, 및 적어도 일부의 객체 픽셀을 상이한 시간에 2 이상의 클러스터로 그루핑하여, 이에 따라 각각의 상기 채널이 활성화되는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  24. 제19항에 있어서,
    상기 연속으로 이미징하는 단계는, 반복하는 시퀀스로 주기적으로 상기 채널을 통해 광이 흐르게 허용하는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  25. 제17항에 있어서,
    상기 부분 실제 이미지들 중 적어도 하나가 디스플레이의 실질적으로 전체 활성 영역을 차지하도록, 상기 일련의 부분 실제 이미지들을 상기 디스플레이 상에 생성하는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  26. 제17항에 있어서,
    상기 부분 실제 이미지들 중 적어도 2개의 부분 실제 이미지가 디스플레이의 중첩하지 않는 부분을 차지하도록, 상기 일련의 부분 실제 이미지들을 상기 디스플레이 상에 생성하는 단계를 포함하고,
    상기 연속으로 이미징하는 단계는, 상기 2개의 부분 실제 이미지를 동시에 이미징하는 단계를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  27. 제17항에 있어서,
    입력 이미지를 수신하는 단계, 상기 입력 이미지의 부분들을 각각이 한 위치에 할당된 부분 입력 이미지들로서 정의하는 단계, 및 대응하는 서브 이미지가 상기 입력 이미지의 연속된(uninterrupted) 가상 이미지를 형성하기 위하여 정렬되도록 위치 설정된 상기 부분 실제 이미지들로서 상기 부분 입력 이미지들을 생성하는 단계를 더 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  28. 제27항에 있어서,
    상기 입력 이미지를 수신하는 단계는, 입력 비디오를 수신하는 단계를 포함하고,
    상기 입력 비디오의 일련의 이미지들의 각각에 대하여, 대응하는 서브 이미지가 입력 이미지의 연속하는 가상 이미지를 형성하기 위하여 정렬되도록 위치 설정된 상기 부분 실제 이미지들의 각각을 생성하는 단계;
    상기 입력 비디오의 이미지들을 연속으로 디스플레이함으로써 상기 비디오를 디스플레이하는 단계; 및
    상기 입력 비디오의 상기 이미지들의 각각의 부분 실제 이미지들을 디스플레이함으로써 상기 입력 비디오의 그 이미지의 각각을 디스플레이하는 단계
    를 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  29. 제17항에 있어서,
    상기 서브 이미지로부터의 광을 21 내지 27 mm 지름의 상기 눈 위치에서의 가상 구(imaginary sphere)의 표면 상의 영역을 포함하는 동공 범위로 향하게 하는 단계를 포함하고, 상기 동공 범위는 상기 구의 중심에서 15도의 전 각도(whole angle)를 대각하는 원을 포함하는,
    주어진 이미지를 디스플레이하는 방법.
  30. 디스플레이 장치를 위한 이미지 데이터를 생성하는 방법에 있어서,
    입력 이미지를 수신하는 단계;
    상기 입력 이미지의 부분들에 대응하는 부분 이미지들을 생성하는 단계; 및
    적어도 일부가 중첩하는 위치들에 상기 부분 이미지들을 할당하는 단계
    를 포함하고,
    각각의 부분 이미지가 이의 할당된 위치에 연속으로 디스플레이되고, 제1항에 따라 구성된 디스플레이 장치의 복수의 채널의 각각의 채널에 의해 가상 서브 이미지로 이미징되면, 상기 가상 서브 이미지가 상기 입력 이미지의 연속된 가상 이미지를 형성하도록 결합되는,
    디스플레이 장치를 위한 이미지 데이터를 생성하는 방법.
  31. 입력 이미지의 복수의 부분 이미지들과 상기 부분 이미지들의 위치들을 나타내는 컴퓨터 판독 가능한 데이터를 포함하는 비일시적인 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 위치들의 적어도 일부는 중첩하고,
    각각의 부분 이미지가 이의 할당된 위치에 연속으로 디스플레이되고, 제1항에 따라 구성된 디스플레이 장치의 복수의 채널의 각각의 채널에 의해 가상 서브 이미지로 이미징되면, 상기 가상 서브 이미지가 상기 입력 이미지의 연속된 가상 이미지를 형성하도록 결합되는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
KR1020177023126A 2015-01-21 2016-01-20 시간 다중화를 이용한 시각적 디스플레이 KR102549398B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562105905P 2015-01-21 2015-01-21
US62/105,905 2015-01-21
US201562208235P 2015-08-21 2015-08-21
US62/208,235 2015-08-21
PCT/US2016/014151 WO2016118640A1 (en) 2015-01-21 2016-01-20 Visual display with time multiplexing

Publications (2)

Publication Number Publication Date
KR20170104603A KR20170104603A (ko) 2017-09-15
KR102549398B1 true KR102549398B1 (ko) 2023-06-29

Family

ID=56417699

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020177023137A KR102549397B1 (ko) 2015-01-21 2016-01-20 인간 눈 해상도에 조정된 이미징 광학 기기
KR1020177023126A KR102549398B1 (ko) 2015-01-21 2016-01-20 시간 다중화를 이용한 시각적 디스플레이
KR1020177023130A KR102627249B1 (ko) 2015-01-21 2016-01-20 내부 전반사를 갖는 디스플레이

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177023137A KR102549397B1 (ko) 2015-01-21 2016-01-20 인간 눈 해상도에 조정된 이미징 광학 기기

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177023130A KR102627249B1 (ko) 2015-01-21 2016-01-20 내부 전반사를 갖는 디스플레이

Country Status (6)

Country Link
US (5) US10782453B2 (ko)
EP (3) EP3248049B8 (ko)
JP (3) JP6782703B2 (ko)
KR (3) KR102549397B1 (ko)
CN (4) CN107430277B (ko)
WO (5) WO2016118648A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160364426A1 (en) * 2015-06-11 2016-12-15 Sap Se Maintenance of tags assigned to artifacts
US10567745B2 (en) 2016-02-12 2020-02-18 The Void, LLC Head mount display with automatic inter-pupillary distance adjustment
US10422976B2 (en) 2016-02-26 2019-09-24 Samsung Electronics Co., Ltd. Aberration corrected optical system for near-eye displays
US20170262020A1 (en) * 2016-03-10 2017-09-14 The Void Llc Head Mount Display with Near-Eye Projection for Virtual Reality System
US20190130875A1 (en) * 2016-03-31 2019-05-02 Huawei Technologies Co., Ltd. Application Program Processing Method And Terminal Device
GB2550137A (en) * 2016-05-09 2017-11-15 Euro Electronics (Uk) Ltd Method and apparatus for tiles light field display
GB2550885A (en) * 2016-05-26 2017-12-06 Euro Electronics (Uk) Ltd Method and apparatus for an enhanced-resolution light field display
US10664049B2 (en) 2016-12-09 2020-05-26 Nvidia Corporation Systems and methods for gaze tracking
US11042039B1 (en) * 2016-12-20 2021-06-22 Facebook Technologies, Llc Varifocal display with actuated reflectors
US10168668B2 (en) 2016-12-21 2019-01-01 Vladimir Yankov Method of forming a rarefied hologram for video imaging and 3D lithography
CN108227191A (zh) 2016-12-22 2018-06-29 乐金显示有限公司 增强现实装置
US10345562B2 (en) * 2017-02-07 2019-07-09 Raytheon Company All-reflective solar coronagraph sensor and thermal control subsystem
KR102692944B1 (ko) 2017-02-22 2024-08-07 루머스 리미티드 광 가이드 광학 어셈블리
DE102017104104A1 (de) * 2017-02-28 2018-08-30 Valeo Schalter Und Sensoren Gmbh Optisches Element für eine Sendeeinrichtung einer optischen Erfassungsvorrichtung, Sendeeinrichtung, optische Erfassungsvorrichtung, Kraftfahrzeug sowie Verfahren
JP6866738B2 (ja) 2017-04-12 2021-04-28 オムロン株式会社 画像表示ユニット
DE102017111607B4 (de) * 2017-05-29 2020-09-24 tooz technologies GmbH Abbildungsvorrichtung, Datenbrille und Verfahren zum Generieren eines Bildes aus einem Ausgangsbild in einer Datenbrille
CN108983488B (zh) * 2017-06-01 2021-04-20 台达电子工业股份有限公司 背光模块及显示设备
CN110809884B (zh) * 2017-06-22 2021-09-24 林巴克4Pi有限公司 利用用于立体视图的时间多路复用的视觉显示器
GB2564850A (en) * 2017-07-18 2019-01-30 Euro Electronics Uk Ltd Apparatus and method of light field display
CN107490847B (zh) * 2017-08-02 2023-02-28 滕少华 一种旋转变焦透镜系统及其实现方法
CN107300777A (zh) * 2017-08-18 2017-10-27 深圳惠牛科技有限公司 一种基于双自由曲面反射的成像系统
DE102017125731A1 (de) * 2017-11-03 2019-05-09 Carl Zeiss Ag Lichtleiter, Abbildungsvorrichtung und HMD mit separaten Abbildungskanälen
CN107861247B (zh) * 2017-12-22 2020-08-25 联想(北京)有限公司 光学部件及增强现实设备
CN107966825B (zh) * 2017-12-26 2023-12-19 广州弥德科技有限公司 一种拼接型指向性背光源及使用该背光源的显示系统
CN108227195B (zh) * 2017-12-29 2020-05-19 南京信息工程大学 一种离轴两反自由曲面光学系统
US10817052B1 (en) * 2018-01-09 2020-10-27 Facebook Technologies, Llc Eye emulator devices
CN108051921A (zh) * 2018-01-16 2018-05-18 塔普翊海（上海）智能科技有限公司 一种视场拼接的显示装置
WO2019147946A1 (en) * 2018-01-26 2019-08-01 Limbak 4Pi S.L. Compact optics in crossed configuration for virtual and mixed reality
CN108333748B (zh) * 2018-02-24 2021-01-26 京东方科技集团股份有限公司 一种虚拟现实设备的透镜优化方法和装置
US10527863B2 (en) 2018-03-16 2020-01-07 Sharp Kabushiki Kaisha Compact head-mounted display system
US12072493B2 (en) * 2018-03-22 2024-08-27 Lightspace Technologies, SIA Near-eye display apparatus and method of displaying three-dimensional images
US20190293950A1 (en) * 2018-03-22 2019-09-26 Lightspace Technologies, SIA Near-eye display apparatus and method of displaying three-dimensional images
CN108398788B (zh) * 2018-03-23 2024-04-16 京东方科技集团股份有限公司 眼睛跟踪装置及虚拟现实成像设备
CN110770637B (zh) * 2018-04-23 2022-11-22 索尼公司 视觉光学系统、医用观察器和医用观察器系统
US11454783B2 (en) * 2018-04-25 2022-09-27 Samsung Electronics Co., Ltd. Tiled triplet lenses providing a wide field of view
US11921302B2 (en) 2018-04-27 2024-03-05 Tesseland Llc Human vision-adapted light field displays
US10497320B1 (en) * 2018-05-07 2019-12-03 Facebook Technologies, Llc Transparent and reflective illumination source
EP4339656A3 (en) 2018-05-14 2024-06-05 Lumus Ltd. Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems
IL278511B1 (en) * 2018-05-17 2024-09-01 Lumus Ltd A near-eye display containing overlapping projector assemblies
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
KR102634595B1 (ko) * 2018-07-18 2024-02-07 삼성디스플레이 주식회사 증강 현실 제공 장치 및 그 제조방법
US20200033613A1 (en) * 2018-07-26 2020-01-30 Varjo Technologies Oy Display apparatus and method of displaying using curved optical combiner
AU2019330119B2 (en) 2018-08-26 2023-08-24 Lumus Ltd. Reflection suppression in near eye displays
US11187914B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Mirror-based scene cameras
CN112752992B (zh) 2018-09-28 2023-10-31 苹果公司 混合现实或虚拟现实相机系统
JP7001042B2 (ja) * 2018-11-08 2022-01-19 日本電信電話株式会社 眼情報推定装置、眼情報推定方法、プログラム
CN109375381B (zh) * 2018-11-27 2021-09-07 浙江理工大学 一种高信息通量低串扰的三维显示方法和系统
US10866412B2 (en) 2018-12-07 2020-12-15 Sharp Kabushiki Kaisha Compact head-mounted display system
CN109752852B (zh) * 2018-12-12 2021-04-13 重庆爱奇艺智能科技有限公司 一种用于头戴式设备的显示系统及其设计方法
TWI683136B (zh) * 2019-01-03 2020-01-21 宏碁股份有限公司 視訊穿透式頭戴顯示器及其控制方法
US11237389B1 (en) * 2019-02-11 2022-02-01 Facebook Technologies, Llc Wedge combiner for eye-tracking
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
US11340459B2 (en) * 2019-03-07 2022-05-24 Rockwell Collins, Inc. Steerable reticle for visor projected helmet mounted displays
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
CN111999889A (zh) * 2019-05-11 2020-11-27 京东方科技集团股份有限公司 曲面透镜和显示装置
BR112021022229A2 (pt) 2019-06-27 2022-02-22 Lumus Ltd Aparelho
US11281005B2 (en) 2019-08-08 2022-03-22 Sharp Kabushiki Kaisha Compact head-mounted display system with orthogonal panels
CN116506715A (zh) * 2019-09-27 2023-07-28 苹果公司 用于操作透镜显示器的方法和设备
CN115004079A (zh) * 2019-12-05 2022-09-02 特塞兰德有限责任公司 用于虚拟和混合现实的基于小透镜的超高分辨率光学器件
US20230023525A1 (en) * 2020-01-08 2023-01-26 Letinar Co., Ltd Optical device for augmented reality using total internal reflection
CA3189574A1 (en) * 2020-07-16 2022-01-20 Lusospace, Projectos Engenharia Lda Head-mounted display device
US11493772B1 (en) 2020-07-22 2022-11-08 Meta Platforms Technologies, Llc Peripheral light field display
US20230386373A1 (en) 2020-10-13 2023-11-30 Tesseland Llc Display device with dark ring illumination of lenslet arrays for vr and ar
US11947134B2 (en) * 2021-01-22 2024-04-02 National Taiwan University Device of generating 3D light-field image
KR20220113558A (ko) * 2021-02-05 2022-08-16 삼성디스플레이 주식회사 표시 장치, 이를 포함하는 헤드 마운트 표시 시스템 및 이의 구동 방법
KR20220136561A (ko) * 2021-03-31 2022-10-11 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
US11740473B2 (en) 2021-06-24 2023-08-29 Meta Platforms Technologies, Llc Flexible displays for VR/AR headsets
WO2022272148A1 (en) * 2021-06-24 2022-12-29 Meta Platforms Technologies, Llc Free-form light field displays for vr/ar headsets
WO2023281499A1 (en) 2021-07-04 2023-01-12 Lumus Ltd. Display with stacked light-guide elements providing different parts of field of view
KR20230040438A (ko) 2021-09-15 2023-03-23 삼성디스플레이 주식회사 표시 장치
JP2023043250A (ja) * 2021-09-16 2023-03-29 株式会社リコー 伝搬光学系、虚像表示装置及びヘッドマウントディスプレイ
CN116413911A (zh) * 2021-12-31 2023-07-11 北京耐德佳显示技术有限公司 一种超薄型镜片、使用其的虚像成像装置和近眼显示器
US20230274462A1 (en) * 2022-02-28 2023-08-31 Basis Software, Inc. System and method for camera calibration
KR20230174355A (ko) * 2022-06-20 2023-12-28 삼성디스플레이 주식회사 표시 장치 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258332A (ja) 2003-02-26 2004-09-16 Canon Inc 頭部装着型画像表示装置
US20130187836A1 (en) * 2010-04-30 2013-07-25 Dewen Cheng Wide angle and high resolution tiled head-mounted display device
KR101294261B1 (ko) 2013-01-08 2013-08-06 동서대학교산학협력단 마스크와 시간다중화 방식을 이용한 3차원 집적 영상 표시방법
JP2014503836A (ja) 2010-11-08 2014-02-13 シーリアル テクノロジーズ ソシエテ アノニム 表示装置
US20140176528A1 (en) * 2012-12-20 2014-06-26 Microsoft Corporation Auto-stereoscopic augmented reality display

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0191155B1 (de) * 1985-01-24 1990-07-18 Cerberus Ag Infrarot-Einbruchdetektor
JPH0584930U (ja) 1992-04-23 1993-11-16 神鋼電機株式会社 表示素子及びそれを用いた表示装置
JPH0638219A (ja) 1992-07-20 1994-02-10 Olympus Optical Co Ltd 映像表示装置
US5326266A (en) * 1992-09-02 1994-07-05 Evans & Sutherland Computer Corporation Area of interest display system with opto/mechanical image combining
JPH08160344A (ja) 1994-12-05 1996-06-21 Olympus Optical Co Ltd 頭部装着式映像表示装置
JP3658034B2 (ja) 1995-02-28 2005-06-08 キヤノン株式会社 画像観察光学系及び撮像光学系
JP3599828B2 (ja) 1995-05-18 2004-12-08 オリンパス株式会社 光学装置
JPH0965245A (ja) 1995-08-21 1997-03-07 Olympus Optical Co Ltd 画像表示装置
JP3371654B2 (ja) * 1995-10-30 2003-01-27 ソニー株式会社 投射型ディスプレイ装置
JPH09219832A (ja) * 1996-02-13 1997-08-19 Olympus Optical Co Ltd 画像表示装置
US5838490A (en) 1996-11-04 1998-11-17 Honeywell Inc. Head mounted display system using mangin mirror combiner
JP3943680B2 (ja) 1997-01-06 2007-07-11 オリンパス株式会社 映像表示装置
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
CN100339739C (zh) * 1999-04-02 2007-09-26 奥林巴斯株式会社 观察光学系统及使用了该系统的图像显示装置
DE60029625T2 (de) 1999-12-23 2007-07-12 Shevlin Technologies Ltd. Anzeigegerät
JP4573393B2 (ja) * 2000-01-06 2010-11-04 オリンパス株式会社 画像表示装置
JP2002040364A (ja) 2000-07-21 2002-02-06 Asahi Optical Co Ltd 立体視観察用光学系
KR100388819B1 (ko) 2000-07-31 2003-06-25 주식회사 대양이앤씨 헤드 마운트 디스플레이용 광학 시스템
US6543899B2 (en) * 2000-12-05 2003-04-08 Eastman Kodak Company Auto-stereoscopic viewing system using mounted projection
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6522474B2 (en) 2001-06-11 2003-02-18 Eastman Kodak Company Head-mounted optical apparatus for stereoscopic display
US7053967B2 (en) * 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
JP3994896B2 (ja) * 2002-09-25 2007-10-24 コニカミノルタホールディングス株式会社 映像表示装置
US6896381B2 (en) 2002-10-11 2005-05-24 Light Prescriptions Innovators, Llc Compact folded-optics illumination lens
JP2004317798A (ja) * 2003-04-16 2004-11-11 Canon Inc 画像表示装置
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
ITTO20030734A1 (it) 2003-09-24 2005-03-25 Fiat Ricerche Concentratore di luce multifocale per un dispositivo per la conversione di radiazione, ed in particolare per la conversione della radiazione solare in energia elettrica, termica o chimica.
CA2548224A1 (en) * 2003-12-12 2005-07-07 Headplay, Inc. Multiple imaging arrangements for head mounted displays
JP2006329747A (ja) * 2005-05-25 2006-12-07 Tokyo Institute Of Technology 画像撮影装置
KR101170120B1 (ko) 2005-07-27 2012-07-31 삼성전자주식회사 비안경식 3차원 디스플레이 장치
WO2007019347A2 (en) * 2005-08-08 2007-02-15 University Of Connecticut Depth and lateral size control of three-dimensional images in projection integral imaging
KR100716829B1 (ko) 2005-08-10 2007-05-09 삼성전기주식회사 초박형 모바일 카메라 광학 렌즈 시스템 및 이를 이용한이미지 결상 방법
US7486341B2 (en) 2005-11-03 2009-02-03 University Of Central Florida Research Foundation, Inc. Head mounted display with eye accommodation having 3-D image producing system consisting of, for each eye, one single planar display screen, one single planar tunable focus LC micro-lens array, one single planar black mask and bias lens
US7515345B2 (en) * 2006-10-09 2009-04-07 Drs Sensors & Targeting Systems, Inc. Compact objective lens assembly
JP2008165063A (ja) 2006-12-28 2008-07-17 Scalar Corp ヘッドマウントディスプレイ
US8605008B1 (en) 2007-05-04 2013-12-10 Apple Inc. Head-mounted display
JP5031452B2 (ja) 2007-06-20 2012-09-19 キヤノン株式会社 画像観察装置及び画像観察システム
JP4906680B2 (ja) 2007-11-02 2012-03-28 キヤノン株式会社 画像表示装置
KR101419230B1 (ko) 2007-11-29 2014-07-16 엘지디스플레이 주식회사 입체 표시 장치
WO2009077774A1 (en) * 2007-12-18 2009-06-25 Bae Systems Plc Improvements in or relating to projection displays
US8314814B2 (en) * 2007-12-20 2012-11-20 Raytheon Company Imaging system
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US20090295683A1 (en) 2008-05-27 2009-12-03 Randall Pugh Head mounted display with variable focal length lens
CN201242611Y (zh) * 2008-08-12 2009-05-20 贾怀昌 自由曲面全反射式的目视光学棱镜
CN101359089B (zh) * 2008-10-08 2010-08-11 北京理工大学 轻小型大视场自由曲面棱镜头盔显示器光学系统
JP5335375B2 (ja) * 2008-10-31 2013-11-06 キヤノン株式会社 画像表示装置
WO2010061835A1 (ja) * 2008-11-26 2010-06-03 コニカミノルタオプト株式会社 映像表示装置およびヘッドマウントディスプレイ
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
WO2010123934A1 (en) * 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
JP2011145488A (ja) 2010-01-14 2011-07-28 Sony Corp ヘッドマウントディスプレイ
CN101887166B (zh) * 2010-07-15 2012-07-11 深圳航天科技创新研究院 目镜
CN101915992B (zh) * 2010-07-23 2012-05-16 浙江大学 一种基于自由曲面护目镜的穿透式头盔显示装置
US8717562B2 (en) * 2010-08-23 2014-05-06 Scattering Solutions, Inc. Dynamic and depolarized dynamic light scattering colloid analyzer
KR101728821B1 (ko) * 2010-09-28 2017-05-04 삼성디스플레이 주식회사 3차원 표시 장치
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US8781794B2 (en) * 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
WO2012083042A1 (en) * 2010-12-16 2012-06-21 Lockheed Martin Corporation Collimating display with pixel lenses
EP2656135B1 (en) * 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
TWI432013B (zh) * 2011-06-30 2014-03-21 Acer Inc 立體影像顯示方法及影像時序控制器
JP2013044896A (ja) * 2011-08-23 2013-03-04 Brother Ind Ltd ヘッドマウントディスプレイ
JP5875295B2 (ja) 2011-08-30 2016-03-02 キヤノン株式会社 画像表示装置
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
CN102402005B (zh) * 2011-12-06 2015-11-25 北京理工大学 自由曲面双焦面单目立体头盔显示器装置
US8384999B1 (en) * 2012-01-09 2013-02-26 Cerr Limited Optical modules
KR101931406B1 (ko) * 2012-01-24 2018-12-20 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
JP6028357B2 (ja) * 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
DE102012205164B4 (de) * 2012-03-29 2021-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsdisplay und Verfahren zur Projektion virtueller Bilder
US9142185B2 (en) * 2012-08-30 2015-09-22 Atheer, Inc. Method and apparatus for selectively presenting content
CN103207454B (zh) * 2012-09-17 2016-09-07 北京理工大学 具有扩展边缘的双视场自由曲面棱镜头盔显示器用光学系统
CN103841395B (zh) 2012-11-27 2016-10-05 联想(北京)有限公司 合成图像显示方法和设备
US10209517B2 (en) * 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
CN203519925U (zh) * 2013-06-29 2014-04-02 歌尔声学股份有限公司 一种头戴显示器
TWI470267B (zh) * 2013-10-14 2015-01-21 Largan Precision Co Ltd 光學影像拾取系統、取像裝置以及可攜裝置
DK3075150T3 (da) * 2013-11-25 2022-09-12 Tesseland Llc Immersive kompakte displayglas
WO2015088468A1 (en) 2013-12-09 2015-06-18 Moskalenko Mykhailo Device for representation of visual information
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015162098A1 (en) * 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US9759919B2 (en) * 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004258332A (ja) 2003-02-26 2004-09-16 Canon Inc 頭部装着型画像表示装置
US20130187836A1 (en) * 2010-04-30 2013-07-25 Dewen Cheng Wide angle and high resolution tiled head-mounted display device
JP2014503836A (ja) 2010-11-08 2014-02-13 シーリアル テクノロジーズ ソシエテ アノニム 表示装置
US20140176528A1 (en) * 2012-12-20 2014-06-26 Microsoft Corporation Auto-stereoscopic augmented reality display
KR101294261B1 (ko) 2013-01-08 2013-08-06 동서대학교산학협력단 마스크와 시간다중화 방식을 이용한 3차원 집적 영상 표시방법

Also Published As

Publication number Publication date
EP3248053A4 (en) 2018-10-24
EP3248052B1 (en) 2020-07-22
WO2016118640A1 (en) 2016-07-28
WO2016118647A1 (en) 2016-07-28
WO2016118643A1 (en) 2016-07-28
KR20170104603A (ko) 2017-09-15
WO2016160099A3 (en) 2016-11-24
KR102627249B1 (ko) 2024-01-18
JP2018510372A (ja) 2018-04-12
EP3248052B8 (en) 2020-09-09
CN107430285A (zh) 2017-12-01
EP3248053A1 (en) 2017-11-29
KR102549397B1 (ko) 2023-06-28
CN107407817A (zh) 2017-11-28
CN107430277B (zh) 2020-09-15
CN107430285B (zh) 2020-07-17
JP2018509646A (ja) 2018-04-05
EP3248049B1 (en) 2020-10-21
US10663626B2 (en) 2020-05-26
JP2018504637A (ja) 2018-02-15
US20180004000A1 (en) 2018-01-04
CN107407817B (zh) 2020-09-08
US10782453B2 (en) 2020-09-22
KR20170105095A (ko) 2017-09-18
US10690813B2 (en) 2020-06-23
JP6821574B2 (ja) 2021-01-27
US20180003999A1 (en) 2018-01-04
WO2016118648A1 (en) 2016-07-28
CN107430277A (zh) 2017-12-01
US20180003978A1 (en) 2018-01-04
CN107407816B (zh) 2020-06-12
US20180003963A1 (en) 2018-01-04
EP3248049A1 (en) 2017-11-29
US20180003862A1 (en) 2018-01-04
EP3248052A1 (en) 2017-11-29
CN107407816A (zh) 2017-11-28
JP6782703B2 (ja) 2020-11-11
WO2016160099A2 (en) 2016-10-06
JP6670840B2 (ja) 2020-03-25
EP3248049B8 (en) 2020-12-30
EP3248052A4 (en) 2018-10-24
KR20170104604A (ko) 2017-09-15
US10459126B2 (en) 2019-10-29
EP3248053B1 (en) 2020-05-20
US10436951B2 (en) 2019-10-08
EP3248049A4 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
KR102549398B1 (ko) 시간 다중화를 이용한 시각적 디스플레이
US7123287B2 (en) Autostereoscopic display
JP4367775B2 (ja) デュアルビューディスプレイ
CN110809884B (zh) 利用用于立体视图的时间多路复用的视觉显示器
JP4333878B2 (ja) マルチビュー指向性ディスプレイ
JP4492851B2 (ja) 視差バリアおよび複数表示ディスプレイ
JP4459959B2 (ja) 自動立体マルチユーザ・ディスプレイ
CN106104372A (zh) 定向背光源
JP2010224129A (ja) 立体画像表示装置
US20120113510A1 (en) Display device and display method
US20240151984A1 (en) Devices and methods for enhancing the performance of integral imaging based light field displays using time-multiplexing schemes
JP2010113161A (ja) 映像表示装置
KR20120063161A (ko) 3차원 디스플레이 장치 및 3차원 영상 디스플레이 방법
JPH08334730A (ja) 立体像再生装置
JP2003255265A (ja) 立体画像表示装置
KR20050016344A (ko) 자동 입체 디스플레이
CN112415765B (zh) 一种裸眼立体显示装置和显示方法
GB2428129A (en) A multiple-view directional display
Surman et al. Display development in the advanced displays laboratory at NTU

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant