KR20240017132A - 눈-추적 기반 동적 디스플레이 교정 - Google Patents

눈-추적 기반 동적 디스플레이 교정 Download PDF

Info

Publication number
KR20240017132A
KR20240017132A KR1020247003400A KR20247003400A KR20240017132A KR 20240017132 A KR20240017132 A KR 20240017132A KR 1020247003400 A KR1020247003400 A KR 1020247003400A KR 20247003400 A KR20247003400 A KR 20247003400A KR 20240017132 A KR20240017132 A KR 20240017132A
Authority
KR
South Korea
Prior art keywords
display
correction
calibration
eye
depth
Prior art date
Application number
KR1020247003400A
Other languages
English (en)
Inventor
이반 엘. 예오
리오넬 이. 에드윈
사무엘 에이. 밀러
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20240017132A publication Critical patent/KR20240017132A/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/506—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by screens, monitors, displays or CRTs
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Details Of Measuring Devices (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Image Processing (AREA)
  • Peptides Or Proteins (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

디스플레이와 함께 사용하기 위한 광 필드 계측 시스템의 예들이 개시된다. 광 필드 계측은 투영된 광 필드의 이미지들을 캡처하고 캡처된 이미지들을 사용하여 광 필드의 다양한 구역들에 대한 포커스 깊이들 (또는 측방향 포커스 포지션들)을 결정할 수 있다. 이후, 결정된 포커스 깊이들(또는 측방향 포지션들)은 디스플레이의 결함들을 정량화하기 위하여 의도된 포커스 깊이들(또는 측방향 포지션들)과 비교될 수 있다. 측정된 결함들에 기반하여, 측정된 결함들을 보정하기 위하여 광 필드에 대하여 적절한 에러 보정이 수행될 수 있다. 디스플레이는 헤드 장착 디스플레이의 광학 디스플레이 엘리먼트, 예컨대 다수의 깊이 평면들을 생성할 수 있는 광학 디스플레이 엘리먼트 또는 광 필드 디스플레이일 수 있다.

Description

눈-추적 기반 동적 디스플레이 교정{DYNAMIC DISPLAY CALIBRATION BASED ON EYE-TRACKING}
[0001] 이 출원은, 2015년 11월 4일에 출원되고 발명의 명칭이 LIGHT FIELD DISPLAY METROLOGY인 미국 출원 번호 62/250,925호, 2016년 1월 14일에 출원되고 발명의 명칭이 LIGHT FIELD ERROR CORRECTION인 미국 출원 번호 62/278,779호, 2015년 11월 4일에 출원되고 발명의 명칭이 AUTOMATED CALIBRATION IMAGE PROJECTION AND CAPTURE FOR DISPLAY CALIBRATION인 미국 출원 번호 62/250,934호, 2016년 1월 14일에 출원되고 발명의 명칭이 DYNAMIC CALIBRATION OF A DISPLAY BASED ON EYE-TRACKING인 미국 출원 번호 62/278,824호 및 2016년 1월 14일에 출원되고 발명의 명칭이 CHROMATIC BALANCING A DISPLAY HAVING VARYING CHROMATICITY ACROSS A FIELD OF VIEW인 미국 출원 번호 62/278,794호에 대해 우선권을 주장하고, 이 모두는 이로써 그 전체가 본원에 인용에 의해 통합된다.
[0002] 본 개시내용은 가상 현실 및 증강 현실 이미징 및 가시화 시스템들 및 보다 구체적으로는 이미징 및 가시화 시스템들의 광학 특성들을 측정 및 교정하기 위한 계측 시스템들에 관한 것이다. 본 개시내용은 또한 눈-추적에 기반하는 가상 현실 및 증강 현실 이미징 및 가시화 시스템들의 동적 교정에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 디지털적으로 재생된 이미지들 또는 이들의 부분들은, 이들이 실제인 것으로 보이거나, 또는 실제로서 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실 또는 "VR" 시나리오는 전형적으로 다른 실제 현실-세계 시각적 입력에 대한 투명성 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하거나; 증강 현실 또는 "AR" 시나리오는 전형적으로 사용자 주위의 실제 세계의 가시화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하거나; 또는 혼합 현실 "MR"은, 물리 및 가상 객체들이 공존하고 실시간으로 상호작용하는 새로운 환경을 생성하기 위해 실제 및 가상 세계들을 융합하는 것에 관련된다. 밝혀진 바와 같이, 인간 시지각 시스템은 매우 복잡하고, 그리고 다른 가상 또는 실제-세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편리하고, 자연스러운 느낌의 풍부한 프리젠테이션을 가능하게 하는 VR, AR 또는 MR 기술을 생성하는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 처리한다.
[0004] 이미징 시스템의 실시예는 이미지를 뷰어의 눈쪽으로 투영하기 위한 투영 디바이스 ― 이미지는 가상 객체들로부터의 광을 표현하는 광 필드를 포함하고, 가상 객체는 하나 또는 그 초과의 의도된 포커스 깊이들에 위치된 것 처럼 투영되도록 구성됨 ―, 및 광 필드에서 결함들을 측정하기 위한 광 필드 계측 디바이스를 포함한다. 광 필드 계측 디바이스는 광 필드의 일부분에 대응하는 하나 또는 그 초과의 이미지들을 캡처하고, 광 필드의 부분이 인 포커스인 깊이들에 대응하는 하나 또는 그 초과의 인식된 포커스 깊이들을 식별하기 위해 하나 또는 그 초과의 캡처된 이미지들을 분석하고, 식별된 포커스 깊이들에 적어도 부분적으로 기반하여 깊이 지도를 생성하고, 그리고 생성된 깊이 지도를 하나 또는 그 초과의 의도된 포커스 깊이들과 비교하도록 구성될 수 있다. 시스템은 웨어러블 디스플레이 시스템을 동적으로 교정하는데 사용될 수 있는 공간 및/또는 색채(chromatic) 결함들에 대한 교정을 생성할 수 있다.
[0005] 본 명세서에 설명된 청구 대상의 하나 또는 그 초과의 구현들의 세부사항들은 아래의 첨부 도면들과 상세한 설명에서 설명된다. 다른 특징들, 양상들 및 장점들은 상세한 설명, 도면들 및 청구항들로부터 자명하게 될 것이다. 이 요약도 다음 상세한 설명 어느 것도 본 발명의 청구 대상의 범위를 정의하거나 제한하도록 주장하지 않는다.
[0006] 도 1은 소정의 가상 현실 객체들, 및 사람이 보는 소정의 실제 현실 객체들을 가진 증강 현실 시나리오의 예시를 도시한다.
[0007] 도 2는 웨어러블 디스플레이 시스템의 예를 개략적으로 예시한다.
[0008] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0009] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0010] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출구 빔들을 도시한다.
[0011] 도 6은 도파관 장치, 도파관 장치에 광을 광학적으로 커플링하거나 도파관 장치로부터 광을 광학적으로 커플링하기 위한 광학 커플러 서브시스템, 및 멀티-초점 용량 측정 디스플레이, 이미지 또는 광 필드의 생성에 사용되는 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략 다이어그램이다.
[0012] 도 7은 교정 패턴을 투영할 때 발생할 수 있는 예시적인 왜곡들을 예시한다.
[0013] 도 8은 디스플레이된 이미징된 위치들과 예상된 이미지 위치들 간의 왜곡을 가시화하기 위해 생성될 수 있는 다른 예시적인 벡터 필드를 예시한다.
[0014] 도 9a는 예시적인 XY 병진 공간 에러를 예시한다.
[0015] 도 9b는 예시적인 어그리게이트(aggregate) 회전 공간 에러를 예시한다.
[0016] 도 9c 및 도 9d는 어그리게이트 스케일링(scaling) 공간 에러의 예들을 예시한다.
[0017] 도 9e는 XY 병진, 회전 및 스케일링의 보정들이 수행된 이후 나머지 공간 에러들의 예를 예시한다.
[0018] 도 10a는 상이한 깊이들에서 보여지도록 의도된 복수의 깊이 평면들의 예를 예시한다.
[0019] 도 10b-도 10e는 투영된 깊이 평면들을 볼 때 발생할 수 있는 예시적인 평면외 공간 에러들을 예시한다.
[0020] 도 11은 투영된 테스트 이미지의 캡처된 이미지를 예시한다.
[0021] 도 12a는 투영된 테스트 이미지의 캡처된 이미지로부터 생성될 수 있는 강도 히스토그램을 예시한다.
[0022] 도 12b는 투영된 테스트 이미지의 캡처된 이미지로부터 생성될 수 있는 강도 프로파일을 예시한다.
[0023] 도 13은 모드, 중간값 및 평균 간의 차이들을 예시하는 예시적인 강도 히스토그램들을 예시한다.
[0024] 도 14a는 투영된 테스트 이미지의 캡처된 이미지로부터 생성된 적색-녹색-청색(RGB) 강도 지도를 예시한다.
[0025] 도 14b는 최대 컬러 오프-밸런스 에러의 예를 맵핑하는 플롯을 예시한다.
[0026] 도 15는 색채 보정 이후 적색, 녹색 및 청색 층들을 가진 예시적인 디스플레이에 대한 RGB 강도 지도를 예시한다.
[0027] 도 16은 디스플레이 시스템에 대한 이미지 보정을 수행하기 위한 프로세스의 예의 흐름도이다.
[0028] 도 17a 및 도 17b는 정상 광 필드 및 결함 있는 광 필드로 보여지는 객체들의 예들을 예시한다.
[0029] 도 18은 일부 실시예들에 따라 투영된 광 필드의 포커스 깊이들을 측정하기 위한 광 필드 계측 시스템의 예를 개략적으로 예시한다.
[0030] 도 19a는 특정 포커스 깊이 상에 포커싱된 카메라에 의해 캡처될 수 있는 이미지의 예의 다이어그램이다.
[0031] 도 19b 및 도 19c는 깊이 그래프 및 깊이 지도의 예들을 예시한다.
[0032] 도 20은 광 필드 디스플레이에 의해 생성된 가상 타겟 패턴의 품질을 측정하기 위한 프로세스의 예의 흐름도이다.
[0033] 도 21은 디스플레이를 교정하기 위한 방법의 예를 예시하는 흐름도이다.
[0034] 도 22는 디스플레이를 교정하기 위해 교정 패턴을 사용하는 시스템의 예를 개략적으로 예시한다.
[0035] 도 23a는 예시적인 체커보드(checkerboard) 교정 패턴을 예시한다.
[0036] 도 23b는 예시적인 단일-픽셀 교정 패턴을 예시한다.
[0037] 도 24는 투영된 광 필드를 교정하기 위한 예시적인 프로세스의 흐름도이다.
[0038] 도 25a는 도파관, 인커플링 광학 엘리먼트, 광 재분산 엘리먼트, 및 아웃커플링 광학 엘리먼트를 포함하는 디스플레이의 예를 개략적으로 예시하는 평면도이다.
[0039] 도 25b는 축 A-A'을 따라 도 7a에 도시된 디스플레이의 단면도이다.
[0040] 도 26은 교정이 기준 포지션들(점들에 의해 표시됨)의 그리드에서 공간 및/또는 색채 에러들을 수정하기 위해 적용될 수 있는 디스플레이에 대한 동적 교정 시스템의 예를 개략적으로 예시한다.
[0041] 도 27은 눈-추적에 기반하여 디스플레이를 동적으로 교정하기 위한 예시적인 방법을 예시하는 흐름도이다.
[0042] 도 28은 특정 디스플레이와 연관된 동적 교정 시스템 및 공장 교정 시스템의 상호작용의 예를 개략적으로 예시하는 프로세스 흐름도이다.
[0043] 도면들 전반에 걸쳐, 참조 번호들은 참조된 엘리먼트들 간의 대응을 표시하는데 다시-사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되고 본 개시내용의 범위를 제한하도록 의도되지 않는다.
개요
[0044] 3차원(3D) 디스플레이가 깊이의 진정한 센세이션, 보다 상세하게는 표면 깊이의 시뮬레이팅된 센세이션을 생성하기 위해, 디스플레이의 시각적 필드 내의 각각의 포인트가 이의 가상 깊이에 대응하는 조절 응답을 생성하는 것이 바람직하다. 디스플레이 포인트에 대한 조절 응답이 그 포인트의 가상 깊이에 대응하지 못하면, 수렴 및 입체시의 양안 깊이 큐들에 의해 결정된 바와 같이, 인간 눈은 조절 충돌을 경험할 수 있고, 이는 불안정한 이미징, 해로운 눈 피로감, 두통들, 및 원근조절 정보의 부재시, 거의 표면 깊이의 완전한 결핍을 초래한다.
[0045] VR 및 AR 경험들은, 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 가진 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면에 대해 상이할 수 있고(예컨대, 장면 또는 객체의 약간 상이한 프리젠테이션들을 제공함) 그리고 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 이에 의해 상이한 깊이 평면에 위치된 장면에 대해 상이한 이미지 피처들을 포커싱하게 하도록 요구받은 눈의 조절에 기반하거나 그리고/또는 포커싱 아웃된 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기반하여 사용자에게 깊이 큐들을 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 그런 깊이 큐들은 깊이의 신뢰성 있는 지각들을 제공한다.
3D 디스플레이
[0046] 도 1은 소정의 가상 현실 객체들, 및 사람이 보는 소정의 실제 현실 객체들을 가진 증강 현실 시나리오의 예시를 도시한다. 도 1은 증강 현실 장면(100)을 도시하고, 여기서 AR 기술의 사용자는 백그라운드 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 현실-세계 공원형 세팅(110)을 본다. 이들 아이템들 외에도, 이들 엘리먼트들이 현실 세계에 존재하지 않더라도, AR 기술의 사용자는 또한, 그가 현실-세계 플랫폼(120)에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보이는 날고있는 만화형 아바타 캐릭터(140)를 "본다"는 것을 인식한다.
[0047] 3차원(3-D) 디스플레이가 깊이의 진정한 센세이션, 보다 상세하게는 표면 깊이의 시뮬레이팅된 센세이션을 생성하기 위해, 디스플레이의 시각적 필드 내의 각각의 포인트가 이의 가상 깊이에 대응하는 조절 응답을 생성하는 것이 바람직하다. 디스플레이 포인트에 대한 조절 응답이 그 포인트의 가상 깊이에 대응하지 못하면, 수렴 및 입체시의 양안 깊이 큐들에 의해 결정된 바와 같이, 인간 눈은 조절 충돌을 경험할 수 있고, 이는 불안정한 이미징, 해로운 눈 피로감, 두통들, 및 조절 정보의 부재시, 거의 표면 깊이의 완전한 결핍을 초래한다.
[0048] VR, AR 및 MR 경험들은, 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 가진 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면에 대해 상이할 수 있고(예컨대, 장면 또는 객체의 약간 상이한 프리젠테이션들을 제공함) 그리고 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 이에 의해 상이한 깊이 평면에 위치된 장면에 대해 상이한 이미지 피처들을 포커싱하게 하도록 요구받은 눈의 조절에 기반하거나 그리고/또는 포커싱 아웃된 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기반하여 사용자에게 깊이 큐들을 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 그런 깊이 큐들은 깊이의 신뢰성 있는 지각들을 제공한다.
[0049] 도 2는 디스플레이 시스템 착용자 또는 뷰어(204)에 VR, AR 또는 MR 경험을 제시하는데 사용될 수 있는 웨어러블 디스플레이 시스템(200)의 예를 예시한다. 디스플레이 시스템(200)은 디스플레이(208), 및 디스플레이(208)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(208)는, 디스플레이 시스템 사용자, 착용자 또는 뷰어(204)에 의해 웨어러블하고 착용자(204)의 눈들의 전면에 디스플레이(208)를 포지셔닝하도록 구성된 프레임(212)에 커플링될 수 있다. 디스플레이(208)는 광 필드 디스플레이일 수 있다. 일부 실시예들에서, 스피커(216)는 프레임(212)에 커플링되고 사용자의 외이도(ear canal)에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커는 스테레오/형상화가능 사운드 제어를 제공하기 위해 사용자의 다른 외이도에 인접하게 포지셔닝된다). 디스플레이(208)는 다양한 구성들로 장착될 수 있는, 이를테면 프레임(212)에 고정되게 어태치되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 어태치되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(204)에 제거가능하게 어태치되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(224)에 이를테면 유선 리드 또는 무선 연결성에 의해, 동작가능하게 커플링(220)된다.
[0050] 로컬 프로세싱 및 데이터 모듈(224)은 하드웨어 프로세서뿐 아니라, 비-일시적 디지털 메모리, 이를테면 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱 및 저장을 보조하는데 활용될 수 있다. 데이터는 (a) (예컨대, 프레임(212)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(204)에게 어태치될 수 있는) 센서들, 이를테면 이미지 캡처 디바이스들(이를테면 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로(gyros)들로부터 캡처되고; 그리고/또는 (b) 원격 프로세싱 모듈(228) 및/또는 원격 데이터 저장소(232)를 사용하여 획득되고 그리고/또는 프로세싱되어, 가능하게 그런 프로세싱 또는 리트리벌 이후 디스플레이(208)에 전달을 위한 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(224)은 통신 링크들(236 및/또는 240)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(228) 및 원격 데이터 저장소(232)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(228, 232)은 로컬 프로세싱 및 데이터 모듈(224)에 대한 자원들로서 이용가능하다. 게다가, 원격 프로세싱 모듈(228) 및 원격 데이터 저장소(232)는 서로 동작가능하게 커플링될 수 있다.
[0051] 일부 실시예들에서, 원격 프로세싱 모듈(228)은 이미지 캡처 디바이스에 의해 캡처된 데이터 및/또는 이미지 정보, 이를테면 비디오 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 비디오 데이터는 로컬 프로세싱 및 데이터 모듈(224) 및/또는 원격 데이터 저장소(232)에 로컬로 저장될 수 있다. 일부 실시예들에서, 원격 데이터 저장소(232)는 인터넷 또는 "클라우드" 자원 구성에서의 다른 네트워킹 구성을 통해 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈(224)에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0052] 인간 시각적 시스템은 복잡하고 깊이의 현실적인 지각을 제공하는 것은 난제이다. 이론에 의해 제한되지 않고, 객체의 뷰어들이 이접 운동과 조절의 조합으로 인해 객체를 3차원인 것으로 인식할 수 있다는 것이 믿어진다. 서로에 대해 양 눈들의 이접 운동 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향해 또는 서로로부터 멀리 동공의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 포커싱(또는 "조절")과 밀접하게 연관된다. 정상 조건들 하에서, 상이한 거리에 있는 하나의 객체로부터 다른 객체로 포커스를 변경하기 위해 눈들의 렌즈들의 포커스를 변경하거나 눈들을 조절하는 것은 "조절-이접 운동 반사"로서 알려진 관계 하에서 동일한 거리에 대한 이접 운동의 매칭 변경을 자동적으로 유발할 것이다. 마찬가지로, 이접 운동의 변화는 정상 조건들 하에서 조절의 매칭 변경을 트리거할 것이다. 조절과 이접 운동 간의 더 나은 매치를 제공하는 디스플레이 시스템들은 3차원 이미저리의 더 현실적이거나 편리한 시뮬레이션들을 형성할 수 있다.
[0053] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 객체들은, 이들 객체들이 인 포커스이도록, 눈들(302 및 304)에 의해 조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들을 포커스하게 하도록 특정 조절된 상태들을 취한다. 결과적으로, 특정 조절된 상태는 연관된 초점 거리를 가진, 깊이 평면들(306) 중 특정 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은 눈이 그 깊이 평면에 대해 조절된 상태에 있을 때 인 포커스이다. 일부 실시예들에서, 3차원 이미저리는 눈들(302 및 304)의 각각에 이미지의 상이한 프리젠테이션들을 제공하고, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302 및 304)의 FOV(fields of view)가 예컨대 z-축을 따른 거리가 증가함에 따라 오버랩할 수 있다는 것이 인지될 것이다. 게다가, 예시를 용이하게 하기 위해 플랫한 것으로 도시되지만, 깊이 평면의 윤곽부들이 물리 공간에서 곡선형일 수 있어서, 깊이 평면 내의 모든 피처들이 특정 조절 상태에서 눈과 인 포커스인 것이 인지될 것이다. 이론에 의해 제한되지 않고, 인간 눈이 전형적으로 깊이 지각을 제공하기 위해 유한적인 수의 깊이 평면들을 해석할 수 있다는 것이 믿어진다. 결과적으로, 인식된 깊이의 매우 믿을만한 시뮬레이션은 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 눈에 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0054] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(400)은 복수의 도파관들(420, 422, 424, 426, 428)을 사용하여 눈(410) 또는 뇌에 3차원 지각을 제공하는데 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(405)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(400)은 도 2의 시스템(200)에 대응할 수 있고, 도 4는 그 시스템(200)의 일부 부분들을 더 상세히 개략적으로 도시한다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(405)는 도 2의 디스플레이(208)에 통합될 수 있다.
[0055] 도 4를 계속해서 참조하면, 도파관 어셈블리(405)는 또한 도파관들 간에 복수의 피처들(430, 432, 434, 436)을 포함할 수 있다. 일부 실시예들에서, 피처들(430, 432, 434, 436)은 렌즈들일 수 있다. 일부 실시예들에서, 피처들(430, 432, 434, 436)은 렌즈들이 아닐 수 있다. 오히려, 이들은 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩(cladding) 층들 및/또는 구조들)일 수 있다.
[0056] 도파관들(420, 422, 424, 426, 428) 및/또는 복수의 렌즈들(430, 432, 434, 436)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(440, 442, 444, 446, 448)은 이미지 정보를 도파관들(420, 422, 424, 426, 428)에 주입하는데 활용될 수 있고, 도파관들 각각은 각각 개개의 도파관을 거쳐 눈(410)을 향해 출력하도록 인입 광을 분산시키게 구성될 수 있다. 광은 이미지 주입 디바이스들(440, 442, 444, 446, 448)의 출력 표면에서 나오고 도파관들(420, 422, 424, 426, 428)의 대응하는 입력 에지로 주입된다. 일부 실시예들에서, 광의 단일 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산량들)로 눈(410) 쪽으로 지향되는 복제된 시준된 빔들의 전체 필드를 출력하도록 각각의 도파관에 주입될 수 있다.
[0057] 일부 실시예들에서, 이미지 주입 디바이스들(440, 442, 444, 446, 442)은 각각 대응하는 도파관(420, 422, 424, 426, 428)으로의 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(440, 442, 446, 446, 448)은 예컨대 이미지 정보를 하나 또는 그 초과의 광학 도관들(이를테면 광섬유 케이블들)을 통해 이미지 주입 디바이스들(440, 442, 444, 446, 448)의 각각에 파이핑할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0058] 제어기(450)는 스택된 도파관 어셈블리(405) 및 이미지 주입 디바이스들(440, 442, 444, 446, 448)의 동작을 제어한다. 일부 실시예들에서, 제어기(450)는 도파관들(420, 422, 424, 426, 428)로의 이미지 정보의 타이밍 및 제공을 조절하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독가능 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(450)는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(450)는 일부 실시예들에서 프로세싱 모듈들(224 또는 228)(도 2에 예시됨)의 부분일 수 있다. 일부 실시예들에서, 제어기는 내향-대면 이미징 시스템(452)(예컨대, 디지털 카메라), 외향-대면 이미징 시스템(454)(예컨대, 디지털 카메라) 및/또는 사용자 입력 디바이스(466)와 통신할 수 있다. 내향-대면 이미징 시스템(452)(예컨대, 디지털 카메라)은 눈(410)의 이미지들을 캡처, 예컨대 눈(410)의 동공의 크기 및/또는 배향을 결정하는데 사용될 수 있다. 외향-대면 이미징 시스템(454)은 세계(456)의 일부분을 이미징하는데 사용될 수 있다. 사용자는 디스플레이 시스템(400)과 상호작용하기 위해 사용자 입력 디바이스(466)를 통해 제어기(450)에 커맨드들을 입력할 수 있다.
[0059] 도파관들(420, 422, 424, 426, 428)은 내부 전반사(TIR)에 의해 각각 개개의 도파관 내에서 광을 전파하도록 구성될 수 있다. 도파관들(420, 422, 424, 426, 428)은 각각 평면일 수 있거나 다른 형상(예컨대, 곡선형)을 가질 수 있고, 주요 최상부 및 최하부 표면들 및 에지들은 이들 주요 최상부 및 최하부 표면들 간에 연장된다. 예시된 구성에서, 도파관들(420, 422, 424, 426, 428)은, 이미지 정보를 눈(410)에 출력하기 위해, 각각 개개의 도파관 내에서 전파되는 광을, 도파관의 밖으로 재지향시킴으로써 도파관의 밖으로 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)을 각각 포함할 수 있다. 추출된 광은 또한 아웃커플링된 광으로 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한 아웃커플링 광학 엘리먼트들로 지칭될 수 있다. 추출된 광의 빔은, 도파관 내에서 전파되는 광이 광 재지향 엘리먼트를 때리는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 예컨대 반사성 및/또는 회절성 광학 피처들일 수 있다. 설명의 용이함 및 도면 명확성을 위해 도파관들(420, 422, 424, 426, 428)의 최하부 주요 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 최상부 및/또는 최하부 주요 표면들에 배치될 수 있고, 그리고/또는 도파관들(420, 422, 424, 426, 428)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 도파관들(420, 422, 424, 426, 428)을 형성하기 위해 투명 기판에 어태치된 재료의 층으로 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(420, 422, 424, 426, 428)은 재료의 모놀리식 피스일 수 있고 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 재료의 그 피스의 표면 및/또는 내부에 형성될 수 있다.
[0060] 도 4를 계속해서 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(420, 422, 424, 426, 428)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(420)은 그런 도파관(420)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점면을 대표할 수 있다. 위쪽 다음 도파관(422)은 눈(410)에 도달하기 전에, 제1 렌즈(430)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있다. 제1 렌즈(430)는 약간 볼록 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 위쪽 다음 도파관(422)으로부터 나오는 광을 광학 무한대로부터 눈(410) 쪽으로 안쪽으로 더 가까운 제1 초점면으로 나오는 것으로 해석한다. 유사하게, 제3 위쪽 도파관(424)은 눈(410)에 도달하기 전에 자신의 출력 광을 제1 렌즈(430) 및 제2 렌즈(432) 둘 모두를 통해 통과시킨다. 제1 및 제2 렌즈들(430 및 432)의 결합된 광학 전력은 다른 증분량의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(424)으로부터 나오는 광을 위쪽 다음 도파관(422)으로부터의 광 보다 광학 무한대로부터 사람쪽으로 안쪽으로 훨씬 더 가까운 제2 초점면으로부터 나오는 것으로 해석한다.
[0061] 다른 도파관 층들(예컨대, 도파관들(426, 428)) 및 렌즈들(예컨대, 렌즈들(434, 436))은 유사하게 구성되고, 스택에서 가장 높은 도파관(428)은 사람에게 가장 가까운 초점면을 대표하는 어그리게이트 초점 전력을 위해 자신과 눈 간의 모든 렌즈들을 통해 자신의 출력을 전송한다. 스택된 도파관 어셈블리(405)의 다른 측 상에서 세계(456)로부터 나오는 광을 보고/해석할 때 렌즈들(430, 432, 434, 436)의 스택을 보상하기 위해, 보상 렌즈 층(438)은 아래의 렌즈 스택(430, 432, 434, 436)의 어그리게이트 전력을 보상하기 위해 스택의 최상부에 배치될 수 있다. 그런 구성은 이용가능한 도파관/렌즈 쌍들이 있을 때만큼 많은 인식된 초점면들을 제공한다. 도파관들(420, 422, 424, 426, 428)의 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468) 및 렌즈들(430, 432, 434, 436)의 포커싱 양상들 둘 모두는 정적(예컨대, 동적이 아니거나 전자-활성이지 않음)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0062] 도 4를 계속해서 참조하면, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 그들 개개의 도파관들로부터 광을 재지향하고 도파관과 연관된 특정 깊이 평면에 대해 적합한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 연관된 깊이 평면에 따라 상이한 발산량으로 광을 출력하는 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있다. 일부 실시예들에서, 본원에 논의된 바와 같이, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 특정 각도들로 광을 출력하도록 구성될 수 있는 용량 측정 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면 회절 격자들은 2015년 6월 25일에 공개된 미국 특허 공보 번호 2015/0178939에 설명되고, 이는 그 전체가 본원에 인용에 의해 통합된다. 일부 실시예들에서, 피처들(430, 432, 434, 436)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩 층들 및/또는 구조들)일 수 있다.
[0063] 일부 실시예들에서, 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)은 회절 패턴을 형성하는 회절성 피처들, 또는 "회절성 광학 엘리먼트"(또한 본원에서 "DOE"로 지칭됨)이다. 바람직하게, DOE들은 비교적 낮은 회절 효율성을 가져서, 빔의 광의 일부분만이 DOE의 각각의 교차 지점을 갖는 눈(410) 쪽으로 멀리 편향되고, 나머지는 내부 전반사를 통해 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 반송하는 광은 다수의 위치들에서 도파관에서 나가는 다수의 관련된 출구 빔들로 분할되고, 결과적으로 이 특정 시준된 빔이 도파관 내에서 이러저리 반사되기 때문에 눈(410) 쪽으로 매우 균일한 출구 방출의 패턴이 얻어진다.
[0064] 일부 실시예들에서, 하나 또는 그 초과의 DOE들은, 이들이 능동으로 회절하는 "온" 상태들과 이들이 현저하게 회절하지 않는 "오프" 상태들 간에 스위칭가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 마이크로액적(microdroplet)들이 호스트 매체에서 회절 패턴을 포함하고, 그리고 마이크로액적들의 굴절률이 실질적으로 호스트 재료의 굴절률과 매칭하도록 스위칭될 수 있거나(상기 경우 패턴은 입사 광을 적절하게 회절시키지 않음) 또는 마이크로액적이 호스트 매체의 굴절률과 매칭하지 않는 인덱스로 스위칭될 수 있는(상기 경우 패턴은 입사 광을 능동적으로 회절시킴) 폴리머 분산형 액정의 층을 포함할 수 있다.
[0065] 일부 실시예들에서, 깊이 평면들의 수 및 분산 및/또는 필드 깊이는 뷰어의 눈들의 동공 크기들 및/또는 배향들에 기반하여 동적으로 가변될 수 있다. 일부 실시예들에서, 내향-대면 이미징 시스템(452)(예컨대, 디지털 카메라)은 눈(410)의 이미지들을 캡처하여 눈(410)의 동공의 크기 및/또는 배향을 결정하는데 사용될 수 있다. 일부 실시예들에서, 내향-대면 이미징 시스템(452)은 프레임(212)(도 2에 예시됨)에 어태치될 수 있고 프로세싱 모듈들(224 및/또는 228)과 전기 통신할 수 있고, 프로세싱 모듈들(224 및/또는 228)은 예컨대 사용자(204)의 눈들의 동공 직경들 및/또는 배향들을 결정하기 위해 내향-대면 이미징 시스템(452)으로부터의 이미지 정보를 프로세싱할 수 있다.
[0066] 일부 실시예들에서, 내향-대면 이미징 시스템(452)(예컨대, 디지털 카메라)은 사용자의 움직임들, 이를테면, 눈 움직임들 및 얼굴 움직임들을 관찰할 수 있다. 내향-대면 이미징 시스템(452)은 눈(410)의 동공의 크기 및/또는 배향을 결정하도록 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향-대면 이미징 시스템(452)은 사용자가 바라보는 방향(예컨대, 눈 포즈)을 결정하거나 (예컨대, 홍채 식별을 통해) 사용자의 바이오메트릭 식별을 결정하는 데 사용하기 위한 이미지들을 획득하는 데 사용될 수 있다. 내향-대면 이미징 시스템(452)에 의해 획득된 이미지들은 어떤 오디오 또는 시각적 콘텐츠가 사용자에게 제시되어야 하는지를 판단하기 위해 디스플레이 시스템(400)에 의해 사용될 수 있는 사용자의 눈 포즈 및/또는 무드를 결정하기 위해 분석될 수 있다. 디스플레이 시스템(400)은 또한 IMU(inertial measurement unit)들, 가속도계, 자이로스코프들 등과 같은 센서들을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다. 머리의 포즈는 스템 트랙들과 상호작용하도록 그리고/또는 오디오 콘텐츠를 제시하도록 단독으로 또는 눈 포즈와 결합하여 사용될 수 있다.
[0067] 일부 실시예들에서, 하나의 카메라가 각각의 눈에 대해 활용되어, 각각의 눈의 배향 및/또는 동공 크기를 개별적으로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지게 할 수 있다. 일부 실시예들에서, 적어도 하나의 카메라가 각각의 눈에 대해 활용되어, 독립적으로, 각각의 눈의 눈 포즈 및/또는 동공 크기를 개별적으로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지게 할 수 있다. 일부 다른 실시예들에서, 단지 단일 눈(410)의 동공 직경 및/또는 배향은(예컨대, 눈들의 쌍 당 단일 카메라만을 사용하여) 결정되고 뷰어(204)의 둘 모두의 눈들에 대해 유사한 것으로 가정된다.
[0068] 예컨대, 필드의 깊이는 뷰어의 동공 크기와는 반비례하게 변경될 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 크기들이 감소함에 따라, 평면의 위치가 눈의 포커스의 깊이를 넘어서기 때문에 구별될 수 없는 하나의 평면이 구별될 수 있고 동공 크기의 감소로 보다 인 포커스로 보이고 필드의 깊이에서의 증가에 부합하도록 필드의 깊이는 증가한다. 마찬가지로, 상이한 이미지들을 뷰어에게 제시하는 데 사용되는 이격된 깊이 평면들의 수는 동공 크기 감소에 따라 감소될 수 있다. 예컨대, 하나의 깊이 평면으로부터 멀어지게 그리고 다른 깊이 평면으로 눈의 조절을 조정하지 않고서, 하나의 동공 크기에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 뷰어가 명백하게 인식하지 못할 수 있다. 그러나 이들 2개의 깊이 평면들은, 조절을 변경하지 않고서 다른 동공 크기에서 사용자에게 동시에 충분히 인 포커스가 될 수 있다.
[0069] 일부 실시예들에서, 디스플레이 시스템은 동공 크기 및/또는 배향의 결정들에, 그리고/또는 특정 동공 크기들 및/또는 배향을 표시하는 전기 신호들을 수신하는 것에 기반하여 이미지 정보를 수신하는 도파관들의 수를 변화시킬 수 있다. 예컨대, 만약 사용자의 눈들이 두개의 도파관들과 연관된 두개의 깊이 평면들 간을 구별할 수 없다면, 제어기(450)는 이들 도파관들 중 하나의 도파관에 이미지 정보를 제공하는 것을 중단하도록 구성 또는 프로그래밍될 수 있다. 유리하게, 이는 시스템 상의 프로세싱 부담을 감소시킬 수 있고, 그리하여 시스템의 반응성을 증가시킨다. 도파관을 위한 DOE들이 온 및 오프 상태들 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0070] 일부 실시예들에서, 뷰어의 눈의 직경 미만인 직경을 갖는다는 조건을 충족시키는 출구 빔을 가지는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 크기에서의 가변성의 측면에서 난제일 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 크기의 결정들에 대한 응답으로 출구 빔의 크기를 변화시킴으로써 넓은 범위의 동공 크기들에 걸쳐 충족된다. 예컨대, 동공 크기가 감소함에 따라, 출구 빔의 크기가 또한 감소할 수 있다. 일부 실시예들에서, 출구 빔 크기는 가변적인 애퍼처를 사용하여 변할 수 있다.
[0071] 디스플레이 시스템(400)은 세계(456)의 일부분을 이미징하는 외향-대면 이미징 시스템(454)(예컨대, 디지털 카메라)을 포함할 수 있다. 세계(456)의 이 일부분은 FOV(field of view)로 지칭될 수 있으며, 이미징 시스템(454)은 FOV 카메라로 때때로 지칭된다. 뷰어(204)가 보거나 이미징하는 데 이용 가능한 전체 구역은 FOR(field of regard)로 지칭될 수 있다. FOR은 디스플레이 시스템(400) 주변의 입체 각도의 4π 스테라디안들을 포함할 수 있다. 디스플레이 시스템(400)의 일부 구현들에서, 사용자(204)는 (사용자의 앞에서, 뒤에서, 위에서, 아래에서 또는 옆에서) 사용자 둘러싼 객체들을 바라보도록 그의 머리 및 눈들을 이동시킬 수 있기 때문에, FOR은 디스플레이 시스템(400)의 사용자(204) 주변의 실질적으로 모든 입체 각도를 포함할 수 있다. 외향-대면 이미징 시스템(454)으로부터 획득된 이미지들은 사용자에 의해 만들어진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(456)에서 객체들을 검출하는 것 등을 하는 데 사용될 수 있다.
[0072] 디스플레이 시스템(400)은 사용자가 디스플레이 시스템(400)과 상호 작용하도록 제어기(450)에 커맨드들을 입력하게 할 수 있는 사용자 입력 디바이스(466)를 포함할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 지향성 패드(D-패드), 원드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 일부 경우들에서, 사용자는 디스플레이 시스템(400)에 입력을 제공하기 위해(예컨대, 디스플레이 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하기 위해) 터치-감지형 입력 디바이스를 누르거나 또는 스와이프하기 위해 손가락(예컨대, 엄지)을 사용할 수 있다. 사용자 입력 디바이스(466)는 디스플레이 시스템(400)의 사용 동안 사용자의 손에 의해 유지될 수 있다. 사용자 입력 디바이스(466)는 디스플레이 시스템(400)과 유선 또는 무선 통신할 수 있다.
[0073] 도 5는 도파관에 의해 출력된 출구 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(405)가 다수의 도파관들을 포함하는 경우에 도파관 어셈블리(405) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이다. 광(505)은 도파관(420)의 입력 에지(510)에서 도파관(420)에 주입되고, TIR에 의해 도파관(420) 내에서 전파된다. 광(505)이 DOE(460)에 충돌하는 포인트들에서, 광의 일부분이 출구 빔들(515)로서 도파관을 나간다. 출구 빔들(515)은 실질적으로 병렬인 것으로서 예시되지만, 이들은 또한, 도파관(420)과 연관된 깊이 평면에 따라, (예컨대, 발산 출구 빔들을 형성하는) 각도로 눈(410)으로 전파되도록 재지향될 수 있다. 실질적으로 병렬의 출구 빔들이, 광을 아풋커플링하여 눈(410)으로부터 먼 거리(예컨대, 광학 무한대)에 있는 깊이 평면 상에 세팅되는 것으로 보이는 이미지들을 형성하는 광 추출 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은, 눈(410)이 망막 상에 초점을 맞추기 위해 더 가까운 거리로 조절할 것을 요구하고, 뇌에 의해 광학 무한대보다 눈(410)에 더 가까운 거리로부터의 광으로서 해석될, 더 발산적인 출구 빔 패턴을 출력할 수 있다.
[0074] 도 6은 도파관 장치, 도파관 장치로의 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 디스플레이 시스템(400)의 다른 예를 도시한다. 디스플레이 시스템(400)은 멀티-초점 용량 측정, 이미지, 또는 광 필드를 생성하는 데 사용될 수 있다. 디스플레이 시스템(400)은 하나 또는 그 초과의 1차 플레이너형 도파관들(604)(도 6에서는 한 개만이 도시됨), 및 1차 도파관들(604) 중 적어도 일부의 각각과 연관된 하나 또는 그 초과의 DOE들(608)을 포함할 수 있다. 플레이너형 도파관들(604)은 도 4를 참조하여 논의된 도파관들(420, 422, 424, 426, 428)과 유사할 수 있다. 광학 시스템은, 제1 축(도 6의 뷰에서, 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출구 동공을 확장시키기 위해 분산 도파관 장치를 이용할 수 있다. 분산 도파관 장치는, 예컨대, 분산 플레이너형 도파관(612) 및 분산 플레이너형 도파관(612)과 연관된 적어도 하나의 DOE(616)(이중 파선으로 예시됨)를 포함할 수 있다. 분산 플레이너형 도파관(612)은 적어도 일부 관점들에 있어, 그와는 상이한 배향을 갖는, 1차 플레이너형 도파관(604)과 유사하거나 또는 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(616)는 적어도 일부 관점들에 있어 DOE(608)와 유사하거나 또는 동일할 수 있다. 예컨대, 분산 플레이너형 도파관(612) 및/또는 DOE(616)는 각각 1차 플레이너형 도파관(604) 및/또는 DOE(608)와 동일한 재료들로 구성될 수 있다. 도 6에서 도시된 광학 시스템은 도 2에서 도시된 웨어러블 디스플레이 시스템(200)에 통합될 수 있다.
[0075] 중계된 및 출구-동공 확장된 광은 분산 도파관 장치로부터 하나 또는 그 초과의 1차 플레이너형 도파관들(604)로 광학적으로 커플링될 수 있다. 1차 플레이너형 도파관(662)은, 바람직하게 제1 축에 직교하는 제2 축(예컨대, 도 6의 뷰에서, 수평 또는 X-축)을 따라 광을 중계할 수 있다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 1차 플레이너형 도파관(604)은 제2 축(예컨대, X-축)을 따라 광의 유효 출구 경로를 확장시킨다. 예컨대, 분산 플레이너형 도파관(612)은 수직 또는 Y-축을 따라 광을 중계 및 확장시키며, 그리고 그 광을, 수평 또는 X-축을 따라 광을 중계 및 확장시킬 수 있는 1차 플레이너형 도파관(604)으로 통과시킬 수 있다.
[0076] 디스플레이 시스템(400)은 단일 모드 광섬유(624)의 근접 단부에 광학적으로 커플링될 수 있는 하나 또는 그 초과의 컬러 광원들(예컨대, 적색, 녹색 및 청색 레이저 광)(620)을 포함할 수 있다. 광섬유(624)의 말단 단부는 압전 재료의 중공 튜브(628)를 통해 스레딩되거나 또는 수용될 수 있다. 말단 단부는 튜브(628)로부터 비고정(fixed-free) 플렉시블 캔틸레버(632)로서 돌출한다. 압전 튜브(628)는 4개의 쿼드런트 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대, 튜브(628)의 외측, 외부 표면 또는 외부 주변 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한, 튜브(628)의 코어, 중심, 내부 주변 또는 내부 직경에 위치될 수 있다.
[0077] 예컨대, 와이어들(640)을 통해 전기적으로 커플링된 구동 전자장치(636)는 2개의 축들에서 압전 튜브(628)를 독립적으로 구부리기 위하여 전극들의 대향 쌍들을 구동한다. 광섬유(624)의 돌출한 말단 팁은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(624)의 직경, 길이, 및 재료 특성들에 따를 수 있다. 섬유 캔틸레버(632)의 제1 기계적 공진 모드 근처에서 압전 튜브(628)를 진동시킴으로써, 섬유 캔틸레버(632)는 진동하게 될 수 있으며, 큰 편향들을 통해 스위프할 수 있다.
[0078] 2개의 축들로 공진 진동을 자극함으로써, 섬유 캔틸레버(632)의 팁은 2D(two-dimensional) 스캔을 필링하는 영역에서 2축 방향으로 스캐닝된다. 섬유 캔틸레버(632)의 스캔과 동시에 광원(들)(620)의 강도를 변조함으로써, 섬유 캔틸레버(632)로부터 나오는 광은 이미지를 형성한다. 이러한 셋업에 대한 설명들은 미국 특허 공보 번호 제2014/0003762호에서 제공되며, 이 특허 공보는 그 전체가 인용에 의해 본원에 통합된다.
[0079] 광학 커플러 서브시스템의 컴포넌트(644)는 스캐닝 섬유 캔틸레버(632)로부터 나오는 광을 시준한다. 시준된 광은 미러링된 표면(648)에 의해, 적어도 하나의 DOE(diffractive optical element)(616)를 포함하는 좁은 분산 플레이너형 도파관(612)으로 반사될 수 있다. 시준된 광은 내부 전반사에 의해 분산 플레이너형 도파관(612)을 따라 (도 6의 뷰에 대해) 수직으로 전파하고, 그렇게 할 때, DOE(616)와 반복적으로 교차한다. DOE(616)는 바람직하게, 낮은 회절 효율성을 갖는다. 이는, 광의 일부(예컨대, 10%)로 하여금, DOE(616)와의 각각의 교차 지점에서 더 큰 1차 플레이너형 도파관(604)의 에지 쪽으로 회절되게 하고, 광의 프랙션으로 하여금, TIR을 통해 분산 플레이너형 도파관(612)의 길이 아래로 그것의 오리지널 궤적 상에서 계속 진행하게 한다.
[0080] DOE(616)와의 각각의 교차 지점에서, 부가적인 광은 1차 도파관(612)의 입구쪽으로 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출구 동공은 분산 플레이너형 도파관(612) 내의 DOE(616)에 의해 수직으로 확장된다. 분산 플레이너형 도파관(612) 밖으로 커플링된 이러한 수직으로 확장된 광은 1차 플레이너형 도파관(604)의 에지에 진입된다.
[0081] 1차 도파관(604)에 진입하는 광은 TIR을 통해 1차 도파관(604)을 따라(도 6의 뷰에 대해) 수평으로 전파된다. 광은 그것이 TIR을 통해 1차 도파관(604)의 길이의 적어도 일부분을 따라 수평으로 전파될 때 다수의 포인트들에서 DOE(608)와 교차한다. DOE(608)는 선형 회절 패턴 및 방사상 대칭 회절성 패턴의 합인 위상 프로파일을 갖도록 유리하게 설계되거나 또는 구성되어, 광의 편향 및 포커싱 둘 모두를 생성할 수 있다. DOE(608)는 유리하게 낮은 회절 효율성(예컨대, 10%)을 가질 수 있어서, 빔의 광의 오직 일부분만이 DOE(608)의 각각의 교차 지점을 갖는 뷰의 눈쪽으로 편향되는 반면, 나머지 광은 TIR을 통하여 도파관(604)을 통해 계속 전파된다.
[0082] 전파 광과 DOE(608) 간의 각각의 교차 지점에서, 광의 프랙션은 1차 도파관(604)의 인접 면쪽으로 회절되어, 광이 TIR을 벗어나서 1차 도파관(604)의 면으로부터 나오도록 한다. 일부 실시예들에서, DOE(608)의 방사상으로 대칭적인 회절 패턴은 회절된 광에 포커스 레벨을 부가적으로 부여하여, 설계된 포커스 레벨과 매칭하는 각도로 빔을 스티어링할 뿐만 아니라 개별적인 빔의 광 파면을 성형(예컨대, 파면 곡률을 부여)한다.
[0083] 그에 따라서, 이들 상이한 경로들은 상이한 각도들, 포커스 레벨들로 다수의 DOE들(608)에 의해 그리고/또는 출구 동공에서의 상이한 필 패턴들의 산출에 의해 1차 플레이너형 도파관(604) 밖으로 광이 커플링되게 할 수 있다. 출구 동공에서의 상이한 필 패턴들은 다수의 깊이 평면들을 갖는 광 필드 디스플레이를 생성하는 데 유익하게 사용될 수 있다. 도파관 어셈블리의 각각의 층 또는 스택 내의 층들의 세트(예컨대, 3개의 층들)는 개개의 컬러(예컨대, 적색, 청색, 녹색)를 생성하는 데 이용될 수 있다. 따라서, 예컨대, 3개의 인접 층들의 제1 세트는 제1 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 3개의 인접 층들의 제2 세트는 제2 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 다수의 세트들은 다양한 초점 깊이들을 갖는 풀 3D 또는 4D 컬러 이미지 광 필드를 생성하는 데 이용될 수 있다.
AR 시스템들의 다른 컴포넌트들
[0084] 많은 구현들에서, AR 시스템은 웨어러블 디스플레이 시스템(80)(또는 광학 시스템(100)) 외에도 다른 컴포넌트들을 포함할 수 있다. AR 디바이스들은, 예컨대, 하나 또는 그 초과의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스(들) 또는 컴포넌트(들)는 사용자에게 촉감을 제공하도록 동작 가능할 수 있다. 예컨대, 햅틱 디바이스(들) 또는 컴포넌트(들)는 가상 콘텐츠(예컨대, 가상 객체들, 가상 툴들, 다른 가상 구조들)를 터치할 때 압력 및/또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 객체가 나타내는 물리적 객체의 느낌을 모사하거나, 가상 콘텐츠가 나타내는 상상의 객체 또는 캐릭터(예컨대, 용)의 느낌을 모사할 수 있다. 일부 구현예들에서, 햅틱 디바이스들 또는 컴포넌트들(예컨대, 사용자 웨어러블 장갑)은 사용자가 착용할 수 있다. 일부 구현예들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자가 휴대할 수 있다.
[0085] AR 시스템은, 예컨대, AR 시스템과의 입력 또는 상호작용을 허용하기 위해 사용자에 의해 조작 가능한 하나 또는 그 초과의 물리적 객체들을 포함할 수 있다. 이들 물리 객체들은 본원에서 토템들(totems)로 지칭된다. 일부 토템들은 무생물 객체들, 예컨대, 금속 또는 플라스틱 피스, 벽, 테이블 표면의 형태를 취할 수 있다. 대안적으로, 일부 토템들은 생물 객체들, 예컨대, 사용자의 손의 형태를 취할 수 있다. 본원에 설명된 바와 같이, 토템들은 실제로 임의의 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치)을 갖지 않을 수 있다. 대신에, 토템은 단순히 물리 표면을 제공할 수 있으며, AR 시스템은 사용자에게 토템의 하나 또는 그 초과의 표면들 상에 존재하는 것으로 보이도록 사용자 인터페이스를 렌더링할 수 있다. 예컨대, AR 시스템은 토템의 하나 또는 그 초과의 표면들 상에 상주하는 것으로 보이도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예컨대, AR 시스템은 토템으로서 역할을 하는 얇은 직사각형 알루미늄 플레이트 표면 상에 보이도록 가상 컴퓨터 키보드 및 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 자체는 임의의 물리 키들 또는 트랙패드, 또는 센서들을 갖지 않는다. 그러나, AR 시스템은 가상 키보드 및/또는 가상 트랙패드를 통해 이루어지는 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다.
[0086] 본 개시내용의 AR 디바이스들, HMD 및 디스플레이 시스템들과 함께 사용가능한 햅틱 디바이스들 및 토템들의 예들은, 본원에서 그 전체가 인용에 의해 통합되는 미국 특허 공보 제2015/0016777 호에 설명된다.
디스플레이 시스템들 상에서 에러 보정을 수행하는 것의 예들
[0087] 위에서 설명된 바와 같이, 디스플레이 시스템은, 눈에 영향을 주는 디지털화된 광 필드를 생성하는 광을 재지향시키기 위한 회절성 그레이팅들을 갖는 기판 재료의 다수의 디스플레이 층들을 갖는, 이를테면, 도 4-6에 예시된 스택된 도파관 어셈블리를 포함할 수 있다. 일부 실시예들에서, 도파관 어셈블리는 컬러마다 깊이마다 하나의 기판 층을 포함한다. 예컨대, 2-깊이 평면 RGB 디스플레이는 총 6 개의 도파관 층들을 가질 수 있다. 디스플레이 시스템은 웨어러블 디스플레이 시스템(80)의 실시예일 수 있다.
[0088] 스택된 도파관 어셈블리에서, 악화된 이미지 품질을 발생시키는 아티팩트들을 도입할 수 있는 다양한 잠재적인 현상들이 존재한다. 이들은 고스팅(다수의 이미지들), 왜곡, (컬러들 또는 깊이들 간의) 오정렬, 및 뷰 필드에 걸친 컬러 강도 변동을 포함할 수 있다. 게다가, 다른 타입들의 조건들에서, 예컨대, LED와 대조적으로 레이저를 사용하여 조명할 때(예컨대, 스페클, 밴딩, 뉴턴 프린지들), 또는 아웃-커플링된 빔들의 밀도가 소정의 양 미만일 때(예컨대, 마치 스크린-도어 또는 피켓 펜스를 통해 보는 것처럼 인식될 수 있는 파면 희소성), 소정의 타입들의 아티팩트들이 발생할 수 있다.
[0089] 광 필드 디스플레이의 옵틱스에서의 결함들로 인해, 렌더 엔진 내의 완벽한 3차원 그리드는, 옵틱스를 통해 디스플레이될 때 왜곡될 수 있다. 예상되는 이미지들과 실제 디스플레이된 이미지들 간의 왜곡들을 식별하고 보정하기 위해, 교정 패턴, 이를테면, 체커보드 패턴이 디스플레이 시스템을 사용하여 투영될 수 있다.
[0090] 도 7은 디스플레이 시스템에 의해 교정 패턴(702)을 투영할 때 발생할 수 있는 예시적인 왜곡들을 예시한다. 교정 패턴(702)은 공간 또는 색채 교정을 수행하기 위해 적절한 임의의 타입의 패턴(예컨대, 복수의 체커보드 스퀘어들을 포함하는 체커보드 패턴)일 수 있다. 교정 패턴(702)은 임의의 타입의 테스트 또는 교정 패턴, 이를테면, 기하학적 패턴 또는 랜덤 확률론적 패턴을 포함할 수 있다. 투영된 교정 패턴(702)은 광 필드 이미지(704)를 생성하게 한다. 이미지(704)에 존재하는 왜곡들은 (예컨대, 가시적인 픽셀이 뷰 필드 내에 있는 것으로 예상된 곳에 있지 않을 때) 공간 왜곡들뿐만 아니라 (예컨대, 가시적인 픽셀의 컬러 값이 예상되는 컬러 값과 상이할 때) 색채 왜곡들을 포함할 수 있다. 예컨대, 패턴(702)의 체커보드 스퀘어들은 이미지(704) 내의 자신들의 예상되는 포지션들(예컨대, 공간 에러들)로부터 시프트될 수 있다. 게다가, 체커보드의 스퀘어들이 검은색 및 백색으로 보이는 것 대신에, 이미지(704) 내의 일부 체커보드 스퀘어들은 다른 컬러들, 이를테면, 퍼플(예컨대, 색채 에러들)로 보일 수 있다. 디스플레이 에러들은, 디스플레이에 의해 투영된 교정 패턴의 이미지(들)를 획득하도록 포지셔닝된 디지털 카메라를 포함할 수 있는 광 필드 계측 시스템을 사용하여 측정될 수 있다. 일부 실시예들에서, 다수의 이미지들은, 예상되는 포지션들 대 실제 포지션들에 대한 더 정교한(finer grained) 정보를 획득하기 위해, 상이한 위치들로 시프트되는 교정 이미지에 대응하여 캡처될 수 있다. 디지털 카메라는, 디스플레이된 이미지의 상이한 구역들(예컨대, 디스플레이된 교정 패턴 상의 피처들)이 어떠한 깊이들로 포커싱되는지를 결정하기 위해, 상이한 포커스 깊이들로 포커싱하도록 구성될 수 있다.
[0091] 일부 실시예들에 따라, 디스플레이된 이미지의 상이한 구역들의 깊이를 결정하기 위해 상이한 포커스 깊이들로 다수의 이미지들을 캡처하는 것이 도 17-20과 연관하여 아래에 더 상세히 설명된다. 다양한 실시예들에서 사용될 수 있는 상이한 타입들의 교정 패턴들이 도 22-24와 연관하여 아래에 더 상세히 설명된다.
공간 에러들
[0092] 공간 에러들은 여러 상이한 징후들을 포함할 수 있다. 예컨대, 공간 오정렬은 디스플레이 층의 병진들 또는 회전들을 포함한다. 공간 에러들은 또한 디스플레이의 깊이 평면의 FOV(field of view)에 걸쳐 변동하는 비-선형 공간 왜곡들을 수반할 수 있다.
[0093] 공간 에러는 디스플레이 시스템 내의 기계적 또는 광학 결함들의 증상일 수 있다. 측정된 공간 에러들을 해석함으로써, 시스템의 광기계적 품질을 정량화하고 개선을 위한 방법들을 시사하는 메트릭들이 유도될 수 있다. 예컨대, 깊이 평면 회전을 표현하는 공간 에러는, 디스플레이가 원하는 포지션에 대해 기계적으로 회전되는 것을 제안할 수 있다. 컬러당 평면 스케일링은, 렌즈 시스템이 충분히 무색(achromatic)이 아니라는 것을 제안할 수 있다.
[0094] 공간 에러들을 식별하기 위해, 이미지 캡처 장치, 이를테면, 디지털 카메라를 포함하는 광 필드 계측 시스템은, 디스플레이 시스템에 의해 투영되는 하나 또는 그 초과의 이미지들(예컨대, 교정 패턴의 투영들)을 캡처하고, 예상되는 이미지로부터 실제 디스플레이된 이미지의 편차들을 표현하는 벡터 필드를 생성하는데 사용될 수 있다. 벡터 필드는 디스플레이의 x-y 평면에서 평면내 편차들 및 z-방향(깊이)에서 평면외 편차들을 포함하는 3차원 벡터 필드, 또는 단지 x-y 평면에서의 편차들을 포함하는 2차원 벡터 필드일 수 있다. 일부 실시예들에서, 벡터 필드는 디스플레이 시스템의 각각의 깊이 평면 또는 각각의 컬러 평면에 대해 생성될 수 있다. 일부 실시예들에서, 층의 미터 단위의 초점 거리의 역을 표현하는 깊이가 디옵터들에서 측정될 수 있다.
[0095] 도 8은, 투영된 광 필드 내의 포인트들의 예상된 포지션들과 그들의 실제 디스플레이된 포지션들 간의 편차들을 매핑하는 하나 또는 그 초과의 캡처된 이미지들로부터 생성될 수 있는 벡터 필드의 예를 예시한다. 투영된 광 필드 내의 포인트들은 교정 이미지 내의 피처들(예컨대, 교정 체커보드 스퀘어들의 중심들 및 코너들)에 대응할 수 있다. 벡터 필드 내의 각각의 벡터는 광 필드 내의 예상되는 포지션과 그의 대응하는 실제 포지션 간의 왜곡을 표현한다. 이러한 예에서, 왜곡 벡터 필드는 2D이다. 예시된 벡터 필드에서, 피처의 예상되는 포지션들은 제1 컬러 및 마커 타입(예컨대, 예상되는 포지션들에 대한 "O" 802)을 사용하여 마크되는 반면에, 피처의 실제 디스플레이된 포지션들은 제2 컬러(예컨대, 검출된 포지션들에 대한 "X" 804)를 사용하여 마크된다. 대응하는 예상되는 포지션들 및 디스플레이된 포지션들의 각각의 쌍은, 예상되는 포지션이 되도록 검출된 디스플레이된 포지션을 보정하는 데 필요한 보정 방향을 표시하는 화살표를 포함할 수 있는 라인(806)으로 연결된다.
[0096] 벡터 필드를 사용하여, 로컬 또는 글로벌 왜곡 정보(예컨대, 아래에서 설명되는, 평면내 병진, 어그리게이트 스케일링, 어그리게이트 회전, 평균 픽셀 워프, 또는 디옵터 에러)가 추출될 수 있다. 예컨대, 왜곡 그래프는 결정된 벡터 필드로부터 생성될 수 있다. 왜곡 그래프는 생성된 벡터 필드에 대한 픽셀 포지션 에러 값들(예컨대, 벡터 크기)의 분산을 분석하기 위해 사용될 수 있다. 왜곡 그래프는 픽셀 포지션 에러들의 빈도를 도시하는(예컨대, 에러 크기가 벡터 필드에서 보이는 빈도에 대해 픽셀 포지션 에러 크기를 플롯팅하는) 히스토그램일 수 있다. 다른 타입들의 그래프들이 벡터 필드의 다른 속성들(예컨대, 왜곡 방향)을 분석하기 위해 사용될 수 있다.
[0097] 공간 에러들은 넓게 평면내 및 평면외 공간 에러들로 나뉠 수 있다. 평면내 공간 에러들은 특정 깊이 평면(예컨대, 도 6에 예시된 좌표계에 따른 xy-평면)을 따라 (z-축 상에서 측정되는) 특정 깊이에서의 공간 에러들을 지칭한다. (예컨대, 도 8에 예시된 것과 같은) 벡터 필드는 상이한 카테고리들의 공간 에러들에 대한 하나 또는 그 초과의 메트릭들을 유도하기 위해 사용될 수 있다. 이 메트릭들 각각은 (예컨대, 컬러 및 깊이의 특정 조합에 대응하는 각각의 개별적인 디스플레이 층(예컨대, 적색-3 디옵터 디스플레이 층, 녹색-1 디옵터 디스플레이 층 등)에 대해) 층 단위로 또는 (예컨대, 간결한 파라미터로 디스플레이의 전체 충실도(fidelity)를 정량화하기 위해) 디스플레이 단위로 정의될 수 있다.
평면내 공간 에러들
[0098] 일부 실시예들에서, 평면내 공간 에러들은 복수의 상이한 컴포넌트들로 분할될 수 있으며, 이들 각각은 상이한 타입의 에러에 대응한다. 이 컴포넌트들은 병진 에러, 회전 에러, 스케일링 에러, 또는 비-선형 공간 에러를 포함할 수 있다. 이 에러 컴포넌트들 각각은 개별적으로 또는 순차적으로 보정될 수 있다.
평면내 병진 에러
[0099] 도 9a는 예시적인 평면내 (xy) 병진 공간 에러(또한, xy 중심화로 지칭됨)를 예시한다. xy 병진 에러는 디스플레이 층의 디스플레이된 이미지의 중심의 그 예상되는 포지션으로부터의 x- 및/또는 y- 픽셀 시프트를 지칭하며, 기계적 또는 디스플레이 정렬을 알리도록 의도된다. 도 9a에서, 예상되는 이미지 포지션(900)(이 예에서는 적색 직사각형으로 도시됨)은 디스플레이된 이미지 포지션(900a)(비-직선 에지들을 갖는, 녹색 형상으로 도시됨)으로 병진된다. xy 병진 에러는, 디스플레이된 이미지(900a)의 중심 포지션(902) 및 예상되는 이미지(900)의 중심 포지션(904)을 식별함으로써, 그리고 디스플레이된 중심 포지션(902)이 예상되는 중심 포지션(904)과 (디스플레이의 기계적 정렬, 디스플레이 이미지들의 소프트웨어 보정, 또는 이 둘 모두의 조합을 통해) 정렬되도록, (결정된 병진 벡터(901)를 따라) 하나 또는 그 초과의 시프트들을 수행함으로써 보정될 수 있다. 측정된 xy 병진 공간 에러에 대한 하나 또는 그 초과의 메트릭들은, 예상되는 또는 기준 포지션(예컨대, 디스플레이의 광학 축)에 대한 층 중심을 측정하는, 층 단위로 측정된 병진 에러 또는 전체 병진 레지스트레이션을 정량화시키기 위해 임의의 2개의 디스플레이 층들 간의 최대 병진을 표시하는, 디스플레이마다 측정된 최대 병진 오프셋을 포함할 수 있다.
어그리게이트 회전 에러
[0100] 도 9b는 예시적인 어그리게이트 회전 공간 에러를 예시한다. 어그리게이트 회전은 이미지의 예상되는 포지션에 대해 그 중심을 중심으로한 디스플레이된 이미지의 전체 회전 각도를 지칭한다. 공간 왜곡이 항상 간단한 아핀 회전에 의해 완전히 설명될 수 있지 않을 수도 있지만, 어그리게이트 회전 측정은 (디스플레이된 이미지 포지션 대 예상되는 이미지 포지션 간의) 픽셀 포지션 에러가 최소화되는 회전 각도를 제공하기 위해 사용될 수 있다. 어그리게이트 회전 메트릭들은 기계적 또는 디스플레이 정렬을 알리도록 의도된다. 도 9b에 예시된 바와 같이, 어그리게이트 회전은, (디스플레이의 기계적 정렬을 통해, 디스플레이된 이미지의 소프트웨어 보정을 통해, 또는 이 둘 모두를 통해) 예상되는 포지션에 대응하는 포지션(910)으로, 지정된 회전량(907)만큼, 디스플레이된 이미지(906)를 중심 포인트(908)를 중심으로 회전시킴으로써 보정될 수 있다. 보고된 메트릭들은, (예컨대, 디스플레이의 수평 축에 대해) 측정된 배향 대 예상되는 또는 기준 배향을 표시하는, 층마다 측정된 회전 에러 및 전체 회전 레지스트레이션을 정량화시키기 위해 임의의 2개의 디스플레이 층들 간의 최대 회전 에러를 표시하는, 디스플레이마다 측정된 최대 회전 오프셋을 포함할 수 있다.
어그리게이트 스케일링 에러
[0101] 도 9c는 어그리게이트 스케일링 공간 에러의 예를 예시한다. 어그리게이트 스케일링은 예상되는 이미지에 대해 그 중심을 중심으로한 디스플레이된 이미지의 전체 스케일링 팩터를 표시한다. 공간 왜곡이 간단한 아핀 스케일링에 의해 완전히 설명되지 않을 수도 있지만, 어그리게이트 스케일링 측정은 픽셀 포지션 에러가 최소화되는 스케일링 팩터를 표시할 수 있다. 어그리게이트 스케일링 메트릭들은 광학 설계 또는 디스플레이 정렬을 알리도록 의도된다. 도 9c에 예시된 바와 같이, 어그리게이트 스케일링 공간 에러들은 예상되는 이미지(914)의 크기와 매칭되도록, 디스플레이된 이미지(912)의 크기를 정해진 스케일링량(913)만큼 스케일링함으로써 보정될 수 있다. 어그리게이트 스케일링에 대해 보고된 메트릭들은, (예컨대, 교정된 셋업의 물리 타겟을 참조로) 예상되는 또는 기준 스케일링에 대한 이미지 스케일링을 측정하는, 층마다 측정된 스케일링 에러, 및 전체 스케일 레지스트레이션을 정량화시키기 위해 임의의 2개의 디스플레이 층들 간의 최대 스케일링을 표시하는, 디스플레이마다 측정된 최대 스케일링 오프셋을 포함할 수 있다.
[0102] 도 9d는 어그리게이트 스케일링 공간 에러의 다른 예를 예시한다. 디스플레이된 이미지(916)는 예상되는 이미지(918)와 비교하여 더 작게 보인다. 스케일링 에러를 보정하기 위해, 디스플레이된 이미지(916)는 예상되는 이미지(918)의 크기와 매칭하도록, 스케일링량(917)만큼 스케일링 업된다(scaled up).
픽셀 워프 에러
[0103] 도 9e는 xy 병진, 회전 및 스케일링의 교정들이 수행된 이후의 나머지 공간 에러들의 예를 예시한다. 나머지 에러(또한 픽셀 워프 또는 공간 맵핑으로 지칭됨)는, (예컨대, 도 9a-9d에 예시된 바와 같이) xy 병진, 회전 및 스케일링이 전체 공간 왜곡 프로파일로부터 제외된 이후의 평균 잔여 유클리드 픽셀 포지션 에러를 표시하며, 디스플레이 시스템의 비-선형 또는 비-아핀 워핑 특성의 측정을 제시하며, 디스플레이 설계 및 품질 제어를 알리기 위해 사용될 수 있다. 픽셀 워프에 대해 보고된 메트릭들은, 완벽한 그리드를 참조로, xy 병진, 회전 및 스케일링이 제외된 이후의 평균 잔여 유클리드 픽셀 포지션 에러를 표시하는, 층마다 측정된 MPW(mean pixel warp), 및 전체 워핑을 정량화시키기 위해 디스플레이 층들 중 MPW들의 최대치를 표시하는, 디스플레이마다 측정된 Max. MPW(maximum mean pixel warp)를 포함할 수 있다. 일부 실시예들에서, 나머지 픽셀 워프는, 디스플레이된 이미지(920)를 예상되는 이미지(922)와 정렬하기 위해, 프로세싱 모듈(예컨대, 모듈(224 또는 228))을 사용하여 수행되는 공간 맵핑을 통해 보정될 수 있다.
평면외 공간 에러들
[0104] 디지털 광-필드 디스플레이 시스템, 이를테면 도 4-도 6에 예시된 시스템들은, 뷰어로부터 (z-방향으로) 상이한 깊이들에 있는 것으로 보이는 깊이 평면들을 생성할 수 있다(예컨대, 도 3 참조). 일부 실시예들에서, 깊이 평면들은 뷰어로부터 상이한 거리들에 배치되는 것으로 보이는 플랫 평면들에 대응한다. 옵틱스에서 흔히 그러하듯이, 디스플레이로부터의 깊이 평면의 거리들에 대해 참조하기보다는, 디옵터들(m-1)로 측정된 역 거리가 상이한 깊이 평면들을 참조하는 데 사용될 수 있다. 예컨대, 디스플레이는 3 디옵터들(1/3 m) 및 1 디옵터(1 m)의 깊이로 포지셔닝된 2개의 깊이 평면들을 가질 수 있다. 디스플레이 시스템에서의 결함들로 인해, 깊이 평면에 걸친 디옵터 프로파일은 예상된 것이 아닐 수 있다. 예컨대, 깊이 층 상의 디스플레이된 이미지는, 디스플레이의 FOV에 걸친 가변 포커스 또는 부정확한 거리를 갖는 디옵터 프로파일을 가질 수 있다.
[0105] 평면외 공간 에러들(또한 디옵터 에러들로 지칭됨)은 깊이 평면의 디옵터(깊이) 에러의 측정이며, 광학, 기계적 및 도파관 정렬 또는 설계에서의 에러들을 알리도록 의도된다. 디옵터 에러에 대해 보고된 메트릭들은, 깊이 평면들의 예상되는 깊이와 측정된 깊이 간의 에러 양을 표시하는, 층마다 측정된 디옵터 에러, 및 깊이 평면들 중 최대 깊이 에러를 표시하는 최대 디옵터 에러를 포함할 수 있다.
[0106] 도 10a는 상이한 깊이들에서 보이도록 의도된 복수의 깊이 평면들의 예를 예시한다. 예시된 예에서, 3개의 상이한 깊이 평면들이 도시되지만, 디스플레이 시스템은 더 많은 또는 더 적은 수의 깊이 평면들을 포함할 수 있다. 게다가, 각각의 깊이 평면은 다수의 도파관 층들(예컨대, RGB 컬러 층들)에 대응할 수 있다.
[0107] 도 10b-도 10d는 도 10a에 도시된 투영된 깊이 평면들을 볼 때 발생할 수 있는 평면외 공간 에러들의 타입들의 예들을 예시한다. 예컨대, 투영된 깊이 평면은, 투영된 깊이 평면이 예상되는 것보다 더 큰 또는 예상되는 것보다 더 작은 깊이에서 보이도록, 상이한 깊이로 시프트될 수 있다(도 10b). 깊이 평면은, 깊이 평면이 예상되는 깊이로부터 벌크 회전을 나타내도록 오정렬될 수 있다(도 10c). 깊이 평면은 그레이팅 결함들의 비-균일 프로파일 특성을 나타낼 수 있다(도 10d). 깊이 평면은 도 10b-도 10d에 예시된 에러들의 조합을 나타낼 수 있다.
[0108] 도 10e는 평면외 공간 에러의 다른 예를 예시한다. 투영되는 깊이 평면(1002)이 예상되는 깊이 평면(1004)에 대해 오정렬된다. 예시된 예에서, 오정렬은 깊이 평면 회전을 포함한다. 평면외 공간 에러를 보정하기 위하여, 회전 축(1006)이 식별될 수 있으며, 식별된 회전 축(1006)을 중심으로, 투영되는 깊이 평면(1002)에 대한 회전이 수행되어서, 투영되는 깊이 평면(1002)은 실질적으로 예상되는 깊이 평면(1004)과 정렬된다. 회전 축(1006)이 예상되는 깊이 평면(1004)의 축(예컨대, 수직 축)에 병렬인 것으로서 예시되지만, 회전 축이 임의의 방향으로 있을 수 있다는 것이 이해된다.
[0109] 디옵터 에러들이, 평면내 왜곡들에 관련되는 평면내 공간 에러들과 별개이지만, 디옵터 에러들은, 예컨대 픽셀 깊이의 부정확한 가정들에 기인하는 뷰포인트-종속 공간 왜곡을 도입함으로써, 평면내 공간 에러들에 잠재적으로 영향을 끼칠 수 있다. 예컨대, 예상되는 것과 상이한 깊이들의 구역들을 갖는 결함성 깊이 평면의 경우, 픽셀들이 뷰어 포지션에 대해 비-균일하게 시프트되어서, 변하는 이미지 워프가 도입될 수 있다.
[0110] 일부 실시예들에서, 평면내 공간 에러들에 대해 본원에서 설명된 에러 보정 기법들(예컨대, xy 중심화, 어그리게이트 스케일링, 어그리게이트 회전, 및 공간 매핑)은 3-차원으로 확대될 수 있다. 예컨대, xyz 좌표계 상에서, 디스플레이된 평면의 중심 포인트의 위치를 식별하고, 중심 포인트가 예상되는 위치와 정렬되도록 (예컨대, x 축, y 축, 및 z 축을 따라) 평면을 시프트함으로써, 중심화는 3 차원으로 수행될 수 있다.
왜곡 벡터 필드에 기반하는 공간 에러들의 정량화
[0111] 도 8에 관련하여 본원에서 설명된 바와 같이, 예상되는 포지션으로부터 디스플레이된 포지션까지 이미지 특징의 변위를 측정함으로써, 다차원(예컨대, 2D 또는 3D) 왜곡 벡터 필드가 생성될 수 있다. 왜곡 벡터 필드는, 다층 디스플레이(예컨대, 스택된 도파관 어셈블리(405)를 포함하는 디스플레이)의 각각의 층에 대해 계산될 수 있다. 왜곡 벡터 필드들은, 디스플레이에 의해 투영된 광 필드의 왜곡을 캡처 및 특성화하기 위해 사용될 수 있다. 예컨대, 소정의 공간 에러들을 결정하기 위해, 왜곡 벡터 필드에 대한 벡터 분석 동작들이 수행될 수 있다. 광 필드 계측 시스템은 그러한 벡터 동작들을, 디스플레이에 의해 투영된 교정 패턴(예컨대, 체커보드)에 대해 계측 카메라(예컨대, 디지털 카메라 또는 광 필드 카메라)에 의해 획득된 이미지들의 분석의 부분으로서 계산할 수 있다. 그러한 벡터 분석 기법들은 광 필드 디스플레이들로 제한되지 않으며, 임의의 타입의 디스플레이의 임의의 다차원 계측 또는 교정에 적용될 수 있다.
[0112] 다차원 왜곡 벡터 필드가 주어지면, 로컬 회전을 결정하기 위해 벡터 필드의 컬이 컴퓨팅될 수 있다. 디스플레이의 FOV 내의 구역에 걸친 컬의 평균은, 이 구역에서의 어그리게이트 회전 에러의 측정치를 제공한다. 광 필드 디스플레이의 이산 깊이 평면 구현에서, 왜곡 벡터 필드의 컬의 계산은 층의 평면내 회전 또는 평면외 회전에 관한 정보를 제공할 수 있다.
[0113] 스케일링 에러를 결정하기 위해 왜곡 벡터 필드의 발산이 컴퓨팅될 수 있다. 각각의 깊이에서 풀 컬러 이미지를 생성하기 위해 다수의 층들(예컨대, RGB 컬러 층들)을 갖는 구현들에서, 이 스케일링 에러는, 스케일링 교정에 관한 정보를 제공하기 위해 사용될 수 있다.
[0114] 디스플레이의 FOV 내의 구역에 걸친 벡터 필드의 컬 및 발산을 컴퓨팅하기 위해(예컨대, 이 구역의 어그리게이트 회전 또는 어그리게이트 스케일링을 찾기 위해) 왜곡 벡터 필드에 벡터 적분 정리들(예컨대, 스토크의 정리 또는 발산 정리(가우스의 정리))이 적용될 수 있다. 왜곡에 의해 도입된 공간 변환의 비-아핀성에 관한 정보를 획득하기 위해 왜곡 벡터 필드에서의 벡터들의 유클리드 평균이 컴퓨팅될 수 있다.
색채 에러들의 정량화
[0115] 가시 픽셀의 컬러 값이 예상되는 컬러 값과 상이할 때, 색채 에러들이 발생한다. 색채 에러들을 평가하기 위해, 디스플레이 시스템을 사용하여 교정 이미지가 투영될 수 있다. 교정 이미지는, 공간 에러 보정을 수행하기 위해 사용된 것과 동일한 교정 이미지일 수 있거나, 또는 상이한 교정 이미지일 수 있다. 예컨대, 교정 이미지는, 특정 휘도 레벨(예컨대, 최대 밝기)로 특정 컬러, 이를테면 적색의 완전한(solid) 이미지를 포함할 수 있다. 교정 이미지를 투영하는 것으로부터의 출력은, 이미지 캡처 디바이스(예컨대, 하나 또는 그 초과의 카메라들)를 사용하여 캡처될 수 있다. 도 11은 투영된 교정 이미지의 캡처된 이미지의 예를 예시한다. 비록 교정 이미지가 이미지 전체에 걸쳐 일정한 휘도 레벨을 가질 수 있을지라도, 디스플레이된 교정 이미지의 휘도는 색채 에러들의 존재에 기인하여 디스플레이의 FOV(field of view)에 걸쳐 변한다. 예컨대, 캡처된 이미지의 소정의 구역들(1102)이 높은 휘도 레벨들을 나타낼 수 있는 반면에, 다른 구역들(1104)은 하위 휘도 레벨들을 나타낼 수 있으며, 이는 어두운 구역들 또는 대역들이 디스플레이에 걸쳐 보이게 한다. 일부 실시예들에서, 교정 이미지는, 완전한 컬러가 아니라, 컬러링된 교정 패턴을 포함할 수 있다.
[0116] 디스플레이의 일부 실시예들에서, 관측된 휘도 토폴로지는 파장에 종속적일 수 있다. 예컨대, 휘도 변동이 적색, 녹색 및 청색에 대해 상이하여서, 투영된 이미지가 예상되는 것 이외의 컬러로 보이게 할 수 있다(적색, 녹색, 청색 컴포넌트들 간의 불균형을 표시함). 예컨대, 투영된 백색 교정 이미지는 적색 및 청색의 휘도 레벨보다 하위인 녹색의 휘도 레벨의 퍼플로 보일 수 있다. 게다가, 휘도 변동들은 또한, 관찰자 위치에 기반할 수 있다(예컨대, 만약 카메라가 이동되었다면, 1102에서의 어두운 대역은 FOV 내의 상이한 위치로 이동하는 것으로 보일 수 있다). 이 현상은, (특히, 휘도 또는 색채 밸런스가 관찰자 위치에 따를 수 있기 때문에) FOV에 걸쳐 컬러 균일성 및 백색 밸런스를 유지하는 데 난제들을 초래할 수 있으며, 궁극적으로, 디스플레이되고 있는 콘텐츠의 컬러 정확도에 영향을 끼친다.
[0117] 디스플레이 시스템에서의 각각의 디스플레이 층은 색채 특성들, 측정 컬러, 및 휘도 특성들, 측정 밝기 또는 강도와 연관된다. 그로 인해서, 색채 에러들은, 휘도 평탄도 에러들 및 색채 균일성 에러들로 대략 분할될 수 있다.
휘도 평탄도
[0118] 휘도의 얼마나 많은 변동이 단일 디스플레이 층에 의해 나타나는지를 정량화하기 위해 휘도 평탄도 메트릭이 사용될 수 있다. 일반적으로, 스택된 도파관 어셈블리들에서, 각각의 디스플레이 층이 스택의 상이한 도파관들(예컨대, 도 4의 도파관 어셈블리(405) 참조)에 의해 생성되는 것에 기인하여, 상이한 디스플레이 층들은 잠재적으로, FOV(fields of view)에 걸쳐 상이한 휘도 변동들을 갖는다.
[0119] 디스플레이 층에 대한 휘도 평탄도를 측정하기 위해, 캡처된 이미지(들)의 일부 또는 모든 픽셀들에 대한 휘도 값(강도 값으로 또한 지칭됨)이 결정될 수 있다. 비록 본 개시내용이 주로 픽셀들의 휘도 값들을 참조하지만, 다른 구현들에서, 개별적인 픽셀들 대신에 다수의 픽셀들(예컨대, NxM 그리드의 픽셀들)을 포함하는 구역들에 대한 휘도 값들이 결정될 수 있다. 일부 실시예들에서, 각각의 결정된 휘도 값은, 하나 또는 그 초과의 휘도 값들의 범위를 포함하는 휘도 빈에 할당될 수 있다. 예컨대, 8-비트 컬러 디스플레이 시스템의 경우, 8-비트 컬러에 대응하는 256 개의 빈들이 사용될 수 있다.
[0120] 결정된 휘도 값들로부터, 계측 시스템에 의해 다수의 휘도 평탄도 메트릭들이 계산될 수 있다. 예컨대, 디스플레이된 필드에 걸쳐 가장 공통의 픽셀 휘도 값을 표시하는 모드가 계산될 수 있다. 픽셀 집단의 50%를 커버하는, 모드에 인접한 다수의 휘도 빈들 또는 휘도 범위를 표시하는 HPPR(half pixel population range)이 모드로부터 결정될 수 있다. 작은 HPPR은, 디스플레이 층에 대한 휘도가 실질적으로 디스플레이에 걸쳐 균일하다고 표시한다. 휘도 값들은 또한, 강도 값들로 지칭될 수 있다. 본 출원의 목적들을 위해, 휘도란 용어와 강도란 용어는 상호교환가능하게 사용될 수 있다.
[0121] 도 12a는 투영된 교정 이미지(예컨대, 도 11에서 예시됨)의 캡처된 이미지로부터 생성될 수 있는 강도 히스토그램을 예시한다. 강도 히스토그램은, 캡처된 이미지에서 휘도 값들이 얼마나 자주 보이는지(예컨대, 휘도 값을 갖는 픽셀들의 수)에 대해 휘도 값들을 그린다. 모드는, 이미지에서(예컨대, 위치(1202)에서) 가장 높은 발생 횟수를 갖는 휘도 값에 의해 표시된다.
[0122] 도 12b는 투영된 교정 이미지의 캡처된 이미지로부터 생성된 강도 프로파일을 예시한다. 예시된 강도 프로파일에서, 모드는 휘도 값(1204)에서 발생한다(그리고, 이 예에서 236의 값을 갖는다). 이미지의 픽셀 집단의 50%를 커버하는, 휘도 값(1206)과 휘도 값(1208) 간의 범위로서 표시된, 모드(1204)에 중심이 맞춰진 편차 범위가 모드로부터 결정된다. HPPR은, 계산된 편차 범위(예컨대, 휘도 값(1206)과 휘도 값(1208) 간의 차이)에 기반하여 결정된다.
[0123] 이상적인 디스플레이 층에 대해, 강도 값은 주어진 입력 조명(예컨대, HPPR=0)에 대한 필드에 걸쳐 균일할 것이다. 이 이상적인 거동으로부터의 편차는 모드 값으로부터 멀리 떨어진 픽셀 강도 값들의 분산으로서 나타날 것이다. HPPR 측정은 모드로부터 멀리 떨어진 분산을 계량화하려고 시도한다. 실질적으로 균일한 휘도는 작은 HPPR, 예컨대, 모드 또는 가능한 휘도 값들의 범위(예컨대, 8-비트 컬러에 대해 255)에 비해 작은 HPPR을 가질 수 있다. 예컨대, 실질적으로 균일한(예컨대, 플랫) 휘도 디스플레이는 대략 10% 미만, 대략 5% 미만, 대략 1% 미만, 또는 대략 0.1% 미만의 총 컬러 범위에 대한 HPPR의 비율을 가질 수 있다.
[0124] HPPR은 모드 대신에 중간값으로부터 멀리 떨어진 분산을 측정하는 4분 범위(interquartile range)의 변동으로 간주될 수 있다. 픽셀 강도 값들의 중간값은 디스플레이 층의 원하는 플랫-강도 응답과의 직접적인 관계를 갖지 않을 수 있다. 도 13은 모드, 중간값 및 평균(μ) 간의 차이들을 예시하는 예시적인 강도 히스토그램(1302, 1304)을 예시한다. 2개의 분산들(1302, 1304)의 중간값들은 이 예에서 동일하다. 2개의 분산들(1302, 1304)은 각각 0.8 및 2의 표준 편차들 σ를 갖는다. 도 13에 개략적으로 예시된 바와 같이, 만약 이미지의 강도 분산이 노멀(예컨대, 강도 분산(1302))에 가깝다면, 모드, 중간값 및 평균은 모두 매우 유사할 수 있다. 한편, 만약 강도 분산이 노멀 분산(예컨대, 강도 분산(1304))에 가깝지 않으면, 강도 분산의 모드, 중간값 및 평균은 서로 실질적으로 상이할 수 있다.
[0125] 디스플레이의 각각의 디스플레이 층에 대해, 휘도 평탄화는 디스플레이된 FOV(field of view)에 걸쳐 휘도 변동을 감소시키려고 시도한다. 전형적으로 픽셀의 휘도 강도가 그 최대 값을 초과하여 증가될 수 없기 때문에, 휘도 평탄화는 일반적으로, 픽셀 휘도들이 해당 층의 휘도가 가능한 한 플랫하도록 층-특정 프로파일에서 압축되는 전체 휘도 감소 단계이다.
[0126] 예컨대, 휘도 평탄화는, 픽셀 휘도들이 가장 낮은 휘도 값을 갖는 픽셀의 휘도 값에서 최대 값들을 갖도록 수행될 수 있어서, 디스플레이 층의 휘도를 실질적으로 최소 휘도로 감소시킬 수 있다. 대안적으로, 픽셀 휘도들은 가장 낮은 휘도 값을 갖는 픽셀의 휘도 값보다 큰 선택된 휘도 값에서 최대 값들을 갖도록 구성될 수 있다. 이것은, 선택된 값 미만의 휘도 값들을 갖는 픽셀들이 여전히 존재할 수 있고, 나머지 휘도 비-균일성이 존재할 수 있기 때문에, 전체 휘도를 최소로 감소시키지 않을 수 있다. 일부 실시예들에서, 픽셀 또는 픽셀들의 그룹에 대한 휘도 값을 낮추는 것은 픽셀 또는 픽셀들의 그룹의 휘도 값을 감소시키는 값을 식별하는 것을 포함한다. 다른 실시예들에서, 픽셀 또는 픽셀들의 그룹에 대한 휘도 값을 낮추는 것은 픽셀 또는 픽셀들의 그룹의 휘도 값을 최소 휘도 값 또는 임계 휘도 값으로 다운스케일링시키는 스케일링 팩터를 식별하는 것을 포함한다.
[0127] 일부 실시예들에서, 만약 디스플레이 층의 초기 휘도 평탄도가 양호하면(예컨대, HPPR이 임계 값 미만이면), 휘도 값들은 플랫 휘도 필드를 제공하기 위해 최소의 휘도 값으로 감소될 수 있다. 한편, 만약 휘도 평탄도가 열악하거나(예컨대, HPPR이 임계 값을 초과하면) 또는 최소 휘도 값이 낮으면(예컨대, 최소 임계 값에 도달하지 않으면), 선택된 최대 휘도 값은 선택될 수 있다. 휘도 평탄화는 소프트웨어 모듈(예컨대, 프로세싱 모듈들(224, 228))에서 수행될 수 있다.
[0128] 휘도 평탄화를 수행할 때 휘도가 감소되는 레벨은 각각의 디스플레이 층에 따라 상이할 수 있다. 그러나, 동일한 컬러 클러스터(예컨대, RGB 층 클러스터) 내의 상이한 층들에 대한 상이한 휘도 레벨들은 백색 밸런스의 손실을 초래할 수 있으며, 이는 디스플레이의 색채 균일성을 보정함으로써 핸들링될 수 있다.
색채 균일성
[0129] 색도는 일반적으로 휘도와 무관한 디스플레이의 컬러 컴포넌트를 지칭한다. 위에서 설명된 바와 같이, 디스플레이 시스템의 디스플레이 층은 적색 디스플레이 층, 녹색 디스플레이 층 및 청색 디스플레이 층을 포함할 수 있지만, 다른 구현들에서, 다른 수들, 타입들 또는 컬러들의 디스플레이 층들 또는 그 조합의 디스플레이 층들이 사용될 수 있다는 것이 이해된다. 다음 예들에서, RGB 컬러 층들은 예시를 목적으로 설명될 것이지만, 이것은 (디스플레이 컬러들의 임의의 세트들에 적용될 수 있는) 색채 밸런싱을 위한 방법들에 대한 제한이 아니다.
[0130] 만약 대응하는 적색, 녹색 및 청색 디스플레이 층들의 휘도 변동들이 동일하면, 색도가 디스플레이에 걸쳐 유지된다. 한편, 만약 대응하는 적색, 녹색 및 청색 디스플레이 층들에 걸친 휘도 변동들이 상이하면, 디스플레이된 이미지의 색도는 예상되는 것과 상이할 것이다. 예컨대, 백색 교정 이미지에 대해, 만약 적색 및 청색 층들이 더 높은 휘도를 가지면, 백색 교정 이미지의 녹색 층 구역들의 컬러는 퍼플로 보일 수 있다. 의도된 백색 컬러로부터의 이러한 편차들은 오프 그레이스케일로 지칭될 수 있다.
[0131] 색채 균일성 메트릭들은 이미지가 얼마나 오프 그레이스케일한지를 캡처하는 데 사용될 수 있다. 메트릭들은 각각, 적색, 녹색 및 청색의 대응하는 평균으로부터 적색, 녹색 및 청색의 편차들의 FOV에 걸친 평균을 표시하는 평균 컬러 에러를 포함할 수 있다. 평균 컬러 에러들이 작을수록, 그레이스케일에 가까운 것으로 이미지가 보일 것이다. 평균 컬러 에러는 평균 컬러 또는 가능한 컬러들의 범위(예컨대, 8-비트 컬러에 대해 255)로 나눔으로써 무차원 값으로 노멀라이징될 수 있다. 다양한 구현들에서, 만약 평균 컬러 에러가 10% 미만, 5% 미만, 1% 미만 또는 일부 다른 임계치라면, 디스플레이는 색채 균일성을 달성한 것으로 고려될 수 있다.
[0132] 도 14a는 투영된 테스트 이미지의 캡처된 이미지로부터 생성된 적색-녹색-청색(RGB) 강도 지도의 예를 예시한다. 적색 및 청색 층들(1402 및 1404)은, 일반적으로 서로 유사한 휘도들을 갖고, 적색 및 청색 층들(1402 및 1404) 둘 모두는 녹색 층(1406)보다 훨씬 더 높은 휘도를 갖는다. 결과적으로, 백색 테스트 이미지의 투영은 퍼플(적색 플러스 청색, 예컨대, 도 11b 참조)인 것으로 보이는 구역들을 가질 것이다.
[0133] 도 14b는 최대 컬러 오프-밸런스 에러를 매핑하는 플롯(1408)을 예시한다. 평균 휘도(1410)는 적색, 녹색 및 청색 컬러 층들의 평균 휘도 값으로서 결정될 수 있다. "평균 + 최대 에러" 표면(1412)은 적색, 녹색 및 청색 층들의 최대 휘도 값을 표시하는 반면, "평균 - 최대 에러" 표면(1414)은 적색, 녹색 및 청색 층들의 최소 휘도 값을 표시한다.
[0134] 도 15는 색채 보정 이후에 도 14a에서 예시된 바와 같이, 디스플레이된 FOV(field of view)에 걸쳐 상이한 강도들을 갖는 적색, 녹색 및 청색 층들을 갖는 디스플레이 시스템에 대한 RGB 강도 지도들을 예시한다. 아래에서 설명되고 플롯(1500)에서 예시된 바와 같이, 이러한 예에서, 최대 R 및 B 휘도 값들은 색채 균일성을 제공하기 위해 디스플레이의 대부분들에서 하위 G 휘도 값의 레벨로 감소되었다.
[0135] 도 14a에 예시된 바와 같이, 컬러 보정 이전에, 적색 및 청색 층들의 휘도들은 FOV의 대부분에 걸쳐 녹색 층의 휘도보다 훨씬 높으며, 이는 백색 교정 이미지의 캡처된 이미지의 큰 구역들이 퍼플로 보이게 할 수 있다. 이 예에서의 컬러 보정 동안, 깊이 평면의 각각의 포인트에 대해, 깊이 평면(예컨대, 적색, 녹색 및 청색)과 연관된 컬러 층의 최저 휘도 값이 식별되고, 각각의 컬러 층에 대한 휘도 값들이 그 포인트에 대한 최저 휘도 값으로 세팅된다. 예컨대, 도 15에서 예시된 바와 같이, 적색 및 청색 층들(1502 및 1504)의 컬러 휘도들은 녹색 층(1506)의 컬러 휘도들과 매칭하도록 낮춰진다(예컨대, 도 14a의 RGB 강도 지도를 도 15의 RGB 강도 지도와 비교함). 결과적으로, 적색 및 청색 층들의 휘도들은 그들이 녹색 층의 강도와 매칭하도록 보정되어, 투영된 이미지의 오프 그레이스케일량을 감소시킨다.
이미지 보정 프로세스
[0136] 이미지 교정은 사전에 정의된 이미지 품질 메트릭들에 관한 디스플레이 디바이스의 특성화를 지칭한다(예컨대, 도 7 - 15를 참조한 설명 참조). 이미지 보정은 이미지 품질을 개선하도록 취해진 보정 액션들을 지칭한다. 이미지 품질 메트릭들은 디스플레이 디바이스 이미지 품질 메트릭들을 개선하거나 또는 최적화하려고 시도하는 취해진 보정 액션들을 알린다. 이로써, 이미지 보정은 이미지 품질 메트릭들 각각에 밀접하게 연관된다.
[0137] 도 16은 디스플레이 시스템 상에서 이미지 보정을 수행하기 위한 프로세스(1600)의 예의 흐름도이다. 블록(1602)에서, 투영된 이미지들을 캡처하는 데 사용될 카메라(예컨대, 아래에서 설명되는 계측 시스템(1800)의 카메라(1806))가 교정된다. 카메라 교정은 실제 시각적/디스플레이 정보를 캡처 및 표현할 시의 카메라의 정확도의 특성화를 포함한다. 캡처된 이미지들로부터의 임의의 측정된 메트릭들이 디스플레이 시스템으로 인한 것이며 카메라와 연관된 에러들이 아님을 보장하기 위해, 이미지 보정을 위해 사용된 카메라들은 이미지 보정이 시도되기 이전에 완전히 교정되어야 한다.
[0138] 일부 실시예들에서, 카메라 교정은 플랫 필드 보정(예컨대, 카메라의 강도 응답이 이의 FOV에 걸쳐 균일한 것을 보장하는 것), 렌즈 왜곡 보정(예컨대, 렌즈 왜곡을 식별 및 보상하는 것), 또는 픽셀 스케일링(예컨대, 카메라의 이미지 캡처들 상의 픽셀 크기 대 디스플레이 시스템의 픽셀 크기 간의 관계를 식별하는 것) 중 적어도 하나를 수행하는 것을 포함한다. 일부 구현들에서, 디스플레이-대-카메라 픽셀 매핑은 디스플레이 픽셀 값들과 카메라 픽셀 값들 간의 전달(transfer)을 수행하도록 적용될 수 있다. 디스플레이-대-카메라 픽셀 매핑은, 디스플레이 컬러 픽셀 값들을 제1 중간 컬러 공간에 매핑하는 제1 글로벌 비선형 감마 기능, 제1 중간 컬러 공간을 제2 중간 컬러 공간에 매핑하는 로컬 픽셀-의존 커플링 기능, 및 제2 중간 컬러 공간을 카메라 컬러 공간의 픽셀 강도들에 매핑하는 제2 글로벌 비선형 감마 기능에 기반할 수 있다. 예시적인 디스플레이-대-카메라 픽셀 매핑은 도 21과 관련하여 아래에서 설명된다.
[0139] 블록(1604)에서, 공간 에러 보정이 디스플레이 시스템 상에서 수행될 수 있다. 공간 에러 보정은, 디스플레이된 이미지 위치들과 예상되는 이미지 위치들 간의 왜곡을 도시하는 벡터 필드를 생성하기 위해 사용될 수 있는, 교정된 카메라를 사용하여 투영된 광 필드의 하나 또는 그 초과의 이미지들을 캡처하는 것을 포함할 수 있다. 일부 실시예들에서, 개별적인 벡터 필드들은 각각의 디스플레이 층에 대해 생성된다. 생성된 벡터 필드(들)을 사용하여, 하나 또는 그 초과의 공간 보정들이 수행될 수 있고, 이는 XY 중심화(블록(1604a)), 어그리게이트 회전(블록(1604b)), 어그리게이트 스케일링(1604c), 또는 공간 매핑(블록(1604d))을 포함할 수 있다. 일부 실시예들에서, 이러한 보정들 각각은 층 단위로 수행된다.
[0140] XY 중심화는 예상되는 이미지 포지션에 대한 디스플레이 층의 디스플레이된 이미지의 중심의 병진 공간 에러를 지칭할 수 있다. XY 중심화를 수행하는 것은, 디스플레이된 이미지의 중심 포인트를 식별하는 것, 및 중심 포인트가 예상되는 중심 포지션에 대응하도록, 결정된 병진 벡터를 따라 이미지를 시프트시키는 것을 포함할 수 있다. XY 중심화 보정의 예들은 도 9a와 관련하여 설명된다.
[0141] 어그리게이트 회전은 디스플레이된 이미지와 예상되는 포지션 간의 전체 회전 에러를 지칭할 수 있다. 어그리게이트 회전을 수행하는 것은 디스플레이된 이미지의 중심 포인트를 식별하는 것, 및 이미지를 식별된 중심 포인트를 중심으로 지정된 회전량만큼(예컨대, 예상되는 이미지 포지션에 대한 픽셀 포지션 에러가 최소화되는 포지션까지) 회전시키는 것을 포함할 수 있다. 어그리게이트 회전 보정의 예들은 도 9b와 관련하여 설명된다.
[0142] 어그리게이트 스케일링은 디스플레이된 이미지와 예상되는 이미지 간의 전체 스케일링 에러를 지칭할 수 있다. 어그리게이트 스케일링을 수행하는 것은 디스플레이된 이미지의 중심 포인트를 식별하는 것, 및 이미지를 식별된 중심 포인트를 중심으로 지정된 팩터(예컨대, 예상되는 이미지 포지션에 대한 픽셀 포지션 에러가 최소화되는 팩터)만큼 스케일링하는 것을 포함할 수 있다. 어그리게이트 스케일링의 예들은 도 9c 및 도 9d와 관련하여 설명된다.
[0143] xy 중심화, 어그리게이트 회전 및 어그리게이트 스케일링은 선형 또는 아핀 공간 에러들을 보정하기 위해 사용될 수 있지만, 디스플레이 층의 디스플레이된 이미지는 또한 부가적인 비선형 또는 비-아핀 공간 에러들을 포함할 수 있다. 공간 매핑은, XY 중심화, 어그리게이트 회전 및 어그리게이트 스케일링 보정들이 수행된 이후 남아 있는 임의의 나머지 에러(예컨대, 비선형 또는 비-아핀 에러)를 보정하기 위해 수행될 수 있다. 공간 매핑은 또한 픽셀 워프로 지칭될 수 있고, 예들은 도 9e와 관련하여 설명된다.
[0144] 일부 실시예들에서, 공간 에러들은 평면내 공간 에러들 및 평면외 공간 에러들(때때로 디옵터 에러들로 지칭됨)로 분리될 수 있다. 예컨대, 디스플레이 층은 평면외 공간 에러들에 대해 보정되기 전에 평면내 공간 에러들에 대해 먼저 보정될 수 있거나 또는 그 반대일 수 있다. 대안적으로, 평면내 공간 에러들 및 평면외 공간 에러들은 함께 보정될 수 있다.
[0145] 블록(1606)에서, 컬러 에러 보정이 디스플레이 시스템 상에서 수행될 수 있다. 컬러 에러 보정은 휘도 평탄화(블록(1606a)) 또는 색채 밸런싱(블록(1606b))을 포함할 수 있다. 일부 실시예들에서, 휘도 평탄화는 층 단위로 수행되는 한편, 색채 밸런싱은 컬러 클러스터 단위로(예컨대, RGB 클러스터 단위로) 수행된다.
[0146] 휘도 평탄화는 디스플레이 층에 걸친 휘도 변동을 감소시키는 것을 지칭할 수 있다. 일부 실시예들에서, 휘도 평탄화는 디스플레이된 FOV의 모든 픽셀들의 휘도들을 최소 휘도 값으로 감소시키는 것을 포함한다. 대안적으로, 최대 값 또는 임계 값보다 큰 휘도를 갖는 디스플레이된 FOV의 모든 픽셀들은 최대/임계 값으로 감소된 이들의 휘도를 갖는 한편, 최대/임계 값들보다 작은 휘도를 갖는 픽셀들은 불변으로 계속 유지될 수 있다. 일부 실시예들에서, 휘도 값들은 휘도와 임계치 휘도 값 간의 거리에 기반하여 스케일링될 수 있다. 휘도 평탄화의 예들은 도 12a 및 도 12b와 관련하여 설명된다.
[0147] 색채 밸런싱은 컬러 클러스터(예컨대, RGB 클러스터)에서 상이한 컬러 층들 간의 강도에서의 미스매치들에 의해 초래되는 오프 그레이스케일 효과를 감소시키는 것을 포함할 수 있다. 색채 밸런싱은, 깊이 평면에서 각각의 위치의 컬러 층들의 휘도들을 낮추어, 그 위치에서 가장 낮은 휘도를 갖는 컬러 클러스터 내의 컬러 층의 휘도에 매칭시킴으로써 수행될 수 있다. 예컨대, FOV의 각각의 픽셀에 대해, 각각의 위치의 적색, 녹색 및 청색 컬러 층들에 대한 휘도들 모두는 그 위치의 3개의 컬러 층들 중 가장 낮은 것으로 세팅된다. 일부 실시예들에서, 임계치 휘도 값 초과의 휘도들은 임계치 휘도 값, 또는 그 위치의 컬러 클러스터에서 최소 휘도 값 중 더 큰 것으로 낮춰진다. 일부 실시예들에서, 휘도들은 휘도와 임계치 휘도 값 간의 거리에 기반하여 스케일링될 수 있다. 색채 밸런싱의 예들은 도 14a 내지 도 15와 관련하여 설명된다.
[0148] 일부 구현들에서, (이미지 품질 메트릭들을 정량화하기 위한) 이미지 교정은 제조 프로세스 동안 각각의 디스플레이 시스템에 대해 수행된다. 디스플레이 시스템을 개선 또는 최적화하기 위해 사용될 수 있는 이미지 품질 메트릭들 및 보정들과 연관된 정보는 디스플레이 시스템과 연관된 비-일시적 메모리(예컨대, 데이터 모듈(224) 또는 데이터 저장소(232))에 저장될 수 있다. 디스플레이 시스템의 사용 동안, 디스플레이의 이미지 에러들을 감소 또는 제거한 개선된 또는 최적화된 이미지가 디스플레이 시스템의 사용자에게 제공되도록 적합한 보정들을 수행하기 위해 이미지 보정 정보가 디스플레이에 적용될 수 있다. 예컨대, 로컬 또는 원격 프로세싱 모듈들(224, 228)은 실시간 기반으로 사용자에게 개선된 이미지들을 제공하기 위해 이미지 보정 정보를 사용할 수 있다. 예시적인 교정 프로세스들의 세부사항들은 도 27 및 도 28과 관련하여 아래에서 설명된다.
깊이 평면 계측의 예들
[0149] 본원에서 설명된 디스플레이 시스템들의 실시예들은 광 필드를 생성할 수 있다(예컨대, 도 1 내지 도 6과 관련된 설명 참조). 따라서, 단지 디스플레이의 착용자로부터 소정의 거리에 있는 실제(물리) 객체가 눈에 영향을 미치는 광 필드를 생성할 것처럼, 소정의 깊이에 배치된 가상 객체는 의도된 깊이에서 인 포커스로 보이게 할 (디지털화된) 광 필드를 생성할 것이다. 이는 수렴-조절 매칭 및 더 확실한 혼합 현실 디스플레이를 허용한다.
[0150] 비록 콘텐츠 생성자가 가상 객체를 렌더링 엔진에서 뷰어로부터 소정의 깊이에 배치할 수 있을지라도, 생성된 광 필드의 결함들로 인해(예컨대, 도파관 어셈블리(405)의 도파관들의 결함들로 인해), 가상 객체는 의도된 것과 상이한 깊이에서 인 포커스로 보일 수 있다. 이는 수렴-조절 미스매치를 초래할 수 있다. 일부 경우들에서, 가상 객체의 상이한 부분들은 상이한 깊이들에서 인 포커스인 것으로 보일 수 있다. 이러한 깊이 미스매치들은 평면외 공간 에러 타입, 이를테면 도 10a 내지 도 10e에 예시된 것들에 대응할 수 있다.
[0151] 그에 따라서, 본 개시내용은 디스플레이에 의해 생성된 광 필드의 품질을 측정할 수 있는 계측 시스템들의 예들을 설명한다. 일부 이러한 계측 시스템들은 디스플레이에 의해 생성된 광 필드의 토폴로지 및 품질을 매핑할 수 있고, 디스플레이에 의해 생성된 광 필드의 품질의 평가를 도출하는 정보를 제공할 수 있다. 일부 이러한 계측 시스템들은 디스플레이에 의해 생성된 벡터 광 필드(예컨대, 방향 및 크기)를 캡처할 수 있고, 디스플레이에서 포커스 및 깊이 결함들의 분석을 허용할 수 있다. 본원에 설명된 계측 시스템들에 의해 생성된 정보를 활용하는 광 필드 디스플레이들에 대한 공간 및 색채 교정 기법들이 개발되었다. 본원에 설명된 계측 시스템의 실시예들은 광 필드 디스플레이들(예컨대, 디스플레이 시스템들(80, 100)의 실시예들)에 대한 특정 애플리케이션을 갖지만, 이는 제한이 아니며, 임의의 타입의 디스플레이에서 나오는 광을 측정하기 위해 계측 시스템들의 다른 실시예들이 사용될 수 있다. 계측 시스템의 실시예들은, 디스플레이에 대해 유용한 공간 교정 정보를 유도하기 위해 사용될 수 있는 3D 왜곡 필드를 결정하기 위해 사용될 수 있다. 계측 시스템은 또한 양안 교정 및 단안 RGB 및 깊이-평면-간 교정에 대해 사용될 수 있다.
[0152] 도 17a는 노멀 광 필드를 갖는 눈(304)에 의해 보여지는 객체(1702)의 예를 도시한다. 객체(1702)는, 실질적으로 결함들이 없는 광 필드로 생성된 실제 객체 또는 가상 객체에 대응할 수 있다. 객체(1702) 상의 포인트와 연관된 광선들(1706)은 단일 포인트로부터 발산하는 것으로 보여서, 객체(1702)의 포인트가 눈(304)으로부터의 거리(1708)에 인 포커스인 것으로 보이게 한다.
[0153] 도 17b는 결함 있는 광 필드로 보여지는 객체(1710)의 예를 예시한다. 객체(1710)는 가상 객체, 이를테면, 디스플레이 시스템(예컨대, 도4 및 6에 예시된 디스플레이 시스템(400))을 사용하여 생성된 가상 객체에 대응할 수 있다. 생성된 광 필드에서의 결함들로 인해, 예컨대, 도파관들(420, 422, 424, 426, 428, 604)에서의 결함들로 인해, 객체(1710) 상의 특정 포인트에 대응하도록 의도된 광선들(1712)은 상이한 포인트들로부터 발산하는 것으로 보이거나, 그렇지 않으면 의도된 것과 상이한 발산을 나타낼 수 있다. 결과적으로, 객체(1710)는 거리(1708)에서 아웃 포커스인 것으로 보일 수 있다. 게다가, 객체(1710)의 다른 부분들은, 상이한 깊이들 또는 거리들에서 인 포커스인 것으로 보일 수 있다.
[0154] 계측 시스템이 디스플레이에 의해 생성된 광 필드의 품질을 측정하기 위해 사용될 수 있다. 도 18은 디스플레이(1802)의 광 필드 품질을 측정하기 위한 계측 시스템(1800)의 예를 예시한다. 디스플레이(1802)는 카메라(1806) 쪽으로 지향된 광선들(1804)을 갖는 광 필드를 생성한다. 디스플레이 디바이스(1802)는 스택된 도파관 어셈블리(예컨대, 도 4에 예시된 스택된 도파관 어셈블리(405))에 대응할 수 있다. 비록 광선들(1804)이 실질적으로 평행한 것으로 예시되지만, 이는 예시를 위한 것이고, 광 필드에서 표현된 하나 또는 그 초과의 가상 객체들의 상이한 깊이들을 전달하기 위해, 광선들(1804)은 상이한 방향들(예컨대, 발산)로 투영될 수 있다. 부가적으로, 광선들(1804)은 디스플레이(1802)에서의 결함들로 인해 비평행일 수 있다(예컨대, 도 17b 참조).
[0155] 일부 실시예들에서, 예컨대, 광 필드에서 표현된 가상 객체의 인식된 깊이들을 측정하기 위해, 카메라(1806)가 생성된 광 필드의 적어도 부분을 캡처하기 위해 사용될 수 있다. 카메라(1806)는 특정 깊이 또는 거리(이하에서 또한 "포커스 깊이"로 지칭됨) 상에 포커싱하도록 구성될 수 있다. 일부 실시예들에서, 이는 작은 DOF(depth of focus)를 갖는 렌즈를 사용하여 행해질 수 있다. 예컨대, DOF는 디스플레이에서의 결함들이 전형적으로 포커스 깊이를 의도된 포커스 깊이에서 벗어나게 하는 Z-거리 미만(예컨대, 도 19c에 도시된 의도된 포커스 깊이(1922)와 깊이 지도(1924)의 피크 사이의 거리 미만)일 수 있다. 다른 예들에서, DOF는 카메라와 디스플레이 간의 거리의 팩터 배 미만일 수 있으며, 여기서 팩터는 대략 0.1 미만, 대략 0.01 미만, 대략 0.001 미만 등일 수 있다. 카메라(1806)는 광 필드의 특정 부분들 또는 전체 광 필드를 캡처하도록 구성 가능할 수 있다. 카메라(1806)는 광 필드를 사용하여 디스플레이될 특정 가상 객체와 연관된 광 필드의 부분을 캡처하도록 구성될 수 있다. 카메라(1806)는 눈(304)에 의해 인식될 것과 실질적으로 유사한 이미지들을 캡처할 수 있도록 포지셔닝될 수 있다. 카메라(1806) 및 디스플레이(1802)는 광 필드 밖에서 맵핑하도록 서로에 대해 이동 가능할 수 있다. 예컨대, 상대적인 모션은 (예컨대, 도 18에 도시된 X-방향에서 또는 X 및 Z와 수직인 Y-방향(미도시)에서) 디스플레이(1802)에 평행할 수 있거나, (예컨대, 도 18에 도시된 Z-방향에서) 디스플레이(1802)에 수직일 수 있다. 다른 구현들에서, 스캐닝 옵틱스(미도시)는 카메라(1806) 및 디스플레이(1802)를 상대적으로 스캔하기 위해 사용될 수 있다. 일부 실시예들에서, 투영된 이미지의 공간 에러들(예컨대, 도 9a-9e에 예시된 평면내 공간 에러들 또는 도 10a-10e에 예시된 평면외 공간 에러들)을 식별하기 위해 사용될 수 있는 (이를테면 도 8에 예시된) 왜곡 지도를 결정하기 위해, 카메라(1806)가 생성된 광 필드의 부분들을 캡처하도록 사용될 수 있다. 게다가, 카메라(1806)가 (예컨대, 도 11-15에 예시된) 생성된 광 필드의 휘도 또는 색채 에러들을 식별하기 위해 사용될 수 있다.
[0156] 일부 실시예들에서, 카메라(1806)는 상이한 방향들로 지향되도록 이동 가능하다. 예컨대, 카메라(1806)가 디스플레이(1802)에 수직으로 향하는것으로 예시되었지만, 카메라(1806)는 또한 (예컨대, 회전의 X-축 또는 회전의 Y-축을 따라)회전될 수 있어서, 카메라는 디스플레이(1802)에 대해 상이한 각도들을 향할 수 있고, 결국 카메라(1806)가 상이한 방향들 또는 배향들에서 디스플레이(1802)에 의해 생성된 광 필드를 측정하게 할 수 있다.
[0157] 다양한 실시예들에서, 카메라(1806)는 디지털 카메라, 예컨대, 짧은-포커스 디지털 카메라일 수 있다. 다른 실시예들에서, 카메라(1806)는 광 필드 카메라일 수 있다.
[0158] 카메라(1806)는 제어기(1808)에 연결될 수 있고, 제어기(1808)는 카메라(1806)의 포커스 깊이, 카메라(1806)의 FOV(field of view), 노출 시간들, 카메라(1806) 및 디스플레이(1802)의 상대적인 이동 등을 제어하기 위해 사용될 수 있다. 일부 실시예들에서, 제어기(1808)는 도 4에 예시된 제어기(450)에 대응할 수 있다. 제어기(1808)는 하드웨어 프로세서 및 비-일시적 데이터 저장소를 포함할 수 있다.
[0159] 도 19a는 특정 포커스 깊이 상에 포커싱된, 카메라(예컨대, 카메라(1806))에 의해 캡처될 수 있는 이미지(1900)의 예의 다이어그램이다. 이미지(1900)는 인 포커스인 하나 또는 그 초과의 구역들(1902)은 물론, 아웃 포커스인 하나 또는 그 초과의 구역들(904)을 포함할 수 있다. 카메라(1806)가 상이한 포커스 깊이들에 포커스하도록 구성될 수 있기 때문에, 인 포커스이거나 아웃 포커스인 이미지의 구역들은 변경될 수 있다. 예컨대, 만약 카메라가 상이한 포커스 깊이 상에 포커스하도록 변경되면, 구역들(1902)은 아웃 포커스인 것으로 보일 수 있지만, 구역(1904)의 부분들은 포커스로 들어올 수 있다. 복수의 상이한 포커스 깊이들에 걸쳐 광 필드의 다수의 이미지들을 캡처함으로써, 광 필드의 다양한 구역들에 대해 인식된 깊이들이 결정될 수 있다. 예컨대, 카메라에 의해 캡처된 이미지들의 각각의 픽셀은, 포커스 깊이에 대응하는 특정 포커스 깊이와 연관될 수 있고, 여기서 픽셀에 대응하는 광 필드의 부분은 인 포커스에 있다. 생성된 광 필드의 구역들을 이들의 인식된 깊이들과 맵핑하는 깊이 지도 또는 그래프가 구성될 수 있다. 게다가, 깊이 지도 또는 그래프는 디스플레이에 의해 투영되도록 의도되었던 포커스 깊이들을 또한 특정할 수 있고, 그로 인해, 광 필드에 디스플레이된 가상 객체들의 실제 측정 초점 깊이들과 의도된 초점 깊이들 사이의 비교가 가능하게 된다.
[0160] 도 19b는 계측 시스템(1800)의 실시예에 의해 수행될 수 있는 초점 깊이 측정들을 개략적으로 예시하는 깊이 그래프의 예이다. 그래프(1910)는, 디스플레이(1802)로부터 방사된 광 필드에 걸친 라인을 따라(예컨대, 도 18에 예시된 대로, 광 필드의 수평 X-축을 따라) 생성된 광 필드의 측정된 초점 깊이(1912)를 그린다. 일부 실시예들에서, 그래프(1910)는 복수의 상이한 포커스 깊이들에 걸쳐 카메라(1806)의 포커스 깊이를 스위핑함으로써 생성될 수 있다. 예컨대, 카메라(1806)는 (수평 파선으로 예시된) 포커스 깊이(1914)로 포커싱될 수 있다. 완벽한 디스플레이에서, 디스플레이에 의해 생성된 광 필드는, 가상 객체의 실제 측정된 깊이가 정확하게 의도된 깊이이지만, 실제 디스플레이에서 이 둘은 디스플레이에서의 결함들로 인해 상이할 수 있는 그러한 광 필드일 것이다. 따라서, 포커스 깊이(1914)와 가까운 측정된 포커스 깊이를 갖는 광 필드의 임의의 구역들(예컨대, 구역들(1916))은 실질적으로 인 포커스인 것으로 인식될 수 있지만, 포커스 깊이(1914)와 현저하게 상이한 측정된 포커스 깊이를 갖는 광 필드의 구역들(예컨대, 구역들(1918))은 아웃 포커스인 것으로 인식될 수 있다.
[0161] 도 19c는 하나 또는 그 초과의 캡처된 이미지들에 기반하여 생성될 수 있는 깊이 지도의 예를 예시한다. 깊이 지도(1920)는, 디스플레이(1802)에 의해 생성된 이미지들이 (도 19c에서 수평 평면으로 예시된) 인 포커스에 있어야 하는 의도된 깊이 포지션(1922)뿐만 아니라 이미지가 실제로 인 포커스인 포커스 깊이(Z)를 보여주는 측정된 깊이 지도(1924)를 포함한다. 의도된 포커스 깊이(1922) 및 측정된 포커스 깊이(1924) 간의 비교는, 디스플레이(1802)에 의해 생성된 광 필드의 결함들이 디스플레이의 FOV(field of view)에 걸쳐 식별되고 정량화될 수 있게 한다.
[0162] 예컨대, 만약 의도된 포커스 깊이가 수평 포지션(X0, Y0)에서 포커싱되어야 하는 광에 대해 Z0이고, 그 포지션에서 측정된 포커스 깊이가 Z이면, (Z-Z0)는 포지션(X0, Y0)에서의 디스플레이의 포커스 결함들의 측정이다. 일부 구현들에서, 광선이 포커싱된 실제 수평 포지션(X, Y)이 측정될 수 있다. 일부 그러한 구현들에서, 의도된 포커스 포지션에 대한 실제 포커스 포지션(X, Y, Z) - (X0, Y0, Z0)의 벡터 측정은, 디스플레이에 의해 생성된 광 필드의 결함들을 특성화하기 위해 사용될 수 있다. 디스플레이 결함들의 이러한 벡터 측정은, 평면내 및 평면외(예컨대, 디옵터) 에러들 둘 모두의 3D 표현을 제공한다. 일부 실시예들에서, 2D 벡터 에러 측정 (X, Y) - (X0, Y0)을 사용하여 평면내 에러들만이 측정(및 교정)된다. 일부 경우들에서, 포커스 에러들이 디스플레이에 대해 픽셀 단위로 결정될 수 있다. 그러나, 많은 디스플레이들의 대단히 많은 수의 픽셀들(예컨대, 수 백만개의 픽셀들)로 인해, 포커스 에러 데이터가, 디스플레이를 샘플링하는(예컨대, 디스플레이에 걸쳐 10x10 또는 100x100 샘플) 픽셀들의 그룹들에 대해 또는 디스플레이의 부분들에 대해서만 결정될 수 있다. 체커보드 패턴은 정사각형일 필요가 없으며, 디스플레이의 픽셀 구조를 준수하도록 설계될 수 있다.
[0163] 도 20은 광 필드 디스플레이를 사용하여 생성되는 가상 타겟 패턴의 품질을 측정하기 위한 프로세스(2001)의 예의 흐름도이다. 프로세스(2001)는 계측 시스템(1800)에 의해서, 예컨대 제어기(1808)에 의해서 수행될 수 있다. 가상 타겟 패턴은, 일부 구현들에서, 교번적인 밝은 및 어두운 구역들의 어레이를 갖는 체커보드 패턴이다. 체커보드 패턴은 디스플레이의 부분들(예컨대 10x10 또는 100x100, 또는 다른 크기의 체커보드)을 샘플링하기 위해 사용될 수 있거나, 또는 그것은 디스플레이의 각각의 디멘션에서 픽셀들의 수에 대응하는 크기를 가질 수 있다. 다른 경우들에서는, 하나(또는 그 초과의) 픽셀들의 그룹들을 순차적으로 턴온 및 턴오프하고 턴온되는 픽셀들의 이미지들을 획득함으로써 픽셀 단위의 데이터가 획득될 수 있다. 체커보드 패턴(또는 픽셀들을 턴온/턴오프하는 시퀀스)은 밝은 및 어두운 구역들의 랜덤한 확률론적 시퀀스 또는 밝은 및 어두운 구역들의 기하학적 패턴 또는 임의의 다른 타입의 교정 패턴을 포함할 수 있다. 체커보드 패턴들 및 픽셀 온-오프 시퀀스들의 예들은 도 22-23b를 참조하여 아래에서 설명된다. 블록(2002)에서, 초기 포커스 깊이가 세팅될 수 있다. 일부 실시예들에서, 이것은 카메라 상에서 포커스 렌즈의 깊이를 구성하는 것을 포함할 수 있다. 포커스의 초기 깊이는 가상 타겟 패턴에서 표현될 수 있는 임의의 깊이에 대응할 수 있다. 예컨대, 초기 깊이는 가상 타겟 패턴과 연관된 최소 또는 최대 깊이에 대응할 수 있다.
[0164] 블록(2004)에서, 가상 타겟 패턴의 이미지가 선택된 포커스 깊이에서 캡처된다. 일부 실시예들에서, 이미지는 인 포커스인 부분 및 아웃 포커스인 부분을 포함할 수 있다. 일부 실시예들에서, 이미지의 범위는 가상 타겟 패턴과 연관된 특정 가상 객체에 포커싱될 수 있다. 다른 실시예들에서, 이미지는 다수의 가상 객체들을 포함하는 전체 광 필드에 대응할 수 있다. 이미지는 가상 타겟 패턴에 걸쳐 픽셀 단위로 포커스 깊이 정보를 포함할 수 있다.
[0165] 블록(2006)에서, 이미지가 획득되어야 하는 부가적인 포커스 깊이들이 존재하는지 여부에 대한 결정이 이루어진다. 만약 부가적인 포커스 깊이들이 존재한다고 결정되면, 블록(2008)에서, 새로운 포커스 깊이가 선택될 수 있다. 일부 실시예들에서, 포커스 깊이들의 수는 디스플레이 시스템에 의해서 디스플레이될 수 있는 상이한 깊이들의 수(예컨대, 도 3에 예시된 바와 같은 깊이 평면들(306)의 수 또는 도 4에 예시된 도파관 어셈블리의 도파관들의 수)에 적어도 부분적으로 기반할 수 있다. 일부 실시예들에서, 만약 이미지가 특정 가상 객체에 포커싱된다면, 포커스 깊이들의 범위는 가상 객체와 연관된 하나 또는 그 초과의 깊이들(예컨대, 가상 객체와 연관된 최소 깊이 및 최대 깊이)에 기반할 수 있다.
[0166] 만약 이미지가 획득되어야 하는 더 이상의 포커스 깊이들이 존재하지 않는다고 결정되면, 블록(2010)에서, 가상 타겟 패턴의 캡처된 이미지들은 타겟 패턴의 상이한 구역들이 실제로 인 포커스인 깊이들(Z) 또는 측방향 포지션들(X, Y)을 식별하기 위해서 분석될 수 있다. 예컨대, 특정 포커스 깊이에 대응하는 가상 타겟 패턴의 각각의 캡처된 이미지는 인 포커스인 부분 및 아웃 포커스인 부분을 포함할 수 있다. 일부 실시예들에서, 각각의 이미지는 광 필드의 구역들에 대응하는 하나 또는 그 초과의 구역들로 분할될 수 있다. 각각의 구역이 어느 깊이들에서 인 포커스였는지를 결정하기 위해서 자동-포커스 기법들이 사용될 수 있다. 일부 실시예들에서, 각각의 구역은 픽셀에 대응할 수 있다.
[0167] 블록(2012)에서, 깊이 지도가 측정된 포커스 깊이들(또는 측방향 포지션들)에 적어도 부분적으로 기반하여 생성될 수 있다. 깊이 지도는 광 필드 위치들을 포커스 깊이들과 매핑하는 임의의 타입의 데이터 구조 또는 가시화를 포함할 수 있다. 예컨대, 깊이 지도는 캡처된 이미지들의 하나 또는 그 초과의 픽셀들에 대한 깊이 정보(예컨대, Z-축 포커스 깊이, 또는 측방향 포커스 포지션(X 및/또는 Y 포지션)의 측정과 조합하는 Z-축 포커스 깊이)를 포함할 수 있다. 일부 실시예들에서, 픽셀들은 타겟 가상 객체와 연관된 픽셀 클라우드에 대응할 수 있다. 이로써, 깊이 지도는 디스플레이 옵틱스를 통해 보여질 때 가상 객체의 실제 인식되는 깊이를 특정할 수 있다.
[0168] 블록(2014)에서, 깊이 지도는 하나 또는 그 초과의 원하는 포커스 깊이들과 비교될 수 있고, 원하는 포커스 깊이들은 하나 또는 그 초과의 가상 객체들이 디스플레이되도록 의도되는 깊이들에 대응한다. 가상 객체가 보이도록 의도되는 포커스 깊이들에 대해 가상 객체의 실제 인식되는 깊이의 차이를 조사함으로써, 광 필드에서의 결함들 및/또는 편차들이 식별될 수 있다.
[0169] 블록(2006)에서, 깊이 지도와 원하는 포커스 깊이들 간의 비교들에 적어도 부분적으로 기반하여 에러 보정이 수행될 수 있다. 에러 보정은 광 필드 디스플레이에서의 결함들 또는 그 디스플레이로부터 투영되는 이미지들의 콘텐츠를 보상할 수 있다.
[0170] 프로세스(2001)는 도파관들 각각의 결함들을 매핑하기 위해 광 필드 디스플레이의 도파관 어셈블리(405)의 각각의 도파관에 대해 반복될 수 있다. 일부 경우들에서는, 다수의 깊이 평면들에 대응하는 다수의 도파관들뿐만 아니라 다수의 컬러들(예컨대, 적색(R), 녹색(G), 및 청색(B))에 대응하는 다수의 도파관들이 존재할 수 있다. 예컨대, 일부 디스플레이들의 경우에는 각각의 깊이 평면에 대한 3개의 컬러 평면들이 존재하고, 따라서 2개의 깊이 평면들을 갖는 도파관 어셈블리는 2x3=6개의 도파관들을 가질 수 있다. 카메라(1806)는 다수의 컬러들에 민감한 카메라, 또는 컬러들의 서브세트에 각각 민감한 카메라들의 조합일 수 있다. 계측 시스템(1800)에 의해서 획득된 포커스 깊이 정보가 포커스 에러들의 공간 분산뿐만 아니라 디스플레이의 색채(컬러) 결함들의 분산을 결정하기 위해 사용될 수 있다.
[0171] 일부 실시예들에서, (예컨대, 스위프된 포커스를 갖는 디지털 카메라를 사용하여) 다수의 상이한 포커스 깊이들에서 다수의 이미지들을 캡처하는 대신에, 광 필드 카메라가 디스플레이(1802)에 의해서 생성되는 광 필드를 캡처하기 위해 사용될 수 있다. 캡처된 광 필드가 포커스 및/또는 깊이 결함들에 대해 분석될 수 있다. 캡처된 광 필드에서 광선들의 벡터들을 분석함으로써, 다양한 구역들에 대한 포커스 깊이들이 결정될 수 있다. 이어서, 식별된 포커스 깊이들이 하나 또는 그 초과의 의도된 포커스 깊이들에 비교될 수 있고, 적합한 에러 보정이 수행될 수 있다(블록(2016)에서와 같이). 예컨대, 의도된 포커스 포지션(X0, Y0, Z0)에 대한 실제 포커스 포지션(X, Y, Z)의 벡터 측정이 "벡터 에러=(X, Y, Z)-(X0, Y0, Z0)"로서 결정될 수 있고, 디스플레이에 의해서 생성된 광 필드의 결함들을 특성화하기 위해 사용될 수 있다.
디스플레이를 채색적으로 밸런싱하기 위한 예시적인 방법들
[0172] 위에서 논의된 바와 같이, 풀 컬러 디스플레이의 일부 구현들은 디스플레이로부터 투영되는 광의 적색(R), 녹색(G), 및 청색(B) 파장들을 조합함으로써 뷰어의 망막에서 3자극 응답을 생성한다. 이상적인 디스플레이는 이들 3개의 컬러 층들에 대한 공간적으로 균일한 휘도를 갖지만, 실제 디스플레이는 하드웨어 결함들로 인해 FOV(fields of view)에 걸쳐 어느 정도의 휘도 변동을 가질 수 있다. 만약 이런 변동이 상이한 컬러 층들에 대해 상이하다면, 그것은 디스플레이의 FOV(fields of view)에 걸쳐 색도의 비-균일성을 생성한다(예컨대, 도 11에 예시된 바와 같이). 본 개시내용은 색채 변동들을 보정하고 FOV에 걸쳐 색도를 균일하게 만들려 시도하는 방법의 예들을 설명한다. 예컨대, 디스플레이의 개개의 컬러 층들(예컨대, R, G, 및 B)의 강도들은, 디스플레이의 백색 포인트가 FOV에 걸쳐 실질적으로 균일하도록, 튜닝될 수 있다.
[0173] 일부 구현들에서, 본원에서 설명된 광 필드 계측 시스템이 디스플레이의 컬러 밸런스를 특성화하기 위해 사용될 수 있다. 예컨대, 디스플레이의 픽셀들 중 일부 또는 모두에 대해서, 디지털 컬러 카메라가 (예컨대, 도 18에 예시된 바와 같은 계측 시스템(1800)을 사용하여) 디스플레이의 이미지들을 획득할 수 있고, 그 이미지들로부터 디스플레이의 색채 응답이 결정될 수 있다. 대부분의 디스플레이들에서는 3개의 컬러 층들(예컨대, R, G, 및 B)이 존재하지만, 본 방법들은 RGB 또는 3-컬러 디스플레이들로 제한되지 않는다. 본 방법은 임의의 수의 컬러 층들(예컨대, 2, 3, 4, 5, 6 또는 그 초과의 컬러 층들) 및 컬러들(예컨대, 청록색, 자홍색, 노랑색, 검은색)의 임의의 선정에 적용될 수 있다.
[0174] RGB 디스플레이의 특정 구현에 대한 측정된 컬러 밸런스의 예들이 도 14a(색채 교정 이전) 및 도 15(색채 교정 이후)에 도시되어 있다. 도 14a 및 도 15는 디스플레이의 픽셀들(수평 축들)에 걸친 R, G, 및 B 강도들(수직 축)의 분산의 플롯(각각 1400, 1500)을 포함한다. 도 14b는 컬러 보정 이전의 평균 및 평균±최대 에러를 도시하는, 디스플레이의 픽셀들(수평 축)에 대한 최대 컬러 오프-밸런스(수직 축)의 플롯(1408)을 포함한다.
[0175] 위에서 논의된 바와 같이, 도 14a는, 교정되지 않은 디스플레이가 디스플레이의 픽셀들에 걸쳐 실질적인 색채 비-균일성을 가짐을 도시한다. 적색 및 청색 컬러 응답들은 거의 동일하며, R 및 B 강도들은 플롯(1400)의 우측 쪽으로 피크가 된다. 녹색 컬러 응답은 일반적으로 R 또는 B 응답들보다 작고, 플롯(1400)의 우측 쪽으로 감소한다. 도 15는 ― 아래에서 설명될 색채 교정의 적용 이후에 ― 교정된 디스플레이가 디스플레이의 픽셀들에 걸쳐 더욱 균일한 색채 응답을 가짐을 도시한다.
[0176] 본원에서 설명된 색채 밸런싱 시스템들 및 방법들의 실시예들은, 디스플레이의 백색 포인트가 디스플레이의 FOV에 걸쳐 실질적으로 균일하도록, 다중-컬러 디스플레이에서 컬러 층들 중 적어도 일부의 강도들을 튜닝하기 위한 기법들을 제공한다. 다양한 구현들에서, 디스플레이는 광 필드 디스플레이일 수 있다. 예컨대, 디스플레이는 다수의 깊이 평면들에서의 컬러 이미지들을 뷰어에게 제시하는 성능을 가질 수 있다. 색채 밸런싱 시스템들 및 방법들의 실시예들은 디스플레이(208)(도 2), 디스플레이 시스템(400)(도 4-6), 및 디스플레이(2500)(도 25a, 25b, 26)를 채색적으로 밸런싱하기 위해 적용될 수 있다.
[0177] 인간의 눈은 선형 방식으로 광 레벨들을 인식하지 않는다. 예컨대, 이상적인 선형 디스플레이와 비교할 때, 인간의 눈은 밝은 톤들의 유사한 변경들보다 어두운 톤들의 변경들에 더 민감하며, 이는, 인간의 시각적 시스템이 넓은 범위의 밝기 레벨들에 걸쳐 동작하게 허용한다. 실제 세계 디스플레이들은 또한 정밀한 선형 밝기 응답을 제공하지 않을 수 있다. 추가로, 디지털 이미지들은 종종, 더 지각적으로 균일한 토널 레벨들을 나타내기 위해 인코딩된다. 인간의 시지각, 디스플레이 출력, 및 이미지 인코딩들은, 밝기 또는 컬러 레벨들에 대한 대략적인 전력 법칙 관계에 따르는 바와 같이 일반적으로 모델링된다. 예컨대, 출력 레벨은 전력 감마로 상승되는 입력 레벨에 비례한다 . 이러한 비선형 전력-법칙 거동은 일반적으로 감마 보정, 감마 인코딩, 또는 간단히 감마로 지칭된다.
[0178] 소정의 실시예들에서, 만약 디스플레이의 개개의 컬러 층들의 휘도 평탄도가 디스플레이의 FOV에 걸쳐 거의 균일하다면, 색채 밸런싱은 디스플레이에 걸쳐 균일한 색채 밸런스를 달성하기 위해 개개의 컬러 층들의 강도들을 스케일링하는 것을 포함할 수 있다. 다양한 실시예들에서, 만약 디스플레이의 FOV에 걸친 휘도의 변동들이 1% 미만, 5% 미만, 또는 10% 미만이라면, 디스플레이는 적절한 휘도 평탄도를 가질 수 있다. 디스플레이 및 인간의 시지각의 감마 응답으로 인해, 이러한 간단한 스케일링은 일부 경우들에서 소정의 단점들을 가질 수 있다.
[0179] 만약 디스플레이의 컬러 층들이 실질적인 휘도 평탄도를 갖지 않는다면, 색채 밸런싱은 단지 개개의 컬러 층들의 강도들을 스케일링하는 것 이상을 포함할 수 있다. 예컨대, 색채 밸런싱은 디스플레이의 각각의 픽셀에서 (또는 픽셀들의 그룹에 걸쳐) 백색 포인트를 독립적으로 밸런싱하려고 시도할 수 있다. 일부 그러한 구현들에서, 디스플레이의 FOV에 걸친 색채 밸런스는 FOV에 걸쳐 휘도를 또한 평탄화하지 않으면서 달성될 수 있다. 휘도 평탄화는 색채 밸런싱에 부가적으로 또는 대안적으로 수행될 수 있다.
[0180] 디스플레이를 채색적으로 밸런싱하는 목적은, 디스플레이의 인간 뷰어가 디스플레이의 FOV에 걸쳐 균일한 컬러 밸런스를 인식하는 것이다. 디스플레이의 컬러 밸런스를 측정 및 튜닝하기 위해, (인간의 눈보다는) 교정 카메라가 디스플레이 출력의 이미지들을 레코딩하기 위해 사용된다. 카메라가 디스플레이 출력의 인간의 지각을 대표하며, 그리고 만약 디스플레이의 카메라 이미지들이 채색적으로 밸런싱된다면, 디스플레이의 인간 뷰어의 지각이 또한 채색적으로 밸런싱될 것이라는 것이 가정될 수 있다.
[0181] 일부 구현들에서, 다음의 모델은 디스플레이의 컬러 층들에 대한 픽셀 값들과 교정 카메라에 의해 측정된 컬러들에 대한 픽셀 값들 간의 전달을 위해 사용된다. 다음의 예에서, R, G, 및 B인 것으로 가정되는 3개의 컬러 층들이 존재하지만; 이것은 예시적인 목적들을 위한 것이고 제한이 아니다. 다른 경우들에서, 임의의 수 및 색상들의 컬러 층들은 색채 밸런싱 기법의 실시예들과 함께 사용가능하다. 추가로, 모델을 적용하기 전에, 디스플레이 및 카메라의 픽셀 사이즈들 간의 적합한 스케일링이 고려될 수 있다.
수학식 (1)
[0182] 수학식 (1)에서, [Rd, Gd, Bd]는 디스플레이로 전송된 RGB 이미지에 대한 강도 값들을 나타낸다. 많은 경우들(예컨대, 표준 RGB 또는 sRGB)에서, 강도 값들은 0 내지 255이다. Gamma1{}은 디스플레이 컬러 레벨들을 중간 컬러 표현 [R1 G1 B1]에 매핑하는 (지수 를 갖는) 제1 비선형 감마 함수이다. Coupling()은 컬러 값들 [R1 G1 B1]을 제2의 중간 컬러 표현 [R2 G2 B2]에 매핑하는 함수이다. Goupling() 함수는 선형 함수, 예컨대, (3개의 컬러 층들의 경우에는) 3×3 매트릭스일 수 있다. 다른 구현들에서, Coupling() 함수는 비선형일 수 있다. Gamma2{}는 제2의 중간 컬러 표현 [R2 G2 B2]을 교정 카메라에 의해 등록된 픽셀 강도들 [Rc Gc Bc]에 매핑하는 (지수 를 갖는) 제2의 비선형 감마 함수를 나타낸다.
[0183] 일부 구현들에서, 제1 및 제2 감마 함수들은 디스플레이의 FOV에 대한 글로벌 함수들이다(예컨대, 지수들 및 는 FOV에 걸쳐 일정함). Coupling()은 FOV에 걸쳐 픽셀마다 변하는 로컬(픽셀-종속) 함수일 수 있다. Coupling() 함수에 의해 제공되는 픽셀-당 컬러 매핑은 픽셀-당 색채 밸런싱을 허용한다.
[0184] 함수들 Gamma1{}, Gamma2{}, 및 Coupling()을 결정하기 위해, 디스플레이의 일련의 하나 또는 그 초과의 이미지들은 카메라에 의해 캡처될 수 있으며, 디스플레이에 대한 합당한 색채 밸런스를 제공하는 감마 및 커플링 함수들에 대한 적절한 피트를 발견하기 위해 반복 최적화 알고리즘들(예컨대, 힐 클라이밍, 로컬 탐색, 심플렉스 방법들, 제너릭(genetic) 알고리즘들 등)을 수행하도록 프로그래밍된 분석 시스템에 의해 분석될 수 있다. 분석 시스템은, 분석 시스템이 감마 및 커플링 함수들에 대한 적절한 피트를 탐색할 때 디스플레이의 부가적인 이미지(들)를 캡처함으로써 반복 프로세스 동안 피드백을 사용할 수 있다. 예컨대, 함수들 Gamma1{}, Gamma2{}, 및 Coupling()은 디스플레이의 FOV에 걸쳐 카메라 이미지의 색채 밸런스를 개선 또는 최적화하도록 이들 함수들을 반복적으로 조정함으로써 결정될 수 있다. 함수들은, 반복 프로세스 동안 획득된 카메라 이미지들의 백색 포인트가 디스플레이의 FOV에 걸쳐 실질적으로 균일할 때까지 반복적으로 조정될 수 있다. 다양한 구현들에서, 실질적으로 균일한 백색 포인트 분산은, 그것이 측정되는 컬러 시스템의 백색 포인트 값의 10% 미만, 5% 미만, 또는 1% 미만의 FOV에 걸친 백색 포인트의 변동과 연관된다. 예컨대, CIE(International Commission on Illumination)에 의해 제공된 컬러 공간이 사용될 수 있다. 일부 구현들에서, 실질적으로 균일한 백색 포인트 분산은 컬러 공간의 JND(just noticeable difference)에 기반한 임계치 양보다 작은 백색 포인트의 변동과 연관될 수 있다. 일부 구현들에서, 감마 전달 함수들 Gamma1{} 및 Gamma2{}가 먼저 반복적으로 컴퓨팅되며, 이어서, 일단 감마 함수들(예컨대, 지수들 및 )이 컴퓨팅되면 Coupling() 함수가 컴퓨팅된다.
[0185] 제조 환경에서 디스플레이들을 교정하기 위한 생산 프로세스는, 그들이 생산 라인을 따라 이송될 때 디스플레이들을 자동적으로 특성화할 수 있다. 예컨대, 생산 프로세스의 적절한 포인트에서, 본원에서 설명된 교정 카메라 및 분석 시스템은 특정 디스플레이에 대한 감마 전달 함수들 및 커플링 함수를 획득하기 위해 반복 분석을 수행하며, 결과적인 감마 및 커플링 함수들을 디스플레이와 연관된 메모리에 저장할 수 있다. 이어서, 디스플레이는 색채 밸런싱을 자동적으로 수행하는 성능을 갖는다.
[0186] 특정 디스플레이의 사용 동안, 일단 감마 전달 함수들, Gamma1{} 및 Gamma2{}, 및 Coupling() 함수가 특정 디스플레이에 대해 알려지면, 적합한 디스플레이 픽셀 값 [Rd Gd Bd]이 수학식 (1)로 입력되어 채색적으로 밸런싱된 출력을 달성할 수 있다. 예컨대, 특정 디스플레이에 대해 결정된 감마 지수들 및 Coupling() 함수는 디스플레이가 액세스가능한 메모리에 저장되며, 디스플레이로부터 채색적으로 밸런싱된 출력을 제공하기 위해 입력 이미지 픽셀 컬러 값들을 변환하도록 액세스될 수 있다. 일부 구현들에서, 웨어러블 디스플레이 시스템(200)의 로컬 프로세싱 및 데이터 모듈(224)은 감마 전달 및 커플링 함수들을 저장할 수 있으며, 프로세싱 모듈은 실시간으로 채색적으로 밸런싱된 이미지들을 출력하기 위해 수학식 (1)을 이용할 수 있다(도 2). 다른 구현들에서, 디스플레이 시스템(400)의 제어기(450)는 수학식 (1) 및 저장된 감마 및 커플링 함수들에 기반하여 색채 밸런싱을 수행할 수 있다(도 4). 또 다른 구현들에서, 아래에서 설명될 바와 같이, 동적 교정 시스템(2600)의 동적 교정 프로세서(2610)는 수학식 (1) 및 저장된 감마 및 커플링 함수들을 사용하여 디스플레이(2500)에 대한 색채 밸런싱을 수행할 수 있다(도 26).
[0187] 아래에서 더 상세히 각각 설명되는 도 27, 도 28과 관련하여 설명된 눈-추적에 기반하여 디스플레이를 동적으로 교정하기 위한 방법(2700) 또는 프로세스 흐름(2805)의 실시예들은 색채 밸런싱 및 다른 에러 보정/교정 기능들을 수행할 수 있다. 예컨대, 방법(2700)의 블록(2720)에서 액세스된 교정은 감마 및 커플링 함수들을 포함할 수 있으며, 블록(2730)에서, 디스플레이의 색채 결함들은 수학식 (1) 및 액세스된 감마 및 커플링 함수들의 사용에 의해 보정될 수 있다. 다른 예로서, 프로세스 흐름(2805)의 블록(2880)은 감마 및 커플링 함수들에 액세스하고, 교정 동안 그들을 적용할 수 있다.
[0188] 도 21은, 디스플레이를 교정하기 위한 방법(2150)의 예를 예시하는 흐름도이다. 디스플레이는 광 필드 디스플레이일 수 있다. 디스플레이는, 디스플레이(208)(도 2), 디스플레이 시스템(400)(도 4-6), 및 디스플레이(2500)(도 25a, 도 25b, 도 26)일 수 있다. 방법(2150)은, 디스플레이들을 위한 제조 프로세스의 생산 라인의 부분으로서(예컨대, 도 28과 관련하여 설명된 프로세스(2805)의 부분으로서) 분석 시스템(도 18에 도시된 계측 시스템(1800)과 같은 컴퓨터 하드웨어에 의해 실행되는 카메라 및 분석 프로그램을 포함함)에 의해 수행될 수 있다. 방법(2150)은, 도 16과 관련하여 설명된 프로세스(1600)의 블록(1602)과 관련하여 설명된 카메라 교정의 부분으로서 수행될 수 있다. 일부 구현들에서, 방법(2700)은, (디스플레이의 인간 뷰어의 시지각을 표현하는 것으로 가정되는) 카메라와 디스플레이 간의 적합한 변환을 결정하기 위해 수학식 (1)을 적용한다. 블록(2160)에서, 디스플레이의 이미지가 카메라에 의해 획득된다. 블록(2170)에서, 디스플레이와 카메라 간의 변환의 글로벌 변환 파라미터들이 결정된다. 글로벌 변환 파라미터들은, 디스플레이의 FOV에 걸쳐 변하지 않는 파라미터들(예컨대, 픽셀 종속이지 않은 파라미터들)을 포함할 수 있다. 예컨대, 글로벌 변환 파라미터들은, Gamma1{} 및 Gamma2{} 함수들을 포함할 수 있다. 일부 경우들에서, 방법(2150)은, 글로벌 변환 파라미터들을 결정하기 위한 반복적 피드백 프로세스의 부분으로서 하나 또는 그 초과의 부가적인 이미지들을 획득하기 위해 블록(2160)으로 리턴할 수 있다. 글로벌 변환 파라미터들에 대한 적절한 피트가 획득된 후, 방법(2150)은, 로컬(예컨대, 픽셀 종속) 변환 파라미터들이 카메라 이미지들에 피팅되는 블록(2180)으로 이동한다. 예컨대, 로컬 변환 파라미터들은 Coupling() 함수(예컨대, 디스플레이의 FOV에 걸친 픽셀 위치들에서의 이러한 함수의 값들)를 포함할 수 있다. 일부 경우들에서, 방법(2150)은, 로컬 변환 파라미터들을 결정하기 위한 반복적 피드백 프로세스의 부분으로서 하나 또는 그 초과의 부가적인 이미지들을 획득하기 위해 블록(2160)으로 리턴할 수 있다. 일부 구현들에서, 블록(2160)에서 부가적인 이미지(들)를 획득한 후, 방법(2150)은, 글로벌 변환 파라미터들이 사전에 결정되었기 때문에, 블록(2170)을 통과하기보다는, 로컬 변환 파라미터들을 피팅하는 것을 계속하기 위해 블록(2180)으로 다시 점프할 수 있다. 로컬 변환 파라미터들에 대한 적절한 피트가 카메라 이미지들에 피팅된 후, 방법(2150)은, 로컬 및 글로벌 변환 파라미터들이 디스플레이와 연관된 메모리(예컨대, 로컬 데이터 모듈(71))에 저장되는 블록(2190)으로 이동한다. 위에서 논의된 바와 같이, 디스플레이를 동적으로 교정하기 위한 방법(2700)의 블록(2720)에서, 디스플레이에 대한 교정의 부분으로서 로컬 및 글로벌 변환 파라미터들이 액세스될 수 있고, 블록(2730)에서, 디스플레이로부터 채색적으로 밸런싱된 이미지를 생성하기 위해 로컬 및 글로벌 변환 파라미터들 및 수학식 (1)이 적용될 수 있다.
[0189] 디스플레이에 대한 색채 밸런스의 경우에 대해 설명되었지만, 본 시스템들 및 방법들은 그렇게 제한되지 않으며, 디스플레이의 다른 색채(또는 공간) 결함들(예컨대, 위에서 설명된 색채 또는 공간 결함들 중 임의의 결함)을 보정하는 데 적용될 수 있다. 예컨대, 위에서 설명된 바와 같이, 디스플레이는 휘도 평탄도 변동들을 나타낼 수 있으며, 개시된 분석 기법들의 실시예들은, 휘도 평탄도 결함들을 보정하는 휘도 평탄도 교정을 결정할 수 있다. 부가적으로 또는 대안적으로, 디스플레이는, 평면외(예컨대, 초점 깊이) 에러들뿐만 아니라 평면내 병진, 회전, 스케일링, 또는 워핑 에러들을 포함하는 공간 결함들을 나타낼 수 있다. 개시된 분석 기법들의 실시예들은, 그러한 공간 에러들 중 일부 또는 전부에 대한 교정(들)을 결정할 수 있다.
교정 패턴들을 사용하는 디스플레이 교정의 예들
[0190] 디스플레이에서의 결함들은, 디스플레이에 의해 투영되는 가상 객체들이 공간적으로 또는 채색적으로 왜곡되어 보이는 것을 야기할 수 있다. 이러한 결함들을 보정하기 위해, 디스플레이는 먼저, (예컨대, 도 18에 예시된 계측 시스템(1800)을 사용하여) 왜곡들을 측정하고 이어서 임의의 필요한 에러 보정들을 수행함으로써 교정될 수 있다. 디스플레이 교정은, 디스플레이를 사용하여 교정 패턴, 예컨대 체커보드 패턴(예컨대, 도 7에 예시됨)을 투영하는 것, 및 카메라로 결과적인 이미지를 캡처하는 것을 수반할 수 있다. 이어서, 캡처된 이미지는, 패턴 피처 포인트들의 예상되는 포지션들 대 그들의 측정된 포지션들 간의 에러를 정량화함으로써, 교정 패턴의 피처 포인트 위치들에서의 왜곡들을 결정하도록 프로세싱될 수 있다. 별개의 컬러 층들(예컨대, 적색(R), 녹색(G), 및 청색(B) 층들)을 갖는 디스플레이들의 경우, 이러한 교정은 또한 컬러 레지스트레이션 및 이미지 품질을 보정할 수 있다.
[0191] 도 22는, 교정 패턴을 사용하는 예시적인 교정 시스템(2200)을 예시한다. 디스플레이(2202)는, 카메라(2208)와 같은 이미징 디바이스를 사용하여 캡처될 수 있는 생성된 광 필드(2206)로서 교정 패턴(2204)을 투영하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이(2202)는, 스택된 도파관 어셈블리(예컨대, 도 4 또는 도 6에 예시됨) 또는 다른 타입의 광 필드 디스플레이를 포함한다. 일부 실시예들에서, 카메라(2208)(또는 디스플레이(2202))는, 시스템(2200)이 상이한 측방향 포지션들, 깊이들, 또는 각도들로부터 광 필드(706)의 이미지들을 캡처할 수 있도록 이동가능하게 구성된다. 일부 실시예들에서, 교정 시스템(2200)은 도 18의 계측 시스템(1800)과 유사할 수 있다. 예컨대, 디스플레이(2202), 광 필드(2206), 및 카메라(2208)는 계측 시스템(1800)의 디스플레이(1802), 광 필드(1804), 및 카메라(1806)에 대응할 수 있다.
[0192] 이러한 예에서, 교정 패턴(2204)은 체커보드 패턴을 포함하며, 여기서, 상이한 구역들은 상이한(예컨대, 교번적인) 광학 특성들, 이를테면, 예컨대 휘도(예컨대, 밝음 또는 어두움), 색도, 색상, 채도, 컬러 등을 갖는다. 체커보드 패턴은 규칙적 패턴(예컨대, 도 22에 예시됨) 또는 불규칙적 패턴일 수 있다. 교정 패턴(2204)은, 카메라(2208)에 의해 캡처된 이미지들에서의 왜곡량들을 측정하는 데 사용될 수 있는 복수의 피처 포인트들을 포함한다. 예컨대, 체커보드 패턴의 피처 포인트들은, 체커보드의 체커박스들 간의 경계들 및 코너들 상의 포인트들 또는 체커박스들의 중심들에 있는 포인트들을 포함한다. 교정 패턴(2204)은, 디스플레이(2202)와 동일한 사이즈일 수 있거나 그보다 작은 사이즈일 수 있다. 더 작은 교정 패턴들은 디스플레이(2202)에 걸쳐 시프트될 수 있고, 카메라(2208)는, 시스템(2200)이 디스플레이(2202)의 왜곡들을 측정할 때 카메라(2208)가 디스플레이에 걸쳐 시프트함에 따라 교정 패턴(2204)의 다수의 이미지들을 취할 수 있다. 일부 구현들에서, 교정 패턴(2204)은, 수학적으로 최적화된 시퀀스에 따라 확률적으로 샘플링될 수 있다.
[0193] 디스플레이(2202)에서의 에러들(예컨대, 하나 또는 그 초과의 도파관들 또는 렌즈들에서의 결함들)로 인해, 광 필드(2206)는, 광 필드에서의 가상 객체들 또는 패턴들이 왜곡되어 보이는 것을 야기하는 결함들을 포함할 수 있다. 이는, 교정 패턴(2204) 상의 피처 포인트들의 예상되는 포커스 포지션들(측방향 또는 깊이)과 카메라(2208)에 의해 캡처된 이미지들에서의 그들의 실제 측정된 포지션들 간의 편차들을 생성할 수 있다. 교정 패턴(2204)의 피처 포인트들의 실제 측정된 포지션들을 이러한 피처 포인트들의 예상되는 포지션들과 비교함으로써, 왜곡들에 의해 야기된 편차들이 식별 및 측정될 수 있다. 일부 구현들에서, 교정 패턴은, 디스플레이(2202)의 컬러 에러들이 시스템(2200)에 의해 정량화될 수 있도록, 컬러 정보를 포함한다. 일부 실시예들에서, 왜곡 지도가 생성되어 디스플레이(2202)의 공간 또는 컬러 에러들의 에러 보정에 사용될 수 있다(예컨대, 도 8에 예시됨).
[0194] 일부 구현들에서, 교정 패턴(2204)에서의 각각의 체커박스(2304)는 디스플레이(2202)의 단일 픽셀에 대응하며, 이는, 픽셀 단위로의 디스플레이 결함들의 직접 측정을 허용할 수 있다. 다른 구현들에서, 각각의 체커박스(2304)는 복수의 픽셀들(예컨대, NxM 그리드의 픽셀들, N 또는 M 중 적어도 하나는 1보다 큼)에 대응한다. 일부 그러한 구현들에서, 교정 패턴의 개략적인 품질은, 왜곡 정보가 샘플 포인트들에서 획득되고 그리고 픽셀별 왜곡 정보를 획득하기 위해 내삽될 수 있음을 의미한다. 예컨대, 도 23a에 예시된 체커보드 패턴에서, 피처 포인트들(2302)(이를테면, 체커박스들의 경계들, 코너들, 또는 중심들 상의 포인트들)에 대응하는 패턴 위치들에 대한 왜곡 정보가 측정될 수 있다. 패턴의 체커박스 구역들(2304)에서의 다른 포인트들에 대한 왜곡 정보가, 인근 피처 포인트들(2302)과 연관된 측정된 왜곡 값들로부터 추론 또는 내삽될 수 있다.
[0195] 체커보드 투영-캡처 절차들은 피처 포인트들(예컨대, 체커박스들의 에지들)을 식별하며, 왜곡 교정을 위해, 예상되는 포지션 대 측정된 포지션에서의 에러를 정량화한다. 피처 포인트들은 디스플레이에서의 픽셀들의 수와 비교하여 희소할 수 있다. 예컨대, 고화질(high definition) 디스플레이는 수백만 픽셀들(예컨대, 1920x1080 픽셀 해상도의 경우 210만 픽셀들)을 포함할 수 있지만, (예컨대, 50x50, 100x100, 500x500 패턴의 경우) 교정 패턴에서의 체커박스들(804)의 수는 실질적으로 더 적을 수 있다. 그러므로, 단일 투영-캡처 접근법을 사용하는 시스템(2200)의 실시예들은, 픽셀별 왜곡들을 추정하도록 내삽될 수 있는 샘플링된 측정들을 산출한다.
[0196] 디스플레이에 대한 정확한 픽셀별 왜곡 정보를 획득하기 위해, 시스템(2200)의 실시예들은 상이한 또는 시프트된 교정 패턴들을 구현함으로써 왜곡 정보를 획득하는 태스크를 자동화할 수 있다. 디스플레이(2202)의 전체 픽셀 공간이 측정되도록, 상이한 교정 패턴들이 투영될 수 있거나 또는 동일한 패턴이 증분적으로 시프트될 수 있다. 자동화된 이미지 투영 및 캡처 또는 상이한 시프트된 교정 패턴들은, 디스플레이(2202)의 왜곡의 픽셀-정확한 매핑(pixel-accurate mapping)을 가능하게 할 수 있다.
[0197] 체커보드 투영-캡처를 자동적으로 반복하지만, 예컨대, 1-픽셀 시프트된 교정 패턴들을 이용함으로써, 시스템(2200)은 픽셀 단위로 개선된 왜곡 정보를 획득할 수 있다. 예컨대, 카메라(2208)는 패턴이 시프트될 때마다 패턴의 이미지를 획득할 수 있다. 각각의 반복되는 이미지 캡처를 통해, 투영되는 교정 패턴의 피처 포인트들은 상이한 세트의 픽셀들에 대응한다. 교정 패턴의 이러한 시프팅은, 디스플레이의 왜곡 필드의 고밀도 샘플링이 획득될 때까지 반복될 수 있다. 예컨대, 체커보드는 체커보드의 체커박스의 픽셀들에 대응하는 다수의 포지션들을 통해 투영되고 시프트될 수 있어서, 디스플레이의 각각의 픽셀에 대한 왜곡 정보가 측정되는 것을 가능하게 할 수 있다. 다른 구현들에서, 시프트는 하나의 픽셀이 아닐 수 있는데, 예컨대, 2, 3, 4, 5, 8, 16, 또는 그 초과의 픽셀들일 수 있다. 시프트는 디스플레이의 상이한 방향들에 대해 상이할 수 있는데, 예컨대 x-시프트가 y-시프트와 동일할 필요는 없다.
[0198] 비록 본 개시내용이 예시의 목적들을 위해 체커보드 패턴들을 주로 참조할지라도, 다른 타입들의 패턴들이 또한 사용될 수 있다는 것이 이해된다. 예컨대, 다른 기하학적 패턴들이 사용될 수 있거나, 랜덤 확률론적 패턴들이 사용될 수 있거나, 또는 임의의 다른 타입의 교정 또는 테스트 패턴이 사용될 수 있다. 일부 실시예들에서, 한 번에 디스플레이의 단일 픽셀만이 턴온되는 교정 패턴이 사용된다. 도 23b는 예시적 단일 픽셀 교정 패턴을 예시하며, 단일 픽셀(2306)만이 턴온되었다. 각각의 결과적인 프레임의 캡처된 이미지로부터, 디스플레이 디바이스로부터 뷰어 장면까지의 픽셀별 전달 함수가 정량화될 수 있다. 각각의 이미지 캡처 후에, 디스플레이된 픽셀(2306)의 위치는 설정된 거리(예컨대, 단일 픽셀)로 디스플레이를 가로질러 (예컨대, 화살표(2308)에 의해 표시된 방향으로) 시프트될 수 있다. 디스플레이의 각각의 픽셀을 통해 자동적으로 스위핑함으로써, 디스플레이 디바이스의 품질의 완전한 정량화가 획득될 수 있다. 다른 구현들에서, 조명된 픽셀의 시프트는 상이한 수의 픽셀들, 예컨대, 2, 3, 4, 5, 8, 16 또는 그 초과의 픽셀들일 수 있으며, 시프트는 디스플레이 상의 상이한 측 방향(lateral direction)들에 대해 상이할 수 있거나, 또는 (도 23b에 예시된 바와 같은 단일 픽셀보다는) 복수의 픽셀들이 각각의 이미지 캡처에서 조명될 수 있다.
[0199] 도 24는 자동화된 디스플레이 교정을 수행하기 위한 예시적인 프로세스(2400)의 흐름도이다. 프로세스(2400)는, 예컨대, 도 27 및 28과 관련하여 설명된 프로세스들(2700 및 2805)의 부분으로서 수행될 수 있다. 블록(2402)에서, 디스플레이에 의해 교정 패턴이 투영된다. 교정 패턴은 디스플레이에 의해 생성될 수 있는 하나 또는 그 초과의 피처 포인트들을 갖는 임의의 패턴을 포함할 수 있다. 일부 실시예들에서, 교정 패턴은 체커보드 패턴을 포함한다. 다른 실시예들에서, 다른 타입들의 교정 패턴들, 이를테면, 단일-픽셀 패턴이 사용될 수 있다.
[0200] 블록(2404)에서, 디스플레이된 교정 패턴의 이미지는 카메라 또는 다른 타입의 이미지 캡처 디바이스를 사용하여 캡처된다. 디스플레이에 의해 생성된 광 필드에 에러들 또는 결함들이 존재한다면, 디스플레이된 교정 패턴의 부분들은 왜곡될 수 있으며, 교정 패턴의 하나 또는 그 초과의 피처 포인트들은 예상된 위치와 상이한 위치들에서 보일 수 있다. 이미지의 휘도 또는 색도는 교정 패턴으로부터 예상되는 것과 상이할 수 있다.
[0201] 블록(2406)에서, 교정 패턴의 피처 포인트들의 예상되는 위치들과 피처 포인트들의 캡처된 위치들 사이의 에러에 대응하는 왜곡이 결정된다. 예컨대, 단일-픽셀 교정 패턴의 경우, 패턴의 특정 픽셀 위치에 대한 왜곡 정보가 계산될 수 있다. 체커보드 패턴의 경우, 체커보드의 피처 포인트들(예컨대, 체커박스들의 에지들, 코너들, 또는 중심들)에 대응하는 픽셀들에 대한 왜곡 정보가 계산될 수 있다. 일부 구현들에서, 교정 패턴의 휘도 또는 색도와 교정 패턴의 캡처된 이미지의 대응하는 휘도 또는 색도 사이의 휘도 또는 색도 에러들이 결정된다.
[0202] 블록(2408)에서, 디스플레이에 걸쳐, 교정 패턴이 투영되어야 하는 임의의 부가적인 포지션들이 존재하는지 여부에 대한 결정이 이루어진다. 부가적인 포지션들이 존재한다고 결정된다면, 블록(2410)에서, 교정 패턴은 시프트되어 새로운 포지션에서 투영될 수 있으며, 교정 패턴의 이미지가 캡처되고(블록(2404)), 왜곡량을 계산(블록(2406))하는 데 사용될 수 있다. 일부 실시예들에서, 교정 패턴을 디스플레이하기 위한 상이한 포지션들의 수는 사용되는 교정 패턴에 기반한다. 예컨대, 단일-픽셀 교정 패턴의 경우, 포지션들의 수는 디스플레이에 의해 디스플레이 가능한 픽셀들의 총 수에 대응할 수 있다. 체커보드 패턴의 경우, 포지션들의 수는 각각의 체커박스의 픽셀들의 수에 기반할 수 있다.
[0203] 일단 교정 패턴이 모든 원하는 포지션들에서 디스플레이되면, 블록(912)에서, 계산된 왜곡들은 어그리게이트되어, 디스플레이의 각각의 픽셀(또는 픽셀들의 그룹)에 대한 왜곡 정보를 포함하는 왜곡 지도를 생성하는 데 사용될 수 있다. 왜곡 정보는 포커스 에러들(예컨대, 평면내 에러들 또는 평면외 에러들) 또는 컬러 에러들(예컨대, 휘도 또는 색도 에러들)로 인한 공간 왜곡들을 포함할 수 있다. 블록(2414)에서, 계산된 왜곡 지도를 사용하여 디스플레이 상에서 에러 보정이 수행될 수 있다. 예컨대, 왜곡 정보(예컨대, 왜곡 지도)는 도 2에 예시된 웨어러블 디스플레이 시스템(200)의 데이터 모듈들(224, 232)에 의해 저장될 수 있다. 웨어러블 디스플레이 시스템(200)의 프로세싱 모듈들(224, 228)은, 디스플레이 시스템(80)의 착용자(204)에 의해 인식되는 이미지들이 적어도 부분적으로 보상되도록, 디스플레이(208)의 공간 또는 색채 에러들을 보정하기 위해 왜곡 정보를 사용할 수 있다.
[0204] 일부 실시예들에서, 도 24에 예시된 프로세스(2400)는 광 필드 디스플레이에 대해 수행될 수 있다. 예로서, 프로세스(2400)는 도파관들 각각을 교정하기 위해 광 필드 디스플레이의 도파관 어셈블리(405)의 각각의 도파관에 대해 수행될 수 있다. 일부 경우들에서, 다수의 깊이 평면들에 대응하는 다수의 도파관들뿐만 아니라 다수의 컬러들(예컨대, 적색(R), 녹색(G), 및 청색(B))에 대응하는 다수의 도파관들이 존재할 수 있다. 예컨대, 일부 디스플레이들의 경우, 각각의 깊이 평면에 대해 3개의 컬러 평면들이 존재하며, 따라서, 2개의 깊이 평면들을 갖는 도파관 어셈블리는 2x3=6개의 도파관들을 가질 수 있다. 게다가, 픽셀 포지션 외에도, 디스플레이의 색채(컬러) 결함들을 보정하기 위해, 컬러 레지스트레이션 및 품질이 또한 교정될 수 있다. 예컨대, 카메라(2208)는 다수의 컬러들에 민감한 카메라, 또는 카메라들의 조합 ― 카메라들 각각이 컬러들의 서브세트에 민감함 ― 일 수 있으며, 투영된 패턴(2204)의 캡처된 컬러 또는 휘도 값들과 예상되는 컬러 또는 휘도 값들 사이의 편차들이 식별될 수 있는 광 필드(2208)의 이미지들을 캡처하는 데 사용될 수 있다.
예시적 도파관 디스플레이
[0205] 도 25a는, 도파관(2505), 인커플링 광학 엘리먼트(2507), 광 재분산 엘리먼트(2511), 및 아웃커플링 광학 엘리먼트(2509)를 포함하는 디스플레이(2500)의 예를 개략적으로 예시하는 평면도이다. 도 25b는, 도 25a에 도시된 디스플레이(2500)의, 축(A-A')을 따르는 단면도를 개략적으로 예시한다.
[0206] 도파관(2505)은 도 4에 도시된 디스플레이 시스템(400)의 도파관들(405)의 스택의 부분일 수 있다. 예컨대, 도파관(2505)은 도파관들(420, 422, 424, 426, 428) 중 하나에 대응할 수 있고, 아웃커플링 광학 엘리먼트(2509)는 디스플레이 시스템(400)의 광 추출 광학 엘리먼트들(460, 462, 464, 466, 468)에 대응할 수 있다.
[0207] 디스플레이(2500)는, 광선들(2503i1, 2503i2 및 2503i3)(각각 실선, 점선 및 이점 쇄선)에 의해 표현된 상이한 파장들의 착신 입사 광이 인커플링 광학 엘리먼트(2507)에 의해 도파관(2505) 내로 커플링되도록, 구성된다. 도파관(2505)으로의 착신 입사 광은 이미지 주입 디바이스(이를테면, 도 4에 예시된 이미지 주입 디바이스들(440, 442, 444, 446, 448) 중 하나)로부터 투영될 수 있다. 인커플링 광학 엘리먼트(2507)는, TIR(total internal reflection)에 의해 도파관(2505)을 통한 전파를 지원하는 적합한 각도들로 입사 광의 파장들을 도파관(2505)에 커플링하도록 구성될 수 있다.
[0208] 광 재분산 엘리먼트(2511)는 광학 경로 내에 배치될 수 있으며, 이 광학 경로를 따라 상이한 파장들의 광(2503i1, 2503i2 및 2503i3)이 도파관(2505)을 통해 전파된다. 광 분산 엘리먼트(2511)는 인커플링 광학 엘리먼트(2507)로부터 아웃커플링 광학 엘리먼트(2509) 쪽으로 광의 일부분을 재지향시키도록 구성될 수 있으며, 이에 따라, 전파 방향을 따라 상호작용하는 광의 빔 크기를 확대시킨다. 그에 따라서, 광 분산 엘리먼트(2511)는 디스플레이 디바이스(2500)의 출구 동공을 확대하는 데 유리할 수 있다. 따라서, 일부 실시예들에서, 광 분산 엘리먼트(2511)는 OPE(orthogonal pupil expander)로서 기능할 수 있다.
[0209] 아웃커플링 광학 엘리먼트(2509)는, 뷰어가 양호한 시각적 품질의 컬러 이미지를 인식할 수 있도록, 상이한 파장들 및 상이한 깊이 평면들에서 광의 적절한 오버레이를 가능하게 하기 위해, 도파관(2505)의 x-y 평면으로부터 엘리먼트(2509) 상에 입사되는 인커플링된 광을 적합한 각도들(예컨대, z-방향으로) 및 효율들로 재지향시키도록 구성될 수 있다. 아웃커플링 광학 엘리먼트(2509)는, 도파관(2505)을 통해 나가는 광에 의해 형성된 이미지가 소정의 깊이로부터 발생되는 것으로 (뷰어에게) 보이도록, 도파관(2505)을 통해 나가는 광에 발산을 제공하는 광학 전력을 가질 수 있다. 아웃커플링 광학 엘리먼트(2509)는, 디스플레이(2500)의 출구 동공을 확대할 수 있고, 광을 뷰어의 눈으로 지향시키는 EPE(exit pupil expander)로 지칭될 수 있다.
[0210] 인커플링 광학 엘리먼트(2507), 아웃커플링 광학 엘리먼트(1009), 및 광 분산 엘리먼트(2511)는 복수의 그레이팅들, 이를테면, 예컨대, 아날로그 표면 릴리프 그레이팅(ASR), 바이너리 표면 릴리프 구조들(BSR), 볼륨 홀로그래픽 광학 엘리먼트들(VHOE), 디지털 표면 릴리프 구조들, 및/또는 볼륨 페이즈 홀로그래픽 재료(예컨대, 볼륨 페이즈 홀로그래픽 재료에 레코딩된 홀로그램들) 또는 스위칭 가능 회절성 광학 엘리먼트들(예컨대, PDLC(Polymer Dispersed Liquid Crystal) 그레이팅)을 포함할 수 있다. 다양한 실시예들에서, 인커플링 광학 엘리먼트(2507)는 하나 또는 그 초과의 광학 프리즘들, 또는 하나 또는 그 초과의 회절성 엘리먼트들 및/또는 굴절 엘리먼트들을 포함하는 광학 컴포넌트들을 포함할 수 있다. 회절성 또는 그레이팅 구조들의 다양한 세트들은, 제조 방법들, 이를테면 회절성 구조들의 나노-임프린팅, UV 복제(replication), 또는 사출 압축 성형(injection compression molding)을 사용함으로써, 도파관 상에 배치될 수 있다.
[0211] 인커플링 광학 엘리먼트(2507), 아웃커플링 광학 엘리먼트(1009), 또는 광 분산 엘리먼트(2511)는 (예컨대, 도 25A 및 25B에 개략적으로 도시된 바와 같은) 단일 엘리먼트일 필요가 없으며, 각각의 그러한 엘리먼트는 복수의 그러한 엘리먼트들을 포함할 수 있다. 이들 엘리먼트들은 도파관(2505)의 주요 표면들(2505a, 2505b) 중 하나(또는 둘 모두) 상에 배치될 수 있다. 도 25A 및 25B에 도시된 예에서, 인커플링 광학 엘리먼트(2507), 아웃커플링 광학 엘리먼트(2509), 및 광 분산 엘리먼트(2511)는 도파관(2505)의 주요 표면(2505a) 상에 배치된다.
[0212] 일부 실시예들에서, 하나 또는 그 초과의 파장 선택적 필터들이 인커플링 광학 엘리먼트들(2507), 아웃커플링 광학 엘리먼트(2509) 또는 광 분산 엘리먼트(2511)와 통합되거나 또는 이들에 인접하게 배치될 수 있다. 도 25A에 예시된 디스플레이(2500)는, 도파관(2505)의 표면 내에 또는 표면 상에 통합되는 파장 선택적 필터(2513)를 포함한다. 파장 선택적 필터들은, 도파관(2505)에서 다양한 방향들을 따라 전파될 수 있는, 하나 또는 그 초과의 파장들에서의 광의 일부 부분을 필터링하도록 구성될 수 있다. 파장 선택적 필터들은 흡수성 필터(absorptive filter)들, 이를테면 컬러 대역 흡수체(color band absorber)들일 수 있다.
눈-추적에 기반하는 AR 또는 VR 디스플레이들의 동적 교정의 예들
[0213] 디스플레이 시스템들은, 개선된 품질 이미지를 생성하도록, (공간적으로 그리고/또는 채색적으로) 교정될 수 있다. 소정의 근안(near-eye) 디스플레이들(예컨대, 도 25A 및 25B와 관련하여 설명된 디스플레이(2500) 또는 도 2에 도시된 디스플레이(208)에서 사용되는 바와 같은, 도 4에 도시된 스택된 도파관 어셈블리(405))의 경우, 이러한 교정은, 공칭적으로 고정된 눈 포지션(예컨대, 착용자가 디스플레이(208)를 통해 똑바로 앞을 보고 있음)에 대해 상당히 정확할 수 있지만, 다른 눈 포즈 방향들 또는 포지션들에 대해서는 덜 정확할 수 있다. 따라서, 디스플레이에 대한 교정은 눈-포지션 또는 눈-방향에 종속할 것이다. 만약 단지 단일(예컨대, 기점) 포지션에 교정이 사용되는 경우, 착용자가 상이한 포지션 쪽을(예컨대, 기점 포지션으로부터 멀어지게) 보고 있을 때 보정될 수 없는 에러들이 있을 수 있다.
[0214] 본 개시내용은 또한, 눈-추적을 사용하는 웨어러블 디스플레이 시스템들(400)에 대한 동적 교정의 예들을 설명하며, 여기서, 공간 및/또는 컬러 교정은, 눈 포지션(또는 일부 경우들에서는 눈 방향)의 변경에 대한 응답으로, 변경될 수 있다. 소정의 그러한 교정들은, 광범위한 눈-모션에 대해 높은 품질 이미지의 유지보수를 초래할 수 있는 피드-포워드(feed-forward) 교정 시스템을 제공한다. 일부 구현들에서, 교정은, 특수화된 하드웨어의 부가없이, 하드웨어 프로세서들(예컨대, 웨어러블 디스플레이 시스템(200)의 프로세싱 모듈들(224, 228) 또는 디스플레이 시스템(400)의 제어기(450))에 의해 실시간으로 수행된다.
[0215] 교정은 디스플레이의 FOV(fields of view)에서의 공간 에러들 및/또는 색채(컬러) 에러들을 보상(또는 보정)할 수 있다. 예컨대, 공간 에러들은 평면내 병진, 회전, 스케일링, 또는 워핑 에러들 뿐만 아니라, 평면외(예컨대, 초점 깊이) 에러들을 포함할 수 있다. 색채 에러들은, 디스플레이될 수 있는 각각의 컬러들(예컨대, R, G 및 B)에 대한 휘도 평탄도 또는 색채 균일성 에러들을 포함할 수 있다.
[0216] 도 26은, (점들(2602)에 의해 표시된) 기준 포지션들의 그리드에서의 공간 및/또는 색채 에러들을 보정하기 위해 교정이 적용될 수 있는 디스플레이(2500)에 대한 동적 교정 시스템(2600)의 예를 개략적으로 예시한다. 동적 교정 시스템(2600)은 디스플레이(2500), 내향-대면 이미징 시스템, 이를테면 눈-추적 카메라(500), 및 (교정을 리트리브하고 적용하는) 동적 교정 프로세서(2610)를 포함할 수 있다. 도 26은, 도 25A 및 25B와 관련하여 설명된 광학 엘리먼트들의 실시예들을 포함하는 디스플레이(2500)의 다른 예를 개략적으로 예시한다. 아웃커플링 광학 엘리먼트(2509)는 뷰어의 눈으로 광을 지향시킨다. 뷰어의 눈이 아웃커플링 광학 엘리먼트(2509)에 대해 상이한 포지션들(2602)에 포지셔닝될 때, (도 26에서 점들(2602)로서 개략적으로 도시된) 그 특정 눈 포지션에 대한 디스플레이(2500)의 광학 교정은 상이할 수 있다. 예컨대, 눈이 아웃커플링 광학 엘리먼트(2509)의 중심 근처의 포지션(2602a) 위에 포지셔닝되는 경우의 교정은, 눈이 아웃커플링 광학 엘리먼트(2509)의 상위 좌측 코너 쪽의 포지션(2602b) 위에 포지셔닝되는 경우의 교정과 상이할 수 있고, 광학 엘리먼트(2509) 상의 다른 예시적인 포지션들(2602) 중 임의의 포지션에 대해서도 마찬가지이다.
[0217] 사용자의 눈이 디스플레이에 대해 이동함에 따라, 디스플레이의 FOV(field of view)는 대략 동일하게 유지되지만, 눈이 디스플레이에 대해 병진함에 따라 디스플레이의 공간 및/또는 색채 왜곡들은 변경될 수 있다. FOV는 사용자에게 이미지들이 제시되는 각도들의 범위를 포함하기 때문에, (디스플레이에 대한 주어진 포지션에서의) 교정 데이터는 눈의 실질적으로 모든 배향들 또는 뷰잉 각도들을 고려할 수 있다. 예컨대, 사용자가 (디스플레이에 대한 동일한 포지션을 유지하면서) 자신의 시야(vision)를 상이한 각도로 향하게 할 때, 사용자는 단지 이미지의 다른 부분을 볼 수 있으며, 이는 동일한 전체 왜곡을 갖는다. 따라서, 임의의 주어진 포지션에서, 눈의 배향이 변경될 때(예컨대, 눈 응시 방향이 변경될 때), 눈의 뷰는 일반적으로 디스플레이의 FOV 내에 유지되며, (그러한 주어진 눈 포지션에 대한 것과) 동일한 교정이 실질적으로 모든 눈 배향들에 대해 사용될 수 있다. 그에 따라서, 교정 시스템의 소정의 실시예들은 포지션-종속 교정들을 활용하며, 이러한 교정들은 부가적으로 배향 종속적이지 않다.
[0218] 점들(2602, 2602a, 2602b)은 단지 참조를 위한 것이며, 디스플레이(2500) 또는 아웃커플링 광학 엘리먼트(2509)의 부분을 형성하지 않음을 주목한다. 또한, 도 26에는 3x3 그리드로 9개의 포지션들(2602)이 개략적으로 예시되어 있지만, 이는 예시의 목적을 위한 것이며, 디스플레이(2500)의 교정을 위한 포지션들의 수(또는 어레인지먼트)는 도 26에 도시된 것과 상이할 수 있음이 이해될 것이다. 예컨대, 다양한 구현들에서, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 16, 20, 25, 100, 256 또는 그 보다 많은 교정 포지션들이 사용된다. 교정 포지션들은 2x2, 3x3, 4x4, 5x5, 6x6, 7x7, 9x9 또는 다른 디멘션 그리드 또는 포지션들의 다른 패턴 또는 어레인지먼트로 배열될 수 있다.
[0219] 디스플레이(2500) 상의 하나 또는 그 초과의 포지션들에 대한 교정은, 디스플레이로부터 투영되는 교정 패턴(예컨대, 체커보드)에서의 에러들을 측정하는 광 필드 계측 시스템을 사용하여 결정될 수 있다. 교정은, 디스플레이가 보이는, 디스플레이에 걸친 포지션에 따를 수 있다. 예컨대, 계측 시스템은 디스플레이에 대해 눈-프록시(eye-proxy) 카메라를 (예컨대, 카메라 및 디스플레이를 상대적으로 병진시킴으로써) 스위프하여, 사용자의 눈에 대한 포지션들의 범위를 시뮬레이팅할 수 있다. 각각의 샘플 포인트(2602)에서, 카메라가 디스플레이에 대해 스위프됨에 따라, 계측 시스템은 교정(보정)을 구축함으로써, 교정들 대 눈-프록시 포지션들의 세트를 초래할 수 있다. 특정 디스플레이에 대한 교정들은, 웨어러블 디스플레이 시스템(200)의 데이터 모듈들(224, 228)에 의해 LUT(look up table)(또는 다른 효율적인 데이터 구조)로서 저장될 수 있다. 다른 구현들에서, 계측 시스템으로부터 획득된 교정 데이터에 대해 분석 모델이 피팅될 수 있고, 피팅된 분석 모델은 웨어러블 디스플레이 시스템(200)에 의해 저장될 수 있다. 다른 모델링 또는 데이터 레퍼런싱 방법들이 교정들을 저장하는 데에 사용될 수 있다. 위에서 논의된 바와 같이, 교정은, 디스플레이의 교정 포지션들(예컨대, 도 26에 도시된 예시적인 디스플레이(2500)에 대한 교정 포지션들의 3x3 그리드) 각각에 대해 생성된 공간 및/또는 색채 보정들을 포함할 수 있다. 다양한 구현들에서, 교정들을 캡처하기 위해, 고정된 카메라에 대해 디스플레이가 스위프(병진)되거나, 고정된 디스플레이에 대해 카메라가 스위프(병진)되거나, 또는 카메라 및 디스플레이 둘 모두가 서로에 대해 스위프(병진)됨이 주목된다.
[0220] 눈-프록시 카메라의 FOV(field of view)가 디스플레이의 FOV보다 큰 구현들에서, 교정 카메라를 디스플레이 대한 다수의 이산 포지션들에(예컨대, 점들(2602)에 의해 표시되는 포지션들 위에) 배치하고 그리고 하나 또는 그 초과의 교정 이미지들을 취하는 것은, 각각의 이산 포지션들에 대한 교정을 결정하기 위해, 디스플레이의 결함들에 관한 충분한 정보를 제공한다. 일부 그러한 구현들에서, 카메라는 디스플레이의 전체 FOV를 캡처할 수 있고, 포지션들(2602) 각각에서의 카메라의 배향(예컨대, 포인팅 방향)을 변화시킬 필요가 없을 수 있다. 다른 구현들에서, (각각의 포지션(2602)에서의) 교정 카메라의 배향은, (예컨대, 카메라의 FOV가 디스플레이의 FOV 미만일 때), 디스플레이의 FOV를 매핑(map out)하기 위해 부가적인 이미지들을 획득하도록 변화될 수 있다.
[0221] 교정 포지션은 디스플레이(2500)에 대해 눈 포지션을 표현할 수 있다. 예컨대, 디스플레이(2500)의 착용자는 전형적으로, (x-y 평면에서) 착용자의 눈이 거의 아웃커플링 광학 엘리먼트(2509)의 중심 근처에 있도록, 예컨대 착용자의 눈이 포지션(2602a) 위에 포지셔닝되도록 디스플레이를 포지셔닝할 것이다. 따라서 (광학 엘리먼트(2509)의 중심 근처의) 포지션(2602a)에 대한 교정은 (예컨대 실질적으로 z-방향을 따라) 디스플레이(2500)에 거의 수직으로 전파하는 광에 대응하고 동적 교정 프로세서(2610)에 의해 적용될 수 있다. 만약 착용자의 눈이 위로 그리고 포지션(2602b) 위에서 좌측으로(광학 엘리먼트(2509)의 상위 좌측 코너 근처로) 이동한다면, 프로세서(2510)에 의해 포지션(2602b)에 대한 교정이 적용될 수 있다. 눈-추적 카메라(500)는 (예컨대, 실시간으로) 눈을 이미징할 수 있고, 동적 교정 프로세서(2510)는 눈-추적 데이터를 사용하여 눈의 포지션을 결정하고, (결정된 눈 포지션에 기반하여) 적합한 교정을 선택하며, 디스플레이에 교정을 적용할 수 있다. 일부 구현들에서, 눈 포지션은 각막 포지션 및 응시 방향으로부터 결정된다. 또한, 다른 실시예들에서, 눈 배향(예컨대, 응시 방향)이 결정될 수 있고, 배향 종속적인 교정이 사용될 수 있다.
[0222] 웨어러블 디스플레이 시스템(200)의 실시예들은 도 8에 개략적으로 예시된 동적 교정 시스템(2600)의 실시예들을 포함할 수 있다. 예컨대, (도 4와 관련하여 설명된) 눈-추적 카메라(500)는 웨어러블 디스플레이 시스템(200)의 프레임에 부착될 수 있고 착용자의 눈 포즈(예컨대, 눈 포지션 또는 눈 방향)를 동적으로 측정할 수 있다. 카메라(500)로부터의 이미지들은 동적 교정 프로세서(2610)에 의해 착용자의 눈의 포즈를 실시간 또는 거의 실시간으로 결정하는 데 사용될 수 있다. 동적으로 교정된 시스템이 동작 중일 때, 눈-추적 카메라는 착용자의 현재 눈 포즈에 대해 실시간 또는 거의 실시간으로 동적 교정 프로세서(2610)에 알릴 수 있다. 동적 교정 프로세서(2610)는 측정된 눈 포즈(예컨대, 포지션 또는 배향)에 기반하여 적합한 교정(예컨대, 데이터 모듈(224, 228)에 저장된 적합한 교정 LUT)을 페치 및 적용할 수 있다. 착용자가 저장된 교정 포지션을 직접 보고 있지 않거나 착용자의 눈이 교정 포지션 바로 위에 위치하지 않은 경우들에, 동적 교정 프로세서는 (예컨대, 착용자의 눈 포즈에 가장 가까운 교정 포지션을 적어도 포함하는) 인근 교정 포지션들에 대한 교정들 중에서 내삽(또는 외삽)하여 착용자의 현재 눈 포즈에 적용할 적합한 교정을 결정할 수 있다. 그에 따라서, (동적 교정 시스템(2600)을 가진) 디스플레이 시스템(200)은 디스플레이에서의 (공간 또는 색채) 결함들을 보정할 수 있고, 이로써 양호한 품질의 컬러 이미지를 착용자에게 제공할 수 있다. 본원에서 설명된 바와 같이, 비록 이것이 제한이 아닐지라도, 일부 경우들에서 교정은 디스플레이에 대한 눈 포지션에 의존하고, 눈 배향(예컨대, 응시 방향)에는 의존하지 않는다.
[0223] 동적 교정 프로세서(2610)는 메모리(예컨대, 데이터 모듈(224, 228))에 저장된 소프트웨어로서 구현될 수 있고, 소프트웨어 명령들은 프로세싱 모듈들(224, 228) 중 하나 또는 둘 모두에 의해 또는 제어기(450)에 의해 실행될 수 있다. 그에 따라서, 교정의 연속하는 조정은 착용자의 눈의 광범위한 입력 모션에 걸쳐 고품질 이미지들을 초래할 수 있다.
[0224] 일부 구현들에서, 교정은 감소된 수의 교정 포지션들(예컨대, 2x2 또는 3x3 그리드)에 저장되어 데이터 저장의 양을 감소시킨다. 위에서 설명된 바와 같이, 동적 교정 프로세서는 저장된 교정 포지션에 바로 있지 않은 눈 포즈들에 대한 교정을 결정하기 위해 내삽 또는 외삽할 수 있다.
[0225] 일부 실시예들에서, 웨어러블 디스플레이 시스템(200)은 단일 눈-추적 카메라를 사용하여 착용자의 단일 눈의 포즈를 측정하고, 동적 교정 프로세서(2610)는 (두 눈들 모두는 전형적으로 같은 방향 쪽으로 포인팅하기 때문에) 디스플레이 시스템(200)에 대한 착용자의 다른 눈의 포즈를 추론한다. 다른 실시예들에서, 웨어러블 디스플레이 시스템(200)은 (각각의 눈에 대해 하나씩) 2개의 눈-추적 카메라들을 사용하며 각각의 눈의 포즈를 독립적으로 측정한다. 일부 실시예들에서, 웨어러블 시스템의 각각의 디스플레이에 대해 별개의 교정이 저장된다(많은 경우들에, 착용자의 눈들의 각각의 앞에 하나씩 2개의 디스플레이들이 있어, 2개의 교정들이 저장된다). 다른 실시예들에서는, 단일 교정(예컨대, 평균 교정)이 저장되며 웨어러블 시스템(200)의 모든 디스플레이들에 사용된다.
[0226] 눈-추적 카메라(또는 다른 타입의 내향-대면 이미징 시스템)는 사용자의 얼굴의 눈 주위 구역을 이미징할 수 있다. 눈 주위 구역은 눈들 및 눈들 주위의 구역들을 포함할 수 있다. 예컨대, 눈 주위 구역은 눈(이를테면, 안와) 및 눈 주위의 구역을 포함할 수 있다. 눈 주위의 구역은 예컨대, 눈썹, 코의 부분들, 볼 및 이마를 포함할 수 있다. 눈 주위 구역들은 다양한 피처들, 이를테면 눈썹들의 형상, 눈 코너들, 눈꺼풀의 특성들 등을 가질 수 있다. 일부 구현들에서, 이러한 피처들 중 하나 또는 그 초과는 키포인트들, 포인트 클라우드들, 또는 다른 타입들의 수학적 표현들로 표현될 수 있다. 웨어러블 디바이스는 이미지에서 이러한 피처들을 식별하고 이러한 피처들을 사용하여 웨어러블 디스플레이 시스템과 사용자의 얼굴 간의 상대적인 포지션들을 결정할 수 있다. 소정의 실시예들에서, 웨어러블 디스플레이 시스템(200)은 각각의 눈에 대해 개별적으로 상대적인 포지션을 계산할 수 있다. 예컨대, 웨어러블 디바이스가 사용자의 하나의 눈을 이미징하도록 각각 구성된 1개 또는 2개의 눈 카메라들을 가질 때, 웨어러블 디바이스는 좌측 눈과 웨어러블 디스플레이 시스템 간의 하나의 상대적인 포지션 및 우측 눈과 웨어러블 디스플레이 시스템 간의 다른 상대적인 포지션을 계산할 수 있다. 웨어러블 디바이스는 또한 개개의 눈들의 상대적인 포지션들을 개별적으로 추적할 수 있다. (이를테면, 웨어러블 시스템이 한 측으로 기울어질 때) 좌측 눈과 웨어러블 디스플레이 시스템 간의 상대적인 포지션은 우측 눈과 웨어러블 디스플레이 시스템 간의 상대적인 포지션과 상이할 수 있기 때문에, 가상 객체의 렌더링 위치에 대한 조정은 좌측 눈 디스플레이와 우측 눈 디스플레이에 대해 상이할 수 있다.
[0227] 웨어러블 디스플레이 시스템은 신경 네트워크 또는 시각적 키포인트 기법들, 이를테면 SIFT(scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint) 등을 사용하여 눈 주위 피처들을 컴퓨팅하고 추적할 수 있다. 일부 실시예들에서는, 특정 얼굴 피처가 그 특정 얼굴 피처를 위해 구체적으로 설계된 검출기를 사용하여 추적될 수 있다. 예컨대, 눈 주위 피처들, 이를테면 눈 코너들, 코 피처들, 입 코너들 등이 다양한 알고리즘들을 사용하여 개별적으로 식별되고 추적될 수 있다. 이러한 눈 주위 피처들 중 하나 또는 그 초과를 개별적으로 추적하는 것은, 사용자가 자신을 표현하고 있거나 말하고 있는 동안 이러한 피처들이 실질적인 모션을 일으키기 쉽기 때문에 유리할 수 있다. 이러한 눈 주위 피처들과 연관된 검출기들은 이동성의 범위를 고려할 수 있다. 예로서, 일부 얼굴 피처들은 소정의 방향들로 이동할 가능성이 더 있을 수 있고 다른 방향들에서 안정적일 수 있다(예컨대, 눈썹들은 좌측 또는 우측이 아닌 위 또는 아래로 이동하는 경향이 있다). 웨어러블 시스템은 얼굴 피처들의 움직임을 통계적으로 분석할 수 있다. 이러한 통계는 얼굴 피처들이 소정의 방향으로 이동할 가능성을 결정하는 데 사용될 수 있다. 일부 실시예들에서는, 하나 또는 그 초과의 얼굴 피처들이 제거될 수 있거나 추적되지 않을 수 있다. 예컨대, 웨어러블 디스플레이 시스템은 눈 주위 구역의 포지션을 추적할 때 눈 움직임을 무시할 수 있다.
[0228] 웨어러블 디스플레이 시스템은 또한 vSLAM(visual simultaneous location and mapping) 기법들, 이를테면 순차적인 베이지안 추정기(예컨대, 칼만 필터, 확대된 칼만 필터 등), 번들 조정 등을 사용하여 얼굴 피처들을 식별하고 추적할 수 있다. 일부 실시예들에서, 웨어러블 디바이스는 깊이 지각들을 하게 할 수 있도록 구성될 수 있다. 예컨대, 웨어러블 시스템은 하나 또는 그 초과의 카메라들에 의해 획득된 데이터로부터 얼굴의 적어도 일부분을 인코딩하는 고밀도 지도를 구성할 수 있다. 키포인트 지도 대신에, 고밀도 지도가 3D 형상이 측정되는 얼굴의 패치들 또는 구역들을 포함할 수 있다. 패치들 또는 구역들은 기법들, 이를테면 반복 최근접 알고리즘 또는 유사한 알고리즘들을 사용하여 사용자의 얼굴에 대한 HMD의 위치를 컴퓨팅하는 데 사용될 수 있다.
[0229] 일부 구현들에서, 웨어러블 디스플레이 시스템(200)은 눈 주위 피처들을 추적하기 위해 고품질 이미지들을 필요로 하지 않을 수 있기 때문에, 눈 카메라들에 의해 획득된 이미지들은 저해상도 이미지들일 수 있다. 부가적으로 또는 대안적으로, 눈 이미저로부터 획득된 이미지들의 해상도는 그들의 오리지널 해상도 또는 다른 애플리케이션들(예컨대, 눈-추적)에서 사용된 해상도에 비해 다운-샘플링될 수 있다.
[0230] 웨어러블 디스플레이 시스템(200)은 다양한 기법들을 사용하여 디스플레이 시스템의 디스플레이들과 사용자 간의 상대적인 포지션을 결정하기 위해 하나의 또는 둘 모두의 눈 카메라들에 의해 획득된 이미지들을 분석할 수 있다. 디스플레이와 사용자의 눈(들) 간의 상대적인 포지션은 사용자의 얼굴에 대한 디스플레이 시스템(200)의 노멀 레스팅 포지션일 수 있다. 디스플레이 시스템(200)의 노멀 레스팅 포지션은 웨어러블 시스템의 초기화 단계 동안 결정될 수 있다. 예컨대, 사용자가 웨어러블 시스템을 처음 사용할 때, 웨어러블 시스템은 얼굴 모델(예컨대, 사용자의 얼굴의 지도)을 구축하고 얼굴 모델에 기반하여 사용자의 눈들에 대한 디스플레이(들)의 노멀 레스팅 포지션을 결정할 수 있다.
[0231] 사용자가 웨어러블 시스템(200)을 사용하고 있는 동안, 웨어러블 시스템은 다양한 기법들을 사용하여 디스플레이(들)와 사용자 간의 상대적인 포지션을 계속 추적할 수 있다. 예컨대, 웨어러블 디바이스는 눈 주위 피처들과 연관된 시각적 키포인트들을 식별하고 추적할 수 있다. 웨어러블 시스템은 또한 얼굴에 대한 디스플레이(들)의 위치를 컴퓨팅하기 위해 사용자의 얼굴의 고밀도 지도에 대해, 획득된 이미지들에서 식별된 얼굴의 구역을 매칭시킬 수 있다.
[0232] 그에 따라서, 사용자의 눈과 디스플레이 시스템의 디스플레이 간의 상대적인 포지션을 (정적으로 또는 동적으로) 결정하기 위해, 다양한 눈-추적 또는 얼굴-이미징 기법들이 사용될 수 있다. 본원에서 추가로 설명되는 바와 같이, 이어서, 디스플레이 시스템(200)은 결정된 상대적인 눈 포지션에 적어도 부분적으로 기반하여, 적합한 공간 및/또는 색채 교정을 선택할 수 있고 디스플레이(들)에 적용할 수 있다.
[0233] 도 27은 눈-추적에 기반하여 디스플레이를 동적으로 교정하기 위한 예시적인 방법(2700)을 예시하는 흐름도이다. 방법(2700)은 동적 교정 시스템(2600)에 의해 수행될 수 있다. 블록(2710)에서, 디스플레이에 대하여 사용자의 눈 포지션을 결정하기 위해, 사용자의 눈이 추적된다. 예컨대, 디스플레이 시스템(2600)의 카메라(500)가 사용자의 눈 포지션을 결정할 수 있다. 눈들 중 하나 또는 둘 모두가 추적될 수 있다. 블록(2720)에서, 결정된 눈 포지션에 기반하여 교정이 액세스된다. 블록(2730)에서, 디스플레이 내의 공간 및/또는 색채 결함들을 보정하기 위해 교정이 디스플레이에 적용된다. 예컨대, 동적 교정 프로세서(2610)는 디스플레이에 의해 원하는 광 빔이 출력되도록 디스플레이의 도파관들 내에 주입되는 광의 성질을 조정하기 위해 보정을 적용할 수 있다. 일부 경우들에서, 광은 디스플레이 결함들을 조정하도록 약간 상이한 컬러 또는 포지션 또는 배향으로 주입될 수 있다. 예컨대, 디스플레이에 의해 투영될 입력 이미지 내의 RGB 컬러 값들 중 하나 또는 그 초과가 (사용자의 눈 포지션에 기반한) 대응하는 RGB 교정을 통해 수정될 수 있고, 수정된 RGB 값(들)이 투영을 위해 디스플레이에 전송된다. 결함 있는 디스플레이가 수정된 RGB 값들을 투영하는 것의 순수 효과는 디스플레이의 결함들(공간 및/또는 색채)을 적어도 부분적으로 보정하는 투영된 이미지를 생성한다는 것이다. 다른 경우들에서, 디스플레이 내의 결함들을 적어도 부분적으로 보정하는 광 빔이 디스플레이로부터 투영되도록, 도파관 어셈블리 내의 능동적으로 제어되는 회절성 광학 엘리먼트들이 동적 교정 프로세서에 의해 조정될 수 있다. 일부 구현들에서, 방법(2700)은, 눈 추적 카메라(500)가 사용자의 눈을 모니터링하고, 만약 눈 포지션의 변경이 검출되면, (새로운 눈 포지션에 대한) 새로운 교정이 디스플레이를 교정하기 위해 사용되도록, 피드백 루프로서 실시간으로 수행된다. 일부 경우들에서, 만약 눈 포지션의 변경이 임계치(예컨대, 교정 포지션들의 그리드 간의 간격의 프랙션)를 초과한다면, 새로운 교정이 적용된다. 유리하게, 일부 그러한 구현들은 사용자가 보기 위한 교정된 디스플레이를 지속적으로 제공할 수 있다. 일부 구현들에서, 방법(2700)은 가끔씩(예컨대, 사용자가 사용자의 눈들 위에 디스플레이를 배치할 때) 또는 주기적으로(예컨대, 디스플레이와 사용자의 눈들 간의 우발적인 미끄러짐들을 보정하기 위해) 수행될 수 있다.
[0234] 도 28은 특정 디스플레이와 연관된 동적 교정 시스템과 공장 교정 시스템의 상호작용의 예를 개략적으로 예시하는 프로세스 흐름도(2805)이다. 이 예에서, 제조되고 있는 디스플레이들에 대한 포지션-종속 교정들을 결정하기 위해, 눈-프록시 카메라 교정 시스템(2810)이 공장(제조) 현장에서 사용된다. 블록(2820)에서, 프로세스는 제조되고 있는 각각의 특정 디스플레이에 대한 하나 또는 그 초과의 교정 이미지들을 분석하고, 각각의 눈-프록시 포지션에 대해 교정을 생성한다. 블록(2830)에서, 교정은 특정 디스플레이와 연관된 메모리에 저장되고, 그에 따라, 각각의 디스플레이는 제조 프로세스 동안에 그 특정 디스플레이에 대해 커스터마이징된 교정에 액세스할 수 있다. 예컨대, 교정은 디스플레이(208)의 원격 데이터 저장소(232) 또는 데이터 모듈(224)에 LUT(look-up-table)로서 저장될 수 있다. 프로세스 흐름(2805)의 이 부분은 각각의 디스플레이에 대해 커스터마이징된 교정을 제공하기 위해 제조 동안에 각각의 디스플레이에 대해 한 번씩 수행될 수 있다.
[0235] 이 예에서, 각각의 디스플레이 시스템(예컨대, 웨어러블 디스플레이 시스템(200)의 실시예들)은 블록(2830)에서 저장된 교정을 사용하여 실시간 교정을 수행할 수 있다. 예컨대, (눈-추적 카메라(500)를 포함할 수 있는) 디스플레이의 눈-추적 시스템(2840)은 눈의 포지션을 결정하기 위해 눈의 각막의 포지션 및 눈의 응시 방향을 결정할 수 있다. 블록(2850)에서, (예컨대, 동적 교정 프로세서(2610)를 통해) 디스플레이 시스템은 결정된 눈 포지션에 기반하여 메모리로부터 적합한 교정을 페치할 수 있다. 블록(2860)에서, 교정은 디스플레이의 공간 및/또는 색채 에러들을 보정하기 위해 (예컨대, 동적 교정 프로세서(2610)를 통해) 디스플레이에 적용된다. 블록(2870)에서, 착용자는 교정된 디스플레이에 의해 투영되는 이미저리를 볼 수 있다. 디스플레이에 대한 착용자의 눈 포지션이 변경될 때, 디스플레이 시스템에서의 프로세스 흐름은, 예컨대 실시간으로, 교정을 업데이트할 수 있다.
[0236] 비록 동적 교정 시스템(2600)의 실시예들이 웨어러블 디스플레이 시스템에서의 디스플레이의 콘텍스트에서 설명되었을지라도, 이는 제한이 아니고, 동적 교정 시스템(예컨대, 눈 추적 카메라 및 동적 교정 프로세서)은 공칭적인 뷰잉 포지션(예컨대, 디스플레이의 중심에 수직) 근처에서만 교정이 양호한 임의의 디스플레이(워어러블 또는 비-웨어러블)에 대해 사용될 수 있다. 예컨대, 동적 교정 시스템은 플랫 패널 디스플레이들, 액정 디스플레이들, 발광 다이오드 디스플레이들, MEMS(microelectromechanical systems) 디스플레이들 등에 대해 사용될 수 있다.
이미지 보정을 수행하기 위한 부가적인 양상들
[0237] 제1 양상에서는 디스플레이상에서 이미지 보정을 수행하기 위한 컴퓨터-구현 방법이 개시된다. 방법은, 컴퓨터 하드웨어 및 카메라를 포함하는 디스플레이 교정 시스템의 제어하에 있으며, 카메라를 교정하는 단계; 디스플레이에 의해 투영된 광 필드의 이미지를 카메라를 사용하여 캡처하는 단계 ― 광 필드는 디스플레이의 디스플레이 층과 연관됨 ―; 캡처된 이미지에 적어도 부분적으로 기반하여 벡터 필드를 생성하는 단계 ― 벡터 필드는 디스플레이 층의 포인트들의 예상된 포지션들과 투영된 포지션들 간의 편차들에 대응하는 벡터들을 포함함 ―; 생성된 벡터 필드를 사용하여, 디스플레이에 대한 중심화 보정, 어그리게이트 회전 보정, 어그리게이트 스케일링 보정 또는 공간 매핑 중 적어도 하나를 수행하는 단계; 캡처된 이미지에 적어도 부분적으로 기반하여, 디스플레이 층 상의 복수의 포인트들에 대응하는 복수의 휘도 값들을 결정하는 단계; 및 결정된 복수의 휘도 값들을 사용하여, 디스플레이에 대한 휘도 평탄화 또는 색채 밸런싱 중 적어도 하나를 수행하는 단계를 포함한다.
[0238] 제2 양상에서, 양상 1의 컴퓨터-구현 방법에 있어서, 중심화 보정을 수행하는 단계는 투영된 디스플레이 층의 중심 포인트를 식별하는 단계; 및 병진 벡터를 결정하는 단계를 포함하며, 병진 벡터는 식별된 중심 포인트와 예상된 중심 포인트 포지션 간의 병진 에러에 대응한다.
[0239] 제3 양상에서, 양상 1 또는 양상 2의 컴퓨터-구현 방법에 있어서, 어그리게이트 회전을 수행하는 단계는 투영된 디스플레이 층의 중심 포인트를 식별하는 단계; 및 회전량을 결정하는 단계를 포함하며, 회전량은 투영된 포지션들과 예상된 포지션들 간의 픽셀 에러량이 최소화되도록 중심 포인트를 중심으로 한 투영된 디스플레이 층의 회전에 대응한다.
[0240] 제4 양상에서, 양상 1 내지 양상 3 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 어그리게이트 스케일링을 수행하는 단계는 투영된 디스플레이 층의 중심 포인트를 식별하는 단계; 및 스케일링량을 결정하는 단계를 포함하며, 스케일링량은 투영된 포지션들과 예상된 포지션들 간의 픽셀 에러량이 최소화되도록 중심 포인트를 중심으로 한 투영된 디스플레이 층의 스케일링에 대응한다.
[0241] 제5 양상에서, 양상들 1 내지 4 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 공간 매핑을 수행하는 단계는 예상된 포지션들과 디스플레이 층의 투영된 포지션들을 정렬시키기 위하여 비-선형 변환을 식별하는 단계를 포함한다.
[0242] 제6 양상에서, 양상들 1 내지 5 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 휘도 평탄화를 수행하는 단계는 복수의 휘도 값들 중 최소 휘도 값을 결정하는 단계; 및 복수의 휘도 값들의 모든 휘도 값들을 최소 휘도 값으로 낮추는 단계를 포함한다.
[0243] 제7 양상에서, 양상들 1 내지 5 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 휘도 평탄화를 수행하는 단계는 임계 휘도 값을 결정하는 단계; 및 복수의 휘도 값들 중에서 임계 휘도 값보다 큰 모든 휘도 값들을 임계 휘도 값으로 낮추는 단계를 포함한다.
[0244] 제8 양상에서, 양상들 1 내지 7 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 색채 밸런싱을 수행하는 단계는 디스플레이 층과 연관된 컬러 클러스터를 식별하는 단계 ― 컬러 클러스터는 적어도 하나의 부가적인 디스플레이 층을 포함함 ―; 디스플레이 층상의 복수의 포인트들의 각각의 포인트에 대하여, 디스플레이 층상의 포인트에 대응하는 휘도 값을 부가적인 디스플레이 층상의 포인트에 대응하는 휘도 값과 비교하는 단계; 및 복수의 휘도 값들의 각각의 휘도 값을 이의 대응하는 포인트와 연관된 가장 낮은 휘도 값으로 낮추는 단계를 포함한다.
[0245] 제9 양상에서, 양상들 1 내지 8 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 어그리게이트 회전 보정을 수행하는 단계는 벡터 필드의 컬(curl)을 계산하는 단계를 포함한다.
[0246] 제10 양상에서, 양상들 1 내지 9 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 어그리게이트 스케일링 보정을 수행하는 단계는 벡터 필드의 발산을 계산하는 단계를 포함한다.
[0247] 제11 양상에서, 양상들 1 내지 10 중 어느 한 양상의 컴퓨터-구현 방법에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0248] 제12 양상에서, 양상 11의 컴퓨터-구현 방법에 있어서, 광 필드 디스플레이는 스택된 도파관 어셈블리를 포함한다.
[0249] 제13 양상에서, 양상 12의 컴퓨터-구현 방법에 있어서, 스택된 도파관 어셈블리는 2개 또는 그 초과의 깊이 평면들에 각각 대응하는 2개 또는 그 초과의 도파관들을 포함한다.
[0250] 제14 양상에서, 양상 13의 컴퓨터-구현 방법에 있어서, 각각의 깊이 평면은 적색 디스플레이 층, 녹색 디스플레이 층 및 청색 디스플레이 층과 연관된다.
[0251] 제15 양상에서, 디스플레이를 교정하는 방법이 개시된다. 방법은, 컴퓨터 하드웨어를 포함하는 디스플레이 교정 시스템의 제어하에 있으며, 디스플레이에 의해 투영된 교정 패턴의 이미지에 액세스하는 단계; 이미지에서 실제 디스플레이된 포지션들과 투영된 광 필드의 교정 포인트들의 예상된 포지션들과 간의 공간 왜곡들을 결정하는 단계; 디스플레이에 대한 공간 교정을 결정하기 위하여 공간 왜곡들을 분석하는 단계; 및 디스플레이와 연관된 비-일시적 메모리에 공간 교정을 저장하는 단계를 포함한다.
[0252] 제16 양상에서, 양상 15의 방법에 있어서, 공간 교정은 평면내 공간 에러들 또는 평면외 공간 에러들 중 하나 또는 그 초과를 보정한다.
[0253] 제17 양상에서, 양상 15 또는 양상 16의 방법에 있어서, 공간 교정은 병진 에러, 회전 에러, 스케일링 에러 또는 픽셀 워프(pixel warp) 중 하나 또는 그 초과를 보정한다.
[0254] 제18 양상에서, 양상들 15 내지 17 중 어느 한 양상의 방법은 이미지로부터 색채 왜곡들을 결정하는 단계; 디스플레이에 대한 색채 교정을 결정하기 위하여 색채 왜곡들을 분석하는 단계; 및 디스플레이와 연관된 비-일시적 메모리에 색채 교정을 저장하는 단계를 더 포함한다.
[0255] 제19 양상에서, 양상 18의 방법에 있어서, 색채 교정은 디스플레이의 휘도 평탄도 또는 색채 균일성을 보정한다.
광학 계측 시스템의 부가적인 양상들
[0256] 제20 양상에서, 디스플레이에 의해 생성되는 광 필드의 결함들을 측정하기 위한 광학 계측 시스템이 개시된다. 광학 계측 시스템은 의도된 포커스 포지션을 가진 가상 객체를 포함하는 타겟 광 필드를 투영하도록 구성된 디스플레이; 타겟 광 필드의 이미지를 획득하도록 구성된 카메라; 및 프로세서를 포함하며, 프로세서는 광 필드의 일부분에 대응하는 하나 또는 그 초과의 이미지들에 액세스하고, 가상 객체가 인 포커스(in focus)인 포지션에 대응하는 측정된 포커스 포지션을 식별하기 위하여 하나 또는 그 초과의 이미지들을 분석하며, 그리고 측정된 포커스 포지션 및 의도된 포커스 포지션의 비교에 적어도 부분적으로 기반하여 광 필드의 결함들을 결정하도록 실행가능한 명령들로 프로그래밍된다.
[0257] 제21 양상에서, 양상 20의 광학 계측 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0258] 제22 양상에서, 양상 20 또는 양상 21의 광학 계측 시스템에 있어서, 디스플레이는 특정 깊이 평면으로 가상 객체를 투영하기 위하여 광을 출력하도록 구성된 도파관들의 스택을 포함한다.
[0259] 제23 양상에서, 양상들 20 내지 22 중 어느 한 양상의 광학 계측 시스템에 있어서, 카메라는 포커스의 작은 깊이를 가진 디지털 카메라를 포함한다.
[0260] 제24 양상에서, 양상 23의 광학 계측 시스템에 있어서, 카메라는 포커스를 가지며, 시스템은 하나 또는 그 초과의 이미지들을 획득하기 위하여 포커스들의 범위에 걸쳐 카메라의 포커스를 스위프(sweep)하도록 구성된다.
[0261] 제25 양상에서, 양상들 20 내지 22 중 어느 한 양상의 광학 계측 시스템에 있어서, 카메라는 광 필드 카메라를 포함한다.
[0262] 제26 양상에서, 양상들 20 내지 25 중 어느 한 양상의 광학 계측 시스템에 있어서, 가상 객체는 체커보드 패턴, 기하학적 패턴 또는 확률론적 패턴을 포함한다.
[0263] 제27 양상에서, 양상들 20 내지 26 중 어느 한 양상의 광학 계측 시스템에 있어서, 디스플레이는 복수의 픽셀들을 포함하며, 타겟 광 필드는 조명되고 있는 모든 복수의 픽셀들 보다 적은 픽셀들의 서브세트에 대응한다.
[0264] 제28 양상에서, 양상들 20 내지 27 중 어느 한 양상의 광학 계측 시스템에 있어서, 측정된 포커스 포지션은 포커스의 깊이를 포함한다.
[0265] 제29 양상에서, 양상 28의 광학 계측 시스템에 있어서, 측정된 포커스 포지션은 측방향 포커스 포지션을 더 포함한다.
[0266] 제30 양상에서, 양상 29의 광학 계측 시스템에 있어서, 결정된 결함들은 의도된 포커스 포지션과 측정된 포커스 포지션 간의 에러 벡터에 적어도 부분적으로 기반한다.
[0267] 제31 양상에서, 양상들 20 내지 30 중 어느 한 양상의 광학 계측 시스템에 있어서, 결정된 결함들은 공간 결함들을 포함한다.
[0268] 제32 양상에서, 양상들 20 내지 31 중 어느 한 양상의 광학 계측 시스템에 있어서, 결정된 결함들은 색채 결함들을 포함한다.
[0269] 제33 양상에서, 양상들 20 내지 32 중 어느 한 양상의 광학 계측 시스템에 있어서, 프로세서는 결정된 결함들에 적어도 부분적으로 기반하여 디스플레이에 대한 에러 보정을 결정하도록 추가로 프로그래밍된다.
[0270] 제34 양상에서, 광 필드의 결함들을 측정하기 위한 방법이 개시되며, 방법은 디스플레이에 의해 투영된 광 필드의 일부분에 대응하는 하나 또는 그 초과의 이미지들에 액세스하는 단계 ― 광 필드의 일부분은 의도된 포커스 포지션을 가짐―; 광 필드의 일부분이 인 포커스인 포지션에 대응하는 측정된 포커스 포지션을 식별하기 위하여 하나 또는 그 초과의 이미지들을 분석하는 단계; 및 측정된 포커스 포지션과 의도된 포커스 포지션의 비교에 적어도 부분적으로 기반하여 광 필드의 결함들을 결정하는 단계를 포함한다.
[0271] 제35 양상에서, 양상 34의 방법은 하나 또는 그 초과의 이미지들을 획득하기 위하여 카메라의 포커스를 스위프하는 단계를 포함한다.
[0272] 제36 양상에서, 양상 34의 방법은 하나 또는 그 초과의 이미지들을 획득하기 위하여 광 필드 카메라를 사용하는 단계를 포함한다.
[0273] 제37 양상에서, 양상들 34 내지 36 중 어느 한 양상의 방법은 체커보드 패턴을 포함하는 광 필드 이미지를 투영하는 단계를 더 포함한다.
[0274] 제38 양상에서, 양상들 34 내지 37 중 어느 한 양상의 방법은 결정된 결함들에 적어도 부분적으로 기반하여 광 필드에 대한 에러 보정을 결정하는 단계를 더 포함한다.
디스플레이를 교정하는 부가적인 양상들
[0275] 제39 양상에서, 디스플레이에 대한 교정 시스템이 제공된다. 교정 시스템은 디스플레이의 이미지를 획득하도록 구성된 카메라; 및 카메라와 통신하는 하드웨어 프로세서를 포함하며, 하드웨어 프로세서는 디스플레이의 이미지를 수신하며; 디스플레이에 대한 교정을 결정하며; 그리고 디스플레이와 연관된 메모리에 교정을 저장하도록 프로그래밍된다.
[0276] 제40 양상에서, 양상 39의 교정 시스템에 있어서, 교정은 디스플레이의 공간 결함들을 보정하기 위한 공간 교정을 포함한다.
[0277] 제41 양상에서, 양상 39의 교정 시스템에 있어서, 교정은 디스플레이의 컬러 결함들을 보정하기 위한 색채 교정을 포함한다.
[0278] 제42 양상에서, 양상들 39 내지 41 중 어느 한 양상의 교정 시스템에 있어서, 디스플레이는 FOV(field of view)의 복수의 픽셀들을 포함하며; 그리고 교정을 결정하기 위하여, 하드웨어 프로세서는 디스플레이의 FOV(field of view)의 픽셀들에 독립적인 글로벌 변환 파라미터를 결정하고 그리고 디스플레이의 FOV(field of view)의 픽셀들에 종속적인 로컬 변환 파라미터를 결정하도록 프로그래밍된다.
[0279] 제43 양상에서, 양상 42의 교정 시스템에 있어서, 글로벌 변환 파라미터는 하나 또는 그 초과의 비선형 감마 보정들을 포함한다.
[0280] 제44 양상에서, 양상 42 또는 양상 43의 교정 시스템에 있어서, 로컬 변환은 선형 함수를 포함한다.
[0281] 제45 양상에서, 양상들 39 내지 44 중 어느 한 양상의 교정 시스템에 있어서, 교정을 결정하기 위하여, 하드웨어 프로세서는 카메라에 의해 획득된 이미지들로부터의 피드백을 사용하여 교정에 대해 반복적으로 해결(solve)하도록 프로그래밍된다.
[0282] 제46 양상에서, 양상들 39 내지 45 중 어느 한 양상의 교정 시스템에 있어서, 교정은 색채 교정을 포함하며, 디스플레이는 백색 포인트를 제공할 수 있는 복수의 컬러 레벨들을 포함하며; 교정을 결정하기 위하여, 하드웨어 프로세서는 백색 포인트가 디스플레이의 FOV(field of view)에 걸쳐 실질적으로 균일하도록 컬러 레벨들의 강도들을 튜닝하도록 프로그래밍된다.
[0283] 제47 양상에서, 양상 46의 교정 시스템에 있어서, 교정을 결정하기 위하여, 하드웨어 프로세서는 제1 중간 컬러 표현에 디스플레이에 전송된 컬러 레벨들을 매핑하는 제1 감마 보정에 대해 해결하고; 제2 중간 컬러 표현에 제1 중간 컬러 표현을 매핑하는 픽셀-종속 커플링 함수에 대해 해결하며; 그리고 카메라에 의해 등록된 컬러 레벨들에 제2 중간 컬러 표현을 매핑하는 제2 감마 보정에 대해 해결하도록 프로그래밍된다.
[0284] 제48 양상에서, 양상 47의 교정 시스템에 있어서, 하드웨어 프로세서는 픽셀-종속 커플링 함수에 대해 해결하기 전에 제1 감마 보정 및 제2 감마 보정에 대해 해결하도록 프로그래밍된다.
[0285] 제49 양상에서, 양상들 39 내지 48 중 어느 한 양상의 교정 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0286] 제50 양상에서, 양상들 39 내지 49 중 어느 한 양상의 교정 시스템에 있어서, 디스플레이는 복수의 도파관들을 포함하는 스택가능 도파관 어셈블리를 포함한다.
[0287] 제51 양상에서, 양상들 39 내지 50 중 어느 한 양상의 교정 시스템에 있어서, 디스플레이는 웨어러블 디스플레이 시스템을 위해 구성된다.
[0288] 제52 양상에서, 디스플레이를 교정하는 방법이 제공된다. 방법은, 컴퓨터 하드웨어에 의해 수행되는 동적 교정 시스템의 제어하에 있으며, 디스플레이에 대한 교정에 액세스하는 단계; 액세스된 교정에 적어도 부분적으로 기반하여 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 결정하는 단계; 및 보정을 디스플레이에 적용하는 단계를 포함한다.
[0289] 제53 양상에서, 양상 52의 방법에 있어서, 교정에 액세스하는 단계는 색채 교정을 포함한다.
[0290] 제54 양상에서, 양상 53의 방법에 있어서, 디스플레이는 FOV(field of view)의 복수의 픽셀들을 포함하며, 색채 교정은 복수의 픽셀-독립 비선형 감마 보정들 및 픽셀-종속 커플링 함수를 포함한다.
[0291] 제55 양상에서, 양상 52 내지 54 중 어느 한 양상의 방법에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0292] 제56 양상에서, 헤드 장착 디스플레이가 제공되는데, 이 헤드 장착 디스플레이는 디스플레이; 교정을 저장하도록 구성된 메모리; 및 비-일시적 메모리와 통신하며 양상들 14 내지 17 중 어느 한 양상의 방법을 수행하도록 프로그래밍된 하드웨어 프로세서를 포함한다.
교정 패턴들의 부가적인 양상들
[0293] 제57 양상에서, 디스플레이에 의해 생성된 광 필드를 교정하기 위한 광학 시스템으로서, 광학 시스템은 피처 포인트를 포함하는 교정 패턴을 포함하는 타겟 광 필드를 투영하도록 구성된 디스플레이; 타겟 광 필드의 이미지를 획득하도록 구성된 카메라; 프로세서는 포함하며; 프로세서는, 복수의 포지션들 각각에 대하여: 디스플레이로 하여금 복수의 포지션들 중의 포지션에 교정 패턴을 투영하게 하며; 카메라로 하여금 투영된 교정 패턴의 이미지를 획득하게 하며; 피처 포인트의 왜곡을 계산하며 ― 왜곡은 피처 포인트의 예상된 위치와 피처 포인트의 측정된 위치간의 에러 또는 교정 패턴의 측정된 휘도 또는 색도와 교정 패턴의 예상된 휘도 또는 색도 간의 에러에 대응함 ―; 그리고 복수의 포지션들 중의 다음 포지션의 결정에 대한 응답으로, 다음 포지션에 디스플레이될 교정 패턴을 시프트하도록 실행가능 명령들로 프로그래밍된다.
[0294] 제58 양상에서, 양상 57의 광학 시스템에 있어서, 교정 패턴은 체커보드 패턴을 포함한다.
[0295] 제59 양상에서, 양상 57의 광학 시스템에 있어서, 복수의 포지션들의 수는 체커보드 패턴의 체커박스의 픽셀들의 수에 대응한다.
[0296] 제60 양상에서, 양상 57의 광학 시스템에 있어서, 교정 패턴은 단일-픽셀 패턴을 포함한다.
[0297] 제61 양상에서, 양상 60의 광학 시스템에 있어서, 복수의 포지션들의 수는 디스플레이되는 픽셀들의 수에 대응한다.
[0298] 제62 양상에서, 양상들 57 내지 61 중 어느 한 양상의 광학 시스템에 있어서, 프로세서는 복수의 포지션들에 대응하는 계산된 왜곡들에 적어도 부분적으로 기반하여 왜곡 지도를 생성하도록 추가로 프로그래밍된다.
[0299] 제63 양상에서, 양상들 57 내지 62 중 어느 한 양상의 광학 시스템에 있어서, 프로세서는 복수의 포지션들에 대응하는 계산된 왜곡들에 적어도 부분적으로 기반하여 디스플레이에 대한 에러 보정을 결정하도록 추가로 프로그래밍된다.
[0300] 제64 양상에서, 양상들 57 내지 63 중 어느 한 양상의 광학 시스템에 있어서, 디스플레이는 별개의 적색, 녹색 및 청색 컬러 층들을 포함한다.
[0301] 제65 양상에서, 양상들 57 내지 64 중 어느 한 양상의 광학 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0302] 제66 양상에서, 양상 65의 광학 시스템에 있어서, 광 필드 디스플레이는 스택된 도파관 어셈블리를 포함한다.
[0303] 제67 양상에서, 양상 66의 광학 시스템에 있어서, 스택된 도파관 어셈블리는 2개 또는 그 초과의 깊이 평면들에 각각 대응하는 2개 또는 그 초과의 도파관들을 포함한다.
[0304] 제68 양상에서, 양상들 57 내지 67 중 어느 한 양상의 광학 시스템에 있어서, 계산된 왜곡은 휘도 왜곡 또는 색채 왜곡을 더 포함한다.
[0305] 제69 양상에서, 디스플레이에 의해 생성되는 광 필드를 교정하는 방법이 제공된다. 방법은 복수의 포지션들 각각에 대하여: 디스플레이로 하여금 복수의 포지션들 중의 포지션에 교정 패턴을 투영하게 하는 단계; 카메라로 하여금 투영된 교정 패턴의 이미지를 획득하게 하는 단계; 피처 포인트의 왜곡을 계산하는 단계 ― 왜곡은 피처 포인트의 예상된 위치와 피처 포인트의 측정된 위치 간의 에러 또는 피처 포인트의 예상된 휘도 또는 색도와 피처 포인트의 측정된 휘도 또는 색도 간의 에러에 대응함 ―; 및 복수의 포지션들 중의 다음 포지션의 결정에 대한 응답으로, 다음 포지션에 디스플레이될 교정 패턴을 시프트하는 단계를 포함한다.
[0306] 제70 양상에서, 양상 69의 방법에 있어서, 교정 패턴은 체커보드 패턴을 포함한다.
[0307] 제71 양상에서, 양상 70의 방법에 있어서, 복수의 포지션들의 수는 체커보드 패턴의 체커박스의 픽셀들의 수에 대응한다.
[0308] 제72 양상에서, 양상 69의 방법에 있어서, 교정 패턴은 단일-픽셀 패턴, 확률론적 패턴 또는 기하학적 패턴을 포함한다.
[0309] 제73 양상에서, 양상 72의 방법에 있어서, 복수의 포지션들의 수는 디스플레이되는 픽셀들의 수에 대응한다.
[0310] 제74 양상에서, 양상들 69 내지 73 중 어느 한 양상의 방법은 복수의 포지션들에 대응하는 계산된 왜곡들에 적어도 부분적으로 기반하여 왜곡 지도를 생성하는 단계를 더 포함한다.
[0311] 제75 양상에서, 양상들 69 내지 74 중 어느 한 양상의 방법은 복수의 포지션들에 대응하는 계산된 왜곡들에 적어도 부분적으로 기반하여 디스플레이에 대한 에러 보정을 결정하는 단계를 더 포함한다.
[0312] 제76 양상에서, 양상들 69 내지 75 중 어느 한 양상의 광학 시스템에 있어서, 디스플레이는 별개의 적색, 녹색 및 청색 컬러 층들을 포함한다.
[0313] 제77 양상에서, 양상들 69 내지 76 중 어느 한 양상의 광학 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0314] 제78 양상에서, 양상 77의 광학 시스템에 있어서, 광 필드 디스플레이는 스택된 도파관 어셈블리를 포함한다.
[0315] 제79 양상에서, 양상 78의 광학 시스템에 있어서, 스택된 도파관 어셈블리는 2개 또는 그 초과의 깊이 평면들에 각각 대응하는 2개 또는 그 초과의 도파관들을 포함한다.
[0316] 제80 양상에서, 양상들 69 내지 79 중 어느 한 양상의 광학 시스템에 있어서, 계산된 왜곡은 휘도 왜곡 또는 색채 왜곡을 더 포함한다.
동적 교정을 수행하는 부가적인 양상들
[0317] 제81 양상에서, 디스플레이 시스템이 제공된다. 디스플레이 시스템은 눈-추적 카메라; 디스플레이; 디스플레이에 대한 복수의 교정들을 저장하도록 구성된 비-일시적 데이터 저장소 ― 복수의 교정들의 각각의 교정은 디스플레이에 대한 교정 포지션과 연관됨―; 및 눈-추적 카메라, 디스플레이 및 비-일시적 데이터 저장소와 통신하는 하드웨어 프로세서를 포함하며; 하드웨어 프로세서는 디스플레이에 대한 디스플레이 사용자의 눈 포지션을 결정하며, 결정된 눈 포지션에 적어도 부분적으로 기반하여 복수의 교정들 중 하나 또는 그 초과의 교정에 액세스하며; 복수의 교정들 중 하나 또는 그 초과의 교정에 적어도 부분적으로 기반하여, 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 결정하며; 그리고 디스플레이에 보정을 적용하도록 프로그래밍된다.
[0318] 제82 양상에서, 양상 81의 디스플레이 시스템에 있어서, 교정 포지션들의 수는 2, 3, 4, 5, 6, 7, 8, 9, 또는 그 초과이다.
[0319] 제83 양상에서, 양상 81 또는 양상 82의 디스플레이 시스템에 있어서, 교정 포지션들은 디스플레이에 걸쳐 그리드로 분산된다.
[0320] 제84 양상에서, 양상 83의 디스플레이 시스템에 있어서, 그리드는 2x2, 3x3, 5x5, 또는 9x9 그리드를 포함한다.
[0321] 제85 양상에서, 양상들 81 내지 84 중 어느 한 양상의 디스플레이 시스템에 있어서, 복수의 교정들 중 하나 또는 그 초과는 눈 포지션에 가장 근접한 교정 포지션과 연관된 교정을 포함한다.
[0322] 제86 양상에서, 양상들 81 내지 85 중 어느 한 양상의 디스플레이 시스템에 있어서, 보정을 결정하기 위하여, 하드웨어 프로세서는 복수의 교정들 중 하나 또는 그 초과의 교정들 중에서 내삽 또는 외삽하도록 프로그래밍된다.
[0323] 제87 양상에서, 양상들 81 내지 86 중 어느 한 양상의 디스플레이 시스템에 있어서, 복수의 교정들의 각각의 교정은 디스플레이의 공간 결함, 디스플레이의 색채 결함 또는 공간 결함 및 색채 결함 둘다를 보정한다.
[0324] 제88 양상에서, 양상들 81 내지 87 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0325] 제89 양상에서, 양상들 81 내지 88 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 복수의 도파관들을 포함하는 스택가능 도파관 어셈블리를 포함한다.
[0326] 제90 양상에서, 양상들 81 내지 89 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 웨어러블 디스플레이 시스템을 위해 구성된다.
[0327] 제91 양상에서, 헤드 장착 디스플레이가 제공되며, 헤드 장착 디스플레이는 양상들 81 내지 90 중 어느 한 양상의 디스플레이 시스템을 포함한다.
[0328] 제92 양상에서, 디스플레이를 교정하는 방법이 제공된다. 방법은, 컴퓨터 하드웨어에 의해 수행되는 동적 교정 시스템의 제어하에 있으며, 디스플레이의 사용자에 대한 눈 포지션을 결정하는 단계; 결정된 눈 포지션에 적어도 부분적으로 기반하여, 디스플레이에 대한 교정에 액세스하는 단계 ― 교정은 결정된 눈 포지션 근처에 있는 교정 포지션과 연관됨 ―; 액세스된 교정에 적어도 부분적으로 기반하여, 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 결정하는 단계; 및 보정을 디스플레이에 적용하는 단계를 포함한다.
[0329] 제93 양상에서, 양상 92의 방법에 있어서, 교정에 액세스하는 단계는 복수의 교정들로부터 하나 또는 그 초과의 교정들을 선택하는 단계를 포함하며, 각각의 교정은 디스플레이에 대한 상이한 교정 포지션과 연관된다.
[0330] 제94 양상에서, 양상 93의 방법에 있어서, 교정 포지션들은 디스플레이에 걸쳐 그리드로 배열된다.
[0331] 제95 양상에서, 양상들 92 내지 94 중 어느 한 양상의 방법에 있어서, 교정은 디스플레이의 공간 결함, 디스플레이의 색채 결함 또는 공간 결함 및 색채 결함 둘다를 보정한다.
[0332] 제96 양상에서, 양상들 92 내지 95 중 어느 한 양상의 방법에 있어서, 보정을 결정하는 단계는 눈 포즈 근처의 교정 포지션들과 연관된 하나 또는 그 초과의 교정들 중에서 내삽 또는 외삽하는 단계를 포함한다.
[0333] 제97 양상에서, 양상 92 내지 96 중 어느 한 양상의 방법에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0334] 제98 양상에서, 헤드 장착 디스플레이가 제공되며, 헤드 장착 디스플레이는 눈-추적 시스템, 및 양상들 92 내지 97 중 어느 한 양상의 방법을 수행하도록 프로그래밍된 하드웨어 프로세서를 포함한다.
광학 계측 시스템의 부가적인 양상들
[0335] 제99 양상에서, 디스플레이에 의해 생성되는 광 필드의 결함들을 측정하기 위한 광학 계측 시스템이 제공된다. 광학 계측 시스템은 의도된 포커스 포지션을 가진 가상 객체를 포함하는 타겟 광 필드를 투영하도록 구성된 디스플레이; 타겟 광 필드의 이미지들을 획득하도록 구성된 카메라; 및 하드웨어 프로세서를 포함하며, 하드웨어 프로세서는 광 필드의 일부분에 대응하는 하나 또는 그 초과의 이미지들에 액세스하고, 가상 객체가 인 포커스(in focus)인 포지션에 대응하는 측정된 포커스 포지션을 식별하기 위하여 하나 또는 그 초과의 이미지들을 분석하며, 그리고 측정된 포커스 포지션 및 의도된 포커스 포지션의 비교에 적어도 부분적으로 기반하여 광 필드의 결함들을 결정하도록 실행가능한 명령들로 프로그래밍된다.
[0336] 제100 양상에서, 양상 99의 광학 계측 시스템에 있어서, 디스플레이는 적어도 하나의 깊이 평면으로 가상 객체를 투영하기 위하여 광을 출력하도록 구성된 도파관들의 스택을 포함한다.
[0337] 제101 양상에서, 양상들 99 내지 100 중 어느 한 양상의 광학 계측 시스템에 있어서, 카메라는 포커스의 작은 깊이를 가진 디지털 카메라를 포함한다.
[0338] 제102 양상에서, 양상 101의 광학 계측 시스템에 있어서, 카메라는 포커스를 가지며, 시스템은 하나 또는 그 초과의 이미지들을 획득하기 위하여 포커스들의 범위에 걸쳐 카메라의 포커스를 스위프(sweep)하도록 구성된다.
[0339] 제103 양상에서, 양상들 99 내지 102 중 어느 한 양상의 광학 계측 시스템에 있어서, 카메라는 광 필드 카메라를 포함한다.
[0340] 제104 양상에서, 양상들 99 내지 103 중 어느 한 양상의 광학 계측 시스템에 있어서, 가상 객체는 체커보드 패턴, 기하학적 패턴 또는 확률론적 패턴을 포함한다.
[0341] 제105 양상에서, 양상들 99 내지 104 중 어느 한 양상의 광학 계측 시스템에 있어서, 디스플레이는 복수의 픽셀들을 포함하며, 타겟 광 필드는 조명되고 있는 모든 복수의 픽셀들 보다 적은 픽셀들의 서브세트에 대응한다.
[0342] 제106 양상에서, 양상들 99 내지 105 중 어느 한 양상의 광학 계측 시스템에 있어서, 측정된 포커스 포지션은 포커스의 깊이를 포함한다.
[0343] 제107 양상에서, 양상 106의 광학 계측 시스템에 있어서, 측정된 포커스 포지션은 측방향 포커스 포지션을 더 포함한다.
[0344] 제108 양상에서, 양상들 99 내지 107 중 어느 한 양상의 광학 계측 시스템에 있어서, 결정된 결함들은 의도된 포커스 포지션과 측정된 포커스 포지션 간의 에러 벡터에 적어도 부분적으로 기반한다.
[0345] 제109 양상에서, 양상들 99 내지 108 중 어느 한 양상의 광학 계측 시스템에 있어서, 하드웨어 프로세서는 결정된 결함들에 적어도 부분적으로 기반하여 디스플레이에 대한 에러 보정을 결정하도록 추가로 프로그래밍된다.
[0346] 제110 양상에서, 양상들 99 내지 109 중 어느 한 양상의 광학 계측 시스템에 있어서, 하드웨어 프로세서는 디스플레이의 픽셀 값들을 카메라의 픽셀 값들에 전달하기 위하여 디스플레이-대-카메라 픽셀 매핑을 적용하도록 추가로 프로그래밍된다.
[0347] 제111 양상에서, 양상 110의 광학 계측 시스템에 있어서, 디스플레이-대-카메라 픽셀 매핑은 제1 중간 컬러 표현에 디스플레이의 컬러 레벨들을 매핑하는 제1 감마 보정; 제2 중간 컬러 표현에 제1 중간 컬러 표현을 매핑하는 픽셀-종속 커플링 함수; 및 카메라에 의해 등록된 컬러 레벨들에 제2 중간 컬러 표현을 매핑하는 제2 감마 보정을 포함한다.
[0348] 제112 양상에서, 양상들 99 내지 111 중 어느 한 양상의 광학 계측 시스템에 있어서, 결정된 결함들은 공간 결함들을 포함한다.
[0349] 제113 양상에서, 양상 112의 광학 계측 시스템에 있어서, 공간 결함은 평면내 병진, 회전, 스케일링 또는 워핑 에러 또는 평면외 또는 초점 깊이 에러 중 하나 또는 그 초과를 포함한다.
[0350] 제114 양상에서, 양상들 99 내지 113 중 어느 한 양상의 광학 계측 시스템에 있어서, 결정된 결함들은 색채 결함들을 포함한다.
[0351] 제115 양상에서, 양상 114의 광학 계측 시스템에 있어서, 색채 결함은 디스플레이에 의해 디스플레이가능한 컬러와 연관된 휘도 평탄도 또는 색채 균일성 에러 중 하나 또는 그 초과를 포함한다.
[0352] 제116 양상에서, 디스플레이상에서 이미지 보정을 수행하기 위한 광학 계측 시스템이 제공된다. 시스템은, 디스플레이에 의해 투영되는 광 필드의 이미지를 캡처하도록 구성된 카메라 ― 광 필드는 디스플레이의 디스플레이 층과 연관됨 ―; 하드웨어 프로세서를 포함하며, 하드웨어 프로세서는, 카메라에 의해 캡처된 이미지에 적어도 부분적으로 기반하여 벡터 필드를 생성하며 ― 벡터 필드는 디스플레이 층의 포인트들의 예상된 포지션들과 투영된 포지션들 간의 편차들에 대응하는 벡터들을 포함함 ―, 벡터 필드에 적어도 부분적으로 기반하여, 디스플레이에 대한 중심화 보정, 어그리게이트 회전 보정, 어그리게이트 스케일링 보정 또는 공간 매핑 중 적어도 하나를 계산하며, 카메라에 의해 캡처된 이미지에 적어도 부분적으로 기반하여, 디스플레이 층상의 복수의 포인트들에 대응하는 휘도 값들을 계산하며, 그리고 결정된 휘도 값들에 적어도 부분적으로 기반하여, 디스플레이에 대한 휘도 평탄화 보정 또는 색채 밸런싱 보정을 계산하도록 실행가능한 명령들로 프로그래밍된다.
[0353] 제117 양상에서, 양상 116의 광학 계측 시스템에 있어서, 디스플레이의 디스플레이 층은 컬러 층 또는 깊이 층을 포함한다.
[0354] 제118 양상에서, 양상들 116 내지 117 중 어느 한 양상의 광학 계측 시스템에 있어서, 카메라는 포커스의 작은 깊이를 가진 디지털 카메라 또는 광 필드 카메라를 포함한다.
[0355] 제119 양상에서, 양상들 116 내지 118 중 어느 한 양상의 광학 계측 시스템에 있어서, 중심화 보정을 계산하기 위하여, 하드웨어 프로세서는 투영된 디스플레이 층의 식별된 중심 포인트와 예상된 중심 포인트 포지션 간의 병진 에러에 대응하는 병진 벡터를 결정하도록 프로그래밍된다.
[0356] 제120 양상에서, 양상들 116 내지 119 중 어느 한 양상의 광학 계측 시스템에 있어서, 어그리게이트 회전 보정을 계산하기 위하여, 하드웨어 프로세서는 투영된 포지션들과 예상된 포지션들 간의 픽셀 에러량이 감소되거나 또는 최소화되도록 중심 포인트를 중심으로 한 투영된 디스플레이 층의 회전에 대응하는 회전량을 결정하도록 프로그래밍된다.
[0357] 제121 양상에서, 양상들 116 내지 120 중 어느 한 양상의 광학 계측 시스템에 있어서, 어그리게이트 회전 보정을 계산하기 위하여, 하드웨어 프로세서는 벡터 필드의 컬을 계산하도록 프로그래밍된다.
[0358] 제122 양상에서, 양상들 116 내지 121 중 어느 한 양상의 광학 계측 시스템에 있어서, 어그리게이트 스케일링 보정을 계산하기 위하여, 하드웨어 프로세서는 투영된 포지션들과 예상된 포지션들 간의 픽셀 에러량이 감소되거나 또는 최소화되도록 중심 포인트에 대한 투영된 디스플레이 층의 스케일링에 대응하는 스케일링량을 결정하도록 프로그래밍된다.
[0359] 제123 양상에서, 양상들 116 내지 122 중 어느 한 양상의 광학 계측 시스템에 있어서, 어그리게이트 스케일링 보정을 계산하기 위하여, 하드웨어 프로세서는 벡터 필드의 발산을 계산하도록 프로그래밍된다.
[0360] 제124 양상에서, 양상들 116 내지 123 중 어느 한 양상의 광학 계측 시스템에 있어서, 공간 매핑을 계산하기 위하여, 하드웨어 프로세서는 예상된 포지션들과 디스플레이 층의 투영된 포지션들을 정렬시키기 위하여 비-선형 변환을 결정하도록 프로그래밍된다.
[0361] 제125 양상에서, 양상들 116 내지 124 중 어느 한 양상의 광학 계측 시스템에 있어서, 휘도 평탄화 보정을 계산하기 위하여, 하드웨어 프로세서는 임계 휘도 값을 결정하고, 그리고 임계 휘도 값보다 큰 각각의 휘도 값을 임계 휘도 값으로 낮추는 양을 계산하도록 프로그래밍된다.
[0362] 제126 양상에서, 양상들 116 내지 125 중 어느 한 양상의 광학 계측 시스템에 있어서, 색채 밸런싱 보정을 계산하기 위하여, 하드웨어 프로세서는 디스플레이 층과 연관된 컬러 클러스터를 식별하고 ― 컬러 클러스터는 적어도 하나의 부가적인 디스플레이 층을 포함함 ―; 디스플레이 층의 각각의 포인트에 대하여, 디스플레이 층의 포인트에 대응하는 휘도 값을 부가적인 디스플레이 층상의 포인트에 대응하는 휘도 값과 비교하며; 그리고 각각의 휘도 값을 이의 대응하는 포인트와 연관된 가장 낮은 휘도 값으로 낮추는 양을 계산하도록 프로그래밍된다.
동적 디스플레이 교정의 부가적인 양상들
[0363] 제127 양상에서, 디스플레이 시스템이 제공된다. 디스플레이 시스템은 눈-추적 카메라; 디스플레이; 디스플레이에 대한 복수의 교정들을 저장하도록 구성된 비-일시적 데이터 저장소 ― 복수의 교정들의 각각의 교정은 디스플레이에 대한 교정 포지션과 연관됨 ―; 및 눈-추적 카메라, 디스플레이 및 비-일시적 데이터 저장소와 통신하는 하드웨어 프로세서를 포함하며; 하드웨어 프로세서는 눈-추적 카메라로부터의 정보에 기반하여 디스플레이에 대한 디스플레이의 사용자의 눈 포지션을 결정하며, 결정된 눈 포지션에 적어도 부분적으로 기반하여 복수의 교정들 중 하나 또는 그 초과의 교정에 액세스하며, 복수의 교정들 중 하나 또는 그 초과의 교정에 적어도 부분적으로 기반하여, 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 계산하며, 그리고 디스플레이에 보정을 적용하도록 프로그래밍된다.
[0364] 제128 양상에서, 양상 127의 디스플레이 시스템에 있어서, 교정 포지션들의 수는 2, 3, 4, 5, 6, 7, 8, 9, 또는 그 초과이다.
[0365] 제129 양상에서, 양상들 127 또는 양상 128의 디스플레이 시스템에 있어서, 교정 포지션들은 디스플레이에 걸쳐 그리드로 분산된다.
[0366] 제130 양상에서, 양상 129의 디스플레이 시스템에 있어서, 그리드는 2x2, 3x3, 5x5, 또는 9x9 그리드를 포함한다.
[0367] 제131 양상에서, 양상들 127 내지 130 중 어느 한 양상의 디스플레이 시스템에 있어서, 복수의 교정들 중 하나 또는 그 초과는 눈 포지션에 가장 근접한 교정 포지션과 연관된 교정을 포함한다.
[0368] 제132 양상에서, 양상들 127 내지 131 중 어느 한 양상의 디스플레이 시스템에 있어서, 보정을 계산하기 위하여, 하드웨어 프로세서는 결정된 눈 포지션 및 복수의 교정들 중 하나 또는 그 초과의 교정의 교정 포지션들에 적어도 부분적으로 기반하여 복수의 교정들 중 하나 또는 그 초과의 교정 중에서 내삽 또는 외삽하도록 프로그래밍된다.
[0369] 제133 양상에서, 양상들 127 내지 132 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 사용자의 제1 눈과 연관된 제1 디스플레이 및 사용자의 제2 눈과 연관된 제2 디스플레이를 포함하며, 하드웨어 프로세서는 제1 디스플레이에 대한 사용자의 눈 포지션을 결정하고 제2 디스플레이에 대한 보정을 계산하기 위하여 결정된 눈 포지션을 적용하도록 프로그래밍된다.
[0370] 제134 양상에서, 양상들 127 내지 133 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 사용자의 제1 눈과 연관된 제1 디스플레이 및 사용자의 제2 눈과 연관된 제2 디스플레이를 포함하며, 복수의 교정들 중 적어도 일부는 제1 디스플레이 및 제2 디스플레이에 대한 평균 교정을 나타낸다.
[0371] 제135 양상에서, 양상들 127 내지 134 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 광 필드 디스플레이를 포함한다.
[0372] 제136 양상에서, 양상들 127 내지 135 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 복수의 도파관들을 포함하는 스택가능 도파관 어셈블리를 포함한다.
[0373] 제137 양상에서, 양상들 127 내지 136 중 어느 한 양상의 디스플레이 시스템에 있어서, 디스플레이는 헤더-장착 웨어러블 디스플레이 시스템으로서 구성된다.
[0374] 제138 양상에서, 양상들 127 내지 137 중 어느 한 양상의 디스플레이 시스템에 있어서, 복수의 교정들의 각각의 교정은 디스플레이의 공간 결함, 디스플레이의 색채 결함 또는 공간 결함 및 색채 결함 둘다를 보정한다.
[0375] 제139 양상에서, 양상 138의 디스플레이 시스템에 있어서, 공간 결함은 평면내 병진, 회전, 스케일링 또는 워핑 에러 또는 평면외 또는 초점 깊이 에러 중 하나 또는 그 초과를 포함한다.
[0376] 제140 양상에서, 양상 138의 디스플레이 시스템에 있어서, 색채 결함은 디스플레이에 의해 디스플레이가능한 컬러와 연관된 휘도 평탄도 또는 색채 균일성 에러 중 하나 또는 그 초과를 포함한다.
[0377] 제141 양상에서, 디스플레이를 교정하기 위한 방법이 제공된다. 방법은, 컴퓨터 하드웨어에 의해 수행되는 동적 교정 시스템의 제어하에 있으며, 디스플레이의 사용자에 대한 눈 포지션을 결정하는 단계; 결정된 눈 포지션에 적어도 부분적으로 기반하여, 디스플레이에 대한 교정에 액세스하는 단계 ― 교정은 결정된 눈 포지션 및 연관된 교정 포지션에 기반하여 선택됨 ―; 액세스된 교정에 적어도 부분적으로 기반하여, 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 계산하는 단계; 및 보정을 디스플레이에 적용하는 단계를 포함한다.
[0378] 제142 양상에서, 양상 141의 방법에 있어서, 교정에 액세스하는 단계는 복수의 교정들로부터 하나 또는 그 초과의 교정들을 선택하는 단계를 포함하며, 각각의 교정은 디스플레이에 대한 상이한 교정 포지션과 연관된다.
[0379] 제143 양상에서, 양상 142의 방법에 있어서, 교정 포지션들은 디스플레이에 걸쳐 그리드로 배열된다.
[0380] 제144 양상에서, 양상들 142 내지 143 중 어느 한 양상의 방법에 있어서, 보정을 계산하는 단계는 결정된 눈 포지션 및 복수의 교정들 중 하나 또는 그 초과의 교정의 연관된 교정 포지션들에 적어도 부분적으로 기반하여 복수의 교정들 중 하나 또는 그 초과의 교정 중에서 내삽 또는 외삽하는 단계를 포함한다.
[0381] 제145 양상에서, 양상들 141 내지 144 중 어느 한 양상의 방법은 디스플레이의 사용자의 눈의 이미지에 액세스하는 단계 및 눈의 이미지에 적어도 부분적으로 기반하여 눈 포지션을 결정하는 단계를 더 포함한다.
[0382] 제146 양상에서, 양상들 141 내지 145 중 어느 한 양상의 방법에 있어서, 교정을 계산하는 단계는 디스플레이의 공간 결함, 디스플레이의 색채 결함 또는 공간 결함 및 색채 결함 둘다를 교정하는 단계를 포함한다.
[0383] 제147 양상에서, 웨어러블 디스플레이 시스템이 제공되는데, 이 웨어러블 디스플레이 시스템은 내향-대면 이미징 시스템; 디스플레이; 디스플레이에 대한 복수의 교정들을 저장하도록 구성된 비-일시적 데이터 저장소 ― 복수의 교정들의 각각의 교정은 디스플레이에 대한 교정 포지션과 연관됨 ―; 및 내향-대면 이미징 시스템, 디스플레이 및 비-일시적 데이터 저장소와 통신하는 하드웨어 프로세서를 포함하며; 하드웨어 프로세서는 내향-대면 이미징 시스템을 사용하여, 디스플레이의 사용자의 디스플레이에 대한 눈 포지션을 결정하며, 결정된 눈 포지션 및 복수의 교정들 중 하나 또는 그 초과의 교정에 적어도 부분적으로 기반하여 디스플레이의 공간 결함 또는 디스플레이의 색채 결함 중 하나 또는 그 초과를 적어도 부분적으로 보정하기 위하여 디스플레이에 적용할 보정을 계산하며, 그리고 디스플레이에 보정을 적용하도록 프로그래밍된다.
[0384] 제148 양상에서, 양상 147의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는 눈 포지션의 변경을 모니터링하는 피드백 루프를 통해 보정을 적용하도록 프로그래밍된다.
[0385] 제149 양상에서, 양상들 147 또는 148 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 하드웨어 프로세서는 이전 눈 포지션에 대한 눈 포지션의 변경을 결정하고 그리고 변경이 임계치를 초과하는 경우에 보정을 계산하도록 프로그래밍된다.
[0386] 제150 양상에서, 양상들 147 내지 149 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 공간 결함은 평면내 병진, 회전, 스케일링 또는 워핑 에러 또는 평면외 또는 초점 깊이 에러 중 하나 또는 그 초과를 포함한다.
[0387] 제151 양상에서, 양상들 147 내지 150 중 어느 한 양상의 웨어러블 디스플레이 시스템에 있어서, 색채 결함은 디스플레이에 의해 디스플레이가능한 컬러와 연관된 휘도 평탄도 또는 색채 균일성 에러 중 하나 또는 그 초과를 포함한다.
결론
[0388] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 프로세스들, 방법들 및 알고리즘들 각각은 하나 또는 그 초과의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특수 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고 이들에 의해 전체적으로 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수목적 컴퓨터들, 특수 목적 회로들 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나 또는 해석형 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0389] 더욱이, 본 개시내용의 기능성의 특정 구현들은 예컨대 수반되는 계산량 또는 계산의 복잡성으로 인해 그 기능성을 수행하거나 또는 실질적으로 실시간으로 결과들을 제공하기 위하여 애플리케이션-특정 하드웨어 또는 하나 또는 그 초과의 물리적 컴퓨팅 디바이스들(적절히 전문화된 실행가능 명령들을 활용함)이 필요할 수 있기 때문에 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하다. 예컨대, 비디오는 각각이 수백만 픽셀들을 갖는 많은 프레임들을 포함할 수 있으며, 상업적으로 적정한 시간량에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 비디오 데이터를 처리하는데 특수하게 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0390] 코드 모듈들 또는 임의의 타입의 데이터는 하드 드라이브들, 고체상태 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비-휘발성 스토리지, 전술한 것들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지와 같은 임의의 타입의 비-일시적 컴퓨터-판독가능 매체상에 저장될 수 있다. 방법들 및 모듈들 (또는 데이터)은 또한 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들을 통해 일반화된 데이터 신호들로서 (예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 송신될 수 있고 (예컨대, 단일 또는 다중화된 아날로그 신호의 부분으로서 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태를 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 그렇지 않으면 임의의 타입의 비-일시적 유형의 컴퓨터 스토리지에 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0391] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스에서 특정 기능들(예컨대, 논리적 또는 산술적) 또는 단계들을 구현하기 위한 하나 또는 그 초과의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 결합되거나, 재배열되거나, 본원에서 제공된 예시적인 예들에 추가되거나 또는 이들로부터 제거되거나 또는 수정되거나 또는 그렇지 않으면 변경될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들의 일부 또는 전부를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이에 관한 블록들, 단계들 또는 상태들은 예컨대 직렬로, 병렬로 또는 임의의 다른 방식으로 적절한 다른 시퀀스들로 수행될 수 있다. 개시된 예시적인 실시예들에 태스크들 또는 이벤트들이 추가되거나 또는 이들로부터 삭제될 수 있다. 게다가, 본원에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시적인 목적을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 또는 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현의 변형들이 가능하다.
[0392] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경으로 구현될 수 있다. 네트워크 환경들은 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소싱(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹을 포함한다. 네트워크는 유선 또는 무선 네트워크일 수 있거나 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0393] 본 개시내용의 시스템들 및 방법들은 각각 여러 혁신적인 양상들을 가지며, 이들 양상들 중 어떠한 단일 양상도 본원에 개시된 바람직한 속성들을 단독으로 담당하지 않거나 또는 이러한 속성들을 위해 요구되지 않는다. 앞서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나 또는 다양한 방식들로 결합될 수 있다. 모든 가능한 조합들 및 부조합들은 본 개시내용의 범위내에 있는 것으로 의도된다. 본 개시내용에 개시된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 명백할 것이며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위로부터 벗어남이 없이 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에서 제시된 구현들로 제한되는 것으로 의도된 것이 아니라, 본 개시내용, 본원에 개시된 원리들 및 신규한 특징들과 일치하는 가장 넓은 범위에 부합해야 한다.
[0394] 개별적인 구현들의 맥락에서 본 명세서에서 설명된 특정 특징들은 또한 단일 구현에서 조합하여 구현될 수 있다. 역으로, 단일 구현의 맥락에서 설명되는 다양한 특징들은 또한 다수의 구현들에서 개별적으로 구현되거나 또는 임의의 적절한 부조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하는 것으로 앞서 설명되고 심지어 처음에 이와같이 청구될 수 있을지라도, 청구된 조합으로부터의 하나 또는 그 초과의 특징들은 일부 경우들에서 조합으로부터 삭제될 수 있으며, 청구된 조합은 부조합 또는 부조합의 변형으로 유도될 수 있다. 어떤 단일 특징 또는 특징들의 그룹도 각각의 그리고 모든 실시예에서 필요하거나 필수적이지 않다.
[0395] 특히 "할수 있다", "할 수 있었다", "할수도 있었다", "할수도 있다", "예컨대" 등과 같이 본원에서 사용된 조건부 언어는, 달리 구체적으로 언급되지 않거나 또는 사용되는 문맥내에서 달리 이해되지 않으면, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계를 포함하는 반면에 다른 실시예들이 이러한 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지 않는다는 것을 전달하기 위하여 의도된다. 따라서, 이러한 조건부 언어는 일반적으로 하나 또는 그 초과의 실시예들에 대해 특징들, 엘리먼트들 및/또는 단계들이 어떤식으로든 요구되는 것을 의미하거나 또는 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되거나 또는 임의의 특정 실시예에서 수행되어야 하는지의 여부를 저자의 입력 또는 프롬프팅(prompting)이 있는 경우나 또는 없는 경우에도 결정하기 위한 로직을 하나 또는 그 초과의 실시예들이 반드시 포함하는 것을 의미하는 것으로 의도되지 않는다. "포함하는", "구비하는", "가진" 등의 용어들은 동의어이며, 오픈-엔드 방식(open-ended fashion)으로 포괄적으로 사용되며 부가적인 엘리먼트들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 예컨대 일 리스트의 엘리먼트들을 연결하도록 사용될 때 "또는"이라는 용어가 리스트의 엘리먼트들 중 하나, 일부 또는 전부를 의미하도록 (배타적 의미가 아니라) 포괄적인 의미로 사용된다. 게다가, 본 출원 및 첨부된 청구항들에서 사용되는 단수 의미는 달리 특정하지 않으면 "하나 또는 그 초과" 또는 "적어도 하나"를 의미하는 것으로 해석되어야 한다.
[0396] 본원에서 사용되는 바와같이, 항목들의 리스트 "중 적어도 하나"를 지칭하는 문구는 단일 부재들을 비롯하여 이들 항목들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A, B, C, A 및 B, A 및 C, B 및 C 및 A, B 및 C를 커버하도록 의도된다. "X, Y 및 Z 중 적어도 하나"라는 문구와 같은 결합 언어는, 달리 특별히 언급하지 않으면, 항목, 용어 등이 X , Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위하여 일반적으로 사용되는 문맥으로 달리 이해된다. 따라서, 이러한 결합 언어는 특정 실시예들이, X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 의미하는 것으로 일반적으로 의도되지 않는다.
[0397] 유사하게, 동작들이 특정 순서로 도면들에 도시될 수 있지만, 바람직한 결과들을 달성하기 위해서, 이러한 동작들이 도시된 특정 순서대로 또는 순차적인 순서로 수행될 필요가 없거나 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 더욱이, 도면들은 하나 또는 그 초과의 예시적인 프로세스들을 흐름도의 형태로 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 또는 그 초과의 추가적인 동작들이, 예시된 동작들 중 임의의 동작 이전에, 이 임의의 동작 이후에, 이 임의의 동작과 동시에, 또는 이 임의의 동작들 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재정렬하거나 재순서화될 수 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 앞서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 물건으로 함께 통합되거나 또는 다수의 소프트웨어 물건들로 패키징될 수 있음이 이해되어야 한다. 부가적으로, 다른 구현들이 하기 청구항들의 범위내에 속한다. 일부 경우들에서, 청구항들에서 인용된 동작들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 바람직한 결과들을 달성할 수 있다.

Claims (20)

  1. 헤드 장착 디스플레이 시스템으로서,
    눈-추적 카메라;
    상기 헤드 장착 디스플레이 시스템의 착용자의 눈 앞에 배치되도록 구성된 웨어러블 디스플레이 ― 상기 디스플레이는 상기 착용자의 눈에 가상 이미지 컨텐츠를 제시하도록 구성되고, 상기 디스플레이는 복수의 깊이 평면들을 포함하고, 상기 디스플레이는 상이한 깊이 평면들에서 상이한 가상 이미지들을 제시하도록 구성됨 ―;
    상기 디스플레이에 대한 교정을 저장하도록 구성된 비-일시적 데이터 저장소 ― 상기 교정은 상기 깊이 평면들 각각에서 가상 이미지들의 지점들의 투영된 포지션들과 예상된 포지션들 사이의 편차들에 대응하는 벡터들을 포함하는 벡터 필드와 연관됨 ―; 및
    상기 눈-추적 카메라, 상기 웨어러블 디스플레이 및 상기 비-일시적 데이터 저장소와 통신하는 하드웨어 프로세서를 포함하며,
    상기 하드웨어 프로세서는,
    상기 눈-추적 카메라로부터의 정보에 기반하여, 상기 디스플레이의 상기 착용자의 상기 디스플레이에 대한 눈 포지션을 결정하며;
    상기 교정에 액세스하며;
    상기 교정 및 상기 눈 포지션에 적어도 부분적으로 기반하여, 상기 디스플레이의 결함을 적어도 부분적으로 보정하기 위하여 상기 디스플레이의 상기 깊이 평면들 중 적어도 하나에 적용할 보정을 계산하며; 그리고
    상기 디스플레이의 상기 깊이 평면들 중 적어도 하나에 상기 보정을 적용하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
  2. 제1 항에 있어서,
    상기 복수의 깊이 평면들 각각은 상기 디스플레이에 대한 컬러 및 깊이와 연관되는, 헤드 장착 디스플레이 시스템.
  3. 제1 항에 있어서,
    상기 교정은 상기 벡터 필드의 발산 또는 컬(curl)과 연관되는, 헤드 장착 디스플레이 시스템.
  4. 제1 항에 있어서,
    상기 교정은 상기 디스플레이의 상기 깊이 평면들 중 적어도 하나에 대한 중심화 보정, 회전 보정, 스케일링(scaling) 보정, 공간 매핑, 워핑(warping) 에러 또는 평면외 초점 깊이 에러에 대해 보정하는, 헤드 장착 디스플레이 시스템.
  5. 제1 항에 있어서,
    상기 웨어러블 디스플레이는 상기 착용자의 제1 눈과 연관된 제1 디스플레이 및 상기 착용자의 제2 눈과 연관된 제2 디스플레이를 포함하며, 상기 교정은 상기 제1 디스플레이에 대한 제1 교정 및 상기 제2 디스플레이에 대한 제2 교정을 포함하는, 헤드 장착 디스플레이 시스템.
  6. 제5 항에 있어서,
    상기 제1 교정 및 상기 제2 교정은 동일하며, 상기 제1 디스플레이 및 상기 제2 디스플레이에 대한 평균 교정을 나타내는, 헤드 장착 디스플레이 시스템.
  7. 제1 항에 있어서,
    상기 웨어러블 디스플레이는 광 필드 디스플레이를 포함하는, 헤드 장착 디스플레이 시스템.
  8. 제1 항에 있어서,
    상기 웨어러블 디스플레이는 복수의 도파관들을 포함하는 스택된 도파관 어셈블리를 포함하고, 상기 복수의 깊이 평면들의 깊이 평면은 상기 복수의 도파관들 중 적어도 하나를 포함하는, 헤드 장착 디스플레이 시스템.
  9. 제1 항에 있어서,
    상기 교정은 상기 복수의 깊이 평면들 중 2개 이상의 깊이 평면들 사이의 색채 미스매치(mismatch)를 포함하는 상기 웨어러블 디스플레이의 색채 결함에 대해 보정하는 색채 교정을 더 포함하는, 헤드 장착 디스플레이 시스템.
  10. 제9 항에 있어서,
    상기 색채 교정은 상기 복수의 깊이 평면들 중 상기 2개 이상의 깊이 평면들 사이의 휘도에 대한 조정을 포함하는, 헤드 장착 디스플레이 시스템.
  11. 제10 항에 있어서,
    상기 조정은 상기 2개 이상의 깊이 평면들의 휘도 값들을 상기 2개 이상의 깊이 평면들의 상기 휘도 값들의 최소값으로 감소시키는 것을 포함하는, 헤드 장착 디스플레이 시스템.
  12. 제1 항에 있어서,
    상기 교정은 복수의 교정들을 포함하고, 상기 복수의 교정들의 각각의 교정은 상기 웨어러블 디스플레이에 대한 교정 포지션과 연관되는, 헤드 장착 디스플레이 시스템.
  13. 제12 항에 있어서,
    상기 보정을 계산하기 위해, 상기 하드웨어 프로세서는 상기 복수의 교정들 중 하나 이상 교정들의 교정 포지션들 및 결정된 눈 포지션에 적어도 부분적으로 기초하여 상기 복수의 교정들 중 하나 이상의 교정들 사이에서 내삽(interpolate) 또는 외삽(extrapolate)하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
  14. 제12 항에 있어서,
    상기 보정을 계산하기 위해, 상기 하드웨어 프로세서는 상기 복수의 교정들로부터, 결정된 눈 포지션에 가장 가까운 교정 포지션을 갖는 교정을 선택하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
  15. 제12 항에 있어서,
    상기 교정 포지션들은 상기 웨어러블 디스플레이에 걸쳐 그리드로 배열되는, 헤드 장착 디스플레이 시스템.
  16. 제1 항에 있어서,
    상기 하드웨어 프로세서는 상기 눈 포지션의 변화를 모니터링하는 피드백 루프를 통해 보정을 적용하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
  17. 제1 항에 있어서,
    상기 하드웨어 프로세서는 이전 눈 포지션에 대한 상기 눈 포지션의 변화를 결정하고, 상기 변화가 임계치를 초과하는 경우 상기 보정을 계산하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
  18. 제1 항에 있어서,
    상기 벡터 필드는 상기 가상 이미지들의 지점들의 투영된 포지션들과 예상된 포지션들 사이의 평면내 및 평면외 편차들에 대응하는 3차원(3D) 벡터 필드를 포함하는, 헤드 장착 디스플레이 시스템.
  19. 제18 항에 있어서,
    상기 보정은 평면내 보정 및 평면외 보정을 포함하는, 헤드 장착 디스플레이 시스템.
  20. 제19 항에 있어서,
    상기 하드웨어 프로세서는 상기 평면외 보정을 적용하기 전에 상기 평면내 보정을 적용하도록 프로그래밍되는, 헤드 장착 디스플레이 시스템.
KR1020247003400A 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정 KR20240017132A (ko)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201562250934P 2015-11-04 2015-11-04
US201562250925P 2015-11-04 2015-11-04
US62/250,925 2015-11-04
US62/250,934 2015-11-04
US201662278824P 2016-01-14 2016-01-14
US201662278779P 2016-01-14 2016-01-14
US201662278794P 2016-01-14 2016-01-14
US62/278,824 2016-01-14
US62/278,779 2016-01-14
US62/278,794 2016-01-14
PCT/US2016/060158 WO2017079329A1 (en) 2015-11-04 2016-11-02 Dynamic display calibration based on eye-tracking
KR1020187015896A KR102633000B1 (ko) 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015896A Division KR102633000B1 (ko) 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정

Publications (1)

Publication Number Publication Date
KR20240017132A true KR20240017132A (ko) 2024-02-06

Family

ID=58634472

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020247012058A KR20240055844A (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측
KR1020247003400A KR20240017132A (ko) 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정
KR1020187015893A KR102592980B1 (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측
KR1020237035743A KR102657948B1 (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측
KR1020187015896A KR102633000B1 (ko) 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247012058A KR20240055844A (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020187015893A KR102592980B1 (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측
KR1020237035743A KR102657948B1 (ko) 2015-11-04 2016-11-02 광 필드 디스플레이 계측
KR1020187015896A KR102633000B1 (ko) 2015-11-04 2016-11-02 눈-추적 기반 동적 디스플레이 교정

Country Status (11)

Country Link
US (8) US10378882B2 (ko)
EP (4) EP4080194A1 (ko)
JP (5) JP6983773B2 (ko)
KR (5) KR20240055844A (ko)
CN (4) CN113489967A (ko)
AU (4) AU2016349891B9 (ko)
CA (2) CA3004278C (ko)
IL (4) IL292793B1 (ko)
NZ (2) NZ742518A (ko)
TW (2) TWI648559B (ko)
WO (2) WO2017079329A1 (ko)

Families Citing this family (193)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
JP6102602B2 (ja) 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
KR102564748B1 (ko) 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
AU2016278006B2 (en) 2015-06-15 2021-09-02 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
US9864208B2 (en) * 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US10073278B2 (en) 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
CN113759555A (zh) 2015-10-05 2021-12-07 迪吉伦斯公司 波导显示器
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US9946072B2 (en) * 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
US10378882B2 (en) 2015-11-04 2019-08-13 Magic Leap, Inc. Light field display metrology
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
EP3440497B1 (en) 2016-04-08 2023-08-16 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
KR102402467B1 (ko) 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN108235739B (zh) 2016-10-09 2021-03-16 鲁姆斯有限公司 使用矩形波导的孔径倍增器
KR102541662B1 (ko) 2016-11-08 2023-06-13 루머스 리미티드 광학 컷오프 에지를 구비한 도광 장치 및 그 제조 방법
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
JP7116058B2 (ja) 2016-11-18 2022-08-09 マジック リープ， インコーポレイテッド 空間可変液晶回折格子
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
JP7069160B2 (ja) 2016-12-08 2022-05-17 マジック リープ， インコーポレイテッド コレステリック液晶に基づく回折デバイス
JP7164525B2 (ja) 2016-12-14 2022-11-01 マジック リープ， インコーポレイテッド 表面整合パターンのソフトインプリント複製を用いた液晶のパターン化
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN108882845B (zh) 2016-12-31 2022-05-03 鲁姆斯有限公司 基于经由光导光学元件的视网膜成像的眼动追踪器
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
KR20230053724A (ko) 2017-01-23 2023-04-21 매직 립, 인코포레이티드 가상, 증강, 또는 혼합 현실 시스템들을 위한 접안렌즈
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
KR102655450B1 (ko) 2017-02-22 2024-04-05 루머스 리미티드 광 가이드 광학 어셈블리
IL301881B1 (en) 2017-02-23 2024-04-01 Magic Leap Inc Display system with variable power reflector
TWI663427B (zh) * 2017-03-15 2019-06-21 宏碁股份有限公司 頭戴式顯示器及利用子像素位移之色差補償方法
IL269317B2 (en) 2017-03-21 2023-11-01 Magic Leap Inc An eye imaging device that uses optical refractive elements
WO2018176493A1 (en) * 2017-04-01 2018-10-04 SZ DJI Technology Co., Ltd. Low-profile multi-band hyperspectral imaging for machine vision
CN107068114B (zh) * 2017-04-24 2019-04-30 北京小米移动软件有限公司 屏幕颜色调整方法、装置、设备及存储介质
CN108931357B (zh) * 2017-05-22 2020-10-23 宁波舜宇车载光学技术有限公司 测试标靶和相应的镜头mtf检测系统及方法
US10634921B2 (en) * 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
JP6856914B2 (ja) * 2017-07-18 2021-04-14 ハンジョウ タロ ポジショニング テクノロジー カンパニー リミテッドＨａｎｇｚｈｏｕ Ｔａｒｏ Ｐｏｓｉｔｉｏｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． インテリジェントな物体追跡
WO2019016813A1 (en) 2017-07-19 2019-01-24 Lumus Ltd. LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
CN109387939B (zh) * 2017-08-09 2021-02-12 中强光电股份有限公司 近眼式显示装置及其显示影像的校正方法
TWI646466B (zh) * 2017-08-09 2019-01-01 宏碁股份有限公司 視覺範圍映射方法及相關眼球追蹤裝置與系統
US10551614B2 (en) * 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
EP3672478A4 (en) 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
US11160449B2 (en) * 2017-08-29 2021-11-02 Verily Life Sciences Llc Focus stacking for retinal imaging
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
CN107680047A (zh) * 2017-09-05 2018-02-09 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备
IL273397B1 (en) 2017-09-21 2024-05-01 Magic Leap Inc An augmented reality display with a waveguide configured to capture images of an eye and/or environment
US11368657B2 (en) * 2017-09-28 2022-06-21 Disney Enterprises, Inc. Light field based projector calibration method and system
WO2019077614A1 (en) 2017-10-22 2019-04-25 Lumus Ltd. ENHANCED REALITY DEVICE MOUNTED ON THE HEAD AND USING AN OPTICAL BENCH
AU2018369622A1 (en) * 2017-11-15 2020-05-14 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements
US11181977B2 (en) 2017-11-17 2021-11-23 Dolby Laboratories Licensing Corporation Slippage compensation in eye tracking
US10586360B2 (en) * 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
KR20200096274A (ko) 2017-12-03 2020-08-11 루머스 리미티드 광학 장치 정렬 방법
KR20230152180A (ko) 2017-12-10 2023-11-02 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US10681344B2 (en) * 2017-12-15 2020-06-09 Samsung Display Co., Ltd. System and method for mura detection on a display
CN111683584A (zh) 2017-12-15 2020-09-18 奇跃公司 用于增强现实显示系统的目镜
US10643576B2 (en) 2017-12-15 2020-05-05 Samsung Display Co., Ltd. System and method for white spot Mura detection with improved preprocessing
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
FI129586B (en) * 2017-12-22 2022-05-13 Dispelix Oy Waveguide display element with many pupils and display device
CN111557023A (zh) * 2017-12-29 2020-08-18 Pcms控股公司 使用公共对象维持颜色校准的方法和系统
NL2020216B1 (en) * 2017-12-30 2019-07-08 Zhangjiagang Kangde Xin Optronics Mat Co Ltd Method for reducing crosstalk on an autostereoscopic display
TWI791728B (zh) * 2018-01-02 2023-02-11 以色列商魯姆斯有限公司 具有主動對準的增強現實顯示裝置及其對準方法
US20190038964A1 (en) * 2018-01-12 2019-02-07 Karthik Veeramani Personalized calibration and adaption of vr experience
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
IL275824B1 (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
DE102018105917A1 (de) * 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
US10860399B2 (en) 2018-03-15 2020-12-08 Samsung Display Co., Ltd. Permutation based stress profile compression
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
KR20200144097A (ko) * 2018-04-12 2020-12-28 도판 인사츠 가부시키가이샤 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
KR20210013173A (ko) 2018-05-23 2021-02-03 루머스 리미티드 부분 반사 내부면이 있는 도광 광학 요소를 포함한 광학 시스템
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US10495882B1 (en) * 2018-06-04 2019-12-03 Facebook Technologies, Llc Positioning cameras in a head mounted display to capture images of portions of a face of a user
JP7369147B2 (ja) 2018-06-05 2023-10-25 マジック リープ， インコーポレイテッド 視認システムのホモグラフィ変換行列ベースの温度較正
KR20210022708A (ko) 2018-06-21 2021-03-03 루머스 리미티드 도광체 광학소자의 플레이트들 사이의 굴절률 불균일성에 대한 측정 기술
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010271A1 (en) 2018-07-05 2020-01-09 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
EP3821289B1 (en) * 2018-07-13 2024-01-31 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
US10884492B2 (en) * 2018-07-20 2021-01-05 Avegant Corp. Relative position based eye-tracking system
TWI675583B (zh) * 2018-07-23 2019-10-21 緯創資通股份有限公司 擴增實境系統及其色彩補償方法
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7456995B2 (ja) 2018-07-24 2024-03-27 マジック リープ， インコーポレイテッド 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023542A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN108985291B (zh) * 2018-08-07 2021-02-19 东北大学 一种基于单摄像头的双眼追踪系统
US10861415B2 (en) * 2018-08-14 2020-12-08 Facebook Technologies, Llc Display device with throughput calibration
US10607353B2 (en) * 2018-08-30 2020-03-31 Facebook Technologies, Llc Structured light depth sensing
US11205378B1 (en) * 2018-09-07 2021-12-21 Apple Inc. Dynamic uniformity compensation for electronic display
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11906740B2 (en) * 2018-09-20 2024-02-20 Sony Interactive Entertainment Inc. Display system, program, display method, and head mounted device
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3857294A4 (en) 2018-09-26 2022-06-08 Magic Leap, Inc. OPTICAL POWER DIFFRACTION OPTICAL ELEMENTS
US10795630B2 (en) 2018-10-10 2020-10-06 International Business Machines Corporation Configuring computing device to utilize a multiple display arrangement by tracking eye movement
US10803791B2 (en) 2018-10-31 2020-10-13 Samsung Display Co., Ltd. Burrows-wheeler based stress profile compression
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
JP2022509083A (ja) 2018-11-20 2022-01-20 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
KR20210106990A (ko) 2018-11-30 2021-08-31 피씨엠에스 홀딩스, 인크. 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치
KR102221991B1 (ko) * 2018-12-06 2021-03-04 한국광기술원 패턴을 생성하여 디스플레이의 초점 조절기능 제공 유무를 판별하는 장치 및 방법
US10990168B2 (en) * 2018-12-10 2021-04-27 Samsung Electronics Co., Ltd. Compensating for a movement of a sensor attached to a body of a user
US11212509B2 (en) 2018-12-20 2021-12-28 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
US20200209669A1 (en) * 2018-12-28 2020-07-02 Lightspace Technologies, SIA Electro-optical unit for volumetric display device
CN111399633B (zh) * 2019-01-03 2023-03-31 见臻科技股份有限公司 针对眼球追踪应用的校正方法
WO2020146559A1 (en) * 2019-01-09 2020-07-16 Vuzix Corporation Color correction for virtual images of near-eye displays
US11200655B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Wearable visualization system and method
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US20200264378A1 (en) 2019-02-15 2020-08-20 Digilens Inc. Methods and Apparatuses for Providing a Holographic Waveguide Display Using Integrated Gratings
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system
US10650785B1 (en) * 2019-02-21 2020-05-12 Microsoft Technology Licensing, Llc Color management of display device
WO2020183229A1 (en) 2019-03-12 2020-09-17 Lumus Ltd. Image projector
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
KR102664402B1 (ko) * 2019-03-14 2024-05-08 삼성전자주식회사 표시장치에 포함된 광학요소에 의한 노이즈를 보정하기 위한 보정패턴 획득장치와 이를 이용한 노이즈 보정패턴 획득방법
US11024002B2 (en) * 2019-03-14 2021-06-01 Intel Corporation Generating gaze corrected images using bidirectionally trained network
EP3963565A4 (en) 2019-05-01 2022-10-12 Magic Leap, Inc. CONTENT DELIVERY SYSTEM AND PROCEDURES
EP3736796A1 (en) * 2019-05-07 2020-11-11 Wooptix S.L. Method and optical system for characterizing displays
US11308873B2 (en) 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
WO2020247930A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing
CN114286962A (zh) 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
US11099313B2 (en) 2019-06-24 2021-08-24 Magic Leap, Inc. Customized polymer/glass diffractive waveguide stacks for augmented reality/mixed reality applications
BR112021025737A2 (pt) 2019-07-04 2022-02-15 Lumus Ltd Sistema óptico e sistema óptico para exibir uma imagem a um olho de um usuário
CN110310313B (zh) * 2019-07-09 2021-10-01 中国电子科技集团公司第十三研究所 一种图像配准方法、图像配准装置及终端
US11868525B2 (en) * 2019-07-16 2024-01-09 Magic Leap, Inc. Eye center of rotation determination with one or more eye tracking cameras
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
EP3786767B1 (en) * 2019-07-29 2023-11-08 HTC Corporation Eye tracking method, head-mounted display, and computer readable storage medium
US11156829B2 (en) * 2019-07-29 2021-10-26 Facebook Technologies, Llc Pupil expander cailibration
JP2022552770A (ja) 2019-08-09 2022-12-20 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者：ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US11245931B2 (en) 2019-09-11 2022-02-08 Samsung Display Co., Ltd. System and method for RGBG conversion
RU2724442C1 (ru) * 2019-09-12 2020-06-23 Самсунг Электроникс Ко., Лтд. Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения
GB2578523B (en) * 2019-09-25 2021-08-11 Dualitas Ltd Holographic projection
KR102349087B1 (ko) * 2019-10-10 2022-01-12 한국과학기술연구원 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
CN110766733B (zh) * 2019-10-28 2022-08-12 广东三维家信息科技有限公司 单空间点云配准方法及装置
US11288503B2 (en) 2019-11-04 2022-03-29 Facebook Technologies, Llc Systems and methods for image adjustment based on pupil size
KR102658688B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치
EP4058979A4 (en) 2019-11-15 2023-01-11 Magic Leap, Inc. VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT
CN111047562B (zh) * 2019-11-26 2023-09-19 联想(北京)有限公司 一种处理方法、装置、电子设备及存储介质
JP7396738B2 (ja) 2019-12-05 2023-12-12 ルーマス リミテッド 相補的コーティング部分的反射器を用いた導光光学素子および低減された光散乱を有する導光光学素子
EP4070538A4 (en) 2019-12-06 2023-11-29 Magic Leap, Inc. CODING A STEREO HOME SCREEN INTO A STATIC IMAGE
US10965931B1 (en) 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
CN114746797A (zh) 2019-12-08 2022-07-12 鲁姆斯有限公司 具有紧凑型图像投影仪的光学系统
CN113010125B (zh) 2019-12-20 2024-03-19 托比股份公司 方法、计算机程序产品和双目式头戴装置控制器
KR20210096449A (ko) 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
EP3875999A1 (en) * 2020-03-06 2021-09-08 Micledi Microdisplays BV Full color display systems and calibration methods thereof
CN111445453B (zh) * 2020-03-25 2023-04-25 森兰信息科技（上海）有限公司 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置
CN111707187B (zh) * 2020-05-12 2022-05-24 深圳大学 一种大型零件的测量方法及系统
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
WO2021262759A1 (en) * 2020-06-22 2021-12-30 Digilens Inc. Systems and methods for real-time color correction of waveguide based displays
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
JP2023531492A (ja) * 2020-06-26 2023-07-24 マジック リープ， インコーポレイテッド ディスプレイデバイスの色均一性補正
US11151755B1 (en) * 2020-07-29 2021-10-19 Adobe Inc. Image processing for increasing visibility of obscured patterns
WO2022025891A1 (en) * 2020-07-30 2022-02-03 Hewlett-Packard Development Company, L.P. Amounts of wavelengths of light during periods of time
EP4002346A1 (en) 2020-11-12 2022-05-25 Micledi Microdisplays BV Video pipeline system and method for improved color perception
US11442541B1 (en) * 2020-11-13 2022-09-13 Meta Platforms Technologies, Llc Color-based calibration for eye-tracking
TW202223465A (zh) 2020-11-18 2022-06-16 以色列商魯姆斯有限公司 內部小平面的取向的基於光學的驗證
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
US11733773B1 (en) 2020-12-29 2023-08-22 Meta Platforms Technologies, Llc Dynamic uniformity correction for boundary regions
EP4237903A4 (en) 2021-03-01 2024-04-24 Lumus Ltd COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE
US11681363B2 (en) * 2021-03-29 2023-06-20 Meta Platforms Technologies, Llc Waveguide correction map compression
US11735138B2 (en) * 2021-04-22 2023-08-22 GM Global Technology Operations LLC Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane
IL308019B1 (en) 2021-05-19 2024-02-01 Lumus Ltd Active optical engine
KR20240046489A (ko) 2021-08-23 2024-04-09 루머스 리미티드 내장된 커플링-인 반사기를 갖는 복합 도광 광학 요소의 제조 방법
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
US11927757B1 (en) 2021-10-29 2024-03-12 Apple Inc. Electronic device display having distortion compensation
US11722655B2 (en) * 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data
CN114397091A (zh) * 2021-12-07 2022-04-26 伟创力电子技术(苏州)有限公司 一种光波导模组的自动测试方法
US11754846B2 (en) 2022-01-21 2023-09-12 Meta Platforms Technologies, Llc Display non-uniformity correction
US11710212B1 (en) * 2022-01-21 2023-07-25 Meta Platforms Technologies, Llc Display non-uniformity correction
TWI817335B (zh) * 2022-01-25 2023-10-01 宏碁股份有限公司 立體影像播放裝置及其立體影像產生方法
CN116524045A (zh) * 2022-03-29 2023-08-01 腾讯科技（深圳）有限公司 颜色校准方法、装置、计算机设备和计算机可读存储介质
WO2023200176A1 (ko) * 2022-04-12 2023-10-19 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2024016163A1 (en) * 2022-07-19 2024-01-25 Jade Bird Display (shanghai) Limited Methods and systems for virtual imagecompensation and evaluation
CN115931303B (zh) * 2022-10-26 2023-11-17 江西凤凰光学科技有限公司 一种多色衍射光波导的测试方法

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05161166A (ja) * 1991-12-04 1993-06-25 Sony Corp 立体映像信号発生装置
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
JP3309431B2 (ja) 1992-07-15 2002-07-29 富士ゼロックス株式会社 情報処理装置
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5594563A (en) * 1994-05-31 1997-01-14 Honeywell Inc. High resolution subtractive color projection system
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
JPH1020245A (ja) * 1996-07-01 1998-01-23 Canon Inc 奥行き標本化式立体画像形成・表示装置
JPH11203986A (ja) 1998-01-16 1999-07-30 Denso Corp 多機能スイッチ装置
US6456339B1 (en) * 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
JP4348839B2 (ja) 2000-06-28 2009-10-21 ソニー株式会社 検査装置及び検査方法
US6816625B2 (en) * 2000-08-16 2004-11-09 Lewis Jr Clarence A Distortion free image capture system and method
US7308157B2 (en) * 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
US7530315B2 (en) * 2003-05-08 2009-05-12 Lone Star Ip Holdings, Lp Weapon and weapon system employing the same
JP2005101828A (ja) 2003-09-24 2005-04-14 Canon Inc 画像処理システム、画像処理方法、その記録媒体およびプログラム
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
JP4965800B2 (ja) * 2004-10-01 2012-07-04 キヤノン株式会社 画像表示システム
JP4560368B2 (ja) * 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
JP2006153914A (ja) * 2004-11-25 2006-06-15 Canon Inc 液晶プロジェクタ装置
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9843790B2 (en) * 2006-03-15 2017-12-12 Fovi 3D, Inc. Dynamic autostereoscopic displays
US20080144174A1 (en) * 2006-03-15 2008-06-19 Zebra Imaging, Inc. Dynamic autostereoscopic displays
US8406562B2 (en) * 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
EP1962517A1 (en) * 2007-02-21 2008-08-27 STMicroelectronics (Research & Development) Limited Error reduction in image sensors
JP2008258802A (ja) 2007-04-03 2008-10-23 Canon Inc 画像表示システム
EP2147296A1 (en) * 2007-04-18 2010-01-27 Micronic Laser Systems Ab Method and apparatus for mura detection and metrology
JP5089405B2 (ja) * 2008-01-17 2012-12-05 キヤノン株式会社 画像処理装置及び画像処理方法並びに撮像装置
JP2010199659A (ja) 2009-02-23 2010-09-09 Panasonic Corp 画像処理装置、及び画像処理方法
CN102396238B (zh) * 2009-05-14 2014-07-09 Eizo株式会社 立体图像显示装置
JP2010271565A (ja) * 2009-05-22 2010-12-02 Seiko Epson Corp 頭部装着型表示装置
HU0900478D0 (en) 2009-07-31 2009-09-28 Holografika Hologrameloeallito Method and apparatus for displaying 3d images
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8564647B2 (en) 2010-04-21 2013-10-22 Canon Kabushiki Kaisha Color management of autostereoscopic 3D displays
US8922636B1 (en) * 2010-08-20 2014-12-30 The United States Of America As Represented By The Secretary Of The Navy Synthetic aperture imaging for fluid flows
WO2012046270A1 (en) * 2010-10-05 2012-04-12 Empire Technology Development Llc Generation of depth data based on spatial light pattern
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
AU2011348122A1 (en) 2010-12-24 2013-07-11 Magic Leap Inc. An ergonomic head mounted display device and optical system
US8643684B2 (en) 2011-01-18 2014-02-04 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
CA2835120C (en) 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
WO2012172719A1 (ja) 2011-06-16 2012-12-20 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US8546454B2 (en) * 2011-07-26 2013-10-01 Unitel Technologies, Inc. Process and method for the producton of dimethylether (DME)
JP2013037021A (ja) 2011-08-03 2013-02-21 Canon Inc ディスプレイ及びヘッドマウントディスプレイ
JP2013045001A (ja) * 2011-08-25 2013-03-04 Fujitsu Ltd カラー表示方法およびカラー表示装置
CN103033936A (zh) * 2011-08-30 2013-04-10 微软公司 具有虹膜扫描剖析的头戴式显示器
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
JP6119091B2 (ja) 2011-09-30 2017-04-26 セイコーエプソン株式会社 虚像表示装置
US9157286B2 (en) * 2011-10-11 2015-10-13 Warrier Rig Ltd Portable pipe handling system
AU2012348348B2 (en) 2011-10-28 2017-03-30 Magic Leap, Inc. System and method for augmented and virtual reality
CN104067316B (zh) 2011-11-23 2017-10-27 奇跃公司 三维虚拟和增强现实显示系统
US8913789B1 (en) * 2012-01-06 2014-12-16 Google Inc. Input methods and systems for eye positioning using plural glints
KR102223290B1 (ko) 2012-04-05 2021-03-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
NZ702897A (en) 2012-06-11 2017-03-31 Magic Leap Inc Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9077973B2 (en) * 2012-06-29 2015-07-07 Dri Systems Llc Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
CN104508538B (zh) 2012-07-24 2018-06-22 索尼公司 图像显示装置及图像显示方法
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
NZ710096A (en) 2013-01-15 2018-11-30 Magic Leap Inc Ultra-high resolution scanning fiber display
JP2014142383A (ja) 2013-01-22 2014-08-07 Canon Inc 画像形成装置
CN105247447B (zh) * 2013-02-14 2017-11-10 脸谱公司 眼睛跟踪校准系统及方法
US20140240842A1 (en) * 2013-02-22 2014-08-28 Ian Nguyen Alignment-insensitive image input coupling
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
EP2972585A4 (en) * 2013-03-15 2016-10-19 Scalable Display Technologies Inc SYSTEM AND METHOD FOR CALIBRATING DISPLAY SYSTEM USING SHORT-DISTANCE PROJECTION VIEWING APPARATUS
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
TWI508554B (zh) 2013-05-21 2015-11-11 Univ Nat Taiwan 基於光場相機的影像對焦處理方法及其系統
JP2013240057A (ja) 2013-05-30 2013-11-28 Denso Corp ヘッドアップディスプレイ装置の調整方法
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US9146862B2 (en) * 2013-07-18 2015-09-29 International Business Machines Corporation Optimizing memory usage across multiple garbage collected computer environments
CN105408805B (zh) 2013-07-26 2018-06-15 西铁城时计株式会社 光源装置以及投影装置
KR102191139B1 (ko) 2013-08-19 2020-12-15 바스프 에스이 광학 검출기
US20150104101A1 (en) * 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
KR20230098359A (ko) 2013-10-16 2023-07-03 매직 립, 인코포레이티드 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들
JP6287095B2 (ja) * 2013-11-19 2018-03-07 セイコーエプソン株式会社 光学デバイス及び電子機器
KR102378457B1 (ko) 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
WO2015094191A1 (en) 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
CA2938264C (en) 2014-01-31 2020-09-22 Magic Leap, Inc. Multi-focal display system and method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10264211B2 (en) 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
AU2015255652B2 (en) 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ727350A (en) 2014-05-30 2020-08-28 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
CN104155819B (zh) * 2014-08-04 2017-03-15 上海中航光电子有限公司 像素结构及其驱动方法、显示装置
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US20160131902A1 (en) * 2014-11-12 2016-05-12 Anthony J. Ambrus System for automatic eye tracking calibration of head mounted display device
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US10378882B2 (en) 2015-11-04 2019-08-13 Magic Leap, Inc. Light field display metrology
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence

Also Published As

Publication number Publication date
WO2017079329A1 (en) 2017-05-11
IL292793B1 (en) 2024-02-01
KR20180080302A (ko) 2018-07-11
NZ742518A (en) 2019-08-30
IL259074A (en) 2018-07-31
US20200225024A1 (en) 2020-07-16
US11536559B2 (en) 2022-12-27
CN108476311A (zh) 2018-08-31
KR20230151554A (ko) 2023-11-01
EP3371972A4 (en) 2019-05-01
KR102633000B1 (ko) 2024-02-01
KR20180081103A (ko) 2018-07-13
JP2021073820A (ja) 2021-05-13
EP4235639A2 (en) 2023-08-30
TW201730627A (zh) 2017-09-01
IL259074B (en) 2022-06-01
IL292793A (en) 2022-07-01
AU2022224797A1 (en) 2022-09-22
CN108474737B (zh) 2021-04-06
US11226193B2 (en) 2022-01-18
EP4080194A1 (en) 2022-10-26
EP3371573B1 (en) 2022-06-15
US10378882B2 (en) 2019-08-13
CA3004271C (en) 2024-04-09
US20190323825A1 (en) 2019-10-24
JP6983773B2 (ja) 2021-12-17
JP2019504292A (ja) 2019-02-14
IL259072A (en) 2018-07-31
AU2016349891B9 (en) 2021-05-06
KR102592980B1 (ko) 2023-10-20
AU2016349891A1 (en) 2018-05-31
CN113358045A (zh) 2021-09-07
CA3004271A1 (en) 2017-05-11
IL259072B (en) 2022-06-01
EP4235639A3 (en) 2023-10-25
US20170122725A1 (en) 2017-05-04
US20240142224A1 (en) 2024-05-02
EP3371972A1 (en) 2018-09-12
CN113489967A (zh) 2021-10-08
EP3371573A4 (en) 2019-05-08
JP2021141612A (ja) 2021-09-16
US20210148697A1 (en) 2021-05-20
AU2016349891B2 (en) 2021-04-22
JP7210280B2 (ja) 2023-01-23
EP3371573A1 (en) 2018-09-12
AU2021202036A1 (en) 2021-04-29
KR102657948B1 (ko) 2024-04-16
TWI695999B (zh) 2020-06-11
CA3004278C (en) 2024-04-09
JP2023053974A (ja) 2023-04-13
JP7218398B2 (ja) 2023-02-06
US20190226830A1 (en) 2019-07-25
JP2019501564A (ja) 2019-01-17
NZ742532A (en) 2019-05-31
IL309607A (en) 2024-02-01
TW201908817A (zh) 2019-03-01
US10260864B2 (en) 2019-04-16
CN108476311B (zh) 2021-04-27
TWI648559B (zh) 2019-01-21
WO2017079333A1 (en) 2017-05-11
KR20240055844A (ko) 2024-04-29
US10571251B2 (en) 2020-02-25
AU2021202036B2 (en) 2022-06-09
US11454495B2 (en) 2022-09-27
AU2016349895B2 (en) 2022-01-13
CN108474737A (zh) 2018-08-31
CA3004278A1 (en) 2017-05-11
AU2016349895A1 (en) 2018-05-31
EP3371972B1 (en) 2023-06-07
US20230108721A1 (en) 2023-04-06
JP7189243B2 (ja) 2022-12-13
US20170124928A1 (en) 2017-05-04
US11898836B2 (en) 2024-02-13
AU2022224797B2 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
KR102657948B1 (ko) 광 필드 디스플레이 계측

Legal Events

Date Code Title Description
A107 Divisional application of patent
A302 Request for accelerated examination
E902 Notification of reason for refusal