TWI695999B - 顯示器之校正系統 - Google Patents
顯示器之校正系統 Download PDFInfo
- Publication number
- TWI695999B TWI695999B TW107136549A TW107136549A TWI695999B TW I695999 B TWI695999 B TW I695999B TW 107136549 A TW107136549 A TW 107136549A TW 107136549 A TW107136549 A TW 107136549A TW I695999 B TWI695999 B TW I695999B
- Authority
- TW
- Taiwan
- Prior art keywords
- display
- color
- calibration
- image
- luminance value
- Prior art date
Links
- 238000012937 correction Methods 0.000 claims description 106
- 230000007547 defect Effects 0.000 claims description 98
- 239000013598 vector Substances 0.000 claims description 68
- 238000013519 translation Methods 0.000 claims description 38
- 238000013507 mapping Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 17
- 230000002829 reductive effect Effects 0.000 claims description 12
- 238000006748 scratching Methods 0.000 claims 1
- 230000002393 scratching effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 12
- 210000001508 eye Anatomy 0.000 description 239
- 235000019557 luminance Nutrition 0.000 description 133
- 238000000034 method Methods 0.000 description 133
- 230000003287 optical effect Effects 0.000 description 120
- 230000008878 coupling Effects 0.000 description 58
- 238000010168 coupling process Methods 0.000 description 58
- 238000005859 coupling reaction Methods 0.000 description 58
- 230000006870 function Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 40
- 238000009826 distribution Methods 0.000 description 34
- 238000005259 measurement Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 30
- 210000001747 pupil Anatomy 0.000 description 30
- 210000000695 crystalline len Anatomy 0.000 description 28
- 230000008569 process Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 22
- 230000009466 transformation Effects 0.000 description 20
- 238000000605 extraction Methods 0.000 description 19
- 230000008447 perception Effects 0.000 description 17
- 230000004044 response Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 14
- 230000003190 augmentative effect Effects 0.000 description 13
- 101001048529 Plectranthus scutellarioides Hydroxyphenylpyruvate reductase Proteins 0.000 description 11
- 230000007423 decrease Effects 0.000 description 11
- 238000003702 image correction Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013442 quality metrics Methods 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000016776 visual perception Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 206010019233 Headaches Diseases 0.000 description 2
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 241000256856 Vespidae Species 0.000 description 1
- 238000001792 White test Methods 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000000748 compression moulding Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004815 dispersion polymer Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/506—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by screens, monitors, displays or CRTs
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0233—Improving the luminance or brightness uniformity across the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0242—Compensation of deficiencies in the appearance of colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
- G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Eye Examination Apparatus (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Details Of Measuring Devices (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Image Processing (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Micro-Organisms Or Cultivation Processes Thereof (AREA)
- Preparation Of Compounds By Using Micro-Organisms (AREA)
- Peptides Or Proteins (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
一種顯示器的校正系統，包括：一照相機，用以擷取一顯示器的一影像，顯示器包括配置為顯示一第一色彩的一第一色彩層以及顯示一第二色彩的一第二色彩層；一硬體處理器，通訊連接於照相機且被編程用以執行指令：接收顯示器的影像；決定顯示器的一色彩校正，色彩校正是修正顯示器的一色彩缺陷，其中為了決定色彩校正，硬體處理器被編程用以執行指令：比較對應於第一色彩層上的一點的一第一輝度值與對應於第二色彩層上的點的一第二輝度值；根據至少部分的第一輝度值與第二輝度值計算色彩校正；以及將校正儲存在關聯於顯示器的一記憶體中。
Description
本發明揭露出一種涉及虛擬實境、擴增實境成像和可視化系統，更具體地涉及用於測量、校準成像和可視化系統的光學性質的計量系統。同時，本文還揭露出一種根據眼球追蹤技術的虛擬實境、擴境實境成像和可視化系統的動態校準。
現代的運算和顯示技術已經讓所謂的“虛擬實境”與“擴增實境”體驗的系統開發變的更容易，其中用數位方式再現圖像或其中的部分圖像讓它們似乎可被視為真實的情境呈現給使用者。虛擬實境(或稱“VR”)，一般涉及的情境是用數位化或不具透明的虛擬影像訊息呈現到實際真實環境的視覺輸入；擴增實境(或稱“AR”)，一般涉及的情境是用數位化或虛擬影像訊息來呈現以增強使用者周圍的真實環境的可視化；或混合實境”MR”，其涉及合併現實世界和虛擬世界以產生新的環境，其中現實世界中的物件和虛擬世界的物件共同存在並即時產生互動。事實證明，人的視覺感知系統是複雜的，所以如何利用虛擬實境、擴增實境與混合實境的技術在其它虛擬或真實世界圖像元素中呈現出舒適、自然感覺、豐富的虛擬圖像元件是極具挑戰性的。本發明的系統與
方法揭露出如何解決虛擬實境、擴增實境及混合實境所產生的各種困難點。
一種顯示器的校正系統，包括：一照相機，用以擷取一顯示器的一影像，顯示器包括配置為顯示一第一色彩的一第一色彩層以及顯示一第二色彩的一第二色彩層；一硬體處理器，通訊連接於照相機且被編程用以執行指令：接收顯示器的影像；決定顯示器的一色彩校正，色彩校正是修正顯示器的一色彩缺陷，其中為了決定色彩校正，硬體處理器被編程用以執行指令：比較對應於第一色彩層上的一點的一第一輝度值與對應於第二色彩層上的點的一第二輝度值；根據至少部分的第一輝度值與第二輝度值計算色彩校正；以及將校正儲存在關聯於顯示器的一記憶體中。
在本說明書主題中所描述的一個或多個實施範例之細節會在圖示及以下的敘述來闡述說明。其它特徵、觀點和優點將從所述的說明、圖式和專利申請範圍而變得顯而易見。應注意，本發明內容和以下詳細描述都不是旨在限定或限制本發明主題的範圍。
100:擴增實境場景
110:真實環境公園化設定
120:混凝土平台
130:機器人雕像
140:卡通虛擬角色
200:顯示系統
204:觀看者、穿戴者、使用者
208:顯示器
212:框架
216:揚聲器
220:操作地耦接
224:局部處理和數據模組
228:遠程處理模組
232:遠程數據儲存庫
236、240:通訊線路
302、304:眼睛
306:平面
400:顯示系統
405:波導疊層組件
410:眼睛
420、422、424、426、428:波導
430、432、434、436:特徵(透鏡)
438:補償透鏡層
440、442、444、446、448:影像成形裝置
450:控制器
452、454:成像系統
456:世界
466:使用者輸入裝置
460、462、464、466、468:光提取光學元件
500:眼動追踪相機
505:光源
510:邊緣
515:出射光束
604:主平面波導
612:分佈平面波導
608、616:繞射光學元件(DOE)
620:彩色光源
624:光纖
628:中空管
632:懸臂
636:驅動電子
640:導線
644:元件
648:鏡面
702:校準圖案(棋盤方格圖案)
704:光場影像
802:預期位置
804:檢測位置
806:線
900:預期影像位置
900a:顯示影像位置
901:平移向量
902、904:中心位置
906:顯示影像
907:旋轉量
908:中心點
910:位置
912:影像
913:縮放量
914、922:期望影像
916、920:顯示影像
917:縮放量
918:預期影像
1002:投影深度平面
1004:預期深度平面
1006:旋轉軸線
1102、1104:區域
1202:位置
1204:模式
1206、1208:輝度值
1302、1304:強度分佈
1400:繪製圖
1402:紅色層
1404:藍色層
1406:綠色層
1408:平均輝度
1410:最大輝度(平均+最大誤差)
1412:最小輝度(平均一最大誤差)
1500:曲線圖
1502:紅色層
1504:藍色層
1506:綠色層
1600:流程圖
1602:相機校準
1604:空間誤差
1604a:XY中心
1604b:聚集旋轉
1604c:聚集縮放
1604d:空間映射
1606:色彩誤差
1606a:輝度平坦化
1606b:色彩平衡
1702、1710:物件
1708:距離
1706、1712:光線
1800:測量系統
1802:顯示器
1804:光線
1806:照相機
1808:控制器
1900:影像
1902、1904:區域
1910:深度圖
1912:測量焦深
1914:焦點深度
1916、1918:區域
1920:深度圖
1922:預期深度位置
1924:聚焦深度
2001:程序
2002:設定聚焦深度
2004:擷取聚焦深度處的虛擬目標圖案的影像
2006:更多聚焦深度
2008:改變聚焦深度
2010:識別目標圖案在不同區域聚焦的深度
2012:根據識別的聚焦深度來創建深度圖
2014:深度圖與期望的聚焦深度作比較
2016:執行誤差校正
2150:方法
2160:獲取顯示器影像
2170:契合全局變換參數
2180:契合局部變換參數
2190:變換參數儲存在與顯示器相關聯的儲存器中
2200:校準系統
2202:顯示器
2204:校準圖案
2206:光場
2208:照相機
2302:特徵點
2304:檢查框
2306:像素
2308:箭頭
2400:流程
2402:投影圖像
2404:擷取圖像的影像
2406:計算失真
2408:更多的位置
2410:在新的位置投影圖像
2412:生成失真圖
2414:執行誤差校正
2500:顯示器
2503i1、2503i2、2503i3:波長
2505:波導
2505a、2505b:主表面
2507:光輸入耦合元件
2509:光輸出耦合元件
2511:光分佈元件
2513:波長選擇濾波器
2600:動態校準系統
2602:點
2602a、2602b:位置
2610:動態校準處理器
2700:方法
2710:追踪眼睛以確定眼睛位置
2720:根據確定的眼睛位置存取顯示器的校準
2730:校準應用於顯示器以校正顯示器中的空間和/或色彩缺陷
2805:處理流程
2810:眼代理相機校準系統
2820:產生用於每個眼睛代理相機網格點的校準
2830:可由儲存器取出在記憶體內儲存校準(動態校準LUT)
2840:眼睛追踪系統
2850:根據眼睛透視位置從儲存器提取校準
2860:校準應用於顯示器
2870:使用者觀看校準的顯示器
圖1係為使用者利用擴增實境(AR)裝置來觀看擴增實境場景的示意圖。
圖2係為可佩戴顯示系統之實施示意圖。
圖3係為使用多個深度平面來模擬三維成像的示意圖。
圖4係為向使用者輸出影像訊息的疊層波導之實施示意圖。
圖5係為由波導輸出的出射光束之實施示意圖。
圖6係為波導裝置，用以將光耦合到波導裝置或從波導裝置耦合光的光耦合器子系統以及用於生成多焦點體積顯示、影像或光場的控制子系統之光學系統示意圖。
圖7係為顯示系統之投影校準圖案時所產生失真的實施示意圖。
圖8係為投影光場中的點之預期位置及實際顯示位置之間的映射偏差的一個或多個擷取影像生成的向量場之實施列示意圖。
圖9A係為平面內平移空間誤差實施示意圖。
圖9B係為聚集旋轉空間誤差的實施示意圖。
圖9C係為聚集縮放空間誤差的實施示意圖。
圖9D係為聚集縮放空間誤差的另一實施示意圖。
圖9E係為執行XY平移、旋轉和縮放的校正後的剩餘空間誤差的實施示意圖。
圖10A係為在不同深度觀看多個深度平面的實施示意圖。
圖10B-10D係為當觀察投影深度平面時，所產生的平面外空間誤差的實施示意圖。
圖10E係為面外空間誤差的實施示意圖。
圖11係為投影後的測試影像之擷取影像的實施示意圖。
圖12A係為投影後的測試影像之擷取影像所生成的強度直方示意圖。
圖12B係為投影後的測試影像之擷取影像所生成的強度分佈示意圖。
圖13係為模式、中間值及平均值差異性的強度直方示意圖。
圖14A係為投影後的測試影像之擷取影像所產生的紅-綠-藍(RGB)的強度示意圖。
圖14B係為映射最大色彩失衡誤差的曲線示意圖。
圖15係為具有不同強度的紅色層、綠色層和藍色層的顯示系統之色彩校正的RGB強度示意圖。
圖16係為在顯示系統上執行影像校正處理的實施流程圖。
圖17A係為利用正常光場來觀察物體的實施示意圖。
圖17B係為利用缺陷光場來觀察物體的實施示意圖。
圖18係為測量顯示器的光場質量之測量系統的實施示意圖。
圖19A係為照相機在特定聚焦深度上聚焦所擷取的影像之實施示意圖。
圖19B係為執行測量焦深的深度示意圖。
圖19C係為擷取一個或多個生成影像的深度示意圖。
圖20係為測量光場顯示生成的虛擬目標圖案的質量之實施流程圖。
圖21係用於校準顯示器的方法實施流程圖。
圖22係為使用校準圖案的校準系統之實施示意圖。
圖23A係用於棋盤校準圖案的實施示意圖。
圖23B係為單像素校準圖案的實施示意圖。
圖24係為用於校準投影光場過程的流程示意圖。
圖25A係揭露包括波導、光輸入耦合元件、光重新分件元件及光輸出耦合元件的顯示器之實施俯視示意圖。
圖25B係為揭露出圖25A沿軸線A-A'所示的顯示器之橫截面示意圖。
圖26係用於顯示器的動態校準系統之實施例，並可應用校準來校正網格參考位置(由點所示)的空間和/或色彩誤差的示意圖。
圖27係為根據眼動追踪動態校準顯示器的方法之流程示意圖。
圖28係為工廠校準系統和特定顯示器相關聯的動態校準系統的相互作用之流程示意圖。
在整個附圖中，參考標號可以被重新使用以指示參考元件之間的對應。並且提供附圖以說明本文所述的實施例，並不是用以限制本公開的範圍。
為了使三維(3D)顯示器產生真實的深度感知，更具體地說，表面深度的模擬感知，可以期望顯示器的視場中的每個點都能產生對應於其虛擬深度的調節反應。如果顯示點的調節反應不對應於該點的虛擬深度，由雙眼深度線索的輻輳及立體視覺來確定，則人的眼睛可能經歷調節衝突，導致不穩定的成像，使眼睛疲勞、頭痛，並且在沒有調節訊息的情況下，幾乎完全缺乏表面深度。
虛擬實境和擴增實境的體驗可以由具有顯示器的顯示系統提供，在該顯示器中，向觀看者提供對應於多個深度平面的影像。每個深度平面上的影像可以是不相同的(例如，提供稍微不同呈現的場景或物件)，並且可以由觀看者的眼睛單獨聚焦，從而有助於向使用者提供依據眼睛調節所需的深度線索使位於不同深度平面上的場景的不同影像特徵聚焦/或基於觀察位於不同深度平面上的不同影像特徵失焦。如本文其他地方所討論的，這樣的深度線索提供可信的深度感知。
■3D顯示器
圖1描繪了具有某些虛擬實境物體以及被人觀看的某些實際現實物件的擴增實境場景的圖示。圖1描繪了擴增實境場景100，其中使用AR技術的使用者看到一個真實環境公園化設定110擁有人、樹木、建築物的背景、和一個混凝土平台120。除了這些項目以外，使用AR技術的使用者也可感覺到他“看到”
機器人雕像130站立在真實環境的混凝土平台120，和一個飛行的大黃蜂的卡通虛擬角色140，但是這些元件並不存在真實世界。
為了使三維(3D)顯示器產生真實的深度感知，更具體地說，表面深度的模擬感知，可以期望顯示器的視場中的每個點能產生對應其虛擬深度的調節反應。如果顯示點的調節反應不對應於該點的虛擬深度，由雙眼深度線索的輻輳及立體視覺來確定，則人眼可能經歷調節衝突，導致不穩定的成像，使眼睛疲勞、頭痛，並且在沒有調節訊息的情況下，幾乎完全缺乏表面深度。
虛擬實境、擴增實境及混和實境的體驗可以由具有顯示器的顯示系統提供，在該顯示器中，向觀看者提供對應於多個深度平面的圖像。每個深度平面上的圖像可以是不相同的(例如，提供稍微不同呈現的場景或物件)，並且可以由觀看者的眼睛單獨聚焦，從而有助於向使用者提供依據眼睛調節所需的深度線索使位於不同深度平面上的場景的不同圖像特徵聚焦/或基於觀察位於不同深度平面上的不同圖像特徵失焦。如本文其他地方所討論的，這樣的深度線索提供可信的深度感知。
圖2係為一實施範例之可佩戴的顯示系統200之示意圖，其可以用於向顯示系統佩戴者或觀看者204呈現VR，AR或MR體驗。顯示系統200包括一顯示器208，以及各種機械和電子模組及系統，用來支持該顯示器208的運作。該顯示器208可以被耦接到一框架212，形成可以讓使用者、穿戴者或觀看者
204佩戴的顯示系統以及將該顯示器208配置定位在穿戴者204的眼睛前方。顯示器208可以是光場顯示器。在一些實施例中，一揚聲器216耦接到框架212和靠近使用者的耳道位置(在一些實施例，另一個未顯示出來的揚聲器也是靠近使用者的耳道位置，用來提供立體聲/可成形聲音控制)。該顯示器208可操作地耦接220，例如透過有線或無線連接到一局部處理和數據模組224其可被安裝在多種結構內，例如固定地連接到框架212、固定地連接到使用者佩戴的一頭盔或帽子、嵌入到耳機內或以其他可拆卸的方法連接到使用者204(例如，配置在背包式結構內、配置在結合皮帶式結構內)。
局部處理和數據模組224可以包括一硬體處理器以及數位記憶體，例如非揮發記憶體(例如快閃式記憶體)，這兩者都可以用於協助處理、快取和存儲數據。該數據包括來自感測器所擷取的數據a(其可以是，例如，可操作地耦接到該框架212)或以其它方式連接到使用者204)、諸如影像擷取設備(例如相機)、麥克風、慣性測量組件、加速度感測器，羅盤、GPS裝置、無線電裝置、和/或陀螺儀；和/或b)取得和/或處理其使用遠程處理模組228和/或遠程數據儲存庫232，如此的處理或提取之後用通訊線路236和/或240操作耦接到遠程處理模組228和遠程數據儲存庫232，諸如經由一有線或無線通訊線路耦接，使得這些遠程模組228、232可將有用的資源傳遞到局部處理和數據模組
224。除此之外，遠程處理模組228和遠程數據儲存庫232可彼此操作耦接。
在一些實施例中，遠程處理模組228可包括一個或多個處理器被配置用來分析和處理數據和/或影像訊息。例如由影像擷取裝置所擷取的視頻信息。視頻數據可以局部存儲在局部處理和數據模組224和/或遠程數據儲存庫232中。在一些實施例中，遠程數據儲存庫232可以包括數位數據儲存設備，其可以是透過網際網路或者”雲端”資源架構的其他網路組態。在一些實施例中，所有的數據儲存和所有的運算都在局部處理和數據模組224中執行，並且允許透過遠程模組來完全自主使用。
人類視覺系統是複雜以及提供一真實深度的感知是具有挑戰性。不受理論的限制，據信由於一輻輳組合及調節，讓物體的觀看者可以感知到物體就是”三維”的。二眼之間相互的輻輳運動(即讓眼睛視線聚焦注視到一個物體上使瞳孔靠近或遠離彼此的滾動運動)都與聚焦(或”調焦”)眼睛的水晶體有密切的關聯。在正常條件下，改變眼睛的水晶體的聚焦、或調節眼睛，在不同的距離下從一個物體改變焦聚到另一個物體上將自主地導致在輻輳內一匹配變化到相同的距離，此種關係被稱為”調節輻輳反射”。同樣地，在正常情況下，輻輳內的變化將觸發調節內的匹配改變。顯示系統在調節和輻輳之間提供一種更好的匹配可以形成更逼真或舒適的三維成像模擬。
圖3係為使用多個深度平面來模擬三維成像方法的示意圖。參考圖3，用眼睛302和304來調節從眼睛302和304到z軸上的各個不同距離的物體，以便這些物體被聚焦。假設在特別的調節狀態下，眼睛302和304將沿Z軸上之不同距離的物體來聚焦。因此，一特定的調節狀態可以說是與具有相關聯的焦距的一特定深度平面的其中一個平面306有關聯的，如此當眼睛處於深度平面的調節狀態下，在一特定深度的物體或部分的物體會被聚焦。在一些實施例中，三維成像可以被模擬對每個眼睛302和304提供不同呈現的影像，並且也提供不同呈現影像對應到每個深度平面。雖然為了清楚說明而分開表示，但應當理解的是，例如，隨著沿著z軸的距離增加，眼睛302和304的視場可以重疊。此外，雖然為了便於說明而以平面來表示，但應當理解的是，深度平面的輪廓可以在物理空間中彎曲，使得深度平面中的所有特徵在特定調節狀態下與眼睛對準。不受理論的限制，據信，人的眼睛通常可以解讀為一有限深度平面，用以提供深度感知。因此，該深度感知的一高可信度的模擬可以透過眼睛來實現，用以呈現不同的影像來對應到這些其中每一個有限量的深度平面。
■波導堆疊組件
圖4係為給使用者輸出影像訊息的疊層波導之示意圖。一顯示系統400包括一波導疊層，或波導疊層組件405，其可以使用多個波導420、422、424、426、428來提供三維感知到眼睛410或大腦。在一些實施例中，顯示系統400可以對應於圖
2的系統200，如圖4之透視圖所示，更詳細地表示出該系統200的某些部分。例如，在一些實施例中，波導疊層組件405可以被整合到圖2的顯示器208。
繼續參考圖4，波導疊層組件405還可包括波導之間的一多個特徵430、432、434、436。在一些實施例中，該特徵430、432、434、436可以是透鏡。在一些實施例中，該特徵430、432、434、436可以不是透鏡。相反的，它們可以是間隔物(例如，覆蓋層和/或用於形成空氣間隙的結構)。
該些波導420、422、424、426、428和/或該多個透鏡430、432、434、436可以被配置發送影像訊息到眼睛，其具有不同程度的波前曲度或光線發散。每個平面波導可與一特定的深度平面相關聯，並且可以被配置輸出影像訊息對應到該深度平面。影像成形裝置440、442、444、446、448可以被用於注入影像訊息到波導420、422、424、426、428，每一個影像成形裝置被用以發散入射光跨越到每個相對應的波導，並朝向眼睛410輸出。光從影像成形裝置440、442、444、446、448的輸出表面離開，並被注入到相對應波導420、422、424、426、428的輸入端邊緣。在一些實施例中，單一光束的光(例如一準直光束)可能被注入到每一個波導以輸出一完整的仿準直光束區域，其被引導從一特定角度(和發散量)朝向到眼睛410並對應到和一特定波導有相關聯的深度平面。
在一些實施例中，影像成形裝置440、442、444、446、448是離散顯示器，每個離散顯示器所產生影像訊息以用來分別地注入到一相對應的波導420、422、424、426、428。在一些其它實施例中，影像成形裝置440、442、444、446、448是一單一多重顯示器的輸出端，並且可以是，例如，透過一個或更多個光導管(如光纖電纜)輸遞導管的影像訊息到每個影像成形裝置440、442、444、446、448。
一控制器450控制波導疊層組件405的運作與影像成形裝置440、442、444、446、448。在一些實施例中，控制器450包括編程(例如，在一非暫態電腦可讀取的媒體中的指令)，其調控時間及提供影像訊息到波導420、422、424、426、428。在一些實施例中，控制器450可以是一種單一的整體的設備，或通過有線或無線溝通管道連接的分布系統。控制器450可以是一些實施例中處理模組224或228(圖2所示)的一部分。在一些實施例中，控制器可以與面向內的成像系統452(例如，數位照相機)，面向外的成像系統454(例如，數位照相機)和/或使用者輸入裝置466溝通。面向內的成像系統452(例如，數位照相機)可以用於擷取眼睛410的影像，以例如，確定眼睛410的瞳孔的尺寸和/或取向。面向外的成像系統454可以用於成像一部分的世界456。使用者可以經由使用者輸入裝置466向控制器450輸入命令與顯示系統400交互作用。
波導420、422、424、426、428可被配置透過全內反射(total internal reflection,TIR)來傳遞每個相對應的波導內的光。該波導420、422、424、426、428中的每一個可以是平面的，或具有其它的形狀(例如彎曲)，具有主頂部和底部表面以及邊緣在該主頂部和該底部表面之間延伸。在示意圖中，波導420、422、424、426、428可以每一個都包括光提取光學元件460、462、464、466、468被配置來通過重定向光將光從波導內提取出來，在每個相對應的波導內傳播，在波導之外輸出影像訊息到眼睛410。提取的光也可以稱為外耦合光，並且光提取光學元件也可以稱為外耦合光學元件。一提取光束藉由波導輸出到一個位置，該位置為波導內傳遞的光撞擊到光重定向元件的位置。該光提取光學元件460、462、464、466、468可以，例如，具有反射和/或繞射光學特性。當其示意出設置波導420、422、424、426、428的底部主表面用以便於描述和圖示清楚，在一些實施例中，光提取光學元件460、462、464、466、468可以被設置在頂部和/或底部主表面，和/或可以直接被設置在波導420、422、424、426、428的體積內。在一些實施例中，光提取光學元件460、462、464、466、468可以在材料層內形成，該材料被附著到一透明基板，以形成該波導420、422、424、426、428。在其它一些實施例中，波導420、422、424、426、428可以是一單晶片材料以及光提取光學元件460、462、464、466、468可以在一表面上和/或在該一片材料的內部形成。
請繼續參考圖4，如在此所討論的，每個波導420、422、424、426、428被配置輸出光以形成對應於一特定深度平面的一影像。例如，最接近眼睛的波導420可以被配置傳送準直光束，當其被注入到這樣波導420後，傳送準直光束到眼睛410。該準直光束可以是該光學無窮遠焦平面的呈現。在到達眼睛410之前，下一個向上的波導422可以被配置為發送出穿過該第一透鏡430(例如一凹透鏡)的準直光。第一透鏡430可以被配置為創造一增量的凸波前曲率，因此使得眼睛/大腦解讀光來自下一個向上的波導422就如同來自第一焦聚平面，使無限大的光更緊密的向內部朝向眼睛410投射。類似地，在到達眼睛410之前，第三向上的波導424傳遞他的輸出光來通過第一透鏡430及第二透鏡432。該第一透鏡430及該第二透鏡432的組合光功率可以被配置創造另一個增量的凸波前曲率，因此使得眼睛/大腦解讀光來自第三波導424就如同來自一第二焦聚平面，甚至使無限大的光源會比從下一個向上波導422的光源更緊密的向內部朝向人投射。
其它波導(例如，波導426、428)和透鏡(例如透鏡434、436)也是同樣的配置，堆疊在最頂部的波導428會經過所有的透鏡來傳送輸出，該所有的透鏡會介於最頂部的波導428與眼睛之間，並且最緊密的聚焦平面到人之間係為一種總焦距功率的呈現。為了補償堆疊的透鏡430、432、434、436當觀看/解讀的光來自世界456時在另一側的疊層波導組件405會包括一補償透鏡層438用以設置在堆疊的頂部，以補償低於下述堆疊的透
鏡430、432、434、436的總功率。可利用波導/透鏡的配置提供更多的感知聚焦平面。波導420、422、424、426、428的光提取光學元件460、462、464、466、468以及透鏡430、432、434、436的聚焦方面可為靜態的(即，非動態或電活性)。但在一些替代的實施例中，它們可以是動態的並使用電活性的特性。
請繼續參考圖4，被配置的光提取光學元件460、462、464、466、468會從各自的波導重定向光，和輸出具有適量發散性的光或特定深度平面的準直性光，兩者均與波導相關聯。其結果是，波導具有不同相關聯的深度平面，並具有不同配置的光提取光學元件，依據相關聯的深度平面來輸出一個不同量的發散性光。在一些實施例中，如本文所討論的，光提取光學元件460、462、464、466、468的體積或表面特徵，其可以被配置特定的角度來輸出光源。例如，該光提取光學元件460、462、464、466、468可以是體積全像圖(volume holograms)、表面全像圖(surface holograms)、和/或繞射光柵。光提取光學元件，例如繞射光柵，已被揭露在美國專利申請案2015/0178939號內，該案申請日為2015年6月25日，該申請案的全部內容會以引用方式併入本發明。在一些實施例中，特徵430、432、434、436可能不是透鏡；相反，它們可以是簡單的間隔物(例如，覆蓋層和/或用於形成空氣間隙的結構)。
在一些實施例中，光提取光學元件460、462、464、466、468具有形成一衍射圖案的繞射特徵或”繞射光學元件”
(diffractive optical element，或稱DOE)。更可取地是，繞射光學元件具有相當低的繞射效率，因此只有一部份的光束的光會伴隨每一個交叉點的DOE被偏轉遠離朝向眼睛410，其它剩餘的光束的光則繼續透過全內反射在波導內移動。而運載影像資訊的光，因此被分成若干相關聯的出射光束，該出射光束會從波導的多個位置退出，並且這些特定準值光束會在波導內彈跳，然後從出口散射相當均勻的圖案到眼睛410。
在一些實施例中，一個或多個的DOE可以被切換為開或開的狀態。在開的狀態時它們主動的繞射，反之在關的狀態時他們不顯著繞射。例如，一可切換的DOE可以包括一聚合物分散液晶層，在該層中，微滴包括在主介質內的一衍射圖案，以及微滴折射率可以被切換來基本匹配主體材料的折射指數(在這種情況下，光柵不會明顯地繞射入射光)或微滴可以切換為一指數，該指數不匹配主介質的折射指數(在這種情況下，光柵主動的繞射入射光)。
在一些實施例中，深度平面的數量和分佈和/或景深可以基於觀看者的眼睛的瞳孔大小和/或取向而動態地改變。在一些實施例中，面向內的成像系統452(例如，數位照相機)可以用於擷取眼睛410的影像，以確定眼睛410瞳孔的尺寸和/或取向。在一些實施例中，面向內的成像系統452可以附接到框架212(如圖2所示)，並且可以與處理模組224和/或228通訊聯繫，
處理模組224和/或228可以處理來自面向內的成像系統452的影像信息，以確定，例如使用者204的眼睛的瞳孔直徑和/或取向。
在一些實施例中，面向內的成像系統452(例如，數位相機)可以觀察使用者的運動，諸如眼睛運動和臉部運動。面向內的成像系統452可以用於擷取眼睛410的影像以確定眼睛410的瞳孔尺寸和/或取向。面向內的成像系統452可以用於獲得影像以確定使用者正在看的方向(例如，眼姿勢)或用於使用者的生物測定(例如，經由虹膜辨識)。可以分析由面向內的成像系統452獲得的影像來確定使用者的眼睛姿勢和/或情緒，其可以由顯示系統400來決定應該向使用者呈現哪個音頻或視覺內容。顯示系統400還可以使用諸如慣性測量元件(IMU)，加速度計，陀螺儀等的感測器來確定頭部姿勢(例如，頭部位置或頭部取向)。頭部姿勢可以單獨使用或與眼睛姿勢組合使用來與音軌和/或當前音頻內容相互作用。
在一些實施例中，可以為每隻眼睛使用一台照相機，以分別確定每隻眼睛的瞳孔大小和/或方向，從而允許將所要呈現給每隻眼睛的影像信息動態地剪裁傳送到該眼睛。在一些實施例中，可以為每隻眼睛至少使用一台照相機，以獨立地及分別地確定每隻眼睛的瞳孔大小和/或眼睛姿勢，允許將所要呈現給每隻眼睛的影像信息動態地剪裁傳送到該眼睛。在一些其它實施例中，僅確定單眼410的瞳孔直徑和/或取向(例如，每對眼睛僅使用單一台照相機)，並且假設觀看者204的兩隻眼睛是相似的。
例如，景深可以與觀看者的瞳孔大小的改變成反比。結果，隨著觀看者眼睛瞳孔的尺寸減小，景深增加，使得一個平面不可辨別，因為該平面的位置超過眼睛可辨別的聚焦深度，並且隨著瞳孔尺寸的減小和相應的景深的增加而更加聚焦。同樣，用於向觀看者呈現不同圖像的間隔開的深度平面的數量可隨著瞳孔大小的縮小而減小。例如，在不調整眼睛遠離一個深度平面到另一深度平面的調節下，觀察者也許不能在一個瞳孔尺寸下清楚地感知第一深度平面和第二深度平面的細節。但是，這兩個深度平面可以在不改變調節的情況下，在另一瞳孔尺寸下同時充分對焦到使用者。
在一些實施例中，顯示系統可以根據瞳孔大小和/或取向的確定性，或者根據接收到特定瞳孔大小和/或取向的電性信號指示，來改變接收影像信息的波導的數量。例如，如果使用者的眼睛不能在與兩個波導相關聯的兩個深度平面之間進行區分，則控制器450可以被配置或編程為停止向這些波導中的其中一個提供影像信息。這可以有利地減少系統上的處理負擔，從而增加系統的反應性。在用於波導的DOE可在開啟和關閉狀態之間切換的實施例中，當波導接收影像信息時，DOE可以切換到關閉狀態。
在一些實施例中，可能期望出射光束的直徑滿足具有小於觀察者眼睛的直徑的條件。然而，鑑於觀看者的瞳孔尺寸的變化性，滿足該條件可能是具有挑戰性的。在一些實施例中，藉由反應於觀察者的瞳孔尺寸的確定性來改變出射光束的尺寸，
使在寬範圍的瞳孔尺寸上滿足該條件。例如，隨著瞳孔尺寸減小，出射光束的尺寸也可以減小。在一些實施例中，可以使用可變孔徑來改變出射光束尺寸。
顯示系統400可以包括對世界456的一部分進行成像的面向外的成像系統454(例如，一台數位相機)。該部分的世界456可以被稱為視場(FOV)，並且該成像系統454有時被稱為FOV相機。由觀看者204觀看或成像的整個區域可以被稱為關注區域(FOR)。FOR可以包括圍繞著顯示系統400的立體角的4π球面度。在顯示系統400的一些實施例中，FOR可以包括顯示系統400的使用者204周圍的基本上所有的立體角，因為使用者204可以移動他們的頭部和眼睛看到圍繞著使用者的物件(在使用者的前面，後面，上面，下面或側面)。從面向外的成像系統454獲得的影像可以用於追踪使用者做出的手勢(例如，手或手指手勢)，檢測在世界456中，使用者前面的物件等等。
顯示系統400可以包括使用者輸入裝置466，通過該使用者輸入裝置466，使用者可以向控制器450輸入命令以與顯示系統400交互作用。例如，使用者輸入裝置466可以包括觸摸板、觸摸屏、操縱桿、多自由度(DOF)控制器、電容感測裝置、遊戲控制器、鍵盤、滑鼠、方向鍵(D-pad)，棒、觸覺裝置、圖騰(例如，具有如虛擬使用者輸入裝置的功用)等等。在某些情況下，使用者可以使用手指(例如，拇指)在觸控輸入裝置上按壓或滑動來向顯示系統400提供輸入(例如，提供使用者輸入到
由顯示系統400提供的使用者界面)。在使用顯示系統400期間，使用者可以手持該使用者輸入裝置466。並且該使用者輸入裝置466可以與顯示系統400有線或無線溝通。
圖5係為出射光束從波導輸出的實施例。並請參閱如圖所示的波導，應當理解的是，在疊層波導組件405內的其它波導也有類似功能，其中疊層波導組件405包括多個波導。當光源505被注入到波導420的輸入端邊緣510時，會用TIR在波導420內進行傳遞。在點處的光源505會在DOE 460上撞擊，光源的一部分會離開波導作為出射光束515。該出射光束515基本上是平行的，如圖所示，它們也可以被重定向以一角度傳遞到眼睛410(例如，形成發散的出射光束)，這取決於與波導420相關聯的深度平面。應該理解的是，基本上平行的出射光束可以用來呈現具有光提取光學元件的波導，該光提取光學元件外耦合光以形成設置在從眼睛410到一大距離(例如，光無窮遠)的深度平面上的影像。其它波導或其他組的光提取光學元件可以輸出更發散的出射光束圖案，需要用眼410來將發散的出射光束圖像調節到一更近的距離，使其在視網膜上聚焦，以及大腦將其解讀為如同光來自一個比光無窮遠更接近眼410的距離。
圖6係為顯示系統400的另一實施例，其包括一波導裝置，用於將光耦合到波導裝置或從波導裝置耦合光的一光耦合器子系統以及一控制子系統。顯示系統400可以用於產生一多焦矩體積、影像或光場。顯示系統400可以包括一個或多個主平
面波導604(在圖6中僅表示出一個)以及包括與至少幾個主波導604中的每一個相關聯的一個或多個DOEs 608。平面波導604可以類似於圖4中所討論的波導420、422、424、426、428。光學系統可以使用分佈波導裝置，以沿著第一軸(圖6的垂直或Y軸)傳播光，並沿著第一軸(例如，Y軸)擴展光的有效出射光瞳。分佈波導裝置，可以，例如包括分佈平面波導612和與分佈平面波導612相關聯的至少一個DOE 616(由雙虛線示出)。分佈平面波導612可以在至少某些方面與主平面波導604相似或相同，具有與其不同的取向。同樣地，至少一個DOE 616可以在至少某些方面與DOE 608相似或相同。例如，分佈平面波導612和/或DOE 616可以分別地由與主平面波導604和/或DOE 608相同的材料來組成。圖6所示的光學系統可以集成到圖2所示的可穿戴顯示系統200中。
該傳播的光和出射光瞳擴展的光從分佈波導裝置光耦合到一個或多個主平面波導604。該主平面波導604沿著第二軸，並正交於第一軸(例如水平或X軸參見圖6)。值得注意的是，第二軸線可以是相對於第一軸線的非正交軸線。主平面波導604沿著第二軸(例如，X軸)擴展光的有效出口路徑。例如，分佈平面波導612可以沿著垂直或Y軸傳播和擴展光，並將該光傳遞到該主平面波導604，而該主平面波導604再沿著水平或X軸傳播和擴展光。
顯示系統400可包括能夠被光耦合到一單模光纖624的近端中的一個或多個彩色光源(例如，紅色，綠色和藍色激光)620。光纖624的末端部分可以通過壓電材料的中空管628串線連接或接收，並且該末端從該中空管628突出形成可固定擺動的柔性懸臂632。壓電管628可與四個象限電極(圖示未揭露)相關聯。例如，電極可以鍍在中空管628的外部、外表面或外週或直徑上。芯電極(圖示未揭露)也位於管628的芯、中心、內週或內徑中。
驅動電子636，例如經由導線640驅動對應的兩電極在兩個獨立的軸線上彎曲壓電管628。光纖624突出四末端尖端具有機械共振模式。共振頻率可以取決於光纖624的直徑、長度和材料特性。在該光纖懸臂632的機械共振之第一模式附近振動壓電管628，使得光纖懸臂632振動，可以掃描大的偏角。
通過在兩個軸線上激烈的共振振動，填充二維(2-D)掃描的區域並雙軸掃描光纖懸臂632的尖端。通過與光纖懸臂632的掃描同步地調變光源620的強度，從光纖懸臂632出射的光形成影像。在美國專利申請案第2014/0003762號中提供了這種設置的描述，其通過引用的方式將其全部內容併入本發明中。
光耦合器子系統的元件644對從掃描光纖懸臂632出射的光進行準直。準直光被鏡面648反射到包含至少一個衍射光學元件(DOE)616的窄分佈平面波導612中。準直光通過全內反射沿著分佈平面波導612垂直地(與圖6的視圖有關)傳播，
並且這樣反覆地與DOE 616相互交叉。DOE 616更可取的是具有低衍射效率。這導致一部分(例如，10%)的光伴隨在每個交叉點的DOE 616朝向較大的主平面波導604的邊緣衍射，以及一部分的光繼續透過TIR在其原始軌跡上沿著分佈平面波導612的長度移動。
在與DOE 616交叉的每個交叉點，額外的光朝向主波導612的入口衍射。通過將入射光分成多個輸出耦合組，光的出射光瞳由分佈平面波導612中的DOE 616垂直地擴展。從分佈平面波導612耦合出的該垂直擴展的光進入主平面波導604的邊緣。
進入主平面波導604的光沿著主平面波導604經由TIR水平傳播(與圖6的視圖有關)。當光經由TIR沿著主平面波導604至少一部分的長度水平傳播時，光在多個點處與DOE 608相交叉。DOE 608可以有利地被設計或配置為具有作為線性繞射圖案和徑向對稱衍射圖案的總和的相位分佈，以產生光的偏轉和聚焦。DOE 608可以有利地具有低衍射效率(例如10%)，使得只有一部分光束的光會與每個交叉點的DOE 608偏轉朝向視圖的眼睛，而其餘的光繼續透過TIR傳播通過主平面波導604。
在傳播光和DOE 608之間的每個交叉點處，一部分的光朝向主平面波導604的相鄰面衍射，允許光離開TIR並從主平面波導604的表面射出。在一些實施例中，DOE 608的徑向對稱衍射圖案具有衍射光的焦點水平，這兩個個別光束的光波前(例
如，賦予曲率)形狀，會與設計好的焦點水平之對稱角度來引導光束。
因此，這些不同的路徑可以使光通過在不同的角度上的多個DOE 608，焦點水平耦合到主平面波導604之外，和/或在出射光瞳產生不同的填充圖案。在出射光瞳處的不同填充圖案可以有利地用於創建具有多個深度平面的光場顯示器。波導組件中的每個層或者在疊層中的一組層(例如，3層)可以用於產生相應的顏色(例如，紅色、藍色、綠色)。因此，例如，可以採用第一組三個相鄰層以分別在第一焦深產生紅色、藍色和綠色光。第二組三個相鄰層可以用於在第二焦深分別地產生紅色、藍色和綠色光。可以採用多個集合來產生具有各種焦深的完整3D或4D彩色影像光場。
■AR系統的其它組件
在許多實施例中，AR系統可以包括除了可穿戴顯示系統200(或光學系統400)之外的其他組件。AR裝置可以，例如，包括一個或多個觸覺裝置或組件。觸覺裝置或組件可用來操作並向使用者提供觸覺感知。例如，當觸摸虛擬內容(例如，虛擬物體、虛擬工具、其他虛擬構造)時，觸覺裝置或組件可以提供壓力和/或紋理的觸覺感知。觸覺感知可以反應出虛擬物體呈現的實體反應，或者可以反應出虛擬內容呈現的想像物件或角色(例如，龍)的感覺。在一些實施例中，觸覺裝置或組件可以由使用
者(例如，使用者可穿戴手套)佩戴。在一些實施例中，觸覺裝置或組件可以由使用者握住。
AR系統可以，例如，包括可由使用者操縱以允許與AR系統的輸入或交互的一個或多個實體物件。這些實體物件在這裡被稱為圖騰(totems)。某些圖騰可以採取無生命實體的形式，例如一塊金屬或塑料、牆壁、桌子的表面。或者，某些圖騰可以採取動畫實體的形式，例如使用者的手。如本發明所述，圖騰可以實際上不具有任何實體輸入結構(例如，鍵、觸發器、操縱桿、軌跡球、搖桿開關)。相反，圖騰可以簡單地提供實體表面，並且AR系統可以呈現使用者界面，使得使用者看起來在圖騰的一個或多個表面上。例如，AR系統可以使電腦鍵盤和觸控板的影像看起來位於圖騰的一個或多個表面上。例如，AR系統可以使虛擬電腦鍵盤和虛擬觸控板呈現在當作圖騰的薄矩形鋁板的表面上。矩形板本身不具有任何實體鍵或觸控板或傳感器。然而，AR系統可以檢測使用者操作或與矩形板的交互作用或觸摸，如同經由虛擬鍵盤和/或虛擬觸控板做出的選擇或輸入。
在美國專利公開第2015/0016777號中描述了可與本發明的AR裝置、HMD和顯示系統一起使用的觸覺裝置和圖騰的實例，其通過引用的方式將其全部內容併入本發明中。
■顯示系統上執行錯誤校正的實施例
如上所述，一顯示系統可以包括一堆疊波導組件，例如圖中所示。參見圖4-6，其具有帶有衍射光柵的基底材料的
多個顯示層，以重定向產生撞擊在眼睛上的數位化光場的光。在一些實施例中，波導組件依每個顏色、每個深度包括一個基底層。例如，雙深度平面RGB顯示器可以具有總共6個波導層。顯示系統可以是可穿戴顯示系統200的實施例。
在堆疊波導組件中，存在可能引入造成影像品質劣化的一系列電勢現象。這可以包括重影(多個影像)、失真、未對準(顏色或深度之間的)，以及視場上的顏色強度變化。另外，可能在其他類型的條件下，發生的某些類型的偽像，例如，當用相對於LED的激光照射時(例如，斑點、條帶、牛頓條紋)，或當輸出耦合光束的密度小於一定量時(例如，波前稀疏，其可以被感覺為好像通過屏幕門或柵欄)。
由於光場顯示器的光學器件中的缺陷，當通過光學器件顯示時，在渲染引擎(render engine)中理想的三維網格會變得失真。為了識別和校正期望圖像和實際顯示的影像之間的失真，可以使用顯示系統投影校準圖案，例如棋盤圖案。
圖7係為當經由顯示系統之投影校準圖案702時可能發生失真的實施例。校準圖案702可以適於執行空間或色彩校準的任何類型的圖案(例如，包括多個棋盤方格的棋盤圖案)。校準圖案702可以包括任何類型的測試或校準圖案，例如幾何圖案或隨機圖案。投影校準圖案702產生生成光場影像704。存在於影像704中的失真可以包括空間失真(例如，當可見像素不在它被期望的視場內時)以及色彩失真(例如，當可見像素的顏色
值與期望的不同時)。例如，棋盤方格圖案702可以從它們在影像704(例如，空間誤差)中的預期位置偏移。另外，影像704中的某些棋盤方格可以以其他顏色(例如紫色)出現，來代替以黑色和白色顯示的棋盤方格。可以使用光場計量系統來測量顯示誤差，該光場計量系統可以包括一數位照相機定位成獲取由顯示器投影的校準圖案之影像。在一些實施例中，可以擷取相當於偏移到不同位置的校準影像的多個影像，以便獲得關於期望位置與實際位置的更細密紋理的訊息。數位相機可以被用以聚焦在不同的聚焦深度上，以便確定在不同區域上所顯示的影像(例如，所顯示的校準圖案上的特徵)聚焦於哪個深度上。
根據一些實施例，在不同聚焦深度擷取多個影像，以確定所顯示影像的不同區域的深度在下文中結合圖17到圖20有更詳細地描述。以下結合圖22到圖24更詳細地描述可以在各種實施例中使用的不同類型的校準圖案。
■空間誤差
空間誤差可以包括幾種不同的表現。例如，空間未對準包括顯示層的平移或旋轉。空間誤差還會涉及在顯示器的深度平面的視場(FOV)上變化的非線性空間失真。
空間誤差可以是顯示系統內的機械或光學缺陷的一徵狀。經由說明所測量的空間誤差，可以導出量化系統的光學機械質量的度量指標和建議的改進方法的度量指標。例如，表示深
度平面旋轉的空間誤差可以建議顯示器相對於期望位置機械地轉動。每個顏色的平面縮放可以建議為不充分消色差的透鏡系統。
為了識別空間誤差，光場測量系統包括影像擷取裝置，例如數位相機，可以用於擷取由顯示系統投影的一個或多個影像(例如，校準圖案的投影)，並產生表示實際顯示影像與期望影像的偏差的向量場。該向量場可以是三維向量場，其包括顯示器的xy平面中的平面內偏差和z方向(深度)上的平面外偏差，或者包括僅在xy平面中偏差的二維向量場。在一些實施例中，一向量場可以由顯示系統的每個深度平面或每個色彩平面生成。在一些實施例中，深度可以用屈光度測量，表示該層的反向焦距以米為單位。
圖8係為可以從一投影光場中的點的預期位置及其實際顯示位置之間的映射偏差的一個或多個擷取影像生成的向量場之實施列。投影光場中的點可以對應於校準影像中的特徵(例如，校準棋盤方格的中心和角)。向量場中的每個向量表示在光場中的預期位置和其相應的實際位置之間的失真。在該實施例中，失真向量場是2D。在所示的向量場中，使用第一顏色和標記類型(例如，“O”802用於預期位置)來標記一特徵的預期位置，而使用第二顏色(例如，“X”804用於檢測位置)。每對相應的預期位置和顯示位置由線806連接，線806可以包括指示需要校正方向的一箭頭來將檢測到的顯示位置校正為預期位置。
使用向量場，可以提取局部或全局失真信息(例如，平面內平移、聚集縮放、聚集旋轉、均數像素彎曲或屈光度誤差，如下所述)。例如，可以從確定的向量場生成失真圖。失真圖可以用於分析在生成的向量場上的像素位置誤差值(例如向量幅度)之分佈。失真圖可以是顯示像素位置誤差的頻率的直方圖(例如，針對誤差幅度出現在向量場中的頻率繪製像素位置誤差幅度)。可以使用其他類型的圖來分析向量場的其他屬性(例如，失真方向)。
空間誤差可以大致分為平面內和平面外空間誤差。平面內空間誤差是指在特定深度(在z軸上測量的)沿著特定深度平面(例如，根據圖6所示的坐標系統的xy平面)的空間誤差。向量域(例如，如圖8所示)可以導出用於不同類別的空間誤差的一個或多個度量。這些度量中的每一個度量可以在每層的基底上定義(例如，對於與顏色和深度的特定組合相對應的每個單獨的顯示層(例如，紅-3屈光度顯示層，綠-1屈光度顯示層等))或每個顯示器基底(例如，在簡明參數中量化顯示器的總體保真度)。
■平面空間誤差
在一些實施例中，平面內空間誤差可以分為多個不同的元件，每個元件對應於不同類型的誤差。這些元件可以包括平移誤差、旋轉誤差、定標誤差或非線性空間誤差。這些誤差元件中的每一個誤差可以單獨地或順序地校正。
■平面內平移誤差
圖9A係為平面內(xy)平移空間誤差(也稱為xy中心)的實施例。xy平移誤差是指顯示層的顯示影像中心的x和/或y像素從其預期位置偏移，並且xy平移誤差意在通知機械或顯示器對準。在圖9A中，預期影像位置900(在該實施例中，用紅色矩形來表示)被轉換為顯示影像位置900a(用具有非直線的綠色形狀表示)。並利用該顯示影像位置900a的中心位置902和預期影像位置900的中心位置904，執行一個或多個移位(沿著所確定的平移向量901)來校正一xy平移誤差，使得所顯示的中心位置902與預期中心位置904(通過顯示器的機械對準、顯示影像的軟體校正、或兩者的組合)對準。測量出的xy平移空間誤差之一個或多個的度量可以包括在每一層的基底上測量出的平移誤差，其測量層的中心對應於預期或參考位置(例如，顯示器的光軸)或在每個顯示器測量出最大平移偏移，其在任何兩個顯示層之間識別最大平移以量化整體平移配準。
■聚集旋轉誤差
圖9B係為聚集旋轉空間誤差的實施例。聚集旋轉是指所顯示的影圖像靠近其中心的總旋轉角度相對於影像的預期位置。雖然空間失真不可能總是可以利用簡單的仿射旋轉來完全描述，但是可以使用聚集旋轉度量來提供旋轉角度，通過該旋轉角度，像素位置誤差(在顯示與預期影像位置之間)被最小化。聚集旋轉度量意在通知機械或顯示對準。如圖9B所示，可利用將
所顯示影像906圍繞中心點908旋轉，用指定的旋轉量907到對應於預期位置的位置910來校正聚集旋轉。(通過顯示器的機械對準、通過顯示影像的軟體校正，或者皆可)。報告的度量可以包括在每一層測量出的旋轉誤差，識別測量出的取向與預期或參考取向(例如，相對於顯示器的水平軸)的關係和在每個顯示器測量出的最大旋轉偏移，在任何兩個顯示層之間識別出最大平移以量化整體平移配準。
■聚集縮放誤差
圖9C係為聚集縮放空間誤差的實施例。聚集縮放標示顯示影像靠近其中心的整體縮放因子相對於期望影像。雖然空間失真不可能用簡單的仿射縮放來完全描述，但是聚集縮放測量可以標示縮放因子，通過該縮放因子，像素位置誤差被最小化。聚集縮放度量意在通知光學設計或顯示對準。如圖9C所示，可以利用所指定的縮放量913縮放所顯示的影像912的大小以匹配期望影像914的大小來校正聚集縮放空間誤差。用於聚集縮放的報告度量可以包括縮放誤差、每層測量、其測量影像(例如，參考在校準設置中的物理目標)和每個顯示器測量的最大縮放偏移，其標示任何兩個顯示層之間的最大縮放以量化整體平移配準。
圖9D係為聚集縮放空間誤差的另一實施例。與預期影像918相比，顯示影像916顯得更小。為了校正縮放誤差，顯示影像916利用縮放量917按比例放大以匹配預期影像918的尺寸。
■像素扭曲誤差
圖9E係為已執行xy平移、旋轉和縮放的校正之後的剩餘空間誤差的實施例。剩餘誤差(也稱為像素扭曲或空間映射)標示在平移、旋轉和縮放之後的xy空間失真分佈中的平均殘餘Euclidean像素位置誤差(例如，如圖9A-9D所示)給予顯示系統的非線性或非仿射扭曲特性的度量，並且用來通知顯示設計和質量控制。像素扭曲的所報告的度量可以包括平均像素扭曲(MPW)，測量每層，表示在平移、旋轉和縮放之後的xy平均殘餘Euclidean像素位置誤差係參考理想網格和最大平均像素扭曲(最大MPW)，其表示出顯示層之間最大的MPW值，以量化整體扭曲。在一些實施例中，可以通過使用處理模塊(例如，模塊224或228)執行的空間映射來校正剩餘的像素扭曲，來將顯示影像920與期望影像922對準。
■平面外空間誤差
數位光場顯示系統，例如圖4-6所示，能夠產生看起來位於來自觀察者的不同深度(沿z方向)的深度平面(參見，例如圖3)。在一些實施例中，深度平面對應於看起來位於離觀看者不同距離處的平面。如在光學中常見的，而不是指深度平面與顯示器的距離，可以使用以屈光度(m-1)測量的反距離來參考不同的深度平面。例如，顯示器可以具有位於3屈光度(1/3m)和1屈光度(1m)的深度處的兩個深度平面。由於顯示系統中的缺陷，穿過深度平面的屈光度輪廓將不如預期。例如，深度層上
顯示的影像可以具有不正確距離的屈光度輪廓，或者跨越在顯示器FOV上的變焦。
平面外空間誤差(也稱為屈光度誤差)是深度平面的屈光度(深度)誤差的度量，用以通知光學、機械和波導對準或設計中的誤差。所報告的屈光度誤差的度量可以包括表示出預期深度平面和測量深度平面之間的誤差量，以及最大屈光度誤差，表示出深度平面之中的最大深度誤差。
圖10A係為在不同深度觀看多個深度平面的實施例。在實施例中，揭露出三個不同的深度平面，但是顯示系統可以包含更多或更少的深度平面。另外，每個深度平面可以對應於多個波導層(例如，RGB彩色層)。
圖10B-10D係為當觀察圖10A所示的投影深度平面時，可能發生的平面外空間誤差的類型之實施例。例如，投影深度平面可以被位移到不同的深度，使它出現大於或小於預期的深度處(圖10B)。方向偏離的深度平面，從預期深度呈現出(大量)體積旋轉(圖10C)。深度平面可呈現出光柵缺陷的不均勻輪廓特性(圖10D)。深度平面可表現出圖10B-10D中所呈現的誤差組合。
圖10E係為面外空間誤差的另一實施例。未對準的投影深度平面1002與預期深度平面1004有關。在實施例中，未對準包括深度平面旋轉。為了校正面外空間誤差，可以定義旋轉軸線1006，並且圍繞所標識的旋轉軸線1006在投影深度平面1002
上執行旋轉，使得投影深度平面1002基本上與預期的深度平面1004對準。儘管旋轉軸線1006作為平行於預期深度平面1004的軸線(例如，垂直軸線)，但是應當理解，旋轉軸線可以在任何方向上。
雖然屈光度誤差不同於平面內失真相關的平面內空間誤差，但是屈光度誤差可能潛在地影響平面內空間誤差，例如由於像素深度的不正確假設，將導致角度依賴(viewpoint-dependent)的空間失真。例如，對於具有與預期深度不同的深度區域之缺陷深度平面，像素可能相對於觀看者位置不均勻地偏移，導致變化的影像扭曲。
在一些實施例中，本發明描述了用於平面內空間誤差(例如，xy中心、聚集縮放、聚集旋轉和空間映射)的校正技術可以擴展到三維。例如，居中性(Centration)可以通過在xyz坐標系上判別顯示平面的中心點的位置並移動該平面在三維中執行(例如，沿著x、y和z軸)，使得中心點與預期的位置對齊。
■基於失真向量場的空間誤差量化
如本文參閱圖8所示，可以利用測量影像特徵從預期位置到顯示位置的位移來產生多維(例如，2D或3D)失真向量場。可以用多層顯示器(例如，包括堆疊波導組件405的顯示器)的每個層來計算失真向量場。失真向量場可以用於擷取和表徵由顯示器投射的光場失真。例如，可以對失真向量場執行向量分析操作以確定某些空間誤差。光場計量系統可以計算這種向量
操作，作為計量相機(例如，數位照相機或光場照相機)所獲得的影像分析的一部分，以用於顯示器投影的校準圖案(例如，棋盤)。這樣的向量分析技術不限於光場顯示器，並且可以應用於任何多維度量或任何類型的顯示器的校準。
給予多維失真向量場，可以計算向量場的捲曲以確定局部旋轉。在顯示器FOV中的區域上的捲曲均數提供了該區域中的聚集旋轉誤差的測量。在光場顯示器的離散深度平面實施例中，失真向量場的捲曲計算可以提供關於層的面內旋轉或面外旋轉相關的訊息。
可以計算失真向量場的發散以確定縮放誤差。在具有多個層(例如，RGB彩色層)的實施例中，得以在每個深度上產生全色影像，該縮放誤差可以用於提供與縮放校準有關的訊息。
可以將向量積分定理(例如，斯托克斯定理或發散定理(高斯定理))應用於失真向量場，以計算在顯示器的FOV中的區域上的向量場之捲曲和發散(例如，該區域的旋轉或聚集縮放)。可以計算失真向量場中的向量的Euclidean平均值，以獲得與由失真導入的非仿射的空間變換之有關的信息。
■色彩誤差的量化
當可見像素的顏色值不同於預期的顏色值時，將產生色差。為了評估色差，可以使用顯示系統投影校準圖像。校準影像可以是用於執行空間誤差校正的相同校準影像，或者可以是不同的校準影像。例如，校準影像可以包括處於特定輝度準位(例
如，最大亮度)的特定顏色(例如紅色)之實心影像。可以使用影像擷取裝置(例如，一台或多台相機)擷取來自投影校準影像的輸出。圖11係為投影後的校準影像的擷取影像之實施例。雖然校準影像可以恆定整個影像中的輝度準位，但是由於色彩誤差的存在，該顯示出的校準影像的輝度會在跨越顯示器的視場上產生變化。例如，所擷取的圖像的某些區域1102可以是高輝度準位，而其他區域1104可以呈現較低的輝度準位，導致在顯示器上出現暗區或暗帶。在一些實施例中，校準影像可以包括彩色校準圖案而不是單色。
在顯示器的一些實施例中，觀察到的輝度拓撲可以取決於波長。例如，對於紅色、綠色和藍色，可以有不同的輝度變化，使得投影影像呈現為不同於期望的顏色(表示出紅色、綠色、藍色分量之間的不平衡)。例如，投影的白色校準影像可能看起來是紫色的，綠色的輝度準位低於紅色和藍色的輝度準位。另外，輝度變化也可以基於觀察者位置(例如，照相機被移動，在區域1102處的暗帶似乎是移動到FOV中的不同位置)。這種現象可能導致在FOV上保持顏色均勻性和白平衡是具有挑戰性(特別是當輝度或色彩平衡取決於觀察者位置時)，並且最終影響正在顯示內容的顏色準確度。
顯示系統中的每個顯示層與色度特性、測量顏色和輝度特性、測量亮度或強度相關聯。因此，色差可以大致分為輝度平坦度誤差和色度均勻性誤差。
■輝度平坦度
輝度平坦度的量度可以用於量化每個顯示層呈現出多少輝度變化。通常，在堆疊波導組件中，由於每個顯示層由堆疊中的不同波導產生(參見例如圖4中的波導組件405)，不同顯示層可能在整個視場上具有不同的輝度變化。
測量顯示層的輝度平坦度，可以用於擷取影像的某些或所有像素確定輝度值(也稱為強度值)。儘管本發明主要涉及像素的輝度值，但是在其他實施例中，可以針對多個像素(例如，N×M像素網格)的區域而不是針對單個像素來確定輝度值。在一些實施例中，每個確定的輝度值會被分配一個或多個輝度值範圍的輝度單元。例如，對於8位元彩色顯示系統，可以使用對應於8位元的256色。
從所確定的輝度值，可由計量系統計算出多個輝度平坦度的度量。例如，可計算出跨越該顯示區域的一表示出最常見像素輝度值的模式(mode)。從該模式，可以確定半像素密度(HPPR)係表示輝度範圍或多個輝度檔位(bin)鄰近覆蓋50%像素密度的模式。一小HPPR係表示顯示層的輝度在顯示器實體是均勻的。輝度值也可以被稱為強度值。對於本專利的目的，輝度和強度術語可以交互使用。
圖12A係為投影後的校準影像之擷取影像(例如，如圖11所示)所產生的強度直方圖。該強度直方圖係針對擷取影像中出現的頻率(例如，具有輝度值的像素數量)來繪製成輝度
值。該模式在影像中會出現最高次的輝度值(例如，在位置1202處)。
圖12B係為投影後的校準影像之擷取影像所產生的強度分佈圖。該強度剖面圖中，該模式會在輝度值1204(並且在該實施例中具有236色)中出現。從該模式，以模式1204為中心的偏差範圍，其表示出輝度值1206和輝度值1208之間的範圍，以確定該範圍為覆蓋50%影像的像素密度。根據計算的偏差範圍(例如，輝度值1206和輝度值1208之間的差異)來確定HPPR。
對於理想的顯示層，所產生的輸入照明(例如，HPPR=0)，該場的強度值是相同的。偏離該理想的特性將彰顯出遠離模式值之像素強度值分佈(範圍)。該HPPR測量試圖的分佈將用公制來表示遠離模式。基本上均勻的輝度可以具有小的HPPR，例如，比模式的輝度值之範圍(例如，8位顏色的255)小的HPPR。例如，基本上均勻(例如，平坦的)的輝度顯示會比總色彩範圍小於約10%、小於約5%、小於約1%或小於約0.1%的HPPR比率。
HPPR可以被視為一四分位差的變化，係用以測量遠離中間值的分佈而不是遠離模式的分佈。該像素強度值的中間值不與顯示層期望的平面-強度反應有直接關係。圖13係為模式、中間值和平均值(μ)之差異的強度直方圖1302,1304之實施例。兩個分佈1302,1304的中間值在該實施例中是相同的。兩個分佈1302,1304分別具有0.8和2的標準偏差σ。如圖13所示，如果
影像的強度分佈接近正常(例如，強度分佈1302)，則模式、中間值和平均值將會非常相似。相反地，如果強度分佈不接近正常分佈(例如，強度分佈1304)，則強度分佈的模式、中間值和平均值基本上是彼此不相同。
對於顯示器的每個顯示層，輝度平坦化係為降低穿過顯示視場上的輝度變化。由於像素的輝度強度通常不能超過其最大值，因此輝度平坦化通常是整體輝度的降低步驟，其中在層的特定剖面中壓縮像素輝度，使得該層的輝度儘可能平坦化。
例如，可以執行輝度平坦化，使得該像素輝度在最低輝度值的像素輝度處具有最大值，將顯示層的輝度降低到基本上最小的輝度。或者，該像素輝度可以被配置在所選擇的輝度值處為最大值，該最大值將大於最低輝度值的像素輝度值。這可能不會將總體輝度減到最小，因為低於所選擇的輝度值之像素仍然存在，並且存在的剩餘輝度並不均勻。在一些實施例中，降低像素或像素組的輝度值包括鑑別通過其降低像素或像素組的輝度值。在其它實施例中，降低像素或像素組的輝度值包括鑑別縮放因子，通過縮放因子將像素或像素組的輝度值縮減到最小輝度值或閾輝度值。
在一些實施例中，如果顯示層的初始輝度平坦化良好(例如，HPPR低於閾值)，則可將輝度值減小到最小輝度值，以提供一平坦輝度場。另一方面，如果輝度平坦度是差的(例如，HPPR超過閾值)或者低的最小輝度值(例如，未達到最小閾值)，
則可以選取所選擇的最大輝度值。該輝度平坦化可以在軟體模組(例如，處理模組224,228)中執行。
當每個顯示層的執行輝度平坦化不相同時，輝度的準位會降低。然而，對於相同色彩群組(例如，RGB層群組)中的不同層之不同輝度準位將導致白平衡的損失，這可以藉由校正顯示器的色度均勻性來處理。
■色度一致性
色度通常是指與輝度無關的顯示器的顏色分量。如上所述，顯示系統中的顯示層可以包括紅色顯示層、綠色顯示層和藍色顯示層，但是應當理解，在其他實施例中，可以使用其它數量、類型或顏色的顯示層或組合的顯示層。在以下的實施例中，為了說明的目的將描述RGB色彩層，但是這不是限制色彩平衡(其可以應用於任何的顯示色彩組合)的方法。
如果對應於紅色、綠色和藍色顯示層的輝度變化相同，則在顯示器上維持色度。相反地，如果對應的紅色、綠色和藍色顯示層上的輝度變化不同，則所顯示影像的色度將與期望的不同。例如，對於白色校準影像，如果紅色和藍色層具有比綠色層更高的輝度，則白色校準影像的區域將呈現紫色。這些來自預期白色的偏差可以被稱為關閉灰度(off grayscale)。
色度一致性的度量可以用於擷取影像的關閉灰度。該度量包括平均色彩誤差，分別指示出紅色、綠色和藍色所對應之穿越FOV偏差的紅色、綠色和藍色之平均值。當平均色彩誤差
越小，影像出現的灰度越接近。平均色彩誤差可以藉由除以平均色彩或色彩的範圍(例如，8位元255色彩)被歸一化(normalized)為無因次數值。在各種實施例中，如果平均色彩誤差小於10%、小於5%、小於1%或某個其他閾值，則可以視為顯示器已經達成色度一致性。
圖14A係為投影測試影像的擷取影像產生的紅-綠-藍(RGB)強度圖的實施例。紅色和藍色層1402和1404具有彼此大致相似的輝度，並且紅色層1402和藍色層1404都具有比綠色層1406更高的輝度。結果，白色測試影像的投影區域會呈現紫色(紅色加藍色，參見例圖11B)。
圖14B係為映射最大色彩失衡誤差的一曲線1408。平均輝度1410可以被認定為紅色、綠色和藍色彩色層的平均輝度值。“平均+最大誤差”表面1412表示紅色層、綠色層和藍色層的最大輝度值，而“平均-最大誤差”表面1414表示紅色層、綠色層和藍色層的最小輝度值。
圖15係為在如圖14A所示的顯示視場上，具有不同強度的紅色層、綠色層和藍色層的顯示系統之色彩校正的RGB強度圖。如下所述和在曲線圖1500中所示，在該實施例中，在大部分的顯示器中，最大R和B輝度值已經降低到較低於G輝度值的準位，以便提供色度一致性。
如圖14A所示，在色彩校正之前，紅色層和藍色層的輝度比在FOV上的大部分綠色層之輝度高很多，這將導致白色
校準影像的擷取影像的大區域呈現紫色。在本實施例中的色彩校正期間，對於深度平面的每個點，將確認深度平面(例如，紅色、綠色和藍色)相關聯的色彩層之最低輝度值，並且設定每個色彩層的輝度值為該點的最低輝度值。例如，如圖15所示，紅色和藍色層1502和1504的顏色輝度被降低用以匹配綠色層1506的顏色輝度(例如，比較圖14A的RGB強度圖與圖15的RGB強度圖)。結果，紅色層和藍色層的輝度被校正，因此它們可以與綠色層的強度匹配，從而減少投影影像的關閉灰度量。
■影像校正處理
影像校準是指與先前定義的影像質量度量相關的顯示裝置之特性(參見如圖7-15的描述)。影像校正是指為提高影像質量而採取的校正措施。影像質量度量通知係用以改進或優化顯示裝置影像質量度量所採取的校正動作。因此，影像校正與每個影像質量度量有緊密的關係。
圖16係為在顯示系統上執行影像校正處理的實施例之流程圖1600。在區塊1602，校準用於擷取投影影像的照相機(例如，以下所描述的度量系統1800的照相機1806)。照相機校準包括在擷取和表示實際視覺/顯示訊息時，照相機的精度特徵。為了確保從擷取影像測量出的任一度量是來自於顯示系統，而不是來自與照相機相關聯的誤差，應當在影像校正之前將使用於影像校正的照相機先完成校準。
在一些實施例中，照相機校準包括執行平場校正(例如，確保照相機的強度反應在FOV上是一致的)、透鏡畸變校正(例如，判別和補償透鏡畸變)或像素縮放中的至少一個(例如，判別照相機的影像擷取上的像素大小與顯示系統的像素大小之間的關係)。在一些實施例中，可以應用顯示器到照相機像素映射以執行顯示像素值和相機像素值之間的轉移。顯示器到照相機像素映射可以根據顯示顏色像素值映射到第一中間色調空間的第一全局非線性伽馬函數、一局部、像素相關的耦合函數將第一中間色調空間映射到第二中間色調空間，以及第二全局非線性伽馬函數，其將第二中間色調空間映射到相機色彩空間中的像素強度。以下參考圖21所描述的顯示器到照相機像素映射的實施例細節。
在區塊1604，可在顯示系統上執行空間誤差校正。空間誤差校正包括使用校準的照相機擷取投影光場的一個或多個影像，其可以用於產生顯示器所顯示的影像位置和期望的影像位置之間的失真向量場。在一些實施例中，每個顯示層產生單獨的向量場。使用產生的向量場，可以執行一個或多個空間校正，其可以包括XY中心(區塊1604a)、聚集旋轉(區塊1604b)、聚集縮放(1604c)或空間映射(區塊1604d)。在一些實施例中，在每一層的基底上執行這些校正中的每一個。
XY中心用以表示顯示層的顯示影像之中心相對於期望影像位置的平移空間誤差。執行XY中心可以包括識別所顯示的影像中心點，以及沿著測定的平移向量來移動影像，使得中心
點對應於期望的中心位置。參照圖9A所描述的XY中心校正的實施例。
聚集旋轉係指顯示影像和預期位置之間的總體旋轉誤差。執行聚集旋轉可以包括識別所顯示影像的中心點，並且圍繞所識別的中心點之旋轉影像的旋轉量(例如，像素位置誤差到相對於期望影像位置的一最小化的位置)。參考圖9B所描述的聚集旋轉校正的實施例。
聚集縮放係為所顯示的影像和期望影像之間的整體縮放誤差。執行聚集縮放可以包括識別顯示影像的中心點，以及通過指定的因子(例如，相對於期望影像位置的像素位置誤差被最小化的因子)縮放靠近所判別的中心點的影像。參考圖9C和圖9D所描述的聚集縮放的實施例。
雖然xy中心化、聚集旋轉和聚集縮放可以用於校正線性或仿射空間誤差，但是顯示層的顯示影像還可以包含附加的非線性或非仿射空間誤差。用以執行空間映射來校正已執行XY中心化、聚集旋轉和聚集縮放校正之後所剩餘的任何剩餘誤差(例如，非線性或非仿射誤差)。該空間映射也可以被稱為像素扭曲，如圖9E所描述的實施例。
在一些實施例中，空間誤差可以被分離成平面內空間誤差和平面外空間誤差(有時稱為屈光度誤差)。例如，在面外空間誤差進行校正之前，可以先針對面內空間誤差來校正顯示
層，反之亦然。兩者擇一或可同時一起校正平面內空間誤差和平面外空間誤差。
區塊1606，用以在顯示系統上執行色彩誤差校正。色彩誤差校正可以包括輝度平坦化1606a或色彩平衡1606b。在一些實施例中，當每個色彩群集(例如，每個RGB群集)執行色彩平衡時，將對每層的基底執行輝度平坦化。
輝度平坦化可參考遍及顯示層上之減小的輝度變化。在一些實施例中，輝度平坦化包括將在顯示的FOV中所有像素的輝度減小到最小輝度值。或者，將顯示器的FOV中所有具有大於最大值或閾值輝度的像素輝度減小到等於最大值/閾值，而具有小於最大值/閾值的輝度像素可保持不變。在一些實施例中，可以根據輝度和閾輝度值之間的距離來縮放輝度值。如圖12A和圖12B所描述的輝度平坦化的實施例。
色彩平衡會包括減少在色彩群集(例如，RGB群集)中的不同色彩層之間的強度不匹配所引起的關閉灰度效應。可以藉由降低深度平面中每個位置區域的色彩層的輝度以匹配在該位置區域具有最低輝度的色彩群集中的色彩層輝度來執行色彩平衡。例如，在FOV中的每個像素，在每個位置區域的紅色、綠色和藍色色彩層的輝度都被設置在該區域的三個色彩層中的最低層。在一些實施例中，高於閾輝度值的輝度被降低到等於閾輝度值，或降低到該位置區域的色彩群集中之最小輝度值，取其中之
最大值。在一些實施例中，可根據輝度和閾輝度值之間的距離來縮放輝度。如圖14A和圖15所描述的色彩平衡的實施例。
在一些實施方式中，在製造過程期間將為每個顯示系統執行影像校準(以量化該影像質量度量)。該影像質量度量相關聯的信息和可用於改善或優化顯示系統的校正可以存儲在與顯示系統相關聯的非暫時性存儲器(例如，數據模組224或遠程數據儲存庫232)中。在使用顯示系統期間，可以將影像校正信息應用於顯示器以執行適當的校正，用以提供該顯示系統的使用者減少或消除顯示器中的影像誤差後之改善或優化的影像。例如，局部或遠程處理模組224,228可以使用影像校正的即時信息向使用者提供改良的影像。如圖27和圖28所描述的校準過程之實施例。
■深度平面計量的實施例
本發明所述的顯示系統之實施例會產生光場(如圖1-6的描述)。因此，就像實體(物理)物件會在距離顯示器的佩戴者一定的距離處產生撞擊在眼睛上的光場，並且放置在一定深度的虛擬物體也會產生(數位化的)光場，該光場將使虛擬物體在預期的深度處聚焦。這允許輻輳-調節匹配以及呈現出有更令人信服的混合實境。
由於所產生的光場缺陷(例如，由於波導組件405的波導中的缺陷)，即使內容創建者在渲染引擎中將虛擬物體放置在距離觀看者特定的深度區域，該虛擬物體也會在不同於預期
深度的深度區域聚焦。這將造成輻輳-調節不匹配。在某些情況下，不同部分的虛擬物體會呈現在不同深度區域對焦。這些不匹配的深度會對應於一種平面外空間誤差的型式，如在圖10A-10E所示的實施例。
因此，本發明描述了可以測量由顯示器產生的光場質量之計量系統的實施例。某部分的計量系統可以映射出該顯示器產生的光場之拓撲和質量，並且可以提供信息，該信息將指引該顯示器產生的光場質量的評價。某部分的計量系統會擷取該顯示器產生的向量光場(例如，方向和幅度)，並允許分析顯示器中的焦聚和深度缺陷。本發明所述之計量系統所產生的信息將運用在已成熟的光場顯示器的空間及色彩校準技術上。本發明所述的計量系統係特定應用於光場顯示器的實施例(例如，顯示系統200、400的實施例)，但並非用以限制，因為該計量系統也可以用於其它實施例，如用來測量來自任何型態之顯示器上的光。該測量系統的實施例可以用於確定3D失真場，並可以導引出顯示器之有效的空間校準信息。該計量系統還可以用於雙眼校準和單眼RGB和深度平面校準。
圖17A係由具有正常光場的眼睛304來觀看物件1702的實施例。該物件1702會對應於實質上沒有缺陷的光場所產生的實體物件或虛擬物體。該物件1702上的點係從單個點發散相關聯的光線1706(光線1706對應於物件1702上的點看起來是從單個點發散)，導致該物件1702的點會從眼睛304到距離1708處聚焦。
圖17B係為利用缺陷光場來觀察物件1710的實施例。該物件1710可以對應於虛擬物體，例如使用顯示系統(例如，如圖4和圖6所示的顯示系統400)所產生的虛擬物體。再利用產生的光場缺陷，例如波導420,422,424,426,428,604中的缺陷，打算用來對應於物件1710上特定點的光線1712來呈現出不同的點發散，或表現出不同於預期的發散。結果，該物件1710會在距離1708處失焦。此外，不同部分的該物件1710會在不同深度或距離處聚焦。
測量系統也能用於測量顯示器所產生的光場質量。圖18係為用於測量顯示器1802的光場質量之測量系統1800的實施例。該顯示器1802產生的光場會具有指向照相機1806的光線1804。該顯示器1802可以對應於堆疊波導組件(例如，堆疊波導組件405，如圖4所示)。儘管該光線1804在實施例上是平行的，但是此意僅用於說明，因為該光線1804也可以沿著不同方向(例如，發散)投射，以便傳遞光場所呈現的一個或多個虛擬物體的不同深度。另外，由於顯示器1802中的缺陷，光線1804也會是不平行的(參見如圖17B)。
在一些實施例中，照相機1806可以用於擷取所生成的光場的至少一部分，以便測量例如在光場中表示的虛擬物體的感知深度。該照相機1806用於在特定深度或距離上聚焦(以下也稱為“聚焦深度”)。在一些實施例中，這可以使用具有小的焦深(DOF)的透鏡來完成。例如，DOF可以小於Z-距離，其中顯示
器上的缺陷通常導致聚焦深度偏離預期的聚焦深度(例如，如圖19C所示的小於深度圖的峰頂1924與預期聚焦之間的距離所示的深度1922)。在其他實施例中，DOF可以小於照相機和顯示器之間的距離倍數，其中該因子可以小於約0.1、小於約0.01、小於約0.001等。照相機1806可以用於擷取光場的特定部分或整個光場。該照相機180用於擷取與特定虛擬物體相關聯的部分光場並使用該光場呈現出來。該照相機1806被定位成能夠擷取影像基本上類似於眼睛304感知。該照相機1806和該顯示器1802可以相對於彼此移動以映射出光場。例如，相對運動可以平行於該顯示器1802(例如，沿圖18所示的X方向或垂直於X和Z的Y方向(未揭露))或垂直於該顯示器1802(例如，沿圖18所示的Z方向)。在其它實施例中，掃描光學器件(未揭露)可以用於相對地掃描該照相機1806和該顯示器1802。在一些實施例中，照相機1806可以用於擷取所生成的光場部分，以便確定變形圖(例如圖8中所示的)，其可以用於判別投影影像中的空間誤差(例如，如圖9A-9E所示的平面內空間誤差或如圖10A-10E所示的平面外空間誤差)。另外，照相機1806可以用於判別所生成的光場中的輝度或色差(例如，如圖11-15所示)。
在一些實施例中，照相機1806可移動以便在不同方向上定向。例如，雖然照相機1806被揭露出為正交地面向顯示器1802，但是照相機1806也可以被旋轉(例如，沿著Y軸旋轉或X
軸旋轉)，使得對應於顯示器1802面向不同的角度，從而允許照相機1806測量顯示器1802在不同方向或取向上產生的光場。
在各種實施例中，照相機1806可以是數位相機，例如短焦數位相機。在其他實施例中，照相機1806可以是光場相機。
照相機1806會連接到控制器1808，控制器1808用於控制照相機1806的聚焦深度、照相機1806的視場、曝光時間、照相機1806和顯示器1802的相對移動等。在一些實施例中，控制器1808可以對應於如圖4所示的控制器450。控制器1808可以包括硬體處理器和非暫時性數據存儲器。
圖19A係為照相機在特定聚焦深度上聚焦(例如，照相機1806)所擷取的影像1900之實施例。影像1900可以包含聚焦的一個或多個區域1902，以及失焦的一個或多個區域1904。由於照相機1806可以用於在不同的聚焦深度聚焦，所以影像的聚焦或非聚焦的區域可以改變。例如，如果照相機被改變不同的聚焦深度聚焦，則區域1902可以出現在焦點外，而區域1904的部分可以進入焦點。通過多個不同的聚焦深度上擷取光場的多個影像，可以確定光場的各個區域的感知深度。例如，照相機擷取的影像之每個像素會對應於焦點深度相關聯的特定焦點深度，其中部分光場會對應於像素的焦點上。並可將所產生的光場區域與感知深度相映射建構成一深度圖或一圖形。另外，深度圖或圖形也可以具體為顯示器準備投影出的聚焦深度，因此將光場中呈現的虛擬物體之預期焦深和實際測量聚焦深度進行比較。
圖19B係為深度圖的實施例，用以揭露出利用測量系統1800執行測量焦深的實施例。圖1910繪製了沿著從顯示器1802(例如，沿著光場的水平X軸，如圖18所示)發射光場的線所生成光場的測量焦深1912。在一些實施例中，可以跨越多個不同的聚焦深度來掃描相機1806的聚焦深度進而產生圖形1910。例如，照相機1806可以聚焦在焦點深度1914(由水平虛線表示)。在理想顯示中，由顯示器產生的光場將使得虛擬物體的實際測量深度正好是預期深度，但是在實際顯示中，由於顯示中的缺陷，兩者可能不相同。因此，當測量的聚焦深度接近聚焦深度1914之光場的任何區域時(例如，區域1916)，可以被感知為是聚焦，而具有測量的聚焦深度明顯不同於聚焦深度1914之該光場區域時(例如，區域1918)可被感知為失焦。
圖19C係為擷取一個或多個生成影像的深度圖之實施例。深度圖1920包含預期深度位置1922及測量深度圖1924。其中該深度位置1922係由顯示器1802聚焦生成的影像(在圖19C中以水平平面表示)，而該測量深度圖1924係呈現出焦點深度(Z)，並且也會聚焦生成影像。比較該預期的聚焦深度1922和測量的聚焦深度1924以允許由顯示器1802產生的光場的缺陷在顯示器的視場(FOV)上被判別和量化。
例如，在水平位置(X0,Y0)處聚焦的光之預期聚焦深度是Z0，並且在該位置處的測量聚焦深度是Z，則(Z-Z0)是在位置(X0,Y0)處的顯示器聚焦缺陷的度量。在一些實施方
式中，可以測量光線聚焦的實際水平位置(X,Y)。在實施例中，實際對焦位置相對於預期對焦位置(X,Y,Z)-(X0,Y0,Z0)的向量測量可以呈現出顯示器產生的光場中的缺陷。該向量測量的顯示缺陷提供了3D平面內和平面外(例如，屈光度)的誤差。在一些實施例中，僅使用2D向量誤差測量(X,Y)-(X0,Y0)測量(和校準)平面內誤差。在某些情況下，可以在逐個像素(pixel-by-pixel)的基礎上確定顯示器的聚焦誤差。然而，由於許多顯示器中的大量像素(例如，數百萬像素)，可以僅針對顯示器的部分或針對該顯示器進行採樣的像素組來確定聚焦誤差數據(例如，跨越顯示器的一10×10或一100x100樣本)。棋盤圖案不需要是正方形的，也可以被設計為符合顯示器的像素結構。
圖20係為程序2001的實施流程圖，該程序2001為用於測量光場顯示生成的虛擬目標模式的質量。程序2001可由計量系統1800執行，例如由控制器1808執行。在一些實施方式中，虛擬目標模式是具有交替的明暗區域之陣列的棋盤圖案。該棋盤圖案可以用於對顯示器的部分(例如，10×10或100×100或其他尺寸的棋盤)進行取樣，或者可以對應於每種尺寸的顯示器之像素數量的大小。在其他情況下，可以按照順序地打開和關閉一個(或多個)像素組並獲取打開像素的影像來獲取逐個像素的數據。棋盤圖案(打開/關閉的像素的序列)可以包括亮區和暗區的隨機序列或者亮區和暗區的幾何圖案或任何其他類型的校準圖案。以下參照圖22-23B所描述的棋盤圖案和像素開關序列的實
施例。在區塊2002，可以設置初始焦點深度。在一些實施例中，這包括照相機上的聚焦透鏡之深度。初始焦深可對應於虛擬目標模式的任何深度。例如，初始深度可以對應於虛擬目標模式相關聯的最小或最大深度。
在區塊2004，在選定的聚焦深度來擷取虛擬目標圖案的影像。在一些實施例中，影像可以包括聚焦的部分和失焦的部分。在一些實施例中，影像的範圍可以集中在與虛擬目標模式相關聯的特定虛擬物體上。在其他實施例中，影像可以對應於包括多個虛擬物體的整個光場。影像可以包括跨越虛擬目標圖案的逐個像素的聚焦深度信息。
在區塊2006，如果存在額外聚焦深度係用於被拍攝的影像則進行下一步驟。如果確定存在額外的聚焦深度，則在區塊2008，用以選擇新的聚焦深度。在一些實施例中，數量聚焦深度基本上可以至少部分地由顯示系統呈現出不同深度的數量(例如，如圖3所示的深度平面306的數量或者如圖4所示的波導組件中的波導數量)。在一些實施例中，如果影像聚焦在特定虛擬物體上，則聚焦深度的範圍會與虛擬物體的一個或多個深度相關聯(例如，與虛擬物體相關聯的最小深度和最大深度)。
如果不存在額外聚焦深度係用於被拍攝的影像則進行另一步驟，該步驟區塊2010，用以分析虛擬目標圖案的擷取影像，以便識別深度Z或橫向位置(X，Y)，其中目標圖案的不同區域實際上是聚焦。例如，虛擬目標圖案的每個擷取影像會對
應於特定聚焦深度所包含部分的對焦和部分的失焦。在一些實施例中，每個影像可以被劃分為對應於光場區域的一個或多個區域。自動聚焦技術可以用於確定每個區域在哪個深度處聚焦。在一些實施例中，每個區域可以對應於像素。
在區塊2012，會至少部分地依據測量的聚焦深度(或橫向位置)來建立深度圖。該深度圖會包括任何類型的數據結構或可視化將焦點深度映射到光場位置。例如，該深度圖可以包括一個或多個像素的擷取影像的深度信息(例如，Z軸聚焦深度或結合橫向聚焦位置的Z軸聚焦深度(X和/或Y位置)的測量)。在一些實施例中，像素可以對應於與目標虛擬物體相關聯的像素雲(pixel cloud)。這樣，該深度圖可以指定當通過顯示光學器件觀看時虛擬物體的實際感知深度。
在區塊2014，深度圖可以將一個或多個期望聚焦深度相互比較，其中該期望聚焦深度會對應於在一個或多個虛擬物體呈現的深度。通過檢查虛擬物體的實際感知深度與虛擬物體意圖出現的焦點深度之間的差異，在光場的缺陷和/或偏離可以被發現。
在區塊2006，可以至少一部分根據深度圖和期望的聚焦深度的比較結果來執行誤差校正。該誤差校正可以補償光場顯示中的缺陷或顯示器投射的影像內容。
可以對光場顯示器的波導組件405中的每個波導重複程序2001，以映射每個波導的缺陷。在某些情況下，可以存在
對應於多個深度平面的多個波導以及對應於多種顏色(例如，紅色(R)、綠色(G)和藍色(B))的多個波導。例如，某些顯示器，對於每個深度平面存在三個色彩平面，因此具有兩個深度平面的波導組件可以具有2x3=6個波導。照相機1806可以是多種色彩敏感的照相機或照相機的組合，每一個會對色彩的子集敏感。由計量系統1800獲得的聚焦深度信息可以用於確定聚焦誤差的空間分佈以及顯示器的色彩(彩色)缺陷的分佈。
在一些實施例中，可以使用光場相機來擷取由顯示器1802產生的光場(例如，使用具有掃描焦點的數位相機)，來代替在多個不同的聚焦深度所擷取的多個影像。擷取的光場可以分析焦點和/或深度缺陷。通過分析擷取的光場中的光線之向量，可以確定各個區域的聚焦深度。然後可以比較所識別的焦點深度和一個或多個預期焦點深度，並且可以執行適當的誤差校正(如在區塊2016中)。例如，向量計量的實際對焦位置(X，Y，Z)對應於預期的聚焦位置(X0，Y0，Z0)並可以被確定為：向量誤差=(X，Y，Z)-(X0，Y0，Z0)，用於描述顯示器產生的光場中的缺陷。
■色彩平衡顯示的實施例方法
如上所述，全色顯示器的一些實現方式係藉由組合顯示器投射紅色(R)、綠色(G)和藍色(B)波長的光，並在觀看者的視網膜上產生三色刺激反應。理想的顯示器對於這三個色彩層具有空間均勻的輝度；然而，由於硬體缺陷，實際顯示器
在視場的輝度上會具有一些量的變化。如果對於不同的色彩層有不相同的變化，則該變化會在顯示器的視場(FOV)(例如，如圖11所示)上產生不均勻的色度。本發明描述了校正色彩變化並試圖讓FOV上的色度均勻的方法之實施例。例如，可以調節顯示器的各個色彩層(例如，R、G和B)的強度，使得顯示器的白點在FOV的基本上是均勻的。
在一些實施方式中，這裡描述的光場度量系統可以用於顯示器的色彩平衡。例如，數位彩色照相機可以拍攝顯示器的影像(例如，使用如圖18所示的度量系統1800)，對於顯示器的一些或全部像素，可以從該圖像來確定顯示器的色彩反應。在許多顯示器中，存在三個色彩層(例如，R、G和B)，然而，本發明不限於RGB或3色顯示器。本發明方法可以應用於任何數量的色彩層(例如，2、3、4、5、6或更多)和任何顏色(例如青色、洋紅色、黃色、黑色)的選擇。
圖14A(色彩校準前)和圖15(色彩校准後)係為用於RGB顯示器的特定執行的量測色彩平衡之實施例。圖14A和圖15為包括橫跨顯示器像素(水平軸)的R、G和B強度(垂直軸)的分佈繪製圖(分別為1400,1500)。圖14B包括用於顯示器像素(水平軸)的最大色彩非平衡(垂直軸)的曲線1408，呈現出顏色校正之前的平均值和平均值加上或減去最大誤差。
如上所述，圖14A呈現出未校準的顯示器在顯示器的像素上具有明顯不均勻的顏色反應。紅色和藍色的反應相同，
R和B強度朝著繪製圖1400的右側突出。綠色反應通常小於R或B反應，因此會向著繪製圖1400的右邊減小。圖15揭露出應用以下所描述的色彩校準之後，已校準的顯示器在顯示器像素上將具有均勻的色彩反應。
本發明所述的色彩平衡系統和方法之實施例，用於提供調整多色顯示器中的至少某些色彩層的強度技術，使得顯示器的白點在顯示器FOV的基本上是均勻的。在各種實施方式中，顯示器可以是光場顯示器。例如，顯示器可以具有在多個深度平面向觀看者呈現彩色影像的能力。色彩平衡系統和方法的實施例可以應用於色彩平衡顯示器208(圖2)、顯示系統400(圖4-6)和顯示器2500(圖25A、25B、26)。
人的眼睛不會以線性方式來感知光的準位。例如，與理想、線性的顯示器相比，人眼對於暗色調或類似光色調的變化較為敏感，這允許人類視覺系統在寬範圍的輝度準位上操作。現實世界的顯示器也不提供精確的線性亮度反應。此外，數位影像通常被編碼用以表示在感知上具有更均勻的色調準位。人的視覺感知、顯示輸出和影像編碼通常被塑造為遵循相對於亮度或色階的近似冪定律關係。例如，輸出電平與已提高功率伽馬：
的輸入電平成比例。這種非線性、冪定律、特性通常被稱為伽馬校正、伽馬編碼或單純的稱為伽瑪。
在某些實施例中，如果顯示器中各個色彩層的輝度平坦度在跨越顯示器的FOV上幾乎是均勻的，則色彩平衡可以包
括用於實現跨越顯示器的均勻色彩平衡之各個色彩層的縮放強度。如果在各種實施例中跨越顯示器的FOV上的輝度變化小於1%、小於5%、小於10%，則顯示器可以具有適當的輝度平坦度。由於顯示器的伽馬反應和人類視覺感知，在某些情況下，使這種直接的縮放可能具有某些缺點。
如果顯示器的色彩層不具有實質的輝度平坦性，則色彩平衡可以不僅僅包括各個色彩層的縮放強度。例如，色彩平衡可以嘗試在顯示器的每個像素(或一組像素)處單獨地平衡白點。在某些這樣的實施例中，可以實現跨越顯示器的FOV的色彩平衡，而不使跨越FOV上的輝度變平。可以附加或替代地執行輝度平坦化以達到色彩平衡。
色彩平衡顯示器的目的是讓顯示器的觀看者感知跨越在顯示器的FOV上均勻的色彩平衡。為了測量和調整顯示器的色彩平衡，使用校準相機(而不是人眼)來記錄顯示輸出的影像。可以假定相機為顯示輸出的人類感知之呈現，並且如果顯示器的相機影像是色彩平衡的，則觀看者對顯示器的感知也將被色彩平衡。
在一些實施例中，以下模式為用於將顯示器色彩層之像素值轉換成校準相機所測量的顏色像素值。在以下實施例中，有三個色彩層，被假設為R、G和B；然而，這是為了說明的目的，而不是限制。在其他情況下，色彩層的任何數量和色調
都可用於色彩平衡技術的實施例。此外，在應用此示模式之前，可以考慮顯示器和相機的像素大小之間的適當縮放。
在等式(1)中，[Rd、Gd、Bd]為發送到顯示器的RGB影像的強度值。在許多情況下(例如，標準RGB或sRGB)，強度值在0和255之間。伽馬1{}表示第一非線性伽馬函數(具有指數γ 1)，其將顯示色階映射到中間色調表示式[R1 G1 B1]。耦合()表示將色度值[R1 G1 B1]映射到第二中間色調表示式[R2 G2 B2]的函數。耦合()函數可以是線性函數，例如，3×3矩陣(在3個色彩層的情況下)。在其他實施例中，耦合()函數可以是非線性的。伽馬2{}為將第二中間色調表示式[R2 G2 B2]映射到由校準相機記錄的像素強度[Rc Gc Bc]的第二非線性伽馬函數(具有指數γ 2)。
在一些實施例中，第一和第二伽馬函數是在顯示器的FOV上的全局函數(例如，在FOV上的指數γ 1和γ 2是恆定的)。耦合()可以是局部(像素相關)函數，其在整個FOV中從像素到像素而變化。由耦合()函數提供的每像素顏色映射允許每個像素色彩平衡。
為了確定函數伽馬1{}，伽馬2{}和耦合()，一系列的顯示器的一個或多個影像可以被照相機擷取，並且可以由編程的分析系統來分析以執行反覆最適化演算法(例如，爬山演算法、局部搜索、單純形法、遺傳算法等)，用以提供顯示器合理的色彩平衡的伽馬和耦合函數的合適契合。當分析系統搜索伽馬和耦合函數的合適契合時，分析系統可以在反覆過程期間藉由擷取顯示器的附加影像(或多個)來使用反饋。例如，可以藉由反覆地調整這些函數來確定函數伽馬1{}，伽馬2{}和耦合()，以改善或優化跨越顯示器的FOV的相機影像的色彩平衡。可以反覆地調整這些函數，直到在反覆過程期間獲取的相機影像的白點在顯示器的FOV基本上是均勻的。在各種實施例中，基本上均勻的白點分佈與白點的變化有關聯，該白點在顏色系統內被測量出跨越該FOV之小於10%、小於5%或小於1%的白點值。例如，可以使用由國際照明委員會(CIE)提供的色彩空間。在一些實施例中，基本上均勻的白點分佈可與根據色彩空間的恰辨差(JND)之小於閾值量的白點的變化相關聯。在一些實施例中，首先重覆地計算伽馬傳遞函數伽瑪1{}和伽瑪2{}，然後一旦已經計算了伽馬函數(例如，指數γ1和γ2)，再來就計算耦合()函數。
一種用於製造環境中校準顯示器的生產過程可以當顯示器沿著生產線傳輸時自動描繪顯示器。例如，在生產過程中的適當點，本發明所述的校準相機和分析系統可以執行重覆分析以獲得用於特定顯示器的伽馬傳遞函數和耦合函數，並將所得的
伽馬和耦合函數儲存在與顯示器相關聯的儲存器。然後，顯示器具有自動執行色彩平衡的能力。
在特定顯示器的使用期間，一旦伽馬傳遞函數伽馬1{}和伽馬2{}和耦合()函數對於特定顯示是已知時，則適當的顯示像素值[Rd Gd Bd]可以輸入到等式(1)以實現色彩平衡輸出。例如，特定顯示器確定的伽馬指數和耦合()函數可以儲存在顯示器內合宜的儲存器中，並被取出以變換輸入影像像素顏色值，以提供來自顯示器的色彩平衡輸出。在一些實施例中，可穿戴顯示系統200的局部處理和數據模組224可以儲存伽馬傳遞和耦合函數，並且處理模組可以利用等式(1)輸出即時色彩平衡影像(圖2)。在其他實施例中，顯示系統400的控制器450可以根據等式(1)和儲存的伽馬和耦合函數(圖4)來執行色彩平衡。在其它實施例中，如下所述，動態校準系統2600的動態校準處理器2610可以使用等式(1)和儲存的伽馬和耦合函數對顯示器2500(圖26)執行色彩平衡。
請同時參考圖27和圖28所述的根據眼動追踪來動態地校準顯示器的方法2700或處理流程2805的實施例。以下更詳細地描述圖像傳感器可以執行色彩平衡和其他誤差校正/校準的功能。例如，在方法2700的區塊2720處取出的校準可以包括伽瑪和耦合函數，並且在區塊2730，可以藉由使用等式(1)和所取出的伽馬和耦合函數來校正顯示器的色彩缺陷。作為另一實
施例，處理流程圖2805的區塊2880可以取出伽馬和耦合函數並在校準期間應用它們。
圖21係為用於校準顯示器的方法2150之實施流程圖。顯示器可以是光場顯示器。顯示器可以是顯示器208(圖2)、顯示系統400(圖4-6)和顯示器2500(圖25A、25B、26)。方法2150可由分析系統來執行(包括相機和由電腦硬體執行的分析程序，例如圖18所示的計量系統1800)如同顯示器製造過程的生產線之一部分(例如，如同參考圖28所述之一部分的過程2805)。方法2150可以如同參考圖16所述的流程圖1600之區塊1602的一部分之相機校準來執行。在一些實施例中，方法2700應用等式(1)以確定顯示器與相機之間的適當變換(假設為呈現顯示器的觀看者的視覺感知)。在區塊2160，由相機擷取顯示器的影像。在區塊2170，確定在顯示器和相機之間變換的全局變換參數。全局變換參數可以包括不在跨越顯示器的FOV上變化的參數(例如，不是像素相關的參數)。例如，全局變換參數可以包括Gamma1 {}和Gamma2 {}函數。在某些情況下，方法2150可返回到區塊2160以獲取一個或多個附加影像如同一部分的疊代，用於確定全局變換參數的反饋過程。在獲得對全局變換參數的合適契合之後，方法2150移動到區塊2180，其中將局部(例如，像素相關)變換參數契合到相機圖像。例如，局部變換參數可以包括耦合()函數(例如，跨越顯示器的FOV的像素位置處的該函數值)。在某些情況下，方法2150可返回到區塊2160以獲
取一個或一個以上的附加影像如同一部分的疊代，用於確定局部變換參數反饋過程。在一些實施例中，在區塊2160處獲得附加影像之後，方法2150可跳回到區塊2180以繼續契合局部變換參數，而不是傳遞區塊2170，因為先前已確定了全局變換參數。在將局部變換參數的合適契合與相機影像契合之後，方法2150移動到區塊2190，其中局部變換參數和全局變換參數被儲存在與顯示器(例如，局部數據模塊71)相關聯的儲存器中。如上所述，在用於動態校準顯示器的方法2700的區塊2720處，可以存取局部和全局變換參數來用於顯示器的一部分校準，並且在區塊2730，局部和全局變換參數和等式(1)可以應用來從顯示器中產生色彩平衡影像。
儘管針對顯示器的色彩平衡的情況進行了描述，但是本系統和方法不受限於此，並且可以應用於校正顯示器的其他色彩(或空間)缺陷(例如，上述的任何色彩或空間缺陷)。例如，如上所述，顯示器可以呈現輝度平坦度變化，並且本發明的分析技術的實施例可以確定一輝度平坦度校準，其用於校正輝度平坦度的缺陷。另外地或替代地，顯示器可以展示空間缺陷，包括平面內平移、旋轉、縮放或扭曲誤差以及平面外(例如，焦深)誤差。本發明的分析技術的實施例可以確定用於這些空間誤差中的某些或全部的校準。
■使用校準圖案的顯示校準實施例
顯示器中的缺陷可能導致顯示器投射的虛擬物體看起來空間失真或色度失真。為了校正這些失真，可以首先藉由測量該失真來校準，然後執行任何必要的誤差校正(例如，使用圖18中所示的測量系統1800)來校準顯示器。顯示器校準可以包括使用顯示器來投影校準圖案，例如，棋盤圖案(例如，如圖7所示)，以及用相機擷取所得到的影像。然後可以處理所擷取的影像，由通過量化圖案特徵點的期望位置與其測量位置之間的誤差來確定校準圖案的特徵點位置處的失真。對於具有單獨的顏色層(例如，紅色(R)、綠色(G)和藍色(B))的顯示器，該校準也可以校正顏色品質和影像品質。
圖22係為使用校準圖案的校準系統2200之實施例。顯示器2202可以被配置為將校準圖案2204投影為生成光場2206，可以使用諸如相機2208的成像裝置來擷取生成光場2206。在一些實施例中，顯示器2202包括堆疊波導組件(例如，如圖4或圖6所示)或其他類型的光場顯示器。在一些實施例中，相機2208(或顯示器2202)被配置為可移動的，使得系統2200將能夠從不同的橫向位置、深度或角度擷取光場706的影像。在一些實施例中，校準系統2200可以類似於圖18的計量系統1800。例如，顯示器2202、光場2206和相機2208可以對應於計量系統1800的顯示器1802、光場1804和相機1806。
在該實施例中，校準圖案2204包括棋盤圖案，其中不同區域具有不同(例如，交替)光學特性，例如輝度(例如，
亮或暗)、色度、色調、飽和度、顏色等。棋盤圖案可以是規則圖案(例如，如圖22所示)或不規則圖案。校準圖案2204包含可用於測量由相機2208擷取的影像中的失真量的多個特徵點。例如，棋盤圖案的特徵點包括在棋盤的檢查框之間的邊框和角落上的點或在檢查框中心的點。校準圖案2204可以與顯示器2202的尺寸相同或者比顯示器2202小。當系統2200在顯示器2202上移動時，較小的校準圖案可以在顯示器2202上移動，並且當測量顯示器2202的失真時，相機2208可以獲取校準圖案2204的多個影像。在一些實施例中，可以根據運算優化的序列對校準圖案2204進行隨機採樣。
由於顯示器2202中的誤差(例如，一個或多個波導或透鏡中的缺陷)，光場2206可能包含導致虛擬物體或光場中的圖案出現失真的缺陷。這可能使校準圖案2204上的特徵點的預期聚焦位置(橫向或深度)與它們由相機2208擷取的影像中的實際測量位置之間產生偏差。藉由比較校準圖案2204的特徵點的實際測量位置與可以識別和測量這些特徵點的預期位置，來判定和測量失真所引起的偏差。在一些實施例中，校準圖案包括顏色信息，使得顯示器2202的色彩誤差可以由系統2200量化。在一些實施例中，可以生成失真圖以用於顯示器的空間或色彩誤差的誤差校正2202(例如，如圖8所示)。
在一些實施例中，校準圖案2204中的每個檢查框2304對應於顯示器2202的單個像素，其可以允許在逐個像素的
基礎上直接測量顯示缺陷。在其他實施例中，每個檢查框2304對應於多個像素(例如，N×M像素網格，N或M至少一個大於1)。在某些這樣的實施例中，校準圖案的粗糙質量意味著在採樣點處獲得失真信息，並且可以對其進行內插以獲得每個像素失真信息。例如，在圖23A所示的棋盤圖案中，可以針對對應於特徵點2302的圖案位置(例如，檢查框的邊框、角或中心上的點)測量失真信息。可以從與靠近特徵點2302相關聯的測量的失真值推斷出或內插的檢查框區域2304中的其他點的失真信息。
棋盤投影擷取過程識別特徵點(例如，檢查框的邊緣)會量化用於失真校準的預期位置與測量位置中的誤差。與顯示器中的像素數目相比，特徵點可以是稀疏的。例如，高清晰度顯示器可以包括數百萬個像素(例如，對於1920x1080像素分辨率為210萬像素)，而校準圖案中的方格804的數量可以幾乎更少(例如，對於50×50、100×100、500×500圖案)。因此，使用單個投影擷取近似率採樣測量的系統2200的實施例可以被內插以估計每個像素失真。
為了獲得用於顯示器準確的每像素失真信息，系統2200的實施例可以藉由實現不同或位移校準圖案來自動獲得失真信息的作業。可以投影不同的校準圖案或者可以遞增地位移相同的圖案，使得顯示器2202的整個像素空間被測量。自動影像投影和擷取或不同的位移校準圖案允許用於顯示器2202的失真之像素準確映射。
可藉由自動重複棋盤投影擷取，但是具有例如1個像素位移的校準圖案，系統2200會在每個像素的基礎上，獲得改善的失真信息。例如，照相機2208可以在每次位移圖案時，獲得圖案的影像。由於每個重複的影像擷取，會讓投影的校準圖案的特徵點對應到不同的像素組。此校準圖案的位移可以重複，直到獲得顯示器的失真場之密集採樣。例如，棋盤可以被投影以及位移通過與棋盤的檢查框之像素對應的多個位置，並允許測量顯示器的每個像素的失真信息。在其它實施例中，該位移可不同於一個像素，例如，2、3、4、5、8、16或更多像素。對於不同方向的顯示器，位移可以是不同的，例如，x位移不需要與y位移相同。
雖然本發明揭露了棋盤圖案的實施範例，但是應當理解，也可以使用其他類型的圖案。例如，可以使用其他幾何圖案，可以隨機使用隨機圖案，或者可以使用任何其他類型的校準或測試圖案。在一些實施例中，使用期間會開啟顯示器中的單像素的校準圖案。圖23B係為單像素校準圖案的實施例，其中該單個像素2306已被開啟。並從每個結果幀(resulting frame)的擷取影像，來量化顯示裝置到觀看者場景的每像素的傳遞函數。在每次影像擷取之後，顯示的像素2306的位置可以在設置的距離(例如，單個像素)上跨越顯示器(例如，沿由箭頭2308指示的方向)移動。並通過自動掃描顯示器的每個像素，用以獲得顯示裝置的質量的完全量化。在其他實施例中，照亮像素的移位可以是不同
數量的像素，例如2、3、4、5、8、16或更多像素，該平移對於顯示器上的不同橫向方向可以是不同的，或者可以在每個影像擷取中照亮多個像素(而不是如圖23B所示的單個像素)。
圖24係用於執行自動顯示校準的流程2400示意圖。流程2400可以，例如，作為參考圖27和28描述的流程2700和2805的一部分來執行。在區塊2402，由顯示器投影校準圖案。校準圖案可以包括具有可以由顯示器產生的一個或多個特徵點的任何圖案。在一些實施例中，校準圖案包括棋盤圖案。在其他實施例中，可以使用其他類型的校準圖案，例如單像素圖案。
在區塊2404，會使用相機或其它類型的影像擷取裝置來擷取所顯示的校準圖案的影像。如果在顯示器產生的光場中存在誤差或缺陷，則所顯示的校準圖案的部分可能變得失真，其中校準圖案中的一個或多個特徵點將出現與期望位置不同的位置。影像的輝度或色度也將不同於校準圖案所期望的輝度或色度。
在區塊2406，確定對應於校準圖案的特徵點的預期位置與所擷取的特徵點的位置之間的誤差的失真。例如，對於單像素校準圖案，可以針對圖案的特定像素位置計算失真信息。對於棋盤圖案，可以對與棋盤的特徵點對應的像素(例如，檢查框的邊緣、角或中心)計算失真信息。在一些實施例中，確定校準圖案的輝度或色度與校準圖案的擷取影像的對應輝度或色度之間的輝度或色度誤差。
在區塊2408，確定在跨過顯示器上是否有應當投影校準圖案的任何附加位置。如果確定存在附加位置，則在區塊2410，用以將校準圖案移位並投影在新位置，並且可以擷取校準圖案的影像(區塊2404)，且用於計算失真量(區塊2406)。在一些實施例中，用於顯示校準圖案的不同位置的數量是基於所使用的校準圖案。例如，對於單像素校準圖案，位置的數量可以對應於顯示器可顯示的像素的總數。對於棋盤圖案，位置的數量可以是基於每個檢查框中的像素的數量。
一旦校準圖案已經顯示在所有期望的位置，在區塊912處，所計算的失真可以被聚集並且用於生成包括顯示器的每個像素(或一組像素)的失真信息的失真圖。失真信息可以包括由於聚焦誤差(例如，平面內誤差或平面外誤差)或顏色誤差(例如，輝度或色度誤差)引起的空間失真。在區塊2414，可使用計算的失真圖在顯示器上執行糾錯。例如，失真信息(例如，失真圖)可以由圖2所示的可穿戴顯示系統200的數據模組224、232儲存。可穿戴顯示系統200的處理模組224、228可以使用失真信息來校正顯示器208中的空間或色差，使得顯示系統200的佩戴者204感知的影像至少部分地被補償。
在一些實施例中，圖24係為用於光場顯示的實施例，用以對光場顯示器的波導組件405中的每個波導執行過程2400，以校準每個波導。在某些情況下，可以存在對應於多個深度平面的多個波導以及對應於多種顏色(例如，紅色(R)、綠色(G)
和藍色(B))的多個波導。例如，對於某些顯示器，每個深度平面存在三個色彩平面，因此具有兩個深度平面的波導組件可以具有2x3=6個波導。此外，除了像素位置之外，還可以校準色品和質量，以便校正顯示器的色彩(顏色)缺陷。例如，相機2208可以是對多種色彩靈敏的相機或相機組合，每一個對色彩的子集靈敏，且用於擷取光場2208的影像，在其中可以識別投影圖案2204的擷取顏色或輝度值與預期顏色或輝度值之間的偏差。
■波導顯示實施例
圖25A揭露出包括一波導2505、一光輸入耦合元件2507、一光重新分佈元件2511和一光輸出耦合元件2509的顯示器2500之實施例的俯視圖。圖25B為揭露出圖25A沿軸線A-A'所示的顯示器2500的橫截面示意圖。
波導2505是圖4所示的顯示系統400中的波導堆疊405的一部分。例如，波導2505可以對應於波導420、422、424、426、428中的其中一個，並且光輸出耦合元件2509可以對應於顯示系統400的光提取光學元件460、462、464、466、468。
顯示器2500用以將光線2503i1,2503i2和2503i3(分別為實線、虛線和雙點劃線)所表示的不同波長的入射光由光輸入耦合元件2507耦合到波導2505中。入射到波導2505的入射光可以從影像注入裝置(例如圖4所示的影像注入裝置440、442、444、446、448中的其中一個)投影。光輸入耦合元件2507用以
將適當的角度的入射光之波長耦合到波導2505中，該波長藉由全內反射(TIR)的支持來傳遞通過波導2505。
光重新分佈元件2511用以設置在光學路徑中，光的不同波長2503i1、2503i2和2503i3沿著該光學路徑傳遞通過波導2505。光分佈元件2511用以配置為重定向來自光輸入耦合元件2507的一部分的光朝向光輸出耦合元件2509，並沿傳播方向增大相互作用的光之光束尺寸。因此，光分佈元件2511可以有利擴大顯示裝置2500的出射光瞳。在一些實施例中，光分佈元件2511可以因此具有垂直瞳孔擴張器(OPE)的功能。
光輸出耦合元件2509用以適當的角度(例如，在z方向)和效率將入射在元件2509上的輸入耦合光重新導出波導2505的xy平面，有助於在不同的波長和在不同的深度平面，使得觀看者可以感知到良好視覺質量的彩色影像。光輸出耦合元件2509可以具有向通過波導2505射出的光提供發散的光功率，使得通過波導2505射出的光形成的影像為(對於觀看者)起源於一定深度。光輸出耦合元件2509可以放大顯示器2500的出射光瞳，並可以將光引導到觀看者的眼睛，如同出射瞳孔擴張器(EPE)。
光輸入耦合元件2507、光輸出耦合元件1009和光分配元件2511可以包括多個光柵，例如模擬表面起伏光柵(ASR)、二進製表面浮雕結構(BSR)、體全息光學元件(VHOE)、數位表面浮雕結構和/或體積相位全息材料(例如，記錄在體積相位全息材料中的全息圖)或可切換繞射光學元件(例如聚合物分散液
晶(PDLC)光柵)。在各種實施例中，光輸入耦合元件2507可包括一個或多個光學棱鏡或包括一個或多個繞射元件和/或折射元件的光學元件。藉由使用諸如射出壓縮成形、UV複製或者繞射結構的奈米壓印的製造方法將各種繞射或光柵結構組用於波導上。
光輸入耦合元件2507、光輸出耦合元件1009或光分佈元件2511不一定是單個元件(例如，在如圖25A和25B所示)，此種元件也可以為複數元件。這些元件被設置在波導2505的主表面2505a、2505b的其中一個(或兩個)上。如圖25A和25B所示，光輸入耦合元件2507、光輸出耦合元件2509和光分佈元件2511被設置在波導2505的主表面2505a上。
在一些實施例中，一個或多個波長選擇濾波器可以與光輸入耦合元件2507、光輸出耦合元件2509或光分佈元件2511。在圖25A所示的顯示器2500包括波長選擇濾波器2513、波長選擇濾波器2513被集成到波導2505的表面中或表面上。波長選擇濾波器可以被配置為濾除沿著波導2505中的各個方向傳播的一個或多個波長之某部分的光。波長選擇濾波器可以是吸收濾波器，例如色帶吸收器。
■根據眼動追踪的AR或VR顯示器的動態校準實施例。
顯示系統用以被校準(空間和/或色度)以產生改善的質量影像。在某些近眼顯示器(例如，圖4中所示的堆疊波導組件405用於圖2所示的顯示器208或參考圖25A和25B所述的
顯示器2500)的情況下，該校準於名義上固定的眼睛位置(例如，佩戴者通過顯示器208直視前方)會相當準確，但對於其他眼睛的姿勢方向或位置就不會準確。因此，顯示器的校準會取決於眼睛位置或眼睛方向。如果僅使用單個(例如，基準)位置來校準，則當佩戴者朝向不同位置(例如，遠離基準位置)時將存在未被校正的誤差。
本發明還描述了使用眼動追踪的可穿戴式顯示系統400的動態校準的實施例，其中空間和/或顏色校準會因眼睛位置(或在某些情況下的眼睛方向)的變化而改變。某些這樣的校準提供了前置校準系統，將導致對於寬範圍的眼睛運動維持高質量影像。在一些實施例中，透過硬體處理器(例如，可穿戴顯示系統200的處理模組224、228或顯示系統400的控制器450)即即時地執行校準，而不增加特殊硬體。
校準可以補償(或校正)顯示器的視場中的空間誤差和/或色彩(顏色)誤差。例如，空間誤差可以包括平面內平移、旋轉、縮放或扭曲誤差以及平面外(例如，焦深)誤差。色差可以包括用以顯示的每個顏色(例如，R、G和B)的輝度平坦度或色彩均勻度誤差。
圖26係為用於顯示器2500的動態校準系統2600之實施例，對於該動態校準系統2600可以應用校準來校正網格參考位置(由點2602所示)的空間和/或色彩誤差。動態校準系統2600可以包括顯示器2500、面向內部的成像系統(例如眼動追踪相機
500)和動態校準處理器2610(其檢索並應用該校準)。圖26係為顯示器2500的另一實施例，其包括參考圖25A和25B所述的光學元件的實施例。光輸出耦合元件2509將光引導到觀看者的眼睛。當觀看者的眼睛相對於光輸出耦合元件2509定位在不同位置2602時，用於該特定眼睛位置(如圖26中揭露的點2602)的顯示器2500的光學校準可以是不相同的。例如，如果眼睛位於位置2602a上、接近光輸出耦合元件2509的中心校準，和如果眼睛位於位置2602b上方、朝向光輸出耦合元件2509的左上角，以及類似用於光學元件2509上的任何其他實施的位置2602的校準是不相同的。
當使用者的眼睛相對於顯示器移動時，顯示器的視場(FOV)保持大致相同，但是顯示器中的空間和/或色度失真可以隨著眼睛相對於顯示器平移而改變。由於FOV包括向使用者呈現影像的角度範圍，(在相對於顯示器的給定位置處)校準數據基本上可考慮眼睛的所有取向或視角。例如，當使用者將他的視覺定向到不同的角度(同時保持相對於顯示器的相同位置)時，使用者僅可以觀看到具有相同整體失真的不同部分的影像。因此，在任何給定位置，當眼睛的方向改變(例如，眼睛注視方向改變)時，眼睛的視圖通常保持在顯示器的FOV內，並且相同的校準(對於給定的眼睛位置)可以用於幾乎所有眼睛的方向。因此，校準系統的某些實施例利用位置相關校準，該校準是無額外定向相關性。
注意，點2602、2602a、2602b僅用於參考，並且不形成光輸出耦合元件2509或顯示器2500的一部分。此外，儘管在圖26中示意出3×3柵格中的9個位置2602，這僅是為了說明的目的，應當理解，用於顯示器2500的校準的位置之數量(或佈置)可以不同於圖26所示。例如，在各種實施例中，使用1、2、3、4、5、6、7、8、9、10、11、12、16、20、25、100、256或更多個校準位置。校準位置可以佈置成2x2、3x3、4x4、5x5、6x6、7x7、9x9或其他尺寸網格或其他圖案或位置佈局。
可以使用測量顯示器投影的校準圖案(例如，棋盤)中的誤差的光場度量系統來確定顯示器2500上的一個或多個位置的校準。校準可以取決於顯示器上的位置，該位置係為觀看顯示器的位置。例如，計量系統可以相對於顯示器(例如，通過相對平移相機和顯示器)掃過眼代理相機(eye-proxy camera)，以模擬使用者眼睛的位置範圍。當相機相對於顯示器掃描時，在每個採樣點2602處，度量系統可以建立校準(校正)，從而產生與眼睛代理位置相比的一組校準。
特定顯示器的校準可以由可穿戴顯示系統200的數據模組224,228儲存為對照表(LUT)(或其他有效的數據結構)。在其他實施例，分析模型可從測量系統來獲得校準的數據以及契合的分析模型可由可穿戴顯示系統200進行儲存。並可使用其他建模或數據參考方法來儲存校準。如上所述，校準可以包括為顯示器的每個校準位置(例如，圖26所示的顯示器2500之校準位
置的3×3網格之實施例)生成的空間和/或色彩校正。注意，在各種實施例中，為了獲得校準、顯示器相對於固定相機掃描(平移)、相機相對於固定顯示器掃描(平移)，或者相機和顯示器相對於彼此掃描(平移)。
在眼代理相機的視場(FOV)大於顯示器的FOV的實施例中，將校準相機放置在相對於顯示器的多個離散位置(例如，在由點所示的位置2602)，並且一個或多個校準影像將提供足夠的關於顯示器缺陷的信息，以確定每個離散位置的校準。在一些這樣的實施例中，照相機可以擷取顯示器的全部FOV，並且可以不需要改變照相機的每個位置2602處的定向(例如，指向方向)。在其他實施例中，可以改變相機(在每個位置2602)來獲得額外的影像以繪製出顯示器的FOV(例如，當相機的FOV小於顯示器的FOV時)。
校準位置可以表示相對於顯示器2500的眼睛位置。例如，顯示器2500的佩戴者一貫地定位該顯示器，以便佩戴者的眼睛(在xy平面中)大致靠近光輸出耦合元件2509的中心，例如，佩戴者的眼睛位於位置2602a上方。因此，位置2602a(靠近光學元件2509的中心)的校準對應於大致垂直於顯示器2500(例如，基本上沿著z方向)傳播的光，並且可以應用於動態校準處理器2610。如果佩戴者的眼睛在位置2602b(靠近光學元件2509的左上角)向上和向左移動，位置2602b的校準可以應用於處理器2510。眼動追踪相機500可以對眼睛成像(例如即時地)，
並且動態校準處理器2510可以使用眼動追踪數據來確定眼睛的位置、選擇適當的校準(基於確定的眼睛位置)，並且將校準應用於顯示器。在一些實施例中，從角膜位置和注視方向確定眼睛位置。此外，在其他實施例中，可以確定眼睛定向(例如，凝視方向)，並且可以使用方向相關性的校準。
可穿戴顯示系統200的實施例可以包括圖8中所示的動態校準系統2600之實施例。例如，眼動追踪相機500(參考圖4所述)可以被固定到可穿戴顯示系統200的框架並且可以動態地測量佩戴者的眼睛姿勢(例如，眼睛位置或眼睛方向)。來自相機500的影像可以由動態校準處理器2610使用以即時或接近即時地確定佩戴者的眼睛姿勢。當操作動態校準的系統時，眼動追踪相機可以即時或接近即時地通知動態校準處理器2610關於佩戴者的當前眼姿勢。動態校準處理器2610可以根據測量的眼睛姿勢(例如，位置或取向)獲取和應用適當的校準(例如，儲存在數據模組224,228中的適當的校準LUT)。在佩戴者沒有直接查看儲存的校準位置或者佩戴者的眼睛沒有直接位於校準位置上方的情況下，動態校準處理器可以在靠近校準位置的校準之間內插(或外插)(例如，至少包括最接近佩戴者的眼睛姿勢的校準位置)，以確定適當的校準以應用於佩戴者當前眼姿勢。因此，顯示系統200(具有動態校準系統2600)可以校正顯示器中的缺陷(空間或色彩)，從而提供穿戴者良好質量的色彩影像。如本
發明所述，在一些情況下，校準取決於相對於顯示器的眼睛位置，而不取決於眼睛取向(例如，凝視方向)，但這不是限制。
動態校準處理器2610係為儲存在儲存器(例如，數據模組224,228)中的軟體，並且軟體指令會由處理模組224,228中的一個或兩個或由控制器450執行。因此，連續調整校準可以在佩戴者的眼睛的寬範圍的輸入運動上產生高質量的影像。
在一些實施方式中，校準被儲存在數量減少的校準位置(例如，2×2或3×3網格)，以減少數據儲存量。如上所述，動態校準處理器可以內插或外插以決定不直接在儲存的校準位置上的眼睛姿勢的校準。
在一些實施例中，可穿戴顯示系統200使用單個眼動追踪相機來測量穿戴者的單個眼睛的姿勢，並且動態校準處理器2610推斷佩戴者的另一隻眼睛相對於顯示系統200的姿勢(因為眼睛通常指向相同的方向)。在其他實施例中，可穿戴顯示系統200使用兩個眼動追踪相機(每個眼睛各一個)並且獨立地測量每個眼睛的姿勢。在一些實施例中，可穿戴系統中的每個顯示器都會儲存分離校準(在許多情況下，會有兩個顯示器，各自在穿戴者的每隻眼睛前面，因此儲存兩個校準)。在其他實施例中，單次校準(例如，平均校準)被儲存並用於可穿戴系統200中的所有顯示器。
眼動追踪相機(或其他類型的面向內的成像系統)可以對使用者臉部的眼周區域成像。眼眶區域可以包括眼睛和眼
睛周圍的區域。例如，眼眶區域可以包括眼睛(例如眼窩)和眼睛周圍的區域。眼睛周圍的區域可以包括例如眉毛、鼻子、臉頰和前額的部分。眼周區域可以具有多種特徵，例如眉毛的形狀、眼角、眼瞼的特徵等。在一些實施例中，這些特徵中的一個或多個可以由關鍵點、點雲或其他類型的數學特徵來表示。可穿戴裝置可以識別影像中的這些特徵，並使用這些特徵來確定可穿戴顯示系統和使用者的臉部之間的相對位置。在某些實施例中，可穿戴顯示系統200可以為每隻眼睛分別計算相對位置。例如，當可穿戴裝置具有一個或兩個眼睛相機，每個眼睛相機被配置為對使用者的一隻眼睛進行成像時，可穿戴裝置可以計算左眼和可穿戴顯示系統之間的一個相對位置以及右眼和可穿戴顯示系統之間的另一個相對位置。可穿戴裝置還可以分別追踪相對應眼睛的相對位置。因為左眼和可穿戴顯示系統之間的相對位置可以不同於右眼和可穿戴顯示系統之間的相對位置(例如當可穿戴系統向一側傾斜時)，所以對於虛擬物體呈現位置的調整，左眼顯示器和右眼顯示器可以是不同的。
可穿戴顯示系統可以使用神經網絡或視覺關鍵點技術來計算和追踪眼周特徵，例如尺度不變特徵變換算法(SIFT)、加速魯棒特徵算法(SURF)、定向的FAST和旋轉的BRIEF(ORB)、二元魯棒非變化可伸縮關鍵點算法(BRISK)、快速視網膜關鍵點算法(FREAK)等。在一些實施例中，可以使用專門為該特定臉部特徵設計的檢測器來追踪特定臉部特徵。例如，
可以使用各種算法單獨地識別和追踪眼周特徵，例如眼角、鼻子特徵、嘴角等。分別追踪這些眼周特徵中的一個或多個可能是有利的，因為當使用者表達自己或正在說話時，它們容易於發生實質運動。與這些眼周特徵相關聯的檢測器可以考慮移動性的範圍。例如，當一些臉部特徵在某些方向上移動並且在其他方向上穩定(例如，眉毛傾向於向上或向下移動，而不向左或向右移動)。可穿戴系統可以統計地分析臉部特徵的移動。這些統計可以用於確定臉部特徵將在特定方向上移動的可能性。在一些實施例中，一個或多個臉部特徵可以被移除或不追踪。例如，可穿戴顯示系統可以在追踪眼周區域的位置時忽略眼睛運動。
可穿戴顯示系統還可以使用視覺同步定位與地圖建立(vSLAM)技術，例如時序貝氏估計器(如，卡爾曼濾波器、擴展卡爾曼濾波器等)、光束法平差等來識別和追踪臉部特徵。在一些實施例中，可穿戴裝置可以被配置為允許深度感知。例如，可穿戴系統可以根據由一個或多個相機擷取的數據建構密集圖，其對臉部的至少一部分進行編碼。密集圖代替關鍵點圖，可以包括測量臉部的3D形狀之臉部斑塊或區域。斑塊或區域可以利用計算HMD的位置和使用例如，疊代最近演算法或相似演算法的技術之使用者的臉部相關聯。
在一些實施例中，眼睛相機獲取的影像可以是低分辨率影像，因為可穿戴顯示系統200可不需要高質量影像來追踪眼周特徵。另外或替代地，從眼成像器獲得的影像之分辨率可相
對於其原始分辨率或在其它應用中使用的分辨率(例如，眼動追踪)被向下取樣。
可穿戴顯示系統200可分析由一個或兩個眼睛相機獲得的影像，並使用各種技術來確定顯示系統的顯示器和使用者之間的相對位置。顯示器和使用者的眼睛之間的相對位置可以是顯示系統200相對於使用者的臉部的正常靜止位置。顯示系統200的正常靜止位置可以在可穿戴系統的初始化階段期間確定。例如，當使用者首次使用可穿戴系統時，可穿戴系統可以建立臉部模型(例如，使用者臉部的地圖)並且基於使用者的眼睛確定顯示器相對於使用者的眼睛的正常靜止位置臉部模型。
當使用者使用可穿戴系統200時，可穿戴系統可以使用各種技術來保持追踪顯示器和使用者之間的相對位置。例如，可穿戴裝置可以識別和追踪與眼周特徵相關聯的視覺關鍵點。可穿戴系統還可以匹配在所獲取的影像中識別的臉部的區域相對於使用者臉部的密集圖，以計算顯示器相對於臉部的位置。
因此，可以使用各種眼動追踪或臉部成像技術(靜態地或動態地)確定使用者的眼睛和顯示系統的顯示器之間的相對位置。然後，顯示系統200可以至少部分地基於所確定的相對眼睛位置來選擇並應用適當的空間和/或色彩校準到顯示器，如本發明進一步的描述。
圖27為根據眼動追踪動態校準顯示器的方法2700流程示意圖。方法2700可以由動態校準系統2600執行。在區塊
2710，追踪使用者的眼睛以確定使用者相對於顯示器的眼睛位置。例如，顯示系統2600的相機500可以確定使用者的眼睛位置。可以追踪一隻或兩隻眼睛。在區塊2720，取出根據所確定的眼睛位置的校準。在區塊2730，將校準應用於顯示器以校正顯示器中的空間和/或色彩缺陷。例如，動態校準處理器2610可以應用校正以調整注入到顯示器的波導中的光的性質，使得期望的光束由顯示器輸出。在某些情況下，光可以以略微不同的顏色或位置或取向注入，以針對顯示缺陷進行調整。例如，可以通過相應的RGB校準(基於使用者眼睛的位置)修改顯示器投影的輸入影像中的RGB顏色值中的一個或多個，並且將修改的RGB值發送到顯示器進行投影。不完全顯示的淨效應投影修改的RGB值是用於產生至少部分地校正顯示器的缺陷(空間和/或色彩)的投影影像。在其他情況下，波導組件中的主動控制的繞射光學元件可以由動態校準處理器調節，使得光束從顯示器投射出，該光束至少部分地校正顯示器中的缺陷。在一些實施方式中，方法2700當作即時執行的反饋迴路，使得眼動追踪相機500監視使用者的眼睛，並且如果檢測到眼睛位置的變化，則使用新的校準(對於新的眼睛位置)以校準顯示器。在某些情況下，如果眼睛位置的變化超過閾值(例如，在校準位置的網格之間的間距的一部分)，則應用新的校準。某些這樣的實施方式可以有利地連續地提供校準的顯示器供使用者觀看。在一些實施方式中，方法2700可以偶爾地(例
如，在使用者將顯示器放置在使用者的眼睛上方時)或週期性地(例如，為了校正顯示器和使用者的眼睛之間的偶然滑動)執行。
圖28係為工廠校準系統和特定顯示器相關聯的動態校準系統的相互作用之流程示意圖2805。在實施例中，工廠(製造)設置中使用眼代理相機校準系統2810以確定正在製造的顯示器的位置相關的校準。在區塊2820，該過程針對正被製造的每個特定顯示器來分析一個或多個校準影像，並且生成用於每個眼睛代理位置的校準。在區塊2830，將校準儲存在與特定顯示器相關聯的儲存器中，使得每個顯示器可取出在製造過程期間為該特定顯示器定製的校準。例如，校準可以作為對照表(LUT)儲存在顯示器208的數據模組224或遠程數據儲存庫232中。該處理流程2805的一部分可以在製造期間對於每個顯示器執行一次以便為每個顯示器提供定製的校準。
在該實施例中，每個顯示系統(例如，可穿戴顯示系統200)可以使用在區塊2830處儲存的校準來執行即時校準。例如，顯示器的眼動追踪系統2840(其可以包括眼動追踪相機500)可以確定眼睛的角膜的位置和眼睛的注視方向以確定眼睛的位置。在區塊2850，顯示系統(例如，經由動態校準處理器2610)可以基於所確定的眼睛位置從儲存器提取適當的校準。在區塊2860，將校準應用於顯示器(例如，經由動態校準處理器2610)以校正顯示器的空間和/或色度誤差。在區塊2870，穿戴者能夠觀看由校準的顯示器投射的成像。隨著佩戴者相對於顯示器的眼
睛位置改變，顯示系統中的處理流程也會更新校準，例如，即時地。
儘管已經在可穿戴顯示系統中的顯示器之上下文中描述了動態校準系統2600的實施例，但是這並非限制，並且動態校準系統(例如，眼動追踪相機和動態校準處理器)可以用於任何顯示器(可穿戴的或不可穿戴的)，其校準僅僅靠近標稱觀看位置(例如，垂直於顯示器的中心)。例如，動態校準系統可以用於平板顯示器、液晶顯示器、發光二極體顯示器、微機電系統(MEMS)顯示器等。
■執行影像校正的其他方面
在第1方面，公開了一種用於在顯示器上執行影像校正的電腦實施方法。該方法在具有電腦硬體和相機的顯示校準系統的控制下，包括：校準相機，用該相機擷取由該顯示器投影的光場的影像，該光場與該顯示器的顯示層相關聯；至少一部分根據所擷取的影像生成向量場，該向量場包括對應於該顯示層的點的投影位置和預期位置之間的偏差的向量；使用所生成的向量場，對該顯示器執行：中心校正、聚集旋轉校正、聚集縮放校正或空間映射中的至少一個；至少部分地基於所擷取的影像，確定與該顯示層上的多個點相對應的多個輝度值；以及使用所確定的多個輝度值，對該顯示執行：輝度平坦化或色彩平衡至少其中一個。
在第2方面，根據方面1的電腦實施的方法，其中執行中心校正包括：識別投影的顯示層的中心點；以及確定平移向量，其中該平移向量對應於所識別的中心點和預期中心點位置之間的平移誤差。
在第3方面，根據方面1或方面2的電腦實施的方法，其中執行聚集旋轉包括：識別投影的顯示層的中心點；以及確定旋轉量，其中該旋轉量對應於該投影顯示層繞著該中心點的旋轉，使得該投影位置和該預期位置之間的像素誤差量最小化。
在第4方面，根據方面1-3中任一方面的電腦實施的方法，其中執行聚集縮放包括：識別投影的顯示層的中心點；以及確定縮放量，其中縮放量對應於圍繞中心點的投影顯示層的縮放，使得投影位置和預期位置之間的像素誤差量最小化。
在第5方面中，根據方面1-4中任一方面的電腦實施的方法，其中執行空間映射包括識別非線性變換以將顯示層的投影位置與期望位置對準。
在第6方面，根據方面1-5中任一方面的電腦實施的方法，其中執行輝度平坦化包括：確定該多個輝度值中的最小輝度值；以及將該多個輝度值中的所有輝度值降低到該最小輝度值。
在第7方面中，根據方面1-5中任一方面的電腦實施的方法，其中執行輝度平坦化包括：確定閾輝度值；以及將大於該閾輝度值的該多個輝度值中的所有輝度值降低到該閾輝度值。
在第8方面中，根據方面1-7中任一方面的電腦實施的方法，其中執行色彩平衡包括：識別與該顯示層相關聯的顏色群集，該顏色群集包括至少一個附加顯示層；對於該顯示層上的該多個點中的每個點，比較該顯示層上的點相對應的輝度值和對應於該附加顯示層上的點的輝度值；以及將該多個輝度值中的每個輝度值降低到與其對應點相關聯的最低輝度值。
在第9方面，根據方面1-8中任一方面的電腦實施的方法，其中執行聚集旋轉校正包括計算向量場的捲曲。
在第10方面中，根據方面1-9中任一方面的電腦實施的方法，其中執行聚集縮放校正包括計算向量場的發散度。
在第11方面，根據方面1-10中任一方面的電腦實施的方法，其中該顯示器包括光場顯示器。
在第12方面，根據方面11的電腦實施的方法，其中該光場顯示器包括堆疊波導組件。
在第13方面，根據方面12的電腦實施的方法，其中該堆疊波導組件包括分別對應於兩個或更多個深度平面的兩個或更多個波導。
在第14方面中，根據方面13的電腦實施的方法，其中每個深度平面與紅色顯示層、綠色顯示層和藍色顯示層相關聯。
在第15方面，公開了一種校準顯示器的方法。該方法在包括電腦硬體的顯示器校準系統的控制下，包括：取出由顯
示器投影的校準圖案的影像；確定投影光場中的校準點的預期位置與影像中的實際顯示位置之間的空間失真；分析該空間失真以決定該顯示器的空間校準；以及將該空間校準存儲在與該顯示器相關聯的非暫時性存儲器中。
在第16方面中，根據方面15的方法，其中該空間校準針對以下各項中的一個或多個進行校正：平面內空間誤差或平面外空間誤差。
在第17方面中，根據方面15或方面16的方法，其中該空間校準對以下各項中的一個或多個進行校正：平移誤差、旋轉誤差、縮放誤差或像素扭曲。
在第18方面中，根據方面15-17中任一項的方法，還包括：從該影像確定色彩失真；分析該色彩失真以決定該顯示器的色彩校準；以及將該色彩校準儲存在與該顯示器相關聯的非暫時性儲存器中。
在第19方面，根據方面18的方法，其中該色彩校準校正該顯示器的輝度平坦度或色彩均勻性。
■光學計量系統的附加方面
在第20方面，公開了一種用於測量顯示器產生的光場中的缺陷的光學計量系統。該光學計量系統包括：顯示器，被用以投射包括具有預期對焦位置的虛擬物體的目標光場；相機，用以獲得該目標光場的影像；以及一可執行指令的處理器編程：取出對應於該光場的一部分的一個或多個影像；分析該一個或多
個影圖像以識別對應出該虛擬物體在焦點位置之測量的對焦位置；以及至少一部分根據該測量的對焦位置和該預期對焦位置的比較結果來確定該光場中的缺陷。
在第21方面，根據方面20的光學計量系統，其中該顯示器包括光場顯示器。
在第22方面，根據方面20或方面21的光學計量系統，其中該顯示器包括被配置為輸出光用以將虛擬物體投影到特定深度平面的波導堆疊。
在第23方面中，根據方面20-22中任一方面的光學計量系統，其中該相機包括具有小景深的數位照相機。
在第24方面中，根據方面23的光學計量系統，其中該相機具有焦點，並且該系統被用以在焦點範圍上掃描該相機的焦點以獲得該一個或多個影像。
在第25方面，根據方面20-22中任一方面的光學計量系統，其中該照相機包括光場照相機。
在第26方面，根據方面20-25中任一方面的光學計量系統，其中該虛擬物體包括棋盤圖案、幾何圖案或隨機圖案。
在第27方面中，根據方面20-26中任一項該的光學計量系統，其中該顯示器包括多個像素，並且該目標光場對應於少於所有被照亮的像素的子集。
在第28方面，根據方面20-27中任一項的光學計量系統，其中所測量的對焦位置包括焦深。
在第29方面，根據方面28的光學計量系統，其中所測量的聚焦位置還包括橫向聚焦位置。
在第30方面，根據方面29的光學計量系統，其中該確定的缺陷係至少一部分根據預期對焦位置和測量的對焦位置之間的誤差向量。
在第31個方面，根據方面20-30中任一個的光學計量系統，其中所確定的缺陷包括空間缺陷。
在第32方面中，根據方面20-31中任一方面的光學計量系統，其中所確定的缺陷包括色彩缺陷。
在第33方面，根據方面20-32中任一方面的光學計量系統，其中該處理器進一步編程為至少一部分是根據所確定的缺陷來決定該顯示器的錯誤校正。
在第34方面中，公開了一種用於測量光場中的缺陷的方法，該方法包括：取出對應於顯示器投射的一部分的光場之一個或多個影像，該部分光場具有預期的聚焦位置；分析該一個或多個影像以確認測量的對焦位置，並對應於該光場的對焦位置；以及至少部分根據該測量的對焦位置和該預期對焦位置的比較結果來確定該光場中的缺陷。
在第35方面中，根據方面34的方法，包括掃描相機的焦點以獲得該一個或多個影像。
在第36方面，根據方面34的方法，包括使用光場相機獲得一個或多個影像。
在第37方面中，根據方面34-36中任一方面的方法，還包括投影包括棋盤圖案的光場影像。
在第38方面，根據方面34-37中任一方面的方法，還包括至少部分係根據所確定的缺陷來決定該光場的誤差校正。
■校準顯示器的其他方面
在第39方面，提供了一種用於顯示器的校準系統。校準系統包括：相機，被用以獲取顯示器的影像；以及與該相機通信的硬體處理器，該硬體處理器被程用以：接收該顯示器的影像；確定該顯示器的校準；以及將該校準儲存在與該顯示器相關聯的儲存器中。
在第40方面中，根據方面39的校準系統，其中該校準包括空間校準以校正顯示器中的空間缺陷。
在第41方面，根據方面39的校準系統，其中該校準包括用以色度校準來校正顯示器中的顏色缺陷。
在第42方面中，根據方面39-41中任一項該的校準系統，其中該顯示器包括視場中的多個像素，並且其中為了確定該校準，該硬體處理器編程用以：確定全局變換參數其獨立於該顯示器的視場中的像素；以及確定依賴於該顯示器的該視場中的像素的局部變換參數。
在第43方面中，根據方面42的校準系統，其中該全局變換參數包括一個或多個非線性伽馬校正。
在第44方面中，根據方面42或方面43的校準系統，其中該局部變換包括線性函數。
在第45方面中，根據方面39至44中任一項該的校準系統，其中為了確定該校準，該硬體處理器被編程為使用來自該相機擷取的影像的反饋以疊代地解決該校準。
在第46方面中，根據方面39至45中任一項的該校準系統，其中該校準包括色彩校準，該顯示器包括可提供白點的多個色階，並且確定該校準，該硬體處理器編程用以調整該色階的強度，使得該白點在該顯示器的視場上基本上是均勻的。
在第47方面中，根據方面46的校準系統，其中為了確定校準，硬體處理器編程用以：解決將發送到顯示器的色階映射到第一中間色彩表示式的第一伽馬校正；解決將該第一中間色彩表示式映射到第二中間色彩表示式的一像素相關耦合函數；並解決將第二中間色彩表示式映射到由相機記錄的色階的第二伽馬校正。
在第48方面中，根據方面47的校準系統，其中硬體處理器編程用於優先解決像素相關耦合函數，再用於解決第一伽馬校正和第二伽馬校正。
在第49方面，根據方面39至48中任一項該的校準系統，其中該顯示器包括光場顯示器。
在第50方面中，根據方面39至49中任一項的校準系統，其中該顯示器包括多個波導的可堆疊波導組件。
在第51個方面，根據方面39至50中任一項的校準系統，其中該顯示器被配置用於可穿戴顯示系統。
在第52方面，提供了一種用於校準顯示器的方法。該方法在電腦硬體執行的動態校準系統的控制下，包括：取出顯示器的校準；確定，至少部分地基於所取出的校準，一校準應用於該顯示器以至少部分地校正該顯示器中的缺陷；以及將該校正應用於該顯示器。
在第53方面，根據方面52的方法，其中取出校準包括色彩校準。
在第54方面中，根據方面53的方法，其中該顯示器包括視場中的多個像素，並且該色彩校準包括多個像素獨立的非線性伽馬校正和像素相關的耦合函數。
在第55方面，方面52至54中任一方面的方法，其中該顯示器包括光場顯示器。
在第56方面，提供了一種穿戴式顯示器，包括：顯示器；儲存器，被配置為儲存該校準；以及硬體處理器編程，係為執行方面14至17中的任一方面的方法，並與該非暫時性儲存器通訊聯繫。
■校準模式的其他方面
在第57方面中，一種用於校準顯示器產生的光場的光學系統，包括：顯示器，用以投射包括含有特徵點的校準圖案的目標光場；照相機，用以獲得該目標光場的影像；處理器，其
編程可執行指令用以：對於多個位置中的每一個：使得該顯示器將該校準圖案投影在該多個位置中的位置處；使得該相機獲得所投影的校準圖案的影像；計算該特徵點的失真，其中該失真對應於該特徵點的預期位置和該特徵點的測量位置之間的一誤差或校準圖案的期望輝度或色度與校準圖案的測量亮度或色度之間的一誤差；以及反應於對該多個位置中的下一位置的確定，將該校準圖案平移使其在該下一位置處顯示。
在第58方面，根據方面57的光學系統，其中該校準圖案包括棋盤圖案。
在第59方面中，根據方面57的光學系統，其中該多個位置的數量對應於該棋盤圖案的檢查框中的像素的數量。
在第60方面，根據方面57的光學系統，其中該校準圖案包括單像素圖案。
在第61方面中，根據方面60的光學系統，其中該多個位置的數量對應於顯示的像素的數量。
在第62方面中，根據方面57-61中的任一個的光學系統，其中該處理器還被編程為至少部分地基於對應於該多個位置的計算的失真來生成失真映射。
在第63個方面，根據方面57-62中任一個的光學系統，其中該處理器還被編程為至少部分地基於對應於該多個位置的計算的失真來確定該顯示器的誤差校正。
在第64方面中，根據方面57-63中任一項的光學系統，其中該顯示器包括單獨的紅色、綠色和藍色色層。
在第65方面，根據方面57-64中任一項的光學系統，其中該顯示器包括光場顯示器。
在第66方面，根據方面65的光學系統，其中該光場顯示器包括堆疊波導組件。
在第67方面，根據方面66的光學系統，其中該堆疊波導組件包括分別對應於兩個或更多個深度平面的兩個或更多個波導。
在第68方面，根據方面57-67中任一個的光學系統，其中該計算的失真還包括輝度失真或色彩失真。
在第69方面，提供了一種用於校準由顯示器產生的光場的方法。該方法包括：對於多個位置中的每一個：使得顯示器將校準圖案投影在多個位置中的位置處；使該相機獲得所投影的校準圖案的影像；計算該特徵點的失真，其中該失真對應於該特徵點的預期位置和該特徵點的測量位置之間的一誤差或該特徵點的預期輝度或色度與所測量的輝度或色度之間的一誤差；以及反應於對該多個位置中的下一位置的確定，將該校準圖案平移使其在該下一位置處顯示。
在第70方面，根據方面69的方法，其中該校準圖案是棋盤圖案。
在第71方面，根據方面70的方法，其中該多個位置的數目對應於棋盤圖案的檢查框中的像素的數目。
在第72方面中，根據方面69的方法，其中該校準圖案包括單像素圖案、隨機圖案或幾何圖案。
在第73方面，根據方面72的方法，其中該多個位置的數目對應於所顯示的像素的數目。
在第74方面中，根據方面69-73中的任一個的方法，還包括至少部分地基於對應於該多個位置的所計算的失真來生成失真映射。
在第75方面中，根據方面69-74中的任一個的方法，還包括至少部分地基於對應於該多個位置的計算的失真來確定該顯示器的誤差校正。
在第76方面，根據方面69-75中任一個的光學系統，其中該顯示器包括單獨的紅色、綠色和藍色色層。
在第77方面中，根據方面69-76中任一項的光學系統，其中該顯示器包括光場顯示器。
在第78方面，根據方面77的光學系統，其中該光場顯示器包括堆疊波導組件。
在第79個方面，根據方面78的光學系統，其中該堆疊波導組件包括分別對應於兩個或更多個深度平面的兩個或更多個波導。
在第80方面，根據方面69-79中任一方面的光學系統，其中所計算的失真還包括輝度失真或色度失真。
■執行動態校準的其他方面
在第81個方面，提供了一種顯示系統。顯示系統包括：一眼動追踪相機；一顯示器；非暫時性數據儲存器，用以儲存該顯示器的多個校準，該多個校準中的每個校準與該顯示器的校準位置相關聯；以及與該眼動追踪相機通訊聯繫的硬體處理器，該顯示器，和該非暫時性數據儲存器，該硬體處理器編程用以：確定一眼睛與顯示器有關的位置，用於該顯示器的使用者；接取，至少部分根據在眼睛位置上，該多個校準中的一個或多個；確定，至少部分根據該多個校準中的一個或多個，一校準應用於該顯示器至少部分校正該顯示器中的缺陷；並將校準應用於顯示器。
在第82方面，根據方面81的顯示系統，其中校準位置的數量是2、3、4、5、6、7、8、9或更多。
在第83方面，根據方面81或方面82的顯示系統，其中該校準位置在網格中跨該顯示器分佈。
在第84方面，根據方面83的顯示系統，其中網格包括2x2，3x3，5x5或9x9網格。
在第85方面中，根據方面81至84中任一項的顯示系統，其中該多個校準中的該一個或多個包括與最接近該眼睛位置的校準位置相關聯的校準。
在第86方面中，根據方面81至85中任一項的顯示系統，其中為了確定該校正，該硬體處理器被編程為在該多個校準中的該一個或多個中內插或外插。
在第87方面中，根據方面81至86中任一項的顯示系統，其中所述多個校準中的每個校準校正了顯示器的空間缺陷、顯示器的色彩缺陷或空間缺陷和色彩缺陷兩者。
在第88方面中，根據方面81至87中任一項的顯示系統，其中該顯示器包括光場顯示器。
在第89方面，根據方面81至88中任一項的顯示系統，其中該顯示器包括包括多個波導的可堆疊波導組件。
在第90方面，根據方面81至89中任一項的顯示系統，其中該顯示器被配置為可穿戴的顯示系統。
在第91方面，提供了一種頭戴式顯示器，包括方面81至90中任一項該的顯示系統。
在第92方面，提供了一種用於校準顯示器的方法。該方法在由電腦硬體執行的動態校準系統的控制下，包括：確定顯示器的使用者的眼睛位置；取出，至少部分地基於所確定的眼睛位置，用於顯示器的一校準，該校準與接近所確定的眼睛位置的校準位置相關聯；確定，至少部分地基於所取出的校準，應用於該顯示器以至少部分地校正該顯示器中的缺陷的一校準；以及將該校正應用於該顯示器。
在第93方面，根據方面92的方法，其中取出校準包括從多個校準中選擇一個或多個校準，其中每個校準與相對於顯示器的不同校準位置相關聯。
在第94方面，根據方面93的方法，其中該校準位置被佈置在跨越該顯示器的網格中。
在第95方面，根據方面92至94中任一方面的方法，其中該校準用於校正該顯示器的空間缺陷、該顯示器的色彩缺陷，或該空間缺陷和該色彩缺陷兩者。
在第96方面，根據方面92至95中任一方面的方法，其中確定該校正包括在與該眼姿勢附近的校準位置相關聯的一個或多個校準之間進行內插或外插。
在第97方面，根據方面92至96中任一項該的方法，其中該顯示器包括光場顯示器。
在第98方面，提供一種頭戴式顯示器，包括眼動追踪系統和一硬體處理器被編程以執行方面92至97中任一方面的方法。
■光學計量系統的附加方面
在第99方面，提供了一種用於測量顯示器產生的光場中的缺陷的光學計量系統。光學計量系統包括：顯示器，用以投影包括具有預期對焦位置的虛擬對象的目標光場；一照相機，用以獲得該目標光場的影像；一硬體處理器，其被編程具有可執行指令用以：取出對應於該光場的一部分的一個或多個影像；分
析該一個或多個影像以識別對應出該虛擬物體在焦點位置之測量的對焦位置；以及至少部分地比較該測量的對焦位置和該預期對焦位置來確定該光場中的缺陷。
在第100方面，根據方面99的光學計量系統，其中該顯示器包括波導堆疊，其被配置成輸出光以將該虛擬物體投影到至少一個深度平面。
在第101個方面，根據方面99至100中任一方面的光學計量系統，其中該照相機包括具有小的焦深的數位照相機。
在第102方面中，根據方面101的光學計量系統，其中該相機具有焦點，且該系統被配置為在焦點範圍上掃描該相機的焦點以獲得該一個或一個以上影像。
在第103個方面，根據方面99至102中任一方面的光學計量系統，其中該相機包括光場相機。
在第104方面，根據方面99至103中任一方面的光學計量系統，其中該虛擬對象包括棋盤圖案、幾何圖案或隨機圖案。
在第105方面，根據方面99至104中任一方面的光學計量系統，其中該顯示器包括多個像素，並且該目標光場對應於少於所有被照亮的像素的子集。
在第106方面，根據方面99至105中任一方面的光學計量系統，其中該測量的對焦位置包括焦深。
在第107個方面，根據方面106的光學計量系統，其中所測量的聚焦位置還包括橫向聚焦位置。
在第108個方面，根據方面99至107中任一個的光學計量系統，其中所確定的缺陷至少部分地基於預期對焦位置和測量的對焦位置之間的一誤差向量。
在第109方面，根據方面99至108中任一方面的光學計量系統，其中該硬體處理器進一步被編程為至少部分地基於所確定的缺陷來確定該顯示器的誤差校正。
在第110個方面，根據方面99至109中任一個的光學計量系統，其中硬體處理器還被編程為應用於顯示器到相機像素映射，以將顯示器的像素值傳送到相機的像素值。
在第111方面，根據方面110的光學計量系統，其中顯示器到照相機像素映射包括：一第一伽馬校正，將顯示器的色階映射到第一中間色彩表示式；一像素獨立耦合函數，其將該第一中間色彩表示式映射到第二中間色彩表示式；以及一第二伽馬校正將第二中間色彩表示式映射到由相機記錄的色階。
在第112方面，根據方面99至111中任一方面的光學計量系統，其中所確定的缺陷包括空間缺陷。
在第113個方面，根據方面112的光學計量系統，其中該空間缺陷包括平面內平移、旋轉、縮放或扭曲誤差或平面外或焦點深度誤差中的一個或多個。
在第114個方面，根據方面99至113中任一方面的光學計量系統，其中所確定的缺陷包括色彩缺陷。
在第115個方面，根據方面114的光學計量系統，其中該色彩缺陷包括與該顯示器可顯示的顏色相關聯的輝度平坦度或色彩均勻度誤差中的一個或多個。
在第116個方面，提供了一種用於在顯示器上執行影像校正的光學計量系統。該系統包括：照相機，用以擷取顯示器投射的光場的影像，該光場與顯示器的顯示層相關聯；硬體處理器，其編程可執行指令用以：至少部分地基於該相機擷取的影像生成向量場，該向量場包括對應於該顯示層的點的投影位置和預期位置之間的偏差的向量；計算，至少部分地基於該向量場，至少其中一個：一中心校正、一聚集旋轉校正、一聚集縮放校正或空間映射，用於顯示器；計算，至少部分地基於該相機擷取的影像，與該顯示層上的多個點相對應的輝度值；並且計算，至少部分地基於所確定的輝度值，一輝度平坦校正或一色平衡校正，用於顯示器。
在第117個方面，根據方面116的光學計量系統，其中顯示器的顯示層包括色彩層或深度層。
在第118方面，根據方面116至117中任一方面的光學計量系統，其中該照相機包括具有小焦深的光場照相機或數位照相機。
在第119方面，根據方面116至118中任一方面的光學計量系統，其中為了計算該中心校正，該硬體處理器被編程為確定對應於該投影顯示層的所識別的中心點與該投影顯示層的中心點之間的平移誤差的平移向量，以及預期中心點位置。
在第120方面中，根據方面116至119中任一方面的光學計量系統，其中為了計算聚集旋轉校正，該硬體處理器被編程為確定對應於投影顯示層圍繞中心點的旋轉的旋轉量，例如投影位置和預期位置之間的像素誤差量被減小或最小化。
在第121個方面中，根據方面116至120中任一個的光學計量系統，其中為了計算總計旋轉校正，該硬體處理器被編程為計算向量場的捲曲。
在第122方面中，根據方面116至121中任一項該的光學計量系統，其中為了計算該聚集縮放校正，該硬體處理器被編程為確定與該投影顯示層圍繞中心點的縮放相對應的縮放量，投影位置和預期位置之間的像素誤差量被減小或最小化。
在第123個方面，根據方面116至122中任一個的光學計量系統，其中為了計算該總計縮放校正，該硬體處理器被編程為計算該向量場的發散度。
在第124方面中，根據方面116至123中任一方面的光學計量系統，其中為了計算空間映射，該硬體處理器被編程為確定非線性變換以將顯示層的投影位置與預期位置對準。
在第125個方面，根據方面116至124中任一個的光學計量系統，其中為了計算輝度平坦校正，該硬體處理器被編程為：確定閾輝度值；並且計算出將大於閾值亮度值的每個輝度值降低到閾輝度值的一總量。
在第126方面，根據方面116至125中任一方面的光學計量系統，其中為了計算色彩平衡校正，該硬體處理器被編程為：識別與顯示層相關聯的顏色群集，該顏色群集包括至少一個附加的顯示層；對於該顯示層的每個點，比較該對應於該顯示層上的點的輝度值與對應於該附加顯示層上的點的輝度值；並且計算出將每個輝度值降低到與其對應點相關聯的最低輝度值的一總量。
■動態顯示校準的其他方面
在第127個方面，提供了一種顯示系統。顯示系統包括：一眼動追踪相機；一顯示器；非暫時性數據存儲器，被配置為儲存用於該顯示器的多個校準，該多個校準中的每個校準與相對於該顯示器的校準位置相關聯；以及一硬體處理器與該眼動追踪相機通訊聯繫，該顯示器，和該非暫時性數據存儲器，該硬體處理器被編程為：確定，基於來自該眼動追踪相機的信息，一眼睛位置，相對於該顯示器的使用者；取出，至少部分地基於所確定的眼睛位置，該多個校準中的一個或多個；計算，至少部分地基於該多個校準中的該一個或多個，一校準應用於該顯示器以至少部分地校正該顯示器中的缺陷；並將該校正應用於顯示器。
在第128個方面，根據方面127的顯示系統，其中校準位置的數量是2、3、4、5、6、7、8、9或更多。
在第129方面，根據方面127至128中任一項的顯示系統，其中該校準位置在網格中跨越該顯示器分佈。
在第130個方面，根據方面129的顯示系統，其中網格包括2×2，3×3，5×5或9×9網格。
在第131方面，根據方面127至130中任一方面的顯示系統，其中該多個校準中的一個或多個包括與最靠近眼睛位置的校準位置相關聯的校準。
在第132個方面，根據方面127至131中任一個的顯示系統，其中為了計算校正，硬體處理器被編程為在該多個校準中的一個或多個之間進行插值或外插，至少部分地基於該多個校準中的一個或多個的校準位置和所確定的眼睛位置。
在第133個方面，根據方面127至132中任一項的顯示系統，其中該顯示器包括與該使用者的第一眼睛相關聯的第一顯示器和與該使用者的第二眼睛相關聯的第二顯示器，並且該硬體處理器被編程以確定使用者相對於第一顯示器的眼睛位置，以及應用所確定的眼睛位置來計算對於第二顯示器的校正。
在第134方面中，根據方面127至133中任一項該的顯示系統，其中該顯示器包括與該使用者的第一眼睛相關聯的第一顯示器和與該使用者的第二眼睛相關聯的第二顯示器，並且
該多個校準中的至少一些表示用於該第一顯示器和該第二顯示器的平均校準。
在第135個方面，根據方面127至134中任一項的顯示系統，其中該顯示器包括光場顯示器。
在第136個方面，根據方面127至135中任一項的顯示系統，其中該顯示器包括包括多個波導的可堆疊波導組件。
在第137方面，根據方面127至136中的任一個的顯示系統，其中該顯示器被配置為頭戴式可穿戴顯示系統。
在第138個方面，根據方面127至137中任一項該的顯示系統，其中該多個校準中的每個校準用於校正該顯示器的空間缺陷、該顯示器的色彩缺陷，或該空間缺陷和該色彩缺陷兩者。
在第139方面，根據方面138的顯示系統，其中該空間缺陷包括平面內平移、旋轉、縮放或扭曲誤差或平面外或焦點深度誤差中的一個或多個。
在第140方面，根據方面138的顯示系統，其中該色彩缺陷包括與該顯示器可顯示的顏色相關聯的輝度平坦度或色彩均勻度誤差中的一個或多個。
在第141方面，提供了一種用於校準顯示器的方法。該方法在由電腦硬體執行的動態校準系統的控制下，包括：確定顯示器的使用者的眼睛位置；取出，至少部分地基於所確定的眼睛位置，顯示器的校準，其中該校準是基於相關聯的校準位置和
所確定的眼睛位置來選擇的；計算，至少部分地基於所取出的校準，一校準應用於該顯示器以至少部分地校正該顯示器中的缺陷；以及將該校正應用於該顯示器。
在第142方面，根據方面141的方法，其中取出校準包括從多個校準中選擇一個或多個校準，其中每個校準與相對於顯示器的不同校準位置相關聯。
在第143個方面，根據方面142的方法，其中該校準位置被佈置在跨越該顯示器的網格中。
在第144個方面中，根據方面142至143中的任一個的方法，其中計算校正包括基於多個校準中的一個或多個的相關聯的校準位置，在多個校準中的一個或多個之間進行內插或外推和所確定的眼睛位置。
在第145方面，根據方面141至144中任一方面的方法，還包括取出顯示器的使用者的眼睛的影像，以及至少部分地基於眼睛的影像確定眼睛位置。
在第146方面中，根據方面141-145中任一方面的方法，其中計算校準包括校準顯示器的空間缺陷、顯示器的色彩缺陷或空間缺陷和色彩缺陷兩者。
在第147方面，提供了一種可穿戴式顯示系統，包括：一面向內的成像系統；一顯示器；非暫時性數據存儲器，宖以儲存該顯示器的多個校準，該多個校準中的每個校準與相對於該顯示器的校準位置相關聯；以及一硬體處理器與該面向內的成
像系統通訊聯繫，該顯示器，和該非暫時性數據存儲器，該硬體處理器被編程用以：確定，使用該面向內的成像系統，相對於顯示器的使用者的顯示器的一眼睛位置；計算，至少部分地基於所確定的眼睛位置和該多個校準中的一個或多個，一校準應用於該顯示器以至少部分地校正該顯示器中一個或多個的空間缺陷或該顯示器中的色彩缺陷；並將該校正應用於顯示器。
在第148個方面，根據方面147的可穿戴顯示系統，其中硬體處理器被編程為經由監視眼睛位置的變化的反饋迴路來應用校正。
在第149個方面，根據方面147至148中任一個的可穿戴顯示系統，其中該硬體處理器被編程為確定眼睛相對於前一眼睛位置的變化，並且如果該變化超過閾值，則計算該校正。
在第150方面中，根據方面147至149中任一項該的可穿戴顯示系統，其中該空間缺陷包括一個或多個平面內平移、旋轉、縮放或扭曲誤差或平面外或焦深的誤差。
在第151個方面，根據方面147至150中任一項的可穿戴顯示系統，其中該色彩缺陷包括與該顯示器可顯示的色彩相關聯的一個或多個的輝度平坦度或色彩均勻性誤差。
■結論
本發明所描述和/或附圖中所描繪的過程、方法和算法中的每一個具體實施例可由一個或多個物理計算系統、硬體電腦處理器、專用集成電路(ASIC)執行的代碼模組，和/或被配
置為執行特定和特定計算機指令的電子硬體來完全實現或部分自動化。例如，計算系統可以包括用特定計算機指令或專用計算機編程的通用計算機(例如，伺服器)、專用電路等。代碼模組可以被編譯並鏈接到可執行程序中，安裝在動態鏈接庫中，或者可以用解釋程式語言編寫。在一些實現中，特定操作和方法可以由特定於給定功能的電路執行。
此外，本發明所實施的某些功能在數學上、計算上或技術上相當複雜，使得需要專用硬體或一個或多個物理計算設備(利用適當的專用可執行指令)來執行功能，例如，由於涉及的計算的體積或複雜性或者基本上即時地提供結果。例如，視頻可以包括許多幀，每個幀具有數百萬個像素，並且特別地需要編程的計算機硬體來處理視頻數據，以在商業上合理的時間量內提供期望的影像處理任務或應用。
代碼模組或任何類型的數據可以存儲在任何類型的非暫時性電腦可讀取媒體上，例如物理計算機儲存器，包括硬碟、固態記憶體、隨機存取記憶體(RAM)，唯讀記憶體(ROM)、光學磁碟、揮發性或非揮發性儲存器，其組合和/或類似物。方法和模組(或數據)還可以作為生成的數據信號(例如，作為載波或其他類比或數位傳播信號的一部分)在各種電腦可讀取傳輸媒體上傳輸，包括基於無線的和有線/基於電纜的媒體，並且可以採取各種形式(例如，作為單個或多工復用類比信號的一部分，或者作為多個離散數位封包或幀)。所公開的過程或過程步驟的結
果可以存儲，持久地或以其它方式存儲在任何類型的非暫時性有形計算機存儲器中，或者可以經由計算機可讀取傳輸介質傳送。
本文所描述和/或附圖中描繪的流程圖中之任何過程、塊、狀態、步驟或功能性應當被理解為潛在地表示代碼模塊、代碼段或代碼部分，其包括用於實現特定功能的一個或多個可執行指令(例如，邏輯或算術)或步驟。或可以以各種方式進行組合、重新佈置、添加、刪除、修改或以其他方式改變各種過程、塊、狀態、步驟或功能。在一些實施例中，也可以以附加的或不同的計算系統或代碼模塊來執行本文所描述的一些或全部功能。本文描述的方法和過程也不限於任何特定序列，並且與其相關的框、步驟或狀態可以以適合於例如串行、並行或以某種其它方式的其它序列來執行。任務或事件可以被添加到所公開的實施例或從所公開的實施例中移除。此外，本文所描述的實施方式中的各種系統組件的分離是出於說明性目的，並且不應被理解為在所有實施方式中需要這樣的分離。應當理解，所描述的程序組件、方法和系統通常可以一起集成在單個計算機產品中或封裝到多個計算機產品中。許多實施變化是可能的。
過程、方法和系統可以在網絡(或分佈式)計算環境中實現。網絡環境包括企業範圍的電腦網絡、內部網、局域網(LAN)、廣域網(WAN)、個域網(PAN)、雲端運算網絡、群眾外包計算網絡、網際網路和全球資訊網。網絡可以是有線或無線網絡或任何其它類型的通信網絡。
本公開的系統、方法及裝置各自具有多個創新方面，任何單獨一個都不是本文中公開的期望屬性的唯一原因。上述各種特徵和過程可以彼此獨立地使用，或者可以以各種方式組合。所有可能的組合和子組合旨在落入本公開的範圍內。本發明各種示例性修改的實施例對於本領域技術人員來說是顯而易見的，並且在不脫離本發明的精神或範圍的情況下，本發明所界定的一般原理還可應用於其它實施例。因此，權利要求並不旨在限於本文所示的實施方式，而是要符合與本公開，本文公開的原理和新穎特徵一致的最寬範圍。
本說明書中在分離的實施例的上下文中描述的某些特徵組合在單個實施例中實現。相反地，也可以將在單個實施例的上下文中描述的各個特徵分離地在多個實施例中實現或在任何適當的子組合中實現。此外，儘管可能在上面將特徵描述為在某些組合中起作用，甚至最初主張如此，但是可以在一些情況下將來自所主張的組合的一個或多個特徵從組合中刪去，並且可以將所主張的組合指向子組合或者子組合的變體。此外，並沒有單個特徵或組合特徵對於每個實施例是必需的或不可缺少的。
本文中所使用的條件語言，諸如“可以”、“可能”、“例如”等，除非另有明確陳述或者在所使用的上下文內另有理解，否則一般旨在表達某些實施例包括某些特徵，元件和/或步驟，而其它實施例不包括某些特徵、元件和/或步驟。因此，這樣的條件語言通常不旨在暗示特徵，元件和/或步驟以任何方式對於一個或多
個實施例是必需的，或者一個或多個實施例必須包括用於在有或沒有操作者輸入或提示的情況下決定這些特徵，元件和/或步驟被包括在或將在任何特定實施例中執行。術語“包括”、“包含”、“具有”等是同義的，並且以開放式的方式包含使用，並且不排除額外的元件、特徵、動作、操作等。此外，術語“或”以其包括的含義使用(而不是以其排他的含義)，使得當例如用於連接元件列表時，術語“或”表示一個，一些或所有的元素。此外，除非另有說明，否則本申請和所附權利要求中使用的冠詞“一”，“一個”和“所述”被解釋為表示“一個或多個”或“至少一個”。
如本文所使用的，引述一列項目中的“至少一個”的短語是指這些項目的任何組合，包括單個成員。作為示例，“A、B或C中的至少一個”旨在涵蓋：A、B、C，A和B，A和C，B和C以及A、B和C。另外，除非另有特別說明，否則連接詞語言，諸如短語“X、Y和Z中的至少一個”，一般以通常使用的上下文來理解，以表達項目、項等可以是X，Y或Z。因此，這種連接詞語言通常不旨在暗示，某些實施方案要求X的至少一個，Y的至少一個以及Z中的至少一個各自存在。
類似地，雖然在附圖中以特定次序描繪了操作，但是應當將這理解為不需要以所示的特定次序或者以連續次序執行這樣的操作、或者需要執行所有圖示的操作才能達到期望的結果。還可進一步，圖示可以以流程圖的形式來示意性地描繪另一個例子的過程。然而，未被描述的其它操作可以用所示意出的範
例方法來引入。例如，一個或多個附加操作可以是之前、之後、同時、或之間的任何示出的操作。此外，在其他實施例中，操作可以被重新排列或重新排序。在某些情況下，多重以及並行處理可以是有利的。此外，不應當將在上述實施例中的各種系統元件的分離理解為在所有實施例中均需要這樣的分離，而應當理解的是，通常可以將所描述的程式元件和系統集成到一起成為單個軟體產品或封裝為多個軟體產品。此外，在以下權利要求之內的其他實施例，在某些情況下權利要求中記載的操作可以以不同順序來執行並且仍然獲得期望的結果。
1800:測量系統
1802:顯示器
1804:光線
1806:照相機
1808:控制器
Claims (17)
- 一種顯示器的校正系統，包括：一照相機，用以擷取一顯示器的一影像，該顯示器包括配置為顯示一第一色彩的一第一色彩層以及顯示一第二色彩的一第二色彩層；一硬體處理器，通訊連接於該照相機且被編程用以執行指令：接收該顯示器的該影像；決定該顯示器的一色彩校正，該色彩校正是修正該顯示器的一色彩缺陷，其中為了決定該色彩校正，該硬體處理器被編程用以執行指令：比較對應於該第一色彩層上的一點的一第一輝度值與對應於該第二色彩層上的該點的一第二輝度值；根據至少部分的該第一輝度值與該第二輝度值計算該色彩校正；以及將該校正儲存在關聯於該顯示器的一記憶體中。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：根據該第一輝度值及該第二輝度值，將該第一輝度值或該第二輝度值降低到一個最低的輝度值。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：將該第一輝度值或該第二輝度值決定為關聯於該點的一閥輝度值；以及降低該第一輝度值或該第二輝度值到關聯於該點的該閥輝度值以因應該決定。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：根據該第一輝度值及該第二輝度值計算出一最小的輝度值；將該第一輝度值或該第二輝度值決定為關聯於該點的一閥輝度值；以及降低該第一輝度值或該第二輝度值到該閥輝度值與該最小輝度值中較大者以因應該決定。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：根據該第一輝度值與該閥輝度值的一距離增加該第一輝度值；或根據該第二輝度值與該閥輝度值的一距離增加該第二輝度值。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：調整該第一輝度值或該第二輝度值以平衡該顯示器的一白點。
- 如請求項1所述的顯示器的校正系統，其中為了計算該點的色彩校正，該硬體處理器被編程用以執行指令：調整該第一輝度值或該第二輝度值，使得該顯示器的一白點在該顯示器的一視場下基本上是均勻的。
- 如請求項1所述的顯示器的校正系統，其中該第一色彩是紅、綠或藍色的其中之一，而該第二色彩是紅、綠或藍色的其中之一且相異於該第一色彩。
- 如請求項1所述的顯示器的校正系統，其中該顯示器包括一第三色彩層配置為顯示一第三色彩。
- 如請求項9所述的顯示器的校正系統，其中該第一色彩、該第二色彩及該第三色彩包括選自紅、綠及藍的相異色彩。
- 如請求項1所述的顯示器的校正系統，其中該第一色彩層與該第二色彩層對應於該顯示器的一深度層。
- 如請求項1所述的顯示器的校正系統，其中該顯示器包括一光場顯示器。
- 如請求項1所述的顯示器的校正系統，其中該顯示器包括一堆疊波導組件，而該堆疊波導組件包括該第一色彩層及該第二色彩層。
- 如請求項1所述的顯示器的校正系統，其中該照相機包括一光場照相機或一具有小焦距深度的數位相機。
- 如請求項1所述的顯示器的校正系統，其中該硬體處理器更被編程用以執行指令：決定該顯示器的一空間校正，該空間校正修正該顯示器的一空間缺陷。
- 如請求項15所述的顯示器的校正系統，其中該空間缺陷包括一或多的：一平面中的轉譯錯誤、一轉動錯誤、一放大錯誤、一撓取錯誤、一平面外的錯誤或一焦距深度錯誤。
- 如請求項15所述的顯示器的校正系統，其中為了決定該空間校正，該硬體處理器被編程用以執行指令：根據至少該照相機所擷取的該影像的一部分產生一向量場，該向量場包括多個向量對應於該第一色彩層或該第二色彩層的投影位置點及預期位置點；根據至少部分該向量場上的向量計算出以下至少其中一種顯示器的修正：一中心點修正、一聚合旋轉校正、一聚合縮放校正及一空間映射校正。
Applications Claiming Priority (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562250934P | 2015-11-04 | 2015-11-04 | |
| US201562250925P | 2015-11-04 | 2015-11-04 | |
| US62/250,925 | 2015-11-04 | ||
| US62/250,934 | 2015-11-04 | ||
| US201662278794P | 2016-01-14 | 2016-01-14 | |
| US201662278779P | 2016-01-14 | 2016-01-14 | |
| US201662278824P | 2016-01-14 | 2016-01-14 | |
| US62/278,794 | 2016-01-14 | ||
| US62/278,779 | 2016-01-14 | ||
| US62/278,824 | 2016-01-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201908817A TW201908817A (zh) | 2019-03-01 |
| TWI695999B true TWI695999B (zh) | 2020-06-11 |
Family
ID=58634472
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105135772A TWI648559B (zh) | 2015-11-04 | 2016-11-03 | 顯示器之光場計量系統 |
| TW107136549A TWI695999B (zh) | 2015-11-04 | 2016-11-03 | 顯示器之校正系統 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105135772A TWI648559B (zh) | 2015-11-04 | 2016-11-03 | 顯示器之光場計量系統 |
Country Status (11)
| Country | Link |
|---|---|
| US (8) | US10260864B2 (zh) |
| EP (4) | EP4235639A3 (zh) |
| JP (6) | JP6983773B2 (zh) |
| KR (5) | KR20240055844A (zh) |
| CN (4) | CN113358045A (zh) |
| AU (4) | AU2016349895B2 (zh) |
| CA (2) | CA3004271C (zh) |
| IL (4) | IL292793B2 (zh) |
| NZ (2) | NZ742532A (zh) |
| TW (2) | TWI648559B (zh) |
| WO (2) | WO2017079333A1 (zh) |
Families Citing this family (211)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10048499B2 (en) | 2005-11-08 | 2018-08-14 | Lumus Ltd. | Polarizing optical system |
| WO2016020630A2 (en) | 2014-08-08 | 2016-02-11 | Milan Momcilo Popovich | Waveguide laser illuminator incorporating a despeckler |
| US8693731B2 (en) * | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
| US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
| JP6102602B2 (ja) | 2013-07-23 | 2017-03-29 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| IL235642B (en) | 2014-11-11 | 2021-08-31 | Lumus Ltd | A compact head-up display system is protected by an element with a super-thin structure |
| CN107873086B (zh) | 2015-01-12 | 2020-03-20 | 迪吉伦斯公司 | 环境隔离的波导显示器 |
| IL237337B (en) | 2015-02-19 | 2020-03-31 | Amitai Yaakov | A compact head-up display system with a uniform image |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| NZ773826A (en) | 2015-03-16 | 2022-07-29 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| KR20230025933A (ko) | 2015-06-15 | 2023-02-23 | 매직 립, 인코포레이티드 | 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템 |
| US9910276B2 (en) | 2015-06-30 | 2018-03-06 | Microsoft Technology Licensing, Llc | Diffractive optical elements with graded edges |
| US10670862B2 (en) | 2015-07-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Diffractive optical elements with asymmetric profiles |
| US9864208B2 (en) * | 2015-07-30 | 2018-01-09 | Microsoft Technology Licensing, Llc | Diffractive optical elements with varying direction for depth modulation |
| US10038840B2 (en) | 2015-07-30 | 2018-07-31 | Microsoft Technology Licensing, Llc | Diffractive optical element using crossed grating for pupil expansion |
| US10073278B2 (en) | 2015-08-27 | 2018-09-11 | Microsoft Technology Licensing, Llc | Diffractive optical element using polarization rotation grating for in-coupling |
| US10690916B2 (en) | 2015-10-05 | 2020-06-23 | Digilens Inc. | Apparatus for providing waveguide displays with two-dimensional pupil expansion |
| US10429645B2 (en) | 2015-10-07 | 2019-10-01 | Microsoft Technology Licensing, Llc | Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling |
| US10241332B2 (en) | 2015-10-08 | 2019-03-26 | Microsoft Technology Licensing, Llc | Reducing stray light transmission in near eye display using resonant grating filter |
| US9946072B2 (en) * | 2015-10-29 | 2018-04-17 | Microsoft Technology Licensing, Llc | Diffractive optical element with uncoupled grating structures |
| US10260864B2 (en) | 2015-11-04 | 2019-04-16 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
| US10234686B2 (en) | 2015-11-16 | 2019-03-19 | Microsoft Technology Licensing, Llc | Rainbow removal in near-eye display using polarization-sensitive grating |
| CA3019946C (en) | 2016-04-08 | 2023-02-28 | Magic Leap, Inc. | Augmented reality systems and methods with variable focus lens elements |
| IL295059A (en) | 2016-10-05 | 2022-09-01 | Magic Leap Inc | A blind eye test for mixed reality calibration |
| KR20230066124A (ko) | 2016-10-09 | 2023-05-12 | 루머스 리미티드 | 직사각형 도파관을 사용하는 개구 배율기 |
| CN113031165B (zh) | 2016-11-08 | 2023-06-02 | 鲁姆斯有限公司 | 导光装置、其光学组件及其对应的生产方法 |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| CN110199220B (zh) | 2016-11-18 | 2022-11-01 | 奇跃公司 | 使用交叉光栅的波导光复用器 |
| AU2017361424B2 (en) | 2016-11-18 | 2022-10-27 | Magic Leap, Inc. | Spatially variable liquid crystal diffraction gratings |
| IL304304B2 (en) | 2016-12-08 | 2024-08-01 | Magic Leap Inc | Light beam breaking devices based on cholesteric liquid crystal |
| CN110291453B (zh) | 2016-12-14 | 2022-11-01 | 奇跃公司 | 使用具有表面对准图案的软压印复制对液晶图案化 |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| WO2018122859A1 (en) | 2016-12-31 | 2018-07-05 | Lumus Ltd. | Eye tracker based on retinal imaging via light-guide optical element |
| US10108014B2 (en) * | 2017-01-10 | 2018-10-23 | Microsoft Technology Licensing, Llc | Waveguide display with multiple focal depths |
| IL268135B2 (en) | 2017-01-23 | 2024-03-01 | Magic Leap Inc | Eyepiece for virtual, augmented or mixed reality systems |
| WO2018138714A1 (en) | 2017-01-28 | 2018-08-02 | Lumus Ltd. | Augmented reality imaging system |
| KR102655450B1 (ko) | 2017-02-22 | 2024-04-05 | 루머스 리미티드 | 광 가이드 광학 어셈블리 |
| IL307602A (en) | 2017-02-23 | 2023-12-01 | Magic Leap Inc | Variable focus virtual imagers based on polarization conversion |
| TWI663427B (zh) * | 2017-03-15 | 2019-06-21 | 宏碁股份有限公司 | 頭戴式顯示器及利用子像素位移之色差補償方法 |
| IL303471B2 (en) | 2017-03-21 | 2024-08-01 | Magic Leap Inc | An eye imaging device that uses optical refractive elements |
| WO2018176493A1 (en) * | 2017-04-01 | 2018-10-04 | SZ DJI Technology Co., Ltd. | Low-profile multi-band hyperspectral imaging for machine vision |
| CN107068114B (zh) * | 2017-04-24 | 2019-04-30 | 北京小米移动软件有限公司 | 屏幕颜色调整方法、装置、设备及存储介质 |
| CN108931357B (zh) * | 2017-05-22 | 2020-10-23 | 宁波舜宇车载光学技术有限公司 | 测试标靶和相应的镜头mtf检测系统及方法 |
| US11119353B2 (en) | 2017-06-01 | 2021-09-14 | E-Vision Smart Optics, Inc. | Switchable micro-lens array for augmented reality and mixed reality |
| US10634921B2 (en) * | 2017-06-01 | 2020-04-28 | NewSight Reality, Inc. | See-through near eye optical display |
| US10921613B2 (en) * | 2017-06-01 | 2021-02-16 | NewSight Reality, Inc. | Near eye display and related computer-implemented software and firmware |
| CN108605081B (zh) * | 2017-07-18 | 2020-09-01 | 杭州他若信息科技有限公司 | 智能目标追踪 |
| JP7174929B2 (ja) | 2017-07-19 | 2022-11-18 | ルムス エルティーディー． | Ｌｏｅを介するｌｃｏｓ照明 |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| TWI646466B (zh) * | 2017-08-09 | 2019-01-01 | 宏碁股份有限公司 | 視覺範圍映射方法及相關眼球追蹤裝置與系統 |
| CN109387939B (zh) | 2017-08-09 | 2021-02-12 | 中强光电股份有限公司 | 近眼式显示装置及其显示影像的校正方法 |
| US10551614B2 (en) | 2017-08-14 | 2020-02-04 | Facebook Technologies, Llc | Camera assembly with programmable diffractive optical element for depth sensing |
| WO2019040665A1 (en) | 2017-08-23 | 2019-02-28 | Neurable Inc. | BRAIN-COMPUTER INTERFACE PROVIDED WITH HIGH-SPEED OCULAR FOLLOWING CHARACTERISTICS |
| US11160449B2 (en) | 2017-08-29 | 2021-11-02 | Verily Life Sciences Llc | Focus stacking for retinal imaging |
| US10586342B2 (en) | 2017-08-31 | 2020-03-10 | Facebook Technologies, Llc | Shifting diffractive optical element for adjustable depth sensing resolution |
| CN107680047A (zh) * | 2017-09-05 | 2018-02-09 | 北京小鸟看看科技有限公司 | 一种虚拟现实场景渲染方法、图像处理器和头戴显示设备 |
| WO2019060741A1 (en) | 2017-09-21 | 2019-03-28 | Magic Leap, Inc. | INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT |
| US11368657B2 (en) * | 2017-09-28 | 2022-06-21 | Disney Enterprises, Inc. | Light field based projector calibration method and system |
| KR102695589B1 (ko) | 2017-10-22 | 2024-08-14 | 루머스 리미티드 | 광학 벤치를 사용하는 헤드 장착형 증강 현실 장치 |
| CN111542800B (zh) | 2017-11-13 | 2024-09-17 | 神经股份有限公司 | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 |
| EP4329296A3 (en) | 2017-11-15 | 2024-05-29 | Magic Leap, Inc. | System and methods for extrinsic calibration of cameras and diffractive optical elements |
| US11181977B2 (en) | 2017-11-17 | 2021-11-23 | Dolby Laboratories Licensing Corporation | Slippage compensation in eye tracking |
| US10586360B2 (en) | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
| US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
| CN111417883B (zh) | 2017-12-03 | 2022-06-17 | 鲁姆斯有限公司 | 光学设备对准方法 |
| JP7282090B2 (ja) | 2017-12-10 | 2023-05-26 | マジック リープ， インコーポレイテッド | 光学導波管上の反射防止性コーティング |
| WO2019118930A1 (en) | 2017-12-15 | 2019-06-20 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| US10681344B2 (en) * | 2017-12-15 | 2020-06-09 | Samsung Display Co., Ltd. | System and method for mura detection on a display |
| US10643576B2 (en) | 2017-12-15 | 2020-05-05 | Samsung Display Co., Ltd. | System and method for white spot Mura detection with improved preprocessing |
| KR20200100720A (ko) | 2017-12-20 | 2020-08-26 | 매직 립, 인코포레이티드 | 증강 현실 뷰잉 디바이스용 인서트 |
| FI129586B (en) * | 2017-12-22 | 2022-05-13 | Dispelix Oy | Waveguide display element with many pupils and display device |
| EP3732662B1 (en) | 2017-12-29 | 2023-10-11 | InterDigital VC Holdings, Inc. | Method and system for maintaining color calibration using common objects |
| NL2020216B1 (en) * | 2017-12-30 | 2019-07-08 | Zhangjiagang Kangde Xin Optronics Mat Co Ltd | Method for reducing crosstalk on an autostereoscopic display |
| IL275615B (en) * | 2018-01-02 | 2022-08-01 | Lumus Ltd | Augmented reality representatives with active alignment and matching methods |
| US20190038964A1 (en) * | 2018-01-12 | 2019-02-07 | Karthik Veeramani | Personalized calibration and adaption of vr experience |
| IL275822B2 (en) | 2018-01-17 | 2024-02-01 | Magic Leap Inc | Eye center for determining rotation, choosing depth plane and processing camera position in display systems |
| CA3088116A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| CN111712192B (zh) | 2018-01-18 | 2024-07-02 | 神经股份有限公司 | 具有对于高速、准确和直观的用户交互的适配的大脑-计算机接口 |
| DE102018105917A1 (de) * | 2018-03-14 | 2019-09-19 | tooz technologies GmbH | Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung |
| US10860399B2 (en) | 2018-03-15 | 2020-12-08 | Samsung Display Co., Ltd. | Permutation based stress profile compression |
| US10755676B2 (en) | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| CN111954896B (zh) * | 2018-04-12 | 2024-09-17 | 凸版印刷株式会社 | 光场图像生成系统、图像显示系统、形状信息取得服务器、图像生成服务器、显示装置、光场图像生成方法及图像显示方法 |
| IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
| US11526003B2 (en) | 2018-05-23 | 2022-12-13 | Lumus Ltd. | Optical system including light-guide optical element with partially-reflective internal surfaces |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| US10495882B1 (en) * | 2018-06-04 | 2019-12-03 | Facebook Technologies, Llc | Positioning cameras in a head mounted display to capture images of portions of a face of a user |
| EP3804306B1 (en) | 2018-06-05 | 2023-12-27 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| US11454590B2 (en) | 2018-06-21 | 2022-09-27 | Lumus Ltd. | Measurement technique for refractive index inhomogeneity between plates of a lightguide optical element (LOE) |
| US11415812B2 (en) | 2018-06-26 | 2022-08-16 | Lumus Ltd. | Compact collimating optical device and system |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US11510027B2 (en) | 2018-07-03 | 2022-11-22 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US11106033B2 (en) | 2018-07-05 | 2021-08-31 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| WO2020014700A1 (en) | 2018-07-13 | 2020-01-16 | Magic Leap, Inc. | Systems and methods for display binocular deformation compensation |
| US10884492B2 (en) * | 2018-07-20 | 2021-01-05 | Avegant Corp. | Relative position based eye-tracking system |
| TWI675583B (zh) * | 2018-07-23 | 2019-10-21 | 緯創資通股份有限公司 | 擴增實境系統及其色彩補償方法 |
| EP4270016A3 (en) | 2018-07-24 | 2024-02-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| US11567336B2 (en) | 2018-07-24 | 2023-01-31 | Magic Leap, Inc. | Display systems and methods for determining registration between display and eyes of user |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| CN112437872B (zh) | 2018-07-24 | 2024-05-03 | 奇跃公司 | 用于成像设备的颜色校准的方法和系统 |
| JP7456995B2 (ja) | 2018-07-24 | 2024-03-27 | マジック リープ， インコーポレイテッド | 左および右ディスプレイとユーザの眼との間の垂直整合を決定するためのディスプレイシステムおよび方法 |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| WO2020028867A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11361474B2 (en) * | 2018-08-03 | 2022-06-14 | Magic Leap, Inc. | Method and system for subgrid calibration of a display device |
| CN108985291B (zh) * | 2018-08-07 | 2021-02-19 | 东北大学 | 一种基于单摄像头的双眼追踪系统 |
| US10861415B2 (en) * | 2018-08-14 | 2020-12-08 | Facebook Technologies, Llc | Display device with throughput calibration |
| JP7487176B2 (ja) | 2018-08-22 | 2024-05-20 | マジック リープ， インコーポレイテッド | 患者視認システム |
| KR20210047790A (ko) | 2018-08-26 | 2021-04-30 | 루머스 리미티드 | 근안 디스플레이에서의 반사 억제 |
| US10607353B2 (en) * | 2018-08-30 | 2020-03-31 | Facebook Technologies, Llc | Structured light depth sensing |
| US11200867B1 (en) | 2018-09-07 | 2021-12-14 | Apple Inc. | Dynamic uniformity compensation for electronic display |
| US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
| US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
| CN112703441B (zh) * | 2018-09-20 | 2023-06-13 | 索尼互动娱乐股份有限公司 | 显示系统，程序，显示方法和头戴式设备 |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| JP7444861B2 (ja) * | 2018-09-26 | 2024-03-06 | マジック リープ， インコーポレイテッド | 屈折力を有する回折光学要素 |
| US10795630B2 (en) | 2018-10-10 | 2020-10-06 | International Business Machines Corporation | Configuring computing device to utilize a multiple display arrangement by tracking eye movement |
| US10803791B2 (en) | 2018-10-31 | 2020-10-13 | Samsung Display Co., Ltd. | Burrows-wheeler based stress profile compression |
| TW202026685A (zh) | 2018-11-08 | 2020-07-16 | 以色列商魯姆斯有限公司 | 具有反射鏡的光導顯示器 |
| JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ， インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
| US11237393B2 (en) | 2018-11-20 | 2022-02-01 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| WO2020112560A1 (en) | 2018-11-30 | 2020-06-04 | Pcms Holdings, Inc. | Method and apparatus to estimate scene illuminant based on skin reflectance database |
| KR102221991B1 (ko) * | 2018-12-06 | 2021-03-04 | 한국광기술원 | 패턴을 생성하여 디스플레이의 초점 조절기능 제공 유무를 판별하는 장치 및 방법 |
| US10990168B2 (en) * | 2018-12-10 | 2021-04-27 | Samsung Electronics Co., Ltd. | Compensating for a movement of a sensor attached to a body of a user |
| EP3899642A1 (en) | 2018-12-20 | 2021-10-27 | Snap Inc. | Flexible eyewear device with dual cameras for generating stereoscopic images |
| CN113454507B (zh) | 2018-12-21 | 2024-05-07 | 奇跃公司 | 用于促进波导内的全内反射的气穴结构 |
| US20200209669A1 (en) * | 2018-12-28 | 2020-07-02 | Lightspace Technologies, SIA | Electro-optical unit for volumetric display device |
| CN111399633B (zh) * | 2019-01-03 | 2023-03-31 | 见臻科技股份有限公司 | 针对眼球追踪应用的校正方法 |
| CN113508328B (zh) * | 2019-01-09 | 2023-11-07 | 伊奎蒂公司 | 用于近眼显示器的虚拟图像的颜色校正 |
| US11200656B2 (en) | 2019-01-11 | 2021-12-14 | Universal City Studios Llc | Drop detection systems and methods |
| US11361511B2 (en) * | 2019-01-24 | 2022-06-14 | Htc Corporation | Method, mixed reality system and recording medium for detecting real-world light source in mixed reality |
| US11686935B2 (en) * | 2019-01-29 | 2023-06-27 | Meta Platforms Technologies, Llc | Interferometric structured illumination for depth determination |
| US11425189B2 (en) | 2019-02-06 | 2022-08-23 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
| KR20210138609A (ko) | 2019-02-15 | 2021-11-19 | 디지렌즈 인코포레이티드. | 일체형 격자를 이용하여 홀로그래픽 도파관 디스플레이를 제공하기 위한 방법 및 장치 |
| US10650785B1 (en) * | 2019-02-21 | 2020-05-12 | Microsoft Technology Licensing, Llc | Color management of display device |
| US10866422B2 (en) | 2019-02-21 | 2020-12-15 | Microsoft Technology Licensing, Llc | Micro LED display system |
| JP7398131B2 (ja) | 2019-03-12 | 2023-12-14 | ルムス エルティーディー． | 画像プロジェクタ |
| EP3939030A4 (en) | 2019-03-12 | 2022-11-30 | Magic Leap, Inc. | REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY |
| KR102664402B1 (ko) * | 2019-03-14 | 2024-05-08 | 삼성전자주식회사 | 표시장치에 포함된 광학요소에 의한 노이즈를 보정하기 위한 보정패턴 획득장치와 이를 이용한 노이즈 보정패턴 획득방법 |
| US11024002B2 (en) | 2019-03-14 | 2021-06-01 | Intel Corporation | Generating gaze corrected images using bidirectionally trained network |
| JP2022525922A (ja) | 2019-03-20 | 2022-05-20 | マジック リープ， インコーポレイテッド | 光を収集するためのシステム |
| CN114127837A (zh) | 2019-05-01 | 2022-03-01 | 奇跃公司 | 内容提供系统和方法 |
| EP3736796A1 (en) * | 2019-05-07 | 2020-11-11 | Wooptix S.L. | Method and optical system for characterizing displays |
| US11308873B2 (en) | 2019-05-23 | 2022-04-19 | Samsung Display Co., Ltd. | Redundancy assisted noise control for accumulated iterative compression error |
| CN114207492A (zh) | 2019-06-07 | 2022-03-18 | 迪吉伦斯公司 | 带透射光栅和反射光栅的波导及其生产方法 |
| EP3987343A4 (en) | 2019-06-20 | 2023-07-19 | Magic Leap, Inc. | EYEWEARS FOR AUGMENTED REALITY DISPLAY SYSTEM |
| US11099313B2 (en) | 2019-06-24 | 2021-08-24 | Magic Leap, Inc. | Customized polymer/glass diffractive waveguide stacks for augmented reality/mixed reality applications |
| AU2020300121B2 (en) | 2019-07-04 | 2024-06-13 | Lumus Ltd. | Image waveguide with symmetric beam multiplication |
| CN110310313B (zh) * | 2019-07-09 | 2021-10-01 | 中国电子科技集团公司第十三研究所 | 一种图像配准方法、图像配准装置及终端 |
| US11868525B2 (en) * | 2019-07-16 | 2024-01-09 | Magic Leap, Inc. | Eye center of rotation determination with one or more eye tracking cameras |
| US11514673B2 (en) | 2019-07-26 | 2022-11-29 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP3786767B1 (en) * | 2019-07-29 | 2023-11-08 | HTC Corporation | Eye tracking method, head-mounted display, and computer readable storage medium |
| US11156829B2 (en) * | 2019-07-29 | 2021-10-26 | Facebook Technologies, Llc | Pupil expander cailibration |
| KR20220045166A (ko) * | 2019-08-09 | 2022-04-12 | 라이트 필드 랩 인코포레이티드 | 라이트필드 디스플레이 시스템 기반 디지털 사이니지 시스템 |
| KR20220054386A (ko) | 2019-08-29 | 2022-05-02 | 디지렌즈 인코포레이티드. | 진공 브래그 격자 및 이의 제조 방법 |
| US11245931B2 (en) | 2019-09-11 | 2022-02-08 | Samsung Display Co., Ltd. | System and method for RGBG conversion |
| WO2021049740A1 (en) | 2019-09-12 | 2021-03-18 | Samsung Electronics Co., Ltd. | Eye accommodation distance measuring device and method, and head-mounted display |
| RU2724442C1 (ru) * | 2019-09-12 | 2020-06-23 | Самсунг Электроникс Ко., Лтд. | Устройство и способ определения расстояния фокусировки глаза для наголовного устройства отображения, наголовное устройство отображения |
| CN118584657A (zh) | 2019-09-16 | 2024-09-03 | 鲁姆斯有限公司 | 显示图像的光学系统 |
| GB2578523B (en) * | 2019-09-25 | 2021-08-11 | Dualitas Ltd | Holographic projection |
| KR102349087B1 (ko) * | 2019-10-10 | 2022-01-12 | 한국과학기술연구원 | 뇌-컴퓨터 인터페이스에 기반하여 로봇을 제어하는 방법 및 그에 따른 식사 보조 로봇의 제어 장치 |
| WO2021077078A1 (en) * | 2019-10-18 | 2021-04-22 | Looking Glass Factory, Inc. | System and method for lightfield capture |
| CN110766733B (zh) * | 2019-10-28 | 2022-08-12 | 广东三维家信息科技有限公司 | 单空间点云配准方法及装置 |
| KR102658688B1 (ko) * | 2019-11-04 | 2024-04-17 | 엘지전자 주식회사 | 이미지 조도 향상을 위한 방법 및 장치 |
| US11288503B2 (en) * | 2019-11-04 | 2022-03-29 | Facebook Technologies, Llc | Systems and methods for image adjustment based on pupil size |
| US12033081B2 (en) | 2019-11-14 | 2024-07-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
| CN111047562B (zh) * | 2019-11-26 | 2023-09-19 | 联想(北京)有限公司 | 一种处理方法、装置、电子设备及存储介质 |
| CA3162579C (en) | 2019-12-05 | 2024-01-30 | Lumus Ltd | Light-guide optical element employing complementary coated partial reflectors, and light-guide optical element having reduced light scattering |
| JP7569856B2 (ja) | 2019-12-06 | 2024-10-18 | マジック リープ， インコーポレイテッド | 静止画内のステレオスプラッシュスクリーンのエンコーディング |
| US10965931B1 (en) * | 2019-12-06 | 2021-03-30 | Snap Inc. | Sensor misalignment compensation |
| US11523092B2 (en) | 2019-12-08 | 2022-12-06 | Lumus Ltd. | Optical systems with compact image projector |
| CN113010125B (zh) | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
| JP2023509305A (ja) | 2019-12-25 | 2023-03-08 | ルムス エルティーディー． | 光ガイド光学素子と関連付けられた光学配置を使用して、眼からの光を方向転換することに基づく、アイトラッキングのための光学システムおよび方法 |
| KR20210096449A (ko) | 2020-01-28 | 2021-08-05 | 삼성전자주식회사 | Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템 |
| CN115088016B (zh) * | 2020-02-05 | 2024-08-23 | Oppo广东移动通信有限公司 | 用于实现vSLAM系统的动态输入分辨率的方法和系统 |
| EP3875999A1 (en) * | 2020-03-06 | 2021-09-08 | Micledi Microdisplays BV | Full color display systems and calibration methods thereof |
| CN111445453B (zh) * | 2020-03-25 | 2023-04-25 | 森兰信息科技（上海）有限公司 | 摄像机获取的琴键图像的偏移判断方法、系统、介质及装置 |
| CN111707187B (zh) * | 2020-05-12 | 2022-05-24 | 深圳大学 | 一种大型零件的测量方法及系统 |
| WO2021237065A1 (en) | 2020-05-21 | 2021-11-25 | Looking Glass Factory, Inc. | System and method for holographic image display |
| US20230290290A1 (en) * | 2020-06-22 | 2023-09-14 | Digilens Inc. | Systems and Methods for Real-Time Color Correction of Waveguide Based Displays |
| US11415935B2 (en) | 2020-06-23 | 2022-08-16 | Looking Glass Factory, Inc. | System and method for holographic communication |
| IL299315A (en) * | 2020-06-26 | 2023-02-01 | Magic Leap Inc | Color uniformity correction of a display device |
| JP7545564B2 (ja) | 2020-07-15 | 2024-09-04 | マジック リープ， インコーポレイテッド | 非球面角膜モデルを使用した眼追跡 |
| US11151755B1 (en) * | 2020-07-29 | 2021-10-19 | Adobe Inc. | Image processing for increasing visibility of obscured patterns |
| WO2022025891A1 (en) * | 2020-07-30 | 2022-02-03 | Hewlett-Packard Development Company, L.P. | Amounts of wavelengths of light during periods of time |
| EP4002346A1 (en) | 2020-11-12 | 2022-05-25 | Micledi Microdisplays BV | Video pipeline system and method for improved color perception |
| US11442541B1 (en) * | 2020-11-13 | 2022-09-13 | Meta Platforms Technologies, Llc | Color-based calibration for eye-tracking |
| IL302581B2 (en) | 2020-11-18 | 2024-06-01 | Lumus Ltd | Optical validation of orientations of internal surfaces |
| US11388388B2 (en) | 2020-12-01 | 2022-07-12 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
| US11733773B1 (en) | 2020-12-29 | 2023-08-22 | Meta Platforms Technologies, Llc | Dynamic uniformity correction for boundary regions |
| EP4237903B1 (en) | 2021-03-01 | 2024-09-04 | Lumus Ltd. | Optical system with compact coupling from a projector into a waveguide |
| US11681363B2 (en) * | 2021-03-29 | 2023-06-20 | Meta Platforms Technologies, Llc | Waveguide correction map compression |
| US11735138B2 (en) * | 2021-04-22 | 2023-08-22 | GM Global Technology Operations LLC | Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane |
| EP4232868A4 (en) | 2021-05-19 | 2024-04-17 | Lumus Ltd. | ACTIVE OPTICAL ENGINE |
| IL310952A (en) | 2021-08-23 | 2024-04-01 | Lumus Ltd | Methods for manufacturing complex light-guiding optical components with embedded coupling reflectors |
| US11900845B2 (en) | 2021-10-28 | 2024-02-13 | Samsung Electronics Co., Ltd. | System and method for optical calibration of a head-mounted display |
| US11927757B1 (en) | 2021-10-29 | 2024-03-12 | Apple Inc. | Electronic device display having distortion compensation |
| US11722655B2 (en) * | 2021-11-30 | 2023-08-08 | SoliDDD Corp. | Low latency networking of plenoptic data |
| CN114397091A (zh) * | 2021-12-07 | 2022-04-26 | 伟创力电子技术(苏州)有限公司 | 一种光波导模组的自动测试方法 |
| US11754846B2 (en) | 2022-01-21 | 2023-09-12 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
| US11710212B1 (en) * | 2022-01-21 | 2023-07-25 | Meta Platforms Technologies, Llc | Display non-uniformity correction |
| TWI817335B (zh) | 2022-01-25 | 2023-10-01 | 宏碁股份有限公司 | 立體影像播放裝置及其立體影像產生方法 |
| CN114442325B (zh) * | 2022-01-28 | 2024-07-16 | 深圳光子晶体科技有限公司 | 一种基于自发光显示芯片和光波导的光学显示系统 |
| CN116524045A (zh) * | 2022-03-29 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 颜色校准方法、装置、计算机设备和计算机可读存储介质 |
| WO2023200176A1 (ko) * | 2022-04-12 | 2023-10-19 | 삼성전자 주식회사 | 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법 |
| WO2024016163A1 (en) * | 2022-07-19 | 2024-01-25 | Jade Bird Display (shanghai) Limited | Methods and systems for virtual imagecompensation and evaluation |
| CN115931303B (zh) * | 2022-10-26 | 2023-11-17 | 江西凤凰光学科技有限公司 | 一种多色衍射光波导的测试方法 |
| CN116486755A (zh) * | 2023-04-27 | 2023-07-25 | 业成科技（成都）有限公司 | 显示装置的均匀度校正方法 |
| KR102711331B1 (ko) * | 2023-10-10 | 2024-09-27 | 한국광기술원 | 증강현실 영상 재생 광학계의 색 특성 검사장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040213449A1 (en) * | 2003-02-03 | 2004-10-28 | Photon Dynamics, Inc. | Method and apparatus for optical inspection of a display |
| CN101489051A (zh) * | 2008-01-17 | 2009-07-22 | 佳能株式会社 | 图像处理设备和图像处理方法以及摄像设备 |
| WO2010131400A1 (ja) * | 2009-05-14 | 2010-11-18 | 株式会社ナナオ | 立体画像表示装置 |
| TW201313035A (zh) * | 2011-08-25 | 2013-03-16 | Fujitsu Ltd | 彩色顯示方法及彩色顯示裝置 |
Family Cites Families (104)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05161166A (ja) * | 1991-12-04 | 1993-06-25 | Sony Corp | 立体映像信号発生装置 |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| JP3309431B2 (ja) * | 1992-07-15 | 2002-07-29 | 富士ゼロックス株式会社 | 情報処理装置 |
| US6011581A (en) * | 1992-11-16 | 2000-01-04 | Reveo, Inc. | Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments |
| US5594563A (en) | 1994-05-31 | 1997-01-14 | Honeywell Inc. | High resolution subtractive color projection system |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6326996B1 (en) * | 1995-11-06 | 2001-12-04 | Gateway, Inc. | Display device having self contained diagnostic image generation capability |
| JPH1020245A (ja) * | 1996-07-01 | 1998-01-23 | Canon Inc | 奥行き標本化式立体画像形成・表示装置 |
| JPH11203986A (ja) | 1998-01-16 | 1999-07-30 | Denso Corp | 多機能スイッチ装置 |
| US6456339B1 (en) * | 1998-07-31 | 2002-09-24 | Massachusetts Institute Of Technology | Super-resolution display |
| US20020063807A1 (en) | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
| JP4348839B2 (ja) | 2000-06-28 | 2009-10-21 | ソニー株式会社 | 検査装置及び検査方法 |
| US6816625B2 (en) * | 2000-08-16 | 2004-11-09 | Lewis Jr Clarence A | Distortion free image capture system and method |
| US7530315B2 (en) * | 2003-05-08 | 2009-05-12 | Lone Star Ip Holdings, Lp | Weapon and weapon system employing the same |
| JP2005101828A (ja) | 2003-09-24 | 2005-04-14 | Canon Inc | 画像処理システム、画像処理方法、その記録媒体およびプログラム |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| JP4965800B2 (ja) * | 2004-10-01 | 2012-07-04 | キヤノン株式会社 | 画像表示システム |
| JP4560368B2 (ja) | 2004-10-08 | 2010-10-13 | キヤノン株式会社 | 眼検出装置および画像表示装置 |
| JP2006153914A (ja) * | 2004-11-25 | 2006-06-15 | Canon Inc | 液晶プロジェクタ装置 |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20080144174A1 (en) | 2006-03-15 | 2008-06-19 | Zebra Imaging, Inc. | Dynamic autostereoscopic displays |
| US9843790B2 (en) * | 2006-03-15 | 2017-12-12 | Fovi 3D, Inc. | Dynamic autostereoscopic displays |
| US8406562B2 (en) * | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
| US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
| EP1962517A1 (en) * | 2007-02-21 | 2008-08-27 | STMicroelectronics (Research & Development) Limited | Error reduction in image sensors |
| JP2008258802A (ja) | 2007-04-03 | 2008-10-23 | Canon Inc | 画像表示システム |
| KR101587176B1 (ko) * | 2007-04-18 | 2016-01-20 | 마이크로닉 마이데이타 에이비 | 무라 검출 및 계측을 위한 방법 및 장치 |
| JP2010199659A (ja) | 2009-02-23 | 2010-09-09 | Panasonic Corp | 画像処理装置、及び画像処理方法 |
| JP2010271565A (ja) * | 2009-05-22 | 2010-12-02 | Seiko Epson Corp | 頭部装着型表示装置 |
| HU0900478D0 (en) | 2009-07-31 | 2009-09-28 | Holografika Hologrameloeallito | Method and apparatus for displaying 3d images |
| US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US20120212499A1 (en) * | 2010-02-28 | 2012-08-23 | Osterhout Group, Inc. | System and method for display content control during glasses movement |
| US8564647B2 (en) | 2010-04-21 | 2013-10-22 | Canon Kabushiki Kaisha | Color management of autostereoscopic 3D displays |
| US9864243B2 (en) * | 2010-05-14 | 2018-01-09 | Dolby Laboratories Licensing Corporation | High dynamic range displays using filterless LCD(s) for increasing contrast and resolution |
| US8884939B2 (en) * | 2010-07-26 | 2014-11-11 | Apple Inc. | Display brightness control based on ambient light levels |
| US8922636B1 (en) * | 2010-08-20 | 2014-12-30 | The United States Of America As Represented By The Secretary Of The Navy | Synthetic aperture imaging for fluid flows |
| KR101494066B1 (ko) * | 2010-10-05 | 2015-02-16 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 공간 광 패턴에 기초한 깊이 데이터의 생성 |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| CA2822978C (en) | 2010-12-24 | 2019-02-19 | Hong Hua | An ergonomic head mounted display device and optical system |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| US8643684B2 (en) | 2011-01-18 | 2014-02-04 | Disney Enterprises, Inc. | Multi-layer plenoptic displays that combine multiple emissive and light modulating planes |
| JP6316186B2 (ja) | 2011-05-06 | 2018-04-25 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 広範囲同時遠隔ディジタル提示世界 |
| CN103380625A (zh) | 2011-06-16 | 2013-10-30 | 松下电器产业株式会社 | 头戴式显示器及其位置偏差调整方法 |
| US8546454B2 (en) * | 2011-07-26 | 2013-10-01 | Unitel Technologies, Inc. | Process and method for the producton of dimethylether (DME) |
| JP2013037021A (ja) | 2011-08-03 | 2013-02-21 | Canon Inc | ディスプレイ及びヘッドマウントディスプレイ |
| KR20140059213A (ko) * | 2011-08-30 | 2014-05-15 | 마이크로소프트 코포레이션 | 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이 |
| US20140198104A1 (en) * | 2011-09-02 | 2014-07-17 | Sharp Kabushiki Kaisha | Stereoscopic image generating method, stereoscopic image generating device, and display device having same |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| JP6119091B2 (ja) | 2011-09-30 | 2017-04-26 | セイコーエプソン株式会社 | 虚像表示装置 |
| CA2792116C (en) * | 2011-10-11 | 2019-11-12 | Warrior Rig Ltd. | Portable pipe handling system |
| RU2017115669A (ru) | 2011-10-28 | 2019-01-28 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
| KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
| US8913789B1 (en) | 2012-01-06 | 2014-12-16 | Google Inc. | Input methods and systems for eye positioning using plural glints |
| KR102028732B1 (ko) | 2012-04-05 | 2019-10-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US20130300635A1 (en) * | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for providing focus correction of displayed information |
| US8989535B2 (en) * | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9310559B2 (en) | 2012-06-11 | 2016-04-12 | Magic Leap, Inc. | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9077973B2 (en) * | 2012-06-29 | 2015-07-07 | Dri Systems Llc | Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation |
| WO2014017348A1 (ja) | 2012-07-24 | 2014-01-30 | ソニー株式会社 | 画像表示装置および画像表示方法 |
| US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| AU2013315607A1 (en) | 2012-09-11 | 2015-04-02 | Magic Leap, Inc | Ergonomic head mounted display device and optical system |
| IL293789B2 (en) | 2013-01-15 | 2023-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
| JP2014142383A (ja) | 2013-01-22 | 2014-08-07 | Canon Inc | 画像形成装置 |
| CN105247447B (zh) * | 2013-02-14 | 2017-11-10 | 脸谱公司 | 眼睛跟踪校准系统及方法 |
| US20140240842A1 (en) * | 2013-02-22 | 2014-08-28 | Ian Nguyen | Alignment-insensitive image input coupling |
| CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
| US9424467B2 (en) * | 2013-03-14 | 2016-08-23 | Disney Enterprises, Inc. | Gaze tracking and recognition with image location |
| KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9860494B2 (en) | 2013-03-15 | 2018-01-02 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using a short throw camera |
| GB201305726D0 (en) | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
| TWI508554B (zh) | 2013-05-21 | 2015-11-11 | Univ Nat Taiwan | 基於光場相機的影像對焦處理方法及其系統 |
| JP2013240057A (ja) | 2013-05-30 | 2013-11-28 | Denso Corp | ヘッドアップディスプレイ装置の調整方法 |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9952042B2 (en) | 2013-07-12 | 2018-04-24 | Magic Leap, Inc. | Method and system for identifying a user location |
| US9146862B2 (en) * | 2013-07-18 | 2015-09-29 | International Business Machines Corporation | Optimizing memory usage across multiple garbage collected computer environments |
| CN105408805B (zh) | 2013-07-26 | 2018-06-15 | 西铁城时计株式会社 | 光源装置以及投影装置 |
| AU2014310703B2 (en) | 2013-08-19 | 2018-09-27 | Basf Se | Optical detector |
| US20150104101A1 (en) * | 2013-10-14 | 2015-04-16 | Apple Inc. | Method and ui for z depth image segmentation |
| IL302408B2 (en) | 2013-10-16 | 2024-09-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
| JP6287095B2 (ja) * | 2013-11-19 | 2018-03-07 | セイコーエプソン株式会社 | 光学デバイス及び電子機器 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CN110542938B (zh) | 2013-11-27 | 2023-04-18 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| WO2015094191A1 (en) * | 2013-12-17 | 2015-06-25 | Intel Corporation | Controlling vision correction using eye tracking and depth detection |
| US9804395B2 (en) * | 2014-01-29 | 2017-10-31 | Ricoh Co., Ltd | Range calibration of a binocular optical augmented reality system |
| CN106461955B (zh) | 2014-01-31 | 2019-08-13 | 奇跃公司 | 显示增强现实的方法 |
| NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10264211B2 (en) | 2014-03-14 | 2019-04-16 | Comcast Cable Communications, Llc | Adaptive resolution in software applications based on dynamic eye tracking |
| WO2016018488A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| CN113253476B (zh) | 2014-05-30 | 2022-12-27 | 奇跃公司 | 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统 |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| CN104155819B (zh) * | 2014-08-04 | 2017-03-15 | 上海中航光电子有限公司 | 像素结构及其驱动方法、显示装置 |
| US10067561B2 (en) | 2014-09-22 | 2018-09-04 | Facebook, Inc. | Display visibility based on eye convergence |
| US20160131902A1 (en) | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US10260864B2 (en) | 2015-11-04 | 2019-04-16 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
-
2016
- 2016-11-02 US US15/341,822 patent/US10260864B2/en active Active
- 2016-11-02 IL IL292793A patent/IL292793B2/en unknown
- 2016-11-02 WO PCT/US2016/060162 patent/WO2017079333A1/en active Application Filing
- 2016-11-02 IL IL309607A patent/IL309607A/en unknown
- 2016-11-02 AU AU2016349895A patent/AU2016349895B2/en active Active
- 2016-11-02 CA CA3004271A patent/CA3004271C/en active Active
- 2016-11-02 WO PCT/US2016/060158 patent/WO2017079329A1/en active Application Filing
- 2016-11-02 KR KR1020247012058A patent/KR20240055844A/ko active IP Right Grant
- 2016-11-02 EP EP23177643.6A patent/EP4235639A3/en active Pending
- 2016-11-02 KR KR1020187015893A patent/KR102592980B1/ko active IP Right Grant
- 2016-11-02 JP JP2018522790A patent/JP6983773B2/ja active Active
- 2016-11-02 EP EP16862899.8A patent/EP3371972B1/en active Active
- 2016-11-02 US US15/341,760 patent/US10378882B2/en active Active
- 2016-11-02 CN CN202110294241.1A patent/CN113358045A/zh active Pending
- 2016-11-02 NZ NZ742532A patent/NZ742532A/en unknown
- 2016-11-02 KR KR1020187015896A patent/KR102633000B1/ko active IP Right Grant
- 2016-11-02 KR KR1020237035743A patent/KR102657948B1/ko active IP Right Grant
- 2016-11-02 EP EP16862902.0A patent/EP3371573B1/en active Active
- 2016-11-02 CN CN201680077872.5A patent/CN108476311B/zh active Active
- 2016-11-02 JP JP2018522732A patent/JP7210280B2/ja active Active
- 2016-11-02 EP EP22178820.1A patent/EP4080194A1/en active Pending
- 2016-11-02 KR KR1020247003400A patent/KR20240017132A/ko not_active Application Discontinuation
- 2016-11-02 AU AU2016349891A patent/AU2016349891B9/en active Active
- 2016-11-02 CA CA3004278A patent/CA3004278C/en active Active
- 2016-11-02 CN CN202110382304.9A patent/CN113489967A/zh active Pending
- 2016-11-02 NZ NZ742518A patent/NZ742518A/en unknown
- 2016-11-02 CN CN201680077871.0A patent/CN108474737B/zh active Active
- 2016-11-03 TW TW105135772A patent/TWI648559B/zh active
- 2016-11-03 TW TW107136549A patent/TWI695999B/zh active
-
2018
- 2018-05-01 IL IL259072A patent/IL259072B/en unknown
- 2018-05-01 IL IL259074A patent/IL259074B/en unknown
-
2019
- 2019-02-26 US US16/286,049 patent/US10571251B2/en active Active
- 2019-06-28 US US16/457,469 patent/US11226193B2/en active Active
-
2020
- 2020-01-15 US US16/744,108 patent/US11454495B2/en active Active
- 2020-11-02 US US17/087,359 patent/US11536559B2/en active Active
-
2021
- 2021-02-04 JP JP2021016675A patent/JP7189243B2/ja active Active
- 2021-04-01 AU AU2021202036A patent/AU2021202036B2/en active Active
- 2021-06-10 JP JP2021097378A patent/JP7218398B2/ja active Active
-
2022
- 2022-08-31 AU AU2022224797A patent/AU2022224797B2/en active Active
- 2022-11-28 US US17/994,882 patent/US11898836B2/en active Active
-
2023
- 2023-01-25 JP JP2023009319A patent/JP2023053974A/ja active Pending
- 2023-12-29 US US18/400,476 patent/US20240142224A1/en active Pending
-
2024
- 2024-05-20 JP JP2024081639A patent/JP2024103533A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040213449A1 (en) * | 2003-02-03 | 2004-10-28 | Photon Dynamics, Inc. | Method and apparatus for optical inspection of a display |
| CN101489051A (zh) * | 2008-01-17 | 2009-07-22 | 佳能株式会社 | 图像处理设备和图像处理方法以及摄像设备 |
| WO2010131400A1 (ja) * | 2009-05-14 | 2010-11-18 | 株式会社ナナオ | 立体画像表示装置 |
| TW201313035A (zh) * | 2011-08-25 | 2013-03-16 | Fujitsu Ltd | 彩色顯示方法及彩色顯示裝置 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI695999B (zh) | 顯示器之校正系統 |