TWI661229B - 近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統 - Google Patents

近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統 Download PDF

Info

Publication number
TWI661229B
TWI661229B TW107109327A TW107109327A TWI661229B TW I661229 B TWI661229 B TW I661229B TW 107109327 A TW107109327 A TW 107109327A TW 107109327 A TW107109327 A TW 107109327A TW I661229 B TWI661229 B TW I661229B
Authority
TW
Taiwan
Prior art keywords
eye
light
display
array
display panel
Prior art date
Application number
TW107109327A
Other languages
English (en)
Other versions
TW201905537A (zh
Inventor
約翰 Ｄ 派瑞奧特
派翠克 魯爾
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW201905537A publication Critical patent/TW201905537A/zh
Application granted granted Critical
Publication of TWI661229B publication Critical patent/TWI661229B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1015—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for wavefront analysis
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/12—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof structurally associated with, e.g. formed in or on a common substrate with, one or more electric light sources, e.g. electroluminescent light sources, and electrically or optically coupled thereto
    • H01L31/125—Composite devices with photosensitive elements and electroluminescent elements within one single body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Composite Materials (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一種近眼顯示器系統包含上覆於一顯示器面板之一小透鏡陣列。該顯示器面板包含一光投射元件陣列，每一光投射元件與一對應小透鏡之一軸同軸。該顯示器面板進一步包含一光偵測元件陣列及一子像素元件陣列。該系統進一步包含一控制組件，該控制組件經組態以啟動該光投射元件陣列以朝向使用者之一眼睛投射一光點圖案且經組態以控制該光偵測元件陣列以擷取表示該經投射光點圖案自該眼睛之一反射之一影像。該系統亦包含一分析組件，該分析組件用以判定該經擷取影像中之光點之至少一子集之預期位置與實際位置之間的位移並基於該等位移特性化該眼睛。

Description

近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統
本發明一般而言係關於近眼顯示器，且特定而言係關於用於運算近眼顯示器之圖框演現。
頭戴式顯示器(HMD)及其他近眼顯示器系統可利用一近眼光場顯示器或其他運算顯示器來提供三維(3D)圖形之高效顯示。一般而言，近眼光場顯示器採用一或多個顯示器面板及上覆於該一或多個顯示器面板之小透鏡、針孔或其他光學特徵之一陣列。一演現系統演現一元素影像陣列，其中每一元素影像表示來自一對應透視或虛擬攝影機位置的一物件或場景之一影像或視圖。
一般而言，每一元素影像陣列係關於一特定聚焦平面而演現，且係基於使用者之眼睛無實質性像差之一假設而演現。然而，若使用者之眼睛經受折射誤差或其他像差，則經顯示影像可顯現為模糊的或失真的。為了避免此等問題，近眼顯示器裝置可經設計以准許使用者穿戴校正眼鏡，但所得外觀尺寸通常由於重量、慣性及大小原因而無法實行。類似地，若使用者之眼睛之當前調節狀態與針對其演現元素影像陣列之聚焦平面不一 致，則會導致不一致深度線索(depth cue)，此可導致使用者之認知疲勞且因此減損使用者之體驗。
100‧‧‧近眼顯示器系統
102‧‧‧運算顯示器子系統/顯示器子系統
104‧‧‧演現組件
106‧‧‧眼睛特性化組件
108‧‧‧眼睛特性化組件
110‧‧‧左眼顯示器/顯示器
112‧‧‧右眼顯示器/顯示器
114‧‧‧設備
118‧‧‧顯示器面板/單獨顯示器面板
120‧‧‧陣列/小透鏡陣列/5×4陣列/上覆小透鏡陣列
136‧‧‧中央處理單元/處理器
138‧‧‧圖形處理單元/處理器
140‧‧‧圖形處理單元/處理器
142‧‧‧系統記憶體
144‧‧‧演現程式
146‧‧‧眼睛特性化程式
148‧‧‧演現資訊
150‧‧‧本端或遠端內容源
151‧‧‧光場圖框
152‧‧‧姿勢資訊
153‧‧‧光場圖框
154‧‧‧慣性管理單元
156‧‧‧眼睛特性化資訊
158‧‧‧眼睛特性化資訊
160‧‧‧控制組件
162‧‧‧影像分析組件
164‧‧‧經反射光點圖案影像/光點圖案影像/經擷取光點圖案影像
166‧‧‧經反射光點圖案影像
202‧‧‧陣列
204‧‧‧顯示器元件
204-1‧‧‧顯示器元件
204-2‧‧‧顯示器元件
206‧‧‧小透鏡/對應小透鏡
206-1‧‧‧小透鏡
208‧‧‧經放大視圖
210‧‧‧紅色子像素
212‧‧‧綠色子像素
214‧‧‧藍色子像素
216‧‧‧白色子像素
218‧‧‧紅外線子像素
220‧‧‧紅外線偵測光電二極體/紅外線光電二極體/光電二極體
220-1‧‧‧光電二極體
220-2‧‧‧光電二極體
220-3‧‧‧光電二極體
220-4‧‧‧光電二極體
221‧‧‧經放大視圖
222‧‧‧紅色子像素
224‧‧‧綠色子像素
226‧‧‧綠色子像素
228‧‧‧藍色子像素
230‧‧‧白色子像素
300‧‧‧實例性方法/方法
302‧‧‧方塊
304‧‧‧方塊
306‧‧‧方塊
308‧‧‧方塊
310‧‧‧方塊
400‧‧‧剖面圖
402‧‧‧剖面圖
404‧‧‧眼睛
406‧‧‧光學軸
408‧‧‧實質上平坦之波前
410‧‧‧波前/經反射波前
411‧‧‧射線
412‧‧‧射線
413‧‧‧射線
414‧‧‧射線
421‧‧‧預期位置
422‧‧‧預期位置
423‧‧‧預期位置
424‧‧‧預期位置
431‧‧‧實際射線
432‧‧‧實際射線
433‧‧‧實際射線
434‧‧‧實際射線
441‧‧‧實際位置
442‧‧‧實際位置
443‧‧‧實際位置
444‧‧‧實際位置
502‧‧‧陣列
504‧‧‧光點
506‧‧‧陣列
508‧‧‧預期位置
510‧‧‧經擴展視圖
512‧‧‧實際位置
514‧‧‧預期位置
516‧‧‧位移
520‧‧‧經擴展視圖
522‧‧‧實際位置
524‧‧‧預期位置
526‧‧‧位移
A-A‧‧‧切割線
D(K1)‧‧‧位移
D(K2)‧‧‧位移
藉由參考附圖，可較佳地理解本發明，且熟習此項技術者可明瞭本發明之眾多特徵及優點。在不同圖式中，使用相同元件符號來指示類似或相同物項。
圖1係圖解說明根據某些實施例之基於眼睛特性化經由波前失真估計而採用光場圖框演現之一近眼顯示器系統之一圖式。
圖2係較詳細地圖解說明根據某些實施例之圖1之近眼顯示器系統之一顯示器面板及上覆小透鏡陣列之一圖式。
圖3係圖解說明根據某些實施例之用於基於波前失真估計特性化一使用者之眼睛且基於該眼睛特性化控制一影像演現程序之一方法之一流程圖。
圖4係圖解說明根據某些實施例之一眼睛特性化程序期間之顯示器面板及上覆小透鏡陣列之一剖面圖之一圖式。
圖5係圖解說明根據某些實施例之擷取由圖2之顯示器面板投射之一光點圖案自一使用者之一眼睛之一反射之一影像之一圖式。
相關申請案之交叉參考
本發明主張標題為「Near-Eye Display with Frame Rendering Based on Reflected Wavefront Analysis for Eye Characterization」且於2017年6月15日提出申請之美國臨時專利申請案第62/520,295號(代理人檔案號 1500-G17006-PR)之優先權，該美國臨時專利申請案之全部內容以引用方式併入本文中。
圖1至圖5圖解說明用於在一近眼顯示器系統中基於對一使用者之眼睛之特性化使用波前失真估計來演現經改良影像之實例性系統及技術。在至少一項實施例中，近眼顯示器系統採用由一或多個顯示器面板組成之一運算顯示器來顯示影像之近眼光場圖框給一使用者，以便為該使用者提供一身歷其境虛擬實境(VR)或擴增實境(AR)體驗。每一近眼光場圖框由一元素影像陣列組成，其中每一元素影像表示一物件或場景自一不同對應視角之一視圖。一小透鏡陣列上覆於每一顯示器面板且操作以將該元素影像陣列作為一單個自動立體影像展現給使用者。
除了顯示AR或VR視訊影像給使用者之外，顯示器面板亦經由一波前失真估計程序促進對使用者之眼睛中之一者或兩者之特性化。為此，在至少一項實施例中，顯示器面板不僅併入一光投射元件(舉例而言，紅外線(IR)光投射二極體)陣列以透過小透鏡陣列朝向眼睛傳輸一光點圖案，而且併入一光偵測元件(舉例而言，光電二極體)陣列以擷取該光點圖案自眼睛之結構之一反射作為一圖案反射影像。
在無像差之一眼睛中，由於光點圖案之反射而離開眼睛之波前將係完全平坦的且因此該波前將平直向前照射小透鏡陣列之小透鏡。因此，經反射光點圖案之經擷取影像中之光點圖案將與由光投射元件陣列投射之光點圖案中之光點圖案匹配。亦即，在一完美眼睛中，一光點在經擷取經反射圖案中之實際位置將與對應光點之一預期位置一致，假定一完全平坦之波前。相比而言，角膜、視網膜或眼睛之形狀中之一或多者之缺陷或者其他眼睛像差使離開眼睛之波前失真。波前之此等失真繼而致使波前之對應 射線以一角度照射小透鏡陣列之一對應小透鏡，此繼而致使對應經反射光點之實際位置自經反射圖案影像中之對應預期位置移位。
一經反射光點之實際位置自預期位置之位移之量值與波前在對應小透鏡處之位置區域之斜坡成比例，同時位移之角度係基於此斜坡之方向或角度。鑒於此等原則，近眼顯示器系統可依據經反射光點之實際/預期位置位移來判定波前之形狀。然後，近眼顯示器系統可使用某些或全部經識別波前失真(亦即，波前與一平坦波前之形狀之偏差)來特性化使用者之眼睛。對使用者之眼睛之此特性化可包含(舉例而言)對使用者之眼睛中所存在之像差之識別、對使用者之眼睛之當前調節狀態之識別及諸如此類。
近眼顯示器系統利用對眼睛之特性化來控制用於待在顯示器面板處顯示之一光場圖框序列之演現程序之一或多個態樣。為了圖解說明，在某些實施例中，近眼顯示器系統控制一光場圖框之演現以補償使用者之眼睛中之經偵測像差。在此一方式中，近眼顯示器系統可為原本將出於校正目的而需要使用者穿戴眼鏡、隱形透鏡或其他校正透鏡的眼睛之各種缺陷提供規範校正，且因此消除使用者在利用近眼顯示器系統時穿戴此類校正透鏡之需要。由於近眼顯示器系統將因此不再需要在使用期間方便使用者穿戴眼鏡，因此近眼顯示器系統可實施將小透鏡陣列及顯示器面板放置成更靠近使用者之眼睛之一組態，且因此產生一較小且較輕之外觀尺寸。作為另一實例，在某些實施例中，近眼顯示器系統基於一所規定聚焦平面演現光場圖框，且近眼顯示器系統可使用對眼睛之特性化判定眼睛之當前調節狀態，且依據此當前調節狀態選擇用於演現光場圖框之適當聚焦平面，使得演現與當前調節狀態一致之光場圖框中之深度線索給使用者，且因此為使用者提供一有效身歷其境體驗。
圖1圖解說明根據至少一項實施例之併入基於眼睛特性化之圖形演現之一近眼顯示器系統100。在所繪示實例中，近眼顯示器系統100包含一運算顯示器子系統102、一演現組件104及一或多個眼睛特性化組件，諸如用於特性化一使用者之左眼之一眼睛特性化組件106及用於特性化使用者之右眼之一眼睛特性化組件108中之一者或兩者。運算顯示器子系統102包含安裝於一設備114(例如，護目鏡、眼鏡等)中之一左眼顯示器110及一右眼顯示器112，該設備分別將顯示器110、112放置於使用者之左眼及右眼前方。
簡略地參考圖2，根據至少一項實施例繪示顯示器110之一經擴大視圖。顯示器112類似地經組態。如所展示，顯示器110包含至少一個顯示器面板118以顯示一近眼光場圖框(為了易於提及，在下文中為「光場圖框」)序列或系列，該等近眼光場圖框中之每一者包括一元素影像陣列。為了易於提及，一元素影像陣列亦可在本文中被稱為一光場圖框。顯示器110進一步包含上覆於顯示器面板118之小透鏡206(通常亦被稱為「微透鏡」)之一陣列120。通常，小透鏡陣列120中之小透鏡206之數目等於一光場圖框中之元素影像之數目，但在其他實施方案中，小透鏡206之數目可少於或大於元素影像之數目。注意，儘管為了易於圖解說明圖1之實例圖解說明小透鏡206之一個5×4陣列120，但在一典型實施方案中，一光場圖框中之元素影像之數目及小透鏡陣列120中之小透鏡206之數目通常係高得多的。此外，在某些實施例中，針對顯示器110、112中之每一者實施一單獨顯示器面板118，然而在其他實施例中，左眼顯示器110及右眼顯示器112共用一單個顯示器面板118，其中顯示器面板118之左半部分用於左眼顯示器110且顯示器面板118之右半部分用於右眼顯示器112。
如圖2中所展示，顯示器面板118實施顯示器元件204(例如，「像素」)之一陣列202，其中每一顯示器元件204包括一或多個彩色子像素，諸如一組紅色、綠色、藍色及白色子像素，該等子像素在強度方面經控制使得其經組合光輸出被眼睛感知為一特定色彩之一單個「像素」。以此方式，演現組件104可控制陣列202以顯示表示一場景之影像之一光場圖框序列。
此外，如在本文中較詳細地闡述，近眼顯示器系統100透過小透鏡陣列120投射一光點圖案至使用者之一眼睛，且透過小透鏡陣列120擷取該光點圖案之反射之一影像以便針對對像差之偵測、對調節狀態之估計分析眼睛或以其他方式特性化眼睛。在至少一項實施例中，近眼顯示器系統100使用顯示器面板118投射光點圖案並擷取所得經反射光點圖案之一影像。為此，顯示器面板118亦併入一組光投射元件及一組光偵測元件，該組光投射元件在被啟動時經由小透鏡陣列120朝向使用者之眼睛投射一光點圖案，該組光偵測元件在被啟動時透過小透鏡陣列120一起擷取表示該經投射光點圖案自使用者之眼睛之反射之一影像。
在至少一項實施例中，該組光投射元件及該組光偵測元件併入於顯示器元件204之陣列202中，使得顯示器元件204之一子集併入該組光投射元件之一光投射元件且顯示器元件204之一子集併入該組光偵測元件之一光偵測元件。舉例而言，可將陣列202之顯示器元件204之一子集實施為顯示器元件204-1，如由經放大視圖208展示，該顯示器元件包含一組彩色子像素，諸如一紅色(R)子像素210、一綠色(G)子像素212、一藍色(B)子像素214及一白色(W)子像素216。此子集之顯示器元件204-1進一步包含一紅外線(IR)子像素218(一光投射元件之一項實施例)，該紅外線(IR)子 像素操作以發射IR光作為經投射光點圖案之一部分。將IR子像素218實施為(舉例而言)一IR投射垂直腔表面投射雷射(VECSEL)、一IR光投射二極體(LED)及諸如此類。某些或全部顯示器元件204-1可進一步包含一IR偵測光電二極體(PD)220(一光偵測元件之一項實施例)，該IR偵測光電二極體操作以偵測入射於顯示器面板118上之IR光，且特定而言偵測由顯示器元件204-1之IR子像素218投射之IR光在一對應光點圖案中之一反射。此外，可將陣列202之顯示器元件204之另一子集實施為顯示器元件204-2，如由經放大視圖221所展示，該顯示器元件包含一組彩色子像素，諸如紅色子像素222、綠色子像素224、226、藍色子像素228、白色子像素230及一IR光電二極體220(如光偵測元件中之一者)。注意，顯示器元件204-1及204-2中之子像素之配置及類型僅係實例，且可實施子像素之其他配置、組織及組合。
具有IR投射能力之顯示器元件204-1以一所規定圖案遍及陣列202而分散，使得當顯示器元件204-1之IR子像素218一起被啟動時，所得經投射IR光以一光點圖案(例如，經規則間隔之光點之一矩形或其他多邊形網格)而投射，在下文中參考圖5闡述此之一實例。此外，如在下文中闡述，顯示器元件204-1經配置為與小透鏡陣列120之對應小透鏡206同軸，使得經投射IR光平直向前照射對應小透鏡。具有IR偵測能力之顯示器元件204-1及204-2以准許此等顯示器元件之光電二極體220被一起啟動以擷取入射於對應於光電二極體220之位置的顯示器面板118之區域上之IR光之一方式遍及陣列202而分散，且由於進行擷取時之此入射IR光主要由離開使用者之眼睛之經投射IR光點圖案之一反射組成，因此光電二極體220一起操作以擷取此經反射IR光點圖案之一影像。如此，此影像在本文中被稱為 「經反射光點圖案影像」，在下文中參考圖5闡述此之一實例。
返回參考圖1，演現組件104包含一組(一或多個)處理器(諸如所圖解說明之中央處理單元(CPU)136及圖形處理單元(GPU)138、140)以及一或多個儲存組件(諸如系統記憶體142)，以儲存由處理器136、138、140存取並執行之軟體程式或其他可執行指令，以便操縱處理器136、138、140中之一或多者來執行各種任務，如本文中所闡述。此軟體程式包含(舉例而言)一演現程式144以及一眼睛特性化程式146，該演現程式包括用於一光場圖框演現程序之可執行指令(如在下文中闡述)，該眼睛特性化程式包括用於基於波前失真分析特性化使用者之眼睛中之一者或兩者之可執行指令(如亦在下文中闡述)。
在操作中，演現組件104自一本端或遠端內容源150接收演現資訊148，其中演現資訊148表示圖形資料、視訊資料或表示係待在顯示器子系統102處演現並顯示之影像之標的物之一物件或場景之其他資料。執行演現程式144，CPU 136使用演現資訊148來發送繪圖指令至GPU 138、140，此繼而利用繪圖指令、使用多種眾所周知之VR/AR運算/光場演現程序中之任一者來並行地演現用於在左眼顯示器110處顯示之一系列光場圖框151及用於在右眼顯示器112處顯示之一系列光場圖框153。作為此演現程序之部分，CPU 136可自一慣性管理單元(IMU)154接收姿勢資訊152，藉此姿勢資訊152表示顯示器子系統102之一姿勢且控制一或多對光場圖框151、153之演現以依據該姿勢反射物件或場景之視角。
並行地，眼睛特性化組件106、108操作以使用本文中所闡述之一波前失真分析程序來動態地特性化使用者之眼睛，且將所判定眼睛特性化提供至演現組件104分別作為左眼及右眼之眼睛特性化資訊156、158。特性 化程序包含：透過小透鏡陣列120將來自顯示器面板118之一IR光點圖案投射至使用者之眼睛；及然後經由該顯示器面板擷取經反射光圖案之一影像；判定經反射光點在經擷取影像中預期所處之位置與經反射光點在該經擷取影像中實際所處之位置之間的位移。此等位移表示表示光點圖案自使用者之眼睛之反射之波前之失真，且因此可用以識別眼睛之折射像差、一當前調節狀態或其他特性，此在眼睛特性化資訊156、158中之對應者中表示。
為了促進此操作，眼睛特性化組件106實施一控制組件160及一影像分析組件162。控制組件160操作以觸發顯示器面板118之光投射元件組之啟動以便投射光點圖案且操作以觸發顯示器面板118之光偵測元件之啟動以擷取表示經投射光點圖案之所得反射之一經反射光點圖案影像164。影像分析組件162操作以分析光點圖案影像164以特性化左眼以便產生眼睛特性化資訊156以用於演現組件104。類似地，眼睛特性化組件108經組態有一控制組件及一影像分析組件以擷取並分析一經反射光點圖案影像166以用於針對右眼產生眼睛特性化資訊158。控制組件及影像分析組件可實施為硬體、可程式化邏輯、一處理器執行軟體或其之一組合。為了圖解說明，在一項實施例中，控制組件160至少部分地在用於顯示器面板118之一顯示器控制器(未展示)之硬體中實施，然而，影像分析組件162由執行眼睛特性化程式146之一組對應指令之處理器136、138、140中之一或多者實施。
如在下文中詳細地闡述，演現組件104使用來自眼睛特性化組件106、108中之一者或兩者之眼睛特性化資訊156、158中之一者或兩者來在產生光場圖框151、153之序列時控制光場圖框演現程序之各種態樣。 為了圖解說明，眼睛特性化資訊156可包含識別左眼之一或多個像差之資訊，且因此CPU 136可控制GPU 138之操作以便調整光場圖框151之演現以補償此等像差，藉此允許使用者在使用近眼顯示器系統100時放棄穿戴校正透鏡。作為另一實例，眼睛特性化資訊156可包含識別眼睛之一當前調節狀態之資訊，且演現組件104可使用此來針對與當前調節狀態一致之一聚焦平面演現光場圖框151。
圖3圖解說明用於特性化使用者之眼睛且相應地控制一或多個演現操作之近眼顯示器系統100之操作之一實例性方法300。為了易於圖解說明，參考圖4並參考圖5來闡述方法300，圖4繪示沿著一切割線A-A(圖2)之顯示器面板118、上覆小透鏡陣列120及使用者之一面對之眼睛404之剖面圖400、402，圖5繪示經反射光點圖案影像164之一實例。此外，特定參考近眼顯示器系統100關於左眼(眼睛404)(包含眼睛特性化組件106)之操作來闡述方法300。然而，可將此相同方法應用於近眼顯示器系統100針對右眼(具有眼睛特性化組件108)之操作。
如由圖3所圖解說明，方法300包含兩個並行執行之程序：一眼睛特性化程序，其由方塊302、304、306、308表示；及一光場圖框演現程序，其由方塊310表示。首先轉向眼睛特性化程序，在方塊302處，控制組件160控制顯示器面板118以觸發顯示器面板118之光電二極體220(包含圖4中所圖解說明之光電二極體220-1、220-2、220-3、220-4)以便以經由小透鏡陣列120朝向眼睛404引導之一光點圖案發射IR光，如由圖4之剖面圖400所圖解說明。與觸發光點圖案之發射同時，在方塊304處，控制組件160啟動顯示器面板118之光電二極體220(作為一組光偵測元件)以擷取表示經投射光點圖案離開眼睛404且經由小透鏡陣列120聚焦於顯示器面 板118之反射之經反射光點圖案影像164。
如由剖面圖400所圖解說明，用於光點圖案產生之光電二極體220中之每一者通常與一對應小透鏡206之光學軸係實質上同軸的(例如，光電二極體220-1與圖4中之小透鏡206-1之光學軸406同軸)，使得由光電二極體220投射之IR光平直向前照射對應小透鏡206，且因此作為一實質上平坦之波前408自小透鏡陣列120朝向眼睛404傳輸(亦即，光點圖案在無實質失真之情況下朝向眼睛404傳輸)。
如由剖面圖402所圖解說明，經如此傳輸之光點圖案照射瞳孔、透鏡、角膜、視網膜及眼睛404之其他結構且作為由波前410表示之一經反射光點圖案朝向小透鏡陣列120及顯示器面板向後反射。在一理想眼睛中，像差之缺乏將致使經反射光點圖案不存在任何失真，且因此波前410將係未失真的。在此一情形中，入射於小透鏡陣列120上之一未失真之經反射波前將致使表示經反射光圖案內之光點之光射線在預期位置中照射顯示器面板118。為了圖解說明，假定眼睛404係無像差之一理想化眼睛，經反射波前410將係未失真的，且因此致使射線411、412、413、414(表示經反射光點圖案中之對應光點)分別在預期位置421、422、423、424處照射顯示器面板118。
然而，在一真實眼睛(諸如眼睛404)中，眼睛中之像差導致經反射光點圖案之局部化失真；亦即，眼睛404之像差使經反射波前410失真。經反射波前410中之局部失真致使波前410之失真區域以一角度(而非平直向前)照射對應小透鏡206，且所得射線在與預期位置不同之位置處照射顯示器面板118。為了圖解說明，在剖面圖402中，眼睛404具有像差，該等像差使波前410失真使得由小透鏡陣列120傳輸之實際射線431、432、433、 434在實際位置441、442、443、444處照射顯示器面板118，該等實際位置可與對應射線之預期位置不同。由於小透鏡陣列120係一瞳孔共軛平面，因此波前410之形狀表示眼睛404之瞳孔之形狀，且經擷取經反射光點圖案影像中之一光點之實際位置與預期位置之間的線性位移之量值與照射對應小透鏡206之波前410之局部區域之斜坡成比例，同時線性位移之方向表示波前410之局部區域之斜坡之方向。波前410之局部區域之斜坡之量值及方向繼而表示眼睛404之特性，包含眼睛404之任一所存在之折射像差以及當前調節狀態。
為了圖解說明，圖5圖解說明經反射光點圖案影像164之一實例。如所展示，經反射光點圖案影像164包括光點(例如，光點504)之一陣列502，每一光點反映在光點圖案之傳輸(在方塊302處)期間自眼睛404反射之一經偵測光點之一實際位置。出於比較之目的，在眼睛404中不存在任何像差(亦即，假定眼睛404係一理想眼睛)之情況下，圖5亦包含光點之預期位置(例如，預期位置508)之一陣列506。如所圖解說明，假定顯示器面板118之光投射元件陣列經配置以便以一規則、固定間隔之圖案投射一光點圖案，則預期位置之陣列506將同樣表示一規則、固定間隔之圖案。然而，由於使用者之眼睛404不可能係一理想眼睛，因此使用者之眼睛404之像差將使經反射波前410失真，且因此致使經擷取光點圖案影像164中之光點中之至少某些光點之實際位置自其預期位置位移。為了參考經擴展視圖510進行圖解說明，眼睛404之一像差導致波前410之一局部失真，此繼而致使一對應經反射光點在一實際位置512處對準，該實際位置自其預期位置514位移達一位移516(亦被標示為位移D(K1))。作為另一實例，如由經擴展視圖520圖解說明，眼睛404之相同或不同像差導致波前410之 一局部失真，此致使一經反射光點在一實際位置522處對準，該實際位置自其預期位置524位移達一位移526(亦被標示為位移D(K2))。
如此，經反射光點圖案影像164中之經反射光點之實際位置及其自其對應預期位置之位移表示眼睛404之某些特性。因此，在方塊308處，影像分析組件162分析經反射光點圖案影像164中所擷取之經反射光點之實際位置與預期位置之間的位移以特性化眼睛404且將表示所判定眼睛特性化之資料作為眼睛特性化資訊156提供至演現組件104。
可判定眼睛404之多種特性中之任一者，且可採用多種波前失真分析程序中之任一者來判定此等特性。為了圖解說明，由於經反射光點圖案影像164可能類似於由一習用夏克-哈特曼(Shack-Hartmann)波前感測器擷取之一失真波前，因此可類似地調適並採用使用此等習用夏克-哈特曼波前感測器所通常應用之多種眾所周知之眼睛像差計技術中之任一者(舉例而言，全眼科分析系統或COAS技術)來特性化眼睛404之低階及/或高階像差。為了圖解說明，如所提及，光點之位移與波前誤差之局部梯度直接相關(delta_x=f*[dW/dx])，且因此藉由空間上對光點-位移映射進行積分，影像分析組件162可將波前誤差W回復達到某一恆定偏移量(其係無關緊要的)。波前誤差之多項式展開中之項對應於不同像差(例如散焦、散光、球面等)。因此，影像分析組件164可將一多項式擬合至經測量波前誤差以判定不同像差之係數或相對權重或編碼光場演現中之波前誤差之倒數。
作為另一實例，影像分析組件162可分析經反射光點圖案影像164中之位移以判定眼睛404之當前調節狀態。與以上段落中所概述之像差偵測方法類似，調節狀態係波前誤差之二次項(亦即W=W_defocus*r^2)。如 此，散光允許沿著x、y方向之一不同量之散焦或二次項係數。
可以多種方式中之任一者觸發由方塊302、304、306、308表示之眼睛特性化程序。舉例而言，眼睛特性化程序可在開始時觸發一次以特性化使用者之眼睛中之像差，且可固定所得眼睛特性化資訊，直到近眼顯示器系統100被重設或另一使用者開始使用近眼顯示器系統100為止。在其他實施例中，可在一週期性基礎或其他基礎上重複眼睛特性化程序，尤其係在其中特性化包含判定眼睛之當前調節狀態或預期隨某一頻率變化之眼睛之其他參數之實施方案中。
與眼睛特性化程序並行地，演現組件104執行一演現程序(由方塊310表示)，藉此產生用於在顯示器面板118處顯示給左眼之一系列光場圖框151(且類似地，產生用於顯示給右眼之一系列光場圖框153)。針對待產生並顯示之一光場圖框，演現組件104將待顯示給使用者之對應眼睛之影像內容識別為一光場圖框。在至少一項實施例中，演現組件104接收表示來自各種姿勢相關之感測器(諸如一陀螺儀、加速度計、磁強計、全球定位系統(GPS)感測器及諸如此類)之資料之姿勢資訊152，且依據姿勢資訊152判定用以將顯示器110、112靠近使用者之眼睛而安裝之設備114(例如，HMD)之一姿勢。依據此姿勢，執行演現程式144之CPU 136可判定標的物場景或物件之一對應當前視角，且依據此視角以及作為演現資訊148而提供之對該場景或物件之圖形及空間說明來判定待針對該姿勢而演現之影像。
在至少一項實施例中，處理器136、138、140基於在眼睛特性化程序之當前反覆之方塊308處產生之眼睛特性化資訊控制此演現程序。亦即，基於使用者之眼睛之一或多個經識別特性藉由演現組件104而演現光場圖 框。為了圖解說明，當眼睛404之眼睛特性化資訊156包含表示眼睛404之一經識別像差之資料時，演現組件104可調整一光場圖框151之演現使得其補償經識別像差。為了圖解說明，在量測波前誤差(例如散焦、調節狀態)之後，可由影像分析組件164(dx=d_lens*f_lens*Phi，其中W_defocus=Phi/2)判定包括光場演現之元素影像之相對移位之間的關係且在演現光場圖框時由演現組件104實施該關係。更直接地，演現組件104可在光場圖框演現期間編碼波前誤差之倒數。
如上文所提及，眼睛特性化資訊可包含眼睛404之當前調節狀態。此當前調節狀態反映眼睛之光學系統之當前光學功率，且因此表示眼睛404之當前焦距。顯示給眼睛404之一光場影像之聚焦平面與此焦距之間的一失配可致使人類視覺系統花費相當大的認知努力來解決此失配或衝突，此繼而可使使用者疲勞。因此，為了使此等調節/聚焦平面失配最小化，在至少一項實施例中，演現組件104利用眼睛404之當前調節狀態(如眼睛特性化資訊156中所表示)來識別與當前調節狀態一致之一焦距/聚焦平面且基於該經識別焦距/聚焦平面演現下一組(一或多個)光場圖框151，且因此使經顯示影像與眼睛404之當前焦距較佳地匹配，且藉此減少使用者在觀看該顯示器影像時所花費之認知努力。為了圖解說明，存在至少兩種情況，其中瞭解眼睛之調節狀態可促進光場演現。首先，光場顯示器具有其可同時表示之調節狀態之一動態範圍，該動態範圍由小透鏡之景深給出，dPhi=2c/(d_lens*f_lens)，其中c係系統之最小光點/像素大小。在此深度動態範圍與橫向空間解析度之間存在一折衷，因此調節範圍無法任意地放大。可使用變焦距技術(例如，LC光學路徑差調變器、透鏡-顯示器距離調變)將受限動態範圍移位至使用者正企圖聚焦之平面。第二種情況係關 於用於演現光場影像之運算帶寬要求，運算與所表示之N個平面之數量線性地成比例，此對於行動平台或具有相對有限運算資源之其他系統係成問題的。因此，演現組件104可在一單個z平面處演現每一光場圖框，且使用所量測調節狀態來單獨地或與一變焦距模態合作地將光場演現移位至彼平面。
在某些實施例中，上文所闡述之技術之某些態樣可由一處理系統執行軟體之一或多個處理器實施。該軟體包括儲存於或以其他方式有形地體現於一非暫時性電腦可讀儲存媒體上之一或多組可執行指令。該軟體可包含在由一或多個處理器執行時操縱該一或多個處理器以執行上文所闡述之技術之一或多項態樣之指令及某些資料。非暫時性電腦可讀儲存媒體可包含(舉例而言)一磁碟或光碟儲存裝置、諸如快閃記憶體、一快取記憶體、隨機存取記憶體(RAM)或其他一或多個非揮發性記憶體裝置等固態儲存裝置及諸如此類。儲存於非暫時性電腦可讀儲存媒體上之可執行指令可呈源碼、匯編語言碼、目標碼或由一或多個處理器解釋或可以其他方式執行之其他指令格式之形式。
一電腦可讀儲存媒體可包含在使用期間可由一電腦系統存取以提供指令及/或資料至電腦系統之任一儲存媒體或儲存媒體之組合。此儲存媒體可包含但不限於光學媒體(例如，光碟(CD)、數位多功能碟片(DVD)、藍光碟片)、磁性媒體(例如，軟碟、磁帶或磁性硬碟機)、揮發性記憶體(例如，隨機存取記憶體(RAM)或快取記憶體)、非揮發性記憶體(例如，唯讀記憶體(ROM)或快閃記憶體)或基於微機電系統(MEMS)之儲存媒體。電腦可讀儲存媒體可嵌入運算系統(例如，系統RAM或ROM)中，固定地附接至運算系統(例如，一磁性硬碟機)，可移除地附接至運算系統 (例如，一光碟或基於通用串列匯流排(USB)之快閃記憶體)，或經由一有線或無線網路(例如，網路可存取儲存(NAS))而耦合至電腦系統。
注意，並非需要上文在大體說明中所闡述之全部活動或元件，可不需要一特定活動或裝置之一部分，且可執行除所闡述之彼等活動或元件以外的一或多個其他活動或所包含之元件。又進一步地，列出活動之次序未必係執行活動之次序。而且，已參考特定實施例闡述了概念。然而，熟習此項技術者瞭解，可在不背離如下文申請專利範圍中所陳述之本發明之範疇之情況下作出各種修改及改變。因此，應將本說明書及圖視為一說明性意義而非一限定性意義，且所有此等修改皆意欲包含於本發明之範疇內。
上文已關於特定實施例闡述了益處、其他優點及問題之解決方案。然而，該等益處、優點及問題之解決方案以及可致使任一益處、優點或解決方案出現或變得更突出之任一(任何)特徵皆不應被視為任何或所有請求項之一關鍵、必需或基本特徵。此外，上文所揭示之特定實施例僅係圖解說明性的，此乃因受益於本文中之教示之熟習此項技術者瞭解，可以不同但等效之方式修改並實踐所揭示之標的物。除了如下文申請專利範圍中所闡述以外，本文中所展示之構造或涉及之細節不受任何限制。因此，顯而易見可更改或修改上文所揭示之特定實施例，且所有此等變化被視為在所揭示標的物之範疇內。因此，本文中所尋求之保護如下文申請專利範圍中所陳述。

Claims (20)

  1. 一種近眼顯示器系統，其包括： 一小透鏡陣列； 一顯示器面板，其面向該小透鏡陣列，該顯示器面板包括： 一光投射元件陣列，其中每一光投射元件與該小透鏡陣列之一對應小透鏡之一軸同軸； 一光偵測元件陣列；及 一子像素元件陣列； 一控制組件，其耦合至該顯示器面板且經組態以啟動該光投射元件陣列以朝向一使用者之一眼睛投射一光點圖案且經組態以控制該光偵測元件陣列以擷取表示該經投射光點圖案自該眼睛之一反射之一影像；以及 一分析組件，其用以判定該經擷取影像中之光點之至少一子集之預期位置與實際位置之間的位移並基於該等位移特性化該眼睛。
  2. 如請求項1之近眼顯示器系統，其中該分析組件用以藉由基於該等位移偵測該眼睛中之折射像差來特性化該眼睛。
  3. 如請求項1之近眼顯示器系統，其中該分析組件用以藉由基於該等位移偵測該眼睛之一調節狀態來特性化該眼睛。
  4. 如請求項1之近眼顯示器系統，其進一步包括： 一演現組件，其耦合至該顯示器面板且經組態以演現一光場圖框序列以用於經由該子像素元件陣列顯示給該使用者。
  5. 如請求項4之近眼顯示器系統，其中該演現組件用以基於對該眼睛之特性化調整用於該光場圖框序列之一演現程序之至少一項態樣。
  6. 如請求項5之近眼顯示器系統，其中： 該分析組件用以藉由基於該等位移偵測該眼睛之像差來特性化該眼睛；且 該演現組件用以演現該光場圖框序列以便補償該等經偵測像差。
  7. 如請求項5之近眼顯示器系統，其中： 該分析組件用以藉由基於該等位移偵測該眼睛之一當前調節狀態來特性化該眼睛；且 該演現組件用以基於依據該當前調節狀態而判定之一聚焦平面來演現該光場圖框序列。
  8. 如請求項1之近眼顯示器系統，其中： 該光投射元件陣列經組態以將該光點圖案投射為一紅外線光點圖案。
  9. 如請求項8之近眼顯示器系統，其中該顯示器面板包括一顯示器元件陣列，每一顯示器元件包括該子像素元件陣列之至少一個子像素元件，該顯示器元件陣列之至少一第一子集之每一顯示器元件進一步包含該光偵測元件陣列之一光偵測元件，且該顯示器元件陣列之至少一第二子集之每一顯示器元件進一步包含該光投射元件陣列之一光投射元件。
  10. 一種在一近眼顯示器系統中之方法，其包括： 透過一小透鏡陣列自一顯示器面板之一光投射元件陣列朝向一使用者之一眼睛投射一光點圖案； 經由該顯示器面板之一光偵測元件陣列而擷取表示該光點圖案自該眼睛之一反射之一影像； 針對該影像之光點之至少一子集之每一光點而判定該經擷取影像中之該光點之一預期位置與一實際位置之間的一位移；及 基於該等光點之該子集之該等位移判定該眼睛之一或多個特性。
  11. 如請求項10之方法，其中判定該眼睛之一或多個特性包括基於該等位移偵測該眼睛中之折射像差。
  12. 如請求項10之方法，其中判定該眼睛之一或多個特性包括基於該等位移偵測該眼睛之一調節狀態。
  13. 如請求項10之方法，其進一步包括： 演現一光場圖框序列以用於經由該顯示器面板顯示給該使用者。
  14. 如請求項13之方法，其進一步包括： 基於對該眼睛之特性化調整該光場圖框序列之該演現。
  15. 如請求項14之方法，其中： 判定該眼睛之一或多個特性包括基於該等位移偵測該眼睛之像差；且 調整該演現包括控制該光場圖框序列之該演現以便補償該等經偵測像差。
  16. 如請求項14之方法，其中： 判定該眼睛之一或多個特性包括基於該等位移偵測該眼睛之一當前調節狀態；且 調整該演現包括基於依據該當前調節狀態而判定之一聚焦平面來控制該光場圖框序列之該演現。
  17. 如請求項10之方法，其中： 投射該光點圖案包括投射一紅外線光點圖案。
  18. 一種處理系統，其包括： 一處理器；及 一記憶體，其用以儲存表示可執行指令之資料，該等可執行指令經組態以操縱該處理器以： 接收表示一光點圖案自一使用者之一眼睛之一反射之一影像； 判定該圖案之該等光點之至少一子集之預期位置與實際位置之間的位移； 基於該等位移判定該眼睛之一或多個特性；且 基於該眼睛之該一或多個特性演現一光場圖框序列以用於在一近眼顯示器面板處顯示。
  19. 如請求項18之處理系統，其中： 該眼睛之該一或多個特性包括該眼睛之一或多個折射像差；且 演現該光場圖框序列以補償該一或多個折射像差。
  20. 如請求項18之處理系統，其中： 該眼睛之該一或多個特性包括該眼睛之一當前調節狀態；且 針對基於該當前調節狀態之一聚焦平面而演現該光場圖框序列。
TW107109327A 2017-06-15 2018-03-19 近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統 TWI661229B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762520295P 2017-06-15 2017-06-15
US62/520,295 2017-06-15
US15/917,375 2018-03-09
US15/917,375 US10629105B2 (en) 2017-06-15 2018-03-09 Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization

Publications (2)

Publication Number Publication Date
TW201905537A TW201905537A (zh) 2019-02-01
TWI661229B true TWI661229B (zh) 2019-06-01

Family

ID=61906844

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109327A TWI661229B (zh) 2017-06-15 2018-03-19 近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統

Country Status (8)

Country Link
US (1) US10629105B2 (zh)
EP (1) EP3485632B1 (zh)
JP (1) JP6661832B2 (zh)
KR (1) KR102121513B1 (zh)
CN (1) CN109565554B (zh)
DE (1) DE202018101818U1 (zh)
TW (1) TWI661229B (zh)
WO (1) WO2018231303A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN109633906A (zh) * 2019-01-02 2019-04-16 京东方科技集团股份有限公司 虚拟现实设备及其图像校正方法
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
CN113966481B (zh) * 2019-03-15 2024-06-04 里尔菲克逊实验室有限责任公司 一种针对观察者对图像进行方向性控制的显示器
WO2020190313A1 (en) * 2019-03-20 2020-09-24 Ward Matthew E Mems-driven optical package with micro-led array
KR102099232B1 (ko) * 2019-07-03 2020-04-08 주식회사 레티널 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치
KR20220030774A (ko) * 2020-09-03 2022-03-11 삼성전자주식회사 전자 장치 및 사용자의 시선 정보 획득 방법
CN114489310A (zh) * 2020-11-12 2022-05-13 海信视像科技股份有限公司 虚拟现实设备以及手柄定位方法
CN114545624A (zh) * 2020-11-25 2022-05-27 华为技术有限公司 近眼显示系统及近眼显示方法
US11950000B2 (en) * 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487838B2 (en) * 2011-08-29 2013-07-16 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US20160091720A1 (en) * 2014-02-21 2016-03-31 Sony Computer Entertainment Inc. Realtime lens aberration correction from eye tracking
JP2016528761A (ja) * 2013-06-08 2016-09-15 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイによって与えられる表示の光学表現をユーザの光学的処方に基づいてカスタマイズするシステム及び方法
TW201643506A (zh) * 2015-06-15 2016-12-16 三星電子股份有限公司 頭戴式顯示裝置
TWI565971B (zh) * 2012-12-19 2017-01-11 輝達公司 近眼微透鏡陣列顯示器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
FI114752B (fi) 2003-05-30 2004-12-15 Nokia Corp Valosähköinen elementti ja sellaisen käsittävä päätelaite
US7475989B2 (en) 2006-03-14 2009-01-13 Amo Manufacturing Usa, Llc Shack-Hartmann based integrated autorefraction and wavefront measurements of the eye
US8665202B2 (en) 2009-05-25 2014-03-04 Sharp Kabushiki Kaisha Active matrix substrate, liquid crystal panel, liquid crystal display device, and television receiver
US9024872B2 (en) * 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
KR101852477B1 (ko) 2011-05-31 2018-06-07 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 양방향 디스플레이 및 이의 트리거링
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
CN103376551B (zh) 2012-04-23 2017-04-19 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
WO2015066154A1 (en) * 2013-10-31 2015-05-07 Washington State University Prokaryotic desaturases modified by directed evolution to reduce saturated and increase unsaturated fatty acids in eukaryotes
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9993335B2 (en) 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
IL247588B2 (en) * 2014-03-05 2023-12-01 Univ Arizona A three-dimensional wearable display for augmented reality with a focus that can be changed and/or object recognition
CN104914575B (zh) 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN105717640B (zh) 2014-12-05 2018-03-30 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
US9625989B2 (en) 2015-04-01 2017-04-18 Fove, Inc. Head mounted display
US10152906B2 (en) 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10451876B2 (en) 2015-08-03 2019-10-22 Facebook Technologies, Llc Enhanced visual perception through distance-based ocular projection
CN105974589B (zh) * 2016-06-24 2019-08-16 上海彼茨信息科技有限公司 一种头戴式护目镜的近眼式显示器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487838B2 (en) * 2011-08-29 2013-07-16 John R. Lewis Gaze detection in a see-through, near-eye, mixed reality display
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
TWI565971B (zh) * 2012-12-19 2017-01-11 輝達公司 近眼微透鏡陣列顯示器
JP2016528761A (ja) * 2013-06-08 2016-09-15 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイによって与えられる表示の光学表現をユーザの光学的処方に基づいてカスタマイズするシステム及び方法
US20160091720A1 (en) * 2014-02-21 2016-03-31 Sony Computer Entertainment Inc. Realtime lens aberration correction from eye tracking
TW201643506A (zh) * 2015-06-15 2016-12-16 三星電子股份有限公司 頭戴式顯示裝置

Also Published As

Publication number Publication date
JP2020503905A (ja) 2020-02-06
WO2018231303A1 (en) 2018-12-20
KR102121513B1 (ko) 2020-06-10
EP3485632A1 (en) 2019-05-22
US10629105B2 (en) 2020-04-21
CN109565554A (zh) 2019-04-02
CN109565554B (zh) 2021-05-25
US20180366045A1 (en) 2018-12-20
EP3485632B1 (en) 2019-10-02
TW201905537A (zh) 2019-02-01
JP6661832B2 (ja) 2020-03-11
DE202018101818U1 (de) 2018-07-09
KR20190032572A (ko) 2019-03-27

Similar Documents

Publication Publication Date Title
TWI661229B (zh) 近眼顯示器系統、用於近眼顯示器系統中之方法及處理系統
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
US10379356B2 (en) Accommodation based optical correction
KR102483838B1 (ko) Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US10013055B2 (en) Eye tracking using optical flow
US11733524B1 (en) Depth camera assembly based on near infra-red illuminator
KR102231910B1 (ko) 초점 이동에 반응하는 입체적 디스플레이
US20180084232A1 (en) Optical See-Through Head Worn Display
JP5571864B1 (ja) 光学焦点の遠隔測定のためのシステム及び方法
US9961335B2 (en) Pickup of objects in three-dimensional display
US10685431B1 (en) Optical measurement system
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
CN109557669B (zh) 头戴显示设备的图像漂移量的确定方法及头戴显示设备
US10656707B1 (en) Wavefront sensing in a head mounted display
KR102389330B1 (ko) 확장된 수용 범위 조정이 가능한 근거리 안구 디스플레이
CN107076984A (zh) 虚像生成器
CN110914786A (zh) 用于在外部场景与虚拟图像之间配准的方法和系统
TW202030453A (zh) 基於垂直腔表面發射雷射的投影機
US9946343B2 (en) Motion tracker with an array of distinct light sources
CN115280218A (zh) 高分辨率液晶显示器
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
US10412363B1 (en) Light-field display with micro-lens alignment adapted color and brightness
EP3961311A1 (en) Holographic display apparatus and operating method thereof
Miyanishi et al. Observed optical resolution of light field display: Empirical and simulation results
JP2015201771A (ja) 投射型表示装置および制御方法