TWI681663B - 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器 - Google Patents

具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器 Download PDF

Info

Publication number
TWI681663B
TWI681663B TW107105857A TW107105857A TWI681663B TW I681663 B TWI681663 B TW I681663B TW 107105857 A TW107105857 A TW 107105857A TW 107105857 A TW107105857 A TW 107105857A TW I681663 B TWI681663 B TW I681663B
Authority
TW
Taiwan
Prior art keywords
eye
user
eyes
displacement
array
Prior art date
Application number
TW107105857A
Other languages
English (en)
Other versions
TW201902212A (zh
Inventor
約翰 Ｄ 派瑞奧特
派翠克 魯爾
Original Assignee
美商谷歌有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商谷歌有限責任公司 filed Critical 美商谷歌有限責任公司
Publication of TW201902212A publication Critical patent/TW201902212A/zh
Application granted granted Critical
Publication of TWI681663B publication Critical patent/TWI681663B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明揭示一種近眼顯示器系統，其包含顯示包括一元素影像陣列之一近眼光場圖框之一顯示器面板，及追蹤一使用者眼睛之一姿勢之一眼睛追蹤組件。該系統進一步包含一演現組件，其基於該使用者眼睛之該姿勢，將該元素影像陣列定位於該近眼光場圖框內。一種操作該近眼顯示器系統之方法包含：使用該眼睛追蹤組件來判定該使用者眼睛之一第一姿勢；及基於該使用者眼睛之該第一姿勢來判定形成一近眼光場圖框之一元素影像陣列之一位移向量。該方法進一步包含在基於該位移向量之該近眼光場圖框內之一位置處，演現該元素影像陣列。

Description

具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
本發明大體係關於近眼顯示器，且更特定言之，係關於近眼顯示器中之有效眼動範圍大小之改良。
頭戴顯示裝置(HMD)及其他近眼顯示器系統可利用一近眼光場顯示器或其他運算顯示器來提供三維(3D)圖形之有效顯示。一般言之，近眼光場顯示器採用一或多個顯示器面板及上覆一或多個顯示器面板之小透鏡、針孔或其他光學特徵部之一陣列。一演現系統演現一元素影像陣列，其中各元素影像表示來自一對應透視或虛擬攝影機位置之一物件或場景之一影像或視圖。此等近眼光場顯示器通常展現眼動範圍大小與視域(FOV)之間的一權衡，此係由於眼動範圍大小與適眼距對小透鏡焦距之比率成比例。因此，為了提供滿意的FOV，採用一近眼光場顯示器之一習知近眼顯示器系統通常具有一相對有限之眼動範圍，鑒於潛在使用者之群集中之瞳孔間距離(IPD)之可變性及一使用者之眼睛相對於顯示器之精確定位中之可變性，此通常係有問題的，該等可變性之任一者可導致一使用者之瞳孔落至眼動範圍邊界外且因此導致遮擋意欲顯示給使用者之眼睛之影像之至少一部分。
100‧‧‧近眼顯示器系統
102‧‧‧運算顯示器子系統
104‧‧‧演現組件
106‧‧‧眼睛追蹤組件
108‧‧‧眼睛追蹤組件
112‧‧‧右眼顯示器
114‧‧‧設備
116‧‧‧視圖
118‧‧‧顯示器面板
120‧‧‧陣列/光場圖框
122‧‧‧元素影像
124‧‧‧小透鏡陣列
126‧‧‧小透鏡
126-1‧‧‧小透鏡
126-2‧‧‧小透鏡
126-3‧‧‧小透鏡
128‧‧‧橫截面
130‧‧‧顯示器表面
132‧‧‧眼睛
136‧‧‧中央處理單元(CPU)
138‧‧‧圖形處理單元(GPU)
140‧‧‧圖形處理單元(GPU)
142‧‧‧系統記憶體
144‧‧‧演現程式
146‧‧‧眼睛追蹤程式
148‧‧‧演現資訊
150‧‧‧姿勢資訊
151‧‧‧光場圖框
153‧‧‧光場圖框
154‧‧‧慣性量測單元(IMU)
156‧‧‧眼睛影像資訊
200‧‧‧方法
202‧‧‧方塊
204‧‧‧方塊
206‧‧‧方塊
208‧‧‧方塊
210‧‧‧方塊
300‧‧‧橫截面視圖
302‧‧‧預設姿勢
304‧‧‧使用者眼睛
306‧‧‧中心軸
308‧‧‧區
308'‧‧‧位移部分
309‧‧‧區
309'‧‧‧位移部分
310‧‧‧區
310'‧‧‧位移部分
312‧‧‧預設位置
314‧‧‧垂直線
316‧‧‧姿勢
318‧‧‧姿勢
320‧‧‧橫截面視圖
322‧‧‧箭頭
324‧‧‧箭頭
326‧‧‧經位移位置
328‧‧‧垂直線
330‧‧‧姿勢
332‧‧‧姿勢
402‧‧‧視圖
404‧‧‧眼睛
406‧‧‧陣列
408‧‧‧元素影像
410‧‧‧視圖
412‧‧‧視圖
414‧‧‧視圖
500‧‧‧橫截面視圖
502‧‧‧IR照明器
504‧‧‧影像擷取總成
506‧‧‧成像攝影機
508‧‧‧透鏡
510‧‧‧眼睛
600‧‧‧橫截面視圖
602‧‧‧IR照明器
604‧‧‧IR照明器
608‧‧‧反射元件
610‧‧‧眼睛
612‧‧‧影像擷取總成
614‧‧‧成像攝影機
616‧‧‧透鏡
700‧‧‧橫截面視圖
702‧‧‧IR照明器
704‧‧‧IR照明器
706‧‧‧影像擷取總成
708‧‧‧成像攝影機
710‧‧‧眼睛
712‧‧‧透鏡
800‧‧‧橫截面
818‧‧‧拼接顯示器面板
900‧‧‧橫截面視圖
902‧‧‧眼睛
904‧‧‧合成虛擬影像
906‧‧‧區
907‧‧‧區
908‧‧‧區
914‧‧‧區
915‧‧‧區
916‧‧‧區
917‧‧‧子區
918‧‧‧子區
919‧‧‧子區
熟習此項技術者藉由參考隨附圖式可更好理解本發明，且可明白本發明之數個特徵及優勢。相同參考符號在不同圖式中之使用指示類似或相同項目。
圖1係繪示根據本發明之一些實施例之採用眼睛追蹤及對應元素影像位移來提供動態眼動範圍調整之一近眼顯示器系統之一圖。
圖2係繪示根據一些實施例之用於圖1之近眼顯示器系統中之動態眼動範圍調整之方法之一流程圖。
圖3係繪示根據一些實施例之基於眼睛姿勢之動態眼動範圍調整之一實例之一圖。
圖4係繪示根據一些實施例之基於眼睛姿勢之動態眼動範圍調整之額外實例之一圖。
圖5係繪示在一近眼顯示器系統中用於眼睛追蹤之一習知傾斜角組態之一圖。
圖6係繪示根據一些實施例之一近眼顯示器系統中之一例示性眼睛追蹤組件之一圖。
圖7係繪示根據一些實施例之一近眼顯示器系統中之另一例示性眼睛追蹤組件之一圖。
圖8係繪示根據一些實施例之圖7之一眼睛追蹤組件之組態之一變體之一圖。
圖9係繪示根據一些實施例之用於補償歸因於一眼睛追蹤組件之一組件之一近眼光場顯示器中之一模糊元素影像之一方法之一圖。
圖1至圖9繪示用於在一近眼顯示器系統中基於使用者眼睛姿勢進行動態眼動範圍調整之例示性方法及系統。在至少一項實施例中，近眼顯示器系統採用一運算顯示器來將影像之近眼光場圖框顯示給一使用者，以為使用者提供一沉浸式虛擬實境(VR)或強化實境(AR)體驗。各近眼光場圖框由一元素影像陣列構成，其中各元素影像表示來自一不同對應觀點之一物件或場景之一視圖。一小透鏡陣列上覆顯示器面板且操作以將元素影像陣列作為一單一自動立體影像演現給使用者。
由於運算顯示器之眼動範圍尺寸或「大小」與適眼距對小透鏡焦距之比率成比例，故增大眼動範圍大小之一嘗試一般導致視域(FOV)減小，且反之亦然。為在不相應降低FOV的情況下提供經改良之眼動範圍大小，在至少一項實施例中，本文描述之近眼顯示器系統利用一動態眼動範圍技術，其中一眼睛追蹤組件用於判定使用者之眼睛之姿勢(位置及/或旋轉)，且基於此姿勢，判定元素影像之陣列相對於將該等影像併入其中之近眼光場圖框(即，相對於顯示器面板之顯示表面)位移之一位移向量，以有效地位移運算顯示器之眼動範圍以適應使用者之眼睛之姿勢。舉一實例而言，可針對使用者眼睛之一預設假定姿勢來指定顯示器面板上之一元素影像陣列之一預設位置。然而，若使用者眼睛偏離此預設姿勢，則近眼顯示器系統藉由引入以下之一者或兩者來補償偏離姿勢：(1)元素影像陣列之位置自預設位置之一對應位移以補償使用者眼睛之姿勢在平行於顯示器面板之平面(即，X-Y平面)中之一位移或(2)元素影像陣列之大小中之一對應按比例調整以補償使用者眼睛之姿勢沿著垂直於顯示器面板之軸(即，Z軸)之一位移。在元素影像陣列之位置位移及/或元素影像之按比例調整經由小 透鏡陣列使元素影像之投射方向有效位移時，元素影像陣列之位置位移使眼動範圍有效位移。因此，回應於使用者眼睛之姿勢中之位移動態位移/按比例調整元素影像有效提供一「更大」之眼動範圍，而不需要相應降低近眼顯示器系統之FOV。
圖1繪示根據至少一項實施例之併入動態眼動範圍位置調整之一近眼顯示器系統100。在所描繪之實例中，近眼顯示器系統100包含一運算顯示器子系統102、一演現組件104及一或多個眼睛追蹤組件，諸如用於追蹤一使用者之左眼之一眼睛追蹤組件106及用於追蹤使用者之右眼之一眼睛追蹤組件108之一者或兩者。運算顯示器子系統102包含安裝於一設備114(例如，護目鏡、眼鏡等)中之一左眼顯示器110及一右眼顯示器112，設備114將顯示器110、112分別放置在使用者之左眼及右眼前部。
如由視圖116展示，顯示器110、112之各者包含顯示一序列或一連串近眼光場圖框(在下文中，為便於參考，稱為「光場圖框」)之至少一個顯示器面板118，其等之各者包括元素影像122之一陣列120。為便於參考，元素影像122之一陣列120亦可在本文中稱為一光場圖框120。顯示器110、112之各者進一步包含上覆顯示器面板118之小透鏡126(通常亦稱作「微透鏡」)之一陣列124。通常，小透鏡陣列124中之小透鏡126之數量等於陣列120中之元素影像122之數量，但在其他實施方案中，小透鏡126之數量可小於或大於元素影像122之數量。注意，雖然為便於繪示，圖1之實例繪示元素影像122之一5x4陣列及小透鏡126之一對應5x4陣列120，但在一典型實施方案中，一光場圖框120中之元素影像122之數量及小透鏡陣列124中之小透鏡126之數量通常大得多。此外，在一些實施例中，針對顯示器110、112之各者實施一分開之顯示器面板118，而在其他實施 例中，左眼顯示器110及右眼顯示器112共用一單一顯示器面板118，其中顯示器面板118之左半體用於左眼顯示器110且顯示器面板118之右半體用於右眼顯示器112。
圖1之橫截面128描繪沿著上覆顯示器面板118之小透鏡陣列124之線A-A之一橫截面視圖，使得小透鏡陣列124上覆顯示器面板118之顯示器表面130以安置於顯示器表面130與使用者之對應眼睛132之間。在此組態中，各小透鏡126將顯示器表面130之一對應區聚焦於眼睛之瞳孔134上，其中各子區至少部分與一或多個相鄰區重疊。因此，在此等運算顯示器組態中，當元素影像122之一陣列120在顯示器面板118之顯示器表面130處顯示且接著由眼睛132透過小透鏡陣列124觀看時，使用者將元素影像122之陣列120感知為一場景之一單一影像。因此，當針對使用者之左眼及右眼兩者(其中在其等之間實施恰當的視差)並行執行此程序時，結果係為使用者演現具有通常由此等運算顯示器提供之相對寬之FOV及淺形成因數之自動立體三維(3D)影像。
如亦在圖1中展示，演現組件104包含一組一或多個處理器(諸如所繪示之中央處理單元(CPU)136及圖形處理單元(GPU)138、140)及一或多個儲存組件(諸如系統記憶體142)，該等儲存組件儲存由處理器136、138、140存取且執行之軟體程式或其他可執行指令以操作處理器136、138、140之一或多者執行本文描述之各種任務。此等軟體程式包含(例如)演現程式144(包括一光場圖框演現程序之可執行指令，如下文描述)以及一眼睛追蹤程式146(包括一眼睛追蹤程序之可執行指令，亦如下文描述)。
在操作中，演現組件104自一本端或遠端內容源150接收演現資訊 148，其中演現資訊148表示代表係待演現之影像之對象且在顯示器子系統102處顯示之一物件或場景之圖形資料、視訊資料或其他資料。執行演現程式144，CPU 136使用演現資訊148來發送繪圖指令至GPU 138、140，GPU 138、140繼而利用繪圖指令，以使用各種熟知之VR/AR運算/光場演現程序來並行演現用於在左眼顯示器110處顯示之一系列光場圖框151及用於在右眼顯示器112處顯示之一系列光場圖框153。作為此演現程序之部分，CPU 136可自一慣性量測單元(IMU)154接收姿勢資訊150，藉以使姿勢資訊150代表顯示器子系統102之一姿勢且控制一或多對光場圖框151、153之演現以自姿勢反應物件或場景之觀點。
如下文詳細描述，演現組件104進一步可使用來自眼睛追蹤組件106、108之一者或兩者之眼睛姿勢資訊來進行以下之任一或兩個行為：使待顯示之一光場圖框內之元素影像122之陣列120之位置位移；或按比例調整待顯示之光場圖框之元素影像122之大小，且藉此使如此顯示之光場圖框之眼動範圍之位置有效位移。為此，眼睛追蹤組件106、108各可包含：使用IR光照明對應眼睛之一或多個紅外(IR)光源(本文中稱為「IR照明器」)、捕獲自對應眼睛反射之IR光作為一對應眼睛影像(眼睛影像資訊156)之一或多個成像攝影機、將經反射IR光引導至成像攝影機之一或多個鏡、波導、光束分離器及類似物、及執行眼睛追蹤程式146以判定對應眼睛自經擷取眼睛影像之一當前位置、當前定向或兩者(在本文中單獨或統稱為「姿勢」)之一或多個處理器。各種熟知眼睛追蹤設備及技術之任一者可用作追蹤使用者之一個眼睛或兩個眼睛之眼睛追蹤組件146、148，在下文中參考圖5描述其等之一實例。或者，在下文中參考圖6至圖10描述具有改良效能之眼睛追蹤組件106、108之光學組件之例示性組 態。
在至少一項實施例中，近眼顯示器系統100可判定眼睛姿勢作為一過去眼睛姿勢、一當前眼睛姿勢或一預測(未來)眼睛姿勢或其等之一組合。特定言之，一未來眼睛姿勢之一預測可提供改良之效能或回應時間，且可實施各種眼睛移動預測演算法之任一者來預測一未來眼睛姿勢。再者，在一些例項中，眼睛追蹤組件106、108可利用場景資訊(例如，待演現之影像內之面部之位置或顯著試探法)作為用於眼睛姿勢計算之使用者眼睛之一未來視線之預測之輸入。因而，本文使用之術語「眼睛姿勢」可指代一先前、當前或預測眼睛姿勢，或其等之一些組合。
在一習知基於運算顯示器近眼系統中，在一顯示器面板顯示之元素影像之各者所處之位置係固定的(即，元素影像陣列之位置係固定的且所顯示之各光場圖框係固定的)，此繼而導致運算顯示器之對應眼動範圍之位置亦係固定的。因此，若一使用者眼睛之位置或定向落在此固定眼動範圍之邊界外，則使用者對所顯示影像之感知通常受影響(諸如透過影像之剪裁或漸暈或透過失焦)。
如本文描述，在至少一項實施例中，近眼顯示器系統100藉由有效「位移」眼動範圍之位置以與使用者眼睛之姿勢更緊密地對準來緩和非最佳使用者眼睛姿勢對眼動範圍約束之影響。此係藉由使用眼睛追蹤組件106、108追蹤使用者之一個或兩個眼睛以對於待顯示之一對應光場圖框判定一個或兩個眼睛之姿勢來實現。在判定姿勢的情況下，演現組件104接著使元素影像122之位置在正演現之一光場圖框內於相對於在對應顯示器面板118處顯示時之一預設位置之一對應方向上位移。相對於顯示器面板118之顯示器表面130之元素影像122之陣列120之此位置位移會影響陣 列120之視角相對於小透鏡陣列124位移，且因此會影響位移眼動範圍位置。除位移元素影像位置外或替代位移元素影像位置，演現組件104可回應於使用者眼睛姿勢之一Z軸分量來按比例調整光場圖框內之元素影像122之尺寸，以在不考慮眼睛姿勢之Z位置的情況下，嘗試維持在虛擬平面中之所表示影像之一恆定大小。如此，可動態調整眼動範圍位置，以更佳地適應使用者眼睛之姿勢。
圖2繪示根據一些實施例之用於演現具有經調整定位之光場圖框以提供動態眼動範圍位置調整之近眼顯示器系統100之操作之一方法200。為促進理解，下文頻繁參考由圖3繪示之例示性案例來描述方法200。方法200繪示用於演現且顯示左眼顯示器110或右眼顯示器112之一者之一光場圖框之程序之一個反覆，且因此，針對顯示器110、112之各者，重複並行執行所繪示之程序，以產生且顯示在不同時間點之各眼睛之一不同光場圖框流或序列，且因此為使用者提供一3D、自動立體VR或AR體驗。
對於待產生且顯示之一光場圖框，方法200開始於方塊202，其中演現組件104將待顯示給使用者之對應眼睛之影像內容識別為一光場圖框。在至少一項實施例中，演現組件104接收表示來自各種姿勢相關感測器(諸如一陀螺儀、加速度計、磁力儀、全球定位系統(GPS)感測器及類似物)之資料的IMU資訊150，且根據IMU資訊150來判定用於靠近使用者眼睛安裝顯示器110、112之設備114(例如，HMD)之一姿勢。為此目的，執行演現程式144之CPU 136可判定對象場景或物件之一對應當前觀點，且根據此觀點以及經提供作為演現資訊148之場景或物件之圖形及空間描述，針對姿勢來判定待演現之影像。
在方塊204，執行眼睛追蹤程式146之CPU 136判定使用者之對應眼 睛的姿勢。如本文解釋，可使用各種眼睛追蹤技術之任一者來判定一眼睛之姿勢。一般言之，此等技術包含自眼睛之瞳孔及角膜反射之IR光之一或多個影像之擷取。眼睛追蹤程式146接著可操縱CPU 136或GPU 138、140來分析影像，以基於瞳孔反射或角膜反射之一者或兩者之對應位置來判定眼睛姿勢。此外，相對於角膜之瞳孔的定向繼而可用於判定眼睛的定向(即，眼睛之視線方向)。應注意，雖然在圖2中繪示方塊204於方塊202後，但是可在方塊202之前、期間或之後執行方塊204之程序。
在判定使用者眼睛之姿勢的情況下，在方塊206，演現程式144操縱CPU 136基於使用者眼睛之姿勢來判定本文中表示為「SV_ELEM」之一位移向量。如上文解釋，位移向量SV_ELEM表示應用於待演現之一光場圖框內之元素影像之位置位移，以補償使用者眼睛之姿勢中之一對應位移。特定言之，由位移向量表示之補償位移意欲實際上將運算顯示器之眼動範圍定位在處於其姿勢之眼睛周圍，使得眼睛在由眼動範圍表示之區中相對居中。即，位移向量用來動態位移眼動範圍以匹配眼睛之姿勢。
在至少一項實施例中，位移向量SV_ELEM之計算係基於使用者眼睛之一預設姿勢之一假設或規格及參考顯示器表面130之元素影像122之陣列120之一對應預設位置。為繪示，參考由圖3之橫截面視圖300繪示之一例示性案例，相對於對應顯示器面板118之一使用者眼睛304之一預設姿勢302可經設定或定義為相對於顯示器表面130在X-Y平面中居中(即眼睛304之觀看軸與顯示器表面130之一中心軸306對準)且經定位沿著Z軸與顯示器表面130或小透鏡陣列124相距一假定或預設距離。在眼睛304處於此預設姿勢302中的情況下，一光場圖框之元素影像122之一陣列120之預設位置亦可經定義為相對於顯示器表面130居中。為繪示，在橫截面視圖 300中，一光場圖框由一3x3元素影像陣列構成，其中橫截面視圖300中存在之三個元素影像由顯示器面板118之區308、309、310表示，且當眼睛304處於預設姿勢302(在此實例中，其沿著軸306在距小透鏡陣列124一指定距離處居中)中時，此等區308、309、310具有圍繞中心軸306居中之所繪示預設位置312。
運用此例示性3x3元素影像組態(及對應3x3小透鏡陣列組態)，對應眼動範圍在平行於顯示器表面130之平面中具有一尺寸，如由垂直線314表示。即，只要眼睛304在與顯示器表面130距相同距離處定位於姿勢316與姿勢318之間，使用者便應具有在區309顯示之元素影像之一未剪裁或未遮擋視圖。然而，在圖3中描繪之例示性案例相對於顯示器面板118放大眼動範圍之大小。在具有更大數量個元素影像、更大數量個小透鏡及眼睛距顯示器面板之一更大距離之一典型組態中，眼動範圍可能相對於顯示器面板118係小得多的，使得自一預設IPD範圍之使用者IPD之甚至略微移動或偏差可引起使用者眼睛落在眼動範圍外且因此影響使用者觀看被顯示之光場圖框。
運用眼睛304之此預設姿勢302及如此界定或另設定之一光場圖框之對應預設位置312，演現組件104可相對於預設位置312且基於自由眼睛304之姿勢表示之預設姿勢302之改變來判定位移向量SV_ELEM。為繪示，橫截面視圖320繪示一例示性案例，其中眼睛追蹤組件106已經追蹤眼睛304且在方塊204判定其姿勢在位置320處，此表示自圍繞中心軸306居中之預設姿勢304之一向上位移(此位移由箭頭322表示)。為補償眼睛304之位置中之此向上位移，在方塊206，演現組件104判定在相反方向(即，在圖3之定向中向下)上之一補償位移向量SV_ELEM(由箭頭324表 示)。
在至少一項實施例中，演現組件104基於以下表達式來判定位移向量SV_ELEM：SV_ELEM=-EYE_SHIFT×(F_A/D_ER)
其中SV_ELEM表示位移向量，EYE_SHIFT表示呈向量形式之眼睛姿勢位移，F_A表示小透鏡126之焦距(即，顯示器表面1308與小透鏡126之平面之間的距離)，且D_ER表示適眼距(即，小透鏡126之平面與眼睛304之間的距離)。注意，在其中眼睛304在預設姿勢擺姿勢之一情況中，術語EYE_SHIFT將為零，且因此，位移向量SV_ELEM亦將為零(即，無位移)。注意，雖然以上描述係指其中所有元素影像位移相同程度或量之一實施方案，但在其他實施方案中，元素影像之位置之位移可在元素影像間不同；即，不同元素影像可具有不同位置位移，諸如以適應不同透視位移(例如，視差位移)。
在一些例項中，眼睛姿勢自預設姿勢之位移可包含Z方向上之一位移。在此等例項中，在方塊206，演現組件104亦判定應用至待演現之光場圖框之元素影像之按比例調整(或放大)量。為繪示，可由以下表達式來判定表示在x維度(x=X or Y)中演現之一元素影像之大小之x_elem：x_elem=D_A×(1+F_A/D_ER)
返回參考圖2，在酌情判定位移向量SV_ELEM且判定元素影像之按比例調整的情況下，在方塊208，演現程式144操縱CPU 136指示GPU 138、140之對應者使用在方塊202識別之影像內容來演現具有陣列120之一光場圖框，其中光場圖框包含一元素影像陣列。作為此程序之部分，CPU 136提供位移向量SV_ELEM及應用於元素影像之尺寸的任何按比例 調整之指示至GPU且指示GPU演現光場圖框，使得元素影像相對於其等在圖框內之預設位置依位移向量SV_ELEM位移且根據經供應之按比例調整資訊(若存在)予以按比例調整。因此，GPU演現具有經位移及/或按比例調整之元素影像陣列之光場圖框，且在方塊210，GPU提供光場圖框至運算顯示器110、112之對應者以供顯示給使用者之眼睛304。
為繪示，再次參考圖3，當GPU實施由箭頭324表示之位移向量SV_ELEM時，所得元素影像陣列相對於圖框或顯示器表面130向下位移至一經位移位置326中，使得在經位移部分308’、309’及310’處顯示在橫截面視圖320中展示之三個元素影像。因此，所得眼動範圍(由垂直線328表示)相對於在預設姿勢302演現之眼動範圍有效地向上位移，使得其大體在眼睛304之姿勢320上居中，且因此，使眼睛304能夠移動至姿勢330與姿勢332之間的任一處，而不造成顯示影像之漸暈或其他模糊。注意，姿勢330在初始眼動範圍外，將瞭解，與否則可使用一固定眼動範圍達成之眼睛位置變化及眼睛定向變化，經由經顯示光場圖框之元素影像之互補位移之眼動範圍之此動態位移容許較大之眼睛位置變化及眼睛定向變化。
圖4繪示根據一些實施例之促進動態眼動範圍位移之一經顯示光場之元素影像之額外例示性互補位移。如由視圖402展示，一眼睛404之姿勢相對於顯示器面板118在一預設姿勢，且因此，元素影像408之一陣列406演現為在光場圖框內之一預設位置。然而，如由視圖410繪示，至預設姿勢之右側之眼睛404之一姿勢位移導致至一光場圖框內之預設位置之左側之陣列406之位置中之一互補位移。類似地，如由視圖412繪示，眼睛404之姿勢之一向上位移導致自一光場圖框內之預設位置之陣列406之一互補向下位移。眼睛304之姿勢位移不限於一單一基本方向中之位移，而且不 限於陣列406之位置中之對應位移。例如，視圖414繪示，至預設姿勢之右側及自預設姿勢向下之眼睛之一姿勢位移導致至一光場圖框內向上及至左側之陣列406之位置中之一互補位移。回應於沿著Z軸之自一預設位置之眼睛404之位移，陣列406之位置中之此等位移亦可伴隨有陣列內之元素影像408之放大或其他按比例調整。
注意，因為所描述之動態眼動範圍程序導致取決於使用者眼睛之姿勢之一近眼光場圖框內之元素影像之陣列120之位移，故近眼光場圖框通常利用圍繞陣列120在其預設或居中位置中之一小緩衝區，以容許陣列120之位置在各種方向之任一者中位移，而不剪裁元素影像。此緩衝區通常相對適於給出小透鏡126之放大條件(magnification term)，且一般僅構成總顯示器表面130之一非常小的部分。或者，在其他實施例中，可排除緩衝區且可容許在實施陣列120之位置中之一位移時剪裁前導邊緣上之元素影像。
此外，除一眼睛位置改變或替代一眼睛位置改變，一眼睛定向改變亦可觸發元素影像之位置中之一對應位移。由於本文考慮之近眼光場顯示器之類型通常對視線方向不敏感，故可以本文關於眼睛位置改變所描述之相同方式來處置眼睛定向改變。即，本文描述之動態眼動範圍位移程序可有效應用於眼睛姿勢之任何態樣(即，眼睛定向、眼睛位置或其等之組合)。
如上文解釋，本文描述之動態眼動範圍位移程序可利用一眼睛追蹤組件(例如，眼睛追蹤組件106、108)來判定一對應眼睛之姿勢。此眼睛追蹤組件通常包含：照明眼睛之一或多個IR照明器、自眼睛擷取IR反射之影像之一成像攝影機、將反射IR光自眼睛引導至成像攝影機之一或多個透 鏡、波導或其他光學元件、以及執行一軟體程式以分析經擷取影像之一或多個處理器。
圖5繪示可用作近眼顯示器系統100中之一眼睛追蹤組件之一眼睛追蹤組件之光學組件之一習知組態。如由橫截面視圖500繪示，在此習知方法中，一IR照明器502經安置於在小透鏡陣列124之一個端處之對應小透鏡陣列124或其附近，而包括一成像攝影機506及一或多個透鏡508之一影像擷取總成504或其他光學元件經安置於小透鏡陣列124之另一端，使得IR照明器502及影像擷取總成504相對於透過小透鏡陣列124觀看之顯示器面板118不在眼睛510之FOV內，且因此，不干擾觀看顯示器面板118。在操作中，IR照明器502使用IR光照明眼睛510，且藉由影像擷取總成504將自眼睛510之此IR光之一反射經擷取為一或多個影像。然而，影像擷取總成504之位置使影像擷取總成504相對於眼睛510及IR反射呈一傾斜角，此可對如此擷取之任何影像之眼睛追蹤分析證明係具有挑戰的。對此問題之一個典型解決方案係利用一最小適眼距以減小傾斜角，但此導致比其他必要情況更厚之一外觀尺寸，且因此可減損使用者對顯示器系統之享受。
圖6繪示根據一些實施例之可用於近眼顯示器系統100中之一眼睛追蹤組件之光學組件之一改良組態。如由圖6之橫截面視圖600展示，在此組態中，一或多個IR照明器(諸如IR照明器602、604)經安置於小透鏡陣列124之小透鏡126之間，使得自該等IR照明器發射之IR光以一較小傾斜角落在眼睛610上。此外，圖6之組態採用經安置於小透鏡陣列125與顯示器面板118之間之一平坦或彎曲反射元件608(其可包括一IR反射器/鏡或一光束分離器)，而非嘗試直接自眼睛610擷取反射IR光。包括一成像攝影機614及一或多個透鏡616或其他光學元件之一影像擷取總成612係聚焦於反 射元件608上。在此方法中，藉由小透鏡陣列124之一或多個相鄰小透鏡126，將自眼睛610反射之IR光聚焦於反射元件608上，反射元件608繼而反射此入射IR光朝向影像擷取總成612，以供擷取作為一或多個影像。因此，在此方法中，針對影像擷取之IR光係自小於在由圖5繪示之習知組態中擷取之一傾斜角獲得，且因此促進更精確之眼睛追蹤，同時將影像擷取總成612維持於使用者視覺周邊。注意，雖然在圖6之實例中描繪一單一影像擷取總成612，但在其他實施例中，於小透鏡陣列124之周邊處之多個影像擷取總成612可用於針對增大之眼睛追蹤精確度，自不同觀點擷取眼睛610之反射IR影像。
將瞭解，反射元件608係在眼睛610之FOV內。然而，因為反射元件608係安置於顯示器面板118與小透鏡陣列124之間(即，比小透鏡126之焦距更靠近)，故反射元件608將在眼睛610之焦點外。然而，反射元件608將使眼睛對經安置於反射元件608後部之一或多個元素影像的視野模糊。然而，如下文參考圖9更詳細描述，因為運算顯示器實際上係重疊投影機之一陣列，故不模糊重疊投影機之強度可被用於運算上補償(若干)模糊元素影像。
圖7繪示根據一些實施例之可用於近眼顯示器系統100中之一眼睛追蹤組件之光學組件之另一改良組態。如由橫截面視圖700展示，在此組態中，一或多個IR照明器(諸如IR照明器702、704)被放置於小透鏡陣列124之小透鏡126之間，使得自其等發射之IR光以一較小傾斜角落在眼睛710上。此外，圖7之組態將一影像擷取總成706安置於小透鏡陣列124與顯示器面板118之間，而非將反射IR光自眼睛710重新引導至周邊以供影像擷取，其中包括一成像攝影機708及一或多個透鏡712或其他光學元件之影 像擷取總成706經聚焦朝向眼睛710。在此方法中，藉由小透鏡陣列124之一中介小透鏡126，經由影像擷取總成之一或多個光學元件，將自眼睛610反射之IR光直接聚焦(即，無反射)至成像攝影機708上。因此，在此方法中，影像擷取總成706具有眼睛710之瞳孔及角膜之一直接(或銳角)視野，此促進高度精確之眼睛追蹤。注意，雖然在圖7之實例中描繪一單一影像擷取總成706，但在其他實施例中，經安置於小透鏡陣列124與顯示器面板118之間之多個影像擷取總成706可被用於針對增大之眼睛追蹤精確度自不同觀點擷取眼睛610之反射IR影像。此外，如同圖6之組態，成像攝影機總成706之存在(同時不在眼睛710之焦點)將使成像攝影機總成706後部之元素影像模糊。然而，歸因於重疊投影機效應，一或多個相鄰元素影像之至少部分的光度可透過運算方法選擇性地增大以補償模糊元素影像，如下文描述。
圖8繪示對圖7之組態之一修改，其中，如藉由橫截面800繪示，利用多個拼接顯示器面板818(而非採用一單一顯示器面板118)來形成一有效更大顯示器面板。在此方法中，拼接顯示器面板818經分離使得成像攝影機總成706經定位於顯示器面板818之間的一間隙中，且因此防止成像攝影機總成706使一或多個元素影像模糊眼睛710之視野。
由圖6至圖8繪示之眼睛裝置組件組態具有提供眼睛之瞳孔及角膜之一較傾斜或更直接之觀點且因此促進改良之眼睛追蹤精確度之益處。然而，此等組態亦將元素放置於眼睛與顯示器面板之間，且因此使眼睛對在顯示器面板顯示之元素影像之一或多者之視野模糊。演現組件104可藉由利用一近眼光場顯示器(諸如本文考慮之運算顯示器)之重疊投影機性質而補償一或多個模糊元素影像。
為繪示，圖9描繪一運算顯示器(諸如用於近眼顯示器系統100之顯示器)之一橫截面視圖900。如在此視圖中展示，小透鏡陣列124之小透鏡126之各者充當至眼睛902上之一分開之「投影機」，其中各「投影機」在自在顯示器面板118處顯示之元素影像陣列形成一合成虛擬影像904中與一或多個相鄰投影機重疊。為繪示，小透鏡126-1將一對應元素影像(由區906表示)投射至虛擬影像904之區914上，小透鏡126-2將一對應元素影像(由區907表示)投射至虛擬影像904之區915上，且小透鏡126-3將一對應元素影像(由區908表示)投射至虛擬影像904之區916上。如由圖9進一步展示，區914及915在子區917中重疊，區915及916在子區918中重疊，且所有三個區914、915、916在子區919中重疊。
因此，在此實例中假定，歸因於安置於區907與小透鏡陣列124之間的一影像擷取設備，經定位於顯示器面板118之區907處之元素影像對眼睛902模糊，則周圍元素影像之一或多者之強度可在運算上增大以補償由區907之模糊元素影像引起之強度損失。例如，在所繪示之平面中，在區906及908之元素影像之亮度可增大(在顯示器面板118之方向之其他平面上之其他相鄰元素影像之亮度亦可增大)，以在運算上補償在區907之模糊元素影像。注意，圖9繪示具有僅擁有緊鄰元素影像之重疊區之一簡化實例。在許多實施方案中，除了緊鄰於模糊元素影像之該等元素影像外之元素影像可具有與模糊元素影像中之模糊像素重疊之像素之區。因此，一般言之，一模糊元素影像之運算補償包含識別在周圍元素影像中重複模糊元素影像中之哪些像素，且接著將周圍元素影像內之重複(即，重疊)像素之強度按比例調整分率(N+1)/N，其中N表示共用該像素之元素影像之數量。
在一些實施例中，可藉由執行軟體之一處理系統之一或多個處理器實施上文描述之技術之特定態樣。軟體包括儲存或另有形地體現在一非暫時性電腦可讀儲存媒體上之一或多個可執行指令集。軟體可包含在由一或多個處理器執行時操縱一或多個處理器執行上文描述之技術之一或多個態樣之指令及特定資料。非暫時性電腦可讀儲存媒體可包含(例如)一磁碟或光碟儲存裝置、固態儲存裝置(諸如快閃記憶體)、一快取區、隨機存取記憶體(RAM)或其他非揮發性記憶體裝置或若干裝置，及類似物。儲存在非暫時性電腦可讀儲存媒體上之可執行指令可呈原始程式碼、組合語言程式碼、物件碼或由一或多個處理器解譯或另可執行之其他指令格式。
一電腦可讀儲存媒體可包含在使用期間可藉由一電腦系統存取以提供指令及/或資料至電腦系統之任何儲存媒體或儲存媒體之組合。此儲存媒體可包含(但不限於)光學媒體(例如，光碟(CD)、數位光碟(DVD)、藍光光碟)、磁性媒體(例如，軟磁碟、磁帶或磁硬碟)、揮發性記憶體(例如，隨機存取記憶體(RAM)或快取記憶體)、非揮發性記憶體(例如，唯讀記憶體(ROM)或快閃記憶體)或基於微機電系統(MEMS)儲存媒體。電腦可讀儲存媒體可嵌入運算系統中(例如，系統RAM或ROM)記憶體固定附接至運算系統(例如，一磁硬碟)、可移除地附接至運算系統(例如，一光碟或基於通用串列匯流排(USB)之快閃記憶體)或經由一有線或無線網路(例如，網路可存取儲存器(NAS))耦合至電腦系統。
注意，並不需要在一般描述中所有上文描述之活動或元件，可不需要一特定活動或裝置之一部分，且除所描述之該等活動或元件外，可執行一或多個進一步活動或所包含之元件。此外，列出活動之順序不必要係執行其等之順序。同樣地，已參考特定實施例描述概念。然而，一般技術者 將了解，可在不脫離如下文之發明申請專利範圍中所闡述之本發明之範疇之情況下作出各種修改及改變。因此，本說明書及圖式將視作闡釋性而非限制性，且全部此等修改意欲包含於本發明之範疇內。
在上文已關於特定實施例描述益處、其他優勢及問題解決方案。然而，益處、優點、問題解決方案及可導致任何益處、優點或解決方案發生或變得更加明顯之任何特徵不應被解釋為任何或全部發明申請專利範圍之一嚴格、所需或基本特徵。再者，上文揭示之特定實施例僅係繪示性的，此係由於可以具有本文教示之益處之熟悉此項技術者所瞭解之不同但等效之方式修改且實踐所揭示之標的物。除下文之發明申請專利範圍中描述之構造或設計外，不意欲限制本文展示之構造或設計之細節。因此，顯而易見，可更改且修改上文揭示之特定實施例且所有此等變化被視為在所揭示之標的物之範疇內。因此，在下文之發明申請專利範圍陳述本文尋求之保護。
100‧‧‧近眼顯示器系統
102‧‧‧運算顯示器子系統
104‧‧‧演現組件
106‧‧‧眼睛追蹤組件
108‧‧‧眼睛追蹤組件
112‧‧‧右眼顯示器
114‧‧‧設備
116‧‧‧視圖
118‧‧‧顯示器面板
120‧‧‧陣列/光場圖框
122‧‧‧元素影像
124‧‧‧小透鏡陣列
126‧‧‧小透鏡
128‧‧‧橫截面
130‧‧‧顯示器表面
132‧‧‧眼睛
136‧‧‧中央處理單元(CPU)
138‧‧‧圖形處理單元(GPU)
140‧‧‧圖形處理單元(GPU)
142‧‧‧系統記憶體
144‧‧‧演現程式
146‧‧‧眼睛追蹤程式
148‧‧‧演現資訊
150‧‧‧姿勢資訊
151‧‧‧光場圖框
153‧‧‧光場圖框
154‧‧‧慣性量測單元(IMU)
156‧‧‧眼睛影像資訊

Claims (17)

  1. 一種在一近眼顯示器系統中之方法包括：使用該近眼顯示器系統之一眼睛追蹤組件來判定一使用者之眼睛之一第一姿勢(pose)；基於該使用者眼睛之該第一姿勢來判定形成一近眼(near-eye)光場圖框(lightfield frame)之一元素影像(elemental images)陣列之一位移向量(shift vector)，其中判定該使用者眼睛之該第一姿勢包括使用一成像攝影機來擷取該使用者眼睛之影像；在基於該位移向量之該近眼光場圖框內之一位置處，演現(rendering)該元素影像陣列；及在該近眼顯示器系統之多個拼接(tiled)顯示器面板處，顯示該近眼光場圖框，其中該多個拼接顯示器面板經分離使得該成像攝影機與一反射元件經定位於該多個拼接顯示器面板間之一間隙中，其中該成像攝影機與該反射元件經安置於一小透鏡(lenslet)陣列與該多個顯示器面板之間，且該反射元件經定向以將自該使用者眼睛反射之IR光朝向該成像攝影機反射。
  2. 如請求項1之方法，其中判定該位移向量包括：判定自該第一姿勢表示之該使用者之眼睛之一預設姿勢之一位移；及基於自該使用者之眼睛之該預設姿勢之該位移癌判定該位移向量作為自該近眼光場圖框內之該元素影像陣列之一預設位置之一位 移。
  3. 如請求項2之方法，其中判定該位移向量包括基於一方程式來判定該位移向量：SV_ELEM=-EYE_SHIFT×(F_A/D_ER)其中SV_ELEM表示位移向量，EYE_SHIFT表示自該使用者眼睛之該預設姿勢之該位移，F_A表示上覆該多個拼接顯示器面板之一小透鏡陣列之小透鏡之一焦距，且D_ER表示該小透鏡陣列與該使用者眼睛之間之一距離。
  4. 如請求項1之方法，進一步包括：判定沿著垂直於該多個拼接顯示器面板之一軸之該使用者眼睛之一位置；及基於該位置來按比例調整該陣列之該等元素影像之一大小。
  5. 一種在一近眼顯示器系統中之方法包括：在一第一時間，使用該近眼顯示器系統之一眼睛追蹤組件來判定相對於該近眼顯示器系統之多個拼接顯示器面板之一使用者眼睛之一第一姿勢；演現且顯示包括一第一元素影像陣列之一第一近眼光場圖框，其中該第一陣列具有基於該使用者眼睛之該第一姿勢之該第一近眼光場圖框內之一第一位置；在一第二時間，使用該眼睛追蹤組件來判定相對於該多個拼接顯 示器面板之該使用者眼睛之一第二姿勢，該第二姿勢係不同於該第一姿勢，其中判定該使用者眼睛之該第一姿勢及判定該使用者眼睛之該第二姿勢包括使用一成像攝影機來擷取該使用者眼睛之影像；及演現且顯示包括一第二元素影像陣列之一第二近眼光場圖框，其中該第二陣列具有基於該使用者眼睛之該第二姿勢之該第二近眼光場圖框內之一第二位置，該第二位置係不同於該第一位置，其中該多個拼接顯示器面板經分離使得該成像攝影機與一反射元件經定位於該多個拼接顯示器面板間之一間隙中，其中該成像攝影機與該反射元件經安置於一小透鏡陣列與該多個顯示器面板之間，該反射元件經定向以將自該使用者眼睛反射之IR光朝向該成像攝影機反射。
  6. 如請求項8之方法，其中：該第一姿勢係一預設姿勢，且該第一位置係一預設位置；及演現且顯示該第二近眼光場圖框包括：判定自由該第一姿勢表示之該預設姿勢之一位移；基於自該使用者眼睛之該預設姿勢之該位移來判定一位移向量；及基於該位移向量來判定該第二位置作為自該第一位置之一位移。
  7. 如請求項6之方法，其中判定該位移向量包括基於一方程式來判定該位移向量： SV_ELEM=-EYE_SHIFT×(F_A/D_ER)其中SV_ELEM表示位移向量，EYE_SHIFT表示自該使用者眼睛之該預設姿勢之該位移，F_A表示上覆該多個拼接顯示器面板之一小透鏡陣列之小透鏡之一焦距，且D_ER表示該小透鏡陣列與該使用者眼睛之間之一距離。
  8. 一種近眼顯示器系統，其包括：多個拼接顯示器面板，其顯示包括一元素影像陣列之一近眼光場圖框；一眼睛追蹤系統，其追蹤一使用者眼睛之一姿勢；一演現系統，其基於該使用者眼睛之該姿勢來將該元素影像陣列定位於該近眼光場圖框內；及一成像攝影機與一反射元件，其經定位於該多個拼接顯示器面板間之一間隙中，其中該成像攝影機與該反射元件經安置於一小透鏡陣列與該多個顯示器面板之間，該反射元件經定向以將自該使用者眼睛反射之IR光朝向該成像攝影機反射。
  9. 如請求項8之近眼顯示器系統，其中該演現系統係藉由以下將該元素影像陣列定位於該近眼光場圖框內：基於該使用者眼睛之該姿勢來判定一位移向量；及基於該位移向量，使該近眼光場圖框內之該元素影像陣列之一位置自一預設位置位移。
  10. 如請求項9之近眼顯示器系統，其中該演現系統係藉由以下來判定該位移向量：判定自該使用者眼睛之該經追蹤姿勢表示之該使用者之眼睛之一預設姿勢之一位移；及基於自該使用者眼睛之該預設姿勢之該位移來判定該位移向量。
  11. 如請求項9之近眼顯示器系統，其中該演現系統係基於一方程式來判定該位移向量：SV_ELEM=-EYE_SHIFT×(F_A/D_ER)其中SV_ELEM表示位移向量，EYE_SHIFT表示自該使用者眼睛之該預設姿勢之該位移，F_A表示上覆該多個拼接顯示器面板之一小透鏡陣列之小透鏡之一焦距，且D_ER表示該小透鏡陣列與該使用者眼睛之間之一距離。
  12. 如請求項8之近眼顯示器系統，其中該眼睛追蹤系統包括：一組一或多個紅外(IR)照明器，其等將光投射至該使用者眼睛上。
  13. 一種演現系統，其包括：至少一個處理器；一輸入節點，其自一眼睛追蹤系統接收資料，該資料指示相對於近眼多個拼接顯示器面板之一使用者眼睛之一姿勢；及一記憶體，其儲存一可執行指令集，該可執行指令集經組態以操 縱該至少一個處理器而基於該使用者眼睛之該姿勢來演現一近眼光場圖框，其包括具有該近眼光場圖框內之一位置之一元素影像陣列，其中該近眼多個拼接顯示器面板經分離使得一成像攝影機與一反射元件經定位於該多個拼接顯示器面板間之一間隙中，其中該成像攝影機與該反射元件經安置於一小透鏡陣列與該多個顯示器面板之間，該反射元件經定向以將自該使用者眼睛反射之IR光朝向該成像攝影機反射。
  14. 如請求項13之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器藉由以下來演現該近眼光場圖框：基於該使用者眼睛之該姿勢來判定一位移向量；及基於該位移向量，使該近眼光場圖框內之該元素影像陣列之一位置自一預設位置位移。
  15. 如請求項14之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器藉由以下來判定該位移向量：判定自該使用者眼睛之該經追蹤姿勢表示之該使用者之眼睛之一預設姿勢之一位移；及基於自該使用者眼睛之該預設姿勢之該位移來判定該位移向量。
  16. 如請求項15之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器基於一方程式來判定該位移向量：SV_ELEM=-EVE_SHIFT×(F_A/D_ER) 其中SV_ELEM表示位移向量，EYE_SHIFT表示自該使用者眼睛之該預設姿勢之該位移，F_A表示上覆該多個拼接顯示器面板之一小透鏡陣列之小透鏡之一焦距，且D_ER表示該小透鏡陣列與該使用者眼睛之間之一距離。
  17. 如請求項13之演現系統，其中該可執行指令集經組態以操縱該至少一個處理器進一步藉由以下來演現該近眼光場圖框：判定沿著垂直於該多個拼接顯示器面板之一軸之該使用者眼睛之一位置；及基於該位置按比例來調整該陣列之該等元素影像之一大小。
TW107105857A 2017-05-15 2018-02-21 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器 TWI681663B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/595,147 US10546518B2 (en) 2017-05-15 2017-05-15 Near-eye display with extended effective eyebox via eye tracking
US15/595,147 2017-05-15

Publications (2)

Publication Number Publication Date
TW201902212A TW201902212A (zh) 2019-01-01
TWI681663B true TWI681663B (zh) 2020-01-01

Family

ID=61386906

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107105857A TWI681663B (zh) 2017-05-15 2018-02-21 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器

Country Status (8)

Country Link
US (1) US10546518B2 (zh)
EP (1) EP3625648B1 (zh)
JP (1) JP6983258B2 (zh)
KR (1) KR102315862B1 (zh)
CN (1) CN110651236B (zh)
DE (1) DE202018100907U1 (zh)
TW (1) TWI681663B (zh)
WO (1) WO2018212808A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
CN106908951A (zh) * 2017-02-27 2017-06-30 阿里巴巴集团控股有限公司 虚拟现实头戴设备
JP6963399B2 (ja) * 2017-03-16 2021-11-10 株式会社スクウェア・エニックス プログラム、記録媒体、画像生成装置、画像生成方法
IL273397B2 (en) * 2017-09-21 2024-09-01 Magic Leap Inc An augmented reality display with a waveguide configured to capture images of an eye and/or environment
US10395624B2 (en) * 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
WO2020069037A1 (en) 2018-09-26 2020-04-02 Magic Leap, Inc. Eyewear with pinhole and slit cameras
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11327563B2 (en) 2018-10-22 2022-05-10 Evolution Optiks Limited Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US11500460B2 (en) 2018-10-22 2022-11-15 Evolution Optiks Limited Light field device, optical aberration compensation or simulation rendering
CN109637418B (zh) * 2019-01-09 2022-08-30 京东方科技集团股份有限公司 一种显示面板及其驱动方法、显示装置
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用
TWI697832B (zh) * 2019-02-01 2020-07-01 宏碁股份有限公司 多螢幕顯示系統及其訊息提示方法
WO2020219446A1 (en) 2019-04-23 2020-10-29 Evolution Optiks Limited Digital display device comprising a complementary light field display or display portion, and vision correction system and method using same
US11850730B2 (en) * 2019-07-17 2023-12-26 Asensus Surgical Us, Inc. Double eye tracker configuration for a robot-assisted surgical system
JP2022545196A (ja) 2019-08-16 2022-10-26 ガンマデルタ セラピューティクス リミテッド 抗ｔｃｒデルタ可変１抗体の治療的使用
CA3148588A1 (en) 2019-08-16 2021-02-25 GammaDelta Therapeutics Limited Ex vivo gamma delta t cell populations
US11902498B2 (en) * 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US12112665B2 (en) 2019-11-01 2024-10-08 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11054659B2 (en) * 2019-11-07 2021-07-06 Htc Corporation Head mounted display apparatus and distance measurement device thereof
TWI749894B (zh) * 2020-01-14 2021-12-11 宏達國際電子股份有限公司 頭戴式顯示器
WO2021178890A1 (en) 2020-03-06 2021-09-10 Sorrento Therapeutics, Inc. Innate immunity killer cells targeting psma positive tumor cells
TWI792033B (zh) * 2020-08-10 2023-02-11 見臻科技股份有限公司 穿戴式眼動追蹤系統
EP4265642B1 (en) 2020-08-14 2024-06-26 GammaDelta Therapeutics Limited Multispecific anti-tcr delta variable 1 antibodies
GB202013962D0 (en) 2020-09-04 2020-10-21 Gammadelta Therapeutics Ltd Immunotherapy composition
KR20220100741A (ko) * 2021-01-08 2022-07-18 삼성디스플레이 주식회사 표시 패널, 표시 장치 및 표시 장치 제어 방법
KR20220105194A (ko) * 2021-01-18 2022-07-27 삼성디스플레이 주식회사 표시 장치 및 표시 장치 제어 방법
MX2023009360A (es) 2021-02-17 2023-09-21 Gammadelta Therapeutics Ltd Anticuerpos anti- variable delta 1 de tcr.
EP4089465A1 (en) * 2021-05-13 2022-11-16 Coretronic Corporation Light field near-eye display device and method thereof
CN115494640A (zh) 2021-06-17 2022-12-20 中强光电股份有限公司 产生虚拟实境影像的光场近眼显示器及其方法
WO2023021732A1 (ja) 2021-08-20 2023-02-23 ソニーグループ株式会社 表示装置及び表示方法
KR20230040438A (ko) * 2021-09-15 2023-03-23 삼성디스플레이 주식회사 표시 장치
US11722655B2 (en) 2021-11-30 2023-08-08 SoliDDD Corp. Low latency networking of plenoptic data
US20230168506A1 (en) * 2021-12-01 2023-06-01 Meta Platforms Technologies, Llc High efficiency optical assembly with folded optical path
US20230196522A1 (en) * 2021-12-17 2023-06-22 SoliDDD Corp. Plenoptic image tile organization for single image display or capture
CA3208653A1 (en) 2022-02-17 2022-08-25 Mihriban Tuna Multispecific anti-tcr delta variable 1 antibodies
KR20240133171A (ko) * 2023-02-28 2024-09-04 한국전자기술연구원 근안 디스플레이의 3차원 광계측 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274734A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
CN105717640A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529331B2 (en) * 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
FI114752B (fi) 2003-05-30 2004-12-15 Nokia Corp Valosähköinen elementti ja sellaisen käsittävä päätelaite
US7475989B2 (en) 2006-03-14 2009-01-13 Amo Manufacturing Usa, Llc Shack-Hartmann based integrated autorefraction and wavefront measurements of the eye
WO2010137230A1 (ja) * 2009-05-25 2010-12-02 シャープ株式会社 アクティブマトリクス基板、液晶パネル、液晶表示装置、テレビジョン受像機
US9507412B2 (en) * 2011-05-31 2016-11-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bidirectional display and triggering thereof
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9001030B2 (en) 2012-02-15 2015-04-07 Google Inc. Heads up display
CN107153270B (zh) * 2012-04-23 2019-11-22 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US20130285885A1 (en) 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9993335B2 (en) * 2014-01-08 2018-06-12 Spy Eye, Llc Variable resolution eye mounted displays
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
CN104914575B (zh) * 2014-09-29 2017-11-14 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
US10247941B2 (en) 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
WO2016157486A1 (ja) 2015-04-01 2016-10-06 フォーブ インコーポレーテッド ヘッドマウントディスプレイ
US10152906B2 (en) * 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
KR20160147636A (ko) 2015-06-15 2016-12-23 삼성전자주식회사 헤드 마운티드 디스플레이 장치
US10210844B2 (en) * 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
US10162182B2 (en) 2015-08-03 2018-12-25 Facebook Technologies, Llc Enhanced pixel resolution through non-uniform ocular projection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274734A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US20130050432A1 (en) * 2011-08-30 2013-02-28 Kathryn Stone Perez Enhancing an object of interest in a see-through, mixed reality display device
CN105717640A (zh) * 2014-12-05 2016-06-29 北京蚁视科技有限公司 基于微透镜阵列的近眼显示器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Douglas Lanman, , NVDIA Research, 2013/11/01 *

Also Published As

Publication number Publication date
DE202018100907U1 (de) 2018-06-18
US20180330652A1 (en) 2018-11-15
JP2020520475A (ja) 2020-07-09
EP3625648A1 (en) 2020-03-25
TW201902212A (zh) 2019-01-01
KR20190141709A (ko) 2019-12-24
EP3625648B1 (en) 2021-04-07
JP6983258B2 (ja) 2021-12-17
WO2018212808A1 (en) 2018-11-22
CN110651236A (zh) 2020-01-03
KR102315862B1 (ko) 2021-10-22
CN110651236B (zh) 2021-02-09
US10546518B2 (en) 2020-01-28

Similar Documents

Publication Publication Date Title
TWI681663B (zh) 具有經由眼睛追蹤之延伸有效眼動範圍之近眼顯示器
JP7005658B2 (ja) 非平面コンピュテーショナルディスプレイ
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US10740971B2 (en) Augmented reality field of view object follower
US11720996B2 (en) Camera-based transparent display
US20170171538A1 (en) Ar display with adjustable stereo overlap zone
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
CN112655202B (zh) 用于头戴式显示器的鱼眼镜头的减小带宽立体失真校正
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
JP2024024099A (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡
WO2024122191A1 (ja) 画像処理装置及び方法、プログラム、記憶媒体
KR20240145340A (ko) 가상 공간 이미지를 제공하기 위한 전자 장치 및 방법