TW201831953A - 基於經由光導光學元件之視網膜成像的眼動追蹤器 - Google Patents

基於經由光導光學元件之視網膜成像的眼動追蹤器 Download PDF

Info

Publication number
TW201831953A
TW201831953A TW107100088A TW107100088A TW201831953A TW 201831953 A TW201831953 A TW 201831953A TW 107100088 A TW107100088 A TW 107100088A TW 107100088 A TW107100088 A TW 107100088A TW 201831953 A TW201831953 A TW 201831953A
Authority
TW
Taiwan
Prior art keywords
light
eye
optical element
optical sensor
processing system
Prior art date
Application number
TW107100088A
Other languages
English (en)
Other versions
TWI759395B (zh
Inventor
尤查 丹齊格
埃坦 羅南
Original Assignee
以色列商魯姆斯有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商魯姆斯有限公司 filed Critical 以色列商魯姆斯有限公司
Publication of TW201831953A publication Critical patent/TW201831953A/zh
Application granted granted Critical
Publication of TWI759395B publication Critical patent/TWI759395B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

用於導出人眼睛的注視方向的設備包括光導光學元件(LOE)，該LOE具有面向該眼睛部署的一對平行面。耦入配置(諸如，一組部分反射表面)與LOE相關聯並且配置用於耦入入射在面上的光的一部分以在該LOE內傳播。與LOE相關聯的聚焦光學器件將在該LOE內傳播的多組平行光線轉換為由光學感測器感測的捕獲到的光的會聚束。處理系統處理來自該光學感測器的信號以導出該眼睛的當前注視方向。不管該LOE的孔徑組合效應如何，都可以有效地將視網膜圖像恢復為集中在該光學感測器上的唯一圖像信息。

Description

基於經由光導光學元件之視網膜成像的眼動追蹤器
本發明涉及眼動追蹤，並且具體地，本發明涉及一種用於基於經由光導光學元件之視網膜成像來追蹤人眼的注視方向的眼動追蹤器和對應的方法，其尤其適用於整合為近眼顯示器的一部分。
用於近眼顯示器或者抬頭顯示器的光學佈置需要大孔徑以覆蓋觀察者的眼睛所在的區域(眼睛運動盒)。為了實現緊湊的裝置，通過具有倍增以生成大孔徑的小孔徑的小型光學圖像生成器(投影儀)來生成圖像。
已經基於平行貼面的透明材料平板開發了在一個維度上實現孔徑倍增的方法，在該透明材料平板內，圖像通過內反射進行傳播。通過使用傾斜帶角度的部分反射器或者通過在平板的一個表面上使用衍射光學元件來，將圖像波前的一部分耦出平板。本文將這種平板稱為“光導光學元件”、“透光基板”或者“波導”。在第1圖至第4圖中示意性地圖示了這種孔徑倍增的原理。
第1圖示出了具有用於通過內反射來導光的一對平行面26、26A的光導光學元件20。投影的圖像18(此處由照明束18示意性地表示，該照明束18包括橫跨此束的樣本光線18A、18B和18C)耦合到 光導光學元件(此處由第一反射表面16示意性地圖示)中以生成在基板內通過內反射捕獲的反射光線28，還生成光線30。圖像通過重複的內反射沿著基板傳播，按照與平行面26、26A傾斜的角度照射在一系列部分反射表面22上，其中，對圖像強度的一部分進行反射，以便作為光線48A、48B耦出基板。為了使可能產生重像的不希望的反射減到最少，優選地對部分反射表面22進行覆膜以使其對於第一入射角範圍具有低反射比，而對於第二入射角範圍具有期望的部分反射率，例如，如在第2A圖和第2B圖中圖示的，在這些圖中，使相對於部分反射表面34的法線具有小傾角的光線32分離以生成用於耦出的反射光線(第2A圖)，而利用可以忽略的反射來透射高傾角(相對於法線)光線36(第2B圖)。
第3圖圖示了通過使用用於耦出圖像的衍射光學元件23以及(在此處示出的示例中)用於耦入圖像18的另一衍射光學元件17來實施的對應配置。如本領域已知的，衍射光學元件可以部署在基板的上表面或者下表面。
在這兩種情況下，投影的圖像18是準直圖像，即，每個畫素由對應角度的平行光束表示，等效於來自與觀察者相隔較遠的場景的光。此處簡單地用與圖像中的單個點(通常是圖像的質心)對應的光線來表示圖像，但是實際上包括該中心光束的每一側的一系列角度，這些光線以對應的角度範圍耦入基板，並且以對應的角度類似地耦出，從而生成與在不同方向上到達觀察者的眼睛24的圖像的部分對應的視場。
第1圖和第3圖的孔徑倍增沿著一個維度發生，與附圖的從右到左的方向對應。在一些情況下，在兩個維度上採用類似的方法，諸如，在第4圖中圖示的。在這種情況下，第一波導20a具有耦入反射器16a和部分反射耦出表面22a，該耦入反射器16a和部分反射耦出表面22a利用耦入反射器16b和部分反射耦出表面22b向第二波導20b提供光學輸出。按照這種方式，由輸入光線90表示的圖像在兩個維度中相繼倍增以提供在兩個維度中擴展的輸出孔徑。雖然此處圖示的是使用用於耦出的部分反射表面，但是可以通過使用衍射光學元件來執行該擴展中的一種或者兩種。
要注意，通過孔徑倍增實現的較大輸出孔徑使每條輸入圖像光線被分成多條間隔隔開的輸出光線。在第1圖和第3圖中，這由通過分離輸入光線18A導出的多條耦出光線48A和通過分離輸入光線18B導出的多條耦出光線48B表示。對於第4圖的二維擴展也是如此。
本發明的一個方面提供了一種用於基於經由光導光學元件之視網膜成像來追蹤人眼的注視方向的眼動追蹤器和對應的方法，其尤其適用於集成為近眼顯示器的一部分。
根據本發明的實施例的教導，提供了一種用於導出人眼的注視方向的設備，該設備包括：(a)光導光學元件(LOE)，該光導光學元件(LOE)由透明材料形成並且具有用於通過內反射來導光的一對平行面，所述平行面中的一個平行面面向眼睛部署；耦入配置，該耦入配置與LOE相關聯並且配置用於將入射在所述平行面中的一個 平行面上的光的一部分耦入到耦入區域內以在LOE內傳播；(c)聚焦光學器件，該聚焦光學器件與LOE相關聯並且配置用於將在LOE內傳播的多組平行光線轉換為捕獲到的光的會聚束；(d)光學感測器，該光學感測器部署用於感測捕獲到的光；以及(e)處理系統，該處理系統包括至少一個處理器，處理系統與光學感測器電關聯並且被配置用於處理來自光學感測器的信號以導出眼睛的當前注視方向，其中，耦入配置被配置為生成在LOE內傳播的光線，每條光線具有指示對應入射光線的入射方向的方向，以及其中，將多條間隔隔開的平行入射光線組合成在LOE內傳播的單條光線。
根據本發明的實施例的又一特徵，耦入配置包括在LOE內傾斜於平行面部署的多個部分反射表面。
根據本發明的實施例的又一特徵，耦入配置包括與所述平行面中的一個平行面相關聯的衍射光學元件。
根據本發明的實施例的又一特徵，光學感測器包括四象限感測器。
根據本發明的實施例的又一特徵，光學感測器包括畫素感測元件的陣列，以及其中，處理系統處理來自不超過大約104個畫素感測元件的輸出。
根據本發明的實施例的又一特徵，還提供了一種照明佈置，該照明佈置部署為從耦入區域的方向照亮眼睛。
根據本發明的實施例的又一特徵，照明佈置配置為將照明引入到LOE中，從而使得照明通過在一對平行表面處反射而在LOE 內傳播並且通過耦入配置朝著眼睛耦出。
根據本發明的實施例的又一特徵，還提供了一種照明光導元件，該照明光導元件由透明材料形成並且具有用於通過內反射來導光的一對平行面，照明光導元件與LOE重疊部署，其中，照明佈置配置為將照明引入到照明光導元件中，從而使得照明通過在一對平行表面處反射而在照明光導元件內傳播並且通過與照明光導元件相關聯的耦出配置朝著眼睛耦出。
根據本發明的實施例的又一特徵，照明佈置與處理系統相關聯，處理系統致動照明佈置生成具有脈衝持續時間的照明脈衝，以及其中，處理系統處理從光學感測器導出的、與捕獲到的在脈衝持續時間期間入射的光對應的信號。
根據本發明的實施例的又一特徵，還提供了一種通帶濾光片，該通帶濾光片部署為阻擋在給定波長範圍之外的波長的光到達光學感測器，以及其中，照明佈置主要在給定波長範圍內產生照明。
根據本發明的實施例的又一特徵，給定波長範圍處於電磁輻射光譜的不可見區域中。
根據本發明的實施例的又一特徵，照明佈置包括多個單獨控制的照明畫素，以及其中，處理系統選擇性地致動照明畫素以選擇性地沿著與眼睛的視網膜的選定區域對應的方向照亮。
根據本發明的實施例的又一特徵，在持續追蹤眼睛注視方向期間，視網膜的選定區域是包括眼睛的視神經盤的區域。
根據本發明的實施例的又一特徵，處理系統配置為處理 來自光學感測器的信號以導出與來自眼睛的視網膜的反射對應的強度分佈的中心，從而確定眼睛的當前注視方向。
根據本發明的實施例的又一特徵，處理系統配置為處理來自光學感測器的信號以檢測眼睛的視網膜的至少一個突出特徵的位置，從而確定眼睛的當前注視方向。
根據本發明的實施例的又一特徵，處理系統配置為處理來自光學感測器的信號以追蹤眼睛的視網膜中的血管的圖案，從而確定眼睛的當前注視方向。
根據本發明的實施例的又一特徵，還提供了一種圖像投影儀，該圖像投影儀耦合至LOE以將準直圖像引入到LOE中，從而使得準直圖像經由LOE內的內反射而傳播並且通過耦入配置朝著眼睛耦出LOE。
根據本發明的實施例的又一特徵，圖像投影儀與處理系統相關聯，以及其中，處理系統致動圖像投影儀生成具有脈衝持續時間的照明脈衝，處理系統處理從光學感測器導出的、與捕獲到的在脈衝持續時間期間入射的光對應的信號。
根據本發明的實施例的又一特徵，處理系統生成脈衝以與投影的圖像的選定子部分對應，並且從而使得脈衝有助於對投影的圖像的感知。
根據本發明的實施例的又一特徵，還提供了一種支撐配置，該支撐配置用於相對於人類用戶的頭部支撐設備，從而使得LOE面向用戶的第一隻眼睛部署，該設備進一步包括：(a)第二隻眼睛光 導光學元件(LOE)，該第二隻眼睛光導光學元件(LOE)由透明材料形成並且具有用於通過內反射來導光的一對平行面，所述平行面中的一個平行面朝向用戶的第二隻眼睛部署；(b)耦入配置，該耦入配置與第二隻眼睛LOE相關聯並且配置用於將入射在所述平行面中的一個平行面上的光的一部分耦入到耦入區域內以在LOE內傳播；(c)聚焦光學器件，該聚焦光學器件與第二隻眼睛LOE相關聯並且配置用於將在LOE內傳播的多組平行光線轉換為捕獲到的光的會聚束；以及(d)第二隻眼睛光學感測器，該第二隻眼睛光學感測器部署用於感測捕獲到的光，其中，處理系統進一步與第二隻眼睛光學感測器電關聯並且被配置用於處理來自光學感測器中的兩個光學感測器的信號以導出用戶的眼睛的當前注視方向。
根據本發明的實施例的教導，還提供了一種方法，該方法包括以下步驟：(a)提供根據上述變型中任一變型的設備；以及(b)處理來自光學感測器的信號以導出眼睛的當前注視方向。
100‧‧‧設備
1001‧‧‧觀察者
1002‧‧‧外部光源
102‧‧‧圖像投影儀(圖像生成器、投影系統)
104a、104b‧‧‧平行面
105‧‧‧偏振選擇性分束器(PBS)
106‧‧‧聚焦光學器件
108‧‧‧處理系統
110‧‧‧第一LOE
115‧‧‧透鏡
117‧‧‧鏡片
120‧‧‧光導光學元件(LOE)
121‧‧‧視網膜
125‧‧‧光學感測器(攝影機)
126‧‧‧波導邊緣
140、145‧‧‧內部部分反射表面(小平面)
150‧‧‧人眼
152‧‧‧血管
155‧‧‧中央窩
157‧‧‧視神經盤(盲點)
16‧‧‧第一反射表面
16a、16b‧‧‧耦入反射器
17‧‧‧衍射光學元件
18‧‧‧圖像(照明束)
18A、18B‧‧‧樣本光線(輸入光線)
18C‧‧‧樣本光線
20‧‧‧光導光學元件
20a‧‧‧第一波導
20b‧‧‧第二波導
210、212、214、216、218、222、224‧‧‧步驟
22‧‧‧部分反射表面
22a、22b‧‧‧部分反射耦出表面
23‧‧‧衍射光學元件
26、26A‧‧‧平行面
28‧‧‧反射光線
30、32、36‧‧‧光線
302‧‧‧照明器
304‧‧‧分束器
306‧‧‧第一小平面
34‧‧‧部分反射表面
402‧‧‧光管
404‧‧‧照明光學器件
406‧‧‧分束器
408‧‧‧LCOS
410‧‧‧IR LED
412‧‧‧二向色分光鏡
48A、48B‧‧‧光線
500‧‧‧IR LED
502‧‧‧分束器
200‧‧‧眼睛
202‧‧‧強鏡面反射
204‧‧‧離軸角
250‧‧‧增強型近眼顯示器
255‧‧‧波導
600‧‧‧側臂
602‧‧‧電源
604‧‧‧電纜
A、B‧‧‧振幅
R、S、M、L‧‧‧曲線
本文僅通過示例的方式參照附圖描述了本發明的示例性實施例，其中：第1圖是上面所描述的用於近眼顯示器的採用部分反射表面的現有技術的光導光學元件的示意性側視圖。
第2A圖和第2B圖是用於第1圖的現有技術的顯示器的部分反射表面的角度選擇性反射特性的示意圖。
第3圖是上面所描述的用於近眼顯示器的採用衍射光學元件的現有技術的光導光學元件的示意性側視圖。
第4圖是上面所描述的基於與第1圖的光導光學元件類似的兩個光導光學元件的組合的現有技術的光學孔徑擴展佈置的示意性等距視圖。
第5圖是根據本發明的實施例構建並且可操作用於結合近眼顯示器追蹤人眼的注視方向的設備的部分示意性等距視圖。
第6A圖和第6B圖分別是根據第一較佳實施方式的第5圖的設備的光學架構的示意性側視圖和正視圖。
第7A圖和第7B圖分別是根據第二較佳實施方式的第5圖的設備的光學架構的示意性側視圖和正視圖。
第8圖是本發明的設備的示意圖，圖示了各種光信號和光學背景噪聲源。
第9A圖和第9B圖是分別圖示了光信號和光學背景噪聲沿著攝影機的相應光路的相繼強度損失的示意性流程圖。
第10圖是圖示了從空間上將圖像數據細分在規則圖像通道與追蹤照明通道之間的示意圖。
第11圖是圖示了從時間上將圖像數據細分在規則圖像通道與追蹤照明通道之間的示意圖。
第12圖是圖示了根據本發明的一個方面的為眼動追蹤提供選擇性照明的過程的流程圖。
第13圖是人眼的眼底的圖像，指示用於追蹤算法的各種候選特徵。
第14圖是圖示了人眼中的視杆和視錐光受體根據在穿過視神經盤的平面中與中央窩的角度而產生的數量變化的曲線圖。
第15圖是圖示了人的視網膜根據在光譜的可見光區域和紅外光區域中的波長而產生的反射率變化的曲線圖。
第16圖是圖示了人眼中的不同類型的視錐光受體和視杆光受體的波長響應性的曲線圖。
第17A圖和第17B圖分別是根據又一較佳實施方式的第5圖的設備的光學架構的示意性側視圖和正視圖。
第18A圖和第18B圖分別是根據又一較佳實施方式的第5圖的設備的光學架構的示意性側視圖和正視圖。
第18C圖是與圖示了又一變型實施方式的第18B圖類似的視圖。
第19圖是用於第5圖的設備的組合式可見光圖像投影儀和紅外光照明和成像系統的光學架構的又一示意性前視圖。
第20圖是用於第5圖的設備的組合時可見光圖像投影儀和紅外光照明和成像系統的光學架構的又一示意性前視圖。
第21A圖是人眼的示意性側視圖，圖示了不同入射角的鏡面反射和漫反射的幾何結構。
第21B圖是基於理論計算的曲線圖，圖示了來自視網膜的照明根據角度(該角度通過改變瞳孔偏移而改變)而產生的反射變化。
第21C圖是與基於實驗數據的第21B圖類似的曲線圖。
第21D圖是圖示了根據照明波長而產生的視網膜反射率變化的曲線圖。
第22圖是在角度選擇性追蹤照明的情況下，由第5圖的設備的眼動追蹤子系統導出的追蹤圖像的示意圖。
第23圖是根據提供有專用的光導光學元件來對視網膜圖像進行採樣的又一較佳實施方式的第5圖的設備的光學架構的側視圖。
本發明的實施例提供了一種用於基於經由光導光學元件之視網膜成像來追蹤人眼的注視方向的設備和對應的方法，其尤其適用於集成為近眼顯示器的一部分。
參照附圖和所附描述，可以更好地理解根據本發明的眼動追蹤設備的原理和操作。
現在參照附圖，第5圖至第23圖圖示了根據本發明的各種實施例構建並且可操作用於導出人眼150的注視方向的設備(通常標 為100)的結構和操作的各個方面。
籠統地說，在許多應用中，特別是在抬頭顯示器或者近眼顯示器的上下文中，提供用於確定用戶的注視方向的眼動追蹤佈置是有用的。用於執行眼動追蹤的一種常用方法是對眼睛的圖像進行採樣，通常用於確定圖像內的瞳孔位置，從而導出眼睛的定向。採用按照與第1圖或者第3圖的原理類似的原理工作的光導光學元件來對圖像進行採樣以便進行眼動追蹤將是特別有利的。然而，上面參照第1圖和第3圖描述的從輸入圖像到輸出圖像的一對多關系在對相反方向上的光進行採樣時引起逆向的多對一關係。具體地，在相反的方向上使用第1圖或者第3圖的孔徑倍增佈置對圖像進行採樣將對從系統的視場的不同部分入射在基板上的多條平行光線執行疊加。沿著與標記為48A的多條路徑的相反方向對應的路徑到達的光將全部被沿著光線18A的反向路徑組合成輸出光線，並且類似地，沿著光線48B的反向路徑的多條入射光線將被組合成光線18B的反向路徑。此外，如果使用會聚光學器件將通過光導光學元件捕獲到的光集中到成像感測器上，則從整個視場沿著平行光線路徑入射在基板上的所有捕獲到的光都將被組合以落在單個畫素感測器上。由於來自角膜、鞏膜、眼瞼和面部組織的表面的光通常全方位地散射光(朗伯反射)，因此，在視場中的所有表面通常將對圖像的所有畫素產生一些輻射。由於這些原因，試圖通過入射在光導光學元件上的光來分辨圖像通常將不被視為是可行的。
如現在將描述的，本發明提供了一種設備和方法，儘管 存在上述挑戰，但是已經發現該設備和方法對於通過由光導光學元件捕獲到的光來確定眼睛注視方向是有效的。具體地，本發明的某些特別較佳的實施例提供了一種用於導出人眼150的注視方向的設備100，該設備100包括：光導光學元件(LOE)120，該光導光學元件(LOE)120由透明材料形成並且具有用於通過內反射來導光的一對平行面104a、104b。LOE 102部署有面向眼睛150的平行面104a中的一個平行面104a。耦入配置，諸如，一組部分反射表面145，與LOE 120相關聯並且配置用於將入射在面104a上的光的一部分耦入到耦入區域內以在LOE內傳播。聚焦光學器件106直接或者間接地與LOE 120相關聯以接收在LOE 120內傳播的捕獲到的光並且將在LOE內傳播的多組平行光線轉換為捕獲到的光的會聚束。聚焦光學器件106較佳是集成在部署用於感測捕獲到的光的光學感測器或者“攝影機”125中。處理系統108包括至少一個處理器，處理系統108與光學感測器125電關聯並且被配置用於處理來自光學感測器125的信號以導出眼睛的當前注視方向。
耦入配置可以是使入射輻射的一部分轉向通過LOE內的內反射傳播的角度的任何耦入佈置，並且其中，每條光線具有指示對應入射光線的入射方向的方向。合適的耦入配置包括如圖所示的一組部分反射表面145和衍射光學元件。
如上面解釋的，在反向(感測器)操作模式中，將多條間隔隔開的平行入射光線組合成在LOE內傳播的單條光線是LOE的孔徑倍增配置的固有特徵。然而，對於視網膜成像，平行光線的這種組合不排除圖像的衍生。具體地，對於聚焦於遠方場景(或者等效於遠 方場景的準直投影圖像)的眼睛，目鏡以及任何矯正鏡片(若存在)生成聚焦在視網膜上的圖像。由此可見，目鏡(和矯正鏡片(若存在))有效地對從視網膜表面反射的任何光進行校準以形成遠場圖像，其中，視網膜圖像的每個特徵與一束平行光線對應。因此，當平行光線被LOE採集到、被引導到縮小的孔徑中、並且被聚焦光學器件106朝向光學感測器125聚焦時，視網膜圖像被保留下來。雖然感測到的圖像數據包括來自眼睛和周圍組織的近場外表面的大量散射光，但是近場照明在角度空間中大致均勻分佈，從而在採樣圖像中生成通常平坦的背景噪聲。只有由於視網膜反射圖像引起的調製和/或特徵才會在圖像內產生對比度，從而方便確定觀察者的當前注視方向。本發明的這些和其它特徵將通過以下詳細描述而變得更清楚。
現在具體參照第6A圖和第6B圖，示出了本發明的設備100的一種非限制性示例實施方式，在該實施方式中，通過採用光學孔徑倍增的近眼顯示佈置來執行追蹤。如圖所示的配置基於兩個光導光學元件的組合：第一LOE 110，該第一LOE 110在第一維度上擴展投影儀圖像孔徑(如在第6B圖中示出的從右到左)；以及第二LOE 120，該第二LOE 120在第二維度上擴展圖像孔徑(如此處圖示的從上到下)。圖像投影儀102通過偏振選擇性分束器(PBS)105將光(如實線箭頭描繪的)投射到LOE 110中。在此處說明的一組特別優選但非限制性的實施方式中，LOE 110是“2D波導”，這意味著其具有兩對相互正交的表面，該兩對相互正交的表面用於在圖像沿著LOE 110傳播時在兩個維度上引導圖像。LOE 120是“1D波導”，這意味著其具有限定在 一個維度上引導圖像的“平板型波導”的一對平行主表面。在如在第7A圖和第7B圖中圖示的替代實施例中，可以僅通過使用一個波導LOE 120來實施設備100。如此處說明的後一種情況採用傾斜的投影儀耦入配置。這種波導配置和耦入配置在近眼顯示器(不進行眼動追蹤)的上下文中的進一步細節可以在各種文獻中找到，包括WO 2015/162611 A1和PCT專利申請第PCT/IL2017/051028號(該申請在本申請的提交日期之前未公開，並且不構成現有技術)，其通過引用的方式全部併入本文，猶如本文對其進行了全面闡述。本文說明的示例性實施例主要是指第6A圖和第6B圖的雙波導實施方式，該實施方式是更複雜的實施方式，而對於本領域的普通技術人員而言，實施單波導實施方式的更簡單的結構所需的修改將是不言自明的。
此處將圖像從LOE 110耦出到LOE 120中示出為由相對於LOE 110的一對或者兩對平行表面傾斜部署的一系列內部部分反射表面(或者“小平面(facet)”)140來執行。如在第6A圖和第7A圖的側視圖中很好地看到的，通過使用以與該基板的平行面成傾斜角度部署的第二組內部部分反射表面(“小平面”)145來實現從第二LOE 120朝著觀察者的眼睛耦出。如本領域已知的，可以用衍射光學元件來代替在LOE中的一個或者兩個中的小平面。眼透鏡115(如果需要進行視力矯正，則借助鏡片117)對投影的圖像的耦出光進行聚焦以在視網膜120上生產聚焦圖像。
根據本發明的示例實施方式，近眼顯示系統通過存在於觀察者的視網膜上的成像圖案來獲取觀察者的眼睛的視線。經由波導 120和110來執行觀察，在這種情況下，該波導120和110是用於將圖像投影到觀察者的眼睛的相同的波導。圖案及其運動的位置指示眼睛的當前視線和運動。在第13圖中呈現的視網膜的圖像中示出了這種圖案。血管152生成可以通過由處理系統108執行的合適的圖像處理指令實施的適當標準或者專用追蹤算法來追蹤的圖案。中央窩155確定觀察方向，並且視神經盤(或者“盲點”)157是神經和血管會聚的特徵性可追蹤點。
一些光通過透鏡115從視網膜反射回來(如虛線箭頭描繪的)，有效地將這些光校準為平行光束，並且沿著由來自投影儀的光所採取的相同光路傳播回來。光的大部分丟失(如下面進一步討論的)，但是為了清楚地呈現，僅示出了對追蹤有用的部分。小平面145使反射光的一部分轉向以耦入到波導120，在小平面140處使反射光的一部分轉向以耦入到波導110，並且PBS 105將一些反射光反射到攝影機125上。在一些實施方式中，將偏振擾偏器(未示出)放置在PBS 105的前方。與投影儀102類似，將攝影機125聚焦到無限距，從而在攝影機中生成視網膜的圖像。
在第8圖中示意性地描繪了在成像過程中可能起作用的各種照明源。波導120面向觀察者1001的眼睛部署，這意味著觀察者對場景的觀察穿過波導。外部光源1002(虛線箭頭)照亮波導和觀察者。該外部光是連續的，並且作為背景輻射進入光學系統。由光學系統生成的光(實線箭頭)照亮視網膜121和觀察者的臉部。來自視網膜的反射(點劃線箭頭)是感興趣的信號，而來自非視網膜組織表面的反射 (雙點劃線箭頭)是與系統的照明模式緊密相關的附加背景輻射。系統內的任何內部散射都具有與從觀察者的臉部散射的光相同的特點。
所有的背景照明都會引起降低視網膜圖像質量的噪聲。為了減少外部照明源1002的影響，根據本發明的一個方面，使用較短的光脈衝(較佳是低於1ms)，並且使攝影機同步以僅在該短照明持續時間期間對光進行整合。按照這種方式，大大地抑制了連續背景照明。此外，或者可替代地，可以將通帶濾光片部署為阻擋在生成有眼動追蹤照明的給定波長範圍之外的波長的光到達光學感測器。
之後是估計由照明反射(第8圖中的雙點劃線箭頭)引起的背景光以導出進行眼睛檢測所需的光量。除了如申請專利範圍中明確敘述的之外，這種估計以及對本文提出的操作原理和計算值的所有其它討論的提出僅僅是為了提供對本發明的更全面的理解，而不以任何方式限制本發明。具體地，在後來可能發現此處提出的任何具體計算或者值不準確或者錯誤的情況下，這種事實不會否定如本文描述的本發明的效用。
正常的背景表面將光反射到pi球面度(假設該表面是生成接近朗伯反射的反射光分佈的低光澤表面)，而瞳孔生成與經常在閃光攝影中觀察到的“紅眼”效應對應的方向反射，從而將從光學系統接收到的光反射回光學系統中。因此，從視網膜接收到的光的強度比等效的背景表面強。此外，來自視網膜的圖像聚焦在攝影機125的圖像平面處，而來自附近的“背景”表面的照明則不是聚焦在攝影機125的圖像平面處。這提高了將視網膜的圖像與從背景導出的圖像內容區分開 來的能力。
第9A圖和第9B圖描繪了從眼睛到追蹤攝影機125並且用於背景照明的返回路徑的光能損失。在明亮的光線下人眼的瞳孔大約為4mm2，而眼框(圖像可見的區域，與由系統照亮並且生成背景反射的區域對應)可以是大約400mm2。假設對於信號和背景兩者，照明量和散射係數大致相同，則反射的背景與信號的比率是R=2×100=200(假設在眼框內的外部組織的反射率可以是視網膜組織的反射率的大致兩倍)。下面的等式示出了假設散粒噪聲有限的攝影機的預定義SNR的所需信號：背景=信號×R
信號=SNR 2×R
因此，對於為5的所需SNR，所需的光子數量為：信號=SNR2×R=52×200=5000[光電子/幀/特徵]，其中，‘特徵’可以是要利用定義的SNR來檢測的畫素或者圖案。
在該計算中，假設沒有其它背景光進入系統。因此，根據本發明，波導邊緣(第1圖中的126)較佳是具有吸收性的或者在吸收外殼內。這確保了背景輻射在其在光波導中傳播時按照與來自視網膜的信號相同的方式丟失能量，並且不獲得能量。
在一個非限制性示例中，沿著光學系統的能量透射率可以近似如下：●20%經由其中一個小平面145耦合到波導120中， ●50%沿著波導120透射(透射過附加小平面145等)，●20%經由小平面140耦合到較上方的波導110(若存在)中，●50%沿著波導110透射，●50%耦合到攝影機125中，諸如，經由PBS105，●攝影機125的50%光透射和量子效率。
所有上述結果估計為2.5e-3透射率。其它降解因子(諸如，調製傳遞函數(MTF)和內部散射)可以近似為10的另一因子，得到2.5e-4透射率。
在波導110不存在的實施例中，透射率較高，並且通過使用上述估計，透射率大約為2.5e-3。
由此可見，在每個幀的積分時間期間，眼睛應該接收大約5000/2.5e-4=2e7個光子。對於3e-19J(紅色)的光子能量，在1ms的積分時間內大約為6e-12[J/積分時間/特徵]或者6[nW/特徵]這是實際照明強度。
如在下面進一步討論的本發明的某些實施方式中提出的，如果只照亮了視網膜的選定部分(以及到達眼眶的其它區域的射線的對應選定方向)，則顯著減少背景散射。
應該注意確保眼動追蹤照明不會中斷觀察者對投影的虛擬圖像的感知。可以使用若干方法來避免中斷顯示的圖像，包括以下中的一種或者多種：●採用低強度；●將追蹤照明組合為投影的圖像的一部分； ●針對視網膜的不敏感或者不相關區域進行選擇性追蹤照明；●選擇追蹤照明波長以與眼睛不敏感但是光學器件可以透射並且攝影機可以檢測的波長一起工作。
現在將單獨地提出這些方法中的每一種方法：低強度：根據該方法，優選使用高靈敏並且具有低內部噪聲的攝影機，從而即使在低照明強度下也能夠以良好的SNR有效地對視網膜成像。這允許使用足夠低強度的追蹤照明，使得觀察者不會注意到該照明。強度應該仍然滿足上面概述的SNR計算。
組合照明：可以將眼動追蹤照明合併為投影的圖像的一部分。照明可以發生在圖像投影期間或者在如在第10圖中描繪的單獨的時隙中。在該示例中，在時隙“a”期間，圖像投影儀對具有缺失或者抑制區域的圖像進行投影。該照明可以是相對較長的持續時間，例如，大約10ms。在時隙“b”期間，除了完成圖像投影之外，按照比較長脈衝更高的強度，照亮補充圖像作為短脈衝，例如，大約1ms的持續時間，並且用作眼動追蹤照明。右側的圖像表示整合了兩個照明時段的大腦所感知的內容。補充圖像可以是任何一種分色或者顯示顏色的組合，並且位於任何選擇的位置或者圖像內的位置。下面描述了這種照明的“模式控制”的一個較佳示例。
應該注意，第10圖的表示涉及投影儀的圖像平面和形成在視網膜上的圖像。在波導內並且在眼框內離開波導的光中，每個畫素與具有特定角度方向的寬準直束對應。對如在第10圖中示意性地圖示的選擇性模式(時隙“b”)的使用與在視場內的少量選擇的角度方向 上的照明對應。
照明模式控制：具體地，在圖像生成器102(在第6B圖或者第7B圖中)用於生成眼動追蹤照明的情況下，可以方便地控制視網膜上的照明模式，從而僅照亮感興趣的區域並且減少對感知到的圖像的中斷。為此，應該將照明的時間順序與圖像投影定時相結合。在第11圖中描繪了這種實施方式的時間管理的示例。在某些實施方式中，按順序啟動一組光源以生成所有顏色。當每個光源亮起時，調製矩陣(LCOS、LCD或者MEMS)生成這種顏色的所需圖像。如觀察者的視網膜上的細胞感知到的，將單獨的源組合成快速序列以及對每個畫素的調製生成了圖像中的每個畫素所需的顏色。根據本發明的某些實施方式，將附加時隙引入到照明序列中(標記為‘眼動追蹤器脈衝’)。在該時隙中，啟動源(顏色)中的一個或者源的組合、和/或專用眼動追蹤波長源(下面會討論)作為短脈衝，並且其照明模式由調製器確定以便只照亮視網膜的所需部分。處理系統108致動眼動追蹤攝影機125僅在該脈衝時間期間對光電子進行整合。
該選擇的照明模式顯著降低了背景噪聲，這是因為要追蹤的視網膜的選定區域被完全照亮，但是，根據圖像中“活躍的”畫素的比例，減少分散輸送至眼框區域的總輻射量。
照明模式可以僅集中在視網膜上的特定興趣點處，例如，在具有特徵性血管圖案但是對光的敏感度最小的視神經盤(第13圖中的“盲點”157)處。計算觀察者的實際視線，作為與該點的角度偏移。在第12圖中描繪了導出並且追蹤實際視線的非限制性但特別優選 的過程。前三個步驟是映射視網膜圖案和確定追蹤特徵的初始設置過程，而後續步驟表示連續追蹤過程。具體地，在步驟210中，向觀察者顯示圖像標記以供觀察者在初始化期間查看。當觀察者看著標記時，眼底(視網膜的可見光部分)被短脈衝完全照亮(步驟212)並且獲得眼底的完整圖像。然後由處理系統108處理該圖像以識別可追蹤特徵，通常包括視神經盤和中央窩(步驟214)。對眼睛方向的持續追蹤然後如下進行。通常，通過上面參照第10圖和第11圖描述的照明順序來選擇性地照亮所選擇的感興趣的區域(ROI)(步驟216)，並且在對應的照明脈衝期間對圖像進行採樣(步驟218)。處理所產生的圖像以確定當前視線(步驟222)，並且使用該導出的視線來更新感興趣的區域的位置(步驟224)以便隨後循環照明週期，並且追蹤過程返回至步驟216。假設與眼睛的運動速度相比較，追蹤測量的頻率較高，則該更新過程通常對維持連續追蹤有效，可選地，與來自另一隻眼睛的追蹤信息相結合。隨著視線的方向改變，照明區域也改變。可以根據如通過最後的採樣圖像確定的“當前”注視方向來執行對感興趣的區域的更新，或者在某些情況下，可以基於在前兩次或者更多次測量之間的眼睛運動來使用預測性外插。在追蹤失敗的情況下，可以暫時增加被照亮區域的大小，直到恢復可追蹤特徵。
根據本發明的某些特別優選的實施方式，複製眼動追蹤佈置以便同時追蹤對象的兩隻眼睛。通過組合來自兩個眼動追蹤器的數據，或許可以實現增強的追蹤穩定性和連續性。例如，當眼睛正在移動時，視神經盤157在一隻眼睛中可以對追蹤器可見，而在另一隻眼 睛中不可見。如果使用了採用追蹤盲點的追蹤算法，則對兩隻眼睛的同時追蹤允許在只有一個眼動追蹤器可以追蹤盲點的週期內連續維持追蹤。
波長選擇：參照第14圖至第16圖，光譜靈敏度也可以用於在進行眼動追蹤照明期間最小化對眼睛的刺激。如在第14圖中圖示的，視杆細胞主要負責周邊視覺並且不存在於中央窩中。如在第16圖中通過曲線‘R’示出的，視杆細胞對紅色(620納米以上)相對不敏感。存在於周邊區域中的數量減少的視錐對低光級的敏感度比視杆小得多。因此，根據本發明的某些實施方式，較佳的是，用紅光來照亮周邊視網膜(即，除了中央窩之外)以便進行眼動追蹤。
從第15圖中的曲線可知，來自視網膜的反射在紅外光中比在可見光波長處高得多。在700nm處，反射幾乎是在可見紅光中的反射的兩倍。因此，採用在可見-紅外光的邊緣處的波長(在650nm與750nm之間，並且最優選地，在680nm與720nm之間)可能是有利的，這是因為減少了在光學系統內的散射，並且波導的光學塗層具有與可見光中幾乎相同的反射率，而眼睛對這些波長不敏感。
較長波長(例如，900nm)具有比可見光範圍中高達6倍的反射率，並且可以根據本發明來使用。然而，這需要優化光學塗層以確保各種表面的所需反射率也適合於眼動追蹤器波長。在紅外光照明使用眼動追蹤器的情況下，存在用於提供紅外光照明的各種選項。在使用接近可見光波長的近紅外光波長的情況下，可以在常規的可見光圖像投影佈置中將紅外光照明組合為第四種“顏色”，例如，通過使 用LCOS調製器。如果紅外光的較長波長需要模式化照明，則數字光處理(DPL)裝置通常是優選的。對於非模式化照明，通常獨立於圖像投影儀提供專用照明源。第17A圖至第20圖圖示了根據本發明的將IR照明併入光學系統的設備的某些實施選項。
首先參照第17A圖和第17B圖，涉及通過將近紅外光源集成到可見光圖像投影儀佈置中作為額外的“顏色”來輸送近紅外光照明的實施方式。未示出投影儀的細節，但是對於本領域的普通技術人員而言，投影儀的細節將是不言自明的。在這種情況下，將眼睛檢測攝影機放置位與上波導110相鄰，從而使得不需要第16圖B的PBS 105。該配置基於LOE 110中的內部小平面140向上耦合從左到右傳播的光的事實。在該配置中，可以引入偏振器126，以最小化散射的穿透。
第18A圖和第18B圖圖示了又一配置，在該配置中，具有與圖像投影儀102(可以是IR或者VIS，以下稱為IR)的輸出不同的波長的光源302通過分束器304(該分束器304可以是，例如，50/50分束器或者PBS)來將光透射到波導110中。第一小平面306設計為透射來自圖像投影儀102的全部或者大部分可見光，但卻反射眼動追蹤器的IR光。IR照明光如在第6A圖和第6B圖中描述的那樣傳播到眼睛並且返回。然後被306反射到分束器304並且被傳遞至成像攝影機125。
在18C圖中，返回的光(虛線箭頭)通過波導110的透射被直接反射到成像攝影機125，而不被該波導反射和引導。這可能需要更寬的接收光學器件(與在諸如第7A圖和第7B圖中的單個波導投影佈置中使用的佈置類似)和/或可以具有比投影儀小的接收眼框。如下面 參照第21A圖至第21C圖進一步討論的，更小的眼框通常是可接受的，因為(與圖像投影儀不同)來自眼睛的反射可以處於離軸角度。照明可以來自圖像投影儀或者來自如圖所示的專用照明器302。
第19圖示意性地示出了用於引入IR照明以及可見光(VIS)圖像投影的投影系統102的可能實施方式的進一步細節。來自VIS LED 400的光穿過光管402(用於增強均勻性的可選特徵)，穿過照明光學器件404，穿過分束器406並且照到LCOS 408上。如果LCOS對於每個畫素已經嵌入了濾色片，則系統中不存在光管，並且照明是由白色的VIS LED產生的。通過二向色分光鏡412來引入用於眼動追蹤的IR LED 410。IR LED按順序亮起或者與VIS LED同時亮起。
第20圖圖示了與在第6B圖中示出的配置對應的又一選項。在這種情況下，102是圖像投影光學器件(未詳細示出)，並且105是分束器。然而，在這種情況下，105較佳是透射來自投影儀的可見光，但卻將IR光反射到眼動追蹤系統和從眼動追蹤系統反射IR光的二向色分束器。顯然，具有相反特性的二向色分束器可以用於構建在透射方向上具有IR追蹤系統的等效配置。
用於眼動追蹤系統的IR照明由IR LED 500生成，光穿過分束器502(該分束器502可以是50/50分束器或者PBS)照射到二向色分束器105上並且反射到波導(與分束器105相鄰但是在該附圖中未示出)上。反射光(虛線箭頭)沿著反向路徑並且穿過分束器502照射到IR攝影機125上。
雖然到目前為止是在追蹤視網膜的詳細特徵的實施方 式中進行描述，但是本發明的某些實施方式採用替代追蹤技術。如在第21B圖和第21C圖中圖示的，來自視網膜的反射通常包括鏡面反射分量和漫射。圖21中的眼睛200的簡化模型示出了垂直照射在視網膜201的中心上的軸上光線。強鏡面反射202通過入射瞳孔反射，因此，該反射從外部被強烈地檢測到。然而，當光以離軸角204照射到視網膜上時，鏡面反射206不離開瞳孔，並且只有被除去的反射才離開瞳孔(標記為虛線箭頭)。這是從外部會檢測到的弱得多的信號。
第21B圖的曲線示意性地示出了組合式反射強度。鏡面反射分量(表徵為可變振幅A)是角度相關的(此處描述為瞳孔位置)，而漫反射大致是恒定的(表徵為振幅B)。第21C圖和第21D圖的曲線示出了反射的分量的實驗測量和波長依賴性。根據這些實驗，反射的半高全寬(FWHM)大約是2mm的瞳孔移位，與大致~10°對應。檢測的實際分辨率可以近似為：DθFWHM/SNR
由於SNR可以在10至100的範圍內，因此，眼睛定向分辨率可以是1°至0.1°。已知用於進行精確定位檢測的信號處理，並且在應用光學49卷，期號17，第3330至3337頁(2010)，Y.Danziger的論文“Sampling-balanced imaging system using whitening matching filter”中描述了示例。
因此，應該理解，本發明的從眼睛返回到波導中的反射的強度的包絡將受到角度限制。本發明的某些實施方式使用該特點來確定眼睛的定向(獨立於模式檢測)。
根據本發明的這個方面，優選地照亮整個視場，而只有一部分被眼睛反射。第22圖示意性地描繪了反射場，在該反射場中，圓圈表示視網膜的強鏡面反射，而周圍則被較弱地反射。因此，視網膜圖案在該圓圈內將是非常明顯的，在外面則不那麼明顯(如虛線描繪的)。根據本發明，眼睛的定向將被視為圖案和高反射的“包絡”的移動。
與先前討論的通常需要大量感測器矩陣的模式檢測不同，此處描述的這種包絡檢測需要的分辨率低得多，並且可以通過使用四象限或者“正交”檢測器或者小於104個畫素並且通常不多於50×50個畫素的低畫素計數檢測器(諸如，在光學計算機鼠標中是常見的)來執行。對於這組實施方式，在一些情況下，將光學感測器125部署成稍微偏離聚焦光學器件106的焦平面以使圖像稍微散焦可能是有利的，由此減少了或者避免了與畫素化有關的效應。感測器元件的數量減少允許使用高速圖形處理，這又有助於追蹤過程的響應速度。雖然到目前為止描述的示例已經將眼動追蹤照明和成像組合了在單個波導中，但是應該注意，在一些情況下，將這兩種功能分離在兩個分開的波導之間可能是有利的。具體地，在某些情況下，存在以下風險：在眼動追蹤器照明到達眼睛之前，眼動追蹤器照明的內部散射可能會導致足夠的後向散射輻射而使接收攝影機飽和。避免這個問題的一種方法是最小化發射波導中的照明的後向散射，諸如，通過在波導的表面上引入平滑塗層或者玻璃層。在第23圖中示意性地圖示了替代方法，其中，發射和接收功能被細分在兩個波導之間。
具體地，在第23圖的示例性實施例中，增強型近眼顯示器250可以是輸送圖像、照亮眼睛的任何類型的顯示器。在該側視圖中，示出了採用2D波導和1D波導的組合，全部都基於部分反射小平面，但是上面提到的所有附加選項也適用於此。在該圖中，點劃線箭頭表示可能使組合的發射機/接收器波導飽和的一個散射點(可以有很多)。
依照慣例，照明可以利用可見光照明或者通過IR波長提供。在此處說明的實施方式中，通過與照明光導元件不同的平行波導255(在側視圖中示出)採集來自眼睛的反射光。在這種情況下，如上面描述的，兩個光導光學元件都由透明材料形成，並且具有一對平行面，該一對平行面用於通過內反射來導光，並且這兩個光導光學元件面向觀察者的眼睛重疊部署。反射光(如虛箭頭描繪的)穿過照明波導250(無論如何都實施為大部分是透明的，以允許觀察者看到真實世界)並且進入接收器波導255。該波導也大部分是透明的，但是還包括用於將輻射的一部分耦合到波導中的耦合機構(小平面或者衍射機構)。反射圖像在該波導255內傳播並且由接收器採集，其方式與先前針對組合式系統描述的方式大致相同。
簡要地參考回第5圖，根據此處圖示的具體非限制性實施方式，雖然諸如頭盔安裝等其它形狀因子也明顯地落入本發明的範圍內，但是以具有用於接合觀察者的耳朵的側臂600的眼鏡形狀因子來實施設備100。如本領域已知的，可以通過使用任何合適類型的處理硬件和/或軟件來實施處理系統108，包括但不限於：各種專用圖形處理 器、顯示驅動器、和在任何合適的操作系統下工作並且實施合適的軟件或者固件模塊的通用處理器的任何組合。處理系統108通常還包括各種易失性數據存儲裝置和用於允許與LAN和/或WAN裝置進行有線或者無線通信以便雙向傳遞信息和圖形內容的各種通信組件。通過合適的電源來對該設備供電，該合適的電源可以是電池和/或提供的外部電源的任何組合，此處示意性地圖示為經由電纜604連接的電源602。在使用電池電源的情況下，可以將電池集成為眼鏡或者頭盔安裝結構的一部分。
要注意，本發明的眼動追蹤從根本上確定了眼睛的角度定向(即，注視方向或者“視線”)，但是在大多數實施例中，對眼睛相對於設備的空間位置基本上不敏感，只要眼睛保持在LOE覆蓋範圍的有效眼框內即可。同樣，該設備對於眼鏡型或者其它頭戴式裝置和/或其它可穿戴裝置顯示出絕佳的優點，對於這類設備，在使用期間確保系統與頭部、和/或與系統可以相對於眼睛稍微移動的地方精確且可重複的對準並非總是可行的。
如上面提到的，雖然此處圖示為眼鏡結構的一側的部分視圖，但是整個裝置可以提供單眼或者雙眼圖像投影和追蹤，其中，雙眼對於圖像投影和追蹤都是特別優選的。在設備是雙眼設備的情況下，如上面討論的，這兩個追蹤系統可以可選地共享各種處理和電源組件，並且優選地將追蹤信息融合在一起以提供增強的追蹤穩定性和連續性。就所附申請專利範圍已經被起草而不具有多重依賴性而言，這只是為了適應不允許這種多重依賴性的管轄權的形式要求。 應該注意，明確地設想了將通過呈現申請專利範圍來暗示的特徵的所有可能組合並且應該將其視為本發明的一部分。
要瞭解，以上描述僅旨在用作示例，並且在所附申請專利範圍中限定的本發明的範圍內，許多其它實施例都是可能的。

Claims (21)

  1. 一種用於導出人的眼睛的注視方向的設備，該設備包括：(a)一光導光學元件，該光導光學元件由透明材料形成並且具有用於通過內反射來導光的一對平行面，所述平行面中的一個平行面面向該眼睛部署；(b)一耦入配置，該耦入配置與該光導光學元件相關聯並且配置用於將入射在所述平行面中的一個平行面上的光的一部分耦入到一耦入區域內以在該光導光學元件內傳播；(c)聚焦光學器件，該聚焦光學器件與該光導光學元件相關聯並且配置用於將在該光導光學元件內傳播的多組平行光線轉換為捕獲到的光的會聚束；(d)一光學感測器，該光學感測器部署用於感測該捕獲到的光；以及(e)一處理系統，該處理系統包括至少一個處理器，該處理系統與該光學感測器電關聯並且被配置用於處理來自該光學感測器的信號以導出該眼睛的當前注視方向；其中，該耦入配置被配置為生成在該光導光學元件內傳播的光線，每條光線具有指示對應入射光線的入射方向的方向，以及其中，將多條間隔隔開的平行入射光線組合成在該光導光學元件內傳播的單條光線。
  2. 如申請專利範圍第1項所述的設備，其中，該耦入配置包括在該光導光學元件內傾斜於該平行面部署的多個部分反射表面。
  3. 如申請專利範圍第1項所述的設備，其中，該耦入配置包括與所述平行面中的一個平行面相關聯的衍射光學元件。
  4. 如申請專利範圍第1項所述的設備，其中，該光學感測器包括四象限感測器。
  5. 如申請專利範圍第1項所述的設備，其中，該光學感測器包括畫素感測元件的陣列，以及其中，該處理系統處理來自不超過大約104個畫素感測元件的輸出。
  6. 如申請專利範圍第1項所述的設備，其進一步包括照明佈置，該照明佈置部署為從該耦入區域的方向照亮該眼睛。
  7. 如申請專利範圍第6項所述的設備，其中，該照明佈置配置為將照明引入到該光導光學元件中，從而使得該照明通過在該一對平行表面處反射而在該光導光學元件內傳播並且通過該耦入配置朝著該眼睛耦出。
  8. 如申請專利範圍第6項所述的設備，其中，其進一步包括照明光導元件，該照明光導元件由透明材料形成並且具有用於通過內反射來導光的一對平行面，該照明光導元件與該光導光學元件重疊部署，其中，該照明佈置配置為將照明引入到該照明光導元件中，從而使得該照明通過在該一對平行表面處反射而在該照明光導元件內傳播並且通過與該照明光導元件相關聯的耦出配置朝著該眼睛耦出。
  9. 如申請專利範圍第6項所述的設備，其中，該照明佈置與該處理系統相關聯，該處理系統致動該照明佈置生成具有一脈衝持續時間的照明脈衝，以及其中，該處理系統處理從該光學感測器導出的、與捕獲到的在該脈衝持續時間期間入射的光對應的信號。
  10. 如申請專利範圍第6項所述的設備，其進一步包括通帶濾光片，該通帶濾光片部署為阻擋在給定波長範圍之外的波長的光到達該光學感測器， 以及其中，該照明佈置主要在該給定波長範圍內產生照明。
  11. 如申請專利範圍第10項所述的設備，其中，該給定波長範圍處於電磁輻射光譜的不可見區域中。
  12. 如申請專利範圍第6項所述的設備，其中，該照明佈置包括多個單獨控制的照明畫素，以及其中，該處理系統選擇性地致動該照明畫素以選擇性地沿著與該眼睛的視網膜的選定區域對應的方向照亮。
  13. 如申請專利範圍第12項所述的設備，其中，在持續追蹤該眼睛注視方向期間，該視網膜的該選定區域是包括該眼睛的視神經盤的區域。
  14. 如申請專利範圍第1項所述的設備，其中，該處理系統配置為處理來自該光學感測器的信號以導出與來自該眼睛的視網膜的反射對應的強度分佈的中心，從而確定該眼睛的當前注視方向。
  15. 如申請專利範圍第1項所述的設備，其中，該處理系統配置為處理來自該光學感測器的信號以檢測該眼睛的視網膜的至少一個突出特徵的位置，從而確定該眼睛的當前注視方向。
  16. 如申請專利範圍第1項所述的設備，其中，該處理系統配置為處理來自該光學感測器的信號以追蹤該眼睛的視網膜中的血管的圖案，從而確定該眼睛的當前注視方向。
  17. 如申請專利範圍第1項所述的設備，其中，其進一步包括圖像投影儀，該圖像投影儀耦合至該光導光學元件以將準直圖像引入到該光導光學元件中，從而使得該準直圖像經由該光導光學元件內的內反射而傳播並且通過該耦入配置朝著該眼睛耦出該光導光學元件。
  18. 如申請專利範圍第17項所述的設備，其中，該圖像投影儀與該處理系統 相關聯，以及其中，該處理系統致動該圖像投影儀生成具有脈衝持續時間的照明脈衝，該處理系統處理從該光學感測器導出的、與捕獲到的在該脈衝持續時間期間入射的光對應的信號。
  19. 如申請專利範圍第18項所述的設備，其中，該處理系統生成該脈衝以與投影的圖像的選定子部分對應，並且從而使得該脈衝有助於對該投影的圖像的感知。
  20. 如申請專利範圍第1項所述的設備，其進一步包括支撐配置，該支撐配置用於相對於人類用戶的頭部支撐該設備，從而使得該光導光學元件面向該用戶的第一隻眼睛部署，該設備進一步包括：(a)第二隻眼睛光導光學元件，該第二隻眼睛光導光學元件由透明材料形成並且具有用於通過內反射來導光的一對平行面，所述平行面中的一個平行面朝向該用戶的第二隻眼睛部署；(b)耦入配置，該耦入配置與該第二隻眼睛光導光學元件相關聯並且配置用於將入射在所述平行面中的一個平行面上的光的一部分耦入到耦入區域內以在該光導光學元件內傳播；(c)聚焦光學器件，該聚焦光學器件與該第二隻眼睛光導光學元件相關聯並且配置用於將在該光導光學元件內傳播的多組平行光線轉換為捕獲到的光的會聚束；以及(d)第二隻眼睛光學感測器，該第二隻眼睛光學感測器部署用於感測該捕獲到的光，其中，該處理系統進一步與該第二隻眼睛光學感測器電關聯並且被配置用於處理來自該光學感測器中的兩個光學感測器的信號以導出該用戶的該 眼睛的當前注視方向。
  21. 一種方法，該方法包括以下步驟：(a)提供任一前述請求項所述的設備；以及(b)處理來自該光學感測器的信號以導出該眼睛的當前注視方向。
TW107100088A 2016-12-31 2018-01-02 基於經由光導光學元件之視網膜成像的眼動追蹤器 TWI759395B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662441205P 2016-12-31 2016-12-31
US62/441,205 2016-12-31

Publications (2)

Publication Number Publication Date
TW201831953A true TW201831953A (zh) 2018-09-01
TWI759395B TWI759395B (zh) 2022-04-01

Family

ID=62707970

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100088A TWI759395B (zh) 2016-12-31 2018-01-02 基於經由光導光學元件之視網膜成像的眼動追蹤器

Country Status (8)

Country Link
US (3) US20190056600A1 (zh)
EP (1) EP3397137B1 (zh)
JP (1) JP7274724B2 (zh)
KR (1) KR102296369B1 (zh)
CN (2) CN115145023B (zh)
IL (1) IL260969B (zh)
TW (1) TWI759395B (zh)
WO (1) WO2018122859A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113330348A (zh) * 2019-01-24 2021-08-31 鲁姆斯有限公司 包括具有三阶段扩展的loe的光学系统
CN113439230A (zh) * 2019-05-06 2021-09-24 鲁姆斯有限公司 用于观看场景的透明光导和近眼显示器
TWI747117B (zh) * 2019-12-25 2021-11-21 大陸商常州欣盛半導體技術股份有限公司 一種眼球追蹤感測器的線路結構及其加工方法

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
AU2017301074B2 (en) 2016-10-09 2022-02-03 Lumus Ltd Aperture multiplier using a rectangular waveguide
RU2763850C2 (ru) 2016-11-08 2022-01-11 Люмус Лтд Световодное устройство с краем, обеспечивающим оптическую отсечку, и соответствующие способы его изготовления
US11500143B2 (en) 2017-01-28 2022-11-15 Lumus Ltd. Augmented reality imaging system
WO2018154576A1 (en) 2017-02-22 2018-08-30 Lumus Ltd. Light guide optical assembly
KR20230025946A (ko) 2017-03-22 2023-02-23 루머스 리미티드 중첩 파셋
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
WO2019016813A1 (en) 2017-07-19 2019-01-24 Lumus Ltd. LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT
CN111183393B (zh) 2017-09-29 2024-03-19 鲁姆斯有限公司 增强现实显示器
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
CN111133362B (zh) 2017-10-22 2021-12-28 鲁姆斯有限公司 采用光具座的头戴式增强现实设备
KR102570722B1 (ko) 2017-11-21 2023-08-24 루머스 리미티드 근안 디스플레이용 광학 조리개 확장 배열
WO2019106637A1 (en) 2017-12-03 2019-06-06 Lumus Ltd. Optical device alignment methods
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
WO2019135169A1 (en) 2018-01-02 2019-07-11 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
WO2019197959A1 (en) 2018-04-08 2019-10-17 Lumus Ltd. Optical sample characterization
CN112119346B (zh) 2018-05-14 2022-08-19 鲁姆斯有限公司 用于近眼显示器的具有细分光学孔径的投影仪配置和相应的光学系统
WO2019220386A1 (en) 2018-05-17 2019-11-21 Lumus Ltd. Near-eye display having overlapping projector assemblies
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN112119345A (zh) 2018-05-23 2020-12-22 鲁姆斯有限公司 包括具有部分反射内表面的光导光学元件的光学系统
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
CN112313499A (zh) 2018-06-21 2021-02-02 鲁姆斯有限公司 光导光学元件（loe）的板之间折射率不均匀性的测量技术
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
CN112424670B (zh) 2018-07-16 2023-01-17 鲁姆斯有限公司 采用偏振内反射器的光导光学元件
EP3826528A4 (en) * 2018-07-25 2022-07-27 Natus Medical Incorporated REAL TIME REMOVAL OF IR LED REFLECTIONS FROM AN IMAGE
US11543583B2 (en) 2018-09-09 2023-01-03 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
CN112969955B (zh) 2018-11-08 2023-05-26 鲁姆斯有限公司 具有二向色分束器颜色组合器的光学装置和系统
KR20200001026U (ko) 2018-11-11 2020-05-21 루머스 리미티드 인터미디어트 윈도우를 구비한 근거리 디스플레이 장치
EP3911982B1 (en) * 2019-01-20 2023-07-05 Lumus Ltd. Optical device testing method and apparatus
RU2700373C1 (ru) * 2019-02-05 2019-09-16 Самсунг Электроникс Ко., Лтд. Система слежения за поворотом глаза
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
KR102651647B1 (ko) 2019-03-12 2024-03-26 루머스 리미티드 이미지 프로젝터
EP3733139A1 (en) * 2019-05-02 2020-11-04 Gensight Biologics Viewing apparatus and method for projecting a light signal
US11927872B2 (en) 2019-06-23 2024-03-12 Lumus Ltd. Display with foveated optical correction
CA3137994A1 (en) 2019-06-27 2020-12-30 Lumus Ltd Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
CA3145818C (en) * 2019-07-04 2023-12-12 Lumus Ltd. Image waveguide with symmetric beam multiplication
CN110488335B (zh) * 2019-08-13 2021-11-23 Oppo（重庆）智能科技有限公司 基于可见光通信的导航方法及系统
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
EP4053677A4 (en) * 2019-10-30 2023-11-01 Imatrix Holdings Corp. EYE CONTACT DETECTION DEVICE
KR20240008402A (ko) 2019-11-25 2024-01-18 루머스 리미티드 도파관의 표면을 폴리싱하는 방법
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
AU2020395978A1 (en) 2019-12-05 2022-06-16 Lumus Ltd. Light-guide optical element employing complementary coated partial reflectors, and light-guide optical element having reduced light scattering
EP4042232A4 (en) 2019-12-08 2022-12-28 Lumus Ltd. OPTICAL SYSTEMS WITH COMPACT IMAGE PROJECTOR
WO2021137228A1 (en) * 2019-12-30 2021-07-08 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
KR20220116224A (ko) * 2019-12-30 2022-08-22 루머스 리미티드 광 도파관을 채용하는 검출 및 거리 측정 시스템
US20220397766A1 (en) * 2020-02-24 2022-12-15 Lumus Ltd. Mixed reality combiner
WO2021188926A1 (en) * 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
WO2022117355A1 (en) * 2020-12-04 2022-06-09 Ams International Ag Display device and method for operating a display device
EP4226205A1 (en) * 2020-12-06 2023-08-16 Lumus Ltd. Optical system including selective illumination
WO2022130372A1 (en) * 2020-12-17 2022-06-23 Lumus Ltd. Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
KR20220117548A (ko) * 2021-02-17 2022-08-24 삼성전자주식회사 시선 추적 방법 및 전자 장치
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
JP2024510870A (ja) 2021-03-01 2024-03-12 ルムス エルティーディー． プロジェクタから導波路へのコンパクトな結合を有する光学システム
JP7093591B1 (ja) 2021-03-24 2022-06-30 株式会社Ｑｄレーザ 画像投影装置
EP4232868A4 (en) * 2021-05-19 2024-04-17 Lumus Ltd ACTIVE OPTICAL ENGINE
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
EP4242725A1 (en) 2022-03-09 2023-09-13 TriLite Technologies GmbH Display device
WO2023224878A1 (en) * 2022-05-16 2023-11-23 Apple Inc. Eye tracking using camera lens-aligned retinal illumination

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) * 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
DE19713138A1 (de) * 1997-03-27 1998-10-01 Zeiss Carl Jena Gmbh Anordnung zur Ermittlung optisch relevanter Daten des Auges
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
US6154321A (en) 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
US6580529B1 (en) * 1998-04-02 2003-06-17 Elop Electro -Optics Industries Ltd. Holographic optical devices
JP2003520984A (ja) 1999-10-14 2003-07-08 ストラトス プロダクト ディヴェロップメント エルエルシー 仮想画像システム
WO2001095027A2 (en) * 2000-06-05 2001-12-13 Lumus Ltd. Substrate-guided optical beam expander
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
ITTO20020625A1 (it) * 2002-07-17 2004-01-19 Fiat Ricerche Guida di luce per dispositivi di visualizzazione di tipo "head-mounted" o "head-up"
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US7573640B2 (en) * 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
FR2903503B1 (fr) 2006-07-06 2009-06-12 Essilor Int Lentille ophtalmique a insert optique integre destine a permettre la projection d'informations
US7394841B1 (en) * 2007-01-18 2008-07-01 Epicrystals Oy Light emitting device for visual applications
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
KR20110050929A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
US20130094712A1 (en) 2010-07-16 2013-04-18 Amir Said Systems and methods for eye tracking using retroreflector-encoded information
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US8939579B2 (en) * 2011-01-28 2015-01-27 Light Prescriptions Innovators, Llc Autofocusing eyewear, especially for presbyopia correction
JP4926300B1 (ja) * 2011-06-10 2012-05-09 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
TW201300834A (zh) * 2011-06-23 2013-01-01 Seereal Technologies Sa 顯示裝置，尤其是頭戴式顯示器或護目鏡
US8519607B2 (en) 2011-06-28 2013-08-27 Federal-Mogul Ignition Company Spark plug electrode configuration
TW201302600A (zh) 2011-07-04 2013-01-16 Univ Nat Taiwan Science Tech 矽奈米線陣列之製作方法
US20130021226A1 (en) 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US8917453B2 (en) * 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US9720232B2 (en) * 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
US9297996B2 (en) 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
JP5960799B2 (ja) 2012-03-28 2016-08-02 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
US10627623B2 (en) * 2012-05-03 2020-04-21 Nokia Technologies Oy Image providing apparatus, method and computer program
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10209517B2 (en) * 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
JP6369017B2 (ja) 2013-12-03 2018-08-08 セイコーエプソン株式会社 虚像表示装置
JP6349704B2 (ja) 2013-12-06 2018-07-04 セイコーエプソン株式会社 虚像表示装置
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US20160018650A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
EP3114525A4 (en) * 2014-03-03 2018-03-07 Eyeway Vision Ltd. Eye projection system
NZ762223A (en) 2014-03-05 2022-02-25 Univ Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
JP6554479B2 (ja) 2014-03-20 2019-07-31 エシロール・アンテルナシオナル 拡張現実感のための方法
CN106062616B (zh) 2014-04-01 2019-04-12 依视路国际公司 被安排成用于输出补充图像的多焦点眼科眼镜片
US10509235B2 (en) 2014-04-02 2019-12-17 Essilor International Method of calculating optical characteristics of an optical system according to a given spectacle frame
EP3132306A1 (en) 2014-04-14 2017-02-22 Essilor International (Compagnie Générale D'Optique) Method of calculating an optical system of a progressive addition ophthalmic lens being arranged to output a supplementary image
WO2015184409A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9606354B2 (en) * 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
EP3237957A1 (en) * 2014-12-26 2017-11-01 CY Vision Inc. Near-to-eye display device
US9681804B2 (en) 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9977241B2 (en) * 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
EP3286599A4 (en) 2015-04-22 2018-12-19 eSIGHT CORP. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
JP2017108370A (ja) 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US10007115B2 (en) 2015-08-12 2018-06-26 Daqri, Llc Placement of a computer generated display with focal plane at finite distance using optical devices and a see-through head-mounted display incorporating the same
AU2016349895B2 (en) 2015-11-04 2022-01-13 Magic Leap, Inc. Light field display metrology
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
US10993824B2 (en) 2016-01-01 2021-05-04 Intact Vascular, Inc. Delivery device and method of delivery
CN105652447B (zh) * 2016-01-28 2018-04-03 上海理湃光晶技术有限公司 平面波导成像装置和方法
US10473933B2 (en) 2016-02-19 2019-11-12 Microsoft Technology Licensing, Llc Waveguide pupil relay
KR102530558B1 (ko) 2016-03-16 2023-05-09 삼성전자주식회사 투시형 디스플레이 장치
US20170277259A1 (en) * 2016-03-24 2017-09-28 Daqri, Llc Eye tracking via transparent near eye lens
US10705338B2 (en) 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
EP3296793A1 (en) 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
CN115047627A (zh) 2017-03-21 2022-09-13 奇跃公司 用于照射空间光调制器的方法、设备和系统
WO2018194962A1 (en) 2017-04-17 2018-10-25 Akonia Holographics Llc Skew mirror auxiliary imaging
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
WO2019150461A1 (ja) 2018-01-31 2019-08-08 株式会社島津製作所 画像表示装置
US11053019B2 (en) 2018-04-19 2021-07-06 The Boeing Company Hybrid propulsion engines for aircraft
US11175518B2 (en) 2018-05-20 2021-11-16 Neurolens, Inc. Head-mounted progressive lens simulator
CN112969955B (zh) 2018-11-08 2023-05-26 鲁姆斯有限公司 具有二向色分束器颜色组合器的光学装置和系统
IL264551A (en) 2019-01-29 2020-07-30 Amitai Yaakov A compact head-up display system with high efficiency and a small entry key
US11202563B2 (en) 2019-03-07 2021-12-21 Neurolens, Inc. Guided lens design exploration system for a progressive lens simulator
CN114930080A (zh) 2020-02-02 2022-08-19 鲁姆斯有限公司 用于生产光导光学元件的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113330348A (zh) * 2019-01-24 2021-08-31 鲁姆斯有限公司 包括具有三阶段扩展的loe的光学系统
CN113330348B (zh) * 2019-01-24 2023-01-24 鲁姆斯有限公司 包括具有三阶段扩展的loe的光学系统
CN113439230A (zh) * 2019-05-06 2021-09-24 鲁姆斯有限公司 用于观看场景的透明光导和近眼显示器
CN113439230B (zh) * 2019-05-06 2024-04-02 鲁姆斯有限公司 用于观看场景的透明光导和近眼显示器
TWI747117B (zh) * 2019-12-25 2021-11-21 大陸商常州欣盛半導體技術股份有限公司 一種眼球追蹤感測器的線路結構及其加工方法

Also Published As

Publication number Publication date
JP2020504832A (ja) 2020-02-13
IL260969B (en) 2018-12-31
KR20190099374A (ko) 2019-08-27
EP3397137A1 (en) 2018-11-07
KR102296369B1 (ko) 2021-09-01
CN115145023A (zh) 2022-10-04
US11747635B2 (en) 2023-09-05
CN108882845B (zh) 2022-05-03
US20190056600A1 (en) 2019-02-21
EP3397137B1 (en) 2019-10-30
US20220252890A1 (en) 2022-08-11
EP3397137A4 (en) 2019-01-23
WO2018122859A1 (en) 2018-07-05
CN115145023B (zh) 2024-02-09
JP7274724B2 (ja) 2023-05-17
CN108882845A (zh) 2018-11-23
US20200241308A1 (en) 2020-07-30
TWI759395B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN108882845B (zh) 基于经由光导光学元件的视网膜成像的眼动追踪器
JP7280250B2 (ja) 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
US9606354B2 (en) Heads-up display with integrated display and imaging system
US11256086B2 (en) Eye tracking based on waveguide imaging
TWI569040B (zh) 自動調焦頭戴式顯示裝置
CN110446965B (zh) 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
JP3309615B2 (ja) 画像観察装置及びこれを用いた両眼画像観察装置
JPWO2018122859A5 (zh)
JP2003521950A6 (ja) 視標追跡システム
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
JP2022538957A (ja) 光ガイド光学素子を介した眼の画像化に基づくアイトラッキングの装置および方法
KR20220118445A (ko) 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
WO2019221875A1 (en) Eye tracking based on waveguide imaging
US20240004189A1 (en) Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
WO2022196650A1 (ja) 視線追跡システムおよび虚像表示装置
US11237389B1 (en) Wedge combiner for eye-tracking
WO2022263255A1 (en) Optical system for eye tracking
TW201834607A (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置