TW201314263A - 整合眼睛追蹤及顯示系統 - Google Patents

整合眼睛追蹤及顯示系統 Download PDF

Info

Publication number
TW201314263A
TW201314263A TW101126984A TW101126984A TW201314263A TW 201314263 A TW201314263 A TW 201314263A TW 101126984 A TW101126984 A TW 101126984A TW 101126984 A TW101126984 A TW 101126984A TW 201314263 A TW201314263 A TW 201314263A
Authority
TW
Taiwan
Prior art keywords
illumination
infrared light
infrared
eye
optical waveguide
Prior art date
Application number
TW101126984A
Other languages
English (en)
Other versions
TWI571654B (zh
Inventor
David D Bohn
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of TW201314263A publication Critical patent/TW201314263A/zh
Application granted granted Critical
Publication of TWI571654B publication Critical patent/TWI571654B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本案之技術提出一種用於可透視的、接近眼睛的混合實境顯示裝置的整合眼睛追蹤及顯示系統。用於眼睛追蹤的影像資料及IR照明係光學地耦合至各別的可透視的平面光波導之中，該各別的可透視的平面光波導係以可由各個眼睛透視的方式設置在顯示裝置的各別的顯示光學系統中。各別的平面光波導包含與各別的顯示光學系統的光軸同軸地設置的一或多個波長選擇濾光器。此波長選擇濾光器將紅外光與可見光照明在各個眼睛的方向上導向該平面光波導之外，並且將包括來自眼睛的反射之紅外光反射導向進入該平面光波導。這些反射係從光波導射出而光學地耦合至根據那些反射而產生眼睛追蹤資料的IR感應器。

Description

整合眼睛追蹤及顯示系統
本發明係關於整合眼睛追蹤與顯示系統。
混合或增強實境是一種允許將虛擬成像與使用者的現實世界的實際視野混合的技術。不同於其它顯示裝置，一種可透視的、混合或增強實境的接近眼睛的(如頭戴式)顯示裝置的一個特徵，在於顯示的影像不會獨佔使用者的視野。藉由可透視的、混合實境顯示裝置，使用者可直接透視顯示器，並與現實世界互動，同時使用者也能看到由一或多個軟體應用程式所產生的影像。再者，當使用者移動該使用者的頭部時，使用者的視野範圍並非固定的。即使在使用者的頭部未移動情況下，那些在視野範圍中使用者正觀看著之物體，亦稱使用者所注視的，在當使用者轉動使用者的眼睛時會隨之改變。辨識眼睛移動的能力，可加強將影像置於顯示畫面中的技術。
本案技術提供了使用可透視的、接近眼睛的混合實境 顯示裝置的共用的光學器件的整合的眼睛追蹤及顯示功能。在此所述的實施例容許眼睛追蹤系統以照射並沿著設於可被各別的眼睛透視的每個顯示器的光軸而擷取資料，因此可達到簡化運算、較佳的眼睛的照明，以及相較於擷取遠離軸的資料且較易受到如下垂的眼瞼及眼瞼上的瞼腺炎的阻礙的眼睛追蹤感應器系統，具有較高的機率以擷取更多的資料。
本案技術提供一種用於可透視的、接近眼睛的混合實境顯示裝置的整合眼睛追蹤及顯示系統的實施例。該系統包含供每隻眼睛使用的一個顯示光學系統，該顯示光學系統具有光軸，以及定位於個別眼睛能視覺穿透的可透視的平面光波導。一或多個波長選擇濾光器係以同軸對準於該各別的顯示光學系統的該光軸的方式而設於該各別的可透視的平面光波導。該一或多個濾光器將紅外光與可見光照明導向各別的平面光波導之外。此外，該一或多個濾光器將紅外光反射導向進入該平面光波導。波長選擇濾光器的一些實例係為固定的，且為主動繞射光柵元件、反射光柵元件，以及其他導引具有預定波長或在一波長範圍內的光的反射元件。
紅外光照明光源係設置以使該紅外光照明光源之紅外光照明光學地耦合至該平面光波導內。紅外光感測器係光學地耦合至該平面光波導，用以將紅外光與可見光照明導引出該平面光波導，並且用以接收從該波長選擇濾光器所導向而來的紅外光反射。影像產生單元係光學地 耦合以將該可見光照明傳送進入該平面光波導中。
本案技術提供一種用於可透視的、接近眼睛的混合實境顯示裝置的整合眼睛追蹤及顯示系統的另一實施例。如上述實施例，該系統實施例包含供每隻眼睛使用的顯示光學系統。每個顯示光學系統具有光軸，及設置成可由各個眼睛透視的可透視的平面光波導。一或多個波長選擇濾光器以同軸對準於該各別的顯示光學系統的該光軸的方式而設於該波導內，用以將紅外光反射導向進入該平面光波導。光學元件陣列包含用來傳送紅外光與可見光照明的光源，該些光源係光學地耦合至該平面光波導，以將該些光源的照明導向進入該平面光波導。紅外光感測器，係光學地耦合至該平面光波導，用以接收從該波長選擇濾光器所導向而來的紅外光反射。
本案技術提供一種處理在可透視的平面光波導的光學路徑中的用於影像顯示及眼睛追蹤的可見光與紅外光波長的方法的實施例，該可透視的平面光波導係以可透視的方式設於可透視的、接近眼睛的混合實境顯示裝置的顯示光學系統中。該方法包含步驟：將可見光與紅外光照明光學地耦合至在光學路徑的第一方向上的該平面光波導之內。該可見光與紅外光照明係透過一或多個波長選擇濾光器被導引出該平面光波導而朝向該眼睛，該一或多個波長選擇濾光器係同軸對準該顯示光學系統的光軸。該些濾光器亦將來自該眼睛的紅外光反射導向進入在相同的該光學路徑的第二方向上的該平面光波導。
本方法更包含將來自平面光波導的紅外光反射光學地耦合至紅外光感測器的步驟。由紅外光感測器(如電荷耦合裝置(CCD)或CMOS像素感應器陣列)所產生的資料，係儲存為眼睛追蹤資料。眼睛追蹤資料的一些實例，如來自IR攝影機的影像資料，或者由位置敏感偵測器(position sensitive detector，PSD)所偵測到的閃爍的位置。在一些實施例中，第一與第二方向可為相同的。在其他實施例中，第一方向與第二方向可能會不同。一個具有不同方向的適例為相反方向。
本發明內容係提供以介紹簡化形式之概念的選擇，該概念的選擇將於以下的實施方式中進一步說明。本發明內容並非意欲用於識別所主張的標的之關鍵特徵或基本特徵，也不是意欲用作確定請求保護的標的之範圍的輔助。
以下描述具有整合眼睛追蹤與顯示系統的一種可透視的、接近眼睛的頭戴式混合實境顯示裝置系統之實施例。眼睛追蹤系統共用可透視的頭戴式顯示器(HMD)的部分的光學路徑，以投射眼睛追蹤的紅外光照明至眼睛，並透過紅外光感測器擷取來自眼睛的紅外光反射。眼睛追蹤系統使用紅外光(IR)照明，使得該照明對於使用者為不可見的。IR感應器可為提供眼睛的紅外光影像 資料的IR攝影機，或者IR感應器可為偵測由該眼睛的IR照明所產生的閃爍或自該眼睛的眼角膜的反射的IR感應器。
在下述的實施例中，具有包含可透視的平面光波導的供每隻眼睛的顯示光學系統。在依據全反射的操作原理的實際應用下，波導係提供光學路徑。一或多個波長選擇濾光器，係設於同軸對準於該顯示光學系統的光軸的波導中。該顯示系統的光軸與象徵性的眼睛的視線係同軸的，或非常接近同軸的。象徵性的眼睛視線係聚集於瞳孔，且當使用者直視前方時，眼睛視線係從瞳孔中心延伸。由於一或多個濾光器與光軸係同軸對準，呈現影像的可見光照明與紅外光照明係沿著朝向眼睛的光軸被導向該波導之外，而集中於光軸的來自眼睛的反射會被導引進入該波導。對眼睛照射並擷取集中於光軸(係接近眼睛的視線)附近的來自眼睛的反射，會簡化眼睛影像資料的影像處理演算，且對於人類臉部特徵的個體差異有較佳的容許度。舉例而言，若照明係被導引沿著各別眼睛的顯示器的光軸時，則眼睛的瞼腺炎或低眼瞼，會阻擋掉較多的從眼鏡鏡框實施例的上方角落導向而來的照明。
較佳的照明及集中於光軸的眼睛資料擷取可以改良許多應用，例如，供注視方向分析的眼角膜閃爍追蹤與瞳孔追蹤、供使用者命令解譯的眨眼追蹤、用於生物辨識的應用程式的虹膜掃描與視網膜靜脈追蹤、測量眼聚合 度(convergence)、辨識瞳孔的光軸對準與確定瞳孔間之距離(inter-pupillary distance，IPD)，以及用於眼角膜追蹤的結構化光圖案技術。這些應用可藉由如下所揭示的具體實例而獲得增益，所列如下：Lewis等人的標題為「Gaze Detection in a See-Through,Near-Eye,Mixed Reality Display」的美國專利申請案(申請號：13/221,739)、Lewis等人的標題為「Aligning Inter-Pupillary Distance in a Near-Eye Display System」的美國專利申請案(申請號：13/221,662)、Lewis等人的標題為「Adjustment of a Mixed Reality Display for Inter-Pupillary Distance Alignment」的美國專利申請案(申請號：13/221,707)，以及Perez等人的標題為「Head Mounted Display with Iris Scan Profiling」的美國專利申請案(申請號：13/221,669)。
圖1係圖示可透視的、混合實境顯示裝置系統之一實施例的示例性組件的方塊圖。系統8包含可透視的顯示裝置，係為經由線路6與處理單元4進行通訊的接近眼睛的頭戴式顯示裝置2。在其他實施例中，頭戴式顯示裝置2係以無線通訊的方式與處理單元4進行通訊。處理單元4可採取各種的實施例。舉例而言，處理單元4可實施於行動裝置，如智慧型手機、平板電腦或膝上型電腦。在一些實施例中，處理單元4係可穿戴於使用者的身體上的分離的單元，如戴在例示實例中的手腕或置於口袋中，且處理單元4具有用以操作接近眼睛的顯示 裝置2的大量計算能力。處理單元4可在通訊網路50至一或多個在此例中位於附近的或在遠處的集中式運算系統12上，無線地進行通訊(如，以WiFi、藍牙、紅外光、RFID傳輸、無線通用序列匯流排(WUSB)、蜂巢式系統、3G、4G，或其他無線通訊方式)。在其他實施例中，處理單元4的功能可被整合於顯示裝置2的軟體及硬體組件中。
頭戴式顯示裝置2在眼鏡形狀的一實施例中係位在眼鏡框115內，眼鏡框115係配戴於使用者的頭部，以使該使用者可透視顯示器，該顯示器在此實施例中具體實施為供每隻眼睛使用的一個顯示光學系統14，並且從而在該使用者的前方具有空間的實際直視。
用語「實際直視」係指以肉眼可直接看到真實世界物件的能力，而非看到創造出的代表該些物件的影像。舉例而言，透過房間的玻璃來看，允許使用者看見該房間的實際直視，而觀看在電視上的房間的視訊則非該房間的實際直視。依據執行軟體(如遊戲程式)的內文，當該使用者亦透過該顯示器在觀看真實世界物件時，該系統可投射虛擬物件的影像(有時亦稱為虛擬影像)於顯示器上，該些虛擬物件的影像對配戴該可透視的顯示裝置的使用者為可見的。
眼鏡框115提供了用以保持系統的元件於定位的支撐，以及作為電氣連接的導管。在此實施例中，眼鏡框115提供了便利的眼鏡框以作為以下所述系統的元件的 支撐。在其他實施例中，可使用其他支撐結構。此種結構的實例，如面罩或的支撐。眼鏡框115包含眼鏡腳或側向臂以倚靠於使用者的每一隻耳朵。眼鏡腳102係代表右眼鏡腳的實施例，且眼鏡腳102包含用於顯示裝置2的控制電路136。眼鏡框的鼻樑104包含擴音器110以錄音並傳送音訊資料至處理單元4。
圖2A係該可透視的、混合實境顯示裝置以眼鏡來實施而提供支撐硬體與軟體組件的實施例中的眼鏡框115的一眼鏡腳102的側視圖。在眼鏡框115的前方為面向實體環境的或朝向外面的視訊攝影機113，視訊攝影機113可拍攝傳送至處理單元4的視訊甚至是影像。
來自攝影機的資料可傳送至控制電路136的處理器210，或處理單元4，或該二者，該二者會處理該資料，但單元4亦會經由網路50傳送至一或多個電腦系統12以進行處理。該處理能識別並繪製出使用者的真實世界的視野。
控制電路136提供了支援頭戴式顯示裝置2的其他組件的各種電子元件。控制電路136的詳細說明係相對於圖3A而描述如下。耳機130、慣性感應器132、GPS收發器144，以及溫度感應器138係設於內部或安裝在眼鏡腳102上。在一實施例中，慣性感應器132包含三軸磁力計132A、三軸陀螺儀132B及三軸加速度計132C(見圖3A)。慣性感應器係用來偵測頭戴式顯示裝置2的位置、指向，及突然的加速度。從這些運動中，亦可決定 出頭部的位置。
影像來源或影像產生單元120係安裝於眼鏡腳102或在眼鏡腳102之內。在一實施例中，影像來源包含：微顯示器120，以投射出一或多個虛擬物件的影像；及透鏡系統122，用以將來自微顯示器120的影像導向進入可透視的平面光波導112。透鏡系統122可包含一或多個透鏡。在一實施例中，透鏡系統122包含一或多個準直透鏡。在例示之實例中，反射元件124接收經透鏡系統122導向的影像，並且反射元件124將該些影像資料光學地耦合至平面光波導112中。
有不同的影像生成技術，可用來實施微顯示器120。舉例而言，微顯示器120可實施為使用透射性投影技術，其中光源係經光學活性材料、使用白光的背光元件來調整。這些技術通常採用具有強大的背光和高的光學能量密度的LCD類型的顯示器來實施。微顯示器120亦可以使用外部光係經光學活性材料反射及調整的反射的技術來實施。數位光處理(Digital light processing，DLP)、液晶覆矽(liquid crystal on silicon，LCOS)，以及來自美商高通(Qualcomm)的Mirasol®顯示技術，均係反射技術的實例。此外，微顯示器120可應用由顯示器產生光的發光的技術來實施，參見例如來自美國微投影廠商Microvision的PicoPTM顯示引擎。發光的顯示器技術的另一例為微型有機發光二極體(OLED)顯示器。美商eMagin與法國製造商Microoled可提供微型OLED顯示 器的實例。
圖2B係可透視的、接近眼睛的增大的或混合實境裝置的顯示光學系統14之實施例的上視圖。接近眼睛的顯示裝置2的一部分眼鏡框115會圍繞顯示光學系統14，以對在此及以下圖式中所顯示的一或多個光學元件提供支撐，並用以形成電氣連接。為了顯示出顯示光學系統14的組件，在此情形下，對於在頭戴式顯示裝置2中的供右眼使用的系統14r，未圖示出圍繞顯示光學系統的該部分眼鏡框115。
在一實施例中，該顯示光學系統14包含平面光波導112、可選擇的不透明度濾光器114、可透視的透鏡116，及可透視的透鏡118。在一實施例中，不透明度濾光器114係對準於可透視的透鏡116且在可透視的透鏡116的後方、平面光波導112係對準於不透明度濾光器114且在不透明度濾光器114的後方，而可透視的透鏡118係對準於平面光波導112且在平面光波導112的後方。可透視的透鏡116與118可為用於眼鏡的標準透鏡，且可透視的透鏡116與118可製作成任何處方透鏡(包含無處方)。在一些實施例中，頭戴式顯示裝置2會包含唯一的可透視的透鏡或無任何可透視的透鏡。對準於平面光波導112的不透明度濾光器114，選擇性地以均勻的方式或以每個像素的基礎的方式阻擋自然光而不會穿過平面光波導112。舉例而言，不透明度濾光器會增強虛擬成像的對比。一種不透明度濾光器的更多細節係記載於申 請日為2010年9月21日的標題為「Opacity Filter For See-Through Mounted Display」的美國專利申請案(申請號：12/887,426)，該申請案係以參照方式併入本案。
平面光波導112將來自微顯示器120的可見光傳送至配戴頭戴式顯示裝置2的使用者的眼睛140。可透視的平面光波導112亦容許來自頭戴式顯示裝置2的前方的可見光，經由平面光波導112本身而傳送至眼睛140，如表示該顯示光學系統14r的光軸的箭頭142所示，從而容許使用者接收來自微顯示器120的虛擬影像之外，能在頭戴式顯示裝置2的前方擁有空間的實際直視。因此，平面光波導112的壁為可透視的。平面光波導112包含第一反射表面124(如，鏡子或其他表面)。來自微顯示器120的可見光穿過透鏡122，且該可見光變成反射表面124的入射光。反射表面124反射來自微顯示器120的入射的可見光，以使可見光藉由以下詳述的全反射而被侷限於平面的、包含平面光波導112的基板之內。
紅外光照明與反射亦會穿過眼睛追蹤系統134的平面光波導112，以追蹤使用者雙眼的位置。使用者的雙眼會在環境的子集中被指引，該環境係使用者的焦點或注視的區域。眼睛追蹤系統134，包含：眼睛追蹤光源134A，在此例中係位於眼鏡腳102上；及眼睛追蹤IR感應器134B，位於透鏡118與眼鏡腳102之間。本案技術容許了進入與離開影像產生單元120的波導的光學路徑、光源134A，及IR感應器134B的光學耦合的配置的 靈活性。呈現影像的可見光照明，以及紅外光照明，會從波導112周圍的任何方向進入，且一或多個波長選擇濾光器(如127)會將照明導引出集中於顯示光學系統14的光軸142周圍的波導。類似地，只要IR感器光學地耦合以接收經一或多個波長選擇濾光器導向的紅外光反射，該IR感應器的配置是靈活的，其中該一或多個波長選擇濾光器係設置以沿著光軸142接收紅外光反射。
在一實施例中，眼睛追蹤光源134A可包含一或多個紅外光(IR)發射器，如紅外光發光二極體(LED)或關於一預定IR波長或波長的範圍的雷射(如VCSEL)發射器。在一些實施例中，眼睛追蹤感應器134B可為IR攝影機或用以追蹤閃爍位置的IR位置靈敏探測器(PSD)。
在此實施例中，波長選擇濾光器123係具體實施為光柵123，該光柵123使來自微顯示器120的可見光光譜光線經過反射表面124而穿過，並且將來自眼睛追蹤光源134A的紅外光波長照明導引至平面光波導112中，其中IR照明係全反射於波導內，直到到達對準於光軸142的另一波長選擇濾光器127。光柵123可為繞射光柵或反射光柵。在此例中，IR感應器134B亦光學地耦合至光柵125，光柵125亦可為繞射光柵或反射光柵。這些光柵係堆疊的。然而，至少光柵125為單向的，在其中光柵125將來自光源134A的IR照明，以朝向鼻樑104的方向的光學路徑來傳送，但光柵125導引紅外線輻射至IR感應器134B，該紅外線輻射包含從光軸142朝向 波導112外的光柵125行進的紅外光反射。在一些實例中，光柵可為固定的繞射元件，如空隙光柵、固定式反射光柵，或供不同波長作繞射、反射或繞射、反射之組合的主動的或可切換光柵。
當IR感應器是IR攝影機時，藉由已知的影像技術，且當IR感應器係一種位置靈敏探測器(PSD)時，藉由閃爍位置資料，可從IR反射識別出瞳孔在眼窩內的位置。
在耦合至波導112內之後，呈現來自微顯示器120及IR照明的影像資料的可見光照明，係在波導112內全反射。在圖2B的實例中，平面光波導係反射的陣列平面光波導。亦可使用其他型式的平面光波導，例如繞射光學元件平面光波導，或具有全反射(TIR)溝槽的平面光波導。在圖2B的實例中，在數條反射射出基板的表面後，被侷限的可見光波長接觸在此例中具體實施為選擇性反射表面1261至126N的波長選擇濾光器陣列。此外，對準該顯示光學系統的光軸的波長選擇濾光器127亦設於波導112中。反射表面126會耦合入射於被導向於使用者的眼睛140的方向的基板外的那些反射表面上的可見光波長。
反射表面126亦可傳遞紅外線輻射於波導中。然而，一或多個波長選擇濾光器127係對準該顯示光學系統14r的光軸142，該一或多個波長選擇濾光器127不僅導引可見光照明，亦導引所接收的來自光源134A的紅外光照明。舉例而言，若反射元件1261至126N的每一者係反 射不同部分的可見光光譜，該一或多個選擇濾光器127會反射紅色可見光光譜及紅外光光譜中的波長。在其他實施例中，濾光器127會反射包括整個或大部分的可見光光譜的波長，以及IR反射與IR光源所產生的紅外光光譜的波長。
此外，一或多個波長選擇濾光器127導引來自眼睛的紅外光反射，該紅外光反射穿過集中於光軸142附近的平面光波導的可透視的壁，而進入平面光波導的光學路徑，但以相反方向朝向波長選擇濾光器125，該波長選擇濾光器125選擇性地過濾來自波導的紅外光反射，並將紅外光反射導向至IR感應器134B。濾光器127可包含雙向紅外光濾光器。此外，可見光與紅外光濾光器可在從透鏡116至118的方向上堆疊，以使該些濾光器對於該光軸為同軸的。舉例而言，雙向熱反射鏡相對於眼睛而設於可見光反射元件之前，可使可見光通過，但會反射IR波長。此外，該一或多個濾光器127可具體實施為主動光柵，該主動光柵經調整成介於可見光光譜與紅外光光譜中之過濾波長之間。此舉將會在夠快的速率下完成，而不被人的肉眼察覺。
圖2C係圖2B的另一形式的實施例的上視圖，在該實施例中，當IR照明行進時，紅外光反射係在同方向穿過波導112，而非在反方向穿過波導112。在此實施例中，IR感應器134B係設於鼻樑104內。除了波長選擇濾光器127將IR照明導向眼睛之外，另一波長選擇濾光器 125係具體實施為IR反射元件，該IR反射元件經由波導傳遞可見光，且該IR反射元件亦導引接收到的IR反射在光軸142附近進入波導並朝向IR感應器134B。此IR反射元件125的實例為熱反射鏡之實施例。在其他例中，亦可使用繞射或反射光柵。此外，感應器134B係位在位於鼻樑104內的波導112的一部分內，以便不會阻礙使用者的視野。在鼻樑部分中的感應器134B可形成電氣連接(未圖示)，以讀出感應器資料。
在一實施例中，每隻眼睛會有每隻眼睛的平面光波導112。當頭戴式顯示裝置具有兩個平面光波導時，每隻眼睛可具有每隻眼睛的微顯示器120，微顯示器120可顯示相同的影像，或不同的影像於兩眼中。在另一實施例中，可具有兩個光軸的一個平面光波導，一個光軸供一隻眼睛使用，該平面光波導橫跨鼻樑，並且該平面光波導反射可見光進入兩隻眼睛中。
在以上實施例中，所顯示的特定數量的鏡片僅為示例性的。亦可使用依相同原理操作之其他數量或配置的鏡片。此外，圖2A、2B及2C僅圖示出一半的頭戴式顯示裝置2。全套的頭戴式顯示裝置會包含，例如，另一組的可透視的鏡片116與118、另一不透明度濾光器114、具有一或多個波長選擇濾光器127的另一平面光波導112、另一微顯示器120、另一透鏡系統122、面向實體環境的攝影機113(亦稱為朝向外面的或面向前方的攝影機113)、眼睛追蹤組件134、耳機130、光柵123、125， 以及溫度感應器138。頭戴式顯示器2的額外的細節係詳述於申請日為2010年10月15日的標題為「Fusing Virtual Content Into Real Content」的美國專利申請案(申請號：12/905952)，該申請案係以參照方式併入本案。
圖3A係可用於一或多個實施例中的可透視的、接近眼睛的混合實境顯示裝置2的硬體與軟體組件的一實施例之方塊圖。圖3B係描述處理單元4的各種組件的方塊圖。在此實施例中，接近眼睛的顯示裝置2接收來自處理單元4的關於虛擬影像的指令，並且接近眼睛的顯示裝置2提供來自感應器的資料回傳至處理單元4。在處理單元4中具體實施的軟體與硬體組件，例如圖3B中所記載的，接收來自顯示裝置2的感官的資料，且該些軟體與硬體組件亦可經由網路50接收來自運算系統12的感官的資訊。依據該資料，處理單元4會決定何處及何時提供虛擬影像至該使用者，並且處理單元4會依據顯示裝置2的控制電路136傳送指令。
注意圖3A中的一些組件(如，朝外的或面向實體環境的攝影機113、眼睛攝影機134、微顯示器120、不透明度濾光器114、眼睛追蹤照明單元134A、耳機130、用以實施一或多個波長選擇濾光器127的至少一者的可選擇的主動光柵127，以及溫度感應器138)係以陰影顯示，以指示出具有那些每個裝置中的至少兩個，至少一個用於頭戴式顯示裝置2左側，且至少一個用於頭戴式顯示裝置2右側。圖3A圖示與電源管理電路202相通訊的控 制電路200。控制電路200包含處理器210、與記憶體244(如D-RAM)相通訊的記憶體控制器212、攝影機介面216、攝影機緩衝器218、顯示器驅動器220、顯示器格式器222、定時產生器226、顯示輸出介面228，以及顯示輸入介面230。在一實施例中，控制電路200的所有組件係經由一或多個匯流排的專屬線路互相進行通訊。在另一實施例中，每一控制電路200的組件係與處理器210相互通訊。
攝影機介面216提供連接兩個面向實體環境的攝影機113及在此實施例中作為感應器134B的IR攝影機的介面，並且攝影機介面216儲存從攝影機113、134B接收到的各別的影像於攝影機緩衝器218中。顯示器驅動器220會驅動微顯示器120。顯示器格式器222會提供有關在一或多個電腦系統(如4與12)的一或多個處理器的微顯示器120上顯示的虛擬影像的資訊，以供混合實境系統執行運算。顯示器格式器222可識別出不透明度控制單元224的相對於該顯示光學系統14的透射率設定。定時產生器226係用以提供用於該系統的定時資料。顯示輸出介面228包含緩衝器，用以提供來自面向實體環境的攝影機113及眼睛攝影機134B的影像至處理單元4。顯示輸入介面230包含緩衝器，用以接收影像，如在微顯示器120上顯示的虛擬影像。顯示輸出介面228與顯示輸入介面230與頻帶介面232進行通訊，頻帶介面232係處理單元4的介面。
電源管理電路202包含電壓調整器234、眼睛追蹤照明驅動器236、音訊DAC與放大器238、話筒前置放大器與音訊ADC 240、溫度感應器介面242、主動光柵控制器237，以及時序產生器245。電壓調整器234經由頻帶介面232從處理單元4接收電力，並且電壓調整器234提供此電力至頭戴式顯示裝置2的其他組件。照明驅動器236經由例如驅動電流或電壓控制眼睛追蹤照明單元134A，以在預定波長或在一波長範圍內運作。音訊DAC與放大器238提供音訊資料至耳機130。話筒前置放大器與音訊ADC 240提供用於擴音器110的介面。溫度感應器介面242係用於溫度感應器138的介面。主動光柵控制器237接收指示一或多個波長的資料，對於該資料而言，每一主動光柵127係作為選擇波長濾光器。電源管理單元202亦提供電源並接收從三軸磁力計132A、三軸陀螺儀132B及三軸加速度計132C回傳的資料。電源管理單元202亦提供電源，以及接收從GPS收發器144回傳的資料並傳送資料至GPS收發器144。
圖3B係連接於可透視的、接近眼睛的混合實境顯示單元的處理單元4的硬體與軟體組件之一實施例的方塊圖。圖3B圖示與電源管理電路306相通訊的控制電路304。控制電路304包含中央處理單元(CPU)320、圖形處理單元(GPU)322、快取記憶體324、RAM 326、與記憶體330相通訊的記憶體控制器328(如，D-RAM)、與快閃記憶體334相通訊的快閃記憶體控制器332(或其他類型 的非揮發性儲存器)、經由頻帶介面302與頻帶介面232與可透視的接近眼睛的顯示裝置2相通訊的顯示輸出緩衝器336、經由頻帶介面302與頻帶介面232與接近眼睛的顯示裝置2相通訊的顯示輸入緩衝器338、與外部擴音器連接器342相通訊的擴音器介面340以連接至擴音器、以連接至無線通訊裝置346的PCI express介面，以及USB連接埠348。
在一實施例中，無線通訊組件346可包含有Wi-Fi功能的通訊裝置、藍牙通訊裝置、紅外線通訊裝置、蜂巢式系統、3G、4G通訊裝置、無線USB(WUSB)通訊裝置、RFID通訊裝置等。無線通訊組件346因此容許例如以另一顯示裝置系統8的點對點資訊傳輸，以及經由無線路由器或手機信號塔連接至大型網路。USB連接埠可用來將處理單元4與另一顯示裝置系統8對接。此外，處理單元4可與另一運算系統12對接，以載入資料或軟體至處理單元4上，並且對處理單元4進行充電。在一實施例中，CPU 320與GPU 322為主要的主力元件以決定何處、何時，及如何將虛擬影像插入使用者的視野中。
電源管理電路306包含時序產生器360、類比至數位轉換器362、電池充電器364、電壓調整器366、可透視的接近眼睛的顯示電源376，以及與溫度感應器374(位於處理單元4的腕圈上)相通訊的溫度感應器介面372。交流電至直流電轉換器362係連接於充電接口370，以接收AC電源供應，並產生對系統的DC電源供應。電壓 調整器366係與電池368相通訊，以提供電力至該系統。當從充電接口370接收到電力時，電池充電器364係用以對電池368進行充電(經由電壓調整器366)。裝置電源介面376提供電力至顯示裝置2。
在描述至其他系統實施例之前，圖4係處理可見光與紅外光波長以供影像顯示，及可透視的平面光波導的光學路徑中的眼睛追蹤的方法之實施例的流程圖，該可透視的平面光波導係可透視地設於可透視的、接近眼睛的混合實境顯示裝置的顯示光學系統中。於步驟402，可見光與紅外光照明係在光學路徑的第一方向上，光學地耦合至該平面光波導。例如在圖2B與2C中，反射元件124將可見光耦合至該波導內，且光柵123將IR照明耦合至該波導內，而朝向元件126及一或多個濾光器127。於步驟404，同軸地對準各別的顯示光學系統的光軸的該一或多個波長選擇濾光器，係被導引朝向平面光波導之外而朝向眼睛。例如，參見圖2B中的光柵127與圖2C中的光柵125。藉由將IR照明導向沿著該光軸，該照明係設於眼睛中央，以提供最多的瞳孔照明以供追蹤，或最多的虹膜照明以供掃描。再次說明，已假設當使用者向前直視時，該顯示光學系統的光軸係對準於或大致接近對準於使用者的瞳孔。
於步驟406，一或多個波長選擇濾光器(如127、125)將來自眼睛的紅外光反射導向以相同光學路徑的第二方向射入平面光波導。於步驟408，紅外光反射係從平面 光波導光學地耦合至紅外光感測器。於步驟410，由紅外光感測器(如電荷耦合裝置(CCD)或CMOS像素感應器陣列)所產生的資料，係儲存為眼睛追蹤資料。眼睛追蹤資料的一些實例，如來自IR攝影機的影像資料，或者由位置敏感偵測器(PSD)所偵測到的閃爍的位置。在一些實施例中，如圖2C中的第一與第二方向可為相同的。在其他實施例中，如圖2B中的第一方向與第二方向可能會不同。一個具有不同方向的適例為相反方向。
圖5A係眼睛透視整合眼睛追蹤及顯示光學系統的另一實施例的平面光波導的立體圖，該整合眼睛追蹤及顯示光學系統使用整合的線狀光源陣列及掃描鏡來產生影像。
在此實施例中，整合的光源陣列504及IR感應器516係電氣連接至電子模組，例如印刷電路板(PCB)502，該電子模組設於眼鏡框115的前額的顯示光學系統14的上方。該電子模組係經由電氣連接140連接至控制電路136。該顯示光學系統14包含至少一個可透視的鏡片118，及可透視的平面光波導112。在此實施例中，波導112可具體實施為具有全反射(TIR)溝槽的平面光波導。
透過整合的光源陣列504、光學元件508、光束組合器506、掃描鏡510，以及光耦合器512來具體實施影像產生單元。如下圖9所述的電子模組502，決定並設定不同可見光光源的輸出波長以產生影像。此外，該些光源包含用以產生用於眼睛追蹤的紅外光照明的紅外光照明 器。光源504的輸出，例如整合式LED或雷射(如VCSELS)，係透過光束組合器506而組合於組合光束，且透過光學元件508(如反射元件)光學地耦合至掃描鏡510。在一些實施例中，掃描鏡可與微電機系統(MEMS)技術一起實施。該鏡子可移動以將所接收的照明導向沿著一條軸線，以進行一維掃描，或該鏡子可移動以將所接收的照明導向沿著兩條軸線(如水平與垂直軸)以進行二維掃描。該陣列的布局係詳述於回到照明的光學耦合至該平面光波導之前。
圖6A圖示線狀整合的光源陣列的示例性佈局，該光源陣列產生可見光與紅外光照明，以用於可透視的、接近眼睛的混合實境裝置的整合眼睛追蹤及顯示光學系統中。如圖6A所示之例，光源陣列504可以線狀整合的可見光光源陣列來實施，如LED或VCSELS。在此例中，紅光的線係以「R」來表示，綠光的線係以「G」來表示，及藍光的線係以「B」來表示。亦可使用其他色彩範圍，如青綠色、紫紅色，及黃色。在其他例中，每個可見光光源可各別地調整成任意色彩的可見光光譜。此外，該陣列包含一條紅外光照明器的線，以「I」來表示。陣列的線隨著陣列的大小而重複。因此，影像產生照明器與眼睛追蹤照明器係組合於一整合的陣列單元中。
在此例中，紅光的線、綠光的線、藍光的線及紅外光照明器係位於列中，而行係以掃描而成的。紅、藍、綠光源的每一者經調整以呈現影像的片段，例如圖像元素 如像素。每一組在線上的紅光、綠光、藍光及紅外光，可與該影像的片段相符合。整合的線狀陣列504的輸出，會穿過至光束組合器506與光學元件508，光束組合器506與光學元件508將可見光與IR照明兩者的合成光束導向至掃描鏡510。
在其他例中，可具有較少或較多的散佈有可見光光源的紅外光照明器。舉例而言，在每二十(20)個可見光照明器中可具有一個IR照明器。此配置可使用於基於結構光源的應用中。
圖6C圖示線狀整合的光源陣列的另一示例性佈局，該光源陣列產生可見光與紅外光照明，在其中紅外光光源係以適於閃爍追蹤的方式而置於每一列的末端。閃爍係從眼角膜的一或多個表面射出的反射。當使用者的眼睛移動時，不同的眼睛部分(如瞳孔、虹膜，及鞏膜)的鏡面反射度，會影響在IR感應器(如位置敏感偵測器或光感測器)所接收的每個閃爍的強度值。瞳孔位置可從由感應器所產生的閃爍資料值來決定。
掃描鏡510掃描每一行，並且掃描鏡510將每一行反射至光表面512上，因而複製影像於光學元件512的表面上。列對列的掃描亦應用於其他實例中。行對行的掃描，為使用線狀陣列而容許的一維掃描的一例。若需要時，亦可應用以二維掃描的實施例。可見光與紅外光波長會在從照明器至平面光波導112的光學路徑的方向上穿過光學元件512。如下所述，光學元件512的另一側 包含對紅外光波長的單向的波長選擇濾光器511，以便將紅外光反射導向於朝向紅外光感測器518的光學路徑方向。光耦合器527，如一或多個準直透鏡，將影像及IR照明耦合至波導112之內。
在此例中，光柵524將在平面光波導中的可見光與IR照明進行繞射，以供全反射。在一例中，光柵524可使用堆疊的光柵來實施，一者係用以導引可見光譜波長，而另一者用以導引IR輻射光。舉例而言，熱反射鏡可堆疊在可見光光譜反射元件的表面上。此外，在此例中的光柵524包含雙向的IR反射光柵，以便將IR反射沿著路徑529耦合至光學元件512的波長選擇濾光器511(如熱反射鏡)，並反射IR照明至同軸地設置於該顯示光學系統的光軸142的IR波長選擇濾光器525。
在此例中，堆疊的光柵526與525均同軸地對準光軸142。將可見光導向沿著光軸142射出波導的光柵526係在光柵525的後方，光柵525係將紅外光照明，例如透過繞射或反射，而導向波導之外，並且光柵525將接收的IR反射導向進入該波導。在此例中，箭號522表示IR照明從該波導射出而射出頁面，及IR反射進入該波導而進入集中於光軸142附近的頁面。在一些實例中，為了更佳地減少在IR反射中反向散射的IR照明，可見光光柵526與IR光柵525兩者均可具有IR阻擋塗層於該兩者較長的右側表面上，以阻擋IR照明被全反射而回到光柵524。
在此例中，IR光柵525為雙向的，且IR光柵525將紅外光反射導向回光柵524，光柵524對於紅外光波長亦為雙向的。IR反射529被導向回光學元件512的波長選擇濾光器511，光學元件512的波長選擇濾光器511會將IR反射導向至另一IR波長選擇濾光器514(如，熱反射鏡、反射光柵、繞射光柵)，而IR波長選擇濾光器514會將IR反射528導向穿過耦合透鏡516至IR感應器518。
圖5B圖示圖5A的另一形式的實施例，在此實施例中，該整合陣列係光學元件陣列，在該光學元件陣列中，紅外光感應元件係整合於光源陣列之內。圖6B圖示線狀整合的光學元件陣列的示例性佈局，該光學元件陣列包含紅外光感應元件，及產生可見光與紅外光照明的光源，以用於可透視的、接近眼睛的混合實境裝置的整合眼睛追蹤及顯示光學系統。
在列舉的實例中，光學元件陣列505包含以「S」表示的線型之IR感應元件。在一些實例中，IR感應元件「S」可為整合的光感測器。對於光源陣列504與光學元件陣列505而言，所呈現的線型光源的順序是靈活的。舉例而言，紅光、綠光、藍光、紅外光的順序係供圖6A中的陣列504使用，而紅光、紅外光、綠光、藍光的順序係用於圖6B中。
該整合的光源陣列可使用其他幾何形狀。舉例而言，非使用線型光源，而可為光源組合或光源集合。每一組 合可包含色彩光源及IR光源，且若使用光學元件的配置，則亦可包含IR感應器。每一組合的幾何形狀配置的實例，可為正方形、圓形，或長方形。在此實施例中，可見光與紅外光照明係耦合至如上述用於圖5A的實施例中的波導。在此實施例中，當紅外光反射被導向回該整合的光學元件陣列，在光學元件612上的藉由反射可見光照明來複製影像的掃描鏡510，可為可穿透的光學元件。來自光柵524的IR反射會穿過光學元件612。當反射以光速行進時，掃描鏡510反射IR反射沿相反路徑回到雙向反射元件508，此IR反射繼續行經光束組合器506，並回到包含紅外光感應元件(「S」元件)的光學元件陣列505。該些感應元件產生以回應收到的IR光子的電子信號。該些電子信號被轉換成代表性的資料信號，該代表性的資料信號(如電氣連接140)透過電子模組502而傳送至控制電路136的一或多個處理器以及處理單元4，以用於如注視方向分析、生物特徵監測，及生物識別等應用程式。
圖6D圖示線狀整合的光學元件陣列的另一示例性佈局，該光學元件陣列包含紅外光感應元件、可見光光源及紅外光光源「I」，且紅外光感應元件「S」係以適於閃爍追蹤的配置而設在可見光光源列的末端。上述的圖5B實施例的製造加工亦可應用於如在圖6D中的使用整合的光學元件陣列的此實施例中。如圖6B的實施例，在一些實例中，IR感應元件可為整合的光感測器。
圖7A係眼睛透視整合眼睛追蹤及顯示光學系統的另一實施例的平面光波導的立體圖，該整合眼睛追蹤及顯示光學系統使用調整的光源及2D掃描鏡。除了將整合光源陣列504係替換成個別光源507之外，此實施例係圖5A的實施例的另一形式。在此例中，顯示了四個光源以符合實施例的上下文的敘述，使用紅、綠及藍以產生不同色彩，但當然亦可使用其他組合。在此例中，該些光源的其中一者(如雷射、LED)傳送紅光光譜照明、另一藍光光譜照明、另一綠光光譜照明以及另一紅外光光譜照明，故三個光源將產生形成所有影像的片段的色彩。在此例中，掃描鏡510係在垂直與水平方向上移動以複製每一影像片段以完成該影像的二維掃描鏡，該影像片段係由雷射射向光學元件512上的電流輸出來表現。對於投影機屏幕，光學元件512為類比的。
圖7B圖示圖7A的實施例的另一形式，係使用單一調整的光源及主動光柵。在此例中，個別光源組係替換成單一光源509，該單一光源509係調整成在可見光光譜中的數個波長的其中一個，並用以產生在紅外光光譜中的照明。該掃描鏡係二維掃描鏡。在此例中，該光源在各別的時間區間中傳送紅外光與可見光照明。該掃描鏡藉由準直透鏡516將IR照明導向元件512的中心，並進入波導112。
單一主動光柵，亦稱為可切換光柵，可供波長選擇濾光器525使用，該波長選擇濾光器525過濾可見光與紅 外光波長，以沿著朝向眼睛(如522)且伸出於眼睛的光軸142而進出波導112。在眼鏡框115中，在電子模組502與平面光波導112之間設有電氣連接141。來自主動光柵控制器237的控制信號，係在調整單一光源的各別的時間區間內，定時地將光柵525的波長選擇性調整成介於可見光光譜與紅外光光譜之間，以產生該些不同的可見光與紅外光波長。
圖8係可透視的、接近眼睛的混合實境顯示裝置的硬體與軟體組件之另一實施例的方塊圖，該裝置係與包含光源及掃描鏡的影像產生單元一起使用。此實施例係圖3A的硬體與軟體組件的另一形式，在此例中控制電路136係連接電子模組502。在此實施例中，顯示器驅動器220提供顯示器驅動器220的影像資料至電子模組502的顯示器照明控制器554。在此實施例中，IR感應器518或505中的IR感應元件「S」係IR影像感應元件，且電子模組502的IR攝影機介面558係耦接至攝影機介面216，以傳送IR影像資料以供眼睛追蹤運算處理。
圖9係電子模組之實施例的方塊圖，該電子模組可用來控制使用至少一個光源及掃描鏡的整合眼睛追蹤及顯示系統的硬體組件。電子模組502係通訊地連接至控制電路136，例如經由如圖5A、圖5B、圖7A及圖7B所示的電氣連接140。顯示器照明控制器554接收來自顯示器驅動器220的影像資料，並且顯示器照明控制器554將該影像資料儲存於顯示器資料緩衝器560中。顯示器 照明控制器554將影像資料轉換成用於可見光光源568的調變信號，可見光光源568在此表示為色彩1光源5681、色彩2光源5682，及色彩N光源568N。控制器554傳送每個光源調變信號以控制光源568的各別的驅動器570。顯示器照明控制器554亦提供預定的IR波長或IR波長範圍的調變信號，以供驅動IR光源569的IR照明驅動器572使用。每一光源568可為如圖7A與7B中的單一各別的調變光源，或每一光源568可為整合的光源陣列504或整合的光學元件陣列505的部分。在一些實施例中，驅動器570、572亦可整合於陣列中，且每一驅動器驅動在對應陣列504、505中的對應的光源568。在其他實施例中，在一序列的時間區間中，驅動器570可啟動線型光源568或在陣列中的光源組568。在圖7B的單一各別的光源509的實例中，僅使用一個驅動器而皆可產生IR與可見光光譜調變信號，或使用一個開關(未圖示)以切換來自不同的驅動器570與572而被光源509接收的調變信號。
電子模組510亦包含掃描鏡控制器556，用以控制掃描鏡510的移動。在一些實例中，掃描鏡控制器556可經程式化以執行一維的掃描或二維的掃描。在此例中，IR攝影機介面558接收可代表被IR攝影機564所接收的光子的資料，並將該資料儲存於IR資料緩衝器562，而介面558係從IR資料緩衝器562傳送資料至控制電路的攝影機介面216。
如以上實施例所述的一種整合眼睛追蹤及顯示系統，簡化了許多應用程式的眼睛追蹤處理，如聚散度(vergence)、瞳孔間之距離(IPD)、注視方向分析、基於眼睛移動的指令，及生物認證。此外，所述的眼睛追蹤整合及該顯示系統可實施於適合一般可取得的消費性產品的形式因素中。
雖然本發明標的已對結構特徵及/或方法的作用以特定語言來表示，應可理解的是，所附申請專利範圍中所定義的發明標的，並非用以限定所述的特定特徵或作用。相反地，所揭示的具體特徵和行為，係作為實施所主張請求保護的發明的示例性形式。
2‧‧‧頭戴式顯示裝置
4‧‧‧處理單元
6‧‧‧線路
8‧‧‧系統
12‧‧‧集中式運算系統
14‧‧‧顯示光學系統
14r‧‧‧顯示光學系統
16‧‧‧眼睛
50‧‧‧通訊網路
102‧‧‧眼鏡腳
104‧‧‧鼻樑
110‧‧‧擴音器
112‧‧‧平面光波導
113‧‧‧視訊攝影機
114‧‧‧不透明度濾光器
115‧‧‧眼鏡框
116、118‧‧‧可透視的透鏡
120‧‧‧影像產生單元/微顯示器
122‧‧‧透鏡系統
123‧‧‧波長選擇濾光器/光柵
124‧‧‧反射表面/反射元件
125‧‧‧波長選擇濾光器/光柵
126、1261~126N‧‧‧反射表面/反射元件
127‧‧‧波長選擇濾光器/主動光柵
130‧‧‧耳機
132‧‧‧內部感應器
132A‧‧‧三軸磁力計
132B‧‧‧三軸陀螺儀
132C‧‧‧三軸加速度計
134‧‧‧眼睛追蹤系統
134A‧‧‧眼睛追蹤光源/眼睛追蹤照明單元
134B‧‧‧眼睛追蹤IR感應器/眼睛攝影機
136‧‧‧控制電路
138‧‧‧溫度感應器
140、141‧‧‧電氣連接
142‧‧‧光軸
144‧‧‧GPS收發器
200‧‧‧控制電路
202‧‧‧電源管理電路
210‧‧‧處理器
212‧‧‧記憶體控制器
216‧‧‧攝影機介面
218‧‧‧攝影機緩衝器
220‧‧‧顯示器驅動器
222‧‧‧顯示器格式器
224‧‧‧不透明度控制單元
226‧‧‧定時產生器
228‧‧‧顯示輸出介面
230‧‧‧顯示輸入介面
232‧‧‧頻帶介面
234‧‧‧電壓調整器
236‧‧‧照明驅動器
237‧‧‧主動光柵控制器
238‧‧‧音頻DAC與放大器
240‧‧‧話筒前置放大器與音頻ADC
242‧‧‧溫度感應器介面
244‧‧‧記憶體
245‧‧‧時序產生器
302‧‧‧頻帶介面
304‧‧‧控制電路
306‧‧‧電源管理電路
320‧‧‧中央處理單元(CPU)
322‧‧‧圖形處理單元(GPU)
324‧‧‧快取記憶體
326‧‧‧RAM
328‧‧‧記憶體控制器
330‧‧‧記憶體
332‧‧‧快閃記憶體控制器
334‧‧‧快閃記憶體
336‧‧‧顯示輸出緩衝器
338‧‧‧顯示輸入緩衝器
340‧‧‧擴音器介面
342‧‧‧擴音器連接器
344‧‧‧PCI express介面
346‧‧‧無線通訊裝置
348‧‧‧USB連接埠
360‧‧‧時序產生器
362‧‧‧類比至數位轉換器
364‧‧‧電池充電器
366‧‧‧電壓調整器
368‧‧‧電池
370‧‧‧充電接口
372‧‧‧溫度感應器介面
374‧‧‧溫度感應器
376‧‧‧顯示電源
402~410‧‧‧步驟流程
502‧‧‧印刷電路板/電子模組
504‧‧‧光源陣列
505‧‧‧光學元件陣列
506‧‧‧光束組合器
507‧‧‧個別光源
508‧‧‧雙向反射元件
509‧‧‧單一光源
510‧‧‧電子模組
511‧‧‧波長選擇濾光器
512‧‧‧光學元件/光耦合器/光表面
514‧‧‧IR波長選擇濾光器
516‧‧‧耦合透鏡
518‧‧‧IR感應器
520‧‧‧全反射
522‧‧‧箭號
524‧‧‧光柵
525‧‧‧IR波長選擇濾光器/IR光柵
526‧‧‧可見光光柵
527‧‧‧光耦合器/準直透鏡
528‧‧‧IR反射
529‧‧‧IR反射/路徑
537‧‧‧光柵控制器
554‧‧‧顯示器照明控制器
556‧‧‧掃描鏡控制器
558‧‧‧IR攝影機介面
560‧‧‧顯示器資料緩衝器
562‧‧‧IR資料緩衝器
564‧‧‧IR攝影機
5681~568N‧‧‧色彩光源
569‧‧‧IR光源
5701~570N‧‧‧色彩照明器驅動器
572‧‧‧IR照明驅動器
圖1係圖示可透視的、混合實境顯示裝置系統之一實施例的示例性組件的方塊圖。
圖2A係該可透視的、混合實境顯示裝置以眼鏡來實施而提供支撐硬體與軟體組件的實施例中的眼鏡框的眼鏡腳的側視圖。
圖2B係可透視的、接近眼睛的混合實境裝置的整合眼睛追蹤及顯示光學系統之實施例的上視圖。
圖2C係圖2B的另一形式的實施例的上視圖，在該實施例中，當IR照明行進時，紅外光反射係在同方向穿過 波導112，而非反方向穿過波導112。
圖3A係可用於一或多個實施例中的可透視的、接近眼睛的混合實境顯示裝置的硬體與軟體組件的一實施例之方塊圖。
圖3B係描述處理單元的各種組件的方塊圖。
圖4係處理可見光與紅外光波長以供影像顯示，及可透視的平面光波導的光學路徑中的眼睛追蹤的方法之實施例的流程圖，該可透視的平面光波導係可透視地設於可透視的、接近眼睛的混合實境顯示裝置的顯示光學系統中。
圖5A係眼睛透視整合眼睛追蹤及顯示光學系統的另一實施例的平面光波導的立體圖，該整合眼睛追蹤及顯示光學系統使用整合的線狀光源陣列及掃描鏡來產生影像。
圖5B圖示圖5A的另一形式的實施例，在該實施例中，紅外光感應元件係整合於光源陣列之內。
圖6A圖示線狀整合的光源陣列的示例性佈局，該光源陣列產生可見光與紅外光照明，以用於可透視的、接近眼睛的混合實境裝置的整合眼睛追蹤及顯示光學系統中。
圖6B圖示線狀整合的光學元件陣列的示例性佈局，該光學元件陣列包含紅外光感應元件，及產生可見光與紅外光照明的光源，以用於可透視的、接近眼睛的混合實境裝置的整合眼睛追蹤及顯示光學系統。
圖6C圖示線狀整合的光源陣列的另一示例性佈局，該光源陣列產生可見光與紅外光照明，在其中紅外光光源係以適於閃爍追蹤的方式而置於每一列的末端。
圖6D圖示線狀整合的光學元件陣列的另一示例性佈局，該光學元件陣列包含紅外光感應元件、可見光光源及紅外光光源，係以適於閃爍追蹤的配置而設在可見光光源列的末端。
圖7A係眼睛透視整合眼睛追蹤及顯示光學系統的另一實施例的平面光波導的立體圖，該整合眼睛追蹤及顯示光學系統使用調整的光源及2D掃描鏡。
圖7B圖示圖7A的實施例的另一形式，係使用單一調整的光源及主動光柵。
圖8係可透視的、接近眼睛的混合實境顯示裝置的硬體與軟體組件之另一實施例的方塊圖，係與包含光源及掃描鏡的影像產生單元一起使用。
圖9係電子模組之實施例的方塊圖，該電子模組可用來控制使用至少一個光源及一掃描鏡的整合眼睛追蹤及顯示系統的硬體組件。
14r‧‧‧顯示光學系統
115‧‧‧眼鏡框
118‧‧‧可透視的透鏡
136‧‧‧控制電路
140‧‧‧電氣連接
142‧‧‧光軸
502‧‧‧印刷電路板/電子模組
505‧‧‧光學元件陣列
506‧‧‧光束組合器
508‧‧‧雙向反射元件
510‧‧‧電子模組
512‧‧‧光學元件
520‧‧‧全反射
522‧‧‧箭號
524‧‧‧光柵
525‧‧‧IR波長選擇濾光器/IR光柵
526‧‧‧可見光光柵
527‧‧‧光耦合器
529‧‧‧IR反射/路徑

Claims (20)

  1. 一種整合眼睛追蹤及顯示系統，該系統係用於一可透視的、接近眼睛的混合實境顯示裝置，該整合眼睛追蹤及顯示系統包含：一顯示光學系統，係供每隻眼睛使用，該顯示光學系統具有一光軸，且設置成可由各個眼睛透視的一可透視的平面光波導；一或多個波長選擇濾光器，以同軸對準於該各別的顯示光學系統的該光軸的方式而設於該各別的可透視的平面光波導，用以將紅外光與可見光照明導向各別的平面光波導之外，以及用以將紅外光反射導向進入該平面光波導；一紅外光照明光源，係設置用以使該紅外光照明光源的該紅外光照明能光學地耦合至該平面光波導之內；一紅外光感測器，係光學地耦合至該平面光波導，用以接收從該波長選擇濾光器所導向而來的該些紅外光反射；以及一影像產生單元，光學地耦合以將該可見光照明傳送進入該平面光波導中。
  2. 如請求項1之系統，其中該一或多個波長選擇濾光器包含一或多個光柵，且該紅外光感測器係透過一紅外光波長選擇光柵，而光學地耦合至該平面光波導。
  3. 如請求項2之系統，其中該些光柵中的至少一者包含一繞射光柵。
  4. 如請求項1之系統，其中該一或多個波長選擇濾光器包含堆疊的光柵，且該些堆疊的光柵的至少一者係供選擇一或多個可見光譜的波長，及該些堆疊的光柵的至少一者係供選擇在該紅外光光譜中的一波長。
  5. 如請求項1之系統，其中該一或多個波長選擇濾光器的至少一者係雙向型的。
  6. 如請求項1之系統，其中該一或多個波長選擇濾光器包含一熱反射鏡。
  7. 如請求項1之系統，其中該影像產生單元包含一微顯示單元。
  8. 如請求項1之系統，其中該影像產生單元包含：一光源，經調整以在各別的時間區間傳送不同波長的照明；該紅外光照明光源亦包含該光源以及該些不同波長，該些不同波長包含了在可見光與紅外光光譜兩者中的波長；以及 一二維掃描鏡，光學地耦合至該光源，以接收該照明，且光學地耦合至進入該平面光波導的一光學路徑，以將該照明導向進入該平面光波導。
  9. 如請求項1之系統，更包含：該影像產生單元，包含用以傳送可見光照明的多個光源；該紅外光照明光源，包含用以傳送紅外光照明的一個光源；一光束組合器，設置以接收該可見光與紅外光照明，並將該可見光與紅外光照明組合成一組合的光束；以及一二維掃描鏡，光學地耦合至該光束組合器，以接收該組合的光束，且該掃描鏡係光學地耦合至進入該平面光波導的一光學路徑，以將該組合的光束導向進入該平面光波導。
  10. 一種整合眼睛追蹤及顯示系統，該系統係用於一可透視的、接近眼睛的混合實境顯示裝置，該整合眼睛追蹤及顯示系統包含：一顯示光學系統，係供每隻眼睛使用，該顯示光學系統具有一光軸，且設置成可由各個眼睛透視的一可透視的平面光波導；一或多個波長選擇濾光器，以同軸對準於該各別的顯示光學系統的該光軸的方式而設於該各別的可透視的平面 光波導，用以將紅外光與可見光照明導向各別的平面光波導之外，以及用以將紅外光反射導向進入該平面光波導；一光學元件陣列，包含用來傳送紅外光與可見光照明的光源，該些光源係光學地耦合至該平面光波導，以將該些光源的照明導向進入該平面光波導；以及一紅外光感測器，係光學地耦合至該平面光波導，用以接收從該波長選擇濾光器所導向而來的該些紅外光反射。
  11. 如請求項10之系統，其中該紅外光感測器包含一或多個感應器，該一或多個感應器係位於散佈該光源陣列的該光學元件陣列中。
  12. 如請求項11之系統，其中該一或多個波長選擇濾光器包含一雙向紅外線波長選擇濾光器。
  13. 如請求項10之系統，其中該光源陣列係線型光源的一線狀陣列，該線型光源係經由一掃描鏡掃描，以將該可見光與紅外光照明結合進入該平面光波導。
  14. 如請求項11之系統，其中來自該各別眼睛的紅外光反射，係光學地耦合於一反向的光學路徑中，該反向的光學路徑係從該平面光波導中的該一或多個波長選擇濾光器中 的至少一者通向該掃描鏡，並且通向在該光學元件陣列中的該一或多個感應器。
  15. 如請求項14之系統，其中該掃描鏡係一二維掃描鏡。
  16. 如請求項13之系統，其中該掃描鏡係利用微電機系統科技來實施。
  17. 如請求項10之系統，其中該一或多個波長選擇濾光器更包含一主動光柵，該主動光柵係經調整以供選擇在各別的時間區間的該可見光與紅外光光譜中的不同波長。
  18. 一種處理在一可透視的平面光波導的一光學路徑中的用於影像顯示及眼睛追蹤的可見光與紅外光波長的方法，該可透視的平面光波導係以可透視的方式設於一可透視的、接近眼睛的混合實境顯示裝置的一顯示光學系統中，該方法包含以下步驟：將可見光與紅外光照明光學地耦合至在一光學路徑的一第一方向上的該平面光波導之內；透過一或多個波長選擇濾光器，將該可見光與紅外光照明導引出該平面光波導而朝向該眼睛，該一或多個波長選擇濾光器係同軸對準該顯示光學系統的一光軸； 透過該一或多個波長選擇濾光器，將來自該眼睛的紅外光反射導向進入在相同的該光學路徑的一第二方向上的該平面光波導；將來自該平面光波導的紅外光反射光學地耦合至一紅外光感測器；以及儲存由該紅外光感測器所產生的資料，該資料作為眼睛追蹤資料。
  19. 如請求項18之方法，更包含以下步驟：在各別的時間區間傳送該紅外光與可見光照明；其中同軸對準該顯示光學系統的該光軸的該一或多個波長選擇濾光器係包含一主動光柵；以及定時地在該各別的時間區間中，將該主動光柵的一波長選擇性調整成介於一可見光光譜與一紅外光光譜之間。
  20. 如請求項18之方法，其中該紅外光感測器係散佈於一整合陣列中的複數個紅外光感應元件，該整合陣列亦包含可見光與紅外光光源，用以產生該可見光與紅外光照明；其中該將可見光與紅外光照明光學地耦合至在該光學路徑的該第一方向上的該平面光波導之內的步驟，更包含步驟：一第一波長選擇濾光器將在該第一方向上的該可見光與紅外光照明傳送通過而進入該平面光波導；以及其中該將來自該平面光波導的紅外光反射光學地耦合至該紅外光感測器之步驟，更包含步驟：該第一波長選擇 濾光器僅將從該平面光波導接收的紅外光反射傳送通過而進入該複數個紅外光感應元件。
TW101126984A 2011-09-26 2012-07-26 整合眼睛追蹤及顯示系統與用於整合眼睛追蹤及顯示的方法 TWI571654B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/245,700 US8998414B2 (en) 2011-09-26 2011-09-26 Integrated eye tracking and display system

Publications (2)

Publication Number Publication Date
TW201314263A true TW201314263A (zh) 2013-04-01
TWI571654B TWI571654B (zh) 2017-02-21

Family

ID=47764276

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101126984A TWI571654B (zh) 2011-09-26 2012-07-26 整合眼睛追蹤及顯示系統與用於整合眼睛追蹤及顯示的方法

Country Status (5)

Country Link
US (1) US8998414B2 (zh)
CN (1) CN102955255B (zh)
HK (1) HK1180771A1 (zh)
TW (1) TWI571654B (zh)
WO (1) WO2013049012A1 (zh)

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI484219B (zh) * 2013-08-30 2015-05-11 Univ Nat Chiao Tung 頭戴式顯示裝置
TWI507729B (zh) * 2013-08-02 2015-11-11 Quanta Comp Inc 頭戴式視覺輔助系統及其成像方法
US9420950B2 (en) 2013-09-17 2016-08-23 Pixart Imaging Inc. Retro-reflectivity array for enabling pupil tracking
TWI614527B (zh) * 2016-08-18 2018-02-11 盧姆斯有限公司 具有一致影像之小型頭戴式顯示系統
TWI622901B (zh) * 2014-04-29 2018-05-01 惠普發展公司有限責任合夥企業 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
US10089516B2 (en) 2013-07-31 2018-10-02 Digilens, Inc. Method and apparatus for contact image sensing
US10145533B2 (en) 2005-11-11 2018-12-04 Digilens, Inc. Compact holographic illumination device
US10156681B2 (en) 2015-02-12 2018-12-18 Digilens Inc. Waveguide grating device
US10185154B2 (en) 2011-04-07 2019-01-22 Digilens, Inc. Laser despeckler based on angular diversity
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US10216061B2 (en) 2012-01-06 2019-02-26 Digilens, Inc. Contact image sensor using switchable bragg gratings
US10234696B2 (en) 2007-07-26 2019-03-19 Digilens, Inc. Optical apparatus for recording a holographic device and method of recording
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10330777B2 (en) 2015-01-20 2019-06-25 Digilens Inc. Holographic waveguide lidar
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10409144B2 (en) 2009-10-09 2019-09-10 Digilens Inc. Diffractive waveguide providing structured illumination for object detection
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
US10437051B2 (en) 2012-05-11 2019-10-08 Digilens Inc. Apparatus for eye tracking
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
TWI691735B (zh) * 2019-03-26 2020-04-21 宏碁股份有限公司 近眼顯示裝置
US10642058B2 (en) 2011-08-24 2020-05-05 Digilens Inc. Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US10678053B2 (en) 2009-04-27 2020-06-09 Digilens Inc. Diffractive projection apparatus
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US10690851B2 (en) 2018-03-16 2020-06-23 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10942430B2 (en) 2017-10-16 2021-03-09 Digilens Inc. Systems and methods for multiplying the image resolution of a pixelated display
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
US11307432B2 (en) 2014-08-08 2022-04-19 Digilens Inc. Waveguide laser illuminator incorporating a Despeckler
US11378732B2 (en) 2019-03-12 2022-07-05 DigLens Inc. Holographic waveguide backlight and related methods of manufacturing
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
US11448937B2 (en) 2012-11-16 2022-09-20 Digilens Inc. Transparent waveguide display for tiling a display having plural optical powers using overlapping and offset FOV tiles
US11460621B2 (en) 2012-04-25 2022-10-04 Rockwell Collins, Inc. Holographic wide angle display
US11480788B2 (en) 2015-01-12 2022-10-25 Digilens Inc. Light field displays incorporating holographic waveguides
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
US11543594B2 (en) 2019-02-15 2023-01-03 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
US11604314B2 (en) 2016-03-24 2023-03-14 Digilens Inc. Method and apparatus for providing a polarization selective holographic waveguide device
US11681143B2 (en) 2019-07-29 2023-06-20 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US11747568B2 (en) 2019-06-07 2023-09-05 Digilens Inc. Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing

Families Citing this family (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US20140009739A1 (en) * 2012-06-14 2014-01-09 Lindsay Greco Wearable apparatus and ir configuration for optimizing eye-tracking used for human computer interaction
US9223139B2 (en) * 2013-02-15 2015-12-29 Google Inc. Cascading optics in optical combiners of head mounted displays
US20140267667A1 (en) * 2013-03-14 2014-09-18 Valve Corporation Outward facing camera system with identical camera and eye image picture perspective
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9625723B2 (en) 2013-06-25 2017-04-18 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism
US10228561B2 (en) 2013-06-25 2019-03-12 Microsoft Technology Licensing, Llc Eye-tracking system using a freeform prism and gaze-detection light
US9488837B2 (en) * 2013-06-28 2016-11-08 Microsoft Technology Licensing, Llc Near eye display
US20150302773A1 (en) * 2013-07-29 2015-10-22 Fusao Ishii See Through Display enabling the correction of visual deficits
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
WO2015015454A2 (en) * 2013-07-31 2015-02-05 Saar Wilf Gaze tracking system
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
US9652034B2 (en) 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
US10416462B2 (en) * 2013-09-21 2019-09-17 IRON CITY MICRO DISPLAY, Inc. See through display enabling the correction of visual deficits
EP3063589B1 (en) 2013-10-28 2023-09-13 Technology Innovation Momentum Fund (Israel) Limited Partnership System and method for controlling light
EP3065623B1 (en) * 2013-11-09 2020-04-22 Shenzhen Goodix Technology Co., Ltd. Optical eye tracking
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
CN106663183B (zh) 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
EP2887124A1 (en) * 2013-12-20 2015-06-24 Thomson Licensing Optical see-through glass type display device and corresponding optical unit
US9360935B2 (en) * 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9841599B2 (en) * 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US20150277118A1 (en) * 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
JP5956479B2 (ja) * 2014-01-29 2016-07-27 株式会社東芝 表示装置及び視線推定装置
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6450944B2 (ja) * 2014-03-17 2019-01-16 パナソニックＩｐマネジメント株式会社 表示装置
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9858855B2 (en) * 2014-06-05 2018-01-02 International Business Machines Corporation Wearable display device
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN109893084A (zh) 2014-06-20 2019-06-18 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
FR3025711B1 (fr) * 2014-09-15 2020-12-25 Acep France Dispositif de mesure des caracteristiques physiologiques de l'oeil, pour un patient porteur de lunettes a verres teintes
US9494799B2 (en) * 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US9958680B2 (en) 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US10684477B2 (en) * 2014-09-30 2020-06-16 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
JP6464708B2 (ja) * 2014-12-08 2019-02-06 セイコーエプソン株式会社 画像表示装置
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016156586A1 (en) * 2015-04-02 2016-10-06 Essilor International (Compagnie Generale D'optique) A method for updating an index of a person
CN108139651A (zh) * 2015-05-19 2018-06-08 奇跃公司 照射器
US10078220B2 (en) * 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
WO2017005614A1 (en) * 2015-07-03 2017-01-12 Essilor International (Compagnie Generale D'optique) Methods and systems for augmented reality
US9864208B2 (en) 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US9870049B2 (en) * 2015-07-31 2018-01-16 Google Llc Reflective lenses to auto-calibrate a wearable system
US10302945B2 (en) 2015-08-12 2019-05-28 Google Llc Near-eye display with stacked lightguides
US10073278B2 (en) * 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
JP2017045407A (ja) * 2015-08-28 2017-03-02 キヤノン株式会社 情報処理装置
CN105242773B (zh) * 2015-08-31 2018-08-31 联想(北京)有限公司 一种电子设备
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US11609427B2 (en) * 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US9946072B2 (en) 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
WO2017079689A1 (en) * 2015-11-06 2017-05-11 Oculus Vr, Llc Eye tracking using optical flow
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
IL243772B (en) * 2016-01-25 2018-03-29 Everysight Ltd Dynamic ad-hoc networks for content sharing, based on line of sight
US11054648B2 (en) * 2016-02-04 2021-07-06 Google Llc Compact near-eye display optics for higher optical performance
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US9933855B2 (en) * 2016-03-31 2018-04-03 Intel Corporation Augmented reality in a field of view including a reflection
US9946074B2 (en) * 2016-04-07 2018-04-17 Google Llc See-through curved eyepiece with patterned optical combiner
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US11416041B2 (en) 2016-05-23 2022-08-16 Microsoft Technology Licensing, Llc. Device having display integrated infrared and visible light source
CN107562179B (zh) * 2016-06-30 2024-04-26 上海青研科技有限公司 一种用于眼球追踪和虹膜识别的一体化镜杯
CN105954992B (zh) * 2016-07-22 2018-10-30 京东方科技集团股份有限公司 显示系统和显示方法
US10324291B2 (en) 2016-09-12 2019-06-18 Microsoft Technology Licensing, Llc Display active alignment system for waveguide displays
US10216263B2 (en) 2016-09-12 2019-02-26 Microsoft Technology Licensing, Llc Display active alignment systems utilizing test patterns for calibrating signals in waveguide displays
CA3037725A1 (en) 2016-09-22 2018-03-29 Magic Leap, Inc. Augmented reality spectroscopy
EP3563217A1 (en) * 2016-09-27 2019-11-06 Tobii AB Portable eye tracking device
JP6829375B2 (ja) * 2016-09-28 2021-02-10 ミツミ電機株式会社 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ
EP3301501B1 (en) * 2016-09-30 2022-11-09 Nokia Technologies Oy Augmented reality apparatus
US10877556B2 (en) * 2016-10-21 2020-12-29 Apple Inc. Eye tracking system
JP7232182B2 (ja) * 2016-11-30 2023-03-02 マジック リープ， インコーポレイテッド 高分解能のデジタル化された表示のための方法及びシステム
US20180157320A1 (en) * 2016-12-01 2018-06-07 Oculus Vr, Llc Air spaced optical assembly with integrated eye tracking
US10816800B2 (en) * 2016-12-23 2020-10-27 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
JP7076754B2 (ja) * 2017-01-04 2022-05-30 スリーエム イノベイティブ プロパティズ カンパニー トップハット光出力分布を有する非対称光方向転換フィルム
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
US10310598B2 (en) 2017-01-17 2019-06-04 Facebook Technologies, Llc Varifocal head-mounted display including modular air spaced optical assembly
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
WO2018142339A1 (en) 2017-02-02 2018-08-09 Ramot At Tel-Aviv University Ltd. Multilayer optical element for controlling light
US10690919B1 (en) * 2017-02-17 2020-06-23 Facebook Technologies, Llc Superluminous LED array for waveguide display
US10545347B2 (en) 2017-02-23 2020-01-28 Google Llc Compact eye tracking using folded display optics
CN110446965B (zh) 2017-03-21 2022-05-03 奇跃公司 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
TWI634869B (zh) * 2017-03-24 2018-09-11 及至微機電股份有限公司 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
CN108663806A (zh) * 2017-03-31 2018-10-16 及至微机电股份有限公司 具有瞳孔追踪功能的影像投影装置及其瞳孔位置追踪装置
US10303248B2 (en) * 2017-04-28 2019-05-28 Microsoft Technology Licensing, Llc Eye tracking using scanned beam and multiple detectors
US10674143B2 (en) * 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
US10175489B1 (en) 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
US20190019448A1 (en) * 2017-07-12 2019-01-17 Oculus Vr, Llc Redundant microleds of multiple rows for compensation of defective microled
TWI770234B (zh) 2017-07-19 2022-07-11 以色列商魯姆斯有限公司 通過光導光學元件的矽基液晶照明器
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
US11596301B2 (en) 2017-09-29 2023-03-07 Motognosis Ug Device for the determination and analysis of the motor skill and the oculomotor skill of a person
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
US10788677B2 (en) 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
US20190129174A1 (en) * 2017-10-31 2019-05-02 Google Llc Multi-perspective eye-tracking for vr/ar systems
WO2019089811A1 (en) * 2017-11-01 2019-05-09 Vrgineers, Inc. Interactive augmented or virtual reality devices
CN107765435A (zh) * 2017-11-22 2018-03-06 深圳创维新世界科技有限公司 头戴显示装置
CN107678166A (zh) * 2017-11-22 2018-02-09 深圳创维新世界科技有限公司 增强现实显示装置
WO2019113570A1 (en) 2017-12-10 2019-06-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
EP3729182B1 (en) * 2017-12-21 2023-11-22 BAE SYSTEMS plc Eye tracking for head-worn display
US10845594B1 (en) 2017-12-21 2020-11-24 Facebook Technologies, Llc Prism based light redirection system for eye tracking systems
EP3514606A1 (en) * 2018-01-23 2019-07-24 BAE SYSTEMS plc Eye tracking for head-worn display
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US20190212482A1 (en) * 2018-01-10 2019-07-11 Oculus Vr, Llc Angle selective filter for near eye displays
US10313645B1 (en) * 2018-01-19 2019-06-04 Microsoft Technology Licensing, Llc Variable emission period for scanned-beam display
US10942355B2 (en) 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
TWI669537B (zh) * 2018-01-24 2019-08-21 宏碁股份有限公司 顯示裝置
CN108170283A (zh) * 2018-01-30 2018-06-15 小派科技（上海）有限责任公司 虚拟现实显示设备的瞳距调节方法和装置
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
US10551914B2 (en) * 2018-02-09 2020-02-04 Microsoft Technology Licensing, Llc Efficient MEMs-based eye tracking system with a silicon photomultiplier sensor
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
US11372243B2 (en) 2018-04-28 2022-06-28 Almalence, Inc. Optical hybrid reality system having digital correction of aberrations
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
WO2019228634A1 (en) * 2018-05-31 2019-12-05 Tobii Ab Method and system for glint/reflection identification
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
CN108983464B (zh) 2018-09-03 2021-04-09 京东方科技集团股份有限公司 导光组件及制作方法、眼球追踪模组及方法、视频眼镜
CN112771855A (zh) * 2018-09-17 2021-05-07 美国斯耐普公司 在三维深度视频和图像中创建冲击波
CN112771438B (zh) * 2018-09-26 2023-10-10 美国斯耐普公司 利用二维输入选择对三维深度图像进行深度雕塑
US11927755B2 (en) 2018-09-27 2024-03-12 Technology Innovation Momentum Fund (Israel) Limited Partnership See-through display for an augmented reality system
US10886702B2 (en) * 2018-11-09 2021-01-05 Facebook Technologies, Llc Vertical-cavity surface-emitting laser for near-field illumination of an eye
US20200150443A1 (en) * 2018-11-13 2020-05-14 Facebook Technologies, Llc Pupil steering: combiner actuation systems
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
CN109521568B (zh) * 2018-12-14 2020-08-14 浙江大学 一种ar眼镜同轴光路系统
CN111323918A (zh) * 2018-12-17 2020-06-23 施轩杰 一种显示与成像共享光路方案
WO2020139755A1 (en) 2018-12-28 2020-07-02 Magic Leap, Inc. Virtual and augmented reality display systems with emissive micro-displays
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
US10942320B2 (en) * 2019-02-11 2021-03-09 Facebook Technologies, Llc Dispersion compensation for light coupling through slanted facet of optical waveguide
US11624906B2 (en) * 2019-03-04 2023-04-11 Microsoft Technology Licensing, Llc IR illumination module for MEMS-based eye tracking
US11803057B2 (en) 2019-03-06 2023-10-31 Ricoh Company, Ltd. Optical device, retinal projection display, head-mounted display, and optometric apparatus
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
JP7398131B2 (ja) 2019-03-12 2023-12-14 ルムス エルティーディー． 画像プロジェクタ
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11017742B2 (en) * 2019-05-02 2021-05-25 Dell Products L.P. Information handling system multiple display viewing angle brightness adjustment
CN112101065A (zh) * 2019-06-17 2020-12-18 北京七鑫易维科技有限公司 一种基于激光器的眼球追踪方法以及终端设备
KR20220021904A (ko) 2019-06-23 2022-02-22 루머스 리미티드 포비티드 광학 보정에 의한 디스플레이
CN110161703A (zh) * 2019-06-26 2019-08-23 北京枭龙科技有限公司 一种具有眼球追踪功能的近眼显示装置
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
US11150468B1 (en) 2019-08-07 2021-10-19 Facebook Technologies, Llc Optical device having reduced diffraction artifacts for eye-tracking
US11822081B2 (en) * 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
KR20210052090A (ko) 2019-10-31 2021-05-10 삼성전자주식회사 증강 현실 장치
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
US11275250B2 (en) 2019-11-19 2022-03-15 Apple Inc. Optical alignment for head-mountable device
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN110824699B (zh) * 2019-12-25 2020-12-04 歌尔光学科技有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
US11169374B1 (en) 2019-12-31 2021-11-09 Snap Inc. Eyewear eye-tracking using optical waveguide
CN113093378A (zh) * 2020-01-08 2021-07-09 宏碁股份有限公司 眼球追踪装置和头戴式显示设备
CN111781723A (zh) * 2020-07-01 2020-10-16 业成科技（成都）有限公司 眼球追踪结构、电子装置及智能眼镜
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
CN111983803A (zh) * 2020-08-19 2020-11-24 业成科技（成都）有限公司 眼球追踪模组及电子设备
WO2022117355A1 (en) * 2020-12-04 2022-06-09 Ams International Ag Display device and method for operating a display device
EP4220275A4 (en) * 2021-01-21 2024-04-24 Samsung Electronics Co Ltd AUGMENTED REALITY DEVICE AND METHOD FOR DETECTING A USER'S GAZE
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
CN116868106A (zh) * 2021-02-11 2023-10-10 苹果公司 具有注视跟踪的波导显示器
US11928257B2 (en) 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
CN114200679B (zh) * 2021-11-17 2024-03-26 小派科技（上海）有限责任公司 光学模组/系统、显示装置、头戴式显示设备和显示系统
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
CN114660806A (zh) * 2022-04-19 2022-06-24 塔普翊海（上海）智能科技有限公司 眼动追踪光学装置、头戴显示设备及眼动追踪方法
WO2023209710A1 (en) * 2022-04-24 2023-11-02 Lumus Ltd. Eye-tracking via lightguides

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4634384A (en) 1984-02-02 1987-01-06 General Electric Company Head and/or eye tracked optically blended display system
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5471542A (en) 1993-09-27 1995-11-28 Ragland; Richard R. Point-of-gaze tracker
US5771124A (en) 1996-07-02 1998-06-23 Siliscape Compact display system with two stage magnification and immersed beam splitter
US5689619A (en) 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
JPH11249588A (ja) 1998-02-27 1999-09-17 Shimadzu Corp 頭部装着型表示装置
US6396461B1 (en) 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
JP2002542505A (ja) 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
US6671100B1 (en) 1999-10-14 2003-12-30 Stratos Product Development Llc Virtual imaging system
DE19953835C1 (de) 1999-10-30 2001-05-23 Hertz Inst Heinrich Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6578962B1 (en) 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
GB0119859D0 (en) 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US20080048931A1 (en) 2003-11-26 2008-02-28 Rafael - Armament Development Authority Ltd. Helmet System for Information or Weapon Systems
US7532230B2 (en) 2004-01-29 2009-05-12 Hewlett-Packard Development Company, L.P. Method and system for communicating gaze in an immersive virtual environment
JP4604190B2 (ja) 2004-02-17 2010-12-22 国立大学法人静岡大学 距離イメージセンサを用いた視線検出装置
JP4218553B2 (ja) 2004-03-08 2009-02-04 ソニー株式会社 画像表示装置
WO2006012678A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
EP1784988A1 (en) 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
JP4560368B2 (ja) 2004-10-08 2010-10-13 キヤノン株式会社 眼検出装置および画像表示装置
US7396129B2 (en) 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
WO2006108017A2 (en) 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US7457434B2 (en) 2005-04-04 2008-11-25 Massachusetts Eye & Ear Infirmary Adaptively focusing extra-ocular vision prostheses
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
WO2007076479A1 (en) * 2005-12-22 2007-07-05 Alcon Refractivehorizons, Inc. Pupil reflection eye tracking system and method
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
CA2685976C (en) 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
FR2919444B1 (fr) 2007-07-23 2009-10-23 Somfy Sas Dispositif d'alimentation d'un actionneur domotique et procede de fonctionnement d'un tel dispositif
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
WO2009136393A1 (en) * 2008-05-06 2009-11-12 Elbit Systems Ltd. Wide angle helmet mounted display system
KR100947990B1 (ko) 2008-05-15 2010-03-18 성균관대학교산학협력단 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
JP2009282085A (ja) 2008-05-20 2009-12-03 Panasonic Corp 光学装置およびこれを備えた画像表示装置
US7736000B2 (en) 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN103119512A (zh) 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10145533B2 (en) 2005-11-11 2018-12-04 Digilens, Inc. Compact holographic illumination device
US10234696B2 (en) 2007-07-26 2019-03-19 Digilens, Inc. Optical apparatus for recording a holographic device and method of recording
US10725312B2 (en) 2007-07-26 2020-07-28 Digilens Inc. Laser illumination device
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US11175512B2 (en) 2009-04-27 2021-11-16 Digilens Inc. Diffractive projection apparatus
US10678053B2 (en) 2009-04-27 2020-06-09 Digilens Inc. Diffractive projection apparatus
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
US10409144B2 (en) 2009-10-09 2019-09-10 Digilens Inc. Diffractive waveguide providing structured illumination for object detection
US11487131B2 (en) 2011-04-07 2022-11-01 Digilens Inc. Laser despeckler based on angular diversity
US10185154B2 (en) 2011-04-07 2019-01-22 Digilens, Inc. Laser despeckler based on angular diversity
US10642058B2 (en) 2011-08-24 2020-05-05 Digilens Inc. Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US11287666B2 (en) 2011-08-24 2022-03-29 Digilens, Inc. Wearable data display
US11874477B2 (en) 2011-08-24 2024-01-16 Digilens Inc. Wearable data display
US10216061B2 (en) 2012-01-06 2019-02-26 Digilens, Inc. Contact image sensor using switchable bragg gratings
US10459311B2 (en) 2012-01-06 2019-10-29 Digilens Inc. Contact image sensor using switchable Bragg gratings
US11460621B2 (en) 2012-04-25 2022-10-04 Rockwell Collins, Inc. Holographic wide angle display
US10437051B2 (en) 2012-05-11 2019-10-08 Digilens Inc. Apparatus for eye tracking
US11448937B2 (en) 2012-11-16 2022-09-20 Digilens Inc. Transparent waveguide display for tiling a display having plural optical powers using overlapping and offset FOV tiles
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
US11662590B2 (en) 2013-05-20 2023-05-30 Digilens Inc. Holographic waveguide eye tracker
US10089516B2 (en) 2013-07-31 2018-10-02 Digilens, Inc. Method and apparatus for contact image sensing
US10423813B2 (en) 2013-07-31 2019-09-24 Digilens Inc. Method and apparatus for contact image sensing
TWI507729B (zh) * 2013-08-02 2015-11-11 Quanta Comp Inc 頭戴式視覺輔助系統及其成像方法
TWI484219B (zh) * 2013-08-30 2015-05-11 Univ Nat Chiao Tung 頭戴式顯示裝置
US9420950B2 (en) 2013-09-17 2016-08-23 Pixart Imaging Inc. Retro-reflectivity array for enabling pupil tracking
US9983668B2 (en) 2014-04-29 2018-05-29 Hewlett-Packard Development Company, L.P. Gaze detector using reference frames in media
TWI622901B (zh) * 2014-04-29 2018-05-01 惠普發展公司有限責任合夥企業 使用媒體中參考圖框之目光檢測裝置及相關方法與電腦可讀儲存媒體
US11709373B2 (en) 2014-08-08 2023-07-25 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US11307432B2 (en) 2014-08-08 2022-04-19 Digilens Inc. Waveguide laser illuminator incorporating a Despeckler
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US11726323B2 (en) 2014-09-19 2023-08-15 Digilens Inc. Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
US11480788B2 (en) 2015-01-12 2022-10-25 Digilens Inc. Light field displays incorporating holographic waveguides
US11740472B2 (en) 2015-01-12 2023-08-29 Digilens Inc. Environmentally isolated waveguide display
US11726329B2 (en) 2015-01-12 2023-08-15 Digilens Inc. Environmentally isolated waveguide display
US10437064B2 (en) 2015-01-12 2019-10-08 Digilens Inc. Environmentally isolated waveguide display
US10330777B2 (en) 2015-01-20 2019-06-25 Digilens Inc. Holographic waveguide lidar
US10156681B2 (en) 2015-02-12 2018-12-18 Digilens Inc. Waveguide grating device
US11703645B2 (en) 2015-02-12 2023-07-18 Digilens Inc. Waveguide grating device
US10527797B2 (en) 2015-02-12 2020-01-07 Digilens Inc. Waveguide grating device
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US11754842B2 (en) 2015-10-05 2023-09-12 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US11281013B2 (en) 2015-10-05 2022-03-22 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US11604314B2 (en) 2016-03-24 2023-03-14 Digilens Inc. Method and apparatus for providing a polarization selective holographic waveguide device
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
TWI614527B (zh) * 2016-08-18 2018-02-11 盧姆斯有限公司 具有一致影像之小型頭戴式顯示系統
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
US11586046B2 (en) 2017-01-05 2023-02-21 Digilens Inc. Wearable heads up displays
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US11194162B2 (en) 2017-01-05 2021-12-07 Digilens Inc. Wearable heads up displays
US10942430B2 (en) 2017-10-16 2021-03-09 Digilens Inc. Systems and methods for multiplying the image resolution of a pixelated display
US11573483B2 (en) 2017-10-16 2023-02-07 Digilens Inc. Systems and methods for multiplying the image resolution of a pixelated display
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10690851B2 (en) 2018-03-16 2020-06-23 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US11150408B2 (en) 2018-03-16 2021-10-19 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US11726261B2 (en) 2018-03-16 2023-08-15 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US11543594B2 (en) 2019-02-15 2023-01-03 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
US11378732B2 (en) 2019-03-12 2022-07-05 DigLens Inc. Holographic waveguide backlight and related methods of manufacturing
TWI691735B (zh) * 2019-03-26 2020-04-21 宏碁股份有限公司 近眼顯示裝置
US11747568B2 (en) 2019-06-07 2023-09-05 Digilens Inc. Waveguides incorporating transmissive and reflective gratings and related methods of manufacturing
US11681143B2 (en) 2019-07-29 2023-06-20 Digilens Inc. Methods and apparatus for multiplying the image resolution and field-of-view of a pixelated display
US11592614B2 (en) 2019-08-29 2023-02-28 Digilens Inc. Evacuated gratings and methods of manufacturing
US11442222B2 (en) 2019-08-29 2022-09-13 Digilens Inc. Evacuated gratings and methods of manufacturing
US11899238B2 (en) 2019-08-29 2024-02-13 Digilens Inc. Evacuated gratings and methods of manufacturing

Also Published As

Publication number Publication date
TWI571654B (zh) 2017-02-21
WO2013049012A1 (en) 2013-04-04
US8998414B2 (en) 2015-04-07
CN102955255B (zh) 2015-05-27
HK1180771A1 (zh) 2013-10-25
US20130077049A1 (en) 2013-03-28
CN102955255A (zh) 2013-03-06

Similar Documents

Publication Publication Date Title
TWI571654B (zh) 整合眼睛追蹤及顯示系統與用於整合眼睛追蹤及顯示的方法
US9759913B2 (en) Eye tracking apparatus, method and system
KR102522813B1 (ko) 스위칭가능 회절 격자를 이용한 도파관 눈 추적
US20230341694A1 (en) Eye-imaging apparatus using diffractive optical elements
KR102416401B1 (ko) 볼륨 브래그 격자를 사용하는 도파관 눈 추적
TWI615631B (zh) 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
US20190271846A1 (en) Head-mounted display device, control method of head-mounted display device, and display system
US9792710B2 (en) Display device, and method of controlling display device
JPWO2015012280A1 (ja) 視線検出装置
CN104254800A (zh) 图像生成系统及图像生成方法
US20160097929A1 (en) See-through display optic structure

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees