TW202127105A - 關於頭戴式顯示器的內容穩定 - Google Patents

Abstract

頭戴式設備可以包括處理器，該處理器配置為從感測器接收指示頭戴式設備相對於使用者的面部上的參考點的位置的資訊；及基於該設備相對於面部的位置或位置的變化來調整虛擬內容項的呈現。感測器可以是距離感測器，並且處理器可以配置為基於頭戴式設備與使用者的面部上的參考點之間的量測的距離或距離變化來調整虛擬內容項的呈現。使用者的面部上的參考點可以是使用者的一隻或兩隻眼睛。

Description

關於頭戴式顯示器的內容穩定

本案係關於關於頭戴式顯示器的內容穩定。

近年來，將來自使用者實體環境中的真實世界影像與電腦產生的影像或虛擬物件（virtual object，VO）相結合的增強現實軟體應用越來越受歡迎和使用。增強現實軟體應用可以將圖形、聲音及/或觸覺回饋加到圍繞該應用的使用者的自然世界。影像、視訊串流和關於人及/或物件的資訊可以作為可穿戴電子顯示器或頭戴式設備（例如，智慧鏡、增強現實鏡等）上的增強場景疊加在視覺世界上展現給使用者。

各個態樣包括用於在增強現實系統中使用的頭戴式設備，其配置為補償設備在使用者的面部的移動。在各個態樣，頭戴式設備可以包括記憶體、感測器以及耦合到記憶體和感測器的處理器，其中處理器可以配置為從感測器接收資訊，其中該資訊可以指示頭戴式設備相對於使用者的面部上的參考點的位置，並且基於該位置調整虛擬內容項的呈現（render）。

在一些態樣，從感測器接收的資訊涉及頭戴式設備相對於使用者的眼睛的位置，其中處理器可以配置為基於頭戴式設備相對於使用者的眼睛的位置來調整虛擬內容項的呈現。在一些態樣，感測器可以包括配置成向使用者的面部發射IR光的紅外（IR）感測器和IR光源。在一些態樣，感測器可以包括超聲感測器，其配置為向使用者的面部發射超聲波脈衝，並決定頭戴式設備相對於使用者的面部上的參考點的位置。在一些態樣，感測器可以包括第一相機，並且在一些態樣，感測器亦可以包括第二相機。在一些態樣，頭戴式設備亦可以包括影像呈現設備，其耦合到處理器並且配置為呈現虛擬內容項。

在一些態樣，處理器亦可以被配置為決定從頭戴式設備上的影像呈現設備到使用者的眼睛的角度，並且基於所決定的到使用者的眼睛的角度以及所決定的頭戴式設備與使用者的面部上的參考點之間的距離來調整虛擬內容項的呈現。

一些態樣可以包括一種在增強現實系統中調整虛擬內容項的呈現以補償在使用者上頭戴式設備的移動的方法，該方法可以包括決定頭戴式設備相對於使用者的面部上的參考點的位置，以及基於所決定的頭戴式設備相對於使用者的面部上的參考點的位置來調整虛擬內容項的呈現。在一些態樣，使用者的面部上的參考點可以包括使用者的眼睛。

一些態樣亦可以包括從感測器接收涉及頭戴式設備相對於使用者的眼睛的位置的資訊，其中基於所決定的頭戴式設備相對於在使用者的面部上決定的參考點的位置來調整虛擬內容項的呈現，可以包括基於根據頭戴式設備相對於使用者的眼睛的位置而決定的對於使用者的眼睛的距離和角度來調整虛擬內容項的呈現。

在一些態樣，決定頭戴式設備相對於使用者的面部上的參考點的位置可以包括基於從配置為向使用者的面部發射IR光的紅外（IR）感測器和IR光源接收的資訊來決定頭戴式設備相對於使用者的面部上的參考點的位置。

在一些態樣，決定頭戴式設備相對於使用者的面部上的參考點的位置可以包括基於從配置為向使用者的面部發射超聲波脈衝的超聲感測器接收的資訊來決定頭戴式設備相對於使用者的面部上的參考點的位置。

在一些態樣，決定頭戴式設備相對於使用者的面部上的參考點的位置可以包括決定頭戴式設備相對於使用者的面部上的參考點的位置的變化，並且基於所決定的頭戴式設備相對於使用者的面部上的參考點的位置來調整虛擬內容項的呈現可以包括基於頭戴式設備相對於使用者的面部上的參考點的位置的變化來調整虛擬內容項的呈現。

在一些態樣，決定頭戴式設備相對於使用者的面部上參考點的位置可以包括由處理器基於由頭戴式設備上的感測器發射的訊號來執行飛行時間量測。在一些態樣，決定頭戴式設備相對於使用者的面部上的參考點的位置可以包括由處理器基於由頭戴式設備上的成像感測器擷取的影像執行三角量測操作。

進一步的態樣包括其上儲存具有處理器可執行指令的非暫時性處理器可讀儲存媒體，該處理器可執行指令配置為使頭戴式設備或相關聯的計算設備中的處理器執行以上總結的任何方法的操作。進一步的態樣包括具有用於實現以上總結的任何方法的功能的裝置的頭戴式設備或相關聯的計算設備。

將參照附圖詳細描述各種實施例。在可能的情況下，在整個附圖中將使用相同的元件符號來表示相同或相似的部件。對特定實例和實現的引用是為了說明目的，並不是為了限制請求項的範疇。

增強現實系統經由顯示虛擬內容的元素來工作，從而使得其出現在現實世界中的物件的體積（volume）上、附近或與其相關聯。術語「增強現實系統」指的是在包括現實世界物件的場景內呈現虛擬內容項的任何系統，包括呈現虛擬內容項以使得它們看起來懸浮在現實世界內的系統、混合的現實系統、以及呈現與虛擬內容項相結合的現實世界物件（例如，由外向（outward-facing）相機獲得的）的影像的視訊直通系統。在增強現實系統的常見形式中，使用者佩戴頭戴式設備，頭戴式設備包括擷取現實世界的影像的外向相機、處理器（其可以是單獨的計算設備或頭戴式設備內的處理器）以及呈現影像的影像呈現設備（例如，顯示器或投影儀），處理器產生虛擬內容項（例如，影像、本文、圖示等），使用來自外向相機的影像來決定虛擬內容項應該如何或在哪裡呈現以出現在選擇的現實世界物件上、在選擇的現實世界物件附近或與其相關聯，使得對於使用者而言，虛擬內容項看起來像是相對於現實世界物件位於所決定的位置。

為了便於描述各種實施例，虛擬內容項相對於選擇的現實世界物件的定位在本文中被稱為「配准」，並且當項在看起來位於所選擇的現實世界物件上、附近或與其相關聯時，虛擬內容項被「配准」到現實世界物件中。如在此使用的，當增強現實系統試圖呈現虛擬內容項以使得該項看起來與現實世界物件配准（亦即，看起來在其上、附近或保持在固定相對位置）時，該虛擬內容項與現實世界物件「相關聯」。

在配准與遠處的現實世界物件相關聯的虛擬內容項時，頭戴式設備呈現虛擬內容，使得使用者表現出與現實世界物件處於相同的距離，即使虛擬內容正由距離使用者眼睛僅幾釐米的影像呈現設備（例如，投影儀或顯示器）呈現。這可以經由在影像呈現設備中的透鏡的使用來實現，該透鏡將來自虛擬內容的投影或顯示的光重新聚焦，使得當使用者注視遠處的現實世界物件時，光被使用者的眼睛的透鏡聚焦在視網膜上。因此，即使虛擬內容的影像是在使用者眼睛的毫米範圍內產生的，虛擬內容出現在焦點上，就好像它處於距使用者與經由增強現實系統與其相關聯的現實世界物件相同的距離。

用於增強現實應用的習知頭戴式設備通常包括厚的或笨重的鼻樑和框架，或者被設計成經由頭帶固定到使用者的頭部。隨著增強現實軟體應用繼續增長的普及和使用，預計消費者對新型頭戴式設備的需求將會增加，這些設備具有更薄或更輕的鼻樑和框架，並且可以不戴頭帶，類似於老花鏡或眼鏡。由於這些和其他新的特徵，可能更有可能的是鼻樑將從使用者的鼻子滑下，框架將在使使用者的面部移動或位移，並且使用者將頻繁地調整頭戴式設備在使用者的鼻子和面部上的位置、定位和方向（類似於人們當前如何調整他們的老花鏡或眼鏡）。設備的這種移動和調整可以改變頭戴式設備的相機、使用者的眼睛和頭戴式設備的電子顯示器之間的位置、方向、距離和角度。

從靠近使用者眼睛的影像呈現設備（例如，投影儀或顯示器）投影或透鏡作用虛擬內容項，使得虛擬內容看起來與現實世界物件配准，並且在頭戴式設備中使用者注視遠處的現實世界物件時聚焦，牽涉使用波導、鐳射投影儀、透鏡或投影儀。這種呈現技術使呈現內容的表觀位置對使用者的眼睛和影像呈現設備（例如，投影儀或顯示器）之間的距離和角度的變化敏感。若此類距離和角度保持固定，則虛擬內容項可以保持在焦點上，並且看起來在由增強現實系統決定的固定相對位置中與現實世界物件保持配准。然而，若使用者的眼睛和影像呈現設備（例如，投影儀或顯示器）之間的距離和角度變化（例如，若頭戴式設備從使用者的鼻子滑下或者使用者在使用者的面部上重新定位頭戴式設備），這將改變虛擬內容項的表觀深度及/或位置，而與現實世界物件的距離和位置沒有表現出變化（亦即，虛擬內容項表現相對於現實世界物件移動）。由於與到現實世界物件的距離相比，從影像呈現設備（例如，投影儀或顯示器）到使用者的眼睛的距離短，所以即使頭戴式設備的距離和角度的微小變化亦會使虛擬內容項表現出經由與遠處的物件相比的大的角度和距離移動。

即使當不直接與虛擬物件互動時，使用者亦可以做出細微的移動（頭部、頸部或面部移動等），以及突然的移動（例如，奔跑、跳躍、彎腰等），這可能會影響虛擬內容項相對於現實世界物件的表觀定位和方向。此類使用者移動亦可以導致頭戴式設備在使用者的鼻子或面部上移動或移位，這改變了虛擬物件影像呈現設備（例如，投影儀或顯示器）和使用者的眼睛之間的距離和角度。這可以導致虛擬內容項相對於現實世界物件的定位、外觀距離及/或方向的明顯變化。類似地，當使用者手動調整頭戴式設備在使用者的面部上的位置時，任何移動皆會依照移動的數量和方向/旋轉改變顯示光學裝置相對於使用者的眼睛的方向、距離及/或定位。頭戴式設備相對於使用者的眼睛的這些移動可以導致虛擬物件表現與現實世界物件不同的距離（例如，當使用者注視現實世界物件時表現模糊不清），以及與現實世界物件相比處於不同的角度位置。虛擬物件的表觀距離和角度定位對頭戴式設備在使用者的面部上的移動的這種敏感性可能會影響增強場景的保真度並降低使用者體驗。

一些習知的解決方案試圖經由從外部傳感設備，諸如通訊地耦合到頭戴式設備的磁或超聲波感測器收集資訊，來決定相對於使用者的眼睛的位置和方向，並在基於視覺的配准的定位階段期間使用該資訊來調整將呈現虛擬物件的位置。例如，習知的頭戴式設備可以包括陀螺儀和加速計，其可以感測設備經由三個旋轉軸的旋轉和經由三維（亦即，6個自由度）的移動。儘管這些習知的解決方案，特別地與由外向相機提供的影像相結合，向增強現實系統提供資訊，使得能夠將虛擬實境項與相關聯的現實世界物件重新對準（例如，更新配准），但此類感測器不考慮頭戴式設備相對於使用者的眼睛的移動。相反，大多數習知的基於視覺的配准技巧/技術假定外向相機和內向影像呈現設備（例如，波導、投影儀或顯示器）相對於使用者的眼睛具有固定的位置和方向。因此，由於設備在使用者的面部的移動，習知的增強現實頭戴式設備可以體現虛擬內容項相對於遠處物件的表觀距離和角度定位的頻繁變化。

綜上所述，各種實施例包括一種頭戴式設備，其配備有外向世界視野（world-view）影像感測器/相機和內向凝視視野（gaze-view）感測器/相機。內向凝視視野感測器/相機可以配置為決定或量測影像呈現設備（例如，投影儀或顯示器）和使用者的眼睛之間的距離和角度（在此稱為 「定位（position）」，如下文定義）的變化。在典型的頭戴式設備中，影像呈現設備（例如，投影儀或顯示器）將與外向相機（或者更準確地說，外向相機的影像平面）保持固定距離。因此，儘管增強現實系統決定虛擬內容項的適當呈現以表現與一或多個現實世界物件相關聯（亦即，表現出在其上或位於附近），但是該程序假定外向相機影像平面和用於此目的的影像呈現設備（例如，投影儀或顯示器）之間的固定距離和角度關係。為了校正由於頭戴式設備在使用者的面部上的移動而導致影像呈現設備相對於使用者的眼睛的位置的變化，頭戴式設備內或與頭戴式設備通訊（例如，經由無線或有線鏈路）的處理器可以配置為使用來自感測器的距離和角度量測，該感測器配置為決定到使用者的面部或眼睛的距離和角度的變化，並且調整虛擬內容項（例如，增強影像）的呈現以考慮頭戴式設備和使用者的眼睛之間的距離/角度的變化。此類調整可以起到穩定虛擬內容項相對於距離現實世界物件的表觀位置的作用，使得當頭戴式設備在使用者的面部上位移時，虛擬內容相對於觀察到的現實世界保持在相同的表觀位置，如由增強現實系統決定的那樣。

在一些實施例中，頭戴式設備可以配置為決定頭戴式設備上的配准點（例如，距離/角度感測器）和使用者的面部（例如，使用者的眼睛）上的配准點之間的距離和角度（或距離及/或角度的變化），大約六個軸或自由度，即X、Y、Z、滾動、俯仰和偏航軸及尺寸。為了便於參考，術語「位置」和「位置變化」在此用作為頭戴式設備和使用者的眼睛之間的距離和角度方向的一般參考，並且意欲涵蓋關於六個軸或自由度的任何尺寸或角度量測。例如，頭戴式設備沿著使用者的鼻子的移動將導致（例如）沿X軸和Z軸的距離變化以及圍繞俯仰軸的旋轉，所有這些的組合在此可以被稱為頭戴式設備相對於使用者的眼睛的定位的變化。

假設頭戴式設備是剛性的，則在外向影像感測器、呈現虛擬內容項的影像的投影儀或顯示器以及配置為決定頭戴式設備相對於使用者的面部上的參考點的定位的內向感測器之間將存在恆定的距離和角度關係。例如，感測器可以量測到使用者的面部上的點的距離（或距離的變化）和角度（或角度的變化），以決定沿六個軸或自由度的定位（或定位的變化）。此外，感測器相對於使用者的面部上的配准點的位置的量測可以經由固定的幾何變換與外向影像感測器和投影儀或顯示器兩者相關。因此，內向距離和角度量測感測器可以定位於頭戴式設備上的任何位置，並且距離和角度量測可以由處理器用來決定頭戴式設備相對於使用者的眼睛的位置，並且調整虛擬內容項的呈現，使得其向使用者表現為仍然保持與相關聯的現實世界物件配准的。

在各種實施例中可以使用各種類型的感測器來決定頭戴式設備相對於使用者的眼睛的相對定位或定位變化。在示例性實施例中，感測器可以是內向紅外感測器，其產生紅外光的小閃光，偵測使用者的眼睛上的紅外光的小閃光的反射，並經由執行偵測到的反射的飛行時間量測來決定外向影像感測器與使用者的眼睛之間的距離和角度（或距離及/或角度的變化）。在另一實例中，單個可見光相機可以配置為基於在兩個或多個影像之間的特徵的觀察到的定位的變化來決定外向影像感測器和使用者的眼睛之間的距離及/或角度的變化。在另一實例中，兩個間隔開的成像感測器（亦即，雙目影像感測器或立體相機）可用於經由由處理器的影像處理來決定距離，以決定每個感測器中與使用者的面部上的公共參考點（例如，一隻眼睛的瞳孔）的角度，並使用三角量測計算距離。在另一個示例性實施例中，感測器可以是一或多個電容觸摸感測電路，其可以嵌入在頭戴式設備的內部，以便與使用者的面部（例如，鼻樑、眉毛區域或太陽穴區域）進行接觸，並且配置為輸出電容資料，處理器可以分析該電容資料以決定設備是否在使用者的面部上移動或位移。在另一個示例性實施例中，感測器可以是超聲換能器（ultrasound transducer），其產生超聲波脈衝，偵測從使用者的面部離開的超聲波脈衝的回波（echo），並且經由執行偵測到的回波的飛行時間量測來決定外向影像感測器和使用者的面部之間的距離（或距離變化）。距離或距離的變化可以基於IR閃光或超聲波的產生與光速或聲速之間的時間來決定。感測器可以配置為決定與使用者的眼睛的角度，並且因此亦量測頭戴式設備（以及因此外向相機）和使用者的眼睛的角度方向的變化。隨後，處理器可以使用此類量測來決定頭戴式設備相對於使用者的眼睛的定位（或定位的變化），並決定要對虛擬內容項的呈現做出的調整，使得該項表現出仍然保持與相關聯的現實世界物件配准。

頭戴式設備處理器可以在更新的顯示位置（亦即，距離和角度）呈現虛擬內容的經調整或更新的影像，以產生增強場景，使得虛擬內容項保持與現實世界物件的配准，如由增強現實系統決定的那樣。

在此使用的術語「行動設備」是指蜂巢式電話、智慧手機、物聯網路（IOT）設備、個人或行動多媒體播放機、可攜式電腦、平板電腦、超極本、掌上型電腦、無線電子郵件接收器、支援多媒體網際網路的蜂巢式電話、無線遊戲控制器、頭戴式設備和包括可程式設計處理器、記憶體和用於向無線通訊網路發送及/或從無線通訊網路接收無線通訊訊號的電路的電子設備其中的任何一個或全部。儘管各種實施例在諸如智慧手機和平板電腦的行動設備中特別有用，但是這些實施例通常在包括用於存取蜂巢或無線通訊網路的通訊電路的任何電子設備中都是有用的。

短語「頭戴式設備」和首字母縮寫（HMD） 在此用來指的是向使用者展現電腦產生的影像和來自使用者實體環境的現實世界影像的組合（亦即，使用者不戴鏡會看到的東西）及/或使使用者能夠在現實世界場景的上下文中觀看所產生的影像的任何電子顯示系統。頭戴式設備的非限制性實例包括或可以包括在頭戴式、眼鏡、虛擬實境鏡、增強現實鏡、電子護目鏡以及其他類似的技術/設備中。如在此所描述，頭戴式設備可以包括處理器、記憶體、顯示器、一或多個相機（例如，世界視野相機、凝視視野相機等）、一或多個六自由度三角量測掃瞄器、以及用於與網際網路、網路或另一計算設備連接的無線介面。在一些實施例中，頭戴式設備處理器可以配置為執行或進行增強現實軟體應用。

在一些實施例中，頭戴式設備可以是用於行動設備（例如，桌上型電腦、可攜式電腦、智慧手機、平板電腦等）的附件及/或從行動設備（例如，桌上型電腦、可攜式型電腦、智慧手機、平板電腦等）中接收資訊，全部或部分處理在該行動設備（例如，圖6和圖7所示的計算設備等）的處理器上執行。因此，在各種實施例中，頭戴式設備可以配置為在頭戴式設備中的處理器上本端執行所有處理，將所有主處理卸載到另一計算設備（例如，與頭戴式設備展現於同一房間中的可攜式電腦等）中的處理器，或者在頭戴式設備中的處理器和另一計算設備中的處理器之間拆分主要處理操作。在一些實施例中，另一計算設備中的處理器可以是「雲端」中的伺服器，頭戴式設備或相關聯的行動設備中的處理器經由網路連接（例如，到網際網路的蜂巢網路連接）通訊。

短語「六個自由度（6-DOF）」在此使用是指頭戴式設備或其部件（相對於使用者的眼睛/頭部、電腦產生的影像或虛擬物件、現實世界物件等）的移動自由度在三維空間中或相對於使用者的面部的三個垂直軸。在使用者的頭部上的頭戴式設備的定位可以變化，諸如在向前/向後方向或沿X軸（浪湧（surge）） 移動、在左/右方向或沿Y軸（擺動（sway））移動、並且在上/下方向或沿Z軸（起伏（heave））移動。在使用者的頭部上的頭戴式設備的方向可以變化，諸如圍繞三個垂直軸旋轉。術語「滾動」可以指沿縱軸或在X軸上的側向傾斜的旋轉。術語「俯仰」可以指沿橫軸旋轉或在Y軸上向前和向後傾斜。術語「偏航」可以指沿著法線軸旋轉或在Z軸上左右旋轉。

可以使用多種不同的方法、技巧、方案及/或技術（在此統稱為「解決方案」）來決定使用者的面部上的點（例如，圍繞使用者的多個眼睛、眼睛、眼窩、眼角、角膜、瞳孔等的面部結構上的點）的位置、定位或方向，這些中的任何一個或全部可以由各種實施例實現、包括在其中及/或由各種實施例使用。如前述，各種類型的感測器，包括IR、影像感測器、雙目影像感測器、電容觸摸傳感電路和超聲波感測器，可以用來量測從頭戴式設備上的感測器到使用者臉部上的點的距離和角度。處理器可以將三邊量測或多邊量測應用於感測器的量測，以及加速計和陀螺儀感測器資料，以經由六個自由度（DOF）來決定頭戴式設備相對於使用者的面部的定位（亦即，距離和角度方向）的變化。例如，頭戴式設備可以配置為發送聲音（例如，超聲波）、光或無線電訊號到目標點，以量測由頭戴式設備上的感測器偵測到聲音、光或無線電訊號的反射需要多長時間，並使用上述技術中的任何或全部（例如，到達時間、到達角度等）來估計頭戴式設備的透鏡或相機與目標點之間的距離和角度。在一些實施例中，處理器，諸如頭戴式設備的處理器，可以在處理由內向影像感測器（例如，數碼相機）拍攝的影像時使用使用者的面部的三維（3D）模型（例如，3D重建）來決定頭戴式設備相對於使用者的眼睛的位置。

如前述，增強現實系統可以使用基於視覺的配准技巧/技術來對準虛擬內容項（例如，電腦產生的影像等）的呈現的影像，使得該項對使用者表現出配准了現實世界的物件。因此，基於頭戴式設備在使用者的面部或頭部上的定位和方向，設備投影或以其他方式呈現虛擬內容項，使得其相對於相關聯的現實世界物件看起來像使用者期望的那樣。基於視覺的配准技術的實例係包括基於光學的配准、基於視訊的配准、使用人工標記的配准、使用自然標記的配准、基於多相機模型的配准、混合配准以及經由模糊估計的配准。

例如，增強現實系統可以執行以下操作，包括頭戴式設備擷取現實世界場景（亦即，使用者周圍的實體環境）的影像，處理擷取的影像以從現實世界場景的影像辨識四個已知點，圍繞該點設置四個單獨的追蹤訊窗，基於該點決定相機校準矩陣（M），基於相機校準矩陣（M）決定四個已知點的「世界」、「相機」和「螢幕」座標，基於座標決定投影矩陣，以及使用投影矩陣將每個產生的虛擬物件順序地覆蓋到現實世界場景的影像上。

上述基於視覺的配准技術中的每一個可以包括定位階段、呈現階段和合併階段。在定位階段期間，頭戴式設備可以擷取現實世界場景（亦即，使用者周圍的實體環境）的影像，並決定虛擬物件將在現實世界場景中顯示的位置。在呈現階段期間，頭戴式設備可以產生虛擬內容項的二維影像。在合併階段期間，頭戴式設備可以經由影像呈現設備（例如，投影儀或顯示器）呈現虛擬內容項，使得該項在使用者看來被疊加在現實世界場景上或與現實世界場景重疊。具體地，頭戴式設備可以向使用者展現疊加的影像，使得使用者可以以對使用者而言自然的方式查看虛擬內容項及/或與其互動，而不管頭戴式設備的定位和方向。在採用視訊直通技術的混合現實設備中，合併階段可能涉及在顯示器中共同呈現現實世界的影像和虛擬內容項兩者。

在合併階段之後或作為合併階段的一部分，處理器可以從內向距離和角度感測器獲得到使用者的面部上的配准點的距離及/或角度量測，並調整虛擬內容項的呈現，以使虛擬內容項在使用者的頭部上的頭戴式設備的定位及/或方向變化時，表現出保持在與現實世界場景相同的相對位置（亦即，距離和角度），諸如當使用者手動地在使用者的面部上重新定位頭戴式設備時。

圖1A圖示可以根據各種實施例配置的頭戴式設備100。在圖1A所示的實例中，頭戴式設備100包括框架102、兩個光學透鏡104和處理器106，處理器106通訊地耦合到外向世界視野影像感測器/相機108、內向凝視視野感測器/相機110、感測器陣列112、記憶體114和通訊電路116。在一些實施例中，頭戴式設備100可以包括沿著框架的臂120或者在頭戴式設備100的鼻樑122中的電容觸摸傳感電路。在一些實施例中，頭戴式設備100亦可以包括用於監視實體條件（例如，位置、運動、加速度、方向、高度等）的感測器。感測器可以包括陀螺儀、加速計、磁力計、磁羅盤、高度計、里程表和壓力感測器中的任何一個或全部。感測器亦可以包括各種生物感測器（例如，心率監視器、體溫感測器、碳感測器、氧感測器等）。用於收集與環境及/或使用者條件有關的資訊。感測器亦可以位於頭戴式設備100的外部，並經由有線或無線連接（例如，藍芽®等）與頭戴式設備100配對或封包。

在一些實施例中，處理器106亦可以通訊地耦合到影像呈現設備118（例如，影像投影儀），該影像呈現設備118可以嵌入在框架102的臂部120中並且配置為將影像投影到光學透鏡104上。在一些實施例中，影像呈現設備118可以包括發光二極體（LED）模組、光隧道、均質透鏡（homogenizing lens）、光學顯示器、折疊鏡或眾所周知的投影儀或頭戴式顯示器的其他組件。在一些實施例中（例如，其中不包括或使用影像呈現設備118的那些實施例），光學透鏡104可以是或可以包括透視式或部分透視式電子顯示器。在一些實施例中，光學透鏡104包括影像產生元件，諸如透視有機發光二極體（OLED）顯示元件或矽上液晶（LCOS）顯示元件。在一些實施例中，光學透鏡104可以包括獨立的左眼和右眼顯示元件。在一些實施例中，光學透鏡104可以包括或用作用於將光從顯示元件傳送到佩戴者的眼睛的光導。

外向或世界視野的影像感測器/相機108可以配置為從使用者的實體環境擷取現實世界影像，並將相應的影像資料發送到處理器106。處理器106可以將現實世界影像與電腦產生的影像或虛擬物件（VO）組合以產生增強場景，並在頭戴式設備100的電子顯示器或光學透鏡104上呈現增強場景。

內向或凝視視野的感測器/相機110可以配置為從使用者的眼睛或圍繞使用者的眼睛的臉部結構獲取影像資料。例如，凝視視野感測器/相機110可以配置為產生小的閃光（紅外光等），擷取它們在使用者的眼睛（例如，眼窩、眼角、角膜、瞳孔等）上的反射，並將相應的影像資料發送到處理器106。處理器106可以使用從凝視視野感測器/相機110接收的影像資料來決定對於每個使用者的眼睛的光軸、每只眼睛的凝視方向、使用者的頭部方向、各種眼睛凝視速度或加速值、眼睛凝視方向的角度變化或其他類似的凝視相關資訊。此外，處理器106可以使用從頭戴式設備100（例如，電容觸摸感測電路）中的凝視視野感測器/相機110及/或其他感測器部件接收的影像資料來決定使用者的每只眼睛與世界視野影像感測器/相機108或光學透鏡104之間的距離和角度。

在一些實施例中，頭戴式設備100（或內向或凝視視野感測器/相機110）可以包括掃瞄器及/或追蹤器，其配置為決定使用者的每只眼睛與世界視野影像感測器/相機108或光學透鏡104之間的距離和角度。掃瞄器/追蹤器可以配置為量測到使用者的面部上的配准點（例如，使用者的眼睛上的點或圍繞使用者眼睛的臉部結構）的距離和角度。可以使用各種類型的掃瞄器或追蹤器。在示例性實施例中，掃瞄器/追蹤器可以是內向雙目影像感測器，其對使用者的面部或眼睛進行成像，並經由三角量測決定到配准點的距離和角度。在另一個示例性實施例中，掃瞄器/追蹤器可以是IR感測器，其配置為向點或配准投影雷射光束，並經由量測距離（例如，經由量測反射的IR閃光的飛行時間）和掃瞄器/追蹤器和點之間的兩個角度（例如，經由絕對測距儀、干涉儀、角度編碼器等）來決定配准點的座標。在一些實施例中，掃瞄器/追蹤器可以包括超聲換能器（例如，壓電換能器），其配置為經由向使用者的眼睛的表面或圍繞使用者的眼睛的臉部特徵發射超聲波、量測聲脈衝和偵測回聲之間的時間以及基於量測的飛行時間決定距離來執行飛行時間量測。

在一些實施例中，掃瞄器/追蹤器可以是或包括三角量測掃瞄器，其配置為基於本發明所屬領域已知的各種影像三角量測技術中的任一種來決定物件（例如，使用者的眼睛或圍繞使用者的眼睛的臉部結構）的座標。通常，三角量測掃瞄器將光線（例如，來自鐳射線探針的光）或區域上的二維（2D）光圖案（例如，結構光）投影到物件表面上。三角量測掃瞄器可以包括與頭戴式設備上的外向相機以固定機械關係耦合到光源（例如，IR發光二極體雷射器）的相機。從光源發射的投影線或光圖案可以從使用者的面部（例如，使用者的一隻或兩隻眼睛）上的表面反射，並由相機成像。由於相機和光源彼此以固定關係佈置，因此可以從投影線或圖案、擷取的相機影像以及根據三角原理分隔光源和相機的基線距離來決定到物件表面的距離和角度。

在一些實施例中，掃瞄器/追蹤器可以配置為獲取一系列影像，並且相對於彼此配准影像，使得每個影像相對於其他影像的定位和方向是已知的，使用位於影像中的特徵（例如，基點（cardinal point））來匹配相鄰影像訊框的重疊區域，並且基於重疊區域來決定使用者的每只眼睛與世界視野影像感測器/相機108或光學透鏡104之間的距離和角度。

在一些實施例中，頭戴式設備100的處理器106可以配置為使用定位和映射技術，諸如同步定位和映射（SLAM）、視覺同時定位和映射（VSLAM）及/或本發明所屬領域已知的其他技術來構建和更新可視環境的地圖及/或決定使用者的每個眼睛、每個光學透鏡104及/或每個世界視野影像感測器/相機108之間的距離和角度。例如，世界視野影像感測器/相機108可以包括從環境擷取影像或訊框的單目影像感測器。頭戴式設備100可以辨識擷取影像內的突出物件或特徵，估計影像中特徵的尺寸和比例，將辨識出的特徵彼此比較及/或與具有已知尺寸和比例的測試影像中的特徵進行比較，並基於比較來辨識對應關係。每個對應關係可以是將一個影像中的特徵（或特徵點）辨識為在另一影像（例如，隨後擷取的影像）中具有相同特徵的高概率的值的集或資訊結構。換言之，對應關係可以是一組對應的影像點（例如，第一影像中的第一點和第二影像中的第二點等）。頭戴式設備100可以基於辨識的對應關係產生單應性矩陣資訊結構，並使用單應性矩陣來決定其在環境中的姿勢（例如，定位、方向等）。

圖1B圖示根據一些實施例的可以包括在頭戴式設備100中的電腦體系結構和各種感測器，其配置為考慮到頭戴式設備的相機和使用者的眼睛之間的距離/角度的變化。在圖1B所示的實例中，頭戴式設備100包括主機板部件152、影像感測器154、微控制器單元（MCU）156、紅外（IR）感測器158、慣性量測單元（IMU）160、鐳射距離和角度感測器（LDS）162以及光流感測器164。

感測器154、158-164可以收集對在頭戴式設備100中採用SLAM技術有用的資訊。例如，光流感測器164可以量測光流或視覺運動，並基於光流/視覺運動輸出量測。光流可以辨識或定義由觀察者（例如，頭戴式設備100、使用者等）和場景之間的相對運動引起的視覺場景中的物件、表面和邊緣的表觀運動的模式。MCU 156可以使用光流資訊來決定頭戴式設備100和頭戴式設備100附近的現實世界物件之間的視覺運動或相對運動。基於現實世界物件的視覺或相對運動，處理器可以使用SLAM技術來決定到現實世界物件的距離和角度。經由決定到現實世界物件的距離和角度，增強現實系統可以決定呈現虛擬內容項的虛擬距離，使得它們表現在與虛擬內容將被配准到的現實世界物件相同的距離（亦即，焦點）。在一些實施例中，光流感測器164可以是耦合到MCU 156（或圖1A中所示的處理器106）的影像感測器，該MCU 156被程式設計為執行光流演算法。在一些實施例中，光流感測器164可以是在同一晶片或裸片上包括影像感測器和處理器的視覺晶片。

頭戴式設備100可以配備各種額外感測器，包括陀螺儀、加速計、磁力計、磁羅盤、高度計、相機、光學讀取器、方向感測器、單目影像感測器及/或用於監視實體條件（例如，位置、運動、加速度、方向、高度等）的類似感測器或者收集對使用SLAM技術有用的資訊。

圖2A圖示適於在作為增強現實系統的一部分的頭戴式設備上呈現電子產生的影像或虛擬內容項的成像系統。圖2A中的實例圖示包括使用者的視網膜252、現實世界物件視網膜影像254、眼睛焦點256、虛擬內容（虛擬球）視網膜影像項258、虛擬內容焦點項260、使用者的眼睛262（例如，眼睛透鏡、瞳孔、角膜等）、使用者的虹膜264、用於虛擬內容項的光投影266、圍繞使用者眼睛的表面或臉部特徵268、用於量測感測器278和臉部特徵268之間的距離（d）270和角度的感測器272、影像感測器透鏡274、影像呈現設備276、來自現實世界物件278的光、影像感測器透鏡274的視場（FOV）錐體280以及現實世界物件282。在一些實施例中，影像呈現設備276可以是投影儀或顯示器（例如，波導、鐳射投影儀等），其配置為呈現虛擬內容項的影像，以便表現在與現實世界物件的距離上並且靠近現實世界物件。

圖2B圖示當使用者調整頭戴式設備在使用者的面部上的位置時，或者當頭戴式設備在使用者的鼻子上移動時，感測器272和臉部特徵268之間的距離（d’）270變化。儘管頭戴式設備在使用者的面部上的移動改變了影像呈現設備276相對於使用者的眼睛262和面部268的位置（例如，距離及/或角度），這改變了虛擬內容項258的感知位置，到現實世界物件282的距離D 284沒有變化。因此，現實世界282物件的感知位置（其與物件影像254在視網膜252上的位置相關）保持不變，但是影像呈現設備276相對於使用者的眼睛262和面部268的定位的變化改變了當虛擬內容視網膜影像258相對於現實世界物件視網膜影像254變化時使用者感知虛擬內容項（虛擬球）的位置。

圖2C圖示根據各種實施例配置為執行基於視覺的調整的系統可以決定影像感測器274相對於眼睛262的定位（或定位的變化），並且基於該定位或定位的變化來調整虛擬內容項258的呈現，使得虛擬內容相對於現實世界物件表現穩定的並且對於使用者來說是自然的，而不考慮頭戴式設備在使用者的頭部上的位置。

在一些實施例中，系統可以配置為經由各種技術來決定感測器272和使用者的眼睛262（或使用者的面部上的另一個參考點）之間的新距離（d’）270（或距離的變化），該技術諸如量測IR閃光或超聲波脈衝的飛行時間、對從雙目影像感測器獲得的影像的三角量測。系統可以基於所決定的影像感測器和使用者的眼睛之間的距離或距離的變化來調整虛擬內容項258的呈現，使得虛擬內容項（圖中的球）再次表現（亦即，視網膜影像）與現實世界物件配准（圖中的球拍），因為球的視網膜影像258處於相同的焦距並且緊鄰現實世界物件的視網膜影像254。

圖2D和圖2E圖示在一些實施例中，決定影像感測器274相對於使用者的眼睛262的位置可以包括決定由於頭戴式設備在使用者的面部上的移動而導致影像呈現設備276的角度方向的變化。例如，如圖2D所示，當頭戴式設備滑下使用者的鼻子時，間隔距離d’將改變，並且頭戴式設備的垂直方向將相對於使用者的眼睛262的中心線290下降高度h，從而引起圍繞俯仰軸的變化。作為垂直距離變化h的結果，從影像呈現設備276到虹膜264的投影角度277將改變量a1，這將進一步改變虛擬內容項的外觀位置，除非虛擬內容的呈現被調整。作為另一實例，如圖2E所示，若頭戴式設備在使用者的面部上或圍繞使用者的面部旋轉，則從影像呈現設備276到虹膜264的投影角度277之間的角度將改變量a2，這亦將改變虛擬內容項的表觀位置，除非虛擬內容的呈現被調整。

在一些實施例中，諸如其中內向聚焦的感測器272是雙目影像感測器的實施例，感測器亦可以配置為基於使用者的眼睛262（或使用者的面部上與眼睛相關的另一個配准點）相對於感測器272的定位的角度變化來量測垂直平移和旋轉變化。例如，可以經由影像處理來決定垂直平移和旋轉變化的量測，該影像處理辨識在多個影像（例如，虹膜、眼角、痣等）中辨識的使用者的面部上的特徵或斑點，並且追蹤在多個影像上和來自兩個影像感測器的特徵在表觀位置的變化，並且使用三角量測來決定從感測器到眼睛的距離以及頭戴式設備相對於使用者的眼睛的旋轉運動（亦即，投影角度和距離的變化）。在一些實施例中，旋轉變化量測可以由頭戴式設備上的不同感測器獲得。經由決定影像呈現設備276相對於使用者的眼睛的定位和方向的這種變化，處理器可以應用一或多個三角變換來適當地調整虛擬內容項的呈現。

圖3圖示根據一些實施例的調整頭戴式設備中的虛擬內容項的呈現以考慮頭戴式設備相對於使用者的眼睛的定位（例如，距離/角度）的變化的方法300。方法300的全部或部分可以由頭戴式設備（例如，處理器106）中的部件或處理器或另一計算設備（例如，圖6和圖7中所示的設備）中的處理器來執行。

在方法300開始之前，諸如在頭戴式設備中實現的增強現實系統可以使用外向影像感測器從頭戴式設備周圍的實體環境擷取現實世界場景的影像。擷取的影像可以包括實體展現於使用者視野中的表面、人和物件。增強現實系統可以處理擷取的影像以辨識現實世界場景的擷取影像中的現實世界物件或表面的位置。例如，增強現實系統可以執行影像處理操作，以辨識擷取影像內的突出物件或特徵，估計影像中特徵的尺寸和比例，將所辨識的特徵彼此比較及/或與測試影像中具有已知尺寸和比例的特徵進行比較，並基於比較來辨識對應關係。作為此類操作的一部分，增強現實系統可以基於所辨識的對應關係來產生單應性矩陣資訊結構，並且使用單應性矩陣來辨識在擷取影像中現實世界物件或表面的位置。增強現實系統可以產生虛擬物件的影像，並基於現實世界物件或表面的位置來決定對於虛擬物件的顯示位置。

在方塊302中，頭戴式設備處理器可以處理從內向感測器接收的資訊，以決定頭戴式設備相對於頭戴式設備使用者的面部上的參考點的定位（或定位變化）。在一些實施例中，使用者的面部上的參考點可以是相對於使用者的眼睛具有固定位置的面部特徵。在一些實施例中，參考點可以是使用者的一隻眼睛或兩隻眼睛。如前述，若頭戴式設備是剛性的，則感測器相對於虛擬內容影像呈現設備和外向成像感測器的影像平面的定位將是固定的，因此由感測器在頭戴式設備上的任何位置上量測的距離和角度的變化將轉化為虛擬內容影像呈現設備和外向成像感測器的影像平面之間的距離和角度的等效變化。類似地，因為使用者的面部上的特徵通常相對於使用者的眼睛處於固定位置，所以感測器可以向處理器提供指示頭戴式設備相對於使用者的面部上的各種配准點中的任何一個的位置的資訊，諸如使用者的、眼睛（或眼睛的一部分）、臉頰、眉毛、鼻子等中的一或多個，因為任何變化都將轉化為與使用者的眼睛的距離和角度的等效變化。例如，由處理器從感測器接收的資訊可以涉及頭戴式設備相對於使用者的眼睛或兩隻眼睛的位置。

如本文所述，在方塊302中，可以使用各種感測器中的任何感測器來進行由處理器使用的量測。例如，在一些實施例中，頭戴式設備處理器可以使用影像處理（諸如追蹤使用者的面部上的特徵從一幅影像到下一幅影像的位置或相對移動）來使內向影像感測器提供與頭戴式設備或影像呈現設備相對於使用者的眼睛或周圍臉部結構的相對位置（例如，關於距離和角度）的資訊。在一些實施例中，內向感測器可以組合或耦合到IR發射器（例如，IR LED雷射器），該IR發射器可以配置為發射IR光的閃光，並且感測器可以配置為偵測IR光的散射，並且基於在發射IR閃光和偵測到散射光之間的飛行時間量測來提供與頭戴式設備或影像呈現設備相對於使用者的面部或眼睛的相對位置（例如，關於距離和角度）的資訊。IR成像感測器亦可以基於來自眼睛的反射（相對於散射的）光的影像位置來提供與頭戴式設備或影像呈現設備相對於使用者的眼睛的相對位置（例如，角度）有關的資訊。在一些實施例中，處理器可以使壓電換能器發出聲音脈衝，諸如超聲波脈衝，並記錄來自使用者的眼睛或周圍臉部結構的回聲的時間，以決定可以計算感測器和使用者的面部之間的相對距離的飛行時間。在方塊302中，頭戴式設備處理器可以基於由感測器提供的飛行時間量測資訊來決定外向影像感測器相對於使用者的眼睛的位置。在一些實施例中，感測器可以是雙目影像感測器，並且處理器可以基於由內向感測器獲得的資訊使用三角量測操作及/或6-DOF計算來決定頭戴式設備相對於使用者的面部上的參考點（例如，使用者的眼睛）的位置。在一些實施例中，感測器可以在處理由影像感測器獲得的影像時使用使用者的面部的3D呈現，以決定頭戴式設備相對於使用者的眼睛的位置。在一些實施例中，感測器可以是一或多個電容觸摸感測電路，其可以嵌入在頭戴式設備的內部，以便與使用者的面部（例如，鼻樑、眉毛區域或太陽穴區域）進行接觸，並且配置為輸出電容資料，處理器可以分析該電容資料以決定設備是否在使用者的面部移動或位移。

在方塊304中，頭戴式設備處理器可以基於在方塊302中決定的頭戴式設備相對於使用者的面部（例如，使用者的眼睛）上的參考點的定位（或定位變化）來決定並對影像呈現設備呈現虛擬內容的項或虛擬物件的顯示位置進行（例如，在焦點及/或位置中）的調整。在一些實施例中，處理器可以配置為基於影像呈現設備相對於使用者的一隻或兩隻眼睛的定位（或定位變化）來決定並應用對影像呈現設備呈現虛擬內容的項或虛擬物件的顯示位置的（例如，在焦點及/或位置中）的調整。處理器可以調整虛擬內容呈現，以考慮到頭戴式設備的外向相機、使用者的眼睛和頭戴式設備的影像呈現設備（例如，投影儀或顯示器）之間的定位、方向、距離及/或角度的變化。例如，當頭戴式設備的鼻樑滑下使用者的鼻子時，對虛擬內容呈現的調整可以針對影像呈現設備的距離和高度（相對於眼睛中心線）的變化進行調整。作為另一實例，對虛擬內容呈現的調整可以針對由於具有薄或輕框架的頭戴式設備的使用者的面部上的移動而導致的投影角度的旋轉變化進行調整。

處理器可以連續地、週期性地或由事件觸發地偶發地重複方塊302和304中的操作，以便頻繁地調整虛擬內容項的呈現，使得儘管頭戴式設備在使用者身上移動，影像看起來相對於現實世界保持穩定。

圖4圖示根據一些實施例的執行基於視覺的配准操作的方法400，該方法考慮了頭戴式設備相對於使用者的眼睛的定位（亦即，距離/角度）的變化。方法400的全部或部分可以由頭戴式設備（例如，處理器106）中的元件或處理器或另一計算設備（例如，圖6和圖7中所示的設備）中的處理器來執行。

在方塊402中，頭戴式設備的外向影像感測器可以從頭戴式設備周圍的實體環境擷取現實世界場景的影像。擷取的影像可以包括在使用者/佩戴者的視野中實體展現的表面、人和物件。擷取的影像可以作為方塊402中的操作的一部分被提供給頭戴式設備處理器。

在方塊404中，頭戴式設備處理器可以處理擷取的影像，以辨識現實世界場景的擷取影像中的現實世界物件或表面的位置，在增強現實場景中可以將一項或多項虛擬內容與之相關聯。例如，頭戴式設備100可以執行影像處理操作，以辨識擷取影像內的突出物件或特徵，估計影像中特徵的尺寸和比例，將辨識出的特徵彼此比較及/或與測試影像中具有已知尺寸和比例的特徵進行比較，並基於比較來辨識對應關係。作為在方塊404中辨識現實世界物件或表面的位置的一部分，處理器可以使用諸如VSLAM或雙目三邊量測（若感測器是雙目的）的已知方法來決定到這些物件或表面的距離。同樣作為方塊404中的操作的一部分，頭戴式設備100可以基於所辨識的對應關係來產生單應性矩陣資訊結構，並且使用單應矩陣來辨識現實世界物件或表面在擷取的影像中的位置。

在方塊406中，作為產生增強現實場景的一部分，頭戴式設備處理器可以產生虛擬物件的影像，並基於現實世界物件或表面的位置來決定虛擬物件的顯示位置。頭戴式設備處理器可以執行方塊406中的操作，作為增強現實程序中基於視覺的配准的定位階段的一部分。

在方塊302中，頭戴式設備處理器可以處理從內向感測器接收的資訊，以決定頭戴式設備相對於使用者的面部上的參考點的定位（或定位的變化），參考點例如針對方法300的類似標號框所描述的，諸如頭戴式設備的使用者的一隻或多隻眼睛。

在方塊410中，頭戴式設備處理器可以基於在頭戴式設備上的外向影像感測器或影像呈現設備相對於使用者的一隻或兩隻眼睛的決定的定位來調整虛擬內容項的影像。處理器可以調整影像（例如，縮小、放大、旋轉、平移等），以考慮改變頭戴式設備的相機、使用者的眼睛和頭戴式設備的電子顯示器之間的相對定位和方向（例如，在距離和角度態樣）的微妙移動和調整。例如，此類調整可以補償當頭戴式設備的鼻樑滑下使用者的鼻子時，頭戴式設備的薄的或輕的框架在使用者的面部上移動或位移，或者使用者手動調整頭戴式設備在使用者的鼻子或面部上的位置、定位及/或方向。

在方塊412中，頭戴式設備處理器可以調整虛擬內容項的調整的影像的呈現，使得內容表現出在現實世界物件的相同焦深處與（例如，鄰近或疊加在其上）現實世界場景相配准。頭戴式設備處理器可以執行方塊412中的操作，作為基於視覺的配准程序的合併階段的一部分。

在方塊414中，頭戴式設備處理器可以使用頭戴式設備的影像呈現設備來呈現增強的場景。例如，影像呈現設備可以是投影儀（例如，鐳射投影儀或波導），其將虛擬內容項的影像投影到頭戴式設備的透鏡上或投影到使用者的眼睛中，使得虛擬內容聚焦於相關聯的遠處現實世界物件並出現在其附近。頭戴式設備處理器可以執行方塊414中的操作，作為增強現實場景的基於視覺的配准的呈現階段的一部分。在方塊414中，頭戴式設備可以向使用者展現疊加的影像，使得使用者可以查看虛擬物件及/或與虛擬物件互動。

處理器可以連續地、週期性地或由事件觸發地偶發地重複方塊302和410-414中的操作，以便頻繁地調整虛擬內容項的呈現，使得儘管頭戴式設備在使用者身上移動，影像看起來相對於現實世界保持穩定。此外，處理器可以週期性地或由事件觸發地偶發地重複方法400，以更新增強現實場景，諸如添加、移除或改變虛擬內容項，以及當使用者在環境中移動時調整虛擬內容項相對於現實世界物件的表觀位置。

圖5圖示根據一些實施例的執行基於視覺的配准操作的方法500，該方法考慮了頭戴式設備的外向相機和使用者/佩戴者的眼睛之間的距離/角度的變化。方法500的全部或部分可以由頭戴式設備（例如，處理器106）中的部件或處理器或另一計算設備（例如，圖6和圖7中所示的設備）中的處理器來執行。在方塊402-方塊406中，頭戴式設備處理器可以執行與參考圖4描述的方法400的類似編號框中相同或相似的操作。

在方塊508中，頭戴式設備處理器可以與頭戴式設備的內向影像感測器通訊，以使內向影像感測器產生朝向使用者的眼睛的短暫紅外光閃爍。內向凝視感測器/相機可以配置為擷取使用者的眼睛的影像，並執行三角計算以決定每只眼睛（或角膜、瞳孔等），以及頭戴式設備的外向相機（例如，世界相機、凝視相機）及/或影像呈現設備（例如，投影儀或顯示器）之間的距離和角度。

在方塊510中，當頭戴式設備處理器擷取使用者的眼睛或周圍臉部特徵的短暫紅外線閃光的反射或散射時，頭戴式設備處理器可以接收從內向影像感測器接收的資訊。反射可以由頭戴式設備中的內向凝視感測器/相機或另一個感測器擷取。

在方塊512中，頭戴式設備處理器可以使用從感測器接收的資訊，經由基於擷取的反射及/或散射光執行飛行時間量測及/或三角計算來決定外向相機相對於使用者的一隻或兩隻眼睛的位置。例如，頭戴式設備處理器可以處理從感測器接收到的與頭戴式設備相對於使用者的眼睛的定位相關的資訊，以決定頭戴式設備或朝向影像感測器相對於使用者眼睛的浪湧、擺動、起伏、滾動、俯仰和偏航（或它們各自的增量）運動。

在方塊514中，頭戴式設備處理器可以基於所決定的外向影像感測器相對於使用者的一隻或兩隻眼睛的定位來調整虛擬物件的呈現。頭戴式設備處理器可以執行方塊514中的操作，作為增強現實場景的基於視覺的配准的呈現階段的一部分。在方塊514中，頭戴式設備可以向使用者展現疊加的影像，使得使用者可以查看虛擬物件及/或與虛擬物件互動。

處理器可以連續地、週期性地或由事件觸發地偶發地重複方塊508-514中的操作，以便頻繁地調整虛擬內容項的呈現，使得儘管頭戴式設備在使用者身上移動，影像看起來相對於現實世界保持穩定。此外，處理器可以週期性地或由事件觸發地偶發地重複方法500，以更新增強現實場景，諸如添加、移除或改變虛擬內容項，以及當使用者在環境中移動時調整虛擬內容項相對於現實世界物件的表觀位置。

各種實施例可以在各種行動設備上實現，圖6中圖示智慧手機形式的實例。例如，由頭戴式設備100的成像感測器擷取的影像可以無線傳輸（例如，經由藍芽或WiFi無線通訊鏈路610）到智慧手機600，其中處理器601可以按照方法200、300、400和500中的任何一種執行處理的一部分，隨後將結果發送回頭戴式設備100。智慧手機600可以包括耦合到內部記憶體602、顯示器603和揚聲器604的處理器601。另外地，智慧手機600可以包括用於發送和接收無線訊號610的天線605，其可以連接到無線資料連結及/或耦合到處理器601的蜂巢式電話收發器606。智慧型電話600通常亦包括用於接收使用者輸入的功能表選擇按鈕或搖桿開關607。

典型的智慧手機600亦包括聲音編碼/解碼（CODEC）電路608，其將從麥克風接收到的聲音數位化為適合無線發送的資料包，並對接收到的聲音資料包進行解碼以產生提供給揚聲器的類比訊號。而且，處理器601、無線收發器606和CODEC 608中的一或多個可以包括數位訊號處理器（DSP）電路（未單獨示出）。

各種實施例方法可以在各種個人計算設備中實現，諸如圖7所示的可攜式電腦700。例如，由頭戴式設備100的成像感測器擷取的影像可以無線地（例如，經由藍芽或WiFi無線通訊鏈路708）發送到可攜式電腦700，其中處理器701可以執行方法200、300、400和500中的任何一種的處理的一部分，隨後將結果發送回頭戴式設備100。可攜式電腦700通常包括耦合到揮發性記憶體702的處理器701和大容量非揮發性記憶體，諸如快閃記憶體的磁碟機704。可攜式電腦700亦可以包括耦合到處理器706的軟碟機705。電腦接收器設備700亦可以包括多個耦合到處理器701的連接器埠或其他網路介面，用於建立資料連接或接收外部記憶體接收器設備，諸如通用序列匯流排（USB）或FireWire®連接器插槽，或用於將處理器701耦合到網路（例如，通訊網路）的其他網路連接電路。在筆記本配置中，電腦外殼包括全部耦合到處理器701的觸控板710、鍵盤712和顯示器714。眾所周知，計算設備的其他配置可以包括耦合到處理器（例如，經由USB輸入）的電腦滑鼠或軌跡球，其亦可以結合各種實施例使用。

處理器可以是任何可程式設計微處理器、微型電腦或多個處理器晶片、或可以由軟體指令（應用）配置以執行各種功能的晶片，包括本案中描述的各種實施例的功能。在一些行動設備中，可以提供多個處理器，諸如一個專用於無線通訊功能的處理器，和一個專用於執行其他應用的處理器。通常，在存取軟體應用並將其載入到處理器之前，軟體應用可以儲存在內部記憶體606中。處理器可以包括足以儲存應用軟體指令的內部記憶體。

僅作為實例提供了圖示和描述的各種實施例，以示出請求項的各種特徵。然而，關於任何給定實施例示出和描述的特徵不一定限於相關聯的實施例，並且可以與示出和描述的其他實施例一起使用或組合。此外，請求項不意欲受任何一個實例實施例的限制。例如，方法的一或多個操作可以替換方法的一或多個操作或與方法的一或多個操作組合。

前述方法描述和程序流程圖僅作為說明性實例提供，並不意欲要求或暗示可以按照所展現的循序執行各種實施例的操作。如本發明所屬領域中具有通常知識者將理解的，前述實施例中的操作順序可以以任何循序執行。諸如「此後」、「隨後」、「下一步」等詞並不是為了限制操作的順序；這些詞是用來引導讀者完成方法的描述的。此外，對單數形式的請求項要素的任何引用，例如使用冠詞「一」、「一個」或「該」，皆不應被解釋為將要素限制為單數形式。

結合在此揭示的實施例描述的各種說明性邏輯區塊、功能部件、功能性部件、電路和演算法操作可以實現為電子硬體、電腦軟體或兩者的組合。為了清楚地說明硬體和軟體的這種可互換性，上面整體上按照它們的功能性描述了各種說明性部件、方塊、功能部件、電路和操作。將這種功能性實現為硬體還是軟體取決於施加在整個系統上的特定應用和設計約束。具有通常知識者可以針對每個特定應用以不同方式實現所描述的功能，但是此類實施例決定不應被解釋為導致偏離請求項的範疇。

用於實現結合在此揭示的實施例描述的各種說明性邏輯、邏輯區塊、功能部件和電路的硬體可以用被設計來執行在此描述的功能的通用處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯裝置、個別閘門或電晶體邏輯、個別硬體部件或其任何組合來實現或執行。通用處理器可以是微處理器，但是可替換地，處理器可以是任何習知處理器、控制器、微控制器或狀態機。處理器亦可以實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個結合DSP核心的微處理器或任何其他此類配置。可替換地，一些操作或方法可以由特定於給定功能的電路來執行。

在一或多個實施例中，所描述的功能可以硬體、軟體、韌體或其任意組合來實現。若以軟體實現，則這些功能可以作為一或多個指令或代碼儲存在非暫時性電腦可讀取媒體或非暫時性處理器可讀取媒體上。在此揭示的方法或演算法的操作可以在處理器可執行軟體模組中實現，該軟體模組可以常駐在非暫時性電腦可讀或處理器可讀儲存媒體上。非暫時性電腦可讀或處理器可讀儲存媒體可以是可由電腦或處理器存取的任何儲存媒體。作為實例但不限於，這種非暫時性電腦可讀或處理器可讀取媒體可包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或可用於以指令或資料結構的形式儲存所需程式碼並且可以由電腦存取的任何其他媒體。在此使用的磁碟和盤包括光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟利用鐳射光學地再現資料。上述的組合亦包括在非暫時性電腦可讀和處理器可讀取媒體的範疇內。另外地，方法或演算法的操作可以作為代碼及/或指令的一個或任何組合或集合常駐在非暫時性處理器可讀取媒體及/或電腦可讀取媒體上，其可以併入到電腦程式產品中。

提供所揭示的實施例的前述描述是為了使本發明所屬領域中任何具有通常知識者能夠提出或使用請求項。對於本發明所屬領域中具有通常知識者來說，對這些實施例的各種修正將是顯而易見的，並且在此定義的通用原理可以應用於其他實施例和實施方式，而不脫離請求項的範疇。因此，所展現的揭示並不意欲限於在此描述的實施例和實施方式，而是將被賦予與以下請求項以及在此揭示的原理和新穎特徵相一致的最寬範疇。

100:頭戴式設備 102:框架 104:光學透鏡 106:處理器 108:外向世界視野影像感測器/相機 110:內向凝視視野感測器/相機 112:感測器陣列 114:記憶體 116:通訊電路 118:影像呈現設備 120:臂部 122:鼻樑 152:主機板部件 154:影像感測器 156:微控制器單元（MCU） 158:紅外（IR）感測器 160:慣性量測單元（IMU） 162:鐳射距離和角度感測器（LDS） 164:光流感測器 252:視網膜 254:現實世界物件視網膜影像 256:眼睛焦點 258:虛擬內容（虛擬球）視網膜影像項 260:虛擬內容焦點項 262:使用者的眼睛 264:使用者的虹膜 266:用於虛擬內容項的光投影 268:臉部特徵 270:距離（d） 272:感測器 274:影像感測器透鏡 276:影像呈現設備 277:投影角度 278:現實世界物件 280:視場（FOV）錐體 282:現實世界物件 284:距離D 290:中心線 300:方法 302:方塊 304:方塊 400:方法 402:方塊 404:方塊 406:方塊 410:方塊 412:方塊 414:方塊 500:方法 508:方塊 510:方塊 512:方塊 514:方塊 600:智慧手機 601:處理器 602:內部記憶體 603:顯示器 604:揚聲器 605:天線 606:蜂巢式電話收發器 607:功能表選擇按鈕或搖桿開關 608:聲音編碼/解碼（CODEC）電路 610:藍芽或WiFi無線通訊鏈路 700:可攜式電腦 701:處理器 702:揮發性記憶體 704:磁碟機 705:軟碟機 706:處理器 708:藍芽或WiFi無線通訊鏈路 710:觸控板 712:鍵盤 714:顯示器 d:距離 d’:距離 h:高度 a1:改變量 a2:改變量

結合在此併入且構成本說明書的一部分的附圖，圖示各種實施例的示例性實施例，並且與上面提供的一般描述和下面提供的詳細描述一起用於解釋請求項的特徵。

圖1A是根據各種實施例的頭戴式設備（例如，增強現實鏡）的圖示，該頭戴式設備可以配置為執行基於視覺的配准操作，該配准操作考慮了頭戴式設備的相機之間的距離/角度的變化。

圖1B是根據各種實施例的系統方塊圖，其圖示可以包括在頭戴式設備中的電腦體系結構和感測器，該頭戴式設備配置為執行基於視覺的配准操作，該配准操作考慮了頭戴式設備的相機和使用者的眼睛之間的距離/角度的變化。

圖2A-圖2E是適於在平視（heads-up）顯示系統上顯示電子產生的影像或虛擬內容項的成像系統的圖示。

圖3-圖5是圖示根據各種實施例的執行基於視覺的配准操作的附加方法的處理器流程圖，該配准操作考慮了頭戴式設備的相機和使用者的眼睛之間的距離/角度的變化。

圖6是適合於實現一些實施例的行動設備的部件方塊圖。

圖7是適合與各種實施例一起使用的示例性計算設備的部件圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

300:方法

302:方塊

304:方塊

Claims (30)

1. 一種用於在一增強現實系統中使用的頭戴式設備，包括： 一記憶體； 一感測器；及 一處理器，耦合到該記憶體和該感測器，其中該處理器配置為： 從該感測器接收資訊，其中該資訊指示該頭戴式設備相對於一使用者的一面部上的一參考點的一位置；及 基於該位置調整一虛擬內容項的一呈現。
2. 如請求項1之頭戴式設備，其中從該感測器接收的該資訊涉及該頭戴式設備相對於該使用者的一眼睛的一位置，並且其中該處理器配置為基於該頭戴式設備相對於該使用者的該眼睛的位置來調整該虛擬內容項的呈現。
3. 如請求項2之頭戴式設備，其中該感測器包括配置為向該使用者的面部發射IR光的一紅外（IR）感測器和IR光源。
4. 如請求項2之頭戴式設備，其中該感測器包括配置為向該使用者的面部發射一超聲波脈衝的一超聲感測器。
5. 如請求項2之頭戴式設備，其中該感測器包括一第一相機。
6. 如請求項5之頭戴式設備，其中該感測器亦包括一第二相機。
7. 如請求項1之頭戴式設備，其中亦包括一影像呈現設備，該影像呈現設備耦合到該處理器並且配置為呈現該虛擬內容項。
8. 如請求項1之頭戴式設備，其中該處理器亦配置為： 決定從該頭戴式設備上的一影像呈現設備到該使用者的一眼睛的一角度；及 基於所決定的到該使用者的眼睛的該角度和所決定的該頭戴式設備與該使用者的面部上的該參考點之間的該距離，調整該虛擬內容項的該呈現。
9. 一種調整在一增強現實系統中的一虛擬內容項的呈現以補償在一使用者上的一頭戴式設備的移動的方法，包括以下步驟： 由一處理器決定該頭戴式設備相對於該使用者的面部上的一參考點的一位置；及 由該處理器基於所決定的該頭戴式設備相對於該使用者的面部上的該參考點的該位置來調整該虛擬內容項的該呈現。
10. 如請求項9之方法，其中該使用者的面部上的該參考點包括該使用者的一眼睛。
11. 如請求項9之方法，其中亦包括從一感測器接收涉及該頭戴式設備相對於該使用者的一眼睛的一位置的資訊，其中基於所決定的該頭戴式設備相對於在該使用者的面部上決定的該參考點的該位置來調整該虛擬內容項的該呈現包括以下步驟：基於該頭戴式設備相對於該使用者的該眼睛的位置來調整該虛擬內容項的該呈現。
12. 如請求項11之方法，其中決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置包括以下步驟：基於從配置為向該使用者的面部發射IR光的一紅外（IR）感測器和IR光源接收的資訊來決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置。
13. 如請求項11之方法，其中決定該頭戴式設備相對於該使用者的面部上的該參考點的位置包括以下步驟：基於從配置為向該使用者的面部發射一超聲波脈衝的一超聲感測器接收的資訊來決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置。
14. 如請求項9之方法，其中： 決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置包括由該處理器決定該頭戴式設備對於該使用者的面部上的該參考點的位置的一變化；及 基於所決定的該頭戴式設備相對於該使用者的面部上的該參考點的該位置來調整該虛擬內容項的呈現包括以下步驟：由該處理器基於該頭戴式設備相對於該使用者的面部上的該參考點的位置的該變化，來調整該虛擬內容項的該呈現。
15. 如請求項9之方法，其中決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置包括由該處理器基於由該頭戴式設備上的一感測器發射的訊號來執行一飛行時間量測。
16. 如請求項9之方法，其中決定該頭戴式設備相對於該使用者的面部上的一參考點的位置包括由該處理器基於由該頭戴式設備上的一成像感測器擷取的影像來執行一三角量測操作。
17. 一種非揮發性處理器可讀取媒體，其上儲存具有處理器可執行指令，該處理器可執行指令配置為使一頭戴式設備的一處理器執行包括以下的操作： 決定該頭戴式設備相對於一使用者的面部上的一參考點的一位置；及 基於所決定的該頭戴式設備相對於該使用者的面部上的該參考點的該位置來調整該虛擬內容項的呈現。
18. 如請求項17之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作亦包括從一感測器接收涉及該頭戴式設備相對於該使用者的一眼睛的一位置的資訊，以及 其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得基於所決定的該頭戴式設備相對於該使用者的面部上的該參考點的該位置來調整該虛擬內容項的呈現包括以下步驟：基於該頭戴式設備相對於該使用者的該眼睛的該位置來調整該虛擬內容項的呈現。
19. 如請求項18之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置包括以下步驟：基於從配置為向該使用者的面部發射一IR光的紅外（IR）感測器和IR光源接收的資訊來決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置。
20. 如請求項18之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置包括：基於從配置為向該使用者的面部發射一超聲波脈衝的一超聲感測器接收的資訊來決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置。
21. 如請求項17之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得： 決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置包括決定該頭戴式設備的該位置相對於該使用者的面部上的該參考點的一變化；及 基於所決定的該頭戴式設備對該使用者的面部上的該參考點的該位置來調整該虛擬內容項的呈現包括以下步驟：基於該頭戴式設備相對於該使用者的面部上的該參考點的位置的該變化來調整該虛擬內容項的該呈現。
22. 如請求項17之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得由一處理器決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置包括以下步驟：由該處理器基於由該頭戴式設備上的一感測器發射的一訊號來執行一飛行時間量測。
23. 如請求項17之非揮發性處理器可讀取媒體，其中該等所儲存的處理器可執行指令配置為使一頭戴式設備的一處理器執行操作，使得由一處理器決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置包括以下步驟：由該處理器基於由該頭戴式設備上的一成像感測器擷取的影像執行一三角量測操作。
24. 一種頭戴式設備，包括： 用於決定該頭戴式設備相對於該使用者的面部上的一參考點的一位置的裝置； 用於一呈現虛擬內容項的裝置；及 用於基於所決定的該頭戴式設備相對於該使用者的面部上的該參考點的該位置來調整該虛擬內容項的呈現的裝置。
25. 如請求項24之頭戴式設備，其中用於由一處理器決定該頭戴式設備相對於該使用者的面部上的一參考點的一位置的裝置包括用於決定該頭戴式設備相對於一使用者的一眼睛的一位置的裝置，以及 其中用於基於所決定的該頭戴式設備相對於該使用者的面部上決定的該參考點的該位置來調整該虛擬內容項的呈現的裝置包括以下步驟：用於基於該頭戴式設備相對於該使用者的該眼睛的該位置來調整該虛擬內容項的該呈現的裝置。
26. 如請求項25之頭戴式設備，其中用於決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置的裝置包括配置為向該使用者的面部發射一IR光的紅外（IR）感測器和紅外光源。
27. 如請求項25之頭戴式設備，其中用於決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置的裝置包括用於向該使用者的面部發射一超聲波脈衝的裝置。
28. 如請求項24之頭戴式設備，其中： 用於決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置的裝置包括用於決定該頭戴式設備相對於該使用者的面部上的該參考點的該位置的一變化的裝置；及 用於基於所決定的該頭戴式設備對該使用者的面部上的該參考點的該位置來調整該虛擬內容項的該呈現的裝置包括用於基於位置的該變化來調整該虛擬內容項的該呈現的裝置。
29. 如請求項24之頭戴式設備，其中用於決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置的裝置包括用於由該處理器基於由該頭戴式設備上的一感測器發射的訊號執行一飛行時間量測的裝置。
30. 如請求項2之頭戴式設備裝置，其中用於決定該頭戴式設備相對於該使用者的面部上的一參考點的該位置的裝置包括用於由該處理器基於由該頭戴式設備上的一成像感測器擷取的影像執行一三角量測操作的裝置。

Images