TW202344958A

TW202344958A - 用於預測性下載體積資料的系統和方法

Info

Publication number: TW202344958A
Application number: TW111146190A
Authority: TW
Inventors: 柯林凱莉亨利
Original assignee: 美商元平台技術有限公司
Priority date: 2022-01-27
Filing date: 2022-12-01
Publication date: 2023-11-16
Also published as: US12028419B1; CN118614071A; US11659043B1; WO2023147038A1

Abstract

一種用於預測性下載體積資料之電腦實施方法可包含(i)識別一擴增實境裝置，其(a)下載代表在一擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔，並且(b)顯示所述擴增實境環境以供一使用者觀看、(ii)至少部分根據所述使用者在所述擴增實境環境之內的一位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的一預期物理空間、以及(iii)預先下載代表所述預期物理空間的一預先成像三維區段的一體積資料檔至所述擴增實境裝置。各種其它的方法、系統及電腦可讀取媒體亦被揭露。

Description

用於預測性下載體積資料的系統和方法

本申請案與用於用於預測性下載體積資料的系統和方法有關。 相關申請案之交互參照此申請案是主張2022年1月27日申請的美國非臨時專利申請案號17/586,734的優先權，其整體被納入在此作為參考。

用於致能使用者能夠在擴增實境(AR)(有時亦被敘述為人工實境及/或虛擬實境)環境中互動之系統可能有不同於串流其它類型的例如音訊或視訊的資料之系統的資料需求。在某些例子中，使用者可以經由一具有有限儲存的端點AR裝置，例如一頭戴式裝置來體驗一AR環境，所述端點AR裝置並不能夠儲存用於所述整個AR環境的體積資料。

本申請案之一具體實例係關於一種電腦實施方法，其包括：識別擴增實境裝置，其：下載代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；且顯示所述擴增實境環境以供使用者觀看；至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；以及預先下載代表所述預期物理空間的預先成像三維區段的體積資料檔至所述擴增實境裝置。

本申請案之另一具體實例係關於一種電腦實施方法，其包括：藉由媒體伺服器來識別擴增實境裝置，其：從所述媒體伺服器下載代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；且顯示所述擴增實境環境以供使用者觀看；至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；以及從所述媒體伺服器預先下載代表所述預期物理空間的預先成像三維區段的體積資料檔至所述擴增實境裝置。

本申請案之又一具體實例係關於一種系統，其包括：擴增實境裝置，其：識別媒體伺服器，其儲存代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；響應於至少一預設觸發，從所述媒體伺服器下載所述體積資料檔；且顯示所述擴增實境環境以供使用者觀看；以及預測下載模組，其：至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；且觸發從所述媒體伺服器至所述擴增實境裝置的代表所述預期物理空間的預先成像三維區段的體積資料檔的下載。

用於致能使用者能夠在擴增實境(AR)(有時亦被敘述為人工實境及/或虛擬實境)環境中互動之系統可能有不同於串流其它類型的例如音訊或視訊的資料之系統的資料需求。本揭露內容大致是針對用於在具有有限資料儲存的AR裝置上致能高品質的使用者體驗之系統及方法，其藉由預測性下載預先成像的描述一AR環境的體積資料，因為所述資料被預期是所需的。

在某些例子中，使用者可以經由一具有有限儲存的端點AR裝置，例如一頭戴式裝置來體驗一AR環境，所述端點AR裝置並不能夠儲存用於所述整個AR環境的體積資料。在某些實施例中，代表一物理空間的預先成像三維區段(“立方體”)的大體積資料檔可被儲存在一媒體伺服器或其它非端點裝置上(例如，膝上型、智慧型手機、專用AR媒體處理裝置)，以用於下載至所述端點裝置。所揭露的系統可以預測哪些是接下來預期頭戴式裝置會需要的立方體，並且可以下載所述立方體至所述頭戴式裝置，所述頭戴式裝置一次可以在一緩衝器中儲存有限數量的立方體(例如，二十七個立方體、十六個立方體、二十五個立方體、等等)。例如，若使用者正沿著一虛擬的走廊行進，則所揭露的系統可以下載代表所述走廊的下一個區段的一立方體。

所揭露的系統可以用各種方式，根據使用者移動、使用者注視、所述虛擬環境的佈局、有關其他使用者如何在所述虛擬環境中移動的歷史資料、及/或其它因素，來預測即將出現的立方體。在某些實施例中，所揭露的系統可以發送混合的預先成像資料以及串流資料。例如，參觀博物館的使用者可以體驗預先下載的代表所述博物館的體積資料的立方體、以及博物館導遊的一實況串流化身。在某些實施例中，當使用者進入一立方體時，所揭露的系統可以觸發某些事件。例如，當使用者進入包含博物館中的一件藝術品的立方體時，所述藝術品的音訊描述可能會觸發。在某些實施例中，所揭露的系統可以混合預先成像內容與個人化內容。例如，一預先成像立方體可包含一空白廣告板，其可以在立方體被下載時充滿個人化廣告。在某些實施例中，所揭露的系統可以儲存及/或下載具有不同程度的細節的立方體版本，以便於有效率地發送及顯示在戶外環境中的遠方立方體。

在某些實施例中，在此所述的系統可以藉由致能一計算裝置以提供相關的AR資料給使用者，來改善所述計算裝置的運作。此外，在此所述的系統可以藉由致能具有有限儲存(例如，不足以儲存一整個環境的儲存)的端點裝置能夠在無延遲或緩衝下提供使用者相關的AR資料，來改善AR及/或AR端點裝置的領域。

在某些實施例中，在此所述的系統可以預測性下載體積資料。圖1是一用於預測性下載體積資料之範例的系統100的方塊圖。在一實施例中，並且如同將會在以下更加詳細描述的，一媒體伺服器106可包含一媒體伺服器，其儲存代表在一擴增實境環境之內的物理空間的預先成像三維區段(例如，立方體)的體積資料檔110。在某些實施例中，媒體伺服器106可以經由一網路104來和一AR裝置102通訊，所述AR裝置102響應於至少一預設觸發以從媒體伺服器106下載體積資料檔110，並且顯示所述擴增實境環境以供使用者觀看。在某些實施例中，媒體伺服器106及/或AR裝置102可以利用一預測下載模組108而被配置，其至少部分根據所述使用者在所述AR環境之內的一位置來判斷所述使用者被預測經由AR裝置102來觀看的在所述AR環境之內的一預期物理空間，並且觸發一體積資料檔112從媒體伺服器106至AR裝置102的下載(例如，經由網路104)。

媒體伺服器106大致代表任意類型或形式的後端計算裝置，其可以管理體積資料檔。在一實施例中，媒體伺服器106可包含一本地媒體伺服器，其位在和AR裝置102相同的實體建築物之內(例如，在使用者的家中)。額外或是替代地，媒體伺服器106亦可包含一遠端媒體伺服器，其並非位在和AR裝置102相同的實體建築物中(例如，在資料中心內的遠端伺服器)。媒體伺服器106的例子可包含但不限於資料伺服器、應用程式伺服器、資料庫伺服器、及/或任何其它相關類型的伺服器。儘管在圖1中被描繪為單一實體，但是媒體伺服器106可包含及/或代表一群組的多個伺服器，其結合彼此來運作。例如，媒體伺服器106可以代表一本地伺服器結合多個遠端(例如，雲端)伺服器來運作。

AR裝置102大致代表任意類型或形式的能夠讀取電腦可執行指令的計算裝置。例如，AR裝置102可以代表一可穿戴AR端點裝置，例如頭戴式裝置。AR裝置102的額外的例子可包含但不限於腕帶、手套、腰帶、全身的AR裝、非可穿戴AR端點裝置、及/或任何其它適當類型的AR裝置。

體積資料檔110大致代表任意類型或形式的數位資料，其代表一個三維空間。在某些實施例中，一體積資料檔可包含一組座標、以及用於在該座標的資料的一性質的一或多個值。例如，一體積資料檔可以指明在所述三維空間之內的一組座標的一物件的大小、形狀、色彩、及/或其它性質。在某些實施例中，一體積資料檔可包含在所述三維空間之內播放的音訊及/或視訊(例如，循環及/或響應於一特定的觸發)。在一實施例中，一體積資料檔可包含遊戲資料，例如發生在某些座標的玩家角色的狀態改變(例如，獲得或失去生命值、獲得或失去狀態效果、等等)。在某些實施例中，一體積資料集可包含光子學資訊，其具有類似或包含光場的光的向量以及值的形式。此資料可被壓縮或是未壓縮的。在某些實施例中，一體積資料檔可以代表空間的一直線及/或立方體的區域。

如同在圖1中所繪的，範例的系統100亦可包含一或多個記憶體裝置，例如記憶體140。記憶體140大致代表任意類型或形式的揮發性或非揮發性儲存裝置或媒體，其能夠儲存資料及/或電腦可讀取指令。在一例子中，記憶體140可以儲存、載入、及/或維持圖1中描繪的模組中的一或多個。記憶體140的例子包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、硬碟機(HDD)、固態硬碟(SSD)、光碟機、快取記憶體、其中一或多個的變化或組合、及/或任何其它適當的儲存記憶體。

如同在圖1中所繪的，範例的系統100亦可包含一或多個實體處理器，例如實體處理器130。實體處理器130大致代表任意類型或形式的硬體實施的處理單元，其能夠解譯及/或執行電腦可讀取指令。在一例子中，實體處理器130可以存取及/或修改在記憶體140中所儲存的模組中的一或多個。額外或是替代地，實體處理器130可以執行所述模組中的一或多個。實體處理器130的例子包含但不限於微處理器、微控制器、中央處理單元(CPU)、實施軟核處理器的現場可程式化閘陣列(FPGA)、特殊應用積體電路(ASIC)、其中一或多個的部分、其中一或多個的變化或組合、及/或任何其它適當的實體處理器。

圖2是一用於預測性下載體積資料之範例的方法200的流程圖。在某些例子中，在步驟202，在此所述的系統可以識別一AR裝置，其下載代表在一AR環境之內的物理空間的預先成像三維區段的體積資料檔，並且顯示所述AR環境以供使用者觀看。例如，在圖1中的預測下載模組108可以識別下載體積資料檔110的AR裝置102。

如同在此所用的術語“使用者”可以是指和一AR系統互動的一個人或是一個人的表示。例如，一使用者可以是一穿戴例如AR頭戴式裝置的各種AR裝置的真人。在另一例子中，一使用者可以是一個人的一化身，其是移動在一個三維環境的一數位表示中的所述人的一數位表示。

預測下載模組108可以用各種方式及/或背景來識別AR裝置102。在某些實施例中，AR裝置102可以利用預測下載模組108而被配置。額外或是替代地，媒體伺服器106可以利用預測下載模組108而被配置。在某些例子中，預測下載模組108可以識別AR裝置102以作為用於一AR系統的系統設定的部分，所述AR系統包含AR裝置102、媒體伺服器106、及/或額外AR裝置(例如，攝影機、可穿戴裝置、連網裝置、等等)。在一例子中，預測下載模組108可以偵測AR裝置102正利用在媒體伺服器106上所儲存的體積資料檔來顯示一AR環境。例如，AR裝置102可以是正在顯示用於一AR遊戲的一AR環境。

在某些例子中，在步驟204，在此所述的系統可以至少部分根據所述使用者在所述AR環境之內的一位置，來判斷所述使用者被預測經由所述AR裝置所觀看的在所述AR環境之內的一預期物理空間。例如，在圖1中的預測下載模組108可以至少部分根據所述使用者在所述AR環境之內的一位置，來判斷所述使用者被預測經由AR裝置102來觀看的在所述AR環境之內的一預期物理空間。

在此所述的系統可以用各種方式來預測所述預期物理空間。在某些實施例中，在此所述的系統可以監視使用者在所述AR環境中的移動，並且根據所述移動來預測所述使用者在所述AR環境中的預期未來移動將會把所述預期物理空間帶入所述使用者的一視野中。額外或是替代地，在此所述的系統可以監視所述使用者在所述AR環境之內的一注視的指向(例如，其利用追蹤注視的系統，例如那些在以下相關圖9及10更詳細敘述的系統)，並且根據所述注視的所述指向預測所述使用者的一預期未來注視將會把所述預期物理空間帶入所述使用者的一視野中。

例如，如同在圖3中所繪，使用者302可以移動在一AR環境304中。在一例子中，AR環境304可能包含一具有各種牆壁的建築物，所述牆壁阻擋移動及/或遮擋視線。在此例子中，立方體306可以是從使用者302目前的位置立即為使用者302可見的，並且因此那些立方體可以是目前被載入到使用者302所穿戴的一頭戴式裝置，其顯示AR環境304。在一例子中，若在此所述的系統偵測到該使用者302往北移動，則在此所述的系統可以預先下載(例如，至所述頭戴式裝置)一立方體308，其包含針對於隨著使用者302沿著所述走廊移動，將很快變成是使用者302可見的一房間的資料。類似地，若在此所述的系統偵測到使用者302正往南移動，則在此所述的系統可以預先下載立方體310。若使用者接近房間312的門，則在此所述的系統可以預先下載用於在房間312中的其餘立方體的資料。在此所述的系統可以不預先下載用於其它房間中的立方體的資料，因為儘管那些立方體在使用者302的附近，但是在所述AR環境之內的牆壁阻擋了移動及視線。

在某些實施例中，在此所述的系統可以只預先下載用於使用者在一即將到來的預設時間窗之內被預測來觀看的預期物理空間的立方體。預設時間窗的例子可包含兩秒、五秒、十秒、三十秒、或是一分鐘。例如，若使用者302往南移動，則在此所述的系統可以不預先下載立方體308，因為即使使用者302最終可能觀看由立方體308表示的物理空間，但是使用者302目前是移動在相反的方向上，因此不太可能在接著三十秒內觀看由立方體308表示的物理空間。

回到圖2，在某些例子中，在步驟206，在此所述的系統可以預先下載一體積資料檔至所述AR裝置，其代表所述預期物理空間的一預先成像三維區段。例如，在圖1中的預測下載模組108可以預先下載體積資料檔112至AR裝置102。

在此所述的系統可以用各種方式預先下載所述體積資料檔。例如，在此所述的系統可以經由一無線網路連線來預先下載所述體積資料檔。在某些實施例中，在此所述的系統可以預先下載匹配在所述AR裝置上的儲存限制的一設定數目的體積資料檔。例如，若所述AR裝置能夠儲存用於二十七個立方體的資料，則在此所述的系統可以預先下載立方體，使得在任何給定時間都有二十七個立方體被儲存在所述AR裝置上。

在某些實施例中，在此所述的系統可以將立方體儲存在記憶體中的一緩衝器內(例如，在一頭戴式裝置或其它AR裝置上的實體記憶體中)，並且若由所述立方體表示的物理空間在所述預設時間窗之內並不預期將被使用者觀看時，則可以從所述緩衝器移除立方體。例如，回到圖3，若使用者302進入房間312，接著離開房間312並且繼續往北走，則在此所述的系統可以從所述緩衝器移除立方體310(例如，藉由使得用於例如立方體308的另一立方體的資料來取代立方體310)。

在某些實施例中，在此所述的系統可被配置在一媒體伺服器上。圖4是一種用於經由一媒體伺服器來預測性下載體積資料之範例的方法400的流程圖。在某些例子中，在步驟402，在此所述的系統可以藉由一媒體伺服器來識別一AR裝置，其從所述媒體伺服器下載代表在一擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔，並且顯示所述擴增實境環境以供使用者觀看。例如，在圖1中的預測下載模組108可以藉由媒體伺服器106來識別AR裝置102。

預測下載模組108可以用各種方式來識別一AR裝置。在某些實施例中，預測下載模組108可以識別一AR裝置以作為用於一AR系統的一最初設定程序的部分。額外或是替代地，預測下載模組108可以識別所有連接至一媒體伺服器的AR裝置以作為用於所述媒體伺服器的一開機程序的部分、及/或用於在所述媒體伺服器上執行的一AR應用程式的一起始程序的部分(例如，一遊戲、一互動導覽應用程式，一社群媒體應用程式、等等)。

在某些例子中，在步驟404，在此所述的系統可以至少部分根據所述使用者在所述AR環境之內的一位置來判斷所述使用者被預測經由所述AR裝置所觀看的在所述AR環境之內的一預期物理空間。例如，在圖1中的預測下載模組108可以至少部分根據所述使用者在所述AR環境之內的一位置來判斷所述使用者被預測經由AR裝置102來觀看的在所述AR環境之內的一預期物理空間。

預測下載模組108可以用各種方式來判斷所述預期物理空間。例如，預測下載模組108可以在數學上計算所述物理空間離使用者目前的位置的距離。在某些例子中，預測下載模組108可以分析在所述AR環境之內的資料，來判斷在所述AR環境之內的任何物體(例如，牆壁、樹、霧、等等)是否妨礙所述物理空間從使用者的目前位置是可見的。在一例子中，預測下載模組108可以比較使用者的移動的速度及指向與在所述使用者以及所述物理空間之間的一距離，以判斷所述物理空間被預期何時出現在視野中

在某些例子中，在步驟406，在此所述的系統可以從所述媒體伺服器預先下載代表所述預期物理空間的一預先成像三維區段的一體積資料檔至所述AR裝置。例如，在圖1中的預測下載模組108可以從媒體伺服器106預先下載體積資料檔112至AR裝置102。

預測下載模組108可以用各種方式預先下載所述體積資料檔。例如，一本地媒體伺服器可以從一遠端媒體伺服器請求所述檔案，並且接著傳送所述媒體檔至一AR裝置。在某些實施例中，所述媒體伺服器可以傳送所述檔案至多個AR裝置。例如，所述媒體伺服器可以傳送來自所述檔案的視覺及/或音訊資料至具有一視覺顯示器表面及/或揚聲器的一AR頭戴式裝置，並且傳送來自所述檔案的動態資料至一組AR手套，其具有在和所述檔案所表示的物理空間中的物體互動時提供觸覺回授給使用者的元件。

在某些實施例中，在此所述的系統可以判斷在所述AR環境之內的預期物理空間相對於使用者的一位置的一觀看距離，並且指明所述體積資料檔的一關聯到所述觀看距離的品質，使得一較大較高觀看品質的檔案關聯到一較近觀看距離，而一較小較低觀看品質的檔案關聯到一較遠觀看距離。例如，如同在圖5中所繪的，在此所述的系統可以偵測到在一AR環境中的一使用者502。在一實施例中，一附近立方體504可以是緊鄰使用者502，因而在此所述的系統可以在一最大程度細節來下載附近立方體504。例如，若附近立方體504包含一隻狗，則在此所述的系統可以下載並且成像所述狗的皮毛的細節及/或所述狗喘氣的聲音。

在一例子中，在此所述的系統可能偵測到一遠方立方體506在使用者502的視野內，但是足夠遠離(例如，五十公尺外、一百公尺外、等等)而使得使用者502可能無法察覺細微細節。在某些實施例中，在此所述的系統可以下載立方體506的一較低品質的版本，其並不包含將會內含在一較高品質版本中的全部資料。例如，若立方體506包含一個人與一鱷魚摔跤，則在此所述的系統可以不下載或成像所述鱷魚摔跤的細微細節，例如所述鱷魚背部的鱗片、所述個人頭上的個別頭髮、或是所述鱷魚的爪在泥土裡亂抓的安靜聲音。額外或是替代地，若所述立方體包含光場資訊，則每一個立方體可包含足以顯示在所述立方體之內觀看者可見的任何事物的全部資訊。在此實施例中，一立方體可包含有關附近物件或地形的詳細資訊、以及有關遠方物件或地形的較不詳細資訊。

在某些實施例中，在此所述的系統可以判斷出觀看距離已經縮減，並且響應於判斷所述觀看距離已經縮減，下載所述體積資料檔的一較高品質版本。例如，若使用者502靠近由立方體506所表示的物理空間，則在此所述的系統可以下載立方體506的一較高品質版本，其包含稍早被省略的細節。

在某些實施例中，體積資料檔可包含預先成像的靜態內容以及動態及/或個人化內容的混合。例如，如同在圖6中所繪，使用者602可以探索一博物館的一AR環境。在一例子中，代表在所述博物館之內的物理空間的體積資料檔可包含預先成像內容604，例如畫作、雕像以及其它藝術品。

在某些例子中，一體積資料檔可包含個人化內容606。在一實施例中，個人化內容606可被儲存在所述體積資料檔中作為在一畫框內的一空白畫布，並且在此所述的系統可以在所述空白畫布填入個人化內容，例如針對於一軟性飲料廣告。在某些實施例中，在此所述的系統可以根據有關一使用者所儲存的資料(例如，人口統計資料、活動、連結簡檔、等等)來判斷什麼個人化內容可能是相關所述使用者的，而在其它實施例中，在此所述的系統可以從另一應用程式或模組接收個人化內容建議。

在某些實施例中，一體積資料檔可包含動態內容608，其在一使用者進入一物理空間及/或以某種方式來和一物理空間互動時被觸發。例如，當使用者602進入在一AR博物館環境的一指定的位置時，一虛擬導遊可以出現並且給予在所述位置中的藝術品說明。當使用者602在所述博物館中移動時，所述虛擬導遊可以跟隨所述使用者移動，其描述在每一個物理空間中的內容。在某些例子中，動態內容608可以是預錄的，以在使用者602利用一觸發來互動時播放。在其它例子中，動態內容608可包含藉由所述AR系統串流的實況(亦即，即時)內容。例如，動態內容608可包含一位名人來給予所述博物館的一實況導覽。在某些例子中，在此所述的系統可以記錄實況內容以用於以後的播放。例如，在此所述的系統可以在之後的時間播放所述名人博物館導覽的一記錄的版本。在另一例子中，一AR環境可包含一名人的客廳，並且在所述AR環境之內的實況內容可包含在所述客廳中的電視上播放的一實況運動賽事。

如上所述，在此所述的系統及方法可以預測性下載體積資料至一例如頭戴式裝置的AR裝置，以便於最小化在提供一AR環境給一使用者上的延遲，儘管在AR端點裝置上的有限資料儲存的限制下也是如此。在某些例子中，在此所述的系統可以預先下載所述使用者被預期在不久未來將會和其互動的資料，例如描述所述使用者可能將要進入的房間、或是所述使用者可能將要看向的方向的資料。在某些實施例中，在此所述的系統可以混合預先成像及個人化資料以及靜態與動態資料，以提供使用者沉浸的有效率的AR體驗。

本揭露內容的實施例可包含各種類型的人工實境系統、或是結合各種類型的人工實境系統來加以實施。人工實境是一種形式的實境，其在呈現給一使用者之前已經用某種方式調整，例如可包含一虛擬實境、一擴增實境、一混合實境、一複合實境、或是其之某種組合及/或衍生。人工實境內容可包含完全是電腦產生的內容、或是結合所捕捉的(例如，真實世界的)內容之電腦產生的內容。所述人工實境內容可包含視訊、音訊、觸覺回授、或是其之某種組合，其之任一個都可以用單一通道或是多個通道來加以呈現(例如產生三維(3D)效果給觀看者的立體視訊)。此外，在某些實施例中，人工實境亦可以是和應用程式、產品、配件、服務、或是其之某種組合相關的，其例如被用來在一人工實境中產生內容，且/或否則在一人工實境中被使用(例如，在人工實境中執行活動)。

人工實境系統可以用各種不同的形狀因數及配置來實施。一些人工實境系統可被設計成在無近眼顯示器(NED)下工作。其它人工實境系統可包含NED，其亦提供對真實世界的可見性(例如，圖7中的擴增實境系統700)、或是使得使用者在視覺上沉浸在人工實境中(例如，圖8中的虛擬實境系統800)。儘管一些人工實境裝置可以是獨立的系統，但是其它人工實境裝置可以與外部裝置通訊及/或協作，以提供人工實境的體驗給使用者。此種外部裝置的例子包含手持式控制器、行動裝置、桌上型電腦、由使用者穿戴的裝置、由一或多個其他使用者穿戴的裝置、及/或任何其它適當的外部系統。

轉到圖7，擴增實境系統700可包含一具有框架710的眼鏡裝置702，所述框架710被配置以將一左顯示裝置715(A)以及一右顯示裝置715(B)保持在一使用者的眼睛的前面。顯示裝置715(A)及715(B)可以一起或獨立地動作來向使用者呈現一影像或是系列的影像。儘管擴增實境系統700包含兩個顯示器，但是此揭露內容的實施例可以在具有單一NED或是超過兩個NED的擴增實境系統中實施。

在某些實施例中，擴增實境系統700可包含一或多個感測器，例如感測器740。感測器740可以響應於擴增實境系統700的運動來產生測量信號，並且可以是位在框架710的實質任何部分上。感測器740可以代表各種不同的感測機構中的一或多個，例如位置感測器、慣性量測單元(IMU)、深度相機組件、結構發光器及/或偵測器、或是其之任意組合。在某些實施例中，擴增實境系統700可以包括或可以不包含感測器740、或是可包含超過一感測器。在其中感測器740包含IMU的實施例中，所述IMU可以根據來自感測器740的量測信號來產生校準資料。感測器740的例子可包含但不限於加速度計、陀螺儀、磁力儀、其它適當類型的偵測運動的感測器、用於所述IMU的誤差校正的感測器、或是其之某種組合。

在某些例子中，擴增實境系統700亦可包含一具有複數個聲學換能器720(A)-720(J)(統稱為聲學換能器720)的麥克風陣列。聲學換能器720可以代表偵測由聲波引起的氣壓變化的換能器。每一個聲學換能器720可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(例如，一類比或數位格式)。在圖7中的麥克風陣列例如可包含十個聲學換能器：720(A)及720(B)，其可被設計成置放在使用者的一對應的耳朵內、聲學換能器720(C)、720(D)、720(E)、720(F)、720(G)及720(H)，其可以定位在框架710上的各種位置處、及/或聲學換能器720(I)及720(J)，其可被定位在一對應的圍頸帶705上。

在某些實施例中，聲學換能器720(A)-(J)中的一或多個可被使用作為輸出換能器(例如，揚聲器)。例如，聲學換能器720(A)及/或720(B)可以是耳道式耳機、或是任何其它適當類型的頭戴式器件或揚聲器。

所述麥克風陣列的聲學換能器720的配置可以變化。儘管擴增實境系統700在圖7中被展示為具有十個聲學換能器720，但是聲學換能器720的數目可以大於或小於十個。在某些實施例中，利用較多數量的聲學換能器720可以增加收集的音訊資訊的量、及/或提高音訊資訊的靈敏度和準確度。相對地，利用較少數量的聲學換能器720可以減少相關的控制器750處理所收集到的音訊資訊所需的計算能力。此外，所述麥克風陣列的每一個聲學換能器720的位置可以變化。例如，一聲學換能器720的位置可包含在使用者上的一界定位置、在框架710上的一定義座標、和每一個聲學換能器720相關的一方位、或是其之某種組合。

聲學換能器720(A)及720(B)可被定位在使用者耳朵的不同部分上，例如在耳廓之後、在耳屏之後、及/或在外耳或耳窩內。或者，除了在耳道內的聲學換能器720，還可以有在耳朵上或是耳朵周圍的額外的聲學換能器720。將聲學換能器720定位在使用者的耳道旁可以使得所述麥克風陣列能夠收集有關於聲音如何到達耳道的資訊。藉由將聲學換能器720中的至少兩個定位在使用者頭部的兩側上(例如，作為雙耳麥克風)，擴增實境裝置700可以模擬雙耳聽覺，並且圍繞使用者的頭部捕捉4D立體聲場。在某些實施例中，聲學換能器720(A)及720(B)可以經由一有線連線730來連接至擴增實境系統700，而在其它實施例中，所述聲學換能器720(A)及720(B)可以經由一無線的連線(例如，藍芽連線)來連接至擴增實境系統700。在另外其它實施例中，聲學換能器720(A)及720(B)可以完全不與擴增實境系統700結合使用。

在框架710上的聲學換能器720可以用各種不同方式，包含沿著鏡腿的長度、跨過鼻樑架、在顯示裝置715(A)及715(B)之上或之下、或是其之某種組合來加以定位。聲學換能器720可被定向成使得所述麥克風陣列能夠在穿戴所述擴增實境系統700的使用者周圍的各個方向上偵測聲音。在某些實施例中，在所述擴增實境系統700的製造期間可以執行最佳化程序，以決定每一個聲學換能器720在所述麥克風陣列中的相對定位。

在某些例子中，擴增實境系統700可包含或是連接至一外部裝置(例如，一配對裝置)，例如圍頸帶705。圍頸帶705大致代表任意類型或形式的配對裝置。因此，以下關於圍頸帶705的討論亦可以應用於各種其它配對裝置，例如充電盒、智慧型手錶、智慧型手機、腕帶、其它可穿戴裝置、手持控制器、平板電腦、膝上型電腦、其它外部計算裝置、等等。

如圖所示，圍頸帶705可以經由一或多個連接器來耦合至眼鏡裝置702。所述連接器可以是有線或無線的，並且可包含電性及/或非電性(例如，結構)構件。在某些情形中，眼鏡裝置702及圍頸帶705可以獨立地運作，而在它們之間沒有任何有線或無線連線。儘管圖7在眼鏡裝置702及圍頸帶705上的範例的位置描繪眼鏡裝置702及圍頸帶705的構件，但是所述構件可以是位在眼鏡裝置702及/或圍頸帶705的別處，且/或被不同地分布在其上。在某些實施例中，眼鏡裝置702及圍頸帶705的構件可以是位在與眼鏡裝置702、圍頸帶705配對的一或多個額外週邊裝置、或是其之某種組合上。

配對例如圍頸帶705的外部裝置與擴增實境的眼鏡裝置可以使得所述眼鏡裝置能夠達成一副眼鏡的形狀因數，同時仍然提供足夠的電池和計算能力用於擴充的功能。擴增實境系統700的電池容量、計算資源、及/或額外的特點中的某些或全部可以是由一配對裝置提供的、或是在一配對裝置以及一眼鏡裝置之間共用的，因此減小所述眼鏡裝置整體的重量、熱輪廓、以及形狀因數，同時仍然保持所要的功能。例如，圍頸帶705可以容許原本要被納入在眼鏡裝置上的構件能夠內含在圍頸帶705中，因為使用者可以在其肩膀上容忍比在其頭上將容忍的重量負荷更重的重量負荷。圍頸帶705亦可具有較大表面積，以在該表面積上將熱擴散並分散到周圍環境中。因此，圍頸帶705可以容許比在獨立眼鏡裝置上原本可能具有的電池容量和計算能力更大的電池容量和計算能力。由於在圍頸帶705中承載的重量可以比在眼鏡裝置702中承載的重量對使用者的侵害性更小，因此比起使用者容忍穿戴沉重的獨立眼鏡裝置，使用者可以更長時間地容忍穿戴較輕的眼鏡裝置並且承載或穿戴配對裝置，藉此使得使用者能夠更充分地將人工實境環境結合到其日常活動中。

圍頸帶705可以和眼鏡裝置702及/或其它裝置通訊地耦合。這些其它裝置可以提供某些功能(例如，追蹤、定位、深度映射、處理、儲存、等等)給擴增實境系統700。在圖7的實施例中，圍頸帶705可包含兩個聲學換能器(例如，720(I)及720(J))，其是所述麥克風陣列的部分(或是潛在地形成其本身的麥克風子陣列)。圍頸帶705亦可包含一控制器725以及一電源735。

圍頸帶705的聲學換能器720(I)及720(J)可被配置以偵測聲音，並且轉換所偵測到的聲音成為一電子格式(類比或數位)。在圖7的實施例中，聲學換能器720(I)及720(J)可被定位在圍頸帶705上，藉此增加在所述圍頸帶的聲學換能器720(I)及720(J)以及定位在眼鏡裝置702上的其它聲學換能器720之間的距離。在某些情形中，增加在所述麥克風陣列的聲學換能器720之間的距離可以改善經由所述麥克風陣列執行的波束成形的準確度。例如，若一聲音是藉由聲學換能器720(C)及720(D)偵測的，並且在聲學換能器720(C)及720(D)之間的距離大於例如在聲學換能器720(D)及720(E)之間的距離，則所述偵測到聲音的所判斷來源位置可以比藉由聲學換能器720(D)及720(E)偵測到的聲音更準確。

圍頸帶705的控制器725可以處理由在圍頸帶705及/或擴增實境系統700上的感測器產生的資訊。例如，控制器725可以處理來自所述麥克風陣列的資訊，其描述由所述麥克風陣列偵測到的聲音。對於每一個偵測到的聲音，控制器725可以執行到達方向(DOA)的估計，以估計所述偵測到的聲音是從哪個方向到達所述麥克風陣列。當所述麥克風陣列偵測到聲音時，控制器725可以用所述資訊來填充音訊資料集。在其中擴增實境系統700包含慣性量測單元的實施例中，控制器725可以從位在眼鏡裝置702上的IMU計算所有慣性及空間的計算。一連接器可以在擴增實境系統700與圍頸帶705之間以及在擴增實境系統700與控制器725之間傳遞資訊。所述資訊可以具有光學資料、電性資料、無線資料、或是任何其它可傳輸資料形式的形式。將由擴增實境系統700產生的資訊的處理移動到圍頸帶705可以減少眼鏡裝置702中的重量及熱，使得其對使用者而言更為舒適。

在圍頸帶705中的電源735可以提供電力給眼鏡裝置702及/或圍頸帶705。電源735可包含但不限於鋰離子電池、鋰聚合物電池、一次鋰電池、鹼性電池、或是任何其它形式的電力儲存。在某些情形中，電源735可以是有線的電源。在圍頸帶705上而不是在眼鏡裝置702上包含電源735可以有助於更佳分布由電源735所產生的重量及熱。

如同所指出的，代替混合人工實境與實際的實境的是，一些人工實境系統可以用虛擬體驗來實質取代使用者對真實世界的感官感知中的一或多個。此類型的系統的一個例子是頭戴式顯示器系統，例如在圖8中的虛擬實境系統800，其大部分或完全地覆蓋使用者的視野。虛擬實境系統800可包含一前剛性主體802以及一條帶804，其被成形為適合戴在使用者的頭部周圍。虛擬實境系統800亦可包含輸出音訊換能器806(A)及806(B)。再者，儘管未展示在圖8中，前剛性主體802可包含一或多個電子元件，其包含一或多個電子顯示器、一或多個慣性量測單元(IMU)、一或多個追蹤發射器或偵測器、及/或任何其它適當的用於產生人工實境體驗的裝置或系統。

人工實境系統可包含各種類型的視覺回授機構。例如，在擴增實境系統700及/或虛擬實境系統800中的顯示裝置可包含一或多個液晶顯示器(LCD)、發光二極體(LED)顯示器、microLED顯示器、有機LED(OLED)顯示器、數位光投影(DLP)微顯示器、液晶覆矽(LCoS)微顯示器、及/或任何其它適當類型的顯示器螢幕。這些人工實境系統可包含用於雙眼的單一顯示器螢幕、或是可以為每只眼睛提供一顯示器螢幕，此可以容許為變焦調整或是用於校正使用者的屈光不正提供額外彈性。某些人工實境系統亦可包含光學子系統，其具有一或多個透鏡(例如，凹透鏡或凸透鏡、菲涅耳透鏡、可調整的液態透鏡、等等)，使用者可以透過其來觀看一顯示器螢幕。這些光學子系統可以用於各種目的，其包含準直(例如，使物體看起來處於比其物理距離更大的距離)、放大(例如，使物體看起來比其實際大小更大)、及/或中繼光(到例如觀看者的眼睛)。這些光學子系統可被用在一非瞳孔形成的架構(例如單一透鏡配置，其直接準直光但是產生所謂的枕形失真)及/或一瞳孔形成的架構(例如多透鏡配置，其產生所謂的桶形失真以抵消枕形失真)。

額外或代替利用顯示器螢幕，在此所述的某些人工實境系統可包含一或多個投影系統。例如，在擴增實境系統700及/或虛擬實境系統800中的顯示裝置可包含微型LED投影機，其投影光(例如利用波導)到顯示裝置中，例如容許環境光通過的透明組合器透鏡。所述顯示裝置可以折射投影光朝向使用者的瞳孔，並且可以使得使用者能夠同時觀看人工實境內容以及真實世界兩者。所述顯示裝置可以利用各種不同的光學構件的任一種來達成此，其包含波導構件(例如，全息、平面、繞射、偏振、及/或反射的波導元件)、光操縱表面及元件(例如繞射、反射及折射元件及光栅)、耦合元件、等等。人工實境系統亦可被配置有任何其它適當類型或形式的影像投影系統，例如用在虛擬視網膜顯示器中的視網膜投影機。

在此所述的人工實境系統亦可包含各種類型的電腦視覺構件及子系統。例如，擴增實境系統700及/或虛擬實境系統800可包含一或多個光學感測器，例如二維(2D)或4D相機、結構光發射器及偵測器、飛行時間深度感測器、單一射束或掃描雷射測距儀、4D LiDAR感測器、及/或任何其它適當類型或形式的光學感測器。人工實境系統可以處理來自這些感測器中的一或多個的資料，以識別使用者的位置、繪製真實世界的地圖、向使用者提供關於真實世界周圍環境的背景資訊、和/或執行各種其它功能。

在此所述的人工實境系統亦可包含一或多個輸入及/或輸出音訊換能器。輸出音訊換能器可包含音圈揚聲器、帶式揚聲器、靜電揚聲器、壓電揚聲器、骨傳導換能器、軟骨傳導換能器、耳屏振動換能器、及/或任何其它適當類型或形式的音訊換能器。類似地，輸入音訊換能器可包含電容式麥克風、動圈式麥克風、帶狀麥克風、及/或任何其它類型或形式的輸入換能器。在某些實施例中，單一換能器可被使用於音訊輸入及音訊輸出兩者。

在某些實施例中，在此所述的人工實境系統亦可包含觸感(亦即，觸覺)回授系統，其可被納入到頭飾、手套、套裝、手持式控制器、環境裝置(例如，椅子、地板墊、等等)、及/或任何其它類型的裝置或系統中。觸覺回授系統可以提供各種類型的皮膚回授，其包含振動、力、牽引力、紋理、及/或溫度。觸覺回授系統亦可以提供各種類型的動覺回授，例如運動及順應性。觸覺回授可以利用馬達、壓電致動器、流體系統、及/或各種其它類型的回授機構來實施。觸覺回授系統可以獨立於其它人工實境裝置、在其它人工實境裝置之內、及/或結合其它人工實境裝置來實施。

藉由提供觸覺感覺、可聽見的內容、及/或視覺的內容，人工實境系統可以產生整個虛擬體驗或是強化使用者在各種背景和環境中的真實世界體驗。譬如，人工實境系統可以在特定環境內協助或擴展使用者的感知、記憶或認知。某些系統可以強化使用者在真實世界中與其他人的互動、或是可以致能在虛擬世界中與其他人的更多沉浸式互動。人工實境系統亦可被使用於教育目的(例如，用於學校、醫院、政府組織、軍事組織、商業企業等的教學或訓練)、娛樂目的(例如，用於進行電玩遊戲、聽音樂、觀看視訊內容、等等)、及/或用於可接達目的(例如，作為助聽器、視覺輔助設備、等等)。在此揭露的實施例可以在這些背景及環境中的一或多個中及/或在其它背景及環境中致能或強化使用者的人工實境體驗。

當使用者在一給定的環境中正穿戴一擴增實境的頭戴式裝置或是虛擬實境頭戴式裝置時，所述使用者可以和作為音源的其他使用者或其它電子裝置互動。在某些情形中，判斷所述音源位在相對所述使用者的何處，並且接著呈現所述音源給所述使用者，就像是它們正來自所述音源的位置可能是所期望的。判斷所述音源位在相對所述使用者的何處的程序可被稱為“定位”，並且使得所述音源信號的播放顯現為聽起來就像是來自一特定的方向的程序可被稱為“空間化”。

定位一音源可以用各種不同方式來執行。在某些情形中，一擴增實境或虛擬實境頭戴式裝置可以開始一DOA分析來判斷一聲音源的位置。所述DOA分析可包含分析在所述人工實境的裝置每一個聲音的強度、頻譜、及/或到達時間，以判斷決定所述聲音來自的方向。所述DOA分析可包含任何適當的演算法，以用於分析所述人工實境的裝置位在其中的周圍聲學環境。

例如，所述DOA分析可被設計以從麥克風接收輸入信號，且將數位信號處理演算法應用於輸入信號以估計到達方向。這些演算法例如可包括其中輸入信號被取樣之延遲相加演算法(delay and sum algorithm)，並且所述被取樣的信號的所產生的加權及延遲的版本是被平均在一起以判斷到達方向。一最小均方演算法亦可被實施以產生自適應濾波器。此自適應濾波器接著例如可被用來識別在信號強度上的差異、或是到達時間上的差異。這些差異接著可被用來估計到達方向。在另一實施例中，所述DOA可以藉由轉換所述輸入信號到頻域中，並且選擇在時頻(TF)域之內的特定區間來處理而被判斷。每一所選的TF區間可被處理以判斷該區間是否包含具有一直接路徑音訊信號的音訊頻譜的一部分。具有所述直接路徑信號的一部分的那些區間接著可被分析以識別麥克風陣列接收所述直接路徑音訊信號的角度。所判斷角度接著可用來識別所接收到的輸入信號的到達方向。上文未列舉之其它演算法亦可單獨或結合以上演算法使用以判斷DOA。

在某些實施例中，不同使用者可能將一聲音源感知為來自稍微不同的位置。此可能是每一使用者具有獨特的頭部相關傳遞函數(HRTF)的結果，此可由使用者之解剖結構來決定，所述解剖結構包括耳道長度及耳鼓膜的定位。人工實境裝置可提供對準及方位導引，使用者可以遵循所述對準及方位導引以基於其獨特HRTF來自訂呈現給所述使用者之聲音信號。在某些實施例中，人工實境裝置可實施一或多個麥克風以聆聽使用者的環境內的聲音。擴增實境或虛擬實境頭戴式裝置可以使用各種不同的陣列傳遞函數(例如，以上所識別的DOA演算法中的任一者)以估計聲音之到達方向。一旦已經判斷到達方向，人工實境裝置可以根據使用者的獨特HRTF向使用者播放聲音。因此，利用陣列傳遞函數(ATF)產生的DOA估計可用於決定聲音將從哪一方向播放。所播放聲音可進一步基於該特定使用者如何根據HRTF聽到聲音來改進。

除了執行DOA估計、或作為執行DOA估計之替代方案，人工實境裝置亦可以基於從其它類型的感測器接收的資訊來執行定位。此等感測器可包括攝影機、IR感測器、熱感測器、運動感測器、GPS接收器、或在一些情況下，偵測使用者的眼球運動的感測器。例如，如上所提到的，人工實境裝置可包括眼睛追蹤器或注視偵測器，其判斷使用者正在觀看何處。通常，使用者的眼睛將觀看聲音源，即使僅短暫地觀看。由使用者的眼睛提供的此種線索可進一步有助於判定一聲音源的位置。諸如攝影機、熱感測器及IR感測器的其它感測器亦可以指出使用者的位置、電子裝置的位置、或另一聲音源的位置。任何或所有以上方法都可個別地或組合地使用以判斷聲音源的位置，並且可進一步用於隨時間推移更新聲音源的位置。

某些實施例可以實施所判斷的DOA以對於使用者產生更加客製化的輸出音訊信號。譬如，“聲音傳遞函數”可以特性化或定義如何從一給定位置接收聲音。更明確地說，聲音傳遞函數可以定義在聲音的源位置處的聲音的參數與聲音信號被偵測(例如，藉由麥克風陣列偵測到、或藉由使用者的耳朵偵測到)所藉助的參數之間的關係。人工實境裝置可包括偵測所述裝置的範圍內的聲音的一或多個聲音感測器。人工實境裝置的控制器可估計所偵測到聲音的DOA(例如利用以上所識別的方法的任一者)，並且基於所偵測到的聲音的參數，可以產生特定針對於所述裝置的位置的聲音傳遞函數。此客製的聲音傳遞函數因此可用於產生空間化的輸出音訊信號，其中所述聲音被感知為來自一特定位置。

確實，一旦一或多個聲音源的位置是已知的，則人工實境裝置可再顯現(亦即，空間化)所述聲音信號，以聽起來就像是來自該聲音源的方向。人工實境裝置可以施加改變所述聲音信號之強度、頻譜或到達時間的濾波器或其它數位信號處理。所述數位信號處理可以用使得所述聲音信號被感知為源自所判斷位置的方式來施加。人工實境裝置可放大或抑制某些頻率、或改變信號到達每一耳朵之時間。在一些情況下，人工實境裝置可以產生聲音傳遞函數，其特定針對於所述裝置的位置以及聲音信號的偵測到的到達方向。在某些實施例中，人工實境裝置可在立體聲裝置或多揚聲器裝置(例如，環繞聲裝置)中再顯現源信號。在此情況下，可將單獨且不同的音訊信號發送至每一揚聲器。這些音訊信號中的每一者可根據使用者的HRTF並且根據使用者的位置及聲音源之位置的量測來改變，以聽起來就像是它們來自聲音源的所判斷位置。因此，以此方式，人工實境裝置(或與所述裝置相關的揚聲器)可以再顯現音訊信號，以聽起來就像是源自一特定位置。

在某些實施例中，在此所述的系統亦可包含一眼睛追蹤子系統，其被設計以識別及追蹤一使用者的眼睛的各種特徵，例如所述使用者的注視方向。在某些例子中，所述措辭“眼睛追蹤”可以是指眼睛的位置、方位及/或運動被測量、偵測、感測、判斷及/或監測所藉由的一程序。所揭露的系統可以用各種不同方式來測量眼睛的位置、方位及/或運動，其包含透過各種光學為基礎的眼睛追蹤技術、超音波為基礎的眼睛追蹤技術、等等的使用。一眼睛追蹤子系統可以用一些不同方式來配置，並且可包含各種不同的眼睛追蹤硬體構件或是其它電腦視覺構件。例如，一眼睛追蹤子系統可包含各種不同的光學感測器，例如二維(2D)或4D相機、飛行時間深度感測器、單一射束或掃描雷射測距儀、4D LiDAR感測器、及/或任何其它適當類型或形式的光學感測器。在此例子中，一處理子系統可以處理來自這些感測器中的一或多個的資料，以測量、偵測、判斷及/或否則監視所述使用者的眼睛的位置、方位及/或運動。

圖9是納入能夠追蹤使用者眼睛之眼睛追蹤子系統的範例的系統900之圖示。如圖9中所描繪，系統900可包括光源902、光學子系統904、眼睛追蹤子系統906及/或控制子系統908。在某些例子中，光源902可產生光以用於一影像(例如，待呈現給觀看者之眼睛901）。光源902可表示各種合適裝置中之任一者。例如，光源902可包括二維投影器(例如，LCoS顯示器)、掃描源(例如，掃描雷射)或其它裝置(例如，LCD、LED顯示器、OLED顯示器、主動矩陣OLED顯示器(AMOLED)、透明OLED顯示器(TOLED)、波導、或是能夠產生光以用於將影像呈現給觀看者的某種其它顯示器）。在某些例子中，所述影像可以代表虛擬影像，相對於由光線的實際發散形成的影像，該虛擬影像可以是指由來自空間中的一點的光線之表觀發散所形成的光學影像。

在某些實施例中，光學子系統904可接收藉由光源902產生的光，並且根據所接收到的光來產生包括影像之會聚光920。在一些實例中，光學子系統904可包括任意數目的透鏡(例如，菲涅耳透鏡、凸透鏡、凹透鏡)、孔徑、濾光器、反射鏡、稜鏡及/或其他光學構件，其可能結合致動器及/或其它裝置。尤其，所述致動器及/或其它裝置可平移及/或旋轉所述光學構件中的一或多者，以改變會聚光920的一或多個特點。再者，各種機械耦接件可作用以維持任何合適的組合中的光學構件的相對間距及/或方位。

在一實施例中，眼睛追蹤子系統906可產生指出觀看者的眼睛901的注視角的追蹤資訊。在此實施例中，控制子系統908可至少部分根據此追蹤資訊來控制光學子系統904之特點(例如，會聚光920之入射角)。此外，在一些實例中，控制子系統908可儲存並利用歷史追蹤資訊(例如，在一給定持續時間(例如前一秒或其分率)內追蹤資訊之歷史)以預期眼睛901的注視角(例如，在眼睛901的視軸與解剖軸之間的角度)。在一些實施例中，眼睛追蹤子系統906可偵測源自於眼睛901的某一部分(例如，角膜、虹膜、瞳孔或其類似者)之輻射以判斷眼睛901的目前的注視角。在其它實例中，眼睛追蹤子系統906可採用波前感測器以追蹤瞳孔的目前位置。

任意數目的技術都可被利用以追蹤眼睛901。某些技術可能涉及到運用紅外光照射眼睛901，並且運用經調諧以對紅外光敏感的至少一光學感測器來量測反射。關於紅外光如何從眼睛901反射的資訊可被分析以判斷一或多個眼睛特點(例如角膜、瞳孔、虹膜及/或視網膜血管)的位置、方位及/或運動。

在某些例子中，由眼睛追蹤子系統906的感測器捕捉的輻射可被數位化(亦即，轉換成電子信號)。再者，所述感測器可傳輸此電子信號的數位表示至一或多個處理器(例如，與包括眼睛追蹤子系統906之裝置相關的處理器)。眼睛追蹤子系統906可包括呈各種不同配置的各種感測器中之任一者。例如，眼睛追蹤子系統906可包括對紅外線輻射有反應的紅外線偵測器。紅外線偵測器可以是熱偵測器、光子偵測器及/或任何其它合適類型的偵測器。熱偵測器可包括對入射紅外線輻射的熱效應有反應的偵測器。

在某些例子中，一或多個處理器可以處理藉由用以追蹤眼睛901的移動的眼睛追蹤子系統906的感測器所產生的數位表示。在另一實例中，這些處理器可藉由執行由儲存於非暫態記憶體上的電腦可執行指令所表示的演算法來追蹤眼睛901的移動。在一些實例中，晶片上邏輯(例如，特殊應用積體電路或ASIC)可被用來執行此類演算法的至少部分。如同所指出的，眼睛追蹤子系統906可被程式化以使用所述感測器的輸出以追蹤眼睛901的移動。在某些實施例中，眼睛追蹤子系統906可以分析藉由所述感測器產生的數位表示以從反射上的變化提取眼睛旋轉資訊。在一實施例中，眼睛追蹤子系統906可以使用角膜反射或反射光區(亦稱為浦肯頁(Purkinje)影像)及/或眼睛瞳孔922的中心作為特點以隨著時間過去來追蹤。

在某些實施例中，眼睛追蹤子系統906可以使用眼睛瞳孔922的中心及紅外或近紅外非準直光以產生角膜反射。在這些實施例中，眼睛追蹤子系統906可使用眼睛瞳孔922的中心與角膜反射之間的向量以計算眼睛901的注視方向。在某些實施例中，所揭露的系統可以在追蹤使用者眼睛之前執行用於個人的校準程序(例如利用監督或無監督技術)。舉例而言，所述校準程序可包括導引使用者觀看顯示於顯示器上的一或多個點，同時所述眼睛追蹤的系統記錄對應於與每一點相關的每一注視位置的值。

在某些實施例中，眼睛追蹤子系統906可以使用兩種類型之紅外線及/或近紅外線(亦稱為主動光)的眼睛追蹤技術：亮瞳孔及暗瞳孔的眼睛追蹤，其可以根據一照明源相對於所使用的光學元件的位置來區分。若所述照明與光學路徑同軸，則眼睛901可以在光反射出視網膜時作用為回反射器，藉此建立類似於攝影中的紅眼效應的亮瞳孔效應。若所述照明源從光學路徑偏移，則眼睛瞳孔922可能會顯得暗，這是因為來自視網膜的回反射被導引遠離感測器。在某些實施例中，亮瞳孔的追蹤可以產生較大虹膜/瞳孔對比，從而允許運用虹膜色素沉著的更強健的眼睛追蹤，並且可提供減小的干擾(例如，由睫毛及其它遮擋特點所引起的干擾)。亮瞳孔的追蹤亦可容許在介於全暗至非常亮的環境範圍內的照明條件下追蹤。

在某些實施例中，控制子系統908可以控制光源902及/或光學子系統904以減小可能由眼睛901引起或影響的影像的光學像差(例如，色像差及/或單色像差)。在一些實例中，如同在以上所提及的，控制子系統908可以使用來自眼睛追蹤子系統906的追蹤資訊以執行此類控制。舉例而言，在控制光源902中，控制子系統908可以改變藉由光源902(例如，藉由影像顯現)產生的光以修改(例如，預扭曲)影像以使得由眼睛901所引起的影像的像差被減小。

所揭露的系統可以追蹤瞳孔的位置及相對大小兩者(由於例如瞳孔擴大及/或收縮)。在一些實例中，用於偵測及/或追蹤瞳孔的眼睛追蹤的裝置及構件(例如，感測器及/或源)對於不同類型眼睛而可能為不同的(或是以不同方式校準)。舉例而言，所述感測器的頻率範圍對於不同色彩及/或不同瞳孔類型、大小及/或類似者的眼睛而可能為不同的(或是個別地校準)。因而，在此所述的各種眼睛追蹤的構件(例如，紅外源及/或感測器)可能需要針對每一個別使用者及/或眼睛而被校準。

所揭露的系統可以在具有與不具有眼科校正下(例如藉由使用者佩戴之隱形眼鏡所提供)追蹤兩隻眼睛。在某些實施例中，眼科校正元件(例如，可調整透鏡)可以直接納入在此所述的人工實境系統中。在一些實例中，使用者眼睛的色彩可能需要修改對應的眼睛追蹤演算法。例如，眼睛追蹤演算法可能需要至少部分根據在棕色眼睛與例如藍色眼睛之間的不同色彩對比來修改。

圖10是圖9中所描繪的眼睛追蹤子系統之各種特點的更詳細圖示。如此圖中所展示，眼睛追蹤子系統1000可包括至少一個源1004及至少一個感測器1006。源1004大致代表能夠發射輻射的任意類型或形式的元件。在一例子中，源1004可以產生可見光、紅外光及/或近紅外光輻射。在一些實例中，源1004可以朝向使用者的眼睛1002輻射電磁波譜的非準直紅外光及/或近紅外光部分。源1004可以利用各種取樣速率及速度。例如，所揭露的系統可以使用具有較高取樣速率之源以便捕捉使用者眼睛1002的注視眼睛運動及/或正確地量測使用者眼睛1002的眼跳動態。如上所提到的，任意類型或形式的眼睛追蹤技術都可被用以追蹤使用者的眼睛1002，包括基於光學的眼睛追蹤技術、基於超音波的眼睛追蹤技術等。

感測器1006大致代表能夠偵測輻射(例如從使用者眼睛1002反射的輻射)的任意類型或形式的元件。感測器1006的實例包括但不限於電荷耦合裝置(CCD)、光二極體陣列、基於互補金屬氧化物半導體(CMOS)的感測器裝置、及/或類似者。在一個實例中，感測器1006可以代表具有預設參數的感測器，其包括但不限於動態解析度範圍、線性及/或被選擇及/或特定設計用於眼睛追蹤的其它特徵。

如上文所詳述，眼睛追蹤子系統1000可以產生一或多個反射光區(glint)。如上文所詳述，反射光區1003可以代表來自使用者眼睛的結構的輻射反射(例如，來自諸如源1004的紅外光源之紅外光輻射)。在各種實施例中，反射光區1003及/或使用者的瞳孔可以使用藉由處理器(在人工實境裝置內或外部)執行的眼睛追蹤演算法來追蹤。舉例而言，人工實境裝置可包括為了在本地執行眼睛追蹤的處理器及/或記憶體裝置、及/或用以發送及接收為在外部裝置(例如，行動電話、雲端伺服器或其它計算裝置)上執行眼睛追蹤所必需的資料的一收發器。

圖10是展示由眼睛追蹤子系統(例如眼睛追蹤子系統1000)所捕捉之範例的影像1005。在此實例中，影像1005可包括使用者的瞳孔1008及在該瞳孔附近的反射光區1010兩者。在一些實例中，可以使用基於人工智慧的演算法(例如基於電腦視覺的演算法)來識別瞳孔1008及/或反射光區1010。在一實施例中，影像1005可以代表可持續地分析以便追蹤使用者的眼睛1002的一系列的幀中之單一幀。再者，瞳孔1008及/或反射光區1010可在一段時間內被追蹤以判斷使用者的注視。

在一個實例中，眼睛追蹤子系統1000可被配置以識別並量測使用者的瞳孔間距離(IPD)。在某些實施例中，在使用者穿戴人工實境系統時，眼睛追蹤子系統1000可以量測及/或計算所述使用者之IPD。在這些實施例中，眼睛追蹤子系統1000可以偵測使用者眼睛的位置，並且可使用此資訊以計算使用者的IPD。

如同所指出的，在此揭露的眼睛追蹤系統或子系統可以用各種方式來追蹤使用者的眼睛位置及/或眼睛運動。在一個實例中，一或多個光源及/或光學感測器可以捕捉使用者眼睛的影像。所述眼睛追蹤子系統接著可以使用所捕捉資訊以判斷使用者的瞳孔間距離、眼間距離及/或每一眼睛的4D位置(例如用於失真調整目的)，其包括扭轉及旋轉(亦即，翻滾、俯仰及偏擺)的大小、及/或針對於每一眼睛的注視方向。在一個實例中，紅外光可藉由眼睛追蹤子系統發射，並自每一眼睛反射。所述反射光可藉由光學感測器接收或偵測，並且被分析以從由每一眼睛反射的紅外光之變化提取眼睛旋轉資料。

眼睛追蹤子系統可以使用各種不同方法中之任一者以追蹤使用者的眼睛。舉例而言，光源(例如，紅外發光二極體)可以發射點圖案至使用者的每一眼睛上。所述眼睛追蹤子系統接著可以偵測(例如，經由耦接至人工實境系統的光學感測器)並且分析所述點圖案從使用者的每一眼睛的反射以識別所述使用者的每一瞳孔的位置。因此，所述眼睛追蹤子系統可以追蹤每一眼睛的高達六個自由度(亦即，4D位置、翻滾、俯仰及偏擺)並且所追蹤的量的至少一子集可以從使用者的兩隻眼睛組合以估計注視點(亦即，使用者觀看的虛擬場景中的3D地點或位置)及/或IPD。

在一些情況下，當使用者的眼睛移動以在不同方向上觀看時，所述使用者瞳孔與顯示器之間的距離可能改變。當觀看方向改變時在瞳孔與顯示器之間的變化距離可被稱作“瞳孔遊動”，並且可能促成由使用者所感知的失真，這是由於當在瞳孔與顯示器之間的距離改變時光聚焦在不同位置。因此，量測在相對於顯示器的不同眼睛位置及瞳孔距離下的失真以及產生不同位置及距離的失真校正可容許藉由追蹤使用者眼睛的4D位置及在給定時間點處施加對應於使用者眼睛中的每一者的4D位置的失真校正，來減輕由瞳孔遊動所引起的失真。因此，知道使用者眼睛中的每一者的4D位置可容許藉由施加用於每一4D眼睛位置的失真校正而減輕由在眼睛的瞳孔與顯示器之間的距離的變化所引起的失真。此外，如上文所提及，知道使用者眼睛中的每一者的位置亦可使得眼睛追蹤子系統能夠對於使用者的IPD進行自動調整。

在某些實施例中，一顯示子系統可以包括可結合在此所述的眼睛追蹤子系統工作的各種額外子系統。舉例而言，一顯示子系統可包括變焦子系統、場景顯現模組及/或輻輳處理模組。變焦子系統可以使得左右顯示器元件改變顯示裝置之焦距。在一實施例中，變焦子系統可藉由移動顯示器、光學件或二者來實際改變在顯示器與觀看顯示器所透過的光學件之間的距離。此外，相對於彼此移動或平移兩個透鏡亦可用以改變顯示器之焦距。因此，變焦子系統可包括移動顯示器及/或光學件以改變兩者之間的距離的致動器或馬達。此變焦子系統可與所述顯示子系統分開、或是整合至顯示子系統中。所述變焦子系統亦可整合至其致動子系統及/或在此所述的眼睛追蹤子系統中、或是與其分開。

在一個實例中，所述顯示子系統可包括被配置成根據注視點及/或藉由眼睛追蹤子系統所判斷的注視線的估計相交點來判斷使用者注視的輻輳深度的輻輳處理模組。輻輳可以是指兩眼在相反方向上同時移動或旋轉以維持單一雙目視覺，此由人眼自然地及/或自動地執行。因此，使用者眼睛靠近的位置是使用者正在觀看之處，並且通常也是使用者眼睛聚焦的位置。舉例而言，輻輳處理模組可對注視線進行三角量測以估計與所述注視線的交叉點相關的距使用者的距離或深度。與注視線的交叉點相關的深度接著可被使用作為調節距離的近似值，其可識別使用者眼睛所指向之處距使用者的距離。因此，輻輳距離可以容許判斷使用者的眼睛應該聚焦的位置及眼睛聚焦所在之處距使用者眼睛的深度，藉此提供資訊(例如物件或焦點的平面)用於顯現對虛擬場景的調整。

所述輻輳處理模組可以與在此所述的眼睛追蹤子系統協調，以對所述顯示子系統進行調整以考慮到使用者的輻輳深度。當使用者聚焦於在一距離處之某物時，使用者的瞳孔可以比當使用者聚焦於附近某物時稍微更遠的間隔。所述眼睛追蹤子系統可以獲得關於使用者的輻輳或聚焦深度的資訊，並且可調整顯示子系統以在使用者的眼睛聚焦或聚散於附近某物時更靠近在一起，並且在使用者的眼睛聚焦或聚散於在一距離處之某物時更遠的間隔。

藉由上述的眼睛追蹤子系統產生的眼睛追蹤的資訊亦可例如用以修改如何呈現不同電腦產生影像的各種特點。舉例而言，顯示子系統可被配置以根據藉由眼睛追蹤子系統產生的資訊來修改電腦產生影像如何呈現的至少一個特點。舉例而言，電腦產生影像可以根據使用者的眼睛運動而修改，使得若使用者正在查找時，則電腦產生影像可在螢幕上朝上移動。類似地，若使用者正在向側面或下面觀看時，則電腦產生影像可在螢幕上向側面或下面移動。若使用者的眼睛閉合，則電腦產生影像可以暫停或從顯示器移除，並且在使用者的眼睛再張開後恢復。

上述的眼睛追蹤子系統可以用各種方式納入在此所述的各種人工實境系統中的一或多者中。例如，系統900及/或眼睛追蹤子系統1000的各種組件中的一或多者可以納入至圖7中之擴增實境系統700及/或圖8中之虛擬實境系統800內，以使這些系統能夠執行各種眼睛追蹤任務(包括在此所述的眼睛追蹤操作中的一或多者)。

範例實施例

實例1：一種用於預測性下載體積資料之方法可包含(i)識別一擴增實境裝置，其(a)下載代表在一擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔、以及(b)顯示所述擴增實境環境以供一使用者觀看、(ii)至少部分根據所述使用者在所述擴增實境環境之內的一位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的一預期物理空間、以及(iii)預先下載代表所述預期物理空間的一預先成像三維區段的一體積資料檔至所述擴增實境裝置。

實例2：如實例1之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含藉由所述擴增實境裝置來判斷所述預期物理空間，並且預先下載所述體積資料檔是包含藉由所述擴增實境裝置來預先下載所述體積資料檔。

實例4：如實例1-2之電腦實施方法，其中所述擴增實境裝置包含一頭戴式裝置，其被製作尺寸以穿戴在所述使用者的頭部上，並且經由在所述使用者的眼睛的前面的一顯示器表面來顯示所述擴增實境環境。

實例3：如實例1-3之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含判斷所述使用者被預測在一即將到來的預設時間窗之內觀看所述預期物理空間。

實例5：如實例1-4之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含監視所述使用者在所述擴增實境環境中的移動、以及根據所述移動來預測所述使用者在所述擴增實境環境中的預期未來移動將會把所述預期物理空間帶入所述使用者的一視野中。

實例6：如實例1-5之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含監視所述使用者在所述擴增實境環境之內的一注視的一指向、以及根據所述注視的所述指向來預測所述使用者的一預期未來注視將會把所述預期物理空間帶入所述使用者的一視野中。

實例7：如實例1-6之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含判斷所述預期物理空間相對於所述使用者在所述擴增實境環境之內的一位置的一觀看距離、以及指明所述體積資料檔的一關聯至所述觀看距離的品質，使得一較大較高觀看品質的檔關聯到一較近觀看距離，並且一較小較低觀看品質的檔關聯到一較遠觀看距離。

實例8：如實例1-7之電腦實施方法，其中預先下載所述體積資料檔是包含下載具有所指明品質的所述體積資料檔的一版本。

實例9：如實例1-8之電腦實施方法，其可以進一步包含判斷所述觀看距離已經減小，並且響應於判斷所述觀看距離已經減小，下載所述體積資料檔的一較高品質版本。

實例10：如實例1-9之電腦實施方法，其中所述擴增實境裝置包含有限實體記憶體，因而所述有限實體記憶體並不能夠儲存代表所述擴增實境環境的全部體積資料檔。

實例11：如實例1-10之電腦實施方法，其中所述體積資料檔包含預先成像內容以及用於根據所述使用者而被個人化之個人化資料的佔位內容的一組合。

實例12：如實例1-11之電腦實施方法，其可以進一步包含偵測所述使用者的一化身已經進入所述預期物理空間、以及響應於偵測所述使用者的所述化身已經進入所述預期物理空間來觸發在所述體積資料檔中所儲存的一事件。

實例13：一種用於預測性下載體積資料之電腦實施方法可包含(i)藉由一媒體伺服器來識別一擴增實境裝置，其(a)從所述媒體伺服器下載代表在一擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔、以及(b)顯示所述擴增實境環境以供一使用者觀看、(ii)至少部分根據所述使用者在所述擴增實境環境之內的一位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的一預期物理空間、以及(iii)從所述媒體伺服器預先下載代表所述預期物理空間的一預先成像三維區段的一體積資料檔至所述擴增實境裝置。

實例14：如實例13之電腦實施方法，其中所述媒體伺服器包含一家用媒體伺服器，其經由一區域網路來連接至所述擴增實境裝置。

實例15：如實例13-14之電腦實施方法，其中所述媒體伺服器包含一遠端媒體伺服器，其經由網際網路來連接至所述擴增實境裝置。

實例16：如實例14-15之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含監視所述使用者在所述擴增實境環境中的移動、以及根據所述移動來預測所述使用者在所述擴增實境環境中的預期未來移動將會把所述預期物理空間帶入所述使用者的一視野中。

實例17：如實例14-16之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間是包含監視所述使用者在所述擴增實境環境之內的一注視的一指向、以及根據所述注視的所述指向來預測所述使用者的一預期未來注視將會把所述預期物理空間帶入所述使用者的一視野中。

實例18：一種用於預測性下載體積資料之系統可包含(i)一擴增實境裝置，其(a)識別一媒體伺服器，其儲存代表在一擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔、(b)響應於至少一預設觸發，從所述媒體伺服器下載所述體積資料檔、以及(c)顯示所述擴增實境環境以供一使用者觀看、以及(ii)一預測下載模組，其(a)至少部分根據所述使用者在所述擴增實境環境之內的一位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的一預期物理空間、以及(b)觸發從所述媒體伺服器至所述擴增實境裝置的代表所述預期物理空間的一預先成像三維區段的一體積資料檔的一下載。

實例19：如實例18之系統，其中所述擴增實境裝置儲存所述預測下載模組。

實例20：如實例18-19之系統，其中所述媒體伺服器包含一家用媒體伺服器，其經由一區域網路來連接至所述擴增實境裝置並且儲存所述預測下載模組。

如同在以上詳述的，在此敘述及/或描繪的計算裝置及系統是廣泛地代表任意類型或形式的能夠執行電腦可讀取指令之計算裝置或系統，例如那些內含於在此所述的模組之內者。在其最基本的配置中，這些計算裝置分別可包含至少一記憶體裝置以及至少一實體處理器。

在某些例子中，所述術語"記憶體裝置"一般是指任意類型或形式的揮發性或非揮發性儲存裝置或媒體，其能夠儲存資料及/或電腦可讀取指令。在一例子中，一記憶體裝置可以儲存、載入及/或維持在此所述的模組中的一或多個。記憶體裝置的例子包含但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、硬碟機(HDD)、固態硬碟(SSD)、光碟機、快取記憶體、其中一或多個的變化或組合、或是任何其它適當的儲存記憶體。

在某些例子中，所述術語"實體處理器"一般是指任意類型或形式的硬體實施的處理單元，其能夠解譯及/或執行電腦可讀取指令。在一例子中，一實體處理器可以存取及/或修改在上述的記憶體裝置中儲存的一或多個模組。實體處理器的例子包含但不限於微處理器、微控制器、中央處理單元(CPU)、實施軟核心處理器的現場可程式化閘陣列(FPGA)、特殊應用積體電路(ASIC)、其中一或多個的部分、其中一或多個的變化或組合、或是任何其它適當的實體處理器。

儘管被描繪為個別的元件，在此敘述及/或描繪的模組可以代表單一模組或應用程式的部分。此外，在某些實施例中，這些模組中的一或多個可以代表一或多個軟體應用程式，當藉由一計算裝置執行時，其可以使得所述計算裝置執行一或多個工作。例如，在此敘述及/或描繪的模組中的一或多個可以代表被儲存並且配置以於在此敘述及/或描繪的計算裝置或系統中的一或多個上執行的模組。這些模組中的一或多個亦可以代表被配置以執行一或多個工作的一或多個專用電腦的全部或部分。

此外，在此所述的模組中的一或多個可以從一形式至另一形式地轉換資料、物理裝置及/或物理裝置的表示。例如，在此闡述的模組中的一或多個可以接收待被轉換的影像資料、轉換所述影像資料成為一儲存使用者特徵資料的資料結構、輸出所述轉換的一結果以選擇相關於所述使用者的Ice Breaker平台的客製互動界面工具集、使用所述轉換的結果以將所述界面工具集呈現給所述使用者、以及儲存所述轉換的結果以產生所呈現的界面工具集的一記錄。額外或是替代地，在此闡述的模組中的一或多個可以藉由在所述計算裝置上執行、在所述計算裝置上儲存資料、及/或以其它方式和所述計算裝置互動，來從一形式至另一形式地轉換處理器、揮發性記憶體、非揮發性記憶體、及/或一物理計算裝置的任何其它部分。

在某些實施例中，所述術語"電腦可讀取媒體"一般是指任何形式的裝置、載波、或是媒體，其能夠儲存或載有電腦可讀取指令。電腦可讀取媒體的例子包含但不限於發送類型的媒體(例如載波)、以及非暫態類型的媒體(例如磁性儲存媒體(例如，硬碟機、碟帶機、以及軟碟片))、光學儲存媒體(例如，光碟(CD)、數位視頻光碟(DVD)、以及藍光光碟)、電子儲存媒體(例如，固態硬碟及快閃媒體)、以及其它分散系統。

在此敘述及/或描繪的程序參數以及步驟的順序是舉例給出的而已，並且可以根據需要而被改變。例如，儘管在此描繪及/或敘述的步驟可以用一特定的順序而被展示或論述，但是這些步驟並不一定需要用所描繪或論述順序來執行。在此敘述及/或描繪的各種範例方法亦可以省略在此敘述或描繪步驟中的一或多個、或是包含除了那些揭露以外的額外步驟。

先前說明已經被提供以致能其他熟習此項技術者能夠最佳的利用在此揭露的範例實施例的各種特點。此範例的說明並不欲為窮舉的、或是被限制為任何所揭露的精確形式。許多修改及變化是可能的，而不脫離本揭露內容的精神及範疇。在此揭露的實施例應該在所有方面都被視為舉例說明而非限制性的。在判斷本揭露內容的範疇上應該參考到所附的請求項及其等同物。

除非另有指出，否則如同在所述說明書及請求項所用的術語"連接至"以及"耦接至"(及其衍生詞)將被解釋為允許直接以及間接的(亦即，經由其它元件或構件)連接。此外，如同在所述說明書及請求項所用的術語"一"或是"一個"將被解釋為表示"至少一個"。最後，為了便於使用，如同在所述說明書及請求項所用的術語"包含"以及"具有"(及其衍生詞)是和所述字詞"包括"可互換的並且具有相同的意義。

100:系統 102:擴增實境裝置 104:網路 106:媒體伺服器 108:預測下載模組 110:體積資料檔 112:體積資料檔 130:實體處理器 140:記憶體 200:方法 202:步驟 204:步驟 206:步驟 302:使用者 304:AR環境 306:立方體 308:立方體 312:房間 310:立方體 400:方法 402:步驟 404:步驟 406:步驟 502:使用者 504:附近立方體 506:遠方立方體 602:使用者 604:預先成像內容 606:個人化內容 608:動態內容 700:擴增實境系統 702:眼鏡裝置 705:圍頸帶 710:框架 715(A):左顯示裝置 715(B):右顯示裝置 720、720(A)-720(J):聲學換能器 725:控制器 730:有線連線 735:電源 740:感測器 750:控制器 800:擴增實境系統 802:前剛性主體 804:條帶 806(A)、806(B):輸出音訊換能器 900:系統 901:眼睛 902:光源 904:光學子系統 906:眼睛追蹤子系統 908:控制子系統 920:會聚光 922:瞳孔 1000:眼睛追蹤子系統 1002:眼睛 1003:反射光區 1004:源 1005:影像 1006:感測器 1008:瞳孔 1010:反射光區

所附圖式描繪一些範例實施例並且是說明書的一部分。這些圖式和以下說明一起證明及解說本揭露內容的各種原理。

[圖1]是一用於預測性下載體積資料的範例的系統的方塊圖。

[圖2]是一用於預測性下載體積資料的範例的方法的流程圖。

[圖3]是一範例的擴增實境環境的圖示。

[圖4]是一用於預測性下載體積資料的額外範例的方法的流程圖。

[圖5]是一額外範例的擴增實境環境的圖示。

[圖6]是一額外範例的擴增實境環境的圖示。

[圖7]是範例的擴增實境的眼鏡的圖示，其可以相關此揭露內容的實施例而被使用。

[圖8]是一範例的虛擬實境頭戴式裝置的圖示，其可以相關此揭露內容的實施例而被使用。

[圖9]是一範例的系統的圖示，其納入能夠追蹤使用者的眼睛的眼睛追蹤子系統。

[圖10]是圖9中描繪的眼睛追蹤子系統的各種特點的更詳細的圖示。

在整個所述圖式，相同的元件符號及說明是指出類似、但不一定是相同的元件。儘管在此所述的範例實施例容易有各種的修改以及替代的形式，但是特定實施例已經在圖式中舉例展示並且將會在此詳細地描述。然而，在此所述的範例實施例並不欲受限於所揭露的特定形式。而是，本揭露內容涵蓋所有落入所附請求項的範疇內的修改、等同物及替換物。

來自在此所述的實施例的任一個的特點都可以根據在此所述的一般原理來彼此組合地利用。這些及其它實施例、特點及優點在閱讀以下的詳細說明結合所附的圖式及請求項之際將會更完全瞭解。

200:方法

202:步驟

204:步驟

206:步驟

Claims

一種電腦實施方法，其包括：識別擴增實境裝置，其：下載代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；且顯示所述擴增實境環境以供使用者觀看；至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；以及預先下載代表所述預期物理空間的預先成像三維區段的體積資料檔至所述擴增實境裝置。
如請求項1之電腦實施方法，其中：判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括藉由所述擴增實境裝置來判斷所述預期物理空間；以及預先下載所述體積資料檔包括藉由所述擴增實境裝置來預先下載所述體積資料檔。
如請求項1之電腦實施方法，其中所述擴增實境裝置包括頭戴式裝置，其被製作尺寸以穿戴在所述使用者的頭部上，並且經由在所述使用者的眼睛的前面的顯示器表面來顯示所述擴增實境環境。
如請求項1之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括判斷所述使用者被預測在即將到來的預設時間窗之內觀看所述預期物理空間。
如請求項1之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括：監視所述使用者在所述擴增實境環境中的移動；以及根據所述移動來預測所述使用者在所述擴增實境環境中的預期未來移動將會把所述預期物理空間帶入所述使用者的視野中。
如請求項1之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括：監視所述使用者在所述擴增實境環境之內的注視的指向；以及根據所述注視的所述指向來預測所述使用者的預期未來注視將會把所述預期物理空間帶入所述使用者的視野中。
如請求項1之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括：判斷所述預期物理空間相對於所述使用者在所述擴增實境環境之內的位置的觀看距離；以及指明所述體積資料檔的關聯至所述觀看距離的品質，使得較大較高觀看品質的檔關聯到較近觀看距離，而較小較低觀看品質的檔關聯到較遠觀看距離。
如請求項7之電腦實施方法，其中預先下載所述體積資料檔包括下載具有所指明品質的所述體積資料檔的版本。
如請求項7之電腦實施方法，其進一步包括：判斷所述觀看距離已經減小；以及響應於判斷所述觀看距離已經減小，下載所述體積資料檔的較高品質版本。
如請求項1之電腦實施方法，其中所述擴增實境裝置包括有限實體記憶體，因而所述有限實體記憶體並不能夠儲存代表所述擴增實境環境的全部體積資料檔。
如請求項1之電腦實施方法，其中所述體積資料檔包括預先成像內容以及用於根據所述使用者而被個人化之個人化資料的佔位內容的組合。
如請求項1之電腦實施方法，其進一步包括：偵測所述使用者的化身已經進入所述預期物理空間；以及響應於偵測所述使用者的所述化身已經進入所述預期物理空間來觸發在所述體積資料檔中所儲存的事件。
一種電腦實施方法，其包括：藉由媒體伺服器來識別擴增實境裝置，其：從所述媒體伺服器下載代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；且顯示所述擴增實境環境以供使用者觀看；至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；以及從所述媒體伺服器預先下載代表所述預期物理空間的預先成像三維區段的體積資料檔至所述擴增實境裝置。
如請求項13之電腦實施方法，其中所述媒體伺服器包括家用媒體伺服器，其經由區域網路來連接至所述擴增實境裝置。
如請求項13之電腦實施方法，其中所述媒體伺服器包括遠端媒體伺服器，其經由網際網路來連接至所述擴增實境裝置。
如請求項13之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括：監視所述使用者在所述擴增實境環境中的移動；以及根據所述移動來預測所述使用者在所述擴增實境環境中的預期未來移動將會把所述預期物理空間帶入所述使用者的視野中。
如請求項13之電腦實施方法，其中判斷在所述擴增實境環境之內所述使用者被預測來觀看的所述預期物理空間包括：監視所述使用者在所述擴增實境環境之內的注視的指向；以及根據所述注視的所述指向來預測所述使用者的預期未來注視將會把所述預期物理空間帶入所述使用者的視野中。
一種系統，其包括：擴增實境裝置，其：識別媒體伺服器，其儲存代表在擴增實境環境之內的物理空間的預先成像三維區段的體積資料檔；響應於至少一預設觸發，從所述媒體伺服器下載所述體積資料檔；且顯示所述擴增實境環境以供使用者觀看；以及預測下載模組，其：至少部分根據所述使用者在所述擴增實境環境之內的位置來判斷在所述擴增實境環境之內所述使用者被預測經由所述擴增實境裝置來觀看的預期物理空間；且觸發從所述媒體伺服器至所述擴增實境裝置的代表所述預期物理空間的預先成像三維區段的體積資料檔的下載。
如請求項18之系統，其中所述擴增實境裝置儲存所述預測下載模組。
如請求項18之系統，其中所述媒體伺服器：包括家用媒體伺服器，其經由區域網路來連接至所述擴增實境裝置；以及儲存所述預測下載模組。