TW202229973A - 使用可穿戴光學裝置之大空間追蹤 - Google Patents

Abstract

敘述用於判定使用者的頭部姿勢之系統及方法。接收藉由使用者穿戴的頭戴式照相機所擷取之影像，此等影像包含擷取標記，其中每一個擷取標記係表面上的複數個標記之其中一者，此等標記係在頭戴式照相機的FOV中。自資料庫辨識具有預定定向及對應於每一個擷取標記之儲存標記，儲存標記包含用於其對應表面標記的座標。計算擷取標記相對其對應儲存標記之定向，並獲得儲存標記。基於儲存標記及定向，判定每一個標記的絕對姿勢。基於每一個標記之絕對姿勢，計算使用者相對此表面的頭部姿勢。

Description

使用可穿戴光學裝置之大空間追蹤

本發明有關使用可穿戴光學裝置的大空間追蹤。

可穿戴光學裝置在各行各業中很常見。這些包括汽車應用、航空、軍事應用、工程、醫學、遊戲及任何用於觀看媒體之一般應用等等。可穿戴光學裝置通常被稱為頭盔式顯示器或頭戴式顯示器；在此中使用‘HWD’表述來代表頭盔式顯示器、頭戴式顯示器及任何其它可穿戴光學裝置，例如護目鏡、眼鏡及具有觀看能力的手持裝置。大多數HWD包括二個接目鏡，每隻眼睛有一個接目鏡。

圖1中說明示範HWD 100。藉著適當之支撐件102，HWDs、如同HWD 100可藉由使用者所穿戴。支撐件包括一個以上的可藉由使用者之一隻或兩隻眼睛觀看的光學元件104。雖然未詳細顯示，但光學元件104包括實質上透明之顯示介質。使用者能夠經過光學元件104觀看外部環境。使用者亦能夠在使用中觀看經由HWD傳遞至使用者的眼睛之影像。

於傳統系統中，在使用中，使用透鏡組或折疊式光學設計將影像傳遞至使用者的眼睛。將透鏡組或折疊式光學設計併入HWD 100。傳統上，透鏡組或折疊式光學設計併入HWD 100之支撐件102內。

如上所指示，HWDs使用於許多應用，然而，在它們的使用中遭遇有連續之問題。傳統的頭戴式顯示器具有有限之視野。當使用者正於表面上穿戴頭戴式顯示器時，在頭戴式顯示器的視野內之對應位置準確地提供來自現實世界空間的資訊或特徵是具有挑戰性的。這是藉由頭部之動作的延遲而加重。當表面在動作中為移動表面時，由於此表面之移動而帶來的額外延遲，會產生進一步挑戰。有需要提供改進之追蹤解決方案，以準確地判定使用者當在表面上穿戴頭戴式顯示器時的頭部姿勢。

於可穿戴光學裝置之許多用途中遭遇的另一問題係與需要將符號表示法加至顯示器有關。符號表示法係使用符號來幫助使用者穿戴此裝置以提供額外資訊。例如，向駕駛飛機之飛行員提供指示地平線的符號。如果不能準確地辨識使用者之頭部位置，未能準確地定位地平線，並可帶來災難性的飛行員錯誤。

因此，本發明之一目的係經由頭戴式顯示器向使用者提供世界穩定之資訊。

本發明的較佳態樣及實施例之範例係如在所附的獨立及附屬請求項中所提出者。

本發明內容被提供以簡化之形式引導概念的選擇，這些概念將於下文的詳細描述中進一步敘述。本發明內容並不意欲辨識所請求之主題的關鍵特徵或本質特徵，也不意欲使用來限制所請求之主題的範圍。

根據所揭示技術之第一態樣，提供有用於判定使用者的頭部姿勢之方法。此方法包含接收藉由使用者穿戴的頭戴式照相機所擷取之一個以上的影像，此等影像包含一個以上的擷取標記，其中每一個擷取標記係表面上之複數個標記的其中一者，此等標記係在頭戴式照相機之FOV中；針對一個以上的影像中之每一個擷取標記，自資料庫辨識複數個儲存標記的其中一者，每一個儲存標記具有預定之定向及在表面上的對應標記，其中每一個儲存標記包含用於表面上之其對應標記的座標；針對一個以上的影像中之每一個擷取標記，計算所擷取標記相對其對應儲存標記之定向；針對一個以上的影像中之每一個擷取標記，自資料庫獲得對應儲存標記；基於所儲存標記及計算出的定向來判定一個以上之影像中的每一個擷取標記之絕對姿勢；及基於每一個擷取標記的絕對姿勢來計算使用者相對此表面之頭部姿勢。

在一些示範實施例中，表面上的每一個標記包含具有一組相關聯之座標的複數個點。

於一些示範實施例中，每一個儲存標記包含複數個儲存點，每一個儲存點對應於此表面上的其對應標記的點之其中一者。

在一些示範實施例中，此方法包含收集用於儲存在資料庫中的資料，此收集資料包含：使用頭戴式照相機擷取表面上之所有標記的影像；比較每一個擷取標記中之複數個點與一組模型標記中的複數個模型點，此組模型點具有一組相關聯之理論座標；基於此比較，推斷表面上的每一個標記之位置及定向；基於表面上的每一個標記之推斷位置及定向，估計此表面上的每一個標記相對於此表面上之其它標記的相對位置及定向；基於此表面上之每一個標記的估計相對位置及定向，計算此表面上之每一個標記相對於參考標記的絕對位置及絕對定向，此參考標記在此表面上具有已知之位置及定向；針對此表面上的每一個標記，自資料庫辨識對應儲存標記；及針對此表面上的每一個標記更新對應儲存標記，以包括絕對位置及絕對定向。

於一些示範實施例中，針對此表面上的每一個標記更新對應儲存標記包含更新對應儲存標記，以包括在此表面上的其對應標記之推斷位置及定向和此表面上的其對應標記相對於此表面上之其它標記的相對位置及定向之至少一者。

於一些示範實施例中，辨識此複數個儲存標記的其中一者包含針對每一個擷取標記，比較所擷取標記中之複數個點與資料庫中的儲存標記中之複數個儲存點。

在一些示範實施例中，自資料庫辨識複數個儲存標記的其中一者包含針對每一個擷取標記，交叉參照所擷取標記與資料庫中之儲存標記，其中每一個擷取標記具有預定圖案，且其對應儲存標記具有相同的圖案。

於一些示範實施例中，表面上之標記係矩形指標。

在一些示範實施例中，此表面上之標記內的複數個點形成矩形指標之角落。

於一些示範實施例中，基於每一個擷取標記的絕對姿勢之計算包含判定使用者相對於此表面在六個自由度中的頭部姿勢。

於一些示範實施例中，判定每一個擷取標記的絕對姿勢包含針對每一個擷取標記，判定所擷取標記相對於在表面上具有已知位置及定向之參考標記的絕對位置及絕對定向。

於一些示範實施例中，此參考標記之已知位置及定向代表頭戴式照相機的原點。

在一些示範實施例中，頭戴式照相機安裝於頭戴式顯示器上或與之為一體。

在一些示範實施例中，用於擷取一個以上的影像之頭戴式照相機係立體相機及深度相機的至少一者。

根據所揭示技術之另一態樣，提供一種系統，包含頭戴式顯示器，其包含至少一個照相機，此照相機適於擷取一場景的一個以上之影像，複數個標記係位在此場景中；及處理器，構造為執行指令以：處理一個以上的影像，以辨識擷取標記；自資料庫辨識複數個儲存標記之其中一者，每一個儲存標記具有在表面上的預定定向及對應標記，其中每一個儲存標記包含用於此表面上之其對應標記的座標；計算所擷取標記相對於其對應儲存標記之定向；自資料庫獲得對應儲存標記；基於對應儲存標記及計算的定向，判定此標記之絕對姿勢；及基於每一個擷取標記的絕對姿勢，計算使用者相對於此表面之頭部姿勢。

在一些示範實施例中，頭戴式顯示器構造為擷取此表面上的所有標記之影像，且其中處理器構造為：比較所擷取標記的每一者中之複數個點與一組模型標記中的複數個模型點，其中複數個點之每一者具有一組相關聯的座標，且其中此複數個模型點之每一者具有一組相關聯的理論座標；基於此比較，推斷此表面上的每一個標記之位置及定向；基於此表面上的每一個標記之推斷位置及定向，估計此表面上的每一個標記相對於此表面上之其它標記的相對位置及定向；基於此表面上之每一個標記的估計相對位置及定向，計算此表面上之每一個標記相對於參考標記的絕對位置及絕對定向，參考標記在此表面上具有已知之位置及定向；針對此表面上的每一個標記，自資料庫辨識對應儲存標記；及針對此表面上的每一個標記更新對應儲存標記，以包括絕對位置及絕對定向。

於一些示範實施例中，處理器構造為針對此表面上的每一個標記更新對應儲存標記，以包括在此表面上的其對應標記之推斷位置及定向和表面上的其對應標記相對於此表面上之其它標記的相對位置及定向之至少一者。

於一些示範實施例中，處理器構造為比較擷取標記中的複數個點與對應儲存標記中之複數個儲存點，每一個儲存點對應於對應擷取標記中的點之其中一者。

在一些示範實施例中，處理器構造為交叉參照所擷取標記與資料庫中的儲存標記，其中每一個擷取標記具有預定圖案，且其對應儲存標記具有相同之圖案。

於一些示範實施例中，處理器構造為在六個自由度中判定使用者相對於此表面的頭部姿勢。

於一些示範實施例中，處理器構造為針對每一個擷取標記，相對於在表面上具有已知位置及定向之參考標記，判定絕對位置及絕對定向。

於一些示範實施例中，至少一個照相機係立體照相機及深度照相機的至少一者。

在一些示範實施例中，頭戴式顯示器包含框架、側臂及用於護目鏡或眼鏡的支撐件、頭盔或面罩、頭帶、頸部或肩部穿戴支撐件、及頭戴耳機之至少一者。

根據所揭示技術的另一態樣，提供有供使用於如所請求之系統中的頭戴式顯示器。

根據所揭示技術之另一態樣，提供有供使用於如所請求的系統中之標記，其中此等標記設置在一表面上，且具有儲存於資料庫中的對應儲存標記，此儲存標記包含用於此表面上之其對應標記的座標。

上述特徵可適當地結合，如對熟諳人員將顯而易見的，並可與在此中所述範例之任何態樣結合。

一般來說，本發明係有關光慣性頭戴式顯示器追蹤解決方案，以判定使用者相對於一表面的頭部姿勢。

本發明係有關能夠在大體積空間內追蹤頭部移動之新穎技術。準確追蹤穿戴頭戴式顯示器(以下稱為HWD)的使用者之頭部位置係有益的。準確追蹤使用者之頭部位置可使如藉由觀察者經過HWD觀看的真實世界之記號呈現於HWD的視野內之一位置，此位置準確地對應於真實世界中的記號之位置。

可藉由光學分層追蹤方案來判定頭部相對現實世界的準確位置，以藉由用頭戴式照相機擷取表面上之標記並計算每一個擷取標記的絕對位置及絕對方定向，來判定使用者頭部相對於此表面之空間位置。基於每一個標記的計算位置及定向，計算使用者相對於表面之頭部姿勢。

上述技術提供光學追蹤的絕對性及準確性之益處。

如將理解的，本發明有關光慣性頭戴式顯示器追蹤解決方案，以準確地判定使用者相對於一表面之頭部姿勢。

在詳細解釋本發明的至少一實施例之前，應理解本發明於其應用中不一定受限於以下敘述中所提出及/或附圖及/或範例中所說明的組件及/或方法之結構及配置的細節。本發明能夠有其它實施例或以諸多方式實踐或執行。

回頭參考圖1，說明HWD 100之代表圖，頭戴式顯示器100可為任何適當的類型，包括護目鏡、眼鏡、頭盔或頭盔面罩，或呈可帶至眼睛前面之手持裝置的形式。理想地是，此裝置係可攜式，或適於藉著支撐件携帶。雖然未詳細顯示，但支撐件可包括適於在眼睛前面支撐光學元件之支撐件。支撐件可包括框架；護目鏡及眼鏡的側臂及支撐件；頭盔或面罩；頭帶；頸部或肩部穿戴之支撐件；遊戲頭戴耳機；或任何其它可穿戴以將光學元件固持於所期望位置的支撐件。在一些實施例中，此系統可於抬頭顯示器(HUD)或任何另一類型之顯示器中實施。

在一些實施例中，光學裝置可安裝於頭盔上。在替代實施例中，光學元件100包括框架102及二接目鏡104，並藉由橋接元件固持在一起。框架102連接至二支臂，此二支臂將光學裝置支撐於使用者的頭部上。接目鏡各包括顯示器元件，其在使用中將影像傳遞至使用者之眼睛。顯示器元件包括例如準直元件、波導器、透鏡系統、稜鏡、或其它光學組件。此裝置於圖1中顯示為雙目鏡，但可能的是此裝置可為單目鏡，而其中一個顯示介質被空白元件所替換。光學元件可為適於在非光學領域中使用。因此，將理解的是，光學於此中並不受限於意指可見光之頻率，並可包括非可見光的頻率。

二個接目鏡104藉由橋接元件所分開。橋接元件可為具有不同曲率及不同長度之組合的帶子。橋接元件可具有特定形狀，以將接目鏡104定位或定向在預定位置中。

可向使用者提供HWD 100之FOV中的一位置中之記號。真實世界的記號可包含任何類型之符號表示法或真實世界的代表。可為期望的是在對應於其現實世界位置之FOV中的位置中提供記號。在不準確的位置中顯示此種記號對使用者而言潛在地為混亂的、令人沮喪的及危險的。為了彌補這一點，本發明包括用於準確地判定使用者之頭部姿勢的機制。

在一些實施例中，提供用於準確地追蹤頭部動作及表面動作之機制。表面動作的追蹤補償因表面動作而感測之所偵測的頭部移動。結合敘述使用者頭部的當前動作、此表面之當前動作及使用者相對此表面的已判定頭部姿勢之資訊，允許判定相對於真實世界的準確無延遲之頭部姿勢，其中頭部姿勢敘述頭部相對於真實世界的空間位置。

現在參考圖2，說明按照本發明之一些實施例的示範性系統。根據本發明之一些實施例中，系統200包含頭戴式顯示器214，其包括照相機202及處理器204。

可互換地稱為平台的表面206能為使用者208所位於之任何給定表面。表面206可包括但不限於車輛或飛行模擬裝置。位於此表面206上的使用者208穿戴HWD 214。照相機202可整合進入HWD 214之本體，或安裝在HWD 214上的任何合適位置，使得其可觀察設置於表面206上之一個以上的預定位置之標記210a、210b、210c、210d的影像。雖然在圖2中，標記210a、210b、210c、210d係圖示為設置於表面之上方部分212上，但已理解的是，標記210a、210b、210c、210d可為設置在表面206上之任何合適位置上。

照相機202可與HWD 214為一體的。照相機202可包括複數個照相機。此等照相機可包括但不限於立體照相機或深度照相機。雖然在圖2中顯示此照相機係面朝上，但已理解的是，照相機202可為位於或定位在HWD 214上之任何合適位置，使得其可構造為擷取標記的影像。已理解的是，能有多數個照相機，只要它們能被適當地安裝或整合進入HWD 214。

圖3描述收集資料用於儲存在資料庫中之示範性方法。使用映射過程以當標記由給定的觀點顯現於表面上時映射它們之絕對位置及定向，其中此位置及定向係相對參考標記。參考標記在表面上具有已知的位置及定向。如設置於表面上之複數個標記在下文稱為表面標記。於一些實施例中，表面標記可設置在表面的上方部分上。此外，或替代地，表面標記可為設置於表面之下方部分上。另外，或替代地，表面標記可為設置在表面的一個以上之橫側部分上。

每一個表面標記都有預定尺寸並具有預定、獨特的圖案。表面標記係以圖案構造來配置，並設計來最佳化HWD照相機對標記之觀察，且避免遮蔽表面上的重要物理特徵。每一個表面標記包含複數個表面點。複數個表面點之每一者包含一組相關聯的座標。參照圖4，於一些實施例中，表面標記可為矩形指標(fiducials)400a、400b、400c，其中每一個表面點係矩形指標之角落。

擷取所有表面記號的影像(方塊310)。

校對包含表面點之第一列表(方塊320)。如先前所述，每一個表面點包含一組相關聯的座標。

校對包含一組模型標記之一組模型點的第二列表(方塊330)。此組模型點界定一組理論座標。

比較表面點之第一列表及模型點的第二列表。基於此比較，估計每一個表面點之定向及位置。基於表面點的估計位置及定向，推斷與一組給定表面點相關聯之表面標記的位置及定向(方塊340)。

基於表面標記之推斷位置及定向，估計每一個表面標記之間的相對位置及定向(方塊350)。可選地，能擷取額外之影像，並可重複如上述的方法，從而允許改進表面標記之間的相對位置及定向之估計。

基於每一個表面標記之間的估計相對位置及定向，計算每一個表面標記相對參考標記之絕對位置及絕對定向(方塊360)。如上所述，參考標記包含在表面上具有已知位置及定向的標記。於一些實施例中，參考標記可代表追蹤器之原點。

每一個表面標記對應於標記界定資料庫(MDD)(未顯示)中所儲存的標記。儲存在MDD中之標記於下文中被稱為儲存標記。針對每一個表面標記，在MDD中辨識對應的儲存標記(方塊370)。每一個儲存標記具有預定之尺寸並具有預定、獨特的圖案，此尺寸及圖案對應於表面標記之其中一者的尺寸及圖案。每一個儲存標記具有複數個儲存點，此複數個儲存點對應於其相關聯之表面標記的複數個表面點。每一個儲存標記根據其與表面標記之相似性來辨識。在一些實施例中，藉由交叉參照每一個表面標記的圖案與儲存標記來辨識儲存標記。由於每一個表面標記具有預定之尺寸及預定的獨特圖案，因此假定與表面標記最相似之儲存標記係正確對應的儲存標記。此外，或替代地，可藉由交叉參照複數個表面點與複數個儲存點來辨識儲存標記。

針對表面上之每一個標記，當表面標記具有與儲存標記相同的定向時，更新其對應的儲存標記以至少包括其表面標記相對於參考標記之絕對位置及絕對定向(方塊380)。在一些實施例中，可更新儲存標記以額外地包括表面標記的推斷位置及定向及/或每一個表面標記之間的估計相對位置及定向。

圖5說明用於判定頭部姿勢之示範性方法500的簡化流程圖。如上面關於圖3所敘述，如設置在表面上之複數個標記被稱為表面標記。於一些實施例中，表面標記可設置在表面的上方部分上。此外，或替代地，表面標記可設置於表面之下方部分上。此外，或替代地，表面標記可設置在表面的一個以上之橫側部分上。

每一個表面標記都有預定尺寸，並具有預定的獨特圖案。表面標記配置於圖案構造中，此圖案構造設計來最佳化HWD照相機對標記之觀察，且避免遮蔽表面上的重要物理特徵。每一個表面標記包含複數個表面點。複數個表面點之每一者包含一組相關聯的座標。參照圖4，於一些實施例中，表面標記可為矩形指標400a、400b、400c，其中每一個表面點係矩形指標之角落。

接收藉由使用者所穿戴的頭戴式照相機所擷取之一個以上的影像(方塊510)。此一個以上之影像包括在照相機的FOV內之一個以上的表面標記之表示。針對本敘述之目的，如藉由照相機所擷取之表面標記及相關聯的表面點分別被稱為擷取標記及擷取點。

存取MDD。MDD包含複數個儲存標記。每一個儲存標記具有預定之定向，並對應於複數個表面標記的其中一者。每一個儲存標記具有預定之尺寸，並具有預定、獨特的圖案，此尺寸及圖案對應於表面標記之其中一者的尺寸及圖案。每一個儲存標記具有對應於其表面標記之表面點的複數個儲存點。每一個儲存標記至少包括其對應表面標記之絕對位置及絕對定向，作為來自圖3的映射方法之輸出。每一個儲存標記可額外地包括表面標記的推斷位置及定向及/或每一個表面標記之間的估計相對位置及定向。

對於每一個擷取標記，在MDD中辨識對應之儲存標記(方塊520)。於一些實施例中，藉由交叉參照每一個擷取標記的圖案與儲存標記，根據其擷取標記之相似性來辨識每一個儲存標記。由於每一個擷取標記具有預定的尺寸及預定之獨特圖案，因此假定與擷取標記最相似的儲存標記係正確地對應之儲存標記。此外，或替代地，可藉由交叉參照複數個表面點與複數個儲存點來辨識儲存標記。

針對每一個擷取標記，計算擷取標記相對其對應儲存標記的定向(方塊530)。如上所述，每一個儲存標記具有預定之定向。雖然每一個表面標記對應於儲存標記的其中一者，但如在影像中所擷取之表面標記可具有與其對應儲存標記不同的定向。換句話說，擷取標記之定向可為與它們對應的儲存標記不同。於一些實施例中，將每一個擷取標記與其對應儲存標記進行比較，以便判定擷取標記相對於其對應儲存標記是如何定向的。

針對每一個擷取標記，自MDD獲得儲存資料，該儲存資料包括擷取標記相對具有已知位置及定向之參考標記的絕對位置及定向(方塊540)。

判定一組界定擷取標記相對參考標記的絕對位置及定向之座標(方塊550)。如上所述，每一個儲存標記的儲存資料包括其對應擷取標記相對參考標記之絕對位置及定向。利用擷取標記相對其對應儲存標記的已判定之定向，接著可判定所擷取標記相對參考標記的絕對位置及定向。

計算使用者相對此表面之頭部姿勢(方塊560)。由於擷取標記是在頭戴式照相機的FOV內，可推斷出照相機相對擷取標記之位置及定向。已計算出此等擷取標記相對在表面上具有已知位置及定向的參考標記之絕對位置及定向，使得可判定照相機相對參考標記的位置及定向。以此方式，基於擷取標記相對參考標記之絕對位置及定向，隨後可判定擷取標記在表面上的絕對位置及定向。如上所述之方法可使HWD相對此表面的定向及位置能夠於六個自由度中準確地計算。

如上所述，在一些實施例中，此表面上之標記係矩形指標，如圖4中所描述。如於此中所述的追蹤之多數個標記或多數個基準樣式提供了追蹤能力，其追蹤精度優於單一(典型較小)的標記追蹤器。於照相機的視野上結合來自多數個標記之多數個點的能力將使用於估計追蹤姿勢之點的空間分佈最大化，且因此導致更穩定及更少噪音之追蹤解決方案。

圖6係按照本發明的一些實施例之示範性系統的簡化方塊圖。在這些實施例中，表面可為處於動作狀態中。光學追蹤方案之輸出可為與慣性資料結合，以進一步改善所判定的頭部位置之準確性。結合指示相對於現實世界移動的表面之定向的位置資料及有關使用者之頭部相對於表面的空間位置之光學資料。第一組慣性資料可與表面的動作有關。第二組慣性資料可與使用者頭部之動作有關。基於此二組慣性資料，可計算並抵消歸因於此表面動作的使用者頭部之動作。

此外，光學追蹤解決方案的延遲可藉由前瞻性預測頭部移動而減少。這基於HWD上之慣性感測器的輸出，對現實世界中之最終的頭部位置進行估計，從而減少判定實際頭部位置所需之時間。

這些上述技術提供光學追蹤的絕對性及準確性之益處。加上藉由慣性追蹤所達成的速率及減少之延遲。此系統可補償頭部動作及移動表面的動作之延遲，從而提供具有減少不確定性的系統。

除了如相對於圖2所敘述者以外，圖6包括基於表面之慣性感測器602。基於表面的慣性感測器602可包含慣性測量單元。慣性測量單元可包含其感測器之任何適當的組合。基於表面之慣性感測器602可包括但不限於加速度計、陀螺儀及磁力計。基於表面的慣性感測器602可偵測在動作期間藉由表面206所經歷之力量(例如重力)、表面206的角速率、及表面206之速度、加速度、減速度及/或定向。

HWD 214亦可包括至少一個HWD-慣性感測器604或其合適感測器之任何組合。此等感測器可包括但不限於加速度計及陀螺儀。HWD-慣性感測器604可判定HWD 214的空間位置中之變化。使用者208的頭部之動作可基於HWD的空間位置中之偵測到的變化來判定。此外，HWD-慣性感測器604可前瞻性預測使用者之頭部的移動，以判定使用者之頭部相對於真實世界的預測位置。前瞻性預測可使用於減少整個追蹤解決方案之觀察延遲。

至少一個HWD-慣性感測器604可與HWD 214為一體。替代地，感測器可具有能拆卸的元件，其可在任何合適之位置安裝至HWD 214，使得HWD-慣性感測器604可構造為偵測正穿戴HWD 214的使用者208之當前頭部動作。HWD-慣性感測器604可構造為偵測藉由使用者208的頭部所經歷之力量、角速率、速度、線性加速度及減速度及/或任何定向中的變化。

另一實施例敘述使用HWD-慣性感測器604及基於表面之慣性感測器602的輸出來判定頭部姿勢。在此替代性實施例中，來自照相機202之光學追蹤資料能為不可用或無效的，例如，如果照相機202經歷遮蔽，或如果指標性標記之影像由於任何理由(如同藉由產生陰影)而扭曲。在此替代性實施例中，表面206安裝有額外的感測器，其為整個追蹤機制提供一週期性姿態。

HWD-慣性感測器604可判定使用者頭部之當前動作，如上面的實施例中所述。

基於表面之慣性感測器602可偵測表面206相對於現實世界的動作，如上面實施例中所述。

有關表面206之動作及使用者頭部的當前動作之資料可結合起來，以使系統能夠在不需要自照相機202獲得的光學追蹤資料之情況下慣性運轉(coast)。一旦光學追蹤恢復，光學追蹤資料、表面動作資料及頭部動作資料可結合以計算相對於真實世界的準確頭部姿勢，如上所述。

圖7係用於相對於真實世界偵測頭部位置之示範性方法700的簡化流程圖，同時使用者處於移動表面上。

可基於來自基於表面之慣性感測器的第一輸出來判定包含相對於真實世界移動之表面的定向之第一組座標(方塊710)。可判定包含頭戴式顯示器相對於移動表面的空間位置之第二組座標(方塊720)。可判定基於慣性測量的使用者頭部之預測移動，以生成基於預測移動的座標偏移(方塊730)。基於第一組座標、第二組座標及座標偏移，可判定指示頭戴式顯示器相對於真實世界參考之空間位置的第三組座標(方塊740)。

偵測頭部相對於現實世界之位置的方法可藉由包括額外之慣性資料而進一步改進。可偵測第三組座標中的變化，以基於來自基於表面之慣性感測器的第二輸出判定此表面相對於真實世界之位置中的變化。可偵測第四組座標中之變化，以基於一基於HWD的慣性感測器之輸出判定使用者頭部的空間位置中之變化。將可歸因於表面的動作之使用者頭部動作中的相對變化計算作為第四組座標中之相對變化。第四組座標中的相對變化被抵消。

追蹤解決方案之延遲可基於一基於HWD的慣性感測器之輸出，藉由前瞻性預測追蹤器的定向而減少。

現在參考圖8，此圖說明用於使用前瞻性預測來改進對大體積空間上之頭部移動的追蹤之示範性方法800的簡化流程圖。可基於來自基於表面之慣性感測器的第一輸出，判定包含相對於真實世界移動之表面的定向之第一組座標(方塊810)。

可判定包含頭戴式顯示器相對於此表面的空間位置之第二組座標。根據本發明的一些實施例中，判定第二組座標可進一步包含使用照相機獲得光學追蹤資料，其中光學追蹤資料包含具有設置在相對於真實世界移動之表面上的已知空間位置之標記的影像(方塊820)。

可基於慣性測量判定使用者頭部之預測移動，以基於預測移動生成座標偏移(方塊830)。

基於第一組座標、第二組座標及座標偏移，可判定指示頭戴式顯示器相對於真實世界參考的空間位置之第三組座標(方塊840)。

儘管本發明已結合一些實施例敘述，但並不意欲將其限制在本文所提出的具體形式中。相反，本發明之範圍僅受限於所附請求項。此外，儘管特徵可看起來是與特定實施例結合地敘述，但熟諳本技術領域的人員將認識到所述實施例之諸多特徵可按照本發明組合。在請求項中，‘包含’一詞並不排除其它元件或步驟的存在。

再者，此等請求項中之特徵的順序並不意味著必需施行特徵之任何具體順序，且尤其是方法請求項中的個別步驟之順序並不意味著此等步驟必需以此順序來施行。相反，此等步驟能以任何合適的順序施行。此外，單數參照並不排除複數。因此，對‘一(a)’、‘一(an)’、‘第一’、‘第二’等之參照並不排除複數個。於此等請求項中，‘包含’或‘包括’一詞不排除其它元件的存在。

100:頭戴式顯示器 102:支撐件 104:光學元件 200:系統 202:照相機 204:處理器 206:表面 208:使用者 210a:標記 210b:標記 210c:標記 210d:標記 212:上方部分 214:頭戴式顯示器 400a:指標 400b:指標 400c:指標 500:方法 602:慣性感測器 604:慣性感測器 700:方法 800:方法

圖1係顯示頭戴式顯示器的代表圖。

圖2說明按照本發明之一些實施例的示範性系統。

圖3係用於映射所有可用標記之位置及定向的示範性方法之簡化流程圖。

圖4係按照本發明的一些實施例在光學追蹤期間觀察到之光學資料的簡化代表圖。

圖5係用於判定使用者之頭部姿勢的示範性方法之簡化流程圖。

圖6係按照本發明的一些實施例之示範性系統的簡化方塊圖。

圖7係用於偵測相對於現實世界之頭部位置的示範性方法之簡化流程圖，同時使用者係在移動表面上。

圖8係用於在大體積空間內追蹤頭部移動的示範性方法之簡化流程圖。

400A:指標

400B:指標

400C:指標

Claims (15)

1. 一種判定使用者的頭部姿勢之電腦實施方法，該方法包含： 接收藉由使用者穿戴的頭戴式照相機所擷取之一個以上的影像，該等影像包含一個以上的擷取標記，其中每一個擷取標記係表面上之複數個標記的其中一者，該等標記係在該頭戴式照相機之視野(FOV)中； 針對該一個以上的影像中之每一個擷取標記： 自資料庫辨識複數個儲存標記的其中一者，每一個儲存標記具有預定之定向及在該表面上的對應標記，其中每一個儲存標記包含用於該表面上之其對應標記的座標； 計算該擷取標記相對其對應儲存標記之定向； 自該資料庫獲得該對應儲存標記； 基於該對應儲存標記及計算出的該定向來判定該標記之絕對姿勢；及 基於每一個擷取標記的絕對姿勢計算該使用者相對該表面之頭部姿勢。
2. 如請求項1之方法，其中該表面上的每一個標記包含具有一組相關聯之座標的複數個點。
3. 如請求項2之方法，其中每一個儲存標記包含複數個儲存點，每一個儲存點對應於該表面上的其對應標記的點其中一者。
4. 如請求項2及3中任一項之方法，進一步包含收集用於儲存在資料庫中的資料，該收集資料包含： 使用該頭戴式照相機擷取該表面上之所有標記的影像； 比較每一個擷取標記中之複數個點與一組模型標記中的複數個模型點，該組模型點具有一組相關聯之理論座標； 基於該比較，推斷該表面上的每一個標記之位置及定向； 基於該表面上的每一個標記之推斷位置及定向，估計該表面上的每一個標記相對該表面上之其它標記的相對位置及定向； 基於該表面上之每一個標記的估計相對位置及定向，計算該表面上之每一個標記相對參考標記的絕對位置及絕對定向，該參考標記在該表面上具有已知之位置及定向； 針對該表面上的每一個標記，自該資料庫辨識該對應儲存標記；及 針對該表面上的每一個標記更新該對應儲存標記，以包括該絕對位置及該絕對定向。
5. 如請求項4之方法，其中針對該表面上的每一個標記更新該對應儲存標記進一步包含更新該對應儲存標記，以包括在該表面上的其對應標記之推斷位置及定向和該表面上的其對應標記相對該表面上之其它標記的相對位置及定向之至少一者。
6. 如請求項3至5中任一項之方法，其中辨識該複數個儲存標記的其中一者進一步包含針對每一個擷取標記，比較該擷取標記中之複數個點與該資料庫中的儲存標記中之複數個儲存點。
7. 如請求項1至5中任一項之方法，其中自該資料庫辨識複數個儲存標記的其中一者進一步包含針對每一個擷取標記，交叉參照該擷取標記與該資料庫中之儲存標記，其中每一個擷取標記具有預定圖案，且其對應儲存標記具有相同的圖案。
8. 如請求項1至7中任一項之方法，其中該判定每一個擷取標記的絕對姿勢進一步包含針對每一個擷取標記，判定該擷取標記相對在該表面上具有已知位置及定向之參考標記的絕對位置及絕對定向。
9. 一種系統，包含： 頭戴式顯示器，包含至少一個照相機，其適於擷取一場景的一個以上之影像，複數個標記係位在該場景；及 處理器，構造為執行指令以： 處理該一個以上的影像，以辨識擷取標記； 自資料庫辨識複數個儲存標記之其中一者，每一個儲存標記具有在該表面上的預定定向及對應標記，其中每一個儲存標記包含用於該表面上之其對應標記的座標； 計算該擷取標記相對其對應儲存標記之定向； 自該資料庫獲得該對應儲存標記； 基於該對應儲存標記及該計算定向，判定該標記的絕對姿勢；及 基於每一個擷取標記之絕對姿勢，計算該使用者相對該表面的頭部姿勢。
10. 如請求項9之系統，其中該頭戴式顯示器進一步構造為擷取該表面上的所有標記之影像，且其中該處理器進一步構造為： 比較該等擷取標記的每一者中之複數個點與一組模型標記中的複數個模型點，其中該複數個點之每一者具有一組相關聯的座標，且其中該複數個模型點之每一者具有一組相關聯的理論座標； 基於該比較，推斷該表面上的每一個標記之位置及定向； 基於該表面上的每一個標記之推斷位置及定向，估計該表面上的每一個標記相對該表面上之其它標記的相對位置及定向； 基於該表面上之每一個標記的估計相對位置及定向，計算該表面上之每一個標記相對參考標記的絕對位置及絕對定向，該參考標記在該表面上具有已知之位置及定向； 自該資料庫辨識用於該表面上的每一個標記之對應儲存標記；及 針對該表面上的每一個標記更新對應儲存標記，以包括該絕對位置及該絕對定向。
11. 如請求項10之系統，其中該處理器進一步構造為針對該表面上的每一個標記更新對應儲存標記，以包括在該表面上的其對應標記之推斷位置及定向和該表面上的其對應標記相對該表面上之其它標記的相對位置及定向之至少一者。
12. 如請求項9至11中任一項之系統，其中該處理器進一步構造為交叉參照該擷取標記與該資料庫中的儲存標記，其中每一個擷取標記具有預定圖案，且其對應儲存標記具有相同之圖案。
13. 如請求項9至12中任一項之系統，其中該頭戴式顯示器進一步包含框架、側臂及用於護目鏡或眼鏡的支撐件、頭盔或面罩、頭帶、頸部或肩部穿戴支撐件、及頭戴耳機之至少一者。
14. 一種使用於如請求項9至13中任一項的系統中之頭戴式顯示器。
15. 一種使用於如請求項9至13中任一項的系統中之標記，其中該等標記設置在表面上，且具有儲存於資料庫中的對應儲存標記，該儲存標記包含用於該表面上之其對應標記的座標。

Images