TW202201178A

TW202201178A - 低功率視覺追蹤系統

Info

Publication number: TW202201178A
Application number: TW110115188A
Authority: TW
Inventors: 拉維珊卡希法林戈姆; 二世唐納德威廉吉德韋爾; 拉塞爾格鲁爾克; 艾德溫鍾宇朴; 胡爾希德賽德阿拉姆
Original assignee: 美商高通公司
Priority date: 2020-04-06
Filing date: 2021-04-27
Publication date: 2022-01-01
Also published as: WO2021206789A1; US11438257B2; US20210314248A1; EP4078908A1; US11277331B2; US11792112B2; US20210314253A1; US11528219B2; US11212356B2; US20210314268A1; US20210314415A1; US20210314423A1; US11368387B2; US20210314277A1; US20210314252A1; US11743172B2; CN115398864A; US20240015097A1

Abstract

提供了用於低功率視覺追蹤系統的系統、方法和非暫態媒體。一種示例方法可包括：接收由來自第一設備上的圖像感測器系統集的每一圖像感測器系統捕捉的一個或多個圖像，該一個或多個圖像捕捉第二設備上的圖案集，其中第一設備具有與第二設備相比較低的功率要求，該圖案集在第二設備上具有預定配置；根據由每一圖像感測器系統捕捉的一個或多個圖像來確定與第二設備上的圖案集相對應的像素集；基於與圖案集相對應的像素集來確定每一圖案在空間中的位置和相對姿態；以及基於每一圖案的位置和相對姿態來確定第一設備相對於第二設備的姿態。

Description

低功率視覺追蹤系統

本公開一般涉及用於延展實境和其他應用的視覺追蹤系統。

可以在各種應用（諸如延展實境（例如，虛擬現實、增強現實、混合現實等）、計算機視覺、和機器人）中使用姿態估計，以確定對象和/或設備相對於目標（諸如場景、人類、另一對象和/或另一設備）的位置和取向。可使用姿態資訊來管理對象/設備與場景、人類、另一對象和/或另一設備之間的交互。例如，機器人的姿態（例如，位置和取向）可用於允許機器人操縱對象或在場景中四處移動時避免與對象碰撞。作為另一示例，用戶穿戴的設備與設備控制器的相對姿態可用於向用戶提供延展實境體驗，其中追蹤設備控制器的姿態和移動並在用戶穿戴的設備上呈現設備控制器的姿態和移動。然而，姿態估計系統的計算複雜性可能施加顯著的功率和資源需求，並且在各種應用中可能成為限制因素。姿態估計的計算複雜性還可能限制依賴於姿態資訊的追蹤和定位應用的性能和可縮放性。

公開了用於針對延展實境和其他應用的低功率視覺追蹤的系統、方法和計算機可讀媒體。根據至少一個示例，提供了一種用於針對延展實境和其他應用的低功率視覺追蹤的方法。該方法可包括：接收由第一設備上的至少一個圖像感測器系統捕捉的一個或多個圖像，該一個或多個圖像捕捉在第二設備上具有預定配置的圖案集，其中第一設備與第二設備相比具有較低的功率要求；根據由該至少一個圖像感測器系統捕捉的一個或多個圖像來確定與第二設備上的圖案集相對應的像素集；基於與第二設備上的圖案集相對應的像素集來確定來自該圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自該圖案集的每一圖案在空間中的位置和相對姿態來確定第一設備相對於第二設備的姿態。

根據至少一個示例，提供了一種用於針對延展實境和其他應用的低功率視覺追蹤的裝置。該裝置可包括：記憶體；以及耦合至該記憶體的一個或多個處理器，該一個或多個處理器被配置成：接收由該裝置上的至少一個圖像感測器系統捕捉的一個或多個圖像，該一個或多個圖像捕捉在一設備上具有預定配置的圖案集，其中該裝置與該設備相比具有較低的功率要求；根據由該至少一個圖像感測器系統捕捉的一個或多個圖像來確定與該設備上的圖案集相對應的像素集；基於與該設備上的圖案集相對應的像素集來確定來自該圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自該圖案集的每一圖案在空間中的位置和相對姿態來確定該裝置相對於該設備的姿態。

根據至少一個示例，提供了一種用於針對延展實境和其他應用的低功率視覺追蹤的非暫態計算機可讀媒體。該非暫態計算機可讀媒體可包括儲存於其上的指令，該指令在由一個或多個處理器執行時致使該一個或多個處理器進行以下操作：接收由第一設備上的至少一個圖像感測器系統捕捉的一個或多個圖像，該一個或多個圖像捕捉在第二設備上具有預定配置的圖案集，其中第一設備與第二設備相比具有較低的功率要求；根據由該至少一個圖像感測器系統捕捉的一個或多個圖像來確定與第二設備上的圖案集相對應的像素集；基於與第二設備上的圖案集相對應的像素集來確定來自該圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自該圖案集的每一圖案在空間中的位置和相對姿態來確定第一設備相對於第二設備的姿態。

根據至少一個示例，提供了一種用於針對延展實境和其他應用的低功率視覺追蹤的設備。該設備可包括用於以下操作的裝置：接收由第一設備上的至少一個圖像感測器系統捕捉的一個或多個圖像，該一個或多個圖像捕捉在第二設備上具有預定配置的圖案集，其中第一設備與第二設備相比具有較低的功率要求；根據由該至少一個圖像感測器系統捕捉的一個或多個圖像來確定與第二設備上的圖案集相對應的像素集；基於與第二設備上的圖案集相對應的像素集來確定來自該圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自該圖案集的每一圖案在空間中的位置和相對姿態來確定第一設備相對於第二設備的姿態。

在上述方法、裝置（設備）和非暫態計算機可讀儲存媒體的一些示例中，該至少一個圖像感測器系統可包括圖像感測器系統集，並且確定第一設備相對於第二設備（或裝置相對於設備）的姿態是進一步基於該圖像感測器系統集的預定的相對位置和取向的。

在一些方面，上述方法、裝置（設備）和非暫態計算機可讀儲存媒體可包括：確定空間中與由圖像感測器系統集捕捉的場景相關聯的一個或多個點的三維（3D）坐標；以及基於圖像感測器系統集的預定的相對位置和取向以及空間中的該一個或多個點的3D坐標來確定第一設備（或裝置）上的圖像感測器系統集的相對3D姿態，其中第一設備（或裝置）相對於第二設備的姿態是進一步基於第一設備（或裝置）上的圖像感測器系統集的相對3D姿態的。

在一些示例中，第一設備（或裝置）相對於第二設備的姿態包括六自由度（6DoF）姿態，並且圖案集的預定配置包括：每一圖案在第二設備上的相對位置、每一圖案在第二設備上的相對取向、每一圖案的形狀、每一圖案的大小、每一圖案的特性、和/或圖案集的佈置。

在一些情形中，確定來自圖案集的每一圖案在空間中的位置和相對姿態包括：通過旋轉空間中與對應於圖案集的像素集相對應的3D坐標來確定圖案集的3D取向，該3D坐標是相對於參考3D坐標來旋轉的；以及通過平移空間中與對應於圖案集的像素集相對應的3D坐標來確定圖案集的3D位置，該3D坐標是相對於該參考3D坐標來平移的。在一些示例中，每一圖案的相對姿態可以是基於圖案集的3D取向和圖案集的3D位置的，並且每一圖案的位置包括來自圖案集的3D位置的相應3D位置。

在一些方面，確定第一設備（或裝置）相對於第二設備的姿態進一步包括確定第二設備相對於第一設備（或裝置）的姿態，其中第一設備（或裝置）的姿態包括第一6DoF姿態並且第二設備的姿態包括第二6DoF姿態。

在一些示例中，第一設備（或裝置）可包括手控制器設備並且第二設備可包括頭戴式顯示設備。

在一些示例中，該至少一個圖像感測器系統可包括低功率圖像感測器系統，並且圖案集中的每一圖案在紅外頻譜和/或可見光頻譜中是可見的。

在一些方面，圖案集中的至少一個圖案包括經編碼機器可讀資訊，該經編碼機器可讀資訊包括：與該至少一個圖案相關聯的位置資訊、與該至少一個圖案相關聯的識別符、唯一碼、設置、和/或關於與第一設備（或裝置）和/或第二設備上主存的延展實境應用相關聯的用戶賬戶的資訊。

在一些方面，確定與第二設備上的圖案集相對應的像素集包括：基於由該至少一個圖像感測器系統捕捉的一個或多個圖像來檢測來自第二設備上的圖案集的每一圖案；以及標識來自圖案集的每一圖案中的一個或多個點，該一個或多個點與來自像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一圖案中的該一個或多個點的。

在一些方面，確定與第二設備上的圖案集相對應的像素集包括：基於由該至少一個圖像感測器系統捕捉的一個或多個圖像來檢測來自第二設備上的圖案集的每一圖案；對於每一圖案，檢測較小的內部圖案；以及標識每一較小的內部圖案中的一個或多個點，該一個或多個點與來自像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一較小的內部圖案中的該一個或多個點的。

在一些示例中，確定第一設備（或裝置）相對於第二設備的姿態包括確定第一設備（或裝置）相對於第二設備的6DoF姿態以及第二設備相對於第一設備（或裝置）的6DoF姿態。在一些方面，上述方法、裝置（設備）和非暫態計算機可讀儲存媒體可包括：基於由該至少一個圖像感測器系統捕捉的一個或多個附加圖像來檢測該一個或多個附加圖像中捕捉的對象上的一個或多個附加圖案；確定該一個或多個附加圖像中與該對象上的一個或多個附加圖案相對應的一個或多個像素；以及基於該一個或多個像素來確定該對象相對於第一設備（或裝置）的6DoF姿態和第二設備的6DoF姿態中的至少一者的附加6DoF姿態。在一些示例中，該對象可包括牆、顯示設備、視頻遊戲控制台、家具、電器、或家庭用品。

在一些方面，上述裝置（設備）可包括一個或多個感測器。在一些方面，上述裝置（設備）可包括行動設備。在一些示例中，上述裝置（設備）可包括手控制器、行動電話、可穿戴設備、顯示設備、行動計算機、頭戴式設備和/或相機。

本概述既非旨在標識出要求保護的主題內容的關鍵特徵或必要特徵，亦非旨在單獨用於確定要求保護的主題內容的範圍。本主題內容應當參考本專利的整個說明書的合適部分、任何或所有附圖、以及每項請求項來理解。

前述內容以及其他特徵和實施例將在參考以下說明書、申請專利範圍和所附附圖時變得更明顯。

下文提供給了本公開的某些方面和實施例。這些方面和實施例中的一些可獨立地應用，並且它們中的一些可組合應用，這對於本領域技術人員來說是顯而易見的。在以下描述中，出於解釋目的闡述了具體細節以提供對本申請的各實施例的透徹理解。然而，顯然的是，可以在沒有這些具體細節的情況下實施各實施例。各附圖和描述不旨在是限制性的。

以下描述僅提供了示例實施例，並且並不旨在限定本公開的範圍、適用性或配置。相反，對示例實施例的以下描述將向本領域技術人員提供用於實現示例實施例的賦能描述。應當理解，在不脫離所附申請專利範圍中闡述的本申請的精神和範圍的情況下，可以對元件的功能和佈置進行各種改變。

如前所述，姿態估計系統的計算複雜性可能施加顯著的功率和資源需求，並且在各種應用中可能成為限制因素。姿態估計的計算複雜性還可能限制依賴於姿態資訊的追蹤和定位應用的性能和可縮放性。例如，視覺和慣性追蹤、定位以及姿態估計算法的計算複雜性可對涉及追蹤、定位和姿態估計的應用（諸如延展實境（例如，虛擬現實、增強現實、混合現實等）、遊戲和機器人）中使用的設備施加較大的功率和資源需求。這樣的功率和資源需求因最近在移動和可穿戴設備中實現此類技術以及將這些設備製造得更小、更輕和更舒適（例如，通過降低由設備發出的熱量）以供穿戴更長時段的趨勢而加劇。

為了解說，延展實境（XR）設備（諸如頭戴式設備（例如，頭戴式顯示器（HMD）、智慧型眼鏡等））一般依賴於較高功率組件來追蹤它們相對於其他項目（例如，其他設備、對象、人類、障礙物等）的姿態（例如，它們的相對三維（3D）位置和取向）。這樣的追蹤可包括6六自由度（DoF）追蹤，這涉及追蹤平移移動（例如，向前/向後或波動（surge）、向上/向下或鼓起（heave）、以及向左/向右或晃動（sway））以及沿x、y和z軸的旋轉移動（例如，俯仰、偏航和轉動），並且可能是計算密集的。此外，用於6DoF追蹤的較高功率組件可包括例如高分辨率相機、較高功率處理器、以及可見和/或紅外（IR）頻譜中的明亮發光二極管（LED）照明器。

6DoF追蹤的較高功耗和計算強度可限制6DoF追蹤應用中使用的設備的電池壽命。另外，6DoF應用中使用的較高功耗設備（包括XR設備，諸如頭戴式設備）一般比輔助設備（諸如結合較高功耗設備使用的手控制器）消耗更多功率。這至少部分地是由於通常由較高功耗設備執行的顯示和圖形計算而導致的。結果，較高功耗設備的電池常常比它們的輔助設備的電池更快耗盡。

本公開描述了用於XR和其他應用中的較低功率視覺追蹤的系統、方法和計算機可讀媒體。本文的較低功率視覺追蹤技術可以降低6DoF追蹤應用中使用的設備（諸如XR設備）的電池消耗並提升其電池壽命。在一些示例中，本文的技術能夠將通常由較高功耗設備執行的一些或全部6DoF追蹤任務卸載到與較高功耗設備一起使用的輔助設備。輔助設備可以利用低功率視覺/相機和處理組件以較低功耗率來執行6DoF追蹤任務，藉此提升通常比輔助設備的電池壽命更快耗盡的較高功耗設備的電池壽命。

例如，在一些情形中，代替使用輔助設備上的較高功率供電的LED組件和較高功耗設備上的高分辨率相機來計算輔助設備和較高功耗設備的相對姿態，輔助設備可以實現較低功率相機以執行6DoF追蹤並將相關聯的功耗從較高功耗設備卸載。較高功耗設備可實現印刷在設備上的唯一圖案，輔助設備上的較低功率相機可使用該唯一圖案來標識輔助設備和較高功耗設備的相對姿態。輔助設備可以利用較低功率相機的較低功率能力和硬體加速對象檢測框架來檢測印刷在較高功耗設備上的唯一圖案。

輔助設備可以利用較高功耗設備上的唯一圖案作為用於6DoF追蹤的基準標記物。例如，輔助設備上的較低功率相機可將檢測到的圖案用作用於標識輔助設備和較高功耗設備的相對姿態的基準標記物。在一些情形中，輔助設備可對從較高功耗設備中的唯一圖案檢測到的基準點的稀疏集執行3D三角測量，以標識輔助設備和較高功耗設備的相對姿態。輔助設備藉此能夠以較低功耗率來標識輔助設備與較高功耗設備的相對姿態，並且降低較高功耗設備的功率使用。在一些示例中，6DoF追蹤可以完全（或幾乎完全）在輔助設備處執行，由此限制在輔助設備與較高功耗設備之間傳送的資訊量並且因此降低傳輸成本和頻寬要求。

本文的較低功率視覺追蹤技術可以在各種使用情形和應用中實現。例如，較低功率視覺追蹤技術可以在XR應用、機器人應用、自主系統應用、遊戲應用等中實現。為了解說，在一些示例中，較低功率視覺追蹤技術可以由自主機器人真空吸塵器實現以基於相對姿態計算來執行路徑規劃和定位；較低功率視覺追蹤技術可以由自主交通工具實現以即時（或近乎即時）地達成更高的追蹤、地圖繪製和規劃性能；較低功率視覺追蹤技術可以由連接到基於電視機的控制台的遊戲控制器實現；較低功率視覺追蹤技術可以由連接到頭戴式顯示器（HMD）的手控制器實現等等。

在一個非限制性解說性示例中，較低功率視覺追蹤技術可以在6DoF或3DoF XR應用中實現。術語延展實境（XR）可涵蓋增強現實（AR）、虛擬現實（VR）、混合現實（MR）等。這些形式的XR中的每一者允許用戶體驗沉浸式虛擬環境或內容或與其交互。為了提供現實的XR體驗，XR技術一般旨在將虛擬內容與實體世界整合，並且常常涉及匹配對象和設備的相對姿態和移動。這可涉及計算設備、對象的相對姿態和/或現實世界環境的地圖以便匹配設備、對象、和/或現實世界環境的相對位置和移動，並且以令人信服的方式將內容錨定到現實世界環境中。可使用相對姿態資訊來將虛擬內容與用戶感知到的運動以及設備、對象和現實世界環境的時空狀態相匹配。

如下，本文的較低功率視覺追蹤技術將在XR的上下文中來描述。然而，應當注意，如前文所說明的，本文的較低功率視覺追蹤技術可以在各種各樣的其他應用中實現，諸如舉例來說機器人應用、自主駕駛或導航應用、遊戲系統和控制器等。相應地，出於說明目的，貫穿全文來提供XR作為本文的較低功率視覺追蹤技術的非限制性示例應用。

將在以下公開中如下描述本發明的技術。討論開始於對用於提供較低功率視覺追蹤和姿態估計的示例系統和技術的描述，如圖1到6所解說的。接著是對用於提供較低功率視覺追蹤和姿態估計的示例方法的描述，如圖7中所解說的。討論結束於對包括適於執行較低功率視覺追蹤和相關聯的操作的示例硬體組件的示例計算設備架構的描述，如圖8中所解說的。本公開現在轉向圖1。

圖1是解說用於較低功率視覺追蹤的示例環境的圖示。在該示例中，該環境可包括主處理系統100和輔助系統150。在一些情形中，主處理系統100可包括較高功耗系統，其包括較高功率組件和/或實現較高功率和/或複雜性操作，而輔助系統150可包括較低功耗系統，其包括較低功率組件和/或實現較低功率和/或複雜性操作。

在一些情形中，主處理系統100和輔助系統150可包括用於整合相對姿態資訊（例如，主處理系統100和輔助系統150相對於彼此的位置和取向）以用於（諸）視覺追蹤應用或（諸）使用情形的單獨設備。例如，主處理系統100和輔助系統150可包括在視覺追蹤應用中被組合使用以提供利用主處理系統100和輔助系統150的相對姿態的一個或多個功能性的單獨設備。作為示例而非限制，視覺追蹤應用可包括XR應用、機器人應用、自主駕駛或導航應用、遊戲應用等。

在一些示例中，主處理系統100可包括被配置成使用關於主處理系統100和輔助系統150的相對姿態的資訊來提供一個或多個功能性的電子設備，該一個或多個功能性諸如是XR功能性、遊戲功能性、自主駕駛或導航功能性、計算機視覺功能性、機器人功能等。例如，在一些情形中，主處理系統100可以是XR設備（例如，頭戴式顯示器、抬頭顯示設備、智慧型眼鏡、智慧型電視機系統等）和/或遊戲控制台，而輔助系統150可以是用於與主處理系統100和/或由主處理系統100提供的內容交互的控制器（例如，手控制器、遠程控制器、輸入設備、外部控制設備等）。

作為另一示例，在一些情形中，主處理系統100可以是機器人設備（例如，機器人、自主系統、機器人工具或組件等），而輔助系統150可以是用於生成由主處理系統100實現的視覺追蹤資訊的外部設備（例如，控制器、追蹤節點等）。出於解說和說明的目的，主處理系統100和輔助系統150將在以下公開中分別作為XR設備和手控制器來描述。然而，如以上所提及的，在其他示例中，主處理系統100和輔助系統150可包括其他類型的設備。

在圖1所示的解說性示例中，主處理系統100可包括一個或多個計算組件110、基準標記物120A-N（統稱為“120”）、圖像感測器125、延展實境引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和呈現引擎136。在一些示例中，主處理系統100還可包括其他感測器和/或組件，作為示例而非限制，諸如陀螺儀、加速度計、慣性測量單元（IMU）、雷達、光檢測和測距（LIDAR）感測器、音頻感測器、發光二極體（LED）設備、儲存設備、高速緩存、通信介面、顯示器、記憶體設備等。

此外，在圖1所示的解說性示例中，輔助系統150可包括圖像感測器系統152、加速度計154、陀螺儀、追蹤引擎158和網路160。在一些示例中，輔助系統150還可包括其他感測器和/或組件，作為示例而非限制，諸如IMU、雷達、LIDAR、音頻感測器、LED設備、儲存設備、高速緩存、通信介面、記憶體設備等。下文將參考圖8來進一步描述可由主處理系統100和/或輔助系統150實現的示例架構和示例硬體組件。應注意，圖1中關於主處理系統100和輔助系統150示出的組件僅僅是出於說明目的而提供的解說性示例，並且在其他示例中，主處理系統100和/或輔助系統150可包括比圖1所示的組件更多或更少的組件。

主處理系統100可以是單個計算設備或多個計算設備的一部分或由單個計算設備或多個計算設備來實現。在一些示例中，主處理系統100可以是電子設備（或多個電子設備）的一部分，諸如相機系統（例如，數位相機、IP相機、視頻相機、安全相機等）、電話系統（例如，智慧型電話、蜂巢式電話、會議系統等）、膝上型或筆記本計算機、平板計算機、機頂盒、智慧型電視機、顯示設備、遊戲控制台、XR設備（諸如HMD、無人機、交通工具中的計算機）、IoT（物聯網）設備、智慧型可穿戴設備、或（諸）任何其他合適的電子設備。在一些實現中，一個或多個計算組件110、基準標記物120、圖像感測器125、延展實境引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和呈現引擎136可以是同一計算設備的一部分。

例如，在一些情形中，一個或多個計算組件110、基準標記物120、圖像感測器125、延展實境引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和呈現引擎136可以被整合到相機系統、智慧型電話、膝上型計算機、平板計算機、智慧型可穿戴設備、XR設備（諸如HMD）、IoT設備、遊戲系統、和/或任何其他計算設備中。然而，在一些實現中，計算組件110、基準標記物120、圖像感測器125、延展實境引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和/或呈現引擎136中的一者或多者可以是兩個或更多個單獨的計算設備的一部分或由兩個或更多個單獨的計算設備來實現。

類似地，輔助系統150可以是單個計算設備或多個計算設備的一部分或由單個計算設備或多個計算設備來實現。在一些示例中，輔助系統150可以是電子設備（或多個電子設備）的一部分，諸如智慧型電話、膝上型或筆記本計算機、平板計算機、控制器（例如，手控制器、遠程控制器、外部控制設備、輸入設備等）、IoT設備、智慧型可穿戴設備、或（諸）任何其他合適的電子設備。在一些實現中，圖像感測器系統152、加速度計154、陀螺儀156、追蹤引擎158和計算機視覺模型160可以是同一計算設備的一部分。

例如，在一些情形中，圖像感測器系統152、加速度計154、陀螺儀156、追蹤引擎158和計算機視覺模型160可以被整合到控制器、智慧型電話、膝上型計算機、平板計算機、智慧型可穿戴設備、IoT設備、和/或任何其他計算設備中。然而，在一些實現中，圖像感測器系統152、加速度計154、陀螺儀、追蹤引擎158和/或一個或多個計算機視覺模型160中的一者或多者可以是兩個或更多個單獨設備的一部分或由兩個或更多個單獨設備來實現。

作為示例而非限制，主處理系統100的一個或多個計算組件110可包括中央處理單元（CPU）112、圖形處理單元（GPU）114、數位信號處理器（DSP）116和/或圖像信號處理器（ISP）118。主處理系統100可使用一個或多個計算組件110來執行各種計算操作，諸如舉例來說延展實境操作（例如，追蹤、定位、姿態估計、地圖繪製、內容錨定、內容呈現等）、圖像/視頻處理、圖形呈現、機器學習、資料處理、建模、計算、和/或任何其他操作。在圖1所示的示例中，一個或多個計算組件110實現延展實境（XR）引擎130、圖像處理引擎134和呈現引擎136。在其他示例中，一個或多個計算組件110還可實現一個或多個其他處理引擎。此外，XR引擎130可實現一個或多個計算機視覺模型132，其被配置成執行XR操作，諸如追蹤、定位、姿態估計、地圖繪製、內容錨定等。

XR引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和呈現引擎136（以及任何其他處理引擎）的操作可以由一個或多個計算組件110中的任何計算組件實現。在一個解說性示例中，呈現引擎136的操作可以由GPU 114實現，XR引擎130、一個或多個計算機視覺模型132、圖像處理引擎134和/或一個或多個其他處理引擎的操作可以由CPU 112、DSP 116和/或ISP 118實現。在一些示例中，XR引擎130、一個或多個計算機視覺模型132和圖像處理引擎134的操作可以由ISP 118實現。在其他示例中，XR引擎130、一個或多個計算機視覺模型132和/或圖像處理引擎134的操作可以由CPU 112、DSP 116、ISP 118和/或CPU 112、DSP 116和ISP 118的組合實現。

在一些情形中，一個或多個計算組件110可包括其他電子電路或硬體、計算機軟體、韌體、或其任何組合以執行本文描述的各操作中的任一操作。此外，在一些示例中，一個或多個計算組件110可包括比圖1所示的計算組件更多或更少的計算組件。實際上，CPU 112、GPU 114、DSP 116和ISP 118僅僅是出於說明目的提供的解說性示例。

主處理系統100可包括印刷、顯示、蝕刻、配置、附連和/或提供在主處理系統100的外部/外側上的基準標記物120A到120N（統稱為“120”）。在一些情形中，基準標記物120可位於主處理系統100上某些已知位置處和/或相對於彼此的某些已知距離處。在一些情形中，基準標記物120可具有相同或不同的預定大小、形狀和/或配置中的一者或多者。基準標記物120的數目、相對位置、相對距離、大小、形狀和/或配置在不同示例中可以不同，如下文進一步描述的。此外，基準標記物120可包括可被輔助系統150上的圖像感測器152檢測和分析以標識姿態資訊的圖案、程序碼、經編碼資料和/或對象，如下文進一步描述的。在一些情形中，基準標記物120可以是在可見光頻譜和/或紅外頻譜中可見的。

基準標記物120可包括直接在主處理系統100上的特定圖案或（例如，附連、粘貼、提供等）在主處理系統100上的對象或材料上的特定圖案。例如，在一些情形中，基準標記物120可包括帶有圖案的貼紙（或粘性元件或材料）。作為另一示例，基準標記物120可包括蝕刻、設計、覆蓋、或印刷在主處理系統100上的圖案。作為另一示例，基準標記物120可包括帶有圖案的膜、對象、覆蓋物或材料。

圖像感測器125可包括任何圖像和/或視頻感測器或捕捉設備，諸如數位相機感測器、視頻相機感測器、智慧型電話相機感測器、電子裝置（諸如電視機或計算機、相機等）上的圖像/視頻捕捉設備。在一些情形中，圖像感測器125可以是相機或計算設備（諸如數位相機、視頻相機、IP相機、智慧型電話、智慧型電視機、遊戲系統等）的一部分。此外，在一些情形中，圖像感測器125可包括多個圖像感測器，諸如後置和前置感測器設備，並且可以是雙相機或其他多相機組裝件（例如，包括兩個相機、三個相機、四個相機或其他數目的相機）的一部分。

在一些示例中，圖像感測器125可以表示或包括一個或多個低功率圖像感測器系統，諸如下文關於輔助系統150描述的圖像感測器系統152。圖像感測器125可捕捉可由圖像感測器125、一個或多個計算組件110和/或一個或多個其他組件處理的圖像和/或視頻資料（例如，原始圖像和/或視頻資料）。在一些情形中，圖像感測器125可檢測或識別圖案或對象中的經編碼資訊，如下文關於輔助系統150上的圖像感測器系統152進一步描述的。

在一些示例中，圖像感測器125可捕捉圖像資料並基於圖像資料來生成幀和/或將圖像資料或幀提供給XR引擎130、圖像處理引擎1334和/或呈現引擎136以供處理。幀可包括視頻序列的視頻幀或靜止圖像。幀可包括表示場景的像素陣列。例如，幀可以是每像素具有紅色、綠色和藍色分量的紅綠藍（RGB）幀；每像素具有亮度分量和兩個色度（色彩）分量（紅色色度和藍色色度）的亮度、紅色色度、藍色色度（YCbCr）幀；或任何其他合適類型的彩色或單色圖片。

在一些示例中，XR引擎130和/或一個或多個計算機視覺模型132可基於來自圖像感測器125、圖像感測器系統152、加速度計154、陀螺儀156、追蹤引擎158和/或主處理系統100上的一個或多個感測器（諸如IMU、加速度計、陀螺儀等）的資料來執行XR處理操作。例如，在一些情形中，XR引擎130和/或一個或多個計算機視覺模型132可執行追蹤、定位、姿態估計、地圖繪製、和/或內容錨定操作。

在一些示例中，圖像處理引擎134可基於來自圖像感測器125和/或圖像感測器系統152的資料來執行圖像處理操作。在一些情形中，圖像處理引擎134可執行圖像處理操作，諸如舉例來說，過濾、去馬賽克、縮放、色彩修正、色彩轉變、分割、降噪過濾、空間過濾、偽像修正等。呈現引擎136可獲得由計算組件110、圖像感測器125、XR引擎130、一個或多個計算機視覺模型132、和/或圖像處理引擎134生成和/或處理的圖像資料，並且呈現視頻和/或圖像幀以供在顯示設備上呈現。

在一些情形中，輔助系統150上的圖像感測器系統152可包括低功率成像系統或常開型計算機視覺相機系統。例如，每一圖像感測器系統可包括圖像感測器和用於處理由圖像感測器捕捉的圖像資料的一個或多個低功率處理器。在一些情形中，每一圖像感測器系統可包括一個或多個圖像處理、計算機視覺、和/或其他處理算法。例如，在一些情形中，圖像感測器系統132可包括或實現追蹤引擎158和/或計算機視覺模型160並執行姿態估計，如本文進一步描述的。如本文進一步描述的，在一些示例中，圖像感測器系統152可檢測主處理系統100上的基準標記物120並基於檢測到的基準標記物120來估計輔助系統150和主處理系統100的相對姿態。

追蹤引擎158可實現用於追蹤並估計輔助系統150和主處理系統100的相對姿態的一種或多種算法。在一些示例中，追蹤引擎158可接收由圖像感測器系統152捕捉的圖像資料，並基於接收到的圖像資料來執行姿態估計以計算輔助系統150和主處理系統100的相對姿態。在一些情形中，追蹤引擎158可實現計算機視覺模型160以計算輔助系統150和主處理系統100的相對姿態。在一些示例中，追蹤引擎158和/或計算機視覺模型160可以由圖像感測器系統152實現。例如，每一圖像感測器系統可實現用於執行如本文所描述的姿態估計的追蹤引擎和計算機視覺模型。在其他示例中，追蹤引擎158和/或計算機視覺模型160可以由與圖像感測器系統152分開的輔助系統150來實現。

加速度計154可檢測輔助系統150的加速度並基於檢測到的加速度來生成加速度測量。陀螺儀156可檢測並測量輔助系統150的取向和角速度。例如，陀螺儀156可用於測量輔助系統150的俯仰、轉動和偏航。在一些示例中，圖像感測器系統152和/或追蹤引擎158可使用由加速度計154和陀螺儀156獲得的測量來計算輔助系統150和主處理系統100的相對姿態，如本文進一步描述的。例如，圖像感測器系統152可檢測基準標記物120和主處理系統100的位置，並且圖像感測器系統152和/或追蹤引擎158可使用檢測到的基準標記物120的位置以及來自加速度計154和陀螺儀156的測量來計算輔助系統150相對於主處理系統100的姿態。

儘管主處理系統100和輔助系統150被示為包括某些組件，但本領域普通技術人員將領會，主處理系統100和輔助系統150可包括比圖1所示的組件更多或更少的組件。例如，在一些實例中，主處理系統100和/或輔助系統150還可包括一個或多個其他記憶體設備（例如，RAM、ROM、高速緩存等）、一個或多個聯網介面（例如，有線和/或無線通信介面等）、一個或多個顯示設備、高速緩存、儲存設備、和/或圖1中未示出的其他硬體或處理設備。下文將參考圖8來描述可通過主處理系統100和/或輔助系統150來實現的計算設備和硬體組件的解說性示例。

圖2解說了在用於使用輔助系統150上的圖像感測器系統152來檢測輔助系統150相對於主處理系統100的姿態的示例使用情形中的輔助系統150和主處理系統100的示例視圖200。在該示例中，輔助系統150表示與主處理系統100組合使用以提供XR體驗的手控制器（諸如環控制器）。此外，在該示例中，主處理系統100表示可穿戴XR設備（諸如HMD）。然而，應當注意，手控制器和可穿戴設備出於說明目的在本文中被用作解說性示例，並且在其他示例中，輔助系統150和/或主處理系統100可包括或表示其他設備，諸如舉例來說，其他類型的控制器、遊戲系統、智慧型可穿戴設備、IoT設備、感測器系統、智慧型電視機等。

類似地，出於解說性和說明目的，本文參考圖3A到圖7描述的輔助系統150和主處理系統100將在以下公開中被分別描述為包括或表示示例手控制器和示例可穿戴XR設備（例如，HMD）。然而，應當注意，手控制器和可穿戴XR設備僅僅是用於說明目的的解說性示例，並且在其他示例中，本文參考圖3A到圖7描述的輔助系統150和/或主處理系統100可包括或表示其他設備，諸如舉例來說，其他類型的控制器、遊戲系統、智慧型可穿戴設備、IoT設備、感測器系統、智慧型電視機等。

如所解說的，輔助系統150可包括圖像感測器系統152A-152N（統稱為“152”），其可用於在主處理系統100上的基準標記物（例如，120）在圖像感測器系統152的視野（FoV）內時檢測這些基準標記物。輔助系統150可使用圖像感測器系統152A-152N來檢測基準標記物，標識基準標記物中的一者或多者的相對位置，並使用該資訊來估計輔助系統150相對於主處理系統100的姿態。

例如，當基準標記物在至少一個圖像感測器系統（例如，圖像感測器系統152A、152B、152C、152D、152E、152F、152G到152N）的FoV內時，該至少一個圖像感測器系統可捕捉該基準標記物的圖像並使用捕捉到的圖像來檢測該一個或多個基準標記物的位置/定位。類似地，當多個基準標記物在一個或多個圖像感測器系統（例如，圖像感測器系統152A、152B、152C、152D、152E、152F、152G到152N）的FoV內時，該一個或多個圖像感測器系統可捕捉該多個基準標記物的圖像並使用捕捉到的圖像來檢測該多個基準標記物的相對位置/定位。

在一些示例中，圖像感測器系統152和/或輔助系統150可使用檢測到的主處理系統100上的基準標記物的相對位置/定位來計算輔助系統150相對於主處理系統100的姿態。例如，當主處理系統100上的基準標記物在輔助系統150上的圖像感測器系統（例如，圖像感測器系統152A、152B、152C、152D、152E、152F、152G到152N）的FoV內時，那些圖像感測器系統可捕捉基準標記物的圖像。輔助系統150和/或圖像感測器系統可使用捕捉到的圖像來檢測基準標記物並確定它們在3D空間中的相對位置/定位。圖像感測器系統和/或輔助系統150可使用基準標記物的相對位置/定位來計算輔助系統150相對於主處理系統100的姿態。

在一些示例中，當基準標記物在多個圖像感測器系統的FoV內時，輔助系統150可追蹤輔助系統150相對於主處理系統100的6DoF狀態。在一些情形中，當基準標記物在僅一個圖像感測器系統的FoV內時，輔助系統150可追蹤輔助系統150相對於主處理系統100的6DoF狀態的子集。在一些情形中，當基準標記物不在任何圖像感測器系統的FoV內時，輔助系統150可使用加速度計154和陀螺儀156來獲得輔助系統150的慣性測量，並使用該慣性測量來追蹤輔助系統150的狀態。

通過使用輔助系統150上的圖像感測器系統152（其可具有低功耗）以基於主處理系統100上的基準標記物來追蹤輔助系統150的姿態，而非使用主處理系統100上的較高功率組件，能夠以較低功耗來追蹤輔助系統150的姿態。因而，這樣的策略能夠節約通常具有較高功率組件且因此具有較高功率需求和/或更受限的電池壽命的主處理系統100的功率。

儘管示例視圖200解說了單個輔助系統150，但是應當注意，其他示例可包括多個輔助系統。例如，在一些情形中，兩個輔助系統（例如，包括輔助系統150和另一輔助系統）（諸如兩個手控制器）可與主處理系統100組合使用以追蹤每一輔助系統相對於主處理系統100的相應姿態。本文僅出於說明目的作為解說性示例來提供單個輔助系統150。

圖3A是解說用於追蹤輔助系統150和/或主處理系統100的6DoF姿態的示例使用情形300的圖示。在該示例中，主處理系統100上的基準標記物320A和320B在圖像感測器系統152A、152B到152N（其中N是大於或等於0的值）的FoV內，並且圖像感測器系統152A、152B到152N可捕捉主處理系統100上的基準標記物320A和320B的圖像資料（例如，一個或多個圖像或幀）。圖像感測器系統152A、152B到152N和/或輔助系統150可運行對象檢測以檢測圖像感測器系統152A、152B到152N的FoV內的基準標記物320A和320B。

基準標記物320A和320B中的每一者可包括特定圖案（多個圖案），其可由圖像感測器系統152A、152B到152N檢測。檢測到的基準標記物320A和320B的圖案可用於標識基準標記物320A和320B的定位。當圖像感測器系統152A、152B到152N中的兩者檢測到相同圖案（例如，基準標記物320A和320B）時，輔助系統150可三角測量基準標記物320A和320B的三維（3D）位置。輔助系統150可使用基準標記物120A到120N的3D位置以及基準標記物320A和320B的相對姿態來標識輔助系統150相對於主處理系統100的6DoF姿態。在一些示例中，輔助系統150可使用基準標記物320A和320B的3D位置以及基準標記物320A和320B的相對姿態來標識主處理系統100相對於輔助系統150的6DoF姿態。

此外，在一些示例中，隨著越多的基準標記物被檢測到和/或隨著越多的圖像感測器系統檢測到相同的基準標記物（或多個基準標記物），計算出的姿態資訊可以越準確和穩健。例如，如果附加圖像感測器系統能夠檢測到基準標記物320A和320B中的一者或多者和/或如果圖像感測器系統152A、152B到152N（和/或附加圖像感測器系統）能夠檢測到附加基準標記物，則輔助系統150可使用附加基準標記物資料來增加計算出的姿態資訊的準確性。

在圖3A中，基準標記物320A和320B 0N被印刷在主處理系統100的正面並且被示為具有特定圓形配置。然而，應注意，其他示例可實現基準標記物的不同數目、佈置、形狀、大小、結構、設計和/或配置。例如，在一些情形中，主處理系統100可具有印刷在主處理系統100的正面、頂部和/或側面上的更多或更少的基準標記物，並且基準標記物可具有相同或不同的形狀、大小、圖案、結構、設計和/或配置。在一些情形中，印刷在主處理系統100上的基準標記物可以按特定配置來取向，該特定配置允許在輔助系統150或主處理系統100上下顛倒扭轉或以其他方式被旋轉的情形中區分左右定位。

圖3B是解說用於追蹤輔助系統150和/或主處理系統100的姿態資訊的另一示例使用情形320的圖示。在該示例中，基準標記物320A和320B僅在圖像感測器系統152A的FoV內。圖像感測器系統152A可捕捉基準標記物320A和320B的圖像資料（例如，一個或多個圖像或幀），並且輔助系統150和/或圖像感測器系統152A可運行對象檢測以檢測在圖像感測器系統152A的FoV內的基準標記物320A和320B。

如前文所提及的，基準標記物320A和320B中的每一者可包括特定圖案，其可由圖像感測器系統152A檢測。當圖像感測器系統152A檢測到基準標記物320A和320B時，輔助系統150（或圖像感測器系統152A）可三角測量基準標記物320A和320B的3D位置。輔助系統150（或圖像感測器系統152A）接著可使用基準標記物320A和320B的3D位置及其相對姿態來標識輔助系統150相對於主處理系統100的6DoF狀態的至少一部分或子集。在一些示例中，輔助系統150（或圖像感測器系統152A）可類似地使用基準標記物320A和320B的3D位置及其相對姿態來標識主處理系統100相對於輔助系統150的6DoF狀態的至少一部分或子集。

圖3C是解說用於追蹤輔助系統150和/或主處理系統100的6DoF姿態的示例使用情形340的圖示。在該示例中，基準標記物320C到320F（在圖3C中被示為基準標記物320C、320D、320E和320F）被實現在輔助系統150上，而圖像感測器系統152A和152N被實現在主處理系統100上。此外，基準標記物320C到320F在主處理系統100上的圖像感測器系統152A、152B到152N的FoV內。圖像感測器系統152A、152B到152N可捕捉基準標記物320C到320F的圖像資料（例如，一個或多個圖像或幀），並且主處理系統100和/或圖像感測器系統152A和/或152B可運行對象檢測以檢測在圖像感測器系統152A、152B到152N的FoV內的基準標記物320C到320F。

圖像感測器系統152A、152B到152N可檢測基準標記物320C到320F中描繪的特定圖案以標識基準標記物320C到320F的相對位置/定位。當圖像感測器系統152A、152B到152N中的兩者檢測到相同圖案（例如，基準標記物320C到320F）時，主處理系統100可三角測量基準標記物320C到320F的3D位置。主處理系統100接著可使用基準標記物320C到320F的3D位置以及基準標記物320C到320F的相對姿態來標識輔助系統150相對於主處理系統100的6DoF姿態。在一些示例中，主處理系統100還可使用基準標記物320C到320F的3D位置及其相對姿態來標識輔助系統150相對於主處理系統100的6DoF姿態。

在一些情形中，輔助系統150上的基準標記物的數目以及主處理系統100上檢測到（諸）相同基準標記物的圖像感測器系統的數目可以影響由主處理系統100計算的姿態資訊的準確性和穩健性，因為它可增加或減少用於計算姿態資訊的基準資料點的量和/或與計算姿態資訊相關的資料點的量。此外，在一些情形中，印刷在輔助系統150上的基準標記物可以按特定配置來取向，該特定配置允許在輔助系統150或主處理系統100上下顛倒扭轉或以其他方式被旋轉的情形中區分左右定位。

圖3D是解說用於基於基準標記物320G和320N來追蹤被標記對象的示例使用情形360的圖示。在該示例中，基準標記物320G和320N被印刷在目標362上以用於在XR體驗、遊戲或或另一基於追蹤的應用期間識別和追蹤目標362。在一些情形中，用戶可以將基準標記物320G和320N放置或印刷在目標362上。在其他情形中，目標362可設計有基準標記物320G和320N或可實現基準標記物320G和320N。例如，在配置或製造目標362時，可以在目標362上蝕刻、印刷或配置基準標記物320G和320N。

目標362可包括要追蹤的任何對象或項目。例如，目標362可包括遊戲控制台、電視機、環境對象、家具、牆、門、計算機、設備、設備、電器、工具等。此外，目標362可包括任何數目、大小、形狀、佈置、結構、設計和/或配置的基準標記物。

目標362上的基準標記物320G和320N被示為在主處理系統100上的圖像感測器系統152A、152B到152N的FoV內。圖像感測器系統152A、152B到152N可捕捉基準標記物320G和320N的圖像資料（例如，一個或多個圖像或幀），並且主處理系統100和/或圖像感測器系統152A和/或152B可運行對象檢測以檢測在圖像感測器系統152A、152B到152N的FoV內的基準標記物320G和320N。

圖像感測器系統152A、152B到152N可檢測基準標記物320G和320N上的特定圖案以標識基準標記物320G和320N的定位。當圖像感測器系統152A、152B到152N中的兩者檢測到相同圖案（例如，基準標記物320G和320N）時，主處理系統100可三角測量基準標記物320G和320N的3D位置。主處理系統100接著可使用基準標記物320G和320N的3D位置以及基準標記物320G和320N的相對姿態來標識目標362相對於主處理系統100的6DoF姿態。在一些示例中，主處理系統100還可使用基準標記物320G和320N的3D位置及其相對姿態來標識主處理系統100相對於目標362的6DoF姿態。

圖4A解說了基準標記物的示例配置400。在該示例中，基準標記物420A和420B的形狀是帶有圖案的圓環。然而，應注意，在其他示例中，基準標記物420A和420B可具有任何其他形狀，諸如舉例來說正方形、三角形、矩形、八邊形等。

圓環內的圖案可具有任何形狀、配置、佈置、特性和/或設計。此外，基準標記物420A和420B（例如，圓環）內的圖案可基於在IR和/或可見光頻譜中可見的任何特徵、元素、特性或項目。例如，這些圖案可包括顏色、線條、字母、符號、碼、紋理、蝕刻、非均勻性、物質、圖像、光照（例如，可見光或IR頻譜中）、背光（例如，可見光或IR頻譜中）、來自外部或環境源的光照（例如，環境中的IR泛光）等。

圖像感測器系統152可分析捕捉基準標記物420A和420B的圖像資料，並基於基準標記物420A和420B的圖案（和/或圖案中的一個或多個點）來檢測圖像資料內的基準標記物420A和420B。在一些示例中，圖像感測器系統152的對象檢測可提供基準標記物420A和420B周圍的邊界框402A和402B。邊界框402A和402B可表示和/或可用於標識基準標記物420A和420B的相對定位。

圖4B解說了基準標記物的另一示例配置410。在該示例中，基準標記物420C到420G是機器可讀條形碼，諸如帶有正方形圖案412、414和416的快速響應（QR）碼。機器可讀條形碼中的每一者可對資訊進行編碼，該資訊諸如是位置資訊、定位資訊（例如，左相對於右等）、識別符、追蹤符、用戶資訊、設備資訊、遊戲資訊、XR資訊、應用資訊、元資料、文本、視頻遊戲資訊（例如，玩家資訊、玩遊戲元素等）、設置資訊、和/或任何其他類型的資訊。例如，機器可讀條形碼可對多玩家遊戲設置中的每一玩家的唯一碼進行編碼。

輔助系統（例如，150）上的圖像感測器系統（例如，152）可檢測基準標記物以檢測它們的相對定位。在一些示例中，輔助系統上的圖像感測器系統可讀取基準標記物420C到420G中的機器可讀條形碼以檢測編碼在該機器可讀條形碼中的資訊來確定基準標記物的定位和/或來自經編碼資訊的任何其他資料。在一些示例中，圖像感測器系統可在比機器可讀條形碼更遠的距離處檢測基準標記物420C到420G中的正方形圖案412、414和416以允許圖像感測器系統即便在無法讀取機器可讀條形碼的情況下也能夠計算基準標記物的定位和/或與基準標記物相關聯的資訊。

圖4C解說了基準標記物420N的另一示例配置。在該示例中，基準標記物420N包括外部圖案430和內部圖案432。在該示例中，外部圖案430是圓環而內部圖案432是內部圓環。然而，應注意，在其他示例中，外部圖案430和/或內部圖案432可具有任何其他形狀，諸如舉例來說正方形、三角形、矩形、八邊形等。

在一些示例中，外部圖案430和/或內部圖案432可具有任何形狀、配置、佈置、特性和/或設計。此外，外部圖案430和/或內部圖案432可基於在IR和/或可見光頻譜中可見的任何特徵、元素或項目。例如，外部圖案430和/或內部圖案432可包括顏色、線條、字母、符號、碼、紋理、蝕刻、非均勻性、物質、圖像、光照（例如，可見光或IR頻譜中）、背光（例如，可見光或IR頻譜中）等。

在一些情形中，內部圖案432可用於提供基準標記物420N的更準確定位。例如，內部圖案432可被用作用於重複地和/或精確地定位基準標記物420N上的（諸）特定點的地標。在一些情形中，用於檢測基準標記物420N的圖像感測器系統（例如，152）可實現自適應跨步以提升其效率。結果，由圖像感測器系統檢測到的基準標記物420N周圍的邊界框可能無法總是精確地或準確地以基準標記物420N為中心，這可能影響三角測量的準確性。例如，基準標記物420N周圍的邊界框可能遠離或偏離數個像素，這可能影響三角測量的準確性。

在一些示例中，為了改進基準標記物內的關鍵點定位的精度，圖像感測器系統（例如，152）可對整個圖案（例如，外部圖案430）運行快速且粗略的對象檢測。在基於快速且粗略的對象檢測來檢測外部圖案430之後，圖像感測器系統可在與外部圖案430相關聯的檢測窗口內對內部圖案432運行精細粒度的搜索。這還可改進內部圖案432相對於圖像感測器系統在更大取向上的定位準確性。在一些示例中，可通過針對更大的取向來穩健地訓練來支持這種兩階段定位算法。在一些情形中，這種兩階段定位算法還可利用失敗分支機制（例如，機器學習對象檢測中的有條件分支）以用於圖像感測器系統的多對象檢測。

圖5解說了投影在基準標記物520A和520B之間且用於參考圖案與被觀察圖案之間的姿態轉變的示例參考線502。參考線502可以聯結基準標記物520A和520B上的兩個或更多個點（和/或可以跨這兩個或更多個點來投影）。在該示例中，參考線502聯結基準標記物520A和520B的中心。參考線502的參考位置可以基於3D空間中的參考坐標系（例如，X、Y、Z坐標系）（諸如世界或齊次坐標系）來計算。此外，參考線502的觀察到的位置可基於由圖像感測器系統152捕捉的圖像來確定。可相對於圖像坐標系（例如，與由圖像感測器系統152捕捉的圖像相關聯的坐標系）來確定觀察到的位置。

在一些示例中，可以比較參考線502的參考位置與參考線502的觀察到的位置以計算基準標記物520A和520B的姿態和/或在計算基準標記物520A和520B的姿態時改進姿態估計準確性。在一些示例中，參考線502的參考位置以及參考線502的觀察到的位置可用於相對於基準標記物520A和520B的參考姿態來轉變基準標記物520A和520B的觀察到的姿態，如下文參考圖6進一步描述的。在一些示例中，可使用從參考線502的參考位置與參考線502的觀察到的位置投影的和/或在參考線502的參考位置與參考線502的觀察到的位置之間投影的坐標平面（例如，X、Y、Z坐標平面）之間的相對距離和/或角度來相對於參考線502的參考姿態平移參考線502的觀察到的姿態。參考線502的經平移的姿態可用於確定與參考線502相關聯的圖案的相對姿態。

圖6是解說參考圖案（例如，參考基準標記物520A和520B）與觀察到的圖案（例如，觀察到的基準標記物520A和520B）之間的示例姿態轉變600的圖示。在一些情形中，觀察到的圖案可包括在經由圖像感測器系統152捕捉的圖像中檢測到的圖案，並且參考圖案可包括相對於參考坐標系（例如，世界坐標或齊次坐標系）確定的圖案。

在圖6所示的示例中，計算參考線（例如，參考線502）的觀察到的位置606與參考線的參考位置604之間的平移轉變602以確定參考線的實際、絕對和/或估計定位。可基於參考線的參考位置604與參考線的觀察到的位置606來計算平移轉變602。在一些情形中，平移轉變602可基於來自參考線的參考位置604與參考線的觀察到的位置606沿X軸、Y軸和Z軸的投影。在一些示例中，投影可反映參考線的參考位置604與觀察到的位置606的差異。

例如，可比較來自參考位置604（或參考位置604中的一個或多個點）和觀察到的位置606（或觀察到的位置606中的一個或多個點）沿X軸、Y軸和Z軸的投影以平移或恢復參考線的位置。在一些情形中，可使用投影來執行參考線的參考位置604與參考線的觀察到的位置606之間沿X軸、Y軸和Z軸的平移轉變602。

在一些示例中，參考線的參考位置604可以是參考線（和/或參考線的一個或多個點）的已知的或計算出的位置。在一些情形中，可通過三角測量來自參考系和/或坐標系的參考線的一個或多個點來計算參考線的（沿X軸描繪的）參考位置604。在一些情形中，這樣的三角測量可利用已知的關於與參考線相關聯的圖案（諸如參考圖案和觀察到的圖案（例如，基準標記物520A和520B））的相對配置和/或位置的資訊。在一些情形中，參考線的觀察到的位置606可以是根據捕捉該參考線的（諸）圖像（例如，經由一個或多個圖像感測器系統152獲得的圖像）觀察和/或計算的參考線（和/或參考線的一個或多個點）的位置。

此外，可通過恢復和估計參考線沿X軸、Y軸和Z軸的旋轉角度620、622、624來計算參考線的（各自沿Y軸、X軸和Z軸描繪的）參考取向612與參考線的觀察到的取向之間的旋轉轉變610。旋轉角度620、622、624可基於針對參考線的觀察到的取向和/或參考線的參考取向612沿X軸、Y軸和Z軸生成的投影614、616和618來計算。例如，參考線沿X軸的旋轉角度620可基於來自參考取向612沿X軸的投影614來計算。類似地，參考線沿Y軸的旋轉角度622可基於來自參考取向612沿Y軸的投影616來計算。最後，參考線沿Z軸的旋轉角度624可基於來自參考取向612沿Z軸的投影618來計算。

在一些示例中，旋轉角度620、622和624可用於估計或恢復參考線的取向。此外，在一些示例中，沿X軸、Y軸和Z軸連接投影614、616和618的點（多個點）可用於計算參考線的旋轉角度620、622和624和/或參考線的取向。

平移轉變602和旋轉轉變610可用於執行關聯於參考線的參考圖案的姿態與關聯於參考線的觀察到的圖案的觀察到的姿態之間的姿態轉變600。在一些示例中，姿態轉變600可用於估計關聯於參考線的參考圖案（例如，參考基準標記物520A和520B）的相對姿態以及關聯於參考線的觀察到的圖案的觀察到的姿態（例如，基準標記物520A和520B的觀察到的圖案），其可反應參考圖案（例如，基準標記物520A和520B）和觀察到的圖案的相對位置和取向。在一些示例中，輔助系統150和主處理系統100的相對6DoF姿態可基於參考圖案和觀察到的圖案的相對姿態來計算。

在一些示例中，可通過對由圖像感測器系統152觀察到的圖案（例如，基準標記物520A和520B）群的3D位置、該圖案群的相對姿態、以及圖像感測器系統152的經校準的相對位置進行三角測量來計算輔助系統150和主處理系統100的相對6DoF姿態。在一些情形中，輔助系統150上的圖像感測器系統152可捕捉參考線的圖像或幀（和/或相關聯的圖案和/或其上的點），並且可使用這些圖像或幀、通過計算輔助系統150的姿態與主處理系統100的姿態（和/或圖案或基準標記物520A和520B）之間的相對轉變來估計輔助系統150和主處理系統100的相對6DoF姿態和/或運動。在一些示例中，主處理系統100的姿態可基於姿態轉變600來計算，如前文所說明的。

在一些示例中，輔助系統150上的兩個或更多個圖像感測器系統152可捕捉主處理系統100上的基準標記物（例如，基準標記物中的兩者或更多者）的圖像或幀，並且可使用與這些圖像或幀中捕捉到的基準標記物中的點相對應的圖像或幀中的像素位置來計算輔助系統150和主處理系統100的相對6DoF姿態。例如，兩個或更多個圖像感測器系統152的6DoF姿態可相對於彼此來校準。兩個或更多個圖像感測器系統152可捕捉主處理系統100上的同一組基準標記物（例如，520A和520B）的圖像或幀，並且檢測與這些圖像或幀中捕捉到的基準標記物中的點相對應的像素。可基於與基準標記物中的點相對應的那些像素來三角測量基準標記物中的點的位置。與像素相對應的點的經三角測量的位置可用於計算基準標記物的3D位置和相對姿態。基準標記物的3D位置和相對姿態可反映與基準標記物相關聯的主處理系統100的3D位置和姿態。因而，基準標記物的3D位置和相對姿態可與兩個或更多個圖像感測器系統152的相對姿態一起用於估計輔助系統150和主處理系統100的相對6DoF姿態。

已經公開了示例系統、組件和概念，本公開現在轉向用於估計輔助系統（例如，150）和主處理系統（例如，100）的相對姿態的示例方法700，如圖7所示。本文勾勒的步驟是出於解說目的來提供的非限制性示例，並且可以以其任何組合來實現，包括去除、增加、或修改某些步驟的組合。

在框702，方法700可包括接收由來自第一設備（例如，輔助系統150）上的圖像感測器系統集（例如，152）的每一圖像感測器系統所捕捉的一個或多個圖像。該一個或多個圖像可捕捉第二設備（例如，主處理系統100）上的圖案集（例如，120A到120N）。在一些示例中，圖案集可以是包含一個或多個圖案的基準標記物。此外，圖案集可以是在紅外頻譜或可見光頻譜中可見的。

圖案集可在第二設備上具有預定配置。作為示例而非限制，圖案集的預定配置可包括：每一圖案在第二設備上的相對位置、每一圖案在第二設備上的相對取向、每一圖案的形狀、每一圖案的大小、每一圖案的特性、和/或圖案集的佈置。在一些示例中，來自圖案集的一個或多個圖案可包括經編碼機器可讀資訊，如圖4B所示。編碼在圖案中的經編碼機器可讀資訊可包括與圖案相關聯的位置資訊、與圖案相關聯的識別符、唯一碼、設置、關於與第二設備上主存的XR應用相關聯的用戶賬戶（例如，遊戲中的玩家、用戶簡檔等）的資訊。

在一些情形中，第一設備與第二設備相比可具有較低的功率要求。例如，第一設備與第二設備相比可消耗較低的功率和/或具有較低功率組件。在一些示例中，第一設備可以是手控制器設備並且第二設備可以是頭戴式顯示器（HMD）。在其他示例中，第一設備可以是任何其他類型的控制器、輔助設備、或較低功率設備，而第二設備可以是任何其他類型的較高功率設備、可穿戴XR設備等。此外，在一些情形中，圖像感測器系統集中的每一圖像感測器系統可以是低功率圖像感測器系統，如前文說明的。

在一些情形中，每一圖像感測器系統可捕捉至少一個圖案的至少一個圖像。在一些情形中，兩個或更多個圖像感測器系統可各自捕捉一個或多個相同圖案的圖像。在一些示例中，圖像感測器系統集可表示第一設備上的所有圖像感測器系統。在其他示例中，圖像感測器系統集可表示第一設備上的所有圖像感測器系統的子集。例如，圖像感測器系統集可表示能夠從它們特定的姿態和/或角度來捕捉圖案集中的一個或多個圖案的圖像的圖像感測器系統的子集。換言之，圖像感測器系統集可表示第一設備上的在捕捉一個或多個圖像時在其FoV內具有一個或多個圖案的圖像感測器系統的子集。

在一些情形中，捕捉一個或多個圖案的圖像的圖像感測器系統的數目可隨著圖像感測器系統的相對姿態以及第二設備上的圖案集的改變而改變，因為相對姿態的此類改變可向圖像感測器系統的FoV增加或從中移除一個或多個圖案。實際上，來自第二設備上的圖案集的一個或多個圖案有時候可在第一設備上的所有圖像感測器系統的FoV內，這將允許第一設備上的所有圖像感測器系統捕捉一個或多個圖案的圖像，而在其他時候，圖案集的一些或全部可在第一設備上的僅一個、兩個或更多個、或甚至沒有一個圖像感測器系統的FoV內。在一些情形中，如果圖案集中沒有一個圖案在第一設備上的任何圖像感測器系統的FoV內，則輔助設備和/或主處理系統可使用來自相應感測器（例如，IMU、陀螺儀、加速度計等）的慣性測量來計算或追蹤姿態資訊。

在框704，方法700可包括根據由每一圖像感測器系統捕捉的一個或多個圖像來確定與第二設備上的圖案集相對應的像素集。例如，由圖像感測器系統捕捉的每一圖像可捕捉一個或多個圖案。因而，圖像可包括與一個或多個圖案中的一個或多個點相對應的像素。圖像感測器系統可檢測一個或多個圖案以及該一個或多個圖案中的一個或多個點。圖像感測器系統接著可標識圖像中與一個或多個圖案中的一個或多個點相對應（例如，表示、捕捉、描繪等）的一個或多個像素（及其在圖像內的像素位置）。圖像中的一個或多個像素（及其像素位置）可用於估計與對應於像素的一個或多個點相關聯的一個或多個圖案的位置和/或姿態，如本文進一步描述的。

在框706，方法700可包括基於與第二設備上的圖案集相對應的像素集來確定來自圖案集的每一圖案在空間中（例如，在3D空間中）的位置和相對姿態。例如，如前文說明的，由圖像感測器系統捕捉的每一圖像可捕捉一個或多個圖案。圖像中與一個或多個圖案中的一個或多個點相對應的像素可以被標識並且被用於估計該一個或多個圖案的位置和/或姿態。在一些情形中，像素在圖像內的位置可用於三角測量由圖像捕捉的圖案中的且與該像素相對應的點。作為另一示例，可比較、三角測量、和/或使用各像素在由圖像感測器系統集捕捉的圖像內的且與圖案集中的各個點相對應的位置來估計來自圖案集的每一圖案的3D位置和取向。還可使用每一圖案的3D位置和取向來計算每一圖案的相對6DoF姿態。

在一些示例中，與圖案中的點相對應的每一像素的位置（例如，與像素相關聯的坐標和/或點）可以沿一個或多個平面（例如，沿圖像坐標系中的一個或多個軸）被投影到該圖案中的點，並且與圖案中的該點從參考坐標系（例如，世界或齊次坐標系）的投影作比較，以確定圖案中的該點的3D定位。在一些情形中，可以相對於點在參考坐標系中的位置來平移圖案中的點在圖像（和/或圖像坐標系）內的位置以確定圖案中的點的3D位置。

此外，在一些情形中，可以相對於點在參考坐標系中的取向來旋轉圖案中的點在圖像（和/或圖像坐標系）內的取向以確定圖案中的點的3D取向。圖案中的點的3D位置和取向可用於估計圖案的6DoF姿態。此外，圖案集中各個點的3D位置和取向可用於估計圖案集的相對6DoF姿態。還可使用圖案集的相對6DoF姿態來確定主處理系統100和/或輔助系統150的6DoF姿態，如本文進一步描述的。

在一些情形中，確定來自圖案集的每一圖案在空間中的位置和相對姿態可包括：通過旋轉空間中與對應於圖案集的像素集相對應的3D坐標（例如，X坐標、Y坐標、Z坐標）來確定圖案集的3D取向，以及通過平移空間中與對應於圖案集的像素集相對應的3D坐標來確定圖案集的3D位置。在一些示例中，可相對於參考3D坐標來旋轉3D坐標，並且可相對於該參考3D坐標來平移3D坐標。此外，在一些示例中，每一圖案的相對姿態可基於圖案集的3D取向和圖案集的3D位置。同樣，每一圖案的位置可包括例如來自圖案集的3D位置的相應3D位置。

在一些方面，確定與圖案集相對應的像素集可包括：基於由每一圖像感測器捕捉的一個或多個圖像來檢測來自第二設備上的圖案集的每一圖案，並且標識來自圖案集的每一圖案中的一個或多個點。每一圖案中標識的該一個或多個點可對應於來自像素集的一個或多個像素。此外，如前文所提及的，每一圖案在空間中的位置和相對姿態可基於每一圖案中的該一個或多個點來確定。

在其他方面，確定與圖案集相對應的像素集可包括：基於由每一圖像感測器捕捉的一個或多個圖像來檢測來自第二設備上的圖案集的每一圖案，對於每一圖案來檢測較小的內部圖案，以及標識每一較小的內部圖案中的一個或多個點。該一個或多個點可對應於來自像素集的一個或多個像素，並且每一圖案在空間中的位置和相對姿態可基於每一較小的內部圖案中的該一個或多個點。

在框708，方法700可包括基於來自圖案集的每一圖案在空間中的位置和相對姿態來確定第一設備相對於第二設備的姿態。例如，每一圖案的6DoF姿態可用於確定第二設備（例如，主處理系統100）的6DoF姿態和/或第一設備（例如，輔助系統150）的相對6DoF姿態。在一些情形中，第二設備（例如，主處理系統100）和第一設備（例如，輔助系統150）的6DoF姿態可相對於彼此來計算以獲得第一設備和第二設備的相對6DoF姿態。在一些示例中，第一設備和第二設備的相對6DoF姿態可用於協調和/或相關第一設備和第二設備在XR體驗中的移動、姿態、交互、表示等，該XR體驗諸如是在第二設備上運行的XR遊戲、在第二設備上運行的XR購物應用、在第二設備上運行的XR建模應用、在第二設備上運行的XR醫療應用等。在一些示例中，第一設備和第二設備的相對6DoF姿態可用於執行各種基於追蹤和定位的操作，諸如舉例來說，碰撞避免、導航、地圖繪製、與現實世界對象的交互、自主設備操作或任務等。

在一些情形中，第一設備相對於第二設備的姿態可進一步基於第一設備上的圖像感測器系統集的預定的相對位置和取向來確定。例如，第一設備上的圖像感測器系統能夠以特定距離、取向、位置、分開角度等被配置在第一設備上。該資訊可以是已知的並且被用於確定它們在第一設備處的相對姿態。第一設備上的圖像感測器系統的相對姿態可被用作用於計算來自圖案集的每一圖案在空間中的位置和相對姿態和/或第一設備相對於第二設備的姿態的附加參數。

在一些示例中，方法700可包括確定與由圖像感測器系統集捕捉的場景（例如，一個或多個圖像中的場景）相關聯的空間中的一個或多個點的3D坐標，並且基於圖像感測器系統集的預定的相對位置和取向以及空間中該一個或多個點的3D坐標來確定第一設備上的圖像感測器系統集的相對3D姿態。在一些示例中，第一設備相對於第二設備的姿態可進一步基於第一設備上的圖像感測器集的相對3D姿態。此外，在一些情形中，圖像感測器系統集的相對3D姿態可以是例如3D空間中的相對6DoF姿態。

在一些方面，確定第一設備相對於第二設備的姿態可包括確定第二設備相對於第一設備的姿態。第一設備的姿態和第二設備的姿態可以是例如相對6DoF姿態。

在一些方面，方法700可包括：基於由來自圖像感測器集的一個或多個圖像感測器系統所捕捉的一個或多個附加圖像來檢測該一個或多個附加圖像中捕捉的對象上的一個或多個附加圖案，確定該一個或多個附加圖像中與該對象上的一個或多個附加圖案相對應的一個或多個像素，以及基於該一個或多個像素來確定該對象相對於第一設備的6DoF姿態和/或第二設備的6DoF姿態的附加6DoF姿態。在一些情形中，該對象可以是例如牆、顯示設備、視頻遊戲控制台、家具、電器、家庭用品等。

在一些示例中，方法700可以由一個或多個計算設備或裝置來執行。在一個解說性示例中，方法700可以由圖1所示的主處理系統100和/或輔助系統150和/或具有圖8所示的計算設備架構800的一個或多個計算設備來執行。在一些情形中，此類計算設備或裝置可包括被配置成執行方法700的步驟的處理器、微處理器、微計算機、或設備的其他組件。在一些示例中，此類計算設備或裝置可包括被配置成捕捉圖像資料的一個或多個感測器。例如，計算設備可包括智慧型電話、頭戴式顯示器、行動設備、或其他合適的設備。在一些示例中，此類計算設備或裝置可包括被配置成捕捉一個或多個圖像或視頻的相機。在一些情形中，此類計算設備可包括用於顯示圖像的顯示器。在一些示例中，一個或多個感測器和/或相機與計算設備分開，在該情形中計算設備接收感測到的資料。此類計算設備可進一步包括被配置成傳達資料的網路介面。

計算設備的各組件可用電路系統來實現。例如，各組件可包括和/或可使用電子電路或其他電子硬體（其可包括一個或多個可編程電子電路（例如，微處理器、圖形處理單元（GPU）、數位信號處理器（DSP）、中央處理單元（CPU）和/或其他合適的電子電路））來實現，和/或可包括和/或可使用計算機軟體、韌體、或其任何組合來實現，以執行本文描述的各種操作。計算設備可進一步包括顯示器（作為輸出設備的示例或作為輸出設備的補充）、被配置成傳達和/或接收資料的網路介面、其任何組合、和/或（諸）其他組件。網路介面可被配置成傳達和/或接收基於網際協議（IP）的資料或其他類型的資料。

方法700被解說為邏輯流程圖，該邏輯流程圖的操作表示能夠以硬體、計算機指令、或其組合來實現的操作序列。在計算機指令的上下文中，各操作表示儲存在一個或多個計算機可讀儲存媒體上的計算機可執行指令，這些指令在由一個或多個處理器執行時執行所敘述的操作。一般來說，計算機可執行指令包括執行特定功能或實現特定資料類型的常式、程式、對象、組件、資料結構等。描述各操作的順序並不旨在被理解為是限制，並且任何數目的所描述的操作可以按任何順序被組合和/或並行進行以實現各過程。

附加地，方法700可以在配置有可執行指令的一個或多個計算機系統的控制下執行，並且可被實現為在一個或多個處理器上共同執行的程式碼（例如，可執行指令、一個或多個計算機程式、或一個或多個應用）、由硬體或其組合來執行。如以上所提及的，程式碼可以被儲存在計算機可讀或機器可讀儲存媒體上，例如以包括可由一個或多個處理器執行的多條指令的計算機程式的形式。計算機可讀或機器可讀儲存媒體可以是非暫態的。

圖8解說了可實現本文所描述的各種技術的示例計算設備的示例計算設備架構800。例如，計算設備架構800可實現圖1所示的主處理系統100的至少一些部分，並且執行如本文所描述的ToF信號處理操作。計算設備架構800的各組件被示為使用連接805（諸如匯流排）彼此處於電通信。示例計算設備架構800包括處理單元（CPU或處理器）810以及將包括計算設備記憶體815（諸如唯讀記憶體（ROM）820和隨機存取記憶體（RAM）825）的各種計算設備組件耦合到處理器810的計算設備連接805。

計算設備架構800可包括與處理器810直接連接、緊鄰處理器810、或整合為處理器810的一部分的高速記憶體的高速緩存。計算設備架構800可將來自記憶體815和/或儲存設備830的資料複製到高速緩存812以供處理器810快速訪問。以此方式，高速緩存可提供性能助推，這避免處理器810在等待資料的同時發生延遲。這些和其他模組可控制或被配置成控制處理器810執行各種動作。其他計算設備記憶體815也可供使用。記憶體815可包括具有不同性能特性的多種不同類型的記憶體。處理器810可包括任何通用處理器和儲存在儲存設備830中且被配置成控制處理器810的硬體或軟體服務，以及專用處理器（其中軟體指令被納入處理器設計中）。處理器810可以是自包含系統，包含多個核或處理器、匯流排、記憶體控制器、高速緩存等。多核處理器可以是對稱的或非對稱的。

為了實現與計算設備架構800的用戶交互，輸入設備845可表示任何數目的輸入機構，諸如用於語音的話筒、用於姿勢或圖形輸入的觸控螢幕、鍵盤、滑鼠、運動輸入、語音等等。輸出設備835也可以是本領域技術人員已知的多種輸出機構中的一種或多種，諸如顯示器、投影儀、電視機、揚聲器設備。在一些實例中，多模態計算設備可使得用戶能夠提供多種類型的輸入以與計算設備架構800通信。通信介面840可一般地管控和管理用戶輸入和計算設備輸出。對在任何特定硬體佈置上進行操作不存在任何限制，並且因此可以容易地替換此處的基礎特徵以隨著它們被開發而獲得改進的硬體或韌體佈置。

儲存設備830是非易失性記憶體，並且可以是硬碟或可儲存可由計算機訪問的資料的其他類型的計算機可讀媒體，諸如磁帶、閃存卡、固態記憶體設備、數位多功能碟、盒式磁碟、隨機存取記憶體（RAM）825、唯讀記憶體（ROM）820、或其混合物。儲存設備830可包括用於控制處理器810的軟體、程序碼、韌體等。構想了其他硬體或軟體模組。儲存設備830可連接到計算設備連接805。在一方面，執行特定功能的硬體模組可包括儲存在與必要的硬體組件（諸如處理器810、連接805、輸出設備835等）連接的計算機可讀媒體中的軟體組件以執行功能。

術語“計算機可讀媒體”包括但不限於便攜式或非便攜式儲存設備、光儲存設備、以及能夠儲存、包含或攜帶（諸）指令和/或資料的各種其他媒體。計算機可讀媒體可包括其中可儲存資料並且不包括載波和/或無線地或通過有線連接傳播的瞬態電子信號的非暫態媒體。非暫態媒體的示例可包括但不限於，磁碟或磁帶、光學儲存媒體（諸如光碟（CD）或數位多功能碟（DVD））、閃存、記憶體或記憶體設備。計算機可讀媒體可具有儲存於其上的程序碼和/或機器可執行指令，它們可表示規程、功能、子程式、程式、常式、子常式、模組、軟體包、類、或者指令、資料結構或程式語句的任何組合。可通過傳遞和/或接收資訊、資料、自變量、參數或記憶體內容來將程式碼段耦合至另一程序碼段或硬體電路。資訊、自變量、參數、資料等可以經由任何合適的手段來傳遞、轉發或傳送，這些手段包括記憶體共享、訊息傳遞、令牌傳遞、網路傳輸等。

在一些實施例中，計算機可讀儲存設備、媒體和記憶體可包括包含位元流等的線纜或無線信號。然而，在被提及時，非暫態計算機可讀儲存媒體明確排除諸如能量、載波信號、電磁波以及信號本身等媒體。

在以上描述中提供了具體細節以提供對本文提供的實施例和示例的詳盡理解。然而，本領域普通技術人員將理解，沒有這些具體細節也可以實踐這些實施例。為了清楚說明，在一些實例中，本發明的技術可以被呈現為包括各個功能框，它們包括設備、設備組件、以軟體或者硬體和軟體的組合實施的方法中的步驟或常式。可使用除了附圖中示出和/或本文所描述的那些組件之外的附加組件。例如，電路、系統、網路、過程和其他組件可以用框圖形式示為組件以避免使這些實施例湮沒在不必要的細節中。在其他實例中，可以在沒有必要的細節的情況下示出公知的電路、過程、算法、結構和技術以避免混淆各實施例。

各個實施例在上文可被描述為過程或方法，該過程或方法被描繪為流程圖、流程圖示、資料流圖、結構圖或框圖。儘管流程圖可以將操作描述為順序過程，但很多操作可以並行地或併發地執行。另外，可以重新排列操作的次序。當過程的操作完成時過程被終結，但是過程可具有附圖中未包括的附加步驟。過程可對應於方法、函數、規程、子常式、子程式等。當過程對應於函數時，其終止可對應於該函數返回到調用方函數或主函數。

根據上述示例的過程和方法可使用被儲存的計算機可執行指令或以其他方式從計算機可讀媒體可用的計算機可執行指令來實現。這些指令可包括例如致使或以其他方式將通用計算機、專用計算機或處理設備配置成執行某一功能或功能群的指令和資料。所使用的計算機資源的各部分可通過網路訪問。計算機可執行指令可以是例如二進制檔案、中間格式指令（諸如匯編語言）、韌體、源程式碼。可用於儲存指令、在根據所描述的示例的方法期間所使用的資訊和/或所創建的資訊的計算機可讀媒體的示例包括磁碟或光碟、閃存、提供有非易失性記憶體的USB設備、經聯網儲存設備等。

實現根據這些公開的各種過程和方法的設備可包括硬體、軟體、韌體、中間件、微程序碼、硬體描述語言、或其任何組合，並且可採用各種形狀因子中的任一者。當以軟體、韌體、中間件或微程序碼實現時，用於執行必要任務的程序碼或程序碼段（例如，計算機程式產品）可被儲存在計算機可讀或機器可讀媒體中。處理器可執行必要任務。各形狀因子的典型示例包括：膝上型計算機、智慧型電話、行動電話、平板設備、或其他小形狀因子的個人計算機、個人數位助理、機架式設備、自立設備等。本文描述的功能性還可用外圍設備或插卡來實施。作為進一步的示例，此類功能性還可被實現在在單個設備上執行的不同芯片或不同過程之中的電路板上。

指令、用於傳達這些指令的媒體、用於執行它們的計算資源、以及用於支持此類計算資源的其他結構是用於提供本公開中所描述的功能的示例裝置。

在上述描述中，本申請的各方面參考其特定實施例來描述，但是本領域技術人員將認識到本申請不限於此。因而，儘管本申請的解說性實施例已經在本文中詳細描述，但是要理解，各個發明概念可以以其他各種方式被實施和採用，並且所附申請專利範圍不旨在被解釋為包括這些變型，除非受到現有技術的限制。可以單獨或聯合地使用上述申請的各種特徵和方面。此外，各實施例可以在超出本文所描述的那些環境和應用的任何數目的環境和應用中來利用而不背離本說明書的更寬泛的精神和範圍。相應地，本說明書和附圖應被認為是解說性的而非限定性的。出於解說的目的，按照特定順序來描述各方法。應當領會，在替換實施例中，各方法可以按與所描述的不同順序來執行。

本領域普通技術人員將領會，本文所使用的小於（“＜”）和大於（“＞”）符號或術語可以分別用小於等於（“

）和大於等於（“

”）符號來代替而不背離本說明書的範圍。

在各組件被描述為“被配置成”執行某些操作的情況下，可例如通過設計電子電路或其他硬體來執行操作、通過對可編程電子電路（例如，微處理器、或其他合適的電子電路）進行編程、或其任何組合來實現此類配置。

片語“耦合至”指的是任何組件直接或間接地實體連接到另一組件，和/或任何組件直接或間接地與另一組件處於通信（例如，通過有線或無線連接和/或其他合適的通信介面連接到該另一組件）。

請求項語言或敘述集合中的“至少一者”和/或集合中的“一者或多者”的其他語言指示該集合中的一個成員或該集合中的多個成員（以任何組合）滿足該請求項。例如，敘述“A和B中的至少一者”或“A或B中的至少一者”的請求項語言意指A、B或者A和B。在另一示例中，敘述“A、B和C中的至少一者”或“A、B或C中的至少一者”的請求項語言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。集合“中的至少一者”和/或集合“中的一者或多者”的語言並不將該集合限於該集合中所列舉的項目。例如，敘述“A和B中的至少一者”或“A或B中的至少一者”的請求項語言可以意指A、B或A和B，並且可附加地包括未在A和B的集合中列舉的項目。

結合本文公開的示例所描述的各種解說性邏輯框、模組、電路、和算法步驟可被實現為電子硬體、計算機軟體、韌體、或其組合。為清楚地解說硬體與軟體的這一可互換性，各種解說性組件、塊、模組、電路、以及步驟在上面是以其功能性的形式作一般化描述的。此類功能性是被實現為硬體還是軟體取決於具體應用和施加於整體系統的設計約束。技術人員可針對每種特定應用以不同方式來實現所描述的功能性，但此類實現決策不應被解讀為致使脫離本申請的範圍。

本文所描述的技術還可用電子硬體、計算機軟體、韌體、或其任何組合來實現。這些技術可以用各種設備中的任一種來實現，諸如通用計算機、無線通信設備手持機、或具有多種用途的積體電路設備，這些用途包括無線通信設備手持機和其他設備中的應用。被描述為模組或組件的任何特徵可以一起被實現在積體邏輯器件中或被單獨實現為離散但可相互操作的邏輯器件。如果以軟體來實現，則這些技術可以至少部分地由包括程序碼的計算機可讀資料儲存媒體來實現，這些程序碼包括指令，這些指令在被執行時執行上述方法、算法、和/或操作中的一者或多者。計算機可讀資料儲存媒體可形成計算機程式產品的一部分，其可包括封裝材料。計算機可讀媒體可包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非易失性隨機存取記憶體（NVRAM）、電可擦除可編程唯讀記憶體（EEPROM）、閃存、磁性或光學資料儲存媒體等等。這些技術附加地或替換地可至少部分地由攜帶或傳達指令或資料結構形式的程序碼的計算機可讀通信媒體來實現，這些指令或資料結構可由計算機訪問、讀取、和/或執行，諸如傳播的信號或波。

程式碼可由處理器執行，該處理器可包括一個或多個處理器，諸如一個或多個數位信號處理器（DSP）、通用微處理器、專用積體電路（ASIC）、現場可編程邏輯陣列（FPGA）、或其他等效的積體或離散邏輯電路系統。此類處理器可被配置成執行本公開中所描述的任何技術。通用處理器可以是微處理器，但在替換方案中，該處理器可以是任何常規的處理器、控制器、微控制器、或狀態機。處理器還可以被實現為計算設備的組合，例如，DSP與微處理器的組合、多個微處理器、與DSP核心協同的一個或多個微處理器、或任何其他此類配置。相應地，如本文所使用的術語“處理器”可以指任何上述結構、上述結構的任何組合、或適於實現本文所描述的技術的任何其他結構或裝置。

100:系統 110:計算組件 120A~120N:基準標記物 125:圖像感測器 130:延展實境引擎 132:計算機視覺模型 134:圖像處理引擎 136:呈現引擎 150:輔助系統 152:圖像感測器系統 152A~152N:圖像感測器系統 154:加速度計 156:陀螺儀 158:追蹤引擎 160:神經網路 200:視圖 300:使用情形 320A~320N:基準標記物 340:使用情形 360:使用情形 362:目標 400:示例配置 402A:邊界框 402B:邊界框 410:示例配置 412:正方形圖案 414:正方形圖案 416:正方形圖案 420C~420N:基標準記物 430:外部圖案 432:內部圖案 502:示例參考線 520A~520B:基準標準標記物 600:姿態轉變 602:平移轉變 604:參考位置 606:位置 610:旋轉轉變 612:參考取向 614:投影 616:投影 618:投影 624:旋轉角度 700:示例方法 702:框 704:框 706:框 708:框 800:設備架構 805:連接 810:處理器 812:高速緩存 815:記憶體 835:輸出設備 830:儲存設備 840:通信介面 845:輸入設備

為了描述可獲得本公開的各優點和特徵的方式，將通過參考在所附附圖中解說的上述原理的特定實施例來呈現對上述原理的更具體的描述。理解這些附圖僅描繪了本公開的示例實施例且不應被認為限制其範圍，通過使用附圖以額外的具體程度和細節來描述和解釋本文的原理，在附圖中：

圖1是解說了根據本公開的一些示例的用於較低功率視覺追蹤的示例環境的簡化框圖；

圖2解說了根據本公開的一些示例的在用於使用輔助系統上的圖像感測器系統來檢測輔助系統相對於主處理系統的姿態的示例使用情形中的輔助系統和主處理系統的示例視圖；

圖3A是解說根據本公開的一些示例的用於追蹤輔助系統和/或主處理系統的六自由度（6DoF）姿態的示例使用情形的圖示；

圖3B是解說根據本公開的一些示例的用於追蹤輔助系統150和/或主處理系統的姿態資訊的另一示例使用情形的圖示；

圖3C是解說根據本公開的一些示例的用於追蹤輔助系統和/或主處理系統的6DoF姿態的示例使用情形的圖示；

圖3D是解說根據本公開的一些示例的用於基於基準標記物來追蹤被標記對象的示例使用情形的圖示；

圖4A-C解說了根據本公開的一些示例的基準標記物的示例配置；

圖5解說了根據本公開的一些示例的在基準標記物之間投影的且用於參考圖案與被觀察圖案之間的姿態轉變的示例參考線；

圖6是解說根據本公開的一些示例的參考圖案與被觀察圖案之間的示例姿態轉變的圖示；

圖7是解說根據本公開的一些示例的用於估計輔助系統和主處理系統的相對姿態的示例方法的流程圖；以及

圖8解說了根據本公開的一些示例的示例計算設備架構。

100:系統

300:使用情形

320A~320B:基準標記物

150:輔助系統

152A~152N:圖像感測器系統

Claims

一種方法，包括：接收由第一設備上的至少一個圖像感測器系統捕捉的一個或多個圖像，所述一個或多個圖像捕捉在第二設備上具有預定配置的圖案集，其中所述第一設備與所述第二設備相比具有較低的功率要求；根據由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來確定與所述第二設備上的所述圖案集相對應的像素集；基於與所述第二設備上的所述圖案集相對應的所述像素集來確定來自所述圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自所述圖案集的每一圖案在空間中的所述位置和所述相對姿態來確定所述第一設備相對於所述第二設備的姿態。
如請求項1所述的方法，其中所述至少一個圖像感測器系統包括圖像感測器系統集，並且其中確定所述第一設備相對於所述第二設備的姿態是進一步基於所述第一設備上的所述圖像感測器系統集的預定的相對位置和取向的。
如請求項2所述的方法，進一步包括：確定空間中與由所述圖像感測器系統集捕捉的場景相關聯的一個或多個點的三維（3D）坐標；以及基於所述圖像感測器系統集的預定的相對位置和取向以及空間中的所述一個或多個點的所述3D坐標來確定所述第一設備上的所述圖像感測器系統集的相對3D姿態，其中所述第一設備相對於所述第二設備的姿態是進一步基於所述第一設備上的所述圖像感測器系統集的所述相對3D姿態的。
如請求項1所述的方法，其中所述第一設備相對於所述第二設備的姿態包括六自由度（6DoF）姿態，並且其中所述圖案集的所述預定配置包括以下至少一者：每一圖案在所述第二設備上的相對位置、每一圖案在所述第二設備上的相對取向、每一圖案的形狀、每一圖案的大小、每一圖案的特性、以及所述圖案集的佈置。
如請求項1所述的方法，其中確定來自所述圖案集的每一圖案在空間中的位置和相對姿態包括：通過旋轉空間中與對應於所述圖案集的所述像素集相對應的3D坐標來確定所述圖案集的3D取向，所述3D坐標是相對於參考3D坐標來旋轉的；以及通過平移空間中與對應於所述圖案集的所述像素集相對應的所述3D坐標來確定所述圖案集的3D位置，所述3D坐標是相對於所述參考3D坐標來平移的。
如請求項5所述的方法，其中每一圖案的相對姿態是基於所述圖案集的所述3D取向和所述圖案集的所述3D位置的，並且其中每一圖案的位置包括來自所述圖案集的所述3D位置的相應3D位置。
如請求項1所述的方法，其中確定所述第一設備相對於所述第二設備的姿態進一步包括確定所述第二設備相對於所述第一設備的姿態，其中所述第一設備的姿態包括第一6DoF姿態並且所述第二設備的姿態包括第二6DoF姿態。
如請求項1所述的方法，其中所述第一設備包括手控制器設備並且所述第二設備包括頭戴式顯示設備。
如請求項1所述的方法，其中所述至少一個圖像感測器系統包括低功率圖像感測器系統，並且其中所述圖案集中的每一圖案在紅外頻譜和可見光頻譜中的至少一者中是可見的。
如請求項1所述的方法，其中所述圖案集中的至少一個圖案包括經編碼機器可讀資訊，所述經編碼機器可讀資訊包括以下至少一者：與所述至少一個圖案相關聯的位置資訊、與所述至少一個圖案相關聯的識別符、唯一碼、設置、以及關於與所述第一設備和所述第二設備中的至少一者上主存的延展實境應用相關聯的用戶賬戶的資訊。
如請求項1所述的方法，其中確定與所述第二設備上的所述圖案集相對應的所述像素集包括：基於由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來檢測來自所述第二設備上的所述圖案集的每一圖案；以及標識來自所述圖案集的每一圖案中的一個或多個點，所述一個或多個點與來自所述像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一圖案中的所述一個或多個點的。
如請求項1所述的方法，其中確定與所述第二設備上的所述圖案集相對應的所述像素集包括：基於由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來檢測來自所述第二設備上的所述圖案集的每一圖案；對於每一圖案，檢測較小的內部圖案；以及標識每一較小的內部圖案中的一個或多個點，所述一個或多個點與來自所述像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一較小的內部圖案中的所述一個或多個點的。
如請求項1所述的方法，其中確定所述第一設備相對於所述第二設備的姿態包括確定所述第一設備相對於所述第二設備的6DoF姿態以及所述第二設備相對於所述第一設備的6DoF姿態，所述方法進一步包括：基於由所述至少一個圖像感測器系統捕捉的一個或多個附加圖像來檢測所述一個或多個附加圖像中捕捉的對象上的一個或多個附加圖案；確定所述一個或多個附加圖像中與所述對象上的所述一個或多個附加圖案相對應的一個或多個像素；以及基於所述一個或多個像素來確定所述對象相對於所述第一設備的6DoF姿態和所述第二設備的6DoF姿態中的至少一者的附加6DoF姿態。
如請求項13所述的方法，其中所述對象包括牆、顯示設備、視頻遊戲控制台、家具、電器、或家庭用品。
一種裝置，包括：記憶體；以及耦合至所述記憶體的一個或多個處理器，所述一個或多個處理器被配置成：接收由所述裝置上的至少一個圖像感測器系統捕捉的一個或多個圖像，所述一個或多個圖像捕捉在一設備上具有預定配置的圖案集，其中所述裝置與所述設備相比具有較低的功率要求；根據由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來確定與所述設備上的所述圖案集相對應的像素集；基於與所述設備上的所述圖案集相對應的所述像素集來確定來自所述圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自所述圖案集的每一圖案在空間中的所述位置和所述相對姿態來確定所述裝置相對於所述設備的姿態。
如請求項15所述的裝置，其中所述至少一個圖像感測器系統包括圖像感測器系統集，並且其中確定所述裝置相對於所述第二設備的姿態是進一步基於所述裝置上的所述圖像感測器系統集的預定的相對位置和取向的。
如請求項16所述的裝置，所述一個或多個處理器被配置成：確定空間中與由所述圖像感測器系統集捕捉的場景相關聯的一個或多個點的三維（3D）坐標；以及基於所述圖像感測器系統集的預定的相對位置和取向以及空間中的所述一個或多個點的3D坐標來確定所述圖像感測器系統集的相對3D姿態，其中所述裝置相對於所述設備的姿態是進一步基於所述圖像感測器系統集的所述相對3D姿態的。
如請求項15所述的裝置，其中所述裝置相對於所述設備的姿態包括六自由度（6DoF）姿態，並且其中所述圖案集的所述預定配置包括以下至少一者：每一圖案在所述設備上的相對位置、每一圖案在所述設備上的相對取向、每一圖案的形狀、每一圖案的大小、每一圖案的特性、以及所述圖案集的佈置。
如請求項15所述的裝置，其中確定來自所述圖案集的每一圖案在空間中的位置和相對姿態包括：通過旋轉空間中與對應於所述圖案集的所述像素集相對應的3D坐標來確定所述圖案集的3D取向，所述3D坐標是相對於參考3D坐標來旋轉的；以及通過平移空間中與對應於所述圖案集的所述像素集相對應的所述3D坐標來確定所述圖案集的3D位置，所述3D坐標是相對於所述參考3D坐標來平移的。
如請求項19所述的裝置，其中每一圖案的相對姿態是基於所述圖案集的所述3D取向和所述圖案集的所述3D位置的，並且其中每一圖案的位置包括來自所述圖案集的所述3D位置的相應3D位置。
如請求項15所述的裝置，其中確定所述裝置相對於所述設備的姿態進一步包括確定所述設備相對於所述裝置的姿態，其中所述裝置的姿態包括第一6DoF姿態並且所述設備的姿態包括第二6DoF姿態。
如請求項15所述的裝置，其中所述裝置是手控制器設備並且所述設備是頭戴式顯示設備。
如請求項15所述的裝置，其中所述至少一個圖像感測器系統包括低功率圖像感測器系統，並且其中所述圖案集中的每一圖案在紅外頻譜和可見光頻譜中的至少一者中是可見的。
如請求項15所述的裝置，其中所述圖案集中的至少一個圖案包括經編碼機器可讀資訊，所述經編碼機器可讀資訊包括以下至少一者：與所述至少一個圖案相關聯的位置資訊、與所述至少一個圖案相關聯的識別符、唯一碼、設置、以及關於與所述裝置和所述設備中的至少一者上主存的延展實境應用相關聯的用戶賬戶的資訊。
如請求項15所述的裝置，其中確定與所述設備上的所述圖案集相對應的所述像素集包括：基於由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來檢測來自所述設備上的所述圖案集的每一圖案；以及標識來自所述圖案集的每一圖案中的一個或多個點，所述一個或多個點與來自所述像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一圖案中的所述一個或多個點的。
如請求項15所述的裝置，其中確定與所述設備上的所述圖案集相對應的所述像素集包括：基於由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來檢測來自所述設備上的所述圖案集的每一圖案；對於每一圖案，檢測較小的內部圖案；以及標識每一較小的內部圖案中的一個或多個點，所述一個或多個點與來自所述像素集的一個或多個像素相對應，其中確定每一圖案在空間中的位置和相對姿態是基於每一較小的內部圖案中的所述一個或多個點的。
如請求項15所述的裝置，其中確定所述裝置相對於所述設備的姿態包括確定所述裝置相對於所述設備的6DoF姿態以及所述設備相對於所述裝置的6DoF姿態，所述一個或多個處理器被配置成：基於由所述至少一個圖像感測器系統捕捉的一個或多個附加圖像來檢測所述一個或多個附加圖像中捕捉的對象上的一個或多個附加圖案；確定所述一個或多個附加圖像中與所述對象上的所述一個或多個附加圖案相對應的一個或多個像素；以及基於所述一個或多個像素來確定所述對象相對於所述第一設備的6DoF姿態和所述設備的6DoF姿態中的至少一者的附加6DoF姿態。
如請求項27所述的裝置，其中所述對象包括牆、顯示設備、視頻遊戲控制台、家具、電器、或家庭用品。
如請求項15所述的裝置，其中所述裝置是行動設備。
一種非暫態計算機可讀儲存媒體，包括：儲存在其上的指令，所述指令在由一個或多個處理器執行時致使所述一個或多個處理器：接收由第一設備上的至少一個圖像感測器系統捕捉的一個或多個圖像，所述一個或多個圖像捕捉在第二設備上具有預定配置的圖案集，其中所述第一設備與所述第二設備相比具有較低的功率要求；根據由所述至少一個圖像感測器系統捕捉的所述一個或多個圖像來確定與所述第二設備上的所述圖案集相對應的像素集；基於與所述第二設備上的所述圖案集相對應的所述像素集來確定來自所述圖案集的每一圖案在空間中的位置和相對姿態；以及基於來自所述圖案集的每一圖案在空間中的所述位置和所述相對姿態來確定所述第一設備相對於所述第二設備的姿態。