TW202309732A - 擴展現實介面的遠端地標呈現 - Google Patents

Abstract

描述了用於使用顯示介面設備為XR設備提供虛擬介面的系統和技術。顯示介面設備可以在其顯示器上顯示地標圖案，諸如快速回應（QR）碼。顯示器可以在XR設備的相機的視野中，以便相機擷取圖示所顯示地標圖案的影像。XR設備可以基於所擷取的影像產生並在其自己的顯示器上顯示輸出影像，例如經由在地標圖案上覆蓋虛擬介面。輸出影像中的虛擬介面的位姿及/或大小可以基於所擷取的影像中的地標圖案及/或顯示器的位姿及/或大小。顯示介面設備可以經由其顯示介面接收輸入，諸如基於觸摸的輸入，顯示介面設備可以為XR設備辨識這些輸入。

Description

擴展現實介面的遠端地標呈現

本案整體上係關於影像處理。例如，本案的各態樣包括用於在擴展現實（XR）中提供基於虛擬觸摸的介面的系統和技術。

擴展現實（XR）設備是一種向使用者顯示環境的設備，例如經由頭戴式顯示器（HMD）、眼鏡、行動手持設備或其他設備。該環境至少部分不同於使用者所位元於的真實世界環境。使用者通常可以互動地改變他們對環境的視野，例如經由傾斜或移動HMD（例如，經由行動服務使用者的頭部等）或其他設備。虛擬實境（VR）、增強現實（AR）和混合現實（MR）是XR的實例。

在XR的某些用例中，接收來自使用者的輸入很有用，例如用來控制虛擬物件或調整XR設備本身的設置。例如，在基於XR的視訊遊戲中，使用者可以使用輸入來控制虛擬角色。使用者亦可以使用輸入來調整音量、控制歌曲或視訊的重播等。傳統的視訊遊戲控制器對於某些類型的輸入（諸如精細滾動或滑動調整）可能不精確的，並且對於使用者攜帶來說可能是笨重且不方便的。由於缺乏觸覺回饋和依賴於可能會不一致的手部追蹤，空中手勢可能並不精確。

具有基於顯示器的介面的顯示介面設備被使用者普遍使用，包括例如行動手持設備、平板設備、膝上型電腦、電視和智慧手錶。具有基於顯示器的介面的顯示介面設備可以包括例如具有可以在觸控式螢幕上顯示介面並經由觸控式螢幕接收輸入的觸控式螢幕介面的觸控式螢幕設備。具有基於顯示器的介面的顯示介面設備亦可以包括使用遊標、觸控板、小鍵盤、控制器、遙控器等與顯示的介面進行互動的設備。具有基於顯示器的介面的顯示介面設備可以接收精確的觸覺輸入，從而允許使用者與顯示的介面進行互動。

在一些實例中，描述了用於使用一或多個顯示裝置為XR設備提供虛擬介面的系統和技術。XR設備可以使用一或多個相機在一或多個相機的視野中擷取真實世界場景的一或多個影像。顯示介面設備可以被配置為在其顯示器上顯示可辨識的地標圖案（例如，快速回應（QR）碼或其他地標圖案）。顯示介面設備可以在XR設備的一或多個相機的視野中，與此同時顯示介面設備顯示地標圖案，使得由XR設備的相機擷取的一或多個影像圖示顯示介面設備顯示地標圖案。XR設備可以基於一或多個擷取的影像產生一或多個輸出影像。XR設備在一或多個輸出影像中的地標圖案上覆蓋虛擬介面。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案可以確保在由XR設備向使用者顯示時虛擬介面看起來清晰且銳利，並且可以允許使用者提供具有回饋的精確輸入（例如，視覺回饋、觸覺回饋、聽覺回饋、振動回饋或它們的組合）。在一些實例中，虛擬介面是基於觸摸的虛擬介面並且一或多個顯示介面設備是一或多個觸控式螢幕設備。觸控式螢幕設備可以經由觸控式螢幕接收一或多個觸摸輸入。顯示介面設備可以將顯示介面輸入的顯示介面輸入辨識符發送到XR設備。顯示介面輸入辨識符可以辨識一或多個顯示介面輸入中的每一個顯示介面輸入在顯示介面設備的顯示器及/或顯示介面上的座標（例如，觸摸輸入、滑鼠點擊等的座標）。XR設備及/或顯示介面設備可以基於地標圖案和觸摸輸入辨識符來辨識顯示介面輸入是否與虛擬介面的任何介面元件對準並由此與之進行互動。XR設備及/或顯示介面設備可以基於已經與虛擬介面的一或多個介面元件對準及/或互動的顯示介面輸入來更新虛擬介面。XR設備可以回應於與虛擬介面的一或多個介面元件互動的觸摸輸入，在XR設備的視野中顯示或更新虛擬內容。XR設備可以回應於與虛擬介面的一或多個介面元件對準及/或互動的顯示介面輸入來播放或更新音訊內容及/或播放或更新視覺內容及/或輸出振動。

在一個實例中，提供了一種用於影像處理的裝置。該裝置包括記憶體和耦接到記憶體的一或多個處理器（例如，在電路中實現）。該一或多個處理器被配置為並且能夠：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

在另一個實例中，提供了一種影像處理方法。該方法包括：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

在另一個實例中，提供了一種其上儲存有指令的非暫時性電腦可讀取媒體，當指令由一或多個處理器執行時，使一或多個處理器：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

在另一個實例中，提供了一種用於影像處理的裝置。該裝置包括：用於接收場景的輸入影像的部件，該輸入影像由影像感測器擷取；用於在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案的部件；用於決定地標圖案在輸入影像中的位姿的部件；及用於使第二顯示器顯示基於輸入影像的輸出影像的部件，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

在一些態樣，地標圖案包括以下中的至少一種：線性字形、線性條碼、條碼二維（2D）字形、2D條碼、快速回應（QR）碼、微QR碼、條碼、MaxiCode、Aztec碼、PDF417碼、ArUco碼、資料矩陣、網格矩陣、code one碼、堆疊條碼、shotcode、JAB碼、高容量彩色條碼（HCCB）、棋盤圖案、三維（3D）字形、3D條碼以及一或多個顏色。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：辨識物件遮擋了第一顯示器的包括輸入影像中的地標圖案的至少一部分的區域，並且其中使第二顯示器顯示輸出影像的包括在輸出影像中遮擋與第一顯示器的該區域相對應的虛擬介面的一部分。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：產生虛擬介面的至少一部分。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：從包括第一顯示器的顯示裝置接收虛擬介面的至少一部分。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：產生輸出影像的至少一部分。在一些態樣，產生輸出影像的至少一部分包括使用基於地標圖案在輸入影像中的位姿的透視失真來修改虛擬介面。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：產生與地標圖案相對應的地標圖案資料；及將地標圖案資料發送到包括第一顯示器的顯示裝置，以供顯示裝置回應於接收到地標圖案資料而在第一顯示器上顯示地標圖案。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：從包括第一顯示器的顯示裝置接收顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由顯示裝置的顯示介面接收顯示介面輸入的第一顯示器的一部分，該顯示介面與第一顯示器相關聯。在一些態樣，第一顯示器是顯示裝置的觸控式螢幕顯示器的顯示層，其中顯示介面是觸控式螢幕顯示器的觸敏層，其中顯示介面輸入是由觸控式螢幕顯示器的觸敏層偵測到的觸摸輸入。在一些態樣，顯示介面控制第一顯示器上的遊標，其中顯示介面輸入是基於遊標在第一顯示器上的位置的遊標輸入，其中顯示介面包括滑鼠、觸控板、觸敏表面、觸控式螢幕、操縱桿、小鍵盤、鍵盤、按鈕、控制器和遙控器中的至少一種。在一些態樣，顯示介面執行手部相對於第一顯示器的手部追蹤，其中顯示介面輸入指示第一顯示器上與手部的位置相對應的位置，其中顯示介面包括相機和距離感測器中的至少一種，其中顯示介面輸入與以下中的至少一項相關聯：手部觸摸第一顯示器上的該位置，手部懸停在第一顯示器上的該位置上方，手部指向第一顯示器上的該位置，以及手部相對於第一顯示器上的該位置做手勢。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：回應於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動修改虛擬介面。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：接收場景的第二輸入影像，該第二輸入影像在擷取輸入影像之後由影像感測器擷取；及使第二顯示器顯示第二輸出影像，其中第二輸出影像包括覆蓋在第二輸入影像上的虛擬內容，其中虛擬內容是基於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動設置的。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出音訊剪輯。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出振動。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：決定輸入影像中的第一顯示器的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的第一顯示器的大小。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：決定輸入影像中的地標圖案的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的地標圖案的大小。

在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：影像感測器。在一些態樣，上述方法、裝置和電腦可讀取媒體亦包括：第二顯示器。

在一些態樣，該裝置是以下設備、以以下設備的一部分及/或包括以下設備：可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、行動設備（例如，行動電話或所謂的「智慧型電話」或其他行動設備）、無線通訊設備、相機、個人電腦、膝上型電腦、伺服器電腦、車輛或車輛的計算設備或部件、頭戴式顯示器（HMD）設備或其他設備。在一些態樣，該裝置包括用於擷取一或多個影像的一或多個相機。在一些態樣，該裝置亦包括用於顯示一或多個影像、通知及/或其他可顯示資料的顯示器。在一些態樣，上述裝置可以包括一或多個感測器（例如，一或多個慣性量測單元（IMU），諸如一或多個陀螺儀、一或多個加速度計、它們的任何組合及/或其他感測器）。

本發明內容既不意欲辨識所要求保護的主題的關鍵特徵或必要特徵，亦不意欲孤立於決定所要求保護的主題的範疇來使用。經由參考本專利的整個說明書的適當部分、任何或全部附圖以及每個請求項，應當能夠理解本主題。

經由參考以下說明書、申請專利範圍和附圖，前述以及其他特徵和實施例將變得更加顯而易見。

下文提供本案的某些態樣和實施例。對於本發明所屬領域中具有通常知識者將顯而易見的是，這些態樣和實施例中的一些可以獨立地應用，且它們中的一些可以相結合地應用。在以下描述中，出於解釋的目的，闡述了具體細節以便提供對本案的實施例的透徹理解。然而，將顯而易見的是，可以在沒有這些具體細節的情況下實踐各種實施例。附圖和描述並非意欲作為限制性的。

隨後的描述僅提供示例性實施例，並且並不意欲限制本案的範疇、適用性或配置。而是，對示例性實施例的隨後描述將向本發明所屬領域中具有通常知識者提供用於實現示例性實施例的有用描述。應當理解的是，在不脫離所附申請專利範圍所闡述的申請的精神和範疇的情況下，可以對元件的功能和佈置進行各種改變。

相機是一種使用影像感測器接收光並擷取影像訊框（諸如靜止影像或視訊訊框）的設備。術語「影像」、「影像訊框」和「訊框」在本文中可互換使用。相機可以以各種影像擷取和影像處理設置進行配置。不同的設置會導致影像具有不同的外觀。某些相機設置是在擷取一或多個影像訊框之前或期間決定和應用的，諸如ISO、曝光時間、光圈大小、f/stop、快門速度、聚焦和增益。例如，可以將設置或參數應用於影像感測器以擷取一或多個影像訊框。其他相機設置可以配置對一或多個影像訊框的後處理，諸如更改對比度、亮度、飽和度、銳度、色階、曲線或顏色。例如，可以將設置或參數應用於處理器（例如，影像訊號處理器或ISP）以處理由影像感測器擷取的一或多個影像訊框。

擴展現實（XR）設備是一種向使用者顯示環境的設備，並且可以包括例如頭戴式顯示器（HMD）、眼鏡（例如，增強現實（AR）眼鏡）、行動手持設備或其他設備。該環境至少部分不同於使用者和設備所在的真實世界環境，並且可以例如包括虛擬內容。在一些實例中，XR設備向使用者顯示的環境可以至少部分是虛擬的。在一些情況下，使用者可以互動地改變他們對XR設備顯示的環境的視野，例如經由傾斜XR設備及/或橫向移動XR設備。傾斜XR設備可以包括沿俯仰軸、偏航軸、滾轉軸或它們的組合的傾斜或旋轉。XR設備的橫向運動可以包括沿著在具有3個垂直軸（諸如X軸、Y軸和Z軸）的3維體積內繪製的路徑的橫向移動。僅追蹤XR設備旋轉的XR設備可以稱為具有三個自由度（3DoF）的XR設備。同時追蹤XR設備的傾斜和橫向移動的XR設備可以稱為具有六個自由度（6DoF）的XR設備。擴展現實（XR）可以包括虛擬實境（VR）、增強現實（AR）、混合現實（MR）或它們的組合。

XR設備可以包括感測器，諸如影像感測器（例如相機的影像感測器）、加速度計、陀螺儀、慣性量測單元（IMU）、光探測和測距（LIDAR）感測器、無線電探測和測距（RADAR）感測器、聲音探測和測距（SODAR）感測器、聲音導航和測距（SONAR）感測器、一或多個飛行時間（ToF）感測器、一或多個結構光感測器、一或多個麥克風、本文所述的一或多個其他感測器或它們的組合。當XR設備是HMD時，例如，兩個相機可以大致定位在HMD上與使用者左眼和右眼相對應的位置。XR設備可以使用由這些感測器擷取的資料來偵測XR設備在真實世界環境中的移動，例如，以便XR設備可以基於XR設備的旋轉及/或橫向移動互動式地更新使用者對環境的視野。XR設備的影像感測器可以用於擷取真實世界環境的視覺表示。一些XR設備亦可以使用由這些感測器擷取的資料來偵測及/或追蹤一或多個物件的特徵，諸如使用者或環境中的其他人的手部，例如經由使用特徵偵測、特徵辨識、特徵追蹤、物件偵測、物件辨識、物件追蹤、車輛偵測、車輛辨識、車輛追蹤、面部偵測、臉孔辨識、面部追蹤、人偵測、人辨識、人追蹤、動物偵測、動物辨識、動物追蹤，或它們的組合。XR設備可以經由XR設備的一或多個顯示器向XR設備的使用者顯示基於由其感測器擷取的感測器資料的內容（例如，由影像感測器擷取的環境的視覺表示）。

在XR的某些用例中，接收來自使用者的輸入很有用，例如用來控制虛擬物件、與介面互動、調整XR設備本身的設置及/或打開或關閉XR設備本身。例如，在基於XR的視訊遊戲中，使用者可以使用輸入來控制虛擬角色。使用者亦可以使用輸入來調整音量、控制XR設備正在為使用者播放的歌曲或視訊的重播（例如，經由像暫停、播放、倒帶、快進或滑擦之類的功能），等等。傳統的視訊遊戲控制器對於某些類型的輸入可能不精確，諸如精細滾動或滑動調整，並且對於使用者攜帶來說可能是笨重且不方便的。由於缺乏觸覺回饋和依賴於可能具有不一致的可靠性且可能需要XR設備的高功率消耗的手部追蹤，空中手勢可能並不精確。

具有基於顯示器的介面的顯示介面設備被使用者普遍使用，包括例如行動手持設備、平板設備、膝上型電腦、電視和智慧手錶。具有基於顯示器的介面的顯示介面設備可以包括例如具有可以在觸控式螢幕上顯示介面並經由觸控式螢幕接收輸入的觸控式螢幕介面的觸控式螢幕設備。具有基於顯示器的介面的顯示介面設備亦可以包括使用遊標、觸控板、小鍵盤、控制器、遙控器等與顯示的介面進行互動的設備。具有基於顯示器的介面的顯示介面設備可以接收精確的觸覺輸入，從而允許使用者與顯示的介面進行互動。例如，觸控式螢幕可以接收到對觸控式螢幕設備的基於觸覺的輸入，從而允許使用者以精確的方式與顯示的介面進行互動。然而，顯示介面設備傳統上並未與XR設備一起使用。在某些情況下，顯示螢幕上顯示的內容（諸如觸控式螢幕上顯示的介面）可能看起來不清楚，或者可能在由XR設備的影像感測器擷取的影像中包含一或多個視覺偽影，例如由於顯示螢幕的刷新率和XR設備的影像感測器的擷取率之間不同步或不匹配。

本文描述了用於使XR設備能夠利用一或多個顯示介面設備的技術。經由使用這種技術，XR可以為由XR設備呈現給使用者的XR內容提供虛擬介面。虛擬介面可以提供從顯示介面設備到XR設備的真實顯示介面輸入（例如，來自顯示介面設備的觸控式螢幕的真實的基於觸摸的輸入）。XR設備使用來自顯示介面設備的真實顯示介面輸入可以經由向提供輸入的使用者提供觸覺感覺（例如，觸控式螢幕、滑鼠、觸控板、鍵盤或控制器或遙控器的一或多個按鈕及/或操縱桿的觸覺感覺）來提高精確度，從而對可能不精確且缺乏觸覺感覺或回饋的空中手勢進行了改進。XR設備使用來自顯示介面設備的真實顯示介面輸入可以提高針對XR設備的某些類型輸入的精度，諸如精細滾動或滑動調整，通常經由空中手勢或缺少顯示介面元件的其他輸入其通常是不精確的。

由於顯示介面設備可以具有多種大小、螢幕尺寸和形狀因數，因此XR設備可能難以追蹤顯示介面設備的位置和取向。因此，XR設備可能難以追蹤使用者與顯示介面的互動。XR設備亦可能難以增強由XR設備經由其相機擷取的顯示介面設備的設備所顯示的介面的視覺表示，以便向XR設備的使用者顯示視覺表示的增強版本。

不同於為XR設備202顯示顯示介面，顯示介面設備可以被配置為顯示一或多個地標圖案。一或多個地標圖案可以被設計成使得XR設備可以有效地辨識由XR設備的相機擷取的影像資料中的地標圖案的視覺表示。一或多個地標圖案可以被設計成使得XR設備可以隨著時間推移有效地追蹤影像資料中地標圖案的視覺表示的位姿及/或大小。位姿可以包括位置（例如，影像中的二維座標及/或環境中的三維座標）、取向（例如，俯仰、偏航及/或滾轉）或它們的組合。大小可以包括三維體積、二維面積及/或一維量測值（例如，高度、寬度）。大小可以是絕對的或相對的。經由追蹤地標圖案的位姿，XR設備亦可以追蹤顯示介面設備的顯示器的位姿及/或大小。

在一些實例中，一或多個地標圖案可包括一或多個快速回應（QR）碼、一或多個微QR碼、一或多個條碼、一或多個MaxiCode、一或多個Aztec碼、一或多個PDF417碼、一或多個ArUco代碼、一或多個資料矩陣、一或多個網格矩陣、一或多個code one碼、一或多個堆疊條碼、一或多個shotcode、一或多個JAB碼、一或多個高容量彩色條碼（HCCB）、一或多個二維（2D）條碼、一或多個三維（3D）條碼、一或多個棋盤圖案、一或多個另一種類型的可辨識符形或圖案，或它們的組合。在XR設備向其使用者顯示的輸出影像中，XR設備可以將虛擬介面覆蓋在地標圖案上、用虛擬介面替換地標圖案，或它們的組合。虛擬介面的位姿及/或大小可以基於地標圖案的位姿及/或大小，及/或基於顯示介面設備的顯示器的位姿及/或大小。例如，XR設備可以對虛擬介面進行定位、移動、調整大小、重新取樣、重新縮放、上取樣、上縮放、下取樣、下縮放、放大、縮小、旋轉、傾斜、扭曲（例如，透視扭曲）及/或失真（例如，透視失真）以用於類比地標圖案及/或顯示介面設備的顯示器的位姿及/或大小。

在說明性實例中，XR設備可以使用XR設備的影像感測器來擷取場景的影像。該場景包括正在其顯示器上顯示地標圖案的顯示介面設備的顯示器的至少一部分。顯示器位於XR設備的影像感測器的視野中，並且影像至少圖示了顯示介面設備的顯示器上所顯示的地標圖案。XR設備可以在場景的影像中偵測及/或辨識在顯示介面設備的顯示器上顯示的地標圖案的視覺表示（例如，圖示）。XR設備可以基於地標圖案的視覺表示來決定地標圖案的位姿及/或大小，由此決定顯示介面設備的顯示器的位姿及/或大小。XR設備可以基於場景的影像並且基於顯示介面設備的顯示器的位姿及/或大小來產生輸出影像。例如，輸出影像可以是所擷取的影像的修改變體，其中XR設備將虛擬介面覆蓋在地標圖案的視覺表示上，在某些情況下用虛擬介面替換地標圖案的視覺表示。XR設備可以對虛擬介面進行定位、定向、調整大小、旋轉、傾斜、扭曲及/或失真以具有基於地標圖案的辨識位姿及/或顯示介面設備的顯示器的辨識位姿的虛擬位姿、模擬位姿。XR設備可以對虛擬介面進行定位、定向、調整大小、旋轉、傾斜、扭曲及/或失真以具有基於地標圖案的辨識大小及/或顯示介面設備的顯示器的辨識大小的虛擬大小及/或模擬大小。XR設備可以經由XR設備的一或多個顯示器向使用者顯示輸出影像。因此，對於XR設備的使用者，虛擬介面可以看起來顯示在顯示介面設備250的顯示器上，在地標圖案的頂部上及/或作為地標圖案的替代。

如前述，經由為XR設備提供顯示介面設備的顯示介面，XR設備可以經由該顯示介面接收來自顯示介面設備的顯示介面輸入，可以提高XR設備使用的輸入的精度，並且可以為提供輸入的使用者提供觸覺感覺，從而相比於空中手勢進行了改進。同樣，經由為XR設備提供顯示介面，XR設備可以經由該顯示介面接收來自顯示介面設備的顯示介面輸入，可以提高XR設備的某些類型的輸入的精度，諸如精細滾動或滑動調整，經由遊戲控制器（沒有對應的顯示介面）、空中手勢或者缺少對應顯示介面的其他輸入操作這些輸入通常是不精確的。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案可以確保在由XR設備向使用者顯示時虛擬介面看起來清晰且銳利，從而避免任何視覺偽影（例如，掃瞄線或色差），該視覺偽影是由顯示介面設備的顯示器的刷新率與XR設備的影像感測器的擷取率之間的不同步或不匹配及/或由來自顯示介面設備的顯示器的光與XR設備的影像擷取硬體的鏡頭及/或其他光學元件之間的相互作用反而可能導致的。因此，技術改進包括減少或消除這種視覺偽影，以及改進使用XR設備的顯示器向XR設備的使用者顯示的介面的清晰度和銳度。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案亦可以允許虛擬介面比在顯示介面設備的顯示器上可能出現的更清晰，例如允許虛擬介面超過顯示介面設備的顯示器的有限解析度及/或色域及/或顏色覆蓋。因此，技術改進包括對介面的解析度、清晰度及/或銳度的改進。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案可以允許虛擬介面看起來比在顯示介面設備的顯示器上可能出現的更加豐富多彩，例如允許虛擬介面在即使顯示介面設備的顯示器是單色或有限顏色的顯示器（例如，電子書閱讀器設備中使用的電子墨水顯示器或電子紙顯示器）的情況下也是全彩色的。因此，技術改進包括對介面顏色及/或功能的改進。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案亦可以允許虛擬介面的部分擴展超出顯示介面設備的顯示器及/或顯示介面設備本身的實體尺寸。例如，虛擬介面的部分可以看起來延伸超出顯示介面設備的顯示器的邊緣，及/或超出顯示介面設備本身的邊緣。因此，技術改進包括改進介面的維度及/或大小。顯示介面設備亦可以向使用者提供振動回饋，例如作為按鈕按壓的觸覺回饋、基於觸摸的互動、基於對偵測到某些事件或條件（例如，視訊遊戲事件）「隆隆」振動，或它們的組合。因此，技術改進包括對來自介面互動的回饋的改進。瞭解在XR設備處將以何種方式查看地標圖案亦可以允許XR設備以更高的準確度辨識遮擋地標圖案的至少一部分的任何遮擋物（例如，使用者的手指及/或手部）的精確量測和邊界——並允許XR設備準確地再現遮擋物以遮擋虛擬介面的對應部分。因此，技術改進包括對遮擋物表示和準確性的改進。不同的地標圖案可以根據預設的時間表隨時間在顯示介面設備的顯示器上顯示，從而允許XR設備基於在顯示介面設備改變地標圖案與XR設備偵測到地標圖案的一個改變之間的時間差來改進延遲偵測並由此改進顯示介面設備與XR設備之間的時間同步。因此，技術改進包括改進顯示介面輸入到時間的映射，以及改進顯示介面輸入到虛擬介面的同步。將虛擬介面覆蓋在地標圖案上及/或用虛擬介面替換地標圖案亦可以允許虛擬介面對XR設備的使用者保持私有，因為任何看到顯示介面設備的顯示器的並非XR設備的使用者的人僅看到地標圖案，而不是XR設備覆蓋在地標圖案之上的虛擬介面。因此，技術改進包括關於介面對安全性和隱私性的改進。

圖1是示出影像擷取和處理系統100的架構的方塊圖。影像擷取和處理系統100包括用於擷取和處理場景的影像（例如，場景110的影像）的各種部件。影像擷取和處理系統100可以擷取獨立的影像（或照片）及/或可以擷取包括特定序列中的多個影像（或視訊訊框）的視訊。系統100的鏡頭115面向場景110並接收來自場景110的光。鏡頭115使光朝向影像感測器130彎曲。由鏡頭115接收的光經由由一或多個控制機構120控制的光圈並被影像感測器130接收。

一或多個控制機構120可以基於來自影像感測器130的資訊及/或基於來自影像處理器150的資訊來控制曝光、聚焦及/或變焦。一或多個控制機構120可以包括多個機構和部件；例如，控制機構120可以包括一或多個曝光控制機構125A、一或多個聚焦控制機構125B及/或一或多個變焦控制機構125C。一或多個控制機構120亦可以包括除了所示出的那些之外的額外控制機構，諸如控制模擬增益、閃光、HDR、景深及/或其他影像擷取屬性的控制機構。

控制機構120的聚焦控制機構125B可以獲得聚焦設置。在一些實例中，聚焦控制機構125B將聚焦設置儲存在記憶體暫存器中。基於聚焦設置，聚焦控制機構125B可以相對於影像感測器130的位置調整鏡頭115的位置。例如，基於聚焦設置，聚焦控制機構125B可以經由致動馬達或伺服器將鏡頭115移動到更靠近影像感測器130或更遠離影像感測器130，從而調整聚焦。在一些情況下，系統100中可以包括額外的鏡頭，諸如影像感測器130的每個光電二極體上的一或多個微鏡頭，每個微鏡頭使從鏡頭115接收的光在光到達光電二極體之前朝向對應的光電二極體彎曲。可以經由對比度偵測自動聚焦（CDAF）、相位偵測自動聚焦（PDAF）或它們的某種組合來決定聚焦設置。可以使用控制機構120、影像感測器130及/或影像處理器150來決定聚焦設置。聚焦設置可以稱為影像擷取設置及/或影像處理設置。

控制機構120的曝光控制機構125A可以獲得曝光設置。在一些情況下，曝光控制機構125A將曝光設置儲存在記憶體暫存器中。基於該曝光設置，曝光控制機構125A可以控制光圈的大小（例如，光圈大小或f/stop）、光圈打開的持續時間（例如，曝光時間或快門速度）、影像感測器130的靈敏度（例如，ISO速度或膠片速度）、影像感測器130應用的類比增益或它們的任意組合。曝光設置可以稱為影像擷取設置及/或影像處理設置。

控制機構120的變焦控制機構125C可以獲得變焦設置。在一些實例中，變焦控制機構125C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構125C可以控制包括鏡頭115和一或多個額外鏡頭的鏡頭元件組件（鏡頭組件）的焦距。例如，變焦控制機構125C可以經由致動一或多個馬達或伺服器以使一或多個鏡頭相對於彼此移動來控制鏡頭組件的焦距。變焦設置可以稱為影像擷取設置及/或影像處理設置。在一些實例中，鏡頭組件可以包括齊焦變焦鏡頭或可變焦距變焦鏡頭。在一些實例中，鏡頭組件可以包括首先接收來自場景110的光的聚焦鏡頭（在某些情況下可以是鏡頭115），隨後在光到達影像感測器130之前光經由聚焦鏡頭（例如，鏡頭115）與影像感測器130之間的無焦變焦系統。在某些情況下，無焦變焦系統可以包括兩個焦距相等或相似（例如，在閾值差內）的正（例如，會聚、凸）鏡頭和它們之間的負（例如，發散、凹）鏡頭。在一些情況下，變焦控制機構125C移動無焦變焦系統中的一或多個鏡頭，諸如負鏡頭和一個或兩個正鏡頭。

影像感測器130包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體量測最終與由影像感測器130產生的影像中的特定圖元相對應的光量。在某些情況下，不同的光電二極體可能被不同的濾色器覆蓋，並且由此可以量測與覆蓋光電二極體的濾光器的顏色相匹配的光。例如，拜耳濾色器包括紅色濾色器、藍色濾色器和綠色濾色器，其中影像的每個圖元基於來自覆蓋在紅色濾色器中的至少一個光電二極體的紅光資料、來自覆蓋在藍色濾色器中的至少一個光電二極體的藍光資料以及來自個覆蓋在綠色濾色器的中的至少一個光電二極體的綠光資料產生。其他類型的濾色器可以使用黃色、品紅色及/或青色（亦稱為「翡翠色」）濾色器來代替紅色、藍色及/或綠色濾色器或作為它們的補充。一些影像感測器可能完全沒有濾色器，而是可能在整個圖元陣列中使用不同的光電二極體（在某些情況下垂直堆疊）。整個圖元陣列中的不同光電二極體可以具有不同的光譜靈敏度曲線，因此對不同波長的光進行回應。單色影像感測器亦可能缺少濾色器，因此缺少色深。

在一些情況下，影像感測器130可替代地或補充地包括不透明及/或反射遮罩，其阻止光在某些時間及/或從某些角度到達某些光電二極體或某些光電二極體的部分，這可用於相位偵測自動聚焦（PDAF）。影像感測器130亦可以包括模擬增益放大器以放大由光電二極體輸出的類比訊號及/或類比數位轉換器（ADC）以將光電二極體的類比訊號輸出（及/或由類比增益放大器放大的訊號）轉換成數位訊號。在一些情況下，關於控制機構120中的一或多個所論述的某些部件或功能可以替代地或補充地包括在影像感測器130中。影像感測器130可以是電荷耦合裝置（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬-氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如sCMOS）或它們的一些其他組合。

影像處理器150可以包括一或多個處理器，諸如一或多個影像訊號處理器（ISP）（包括ISP 154）、一或多個主處理器（包括主處理器152）及/或關於計算設備1200所論述的任何其他類型的處理器1210中的一或多個。主處理器152可以是數位訊號處理器（DSP）及/或其他類型的處理器。在一些具體實施中，影像處理器150是包括主處理器152和ISP 154的單個積體電路或晶片（例如，稱為片上系統或SoC）。在一些情況下，晶片亦可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠156）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接部件（例如，藍芽（Bluetooth _TM）、全球定位系統（GPS）等）、它們的任何組合及/或其他部件。I/O埠156可以包括根據一或多個協定或規範的任何合適的輸入/輸出埠或介面，諸如內部積體電路2（I2C）介面、內部積體電路3（I3C）介面、串列外設介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體（PHY）層埠或介面、高級高效能匯流排（AHB）匯流排、它們的任何組合及/或其他輸入/輸出埠。在一個說明性實例中，主處理器152可以使用I2C埠與影像感測器130通訊，並且ISP 154可以使用MIPI埠與影像感測器130通訊。

影像處理器150可以執行多種任務，諸如去馬賽克、色彩空間轉換、影像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、合併影像訊框以形成HDR影像、影像辨識、物件辨識、特徵辨識、輸入接收、管理輸出、管理記憶體或它們的某種組合。影像處理器150可以將影像訊框及/或經處理的影像儲存在隨機存取記憶體（RAM）140及/或1225、唯讀記憶體（ROM）145及/或1220、快取記憶體、記憶體單元、另一個存放裝置、或它們的某種組合中。

各種輸入/輸出（I/O）設備160可以連接到影像處理器150。I/O設備160可以包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸敏表面、印表機、任何其他輸出設備1235、任何其他輸入設備1245或它們的某種組合。在一些情況下，可以經由I/O設備160的實體鍵盤或小鍵盤，或者經由I/O設備160的觸控式螢幕的虛擬鍵盤或小鍵盤，將字幕輸入到影像處理設備105B中。I/O 160可以包括一或多個埠、插孔或其他連接器，其實現系統100與一或多個周邊設備之間的有線連接，系統100可經由該有線連接從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。I/O 160可以包括一或多個無線收發器，其實現系統100與一或多個周邊設備之間的無線連接，系統100可經由該無線連接從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。周邊設備可以包括任何先前論述的類型的I/O設備160，並且一旦它們耦接到埠、插孔、無線收發器或其他有線及/或無線連接器，它們本身就可以被認為是I/O設備160。

在一些情況下，影像擷取和處理系統100可以是單個設備。在一些情況下，影像擷取和處理系統100可以是兩個或兩個以上單獨的設備，包括影像擷取設備105A（例如，相機）和影像處理設備105B（例如，耦接到相機的計算設備）。在一些具體實施中，影像擷取設備105A和影像處理設備105B可以例如經由一或多個電線、電纜或其他電連接器及/或經由一或多個無線收發器無線地耦接在一起。在一些具體實施中，影像擷取設備105A和影像處理設備105B可以彼此斷開。

如圖1所示，垂直虛線將圖1的影像擷取和處理系統100分成兩個部分，它們分別表示影像擷取設備105A和影像處理設備105B。影像擷取設備105A包括鏡頭115、控制機構120和影像感測器130。影像處理設備105B包括影像處理器150（包括ISP 154和主處理器152）、RAM 140、ROM 145和I/O 160。在一些情況下，影像擷取設備105A中所示的某些部件，諸如ISP 154及/或主處理器152，可以被包括在影像擷取設備105A中。

影像擷取和處理系統100可以包括電子設備，諸如行動或固定電話手持機（例如，智慧手機、蜂巢式電話等）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊流媒體設備、網際網路協定（IP）相機或任何其他合適的電子設備。在一些實例中，影像擷取和處理系統100可以包括用於無線通訊的一或多個無線收發器，諸如蜂巢網路通訊、802.11wi-fi通訊、無線區域網路（WLAN）通訊或它們的某種組合。在一些具體實施中，影像擷取設備105A和影像處理設備105B可以是不同的設備。例如，影像擷取設備105A可以包括相機設備，並且影像處理設備105B可以包括計算設備，諸如行動手持設備、桌上型電腦或其他計算設備。

儘管影像擷取和處理系統100被顯示為包括某些部件，但具有通常知識者將理解，影像擷取和處理系統100可以包括比圖1中所示的部件更多的部件。影像擷取和處理系統100的部件可以包括軟體、硬體或軟體和硬體的一或多個組合。例如，在一些具體實施中，影像擷取和處理系統100的部件可以包括及/或可以使用電子電路或其他電子硬體來實現，這些電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或它們的任何組合來實現，以執行本文描述的各種操作。軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上並且可由實現影像擷取和處理系統100的電子設備的一或多個處理器執行的一或多個指令。

本文描述了用於使用顯示介面設備為XR設備提供虛擬介面的系統、裝置、程序和電腦可讀取媒體。在一些實例中，顯示介面設備可以是包括觸控式螢幕的觸控式螢幕設備。顯示介面設備可以包括一或多個顯示介面以用於與顯示器上顯示的介面互動，諸如觸控式螢幕、控制顯示器上的遊標或其他顯示元件的滑鼠、控制顯示器上的遊標或其他顯示元件的觸控板、控制顯示器上的本文輸入及/或遊標或其他顯示元件的小鍵盤、控制顯示器上的本文輸入及/或遊標或其他顯示元件的控制器、控制顯示器上的本文輸入及/或遊標或其他顯示元件的遙控器、用於使用（例如，XR設備及/或顯示介面設備的）相機手部追蹤與顯示器的互動的手部追蹤器、用於使用（例如，XR設備及/或顯示介面設備的）的主動深度感測器（例如，RADAR、LIDAR、SONAR、SODAR、結構光、飛行時間）手部追蹤與顯示器的互動的手部追蹤器、用於使用（例如,XR設備及/或顯示介面設備的）超聲感測器手部追蹤與顯示器的互動的手部追蹤及、提供與顯示器相關聯的輸入介面的另一個輸入設備1245，或它們的組合。XR設備可以包括可以擷取一或多個影像的一或多個相機。一或多個相機可各自包括影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像感測器130或它們的組合。XR設備可以處理影像並在影像內偵測在影像感測器的視野中的顯示介面設備的顯示器上顯示的地標圖案的圖示。XR設備202可以在影像內偵測影像中地標圖案的位姿及/或大小，並且可以將虛擬介面覆蓋在地標圖案上，使得虛擬介面在XR設備向其使用者顯示的輸出影像中具有對應的位姿及/或大小。

圖2是示出根據一些實例的具有XR設備202和顯示介面設備250的擴展現實（XR）系統200的實例架構的方塊圖。顯示介面設備250可以稱為顯示裝置。XR系統200的XR設備202包括可以由XR設備202的記憶體儲存及/或由XR設備202的一或多個處理器執行的XR應用程式204。XR設備202包括一或多個慣性感測器216，其可以包括一或多個加速度計、一或多個陀螺儀、一或多個定位接收器、一或多個慣性量測單元（IMU）或它們的組合。定位接收器可以包括全球導航衛星系統（GNSS）接收器，諸如全球定位系統（GPS）接收器。定位接收器可以包括基於信標的短距離無線訊號接收器，其從發射短距離無線訊號的信標設備接收短距離無線訊號。定位接收器可以包括無線區域網路（WLAN）接收器，諸如Wi-Fi接收器。定位接收器可以包括蜂巢網路接收器，諸如3G、4G、LTE或5G網路接收器。經由使用一或多個慣性感測器216，XR設備202（例如，XR應用程式）可以執行對XR設備202的慣性追蹤218。在一些實例中，慣性追蹤218可以經由XR設備202的XR應用程式204、經由XR設備202的慣性追蹤引擎、經由XR設備202的處理器或它們的組合來執行。慣性追蹤218可以包括追蹤XR設備202在其真實世界環境中的位姿。XR設備202的位姿可以包括XR設備202的位置（例如，環境中的三維座標及/或二維座標，諸如緯度和經度）、取向（例如，俯仰、偏航及/或滾轉），或它們的組合。慣性追蹤218可以包括以3個自由度（3DoF）、6個自由度（6DoF）或它們的組合追蹤XR設備202的位姿。

XR設備202可以包括一或多個影像感測器220。一或多個影像感測器220可以各自是圖1的影像感測器130的實例。在一些實例中，一或多個影像感測器220中的每一個包括圖1的影像擷取設備105A、影像處理設備105B、影像擷取和處理系統100、或它們的組合。一或多個影像感測器220可以擷取場景的一或多個影像。在一些實例中，場景可以包括顯示介面設備250的至少一部分，使得場景的一或多個影像圖示顯示介面設備250的至少一部分（例如，顯示器260及/或顯示介面261的至少一部分）。圖2中圖示一個陰影三角形，從表示一或多個影像感測器220的方塊向右延伸。陰影三角形表示一或多個影像感測器220的可能視野（FOV）。陰影三角形延伸到顯示介面設備250中表示顯示介面設備250的顯示器260及/或顯示介面261的方塊，指示一或多個影像感測器220的FOV可以包括顯示介面設備250的顯示器260及/或顯示介面261的至少一部分。在一些實例中，顯示器260可以是觸控式螢幕顯示器的顯示器，並且顯示介面261可以是觸控式螢幕顯示器的觸敏層。在顯示器260及/或顯示介面261是觸控式螢幕顯示器的實例中，

XR設備202的一或多個影像感測器220擷取的一或多個影像可用於慣性追蹤218。例如，由XR設備202的一或多個影像感測器220擷取的一或多個影像可以包括連續的視訊訊框，這些視訊訊框可以相互比較以辨識對XR設備202的一或多個影像感測器220的FOV的改變，其指示XR設備202沿著6DoF中一或多個DoF的移動。由XR設備202的一或多個影像感測器220擷取的一或多個影像可用於手部追蹤222，以追蹤XR設備202的使用者的一隻或兩隻手的位姿及/或XR設備202的一或多個影像感測器220的FOV中的其他個體的一隻或多隻手。在一些實例中，手部追蹤222可以經由XR設備202的XR應用程式204、經由XR設備202的手部追蹤引擎、經由XR設備202的處理器或它們的組合來執行。在一些實例中，手部追蹤222利用特徵偵測、特徵辨識、特徵追蹤、物件偵測、物件辨識、物件追蹤、手部偵測、手部辨識、手部追蹤、手指偵測、手指辨識、手指追蹤、人偵測、人辨識、人追蹤、面部偵測、臉孔辨識、面部追蹤、面部偵測或它們的組合。在一些實例中，來自慣性追蹤218的慣性追蹤資料（例如，指示XR設備202的位姿）亦可以被XR設備202用於執行手部追蹤222，例如説明辨識在由影像感測器220擷取的影像中手部的哪些移動實際上表示手部在環境中的移動，以及在由影像感測器擷取的影像中手部的哪些移動是由XR設備202在環境中的移動引起的。

由XR設備202的一或多個影像感測器220擷取的一或多個影像可以用於顯示介面設備追蹤224，以追蹤顯示介面設備250的位姿，例如經由偵測和追蹤由顯示介面設備250的顯示器260及/或顯示介面261顯示的地標圖案的位姿及/或大小。顯示介面設備追蹤224可以經由XR設備202的XR應用程式204、經由XR設備202的顯示介面設備追蹤引擎、經由XR設備202的處理器或它們的組合來執行。如前述，位姿可以包括位置（例如，影像中的二維座標及/或環境中的三維座標）、取向（例如，俯仰、偏航及/或滾轉）或它們的組合。大小可以包括三維體積、二維面積及/或一維量測值（例如，高度、寬度）。大小可以包括絕對大小及/或相對大小（相對於影像資料中的其他內容）。地標圖案的大小可以被辨識為絕對大小或相對於影像資料中的另一大小（例如，顯示介面設備250及/或其顯示器的大小）的大小。

在一些實例中，XR設備202可以儲存地標圖案的參考副本，或表徵地標圖案的資料及/或可以用於重新建立地標圖案的參考副本（例如，由地標圖案的QR碼或條碼或其他編碼方案編碼的資料）的地標圖案資料。XR設備202可以將由XR設備202的一或多個影像感測器220擷取的一或多個影像中的地標圖案的圖示與所儲存的地標圖案的參考副本進行比較，以辨識地標圖案的圖示如何在一或多個影像中已相對於所儲存的地標圖案的參考副本被定位、移動、調整大小、重新縮放、重新取樣、旋轉、傾斜、扭曲（例如，透視扭曲）及/或失真（例如，透視失真）。以此方式，XR設備202可以辨識地標圖案的位姿，該位姿可以與顯示介面設備250的顯示器260及/或顯示介面261的位姿相匹配。類似地，XR設備202可以辨識地標圖案的大小，並且可以基於地標圖案的大小決定顯示介面設備250的顯示器260及/或顯示介面261的大小。在一些實例中，顯示介面設備追蹤224利用特徵偵測、特徵辨識、特徵追蹤、物件偵測、物件辨識、物件追蹤或它們的組合。

例如，地標圖案的位姿可以是顯示介面設備250的顯示器260的位姿。顯示介面設備250可以被配置為並且能夠顯示地標圖案，使得地標圖案覆蓋顯示器260的表面的預定量或比例（例如，10%、20%、30%、40%、50%、60%、70%、80%、90%、100%或介於前面列出的任意兩個值之間的值）。例如，若顯示介面設備250被配置為在顯示器260的100％上顯示地標圖案，則XR設備202可以決定顯示器260的大小等於地標圖案的大小。若顯示介面設備250被配置為在顯示器260的50%上顯示地標圖案，則XR設備202可以決定顯示器260的大小可以是地標圖案大小的兩倍，等等。

在一些實例中，XR設備202亦可以獨立於追蹤地標圖案來追蹤顯示器260及/或顯示介面設備250的位姿及/或大小，例如基於經由顯示器260及/或顯示介面設備250的一或多個拐角及/或邊緣的特徵進行的特徵提取、特徵偵測和辨識。在一些實例中，顯示介面設備250可以在顯示器260上至少靠近顯示器260的一或多個邊緣及/或拐角顯示其他內容（例如，高度飽和的顏色或圖案，或在本文中所辨識亦可以作為地標圖案的內容），以使XR設備202更容易基於顯示器260的邊緣及/或拐角來辨識和提取特徵。在一些實例中，顯示介面設備250可以將關於顯示介面設備250的資訊發送到XR設備202（例如，作為方塊272的一部分，經由無線收發器270），並且XR設備202可以從顯示介面設備250接收關於顯示介面設備250的資訊（例如，作為方塊228的一部分，經由無線收發器230）。在一些情況下，關於顯示介面設備250的資訊可以辨識顯示器260、顯示介面261及/或顯示介面設備250的大小及/或尺寸。在一些情況下，關於顯示介面設備250的資訊可以包括顯示介面設備250的辨識符（例如，型號名稱及/或品牌），XR設備202可以基於該辨識符決定顯示器260、顯示介面261及/或顯示介面設備250的大小及/或尺寸（例如，經由使用顯示介面設備250的辨識符來查詢資料庫或表或其他資料結構）。在一些實例中，回應於XR設備202向顯示介面設備250發送對關於顯示介面設備250的資訊的請求，顯示介面設備250可以向XR設備202發送關於顯示介面設備250的資訊（例如，作為方塊226的一部分，經由無線收發器230），並且顯示介面設備250從XR設備202接收請求（例如，作為方塊274的一部分，經由無線收發器270）。對於將虛擬介面及/或虛擬內容縮放到更大以用於更大的顯示器260及/或顯示介面設備250，以及縮放到更小以用於更小的顯示器260及/或顯示介面設備250來說，顯示器260、顯示在其上的地標圖案、顯示介面261及/或顯示介面設備250的大小可能是重要的。

在一些實例中，來自慣性追蹤218的慣性追蹤資料（例如，指示XR設備202的位姿）亦可以被XR設備202用於執行顯示介面設備追蹤224，例如説明辨識在由影像感測器220擷取的影像中顯示介面設備250的哪些移動實際上表示顯示介面設備250在環境中的移動，以及在由影像感測器擷取的影像中顯示介面設備250的哪些移動是由XR設備202在環境中的移動引起的。在一些實例中，來自手部追蹤222的手部追蹤資料（例如，指示手部的位姿）亦可以被XR設備202用於執行顯示介面設備追蹤224，例如經由追蹤正在握持顯示介面設備250及/或與顯示介面設備互動的手部的位姿來説明辨識顯示介面設備250的位姿。在一些實例中，來自顯示介面設備追蹤224的顯示介面設備追蹤資料（例如，指示顯示介面設備250的位姿）可以被XR設備202用於執行手部追蹤222，例如經由追蹤顯示介面設備250的位姿來説明辨識正在握持顯示介面設備250及/或與顯示介面設備互動的手部的位姿。在一些實例中，來自手部追蹤222的手部追蹤資料（例如，指示手部的位姿）亦可以被XR設備202用於執行慣性追蹤218，例如説明辨識XR設備202相對於環境中的一隻或多隻手的位姿。在一些實例中，來自顯示介面設備追蹤224的顯示介面設備追蹤資料（例如，指示顯示介面設備250的位姿）可以被XR設備202用於執行慣性追蹤218，例如説明辨識XR設備202相對於環境中的顯示介面設備250的位姿。

XR應用程式204可以包括地標圖案產生器214。在一些實例中，XR應用程式204的地標圖案產生器214可以產生要在顯示介面設備250的顯示器260處顯示的地標圖案。XR應用程式204的地標圖案產生器214亦可以在XR設備202處儲存地標圖案的參考副本，XR設備202可以經由將由影像感測器220擷取到影像中的地標圖案的圖示與地標圖案的參考副本進行比較來將其用於顯示介面設備追蹤224。在一些實例中，XR應用程式204的地標圖案產生器214可以產生初始地標圖案資料，XR設備202或顯示介面設備250（例如，地標圖案產生器258）可以使用該初始地標圖案資料來實際產生地標圖案。地標圖案可以是或可以包括線性字形，諸如線性條碼。地標圖案可以是或可以包括二維（2D）字形，諸如2D條碼、快速回應（QR）碼、微QR碼、條碼、MaxiCode、Aztec碼、PDF417碼、ArUco碼、資料矩陣、網格矩陣、code one碼、堆疊條碼、shotcode、JAB碼、高容量彩色條碼（HCCB）、棋盤圖案或它們的組合中的任何一或多個。地標圖案可以是或可以包括三維（3D）字形，諸如3D條碼。地標圖案可以是或可以包括一或多個預定顏色（例如，可以在影像中突出的高度飽和的顏色）。地標圖案可以是或可以包括另一種類型的可辨識符形或圖案。在一些實例中，地標圖案可以對初始地標圖案資料進行視覺編碼。例如，條碼、QR碼、Aztec碼、MaxiCode、PDF417碼以及上面決定的許多其他地標圖案實例是資料的視覺編碼方案，並且可以用於對字串及/或其他類型的資料進行視覺編碼。初始地標圖案資料可以包括在此類地標圖案中視覺編碼的字串及/或其他類型的資料。

XR設備202可以包括一或多個無線收發器230。XR設備202可以使用一或多個無線收發器230將地標圖案資料（方塊226）發送到顯示介面設備250。發送地標圖案資料（方塊226）可以由XR設備202的XR應用程式204、無線收發器230、XR設備202的處理器或它們的組合來執行。顯示介面設備250可以在顯示介面設備250的一或多個無線收發器270處接收地標圖案資料（方塊274）。接收地標圖案資料（方塊274）可以由顯示介面設備250的顯示介面應用程式252、無線收發器270、顯示介面設備250的處理器或它們的組合來執行。從XR設備202發送到顯示介面設備250（方塊226）並在顯示介面設備250處接收（方塊274）的地標圖案資料可以包括地標圖案本身，例如，若XR設備202完全在XR設備202的地標圖案產生器214處產生地標圖案的話。從XR設備202發送到顯示介面設備250（方塊226）並在顯示介面設備250處接收（方塊274）的地標圖案資料可以包括初始地標圖案資料，該初始地標圖案資料表示地標圖案使用視覺編碼方案（例如，QR碼、Aztec碼等）進行編碼的資料，例如，若XR設備202在XR設備202的地標圖案產生器214處產生初始地標圖案資料的話。

XR系統200的顯示介面設備250包括顯示介面應用程式252，其可以由顯示介面設備250的記憶體儲存及/或由顯示介面設備250的一或多個處理器執行。顯示介面應用程式252可以包括地標圖案產生器258。地標圖案產生器258可以產生要在顯示介面設備250的觸控式螢幕260上顯示的地標圖案。顯示介面設備250可以如前述使用顯示介面設備250的無線收發器270從XR設備202接收地標圖案資料（方塊274）。在一些實例中，顯示介面設備250的顯示介面應用程式252的地標圖案產生器258基於由顯示介面設備250從XR設備202所接收的地標圖案資料（方塊274）來產生地標圖案。如前述，顯示介面設備250從XR設備202所接收的地標圖案資料（方塊274）可以包括地標圖案本身。若所接收的地標圖案資料（方塊274）包括地標圖案本身，則地標圖案產生器258可以經由使用在由顯示介面設備250從XR設備202接收的地標圖案資料（方塊274）中接收到的地標圖案來產生地標圖案。若所接收的地標圖案資料（方塊274）包括地標圖案本身，則地標圖案產生器258可以經由調整大小、重新取樣、旋轉及/或以其他方式處理在由顯示介面設備250從XR設備202接收的地標圖案資料（方塊274）中接收到的地標圖案來產生地標圖案。如前述，由顯示介面設備250從XR設備202接收的地標圖案資料（方塊274）可以包括初始地標圖案資料，該初始地標圖案資料表示地標圖案使用視覺編碼方案（例如，QR碼、Aztec碼等）進行編碼的地標圖案的資料。若所接收的地標圖案資料（方塊274）包括初始地標圖案資料，則地標圖案產生器258可以經由使用視覺編碼方案對初始地標圖案資料進行編碼來產生地標圖案。

在一些實例中，顯示介面設備250的顯示介面應用程式252的地標圖案產生器258產生地標圖案，而無需基於在顯示介面設備250處從XR設備202接收的地標圖案資料（在方塊274處）。例如，地標圖案產生器258可以完全由其自身產生初始地標圖案資料及/或地標圖案本身。顯示介面設備250可以使用其無線收發器270向XR設備202發送地標圖案資料（方塊272）。XR設備202可以使用其無線收發器230接收地標圖案資料（方塊228），XR設備202可以使用該地標圖案資料來將參考地標圖案以與由XR設備202的影像感測器220擷取的影像中的地標圖案的圖示進行比較。接收地標圖案資料（方塊228）可以由XR設備202的XR應用程式204、無線收發器230、XR設備202的處理器或它們的組合來執行。從顯示介面設備250發送到XR設備202（方塊272）並由XR設備202從顯示介面設備250接收（方塊228）的地標圖案資料可以包括初始地標圖案資料及/或地標圖案本身。若所接收的地標圖案資料（方塊228）包括初始地標圖案資料，則地標圖案產生器214可以經由使用視覺編碼方案對初始地標圖案資料進行編碼來產生地標圖案。

顯示介面設備250可以在其顯示器260及/或顯示介面261上顯示內容262。顯示內容262可以由顯示介面設備250的顯示介面應用程式252、顯示介面產生器254、地標圖案產生器258、顯示器260、顯示介面261、顯示器260的顯示控制器、由顯示介面設備250的處理器或它們的組合來執行。由顯示介面設備250在顯示器260及/或顯示介面261上顯示的內容（方塊262）可以包括一或多個地標圖案，其可以由地標圖案產生器214、地標圖案產生器258或它們的組合來產生。由顯示介面設備250在顯示器260及/或顯示介面261上顯示的內容（方塊262）可以包括由觸控式螢幕介面產生器254產生的顯示介面。在某些情況下，由觸控式螢幕介面產生器254產生並在顯示介面設備250的顯示器260上顯示的顯示介面可以在XR設備202所輸出的輸出影像中保持可見。例如，XR設備202可以將虛擬介面覆蓋在顯示介面設備250的顯示器260及/或顯示介面261上顯示的某些內容（例如，地標圖案）及/或將其替換而不是顯示的介面，從而無需將虛擬介面覆蓋在顯示介面上及/或替換顯示的介面。這種顯示的介面的實例包括圖7A至圖7B的顯示的介面710，如圖7B所示，該顯示的介面對佩戴XR設備520的使用者505仍然可見。顯示介面可以包括一或多個互動式的基於觸摸的介面元件，諸如按鈕、滑塊、捲軸、選項按鈕、核取方塊、旋鈕、滾輪、本文欄位、基於觸摸的小鍵盤、基於觸摸的鍵盤、基於觸摸的繪圖區域或它們的組合。

顯示介面設備250可以從顯示器260及/或顯示介面261接收顯示介面輸入264。接收顯示介面輸入254可以由顯示介面設備250的顯示介面應用程式252、顯示介面261、顯示器260、顯示介面解譯器256、顯示介面261的顯示介面控制器、顯示器260的顯示控制器、由顯示介面設備250的處理器或它們的組合來執行。在一些實例中，顯示器260及/或顯示介面261可以包括具有顯示層和觸敏層的觸控式螢幕顯示器，觸敏層可以被稱為觸摸感應層、觸敏表面或觸摸感應表面。觸敏層可以電容式、電阻式或它們的組合量測顯示介面輸入。在其為觸控式螢幕的實例中，顯示器260及/或顯示介面261可以是電容式觸控式螢幕、電阻式觸控式螢幕或它們的組合。顯示介面應用程式252可以包括顯示介面輸入解譯器256，其可以將來自顯示器260及/或顯示介面261的觸敏層的訊號解釋為顯示介面輸入辨識符。顯示介面輸入辨識符可以包括例如辨識接收觸摸輸入或另一類型的顯示介面輸入的顯示器260及/或顯示介面261的一或多個部分的座標。在一些情況下，顯示介面輸入可以是在單個位置的輕敲或按壓，在這種情況下，對應的顯示介面輸入可以辨識表示顯示器260及/或顯示介面261中接收到輕敲或按壓的一部分的單組座標或觸摸區域。觸摸區域可以表示例如在顯示介面輸入期間與顯示器260及/或顯示介面261接觸的手指或指標的表面區域。在一些情況下，觸摸區域可以在顯示介面輸入辨識符中經由一組座標和半徑來辨識，觸摸包括具有圍繞由該組座標定義的點的半徑的區域。在一些情況下，顯示介面輸入可以包括輕掃手勢、滑動手勢，在這種情況下，對應的顯示介面輸入辨識符可以包括多組座標及/或區域，其可以用於將輕掃手勢及/或滑動手勢的一或多個路徑辨識為接收顯示介面輸入的顯示器260及/或顯示介面261的一或多個部分。在一些情況下，顯示介面261可以包括不同類型的顯示介面261，諸如控制顯示器上的遊標或其他顯示元件的滑鼠、控制顯示器上的遊標或其他顯示元件的觸控板、控制顯示器上的本文輸入及/或遊標或其他顯示元件的小鍵盤、控制顯示器上的本文輸入及/或遊標或其他顯示元件的控制器、控制顯示器上的本文輸入及/或遊標或其他顯示元件的遙控器、用於使用（例如，XR設備及/或顯示介面設備的）相機與顯示器進行手部追蹤互動的手部追蹤器、用於使用（例如，XR設備及/或顯示介面設備的）主動深度感測器（例如，RADAR、LIDAR、SONAR、SODAR、結構光、飛行時間）與顯示器進行手部追蹤互動的手部追蹤器、用於使用（例如,XR設備及/或顯示介面設備的）超聲感測器與顯示器進行手部追蹤互動的手部追蹤器及、提供與顯示器相關聯的輸入介面的另一個輸入設備1245，或它們的組合。顯示介面輸入亦可以包括點擊、按兩下、點擊和拖動、繞圈、指向、懸停、在周圍或上方做手勢，或它們的組合。

在一些情況下，顯示介面輸入解譯器256可以將顯示介面輸入的位置與顯示內容在顯示器260及/或顯示介面261上進行顯示所處的已知位置進行比較。例如，顯示介面輸入解譯器256可以將顯示介面輸入的位置與顯示的介面的介面元件（諸如按鈕）進行比較。若顯示介面輸入的位置與顯示的介面的介面元件的位置匹配（例如，重疊），則顯示介面輸入解譯器256可以辨識（例如，在顯示介面輸入辨識符中）顯示介面輸入已經啟動或以其他方式與顯示介面的介面元件互動。在一些實例中，顯示介面輸入的位置與在顯示器260及/或顯示介面261上顯示的地標圖案的特定部分匹配（例如，重疊），並且顯示介面輸入解譯器256可以辨識（例如，在顯示介面輸入辨識符中）顯示介面輸入的位置與之匹配（例如，重疊）的所顯示地標圖案的特定部分。在一些實例中，可以至少部分地由XR設備202執行相同的程序，例如在顯示介面互動基於手部追蹤的情況下。顯示介面的實例包括圖7A至圖7B的顯示介面710。

顯示介面設備250可以使用無線收發器270從顯示介面設備250向XR設備202發送顯示介面輸入資料（方塊272）。發送顯示介面輸入資料（方塊272）可以由顯示介面設備250的顯示介面應用程式252、顯示輸入解譯器258、無線收發器270、顯示介面設備250的處理器，或它們的組合來執行。XR設備202可以使用無線收發器230從顯示介面設備250接收顯示介面輸入資料（方塊228）。接收顯示介面輸入資料（方塊228）可以由XR設備202的XR應用程式204、無線收發器230、XR設備202的處理器或它們的組合來執行。顯示介面輸入資料可以包括一或多個顯示介面輸入辨識符，該一或多個顯示介面辨識符標識在顯示器260及/或顯示介面261處接收（方塊264）及/或由顯示介面輸入解譯器256解釋的一或多個顯示介面輸入。在一些情況下，顯示介面輸入辨識符可以辨識顯示介面輸入與顯示的介面互動，這可能導致XR設備202執行動作，諸如修改虛擬介面、修改虛擬內容及/或修改輸出給使用者的音訊。

XR應用程式204可以包括虛擬介面產生器206，其可以產生虛擬介面（諸如虛擬介面535、635、735及/或835）的至少一部分。虛擬介面可以包括互動式介面元件，諸如按鈕、滑塊、捲軸、選項按鈕、核取方塊、旋鈕、滾輪、本文欄位、基於觸摸的小鍵盤、基於觸摸的鍵盤、基於觸摸的繪圖區域或它們的組合。在一些實例中，虛擬介面產生器206可以基於地標圖案及/或顯示器260及/或顯示介面設備250的位姿及/或大小來使虛擬介面改變大小、旋轉、傾斜、失真或以其他方式調整其屬性。在一些實例中，虛擬介面的至少一部分可以在顯示介面設備250處產生（例如，由顯示介面應用程式252產生）、從顯示介面設備250發送到XR設備202（在方塊272處），及/或在XR設備202處從顯示介面設備250接收（在方塊228處）。發送虛擬介面（方塊272）可以由顯示介面設備250的顯示介面應用程式252、顯示介面產生器254、顯示介面設備250的虛擬介面產生器、無線收發器270、由顯示介面設備250的處理器或它們的組合來執行。接收虛擬介面（方塊228）可以由XR設備202的XR應用程式204、無線收發器230、由XR設備202的處理器或它們的組合來執行。XR應用程式204可以包括輸出影像合成器212，其經由將由XR設備202的影像感測器220擷取的一或多個影像與諸如虛擬介面的虛擬內容、其他虛擬內容（例如，使用虛擬內容產生器210產生的其他視覺內容）或它們的組合進行組合（合成）來產生輸出影像。為了產生輸出影像，輸出影像合成器212可以將虛擬介面覆蓋在由XR設備202的影像感測器220擷取的一或多個影像中圖示的地標圖案上。為了產生輸出影像，輸出影像合成器212可以用虛擬介面替換由XR設備202的影像感測器220擷取的一或多個影像中圖示的地標圖案。

輸出影像合成器212可以對虛擬介面進行定位、移動、調整大小、重新取樣、重新縮放、上取樣、放大、下取樣、縮小、放大、減小、旋轉、傾斜、扭曲（例如，透視扭曲）及/或失真（例如，透視失真），使得輸出影像中的虛擬介面的位姿及/或大小類比地標圖案及/或顯示介面設備250的顯示器260及/或顯示介面261的位姿及/或大小（如使用顯示介面設備追蹤224所決定的）。輸出影像合成器212可以使虛擬介面扭曲、失真及/或傾斜（例如，使用透視扭曲及/或透視失真）以類比虛擬介面圍繞除了垂直於由影像感測器220擷取的影像的軸線之外的軸線的旋轉。例如，若顯示器260及/或顯示介面設備250及/或地標圖案在影像資料中較大，則虛擬介面可能較大。若顯示器260及/或顯示介面設備250及/或地標圖案在影像資料中較小，則虛擬介面可能較小。若顯示器260及/或顯示介面設備250及/或地標圖案根據影像資料中的特定取向或位姿傾側及/或旋轉及/或傾斜，則虛擬介面可以根據該取向或位姿傾側及/或旋轉及/或根據傾斜。

在說明性實例中，虛擬介面可以包括視訊重播控制介面，其可以包括用於暫停、播放、快進、倒帶、跳過、上一個和其他視訊重播控制功能的虛擬按鈕。在一些情況下，視訊重播控制介面可以包括一或多個滑塊，諸如視訊滑擦滑塊及/或音量滑塊。在一些實例中，虛擬介面可以包括影像、視訊和其他媒體。

虛擬內容產生器210可以產生除了虛擬介面之外的虛擬內容。虛擬內容可以包括例如由虛擬介面（例如，表示影像檢視器及/或視訊檢視器）呈現的影像及/或視訊、一或多個三維模型、視訊遊戲內容、使用虛擬介面播放的媒體的中繼資料或它們的組合由虛擬內容產生器210產生的虛擬內容的實例可以包括圖7A至圖7B的虛擬內容720、圖8A至圖8B的虛擬內容840、圖5B的音樂播放機虛擬介面535的某些態樣（例如，專輯封面、藝術家姓名及/或歌曲名稱）、音樂播放機虛擬介面535的某些態樣（例如，專輯封面、藝術家姓名及/或歌曲名稱）、圖6B的影像檢視器虛擬介面635（例如，影像），或它們的組合。輸出影像合成器212可以將虛擬內容添加到虛擬介面或XR設備202的影像感測器220的視野中的任何地方。

XR應用程式204亦可以包括遮擋物偵測器208，其可以偵測地標圖案及/或顯示器的另一區域的遮擋物，例如使用者的手部（例如，圖6A至圖6B的遮擋物610）及/或使用者的手指（例如，圖6A至6B的遮擋物620）。在一些實例中，遮擋物偵測器208可以使用手部追蹤222來追蹤作為可能的遮擋物的手部。在一些實例中，遮擋物偵測器208可以使用觸控式螢幕設備追蹤224來追蹤由XR設備202的影像感測器220擷取的影像中圖示的地標圖案，並經由將由XR設備202的影像感測器220擷取的影像中圖示的地標圖案與儲存在XR設備202處的（未遮擋的）參考地標圖案進行比較來辨識地標圖案的一部分何時被遮擋。在一些實例中，輸出影像合成器212可以追蹤遮擋物以確保遮擋物在輸出影像中是可見的，例如經由在所圖示的遮擋物的位置處切除虛擬介面及/或虛擬內容的部分、經由在所圖示的遮擋物的位置處將遮擋物的描述覆蓋在虛擬介面的虛擬部分及/或虛擬內容上，或它們的組合。例如，在圖6B中，遮擋物610和620經由XR設備520對使用者505仍然可見。類似地，在圖8B中，部分遮擋虛擬介面835的遮擋物810經由XR設備520對使用者505仍然可見。

輸出影像合成器212可以經由將虛擬介面（例如，由虛擬介面產生器206產生的虛擬介面）與XR設備202的影像感測器220所擷取的影像進行合成、經由將虛擬內容（例如，由虛擬內容產生器210產生的虛擬內容）與XR設備202的影像感測器220所擷取的影像進行合成、經由將遮擋物（例如，由遮擋物偵測器208偵測到的遮擋物）與虛擬介面及/或虛擬內容進行合成或它們的組合，來產生輸出影像。XR設備202可以將由輸出影像合成器212產生的輸出影像輸出到一或多個顯示器234，從而在一或多個顯示器234上顯示輸出影像（方塊232）。顯示輸出影像（方塊232）可以由XR設備202的XR應用程式204、顯示器234、輸出影像合成器212、與顯示器234相關聯的顯示控制器、由XR設備202的處理器，或它們的組合來執行。在說明性實例中，XR設備202可以基於場景的影像並且基於由XR設備202的影像感測器220所擷取的影像資料中的顯示介面設備250的顯示器260的位姿及/或大小來產生輸出影像。例如，輸出影像可以是所擷取的影像（由XR設備202的影像感測器220所擷取的影像）的修改變體，其中XR設備202將虛擬介面覆蓋在地標圖案的視覺表示上，在某些情況下用虛擬介面替換地標圖案的視覺表示。XR設備202可以對虛擬介面進行定位、定向、調整大小、旋轉、傾斜、扭曲及/或失真以具有基於地標圖案的辨識位姿及/或顯示介面設備250的顯示器260的辨識位姿的虛擬位姿、模擬位姿。XR設備202可以對虛擬介面進行定位、定向、調整大小、旋轉、傾斜、扭曲及/或失真以具有基於地標圖案的辨識大小及/或顯示介面設備250的顯示器260的辨識大小的虛擬大小及/或模擬大小。XR設備202可以經由XR設備250的一或多個顯示器234向使用者顯示輸出影像。因此，對於XR設備202的使用者，虛擬介面可以看起來顯示在顯示介面設備250的顯示器260上，在地標圖案的頂部上及/或作為地標圖案的替代。

在說明性實例中，從影像感測器220的角度來看XR設備202的使用者的手部可能正在遮擋部分地標圖案。因為地標圖案是已知圖案（例如，作為參考地標圖案儲存在XR設備202中），XR設備202可以決定地標圖案的哪些部分被遮擋以及地標圖案的哪些部分未被遮擋。基於此，XR設備的輸出影像合成器212可以產生輸出影像，使得以與在影像感測器220擷取的影像中遮擋地標圖案相同的方式遮擋虛擬介面。

在一些實例中，XR設備202可以包括除了圖2中所示的慣性感測器216和影像感測器220之外的一或多個其他感測器。例如，XR設備202可以包括一或多個光探測和測距（LIDAR）感測器、無線電探測和測距（RADAR）感測器、聲音探測和測距（SODAR）感測器、聲音導航和測距（SONAR）感測器、一或多個飛行時間（ToF）感測器、一或多個結構光感測器、一或多個麥克風、本文所述的一或多個其他感測器或它們的組合。在一些實例中，來自這些感測器的感測器資料亦可以被XR設備202用於慣性追蹤218、手部追蹤222及/或觸控式螢幕設備追蹤224。

在一些實例中，顯示介面設備250包括一或多個感測器276。一或多個感測器276可包括例如一或多個影像感測器（例如，相機的影像感測器）、加速度計、陀螺儀、慣性量測單元（IMU）、光探測和測距（LIDAR）感測器、無線電探測和測距（RADAR）感測器、聲音探測和測距（SODAR）感測器、聲音導航和測距（SONAR）感測器、一或多個飛行時間（ToF）感測器、一或多個結構光感測器、一或多個麥克風、本文所述的一或多個其他感測器或它們的組合。顯示介面設備250可以使用來自一或多個感測器276的感測器資料來執行對顯示介面設備250的位姿的位姿追蹤278，例如如上文關於由XR設備202執行的慣性追蹤218所論述的那樣。在一些實例中，顯示介面設備250亦可以使用來自一或多個感測器276的感測器資料來執行對XR設備202的位姿的位姿追蹤278，例如基於在來自一或多個感測器276的感測器資料中偵測到的XR設備202的表示。執行對顯示介面設備250及/或XR設備202的位姿追蹤278可以由顯示介面設備250的顯示介面應用程式252、感測器278、顯示介面設備250的位元元姿追蹤引擎、由顯示介面設備250的處理器或它們的組合來執行。

在一些實例中，顯示介面設備250可以使用一或多個無線收發器270從顯示介面設備250向XR設備202發送位姿追蹤資料（例如，辨識顯示介面設備250（及/或其顯示器260）的位姿及/或大小及/或XR設備202的位姿及/或大小）（方塊272）。發送位姿追蹤資料（方塊272）可以由顯示介面設備250的顯示介面應用程式252、無線收發器270、顯示介面設備250的處理器或它們的組合來執行。在一些實例中，XR設備202可以使用一或多個無線收發器230從顯示介面設備250接收位姿追蹤資料（例如，辨識顯示介面設備250（及/或其顯示器260）的位姿及/或大小及/或XR設備202的位姿及/或大小）（方塊228）。接收位姿追蹤資料（方塊228）可以由XR設備202的XR應用程式204、無線收發器230、XR設備202的處理器或它們的組合來執行。在一些實例中，由XR設備202從顯示介面設備250（在方塊228處）接收的位姿追蹤資料（例如，辨識顯示介面設備250的位姿及/或XR設備202的位姿）可以由XR設備202將其用於慣性追蹤218、手部追蹤222及/或觸控式螢幕設備追蹤224。

如前述，顯示介面設備250可以偵測和解釋經由顯示器260及/或顯示介面261的顯示介面輸入（例如，經由顯示器260的觸控式螢幕顯示介面261的觸摸輸入）。顯示介面設備250可以辨識顯示介面輸入並將顯示介面輸入辨識符發送（方塊272）到XR設備202，例如以顯示器260及/或顯示介面261的座標網格上已經被觸摸、點擊、輕掃、懸停、在上方做手勢或已經以其他方式接收到對顯示介面261的顯示介面輸入的一或多個座標的形式。發送顯示介面輸入（方塊272）可以由顯示介面設備250的顯示介面應用程式252、無線收發器270、由顯示介面設備250的處理器或它們的組合來執行。XR設備202可以接收（方塊228）顯示介面輸入辨識符。接收顯示介面輸入（方塊228）可以由XR設備202的XR應用程式204、無線收發器230、由XR設備202的處理器或它們的組合來執行。XR設備202可以基於顯示介面輸入來調整要由XR設備202輸出（例如，顯示在顯示器234上）給使用者的輸出內容。若顯示介面輸入的位置與虛擬介面的介面元件的位置一致（例如，與之重疊及/或匹配），則XR設備202可以辨識顯示介面輸入已經啟動或以其他方式與虛擬介面的介面元件互動。在一些實例中，顯示介面輸入辨識符可以辨識顯示介面輸入的位置與地標圖案的特定部分對準（例如，與之重疊及/或匹配），並且XR設備202可以辨識顯示介面輸入的位置與覆蓋在地標圖案的特定部分上的虛擬介面的對應部分對準（例如，與之重疊及/或匹配）。輸出內容可以包括XR設備202要輸出給使用者的輸出影像、未來輸出影像、一或多個音訊剪輯（例如，音樂、聲音效果）、振動回饋（例如，觸覺回饋、隆隆聲回饋），或它們的組合。對輸出內容的改變可以包括對輸出影像的改變、對未來輸出影像的改變、對XR設備202要輸出給使用者的音訊剪輯的改變、對振動回饋（例如，對振動模式）的改變，或它們的組合。

在說明性實例中，若XR設備202基於顯示介面輸入決定使用者已經按下虛擬介面上的暫停按鈕，則XR設備可以在當前視訊訊框處暫停視訊重播。若XR設備202基於顯示介面輸入決定使用者已經按下虛擬介面上的快進按鈕，則XR設備202可以從下一個輸出訊框開始快進重播。若XR設備202基於顯示介面輸入決定使用者已經移動了音量滑塊，則XR設備202可以從下一段音訊開始調整XR設備202正在輸出給使用者的音訊的音量。

在一些實例中，顯示介面設備250被配置為隨著時間905以預定頻率在顯示介面設備250上顯示一組不同地標圖案中的每一個之間切換，如圖9所示。經由偵測影像中圖示了該組不同地標圖案中的哪個地標圖案，並將其與顯示介面設備250在顯示器260上顯示該地標圖案的時間對準，XR設備202和顯示介面設備250可以同步定時。XR設備202可以基於XR設備202正在將虛擬介面覆蓋哪個地標圖案上，來獲得關於相對於XR設備202正在作為虛擬介面顯示的內容，何時在顯示介面設備250處接收到特定顯示介面輸入的更準確的指示，從而提高了供XR設備使用的顯示介面輸入的精度。

在一些情況下，XR設備202亦可以使用手部追蹤222及/或手指追蹤來進行輸入，在作為從顯示介面設備250的顯示介面261接收顯示介面輸入的替代或補充。例如，XR設備202可以使用由顯示介面設備250的基於觸控式螢幕的顯示介面261偵測到的觸摸輸入作為第一類型的輸入，並且可以使用對使用者指向虛擬介面的元件的基於手部追蹤的偵測作為第二類型的輸入，例如在手部追蹤218中所執行的。例如，若顯示介面設備250的顯示介面261有缺陷及/或不能可靠地偵測到顯示介面輸入（例如，基於觸控式螢幕的顯示介面261是濕的），則手部追蹤輸入可以是後備選項。手部追蹤輸入可以是不同類型的輸入，從而例如允許使用者指向及/或懸停在虛擬介面及/或顯示介面的介面元件上而無需實際觸摸介面元件，並且對於該指向及/或懸停被偵測並解釋為與介面元件的互動。手部追蹤可以包括手指追蹤。手部追蹤可以基於來自慣性感測器216、影像感測器220、顯示介面設備250的感測器276或它們的組合的資料。在一些實例中，手部追蹤可以基於來自XR設備202及/或顯示介面設備250的一或多個相機及/或一或多個距離感測器（例如，RADAR感測器、LIDAR感測器、SONAR感測器、SODAR感測器、飛行時間感測器、結構光感測器）的資料。

圖3A是示出用作擴展現實（XR）設備202的頭戴式顯示器（HMD）310的透視圖300。HMD 310例如可以是增強現實（AR）頭戴式耳機、虛擬實境（VR）頭戴式耳機、混合現實（MR）頭戴式耳機、擴展現實（XR）頭戴式耳機或它們的某種組合。HMD 310可以是XR設備202的實例。HMD 310包括沿著HMD 310的前部的第一相機330A和第二相機330B。第一相機330A和第二相機330B可以包括XR設備202的影像感測器220。在一些實例中，HMD 310可能僅具有帶有單個影像感測器220的單個相機。在一些實例中，HMD 310可以包括除了第一相機330A和第二相機330B之外的一或多個額外相機，其亦可以包括XR設備202的影像感測器220。在一些實例中，HMD 310可以包括除了第一相機330A和第二相機330B之外的一或多個額外感測器，其亦可以是XR設備202的慣性感測器216及/或本文所述的XR設備202的其他感測器的實例。

HMD 310可以包括一或多個顯示器340，該一或多個顯示器對於將HMD 310佩戴在使用者320的頭上的使用者320可見。HMD 310的一或多個顯示器340可以是XR設備202的顯示器234的實例。在一些實例中，HMD 310可以包括一個顯示器340和兩個取景器。兩個取景器可以包括用於使用者320的左眼的左取景器和用於使用者320的右眼的右取景器。左取景器可以被定向為使得使用者320的左眼看到顯示器的左側。右取景器可以被定向為使得使用者320的左眼看到顯示器的右側。在一些實例中，HMD 310可以包括兩個顯示器340，包括向使用者320的左眼顯示內容的左顯示器和向使用者320的右眼顯示內容的右顯示器。

HMD 310可以包括一或多個耳機335，其可以用作將音訊輸出到HMD 310的使用者的一或多個耳朵的揚聲器及/或頭戴式耳機。在圖3A和圖3B中示出一個耳機335，但應該理解，HMD 310可以包括兩個耳機，使用者的每個耳朵（左耳和右耳）一個耳機。在一些實例中，HMD 310亦可以包括一或多個麥克風（未圖示）。在一些實例中，HMD 310經由一或多個耳機335向使用者輸出的音訊可以包括或基於使用一或多個麥克風記錄的音訊。

圖3B是示出由使用者320佩戴的圖3A的頭戴式顯示器（HMD）的透視圖350。使用者320將HMD 310佩戴在使用者320的頭上，在使用者320的眼睛上方。HMD 310可以利用第一相機330A和第二相機330B來擷取影像。在一些實例中，HMD 310向使用者320的眼睛顯示一或多個輸出影像。輸出影像可以是顯示輸出影像232的實例。輸出影像可以基於由第一相機330A和第二相機330B擷取的影像。輸出影像可以提供環境的立體視圖，在某些情況下，具有疊加的資訊及/或其他修改。例如，HMD 310可以向使用者320的右眼顯示第一顯示影像，該第一顯示影像基於由第一相機330A擷取的影像。HMD 310可以向使用者320的左眼顯示第二顯示影像，該第二顯示影像基於由第二相機330B擷取的影像。例如，HMD 310可以在顯示影像中提供疊加資訊，該顯示影像疊加在由第一相機330A和第二相機330B擷取的影像之上。HMD 310的耳機335被示出為在使用者320的耳朵中。HMD 310可以經由耳機335及/或經由在使用者320的另一隻耳朵（未圖示）中的HMD 310的另一個耳機（未圖示）向使用者320輸出音訊。

圖4A是示出包括前置相機並且可以用作擴展現實（XR）設備202或顯示介面設備250的行動手持設備410的前表面的透視圖400。行動手持設備410可以是XR設備202的實例。行動手持設備410可以是顯示介面設備250的實例。行動手持設備410可以是例如蜂巢式電話、衛星電話、可攜式遊戲機、音樂播放機、健康追蹤設備、可穿戴設備、無線通訊設備、膝上型電腦、行動設備、本文所論述的任何其他計算設備或計算系統的類型或它們的組合。

行動手持設備410的前表面420包括顯示器440。行動手持設備410的前表面420包括第一相機430A和第二相機430B。第一相機430A和第二相機430B可以是XR設備202的影像感測器220的實例。第一相機430A和第二相機430B可以是顯示介面設備250的感測器276的實例。第一相機430A和第二相機430B被示出為在行動手持設備410的前表面420上的顯示器440周圍的邊框中。在一些實例中，第一相機430A和第二相機430B可以定位在從行動手持設備410的前表面420上的顯示器440切出的凹口或切口中。在一些實例中，第一相機430A和第二相機430B可以是定位在顯示器440和行動手持設備410的其餘部分之間的顯示器下相機，使得光在到達第一相機430A和第二相機430B之前穿過顯示器440的一部分。透視圖400的第一相機430A和第二相機430B是前置相機。第一相機430A和第二相機430B面向垂直於行動手持設備410的前表面420的平面的方向。第一相機430A和第二相機430B可以是行動手持設備410的一或多個相機中的兩個。第一相機430A和第二相機430B可以分別是感測器405A和感測器405B。在一些實例中，行動手持設備410的前表面420可以僅具有單個相機。在一些實例中，行動手持設備410可以包括除了第一相機430A和第二相機430B之外的一或多個額外相機。一或多個額外相機亦可以是XR設備202的影像感測器220的實例。一或多個額外相機亦可以是顯示介面設備250的感測器276的實例。在一些實例中，行動手持設備410可以包括除了第一相機430A和第二相機430B之外的一或多個額外感測器。一或多個額外感測器亦可以是XR設備202的慣性感測器216及/或XR設備202的其他感測器的實例。一或多個額外感測器亦可以是顯示介面設備250的感測器276的實例。行動手持設備410的前表面420亦包括顯示器440。在一些情況下，行動手持設備410的前表面420包括多於一個的顯示器440。行動手持設備410的前表面420的一或多個顯示器440可以是XR設備202的顯示器234的實例。行動手持設備410的前表面420的一或多個顯示器440可以是顯示介面設備250的顯示器260及/或顯示介面261的實例。例如，一或多個顯示器440可以包括一或多個觸控式螢幕顯示器，其中觸控式螢幕顯示器的觸控式螢幕介面表示觸控式螢幕顯示器的顯示介面261。

行動手持設備410可以包括一或多個揚聲器435A及/或其他音訊輸出設備（例如，聽筒或頭戴式耳機或其連接器），其可以將音訊輸出到行動手持設備410的使用者的一隻或多隻耳朵。圖4A中圖示一個揚聲器435A，但應當理解，行動手持設備410可以包括多於一個的揚聲器及/或其他音訊設備。在一些實例中，行動手持設備410亦可以包括一或多個麥克風（未圖示）。在一些實例中，行動手持設備410經由一或多個揚聲器435A及/或其他音訊輸出設備向使用者輸出的音訊可以包括或基於使用一或多個麥克風記錄的音訊。

圖4B是示出包括後置相機並且可以用作圖2的擴展現實（XR）設備202或顯示介面設備250的行動手持設備的後表面460的透視圖450。行動手持設備410包括在行動手持設備410的後表面460上的第三相機430C和第四相機430D。透視圖450的第三相機430C和第四相機430D是後置的。第三相機430C和第四相機430D可以是圖2的XR設備202的影像感測器220的實例。第三相機430C和第四相機430D可以是圖2的顯示介面設備250的感測器276的實例。第三相機430C和第四相機430D面向垂直於行動手持設備410的後表面460的平面的方向。儘管行動手持設備410的後表面460不具有如透視圖450所示的顯示器440，但在一些實例中，行動手持設備410的後表面460可以包括一或多個後顯示器。行動手持設備410的後表面460的一或多個後顯示器可以是XR設備202的顯示器234的實例。行動手持設備410的後表面460的一或多個後顯示器可以是顯示介面設備250的顯示介面顯示器260的實例。若行動手持設備410的後表面460包括一或多個後顯示器，則可以如關於第一相機430A和第二相機430B相對於行動手持設備410的前表面420的顯示器440所論述的那樣，使用第三相機430C和第四相機430D相對於一或多個後顯示器的任何定位佈局。

第三相機430C和第四相機430D可以是行動手持設備410的一或多個相機中的兩個。在一些實例中，行動手持設備410的後表面460可以僅具有單個相機。在一些實例中，行動手持設備410可以包括除了第一相機430A、第二相機430B、第三相機430C和第四相機430D之外的一或多個額外相機。一或多個額外相機亦可以是XR設備202的影像感測器220的實例。一或多個額外相機亦可以是顯示介面設備250的感測器276的實例。在一些實例中，行動手持設備410可以包括除了第一相機430A、第二相機430B、第三相機430C和第四相機430D之外的一或多個額外感測器。一或多個額外感測器亦可以是XR設備202的慣性感測器216及/或XR設備202的其他感測器的實例。一或多個額外感測器亦可以是顯示介面設備250的感測器276的實例。

行動手持設備410可以包括一或多個揚聲器435A及/或其他音訊輸出設備（例如，聽筒或頭戴式耳機或其連接器），其可以將音訊輸出到行動手持設備410的使用者的一隻或多隻耳朵。圖4B中圖示一個揚聲器435B，但應當理解，行動手持設備410可以包括多於一個的揚聲器及/或其他音訊設備。在一些實例中，行動手持設備410亦可以包括一或多個麥克風（未圖示）。在一些實例中，行動手持設備410經由一或多個揚聲器435B及/或其他音訊輸出設備向使用者輸出的音訊可以包括或基於使用一或多個麥克風記錄的音訊。

圖5A是示出根據一些實例的使用者505佩戴擴展現實（XR）設備520並持有正在顯示地標圖案530的顯示介面設備510的透視圖500。使用者505所佩戴的XR設備520可以是圖3A至圖3B的HMD 310，其可以包括圖5A至圖9的一或多個顯示器525，該一或多個顯示器可以是圖2的一或多個顯示器234、圖3A至圖3B的一或多個顯示器340，或兩者的實例。為了說明起見，XR設備520被示為圖3A至圖3B的HMD 310，並且應當理解，作為替代XR設備520可以是圖4A至圖4B的行動手持設備410。

顯示介面設備510包括觸控式螢幕顯示器515，其被示為顯示地標圖案530，該地標圖案被示為QR碼。圖5A-圖5B、圖6A-圖6B、圖7A-圖7B、圖8A-圖8B和圖9的顯示介面設備510是顯示介面設備250的實例。圖5A-圖5B、圖6A-圖6B、圖7A-圖7B、圖8A-8B和圖9的觸控式螢幕顯示器515是顯示介面設備250的顯示器260和顯示介面設備250的顯示介面261的實例。例如，觸控式螢幕顯示器515的顯示層是顯示器260的實例，而觸控式螢幕顯示器515的觸敏層及/或觸摸感應層是顯示介面261的實例。在該實例中，對顯示介面設備510的觸控式螢幕顯示器515的觸摸輸入是對顯示介面設備250的顯示介面261的顯示介面輸入的實例。地標圖案530是實際顯示在圖5A中的顯示介面設備510的觸控式螢幕顯示器515上的內容。因此，對於環境中除了使用者505（正在經由XR設備520查看環境）之外的任何人，顯示介面設備510的顯示介面顯示器515看起來顯示地標圖案530。因此，環境中除了使用者505（正在經由XR設備520查看環境）之外的任何人皆不能看到虛擬介面535，而使用者505（正在經由XR設備520查看環境）可以經由XR設備520看到虛擬介面535，如圖5B所示。從XR設備520的角度來看的XR設備520的位姿（以及由XR設備520擷取的任何輸入影像）以及由此從XR設備520的角度來看的XR設備520的觸控式螢幕顯示器515上顯示的地標圖案530的位姿（以及由XR設備520擷取的任何輸入影像）看起來順時針略微旋轉。

圖5B是示出根據一些實例的佩戴圖5A的擴展現實（XR）設備520並經由該設備查看環境的使用者505的視野（FOV）560的透視圖550，其中虛擬介面535覆蓋在地標圖案530上。虛擬介面535是音樂播放機虛擬介面，包括專輯封面、藝術家名稱和歌曲名稱。虛擬介面535亦包括互動式介面元件，包括滑擦滑塊、暫停/播放按鈕、倒帶按鈕、快進按鈕、音量增大按鈕、音量減小按鈕和靜音按鈕。與顯示介面設備510的觸控式螢幕顯示器515的互動可以使顯示介面設備510向XR設備520發送觸摸輸入辨識符，該觸摸輸入辨識符辨識觸控式螢幕顯示器515的哪些部分在觸摸輸入期間被觸摸及/或它們在觸摸輸入期間是如何被觸摸的（例如，輕敲、雙次輕敲、三次輕敲、輕掃、長按、手勢、任何先前列出的觸摸輸入的多指變體，或它們的組合），從而允許XR設備520辨識在觸摸輸入期間是否觸摸了XR設備520的虛擬介面535的任何互動式介面元件。因為從FOV 560角度看XR設備520位姿以及從FOV 560角度看由此在XR設備520的觸控式螢幕顯示器515上顯示的地標圖案530的位姿看起來略微順時針旋轉，所以虛擬介面535亦略微順時針旋轉以看起來與XR設備520及/或觸控式螢幕顯示器515及/或地標圖案530的位姿對準。

圖6A是示出根據一些實例的使用者505佩戴擴展現實（XR）設備520並持有正在顯示被遮擋物610和620（包括使用者505的手部和手指）部分遮擋的兩個地標圖案630的顯示介面設備510的透視圖600。顯示介面設備510在其觸控式螢幕顯示器515上顯示兩個地標圖案630，每個地標圖案被示出為QR碼。包括兩個地標圖案630的區域在內的觸控式螢幕顯示器515的幾個區域被第一遮擋物610（使用者505的左手及/或使用者505的左手的手指）和第二遮擋物620（使用者505的右手的手指）部分遮擋。XR設備520可以經由將XR設備520的影像感測器所擷取的影像中的兩個地標圖案630（及/或大體上觸控式螢幕顯示器515）的表示與對應於XR設備520所儲存的兩個地標圖案630（及/或觸控式螢幕顯示器515上顯示的其他內容）的參考地標圖案（及/或在觸控式螢幕顯示器515上顯示的內容的參考副本）進行比較來至少部分地偵測第一遮擋物610和第二遮擋物620正在部分遮擋觸控式螢幕顯示器515的區域（例如，包括兩個地標圖案630的區域）。對於環境中除了使用者505（正在經由XR設備520查看環境）之外的任何人，顯示介面設備510的觸控式螢幕顯示器515顯示地標圖案630。

圖6B是示出根據一些實例的佩戴圖6A的擴展現實（XR）設備520並經由該設備查看環境的使用者505的視野（FOV）660的透視圖650，其中虛擬介面635覆蓋在兩個地標圖案630上並且遮擋物610和620在虛擬介面635上可見。虛擬介面635是影像檢視器虛擬介面，並且包括可以經由互動地使用觸摸輸入滾動的一列影像。在一些實例中，點擊影像可以增加影像的大小及/或顯示影像的中繼資料。與顯示介面設備510的觸控式螢幕顯示器515的互動可以使顯示介面設備510向XR設備520發送觸摸輸入辨識符，該觸摸輸入辨識符辨識觸控式螢幕顯示器515的哪些部分在觸摸輸入期間被觸摸（以及如何被觸摸），從而允許XR設備520辨識出在觸摸輸入期間虛擬介面635被觸摸的部分。在一個說明性實例中，XR設備520的觸摸輸入辨識符可以辨識可以使XR設備520滾動經由虛擬介面635中的影像的輕掃或滑動觸摸手勢。在另一個說明性實例中，XR設備520的觸摸輸入辨識符可以辨識在虛擬介面635的特定影像上的輕敲或按壓觸摸輸入，這可以使XR設備520增加影像的大小及/或顯示影像的中繼資料。

作為虛擬介面635的遮擋物，第一遮擋物610和第二遮擋物620在FOV 660中對於使用者505仍然是可見的。在一些實例中，XR設備520可以在將虛擬介面635覆蓋在地標圖案630上之前在第一遮擋物610和第二遮擋物620的位置處切除虛擬介面635的部分。在一些實例中，XR設備520可以將虛擬介面635覆蓋在地標圖案630上，隨後將對應於第一遮擋物610和第二遮擋物620的影像資料覆蓋在虛擬介面635上。

在一些實例中，XR設備520具有預期地標圖案630的知識。在由XR設備520的影像感測器220擷取的影像中，預期地標圖案630和觀察到的地標圖案630之間的任何視差可以説明XR設備520執行遮擋物偵測。這種視差計算可以單獨用於遮擋物偵測，亦可以作為一或多個經過訓練的神經網路的輸入來辨識遮擋物。遮擋物偵測可以允許對來自具有適當遮擋物的XR設備520的虛擬介面635及/或其他虛擬內容進行詳細和適當的呈現。

圖7A是示出根據一些實例的使用者505佩戴擴展現實（XR）設備520並持有正在顯示地標圖案530和顯示的介面710的顯示介面設備510的透視圖700。顯示介面設備510在其觸控式螢幕顯示器515上顯示地標圖案730（其被示出為QR碼）和顯示的介面710。顯示的介面710包括播放/暫停按鈕、倒帶按鈕和快進按鈕。對於環境中除了使用者505（正在經由XR設備520查看環境）之外的任何人，顯示介面設備510的觸控式螢幕顯示器515顯示地標圖案730和顯示的介面710。

圖7B是示出根據一些實例的佩戴圖5A的擴展現實（XR）設備520並經由該設備查看環境的使用者505的視野（FOV）760的透視圖750，其中虛擬介面735覆蓋在地標圖案730上但是顯示的介面710仍然可見。虛擬介面735是視訊播放機虛擬介面，包括正在播放的視訊。虛擬介面735亦包括互動式介面元件，包括滑擦滑塊。顯示的介面710對使用者505仍然可見，因為XR設備520沒有在顯示的介面710上覆蓋任何東西或用任何東西代替顯示的介面710。顯示的介面710包括可以播放或暫停視訊重播的播放/暫停按鈕、可以快退視訊重播的快退按鈕和可以快進視訊重播的快進按鈕。

與顯示介面設備510的觸控式螢幕顯示器515的互動可以使顯示介面設備510向XR設備520發送觸摸輸入辨識符，該觸摸輸入辨識符辨識觸控式螢幕顯示器515的哪些部分在觸摸輸入期間被觸摸以及它們在觸摸輸入期間是如何被觸摸的，從而允許XR設備520辨識在觸摸輸入期間是否觸摸了XR設備520的虛擬介面735（例如，滑擦滑塊）的任何互動式介面元件。與顯示介面設備510的觸控式螢幕顯示器515的互動亦可以使顯示介面設備510偵測與顯示介面的介面元件的任何互動，顯示介面設備510可以將其作為觸摸輸入辨識符發送到XR設備520，該觸摸輸入辨識符允許XR設備520知道例如觸摸輸入是否與播放/暫停按鈕（使XR設備520播放或暫停視訊的重播）、倒帶按鈕（使XR設備520倒帶視訊的重播）以及快進按鈕（使XR設備520快進視訊的重播）進行互動。

向使用者505所顯示的視訊大於顯示介面設備510並且不限於觸控式螢幕顯示器515的邊界，但仍然可以基於地標圖案730及/或顯示介面設備510的觸控式螢幕顯示器515的位姿進行定位及/或取向。額外的虛擬內容720亦顯示在FOV 760中，包括使用視訊播放機虛擬介面735播放的視訊的標題（「Speedy Pursuit」）。

在一些實例中，XR系統200的基於觸摸的介面可以由此包括XR設備520所呈現的虛擬內容（例如，虛擬介面735及/或其他虛擬內容720）和顯示介面設備510所呈現的顯示的介面710的混合。在一些實例中，其可以節省電力及/或其他計算資源以在顯示介面設備510上呈現一些部件（例如，顯示的介面710）。例如，其可以針對要在觸控式螢幕設備上呈現的複雜3D內容節省電力及/或其他計算資源，因為此類內容可能難以準確地修改以與地標圖案730的位姿相匹配。另一態樣，它可以針對要在觸控式螢幕設備上呈現的非常清晰和簡單的內容節省電力及/或其他計算資源，因為此類內容，即使在有由於使用XR設備520的影像感測器220記錄觸控式螢幕顯示器515引起的劣化或影像偽影的情況下，亦可以經由XR設備520清晰可見並可辨別的。某些用例可能涉及讓觸控式螢幕設備上的某些內容對環境中的其他人（他們自己可能佩戴或可能未佩戴XR設備）可見，而內容的其他部分應僅對（佩戴XR設備520的）設備所有者可見。

圖8A是示出根據一些實例的使用者505佩戴擴展現實（XR）設備520並持有正在顯示兩個地標圖案830的顯示介面設備510的透視圖800。顯示介面設備510在其觸控式螢幕顯示器515上顯示兩個地標圖案830，每個地標圖案被示出為QR碼。兩個地標圖案830被兩個遮擋物810（分別是使用者505的左手和右手的手指）部分遮擋。XR設備520可以經由將由XR設備520的影像感測器擷取的影像中的兩個地標圖案830的表示與對應於由XR設備520儲存的兩個地標圖案830的參考地標圖案進行比較來偵測遮擋物810正在部分遮擋兩個地標圖案830。對於環境中除了使用者505（正在經由XR設備520查看環境）之外的任何人，顯示介面設備510的觸控式螢幕顯示器515顯示地標圖案830。

圖8B是示出根據一些實例的佩戴圖8A的擴展現實（XR）設備520並經由該設備查看環境的使用者505的視野（FOV）860的透視圖850，其中虛擬介面835覆蓋在兩個地標圖案830上。虛擬介面835是視訊遊戲控制器虛擬介面，並且包括互動式介面元件，該互動式介面元件包括四個按鈕和方向鍵（D-pad）。虛擬內容840亦顯示在FOV 860中，包括視訊遊戲內容。虛擬內容840（視訊遊戲內容）圖示火箭飛船（代表玩家角色）飛過太空並向四個飛碟（代表敵人）發射鐳射槍，並用鐳射槍擊中其中一個飛碟。在一些實例中，按壓視訊遊戲控制器虛擬介面835的互動式介面元件可以影響虛擬內容840（視訊遊戲內容），例如經由控制火箭飛船的飛行方向（例如，基於輸入到D-pad的方向）並經由控制鐳射槍的發射（例如，基於四個按鈕中的至少一個）。使用者505被示出為按下視訊遊戲控制器虛擬介面835中的四個按鈕之一，這可能例如使XR設備520在虛擬內容840（視訊遊戲內容）顯示火箭飛船正在發射鐳射槍。

作為虛擬介面835的遮擋物，遮擋物810在FOV 860中對於使用者505仍然是可見的。在一些實例中，XR設備520可以在將虛擬介面835覆蓋在地標圖案830上之前在遮擋物810的位置處切除虛擬介面835的部分。在一些實例中，XR設備520可以將虛擬介面835覆蓋在地標圖案830上，隨後將對應於遮擋物810的影像資料覆蓋在虛擬介面835上。

顯示介面設備510被示出為在圖8B中提供振動回饋845，在顯示介面設備510的拐角處的圓線指示顯示介面設備510正在振動。振動回饋845可以包括觸覺回饋，例如，當使用者505觸摸按鈕、D-pad或虛擬介面835的另一個互動式介面元件時，其可以提供較小的振動。觸覺回饋可以類比按鈕按下的觸覺感覺，並且可以向使用者提供使用者505確實觸摸了互動式介面元件的確認。振動回饋845可以包括力回饋或隆隆聲回饋，其可以例如回應於在虛擬內容840（在視訊遊戲中）中發生的動作或條件而使顯示介面設備510振動。動作或條件可以包括，例如，火箭飛船（玩家角色）發射鐳射槍、火箭飛船（玩家角色）被飛碟（敵人）的鐳射槍擊中、火箭飛船（玩家角色））與飛碟（敵人）相撞、火箭飛船（玩家角色）爆炸、飛碟（敵人）被火箭飛船（玩家角色）的鐳射槍擊中、飛碟（敵人）爆炸，或它們的組合。

圖9是示出根據一些實例的顯示介面設備510隨時間905在顯示複數個不同的地標圖案930A-930D之間切換的概念圖900。顯示介面設備510被配置為隨著時間905在顯示複數個不同地標圖案930A-930D中的每一個之間切換。顯示介面設備510可以被配置為根據預定定時及/或預定頻率隨著時間905在顯示複數個不同地標圖案930A-930D中的每一個之間轉換，例如每次從先前的地標圖案改變經過特定持續時間（例如，一秒或多秒或一毫秒或多毫秒）時週期性地或每次從先前地標圖案改變由XR設備520的影像感測器220擷取特定數量的訊框（例如，一或多個訊框）時週期性地從地標圖案930A-930D之一改變。

圖9所示的第一地標圖案930A是第一QR碼。圖9所示的第二地標圖案930B是Aztec碼。圖9所示的第三地標圖案930C是第二QR碼。圖9所示的第四地標圖案930D是點陣碼。XR設備520可以基於在接收到給定觸摸輸入時顯示不同地標圖案930A-930D中的哪一個來決定觸摸輸入的準決定時。

在一些實例中，不同地標圖案930A-930D中的每一個可以是由以已知頻率變化的安全散列演算法（SHA）（例如，SHA-1、SHA-2、SHA-3或SHA-N）的已知輪數規定的決定性圖案。XR設備520和顯示介面設備510兩者均可以知道SHA種子和模式序列。當顯示介面設備510向XR設備520發送觸摸輸入辨識符資訊時，顯示介面設備510可以用在偵測及/或註冊觸摸輸入時顯示的地標圖案來標記觸摸輸入辨識符資訊。

XR設備520可以負責呈現XR內容（例如，虛擬介面及/或虛擬內容）。XR設備520亦可以經由XR設備520的影像感測器220即時觀察動態改變的地標圖案。結合地標圖案標記的觸摸輸入辨識資訊，當觸摸輸入已被註冊時，XR設備520可以準確地知道什麼XR內容（例如，虛擬介面及/或虛擬內容）被覆蓋在顯示介面設備510之上顯示。這種同步對於動態觸摸介面尤其重要。在說明性實例中，若使用者505正在拖動虛擬介面的（虛擬呈現的）滑塊，則期望呈現的滑塊位置與使用者505的手指的位置精確匹配。

經由偵測影像中圖示了該組不同地標圖案930A-930D中的哪個地標圖案，並將其與觸控式螢幕設備顯示該地標圖案的時間對準，XR設備202和顯示介面設備510可以同步定時。XR設備202可以基於XR設備202正在將虛擬介面覆蓋哪個地標圖案上，來獲得關於相對於XR設備202正在作為虛擬介面顯示的內容何時在顯示介面設備510處接收到特定觸摸輸入的更準確的指示，從而提高了供XR設備使用的觸摸輸入的精度。

圖10是示出根據一些實例的由擴展現實（XR）設備1005和顯示介面設備1010執行的用於提供虛擬介面的操作1000的泳道圖。XR設備1005可以是圖2的XR設備202及/或圖5A至圖5B、圖6A至圖6B、圖7A至圖7B、圖8A至圖8B和圖9的XR設備520的實例。顯示介面設備1010可以是圖2的顯示介面設備250及/或圖5A至圖5B、圖6A至圖6B、圖7A至圖7B、圖8A至圖8B和圖9的顯示介面設備510的實例。

在操作1015處，XR設備1005搜尋顯示介面設備1010，例如經由在由XR設備1005的圖2的影像感測器220擷取的影像中搜尋顯示介面設備1010的圖示、經由在XR設備1005的範圍內無線發送搜尋訊號及/或訊息（若其在XR設備1005的範圍內，則發送到顯示介面設備1010），及/或基於等待接收來自顯示介面設備1010的指示在XR設備1005的附近（例如，無線訊號範圍）中存在顯示介面設備1010無線訊號及/或訊息。在一些實例中，顯示介面設備1010可以將此類訊號及/或訊息發送到XR設備1005。XR設備1005可以與顯示介面設備1010建立通訊線路，反之亦然。

在操作1020處，顯示介面設備1010向XR設備1005發送指示在XR設備1005附近存在顯示介面設備1010及/或從XR設備1005請求地標圖案資料的訊息。顯示介面設備1010。操作1020之後可以是操作1025及/或操作1035。

在操作1025處，XR設備1005產生地標圖案資料並將地標圖案資料發送到顯示介面設備1010。操作1025可以對應於圖2的方塊226和274。在操作1030處，顯示介面設備1010從XR設備1005接收地標圖案資料並且基於接收到的地標圖案資料產生進一步的地標圖案資料。進一步的地標圖案資料可以是接收到的地標圖案資料，或者可以基於接收到的地標圖案資料產生（並且與之不同）。操作1020之後可以是操作1035及/或操作1040。

在操作1035處，顯示介面設備1010產生地標圖案，並且在某些情況下亦可以將地標圖案資料發送到XR設備1005。在操作1040處，顯示介面設備1010在操作1040處在其顯示器（例如，如圖2的方塊262中的顯示器260及/或圖5A至圖9的觸控式螢幕顯示器515）上顯示地標圖案。在操作1035中產生的地標圖案可以基於在操作1025中從XR設備1005發送並且在操作1030中由顯示介面設備1010接收的地標圖案資料。在操作1035中產生的地標圖案亦可以基於在操作1030中由顯示介面設備1010產生的地標圖案資料。地標圖案可以由顯示介面設備1010基於由顯示介面設備1010而不是XR設備1005產生的地標圖案資料來產生，在這種情況下，顯示介面設備1010可以將地標圖案資料發送到XR設備1005以確保XR設備1005具有（或可以產生）地標圖案的參考副本。操作1025、1030、1035、1040、1050及/或1055中的地標圖案資料可以是關於圖2的方塊226和274所描述的任何類型的地標圖案資料。

在操作1045處，XR設備1005使用XR設備1005的一或多個影像感測器220擷取一或多個影像。在操作1050處，XR設備1005經由將擷取的影像與參考地標圖案資料進行比較來偵測由XR設備1005的一或多個影像感測器220擷取的影像中的地標圖案。在操作1055處，XR設備1005基於影像中地標圖案的位置、大小、取向及/或透視失真來辨識及/或追蹤影像中地標圖案（及/或顯示介面設備1010、顯示介面設備1010的顯示器）的位姿及/或大小。

在操作1060處，XR設備1005及/或顯示介面設備1010產生虛擬介面的至少一部分。在操作1065處，XR設備1005及/或顯示介面設備1010經由將虛擬介面覆蓋在地標圖案上來產生輸出影像的至少一部分。輸出影像中的虛擬介面的位姿基於影像中的地標圖案（及/或顯示介面設備1010、顯示介面設備1010的顯示器）的位姿。輸出影像中的虛擬介面的大小基於影像中的地標圖案（及/或顯示介面設備1010、顯示介面設備1010的顯示器）的大小。

在操作1070處，XR設備1005使用XR設備1005的一或多個顯示器（例如，顯示器234）顯示一或多個輸出影像。操作1070可以對應於圖2的方塊232。

在操作1075處，顯示介面設備1010在顯示介面的一部分（例如，如圖2的方塊264中的顯示介面261，及/或如圖5A至圖9中的觸控式螢幕顯示器515）處接收顯示介面輸入，並向XR設備1005發送與顯示介面輸入（例如，觸摸輸入）相對應的顯示介面輸入辨識符（例如，觸摸介面輸入辨識符）（例如，如在方塊272及/或228中）。在操作1080處，XR設備1005及/或顯示介面設備1010基於顯示介面輸入更新虛擬介面及/或輸出影像的其他部分（例如，虛擬內容、顯示的介面）。在操作1085處，XR設備1005使用XR設備1005的一或多個顯示器（例如，顯示器234）顯示一或多個更新的輸出影像。操作1070可以對應於圖2的方塊232。

圖11是示出根據一些實例的用於處理影像資料的程序1100的實例的流程圖。程序1100可以由成像系統執行。在一些實例中，成像系統可以是圖2的XR設備202。在一些實例中，成像系統可以包括，例如，影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、圖1的主處理器152、XR系統200、XR設備202、圖2的顯示介面設備250、圖3A至圖3B的HMD 310、圖4A至圖4B的行動手持設備410、圖5A至圖9的XR設備520、圖5A至圖9的顯示介面設備510、圖10的XR設備1005、圖10的顯示介面設備1010、計算系統1200、圖12的處理器1210或它們的組合。

在操作1105處，成像系統被配置為並且能夠接收場景的輸入影像。輸入影像由影像感測器擷取。場景的實例包括場景110、包括顯示介面設備250的顯示器260的至少一部分的場景、FOV 560、FOV 660、FOV 760、FOV 860、由在操作1045中擷取的由影像擷取的場景，或它們的組合。影像感測器的實例包括影像感測器130、影像感測器220、感測器276、相機330A-330B的影像感測器、相機430A-430D的影像感測器、XR設備520的一或多個影像感測器、XR設備1005的一或多個影像感測器（例如，如在操作1045中所使用的）或它們的組合。輸入影像的實例包括由圖2中的影像感測器220擷取的影像、由圖5A至圖5B中的XR設備520的影像感測器擷取的影像（尚未覆蓋虛擬介面535）、由圖6A至6B中XR設備520的影像感測器擷取的影像（尚未覆蓋虛擬介面635）、由圖7A至圖7B中的XR設備520的影像感測器擷取的影像（尚未覆蓋虛擬介面735或虛擬內容720）、由圖8A至圖8B中的XR設備520的影像感測器擷取的影像（尚未覆蓋虛擬介面835或虛擬內容840）、在操作1045處擷取的影像或它們的組合。在一些實例中，成像系統可以包括耦接到影像感測器的連接器，並且可以使用該連接器來接收輸入影像。連接器可以包括埠、插孔、電線、輸入/輸出（IO）引腳、印刷電路板（PCB）上的導電跡線、本文論述的任何其他類型的連接器，或它們的某種組合。在一些實例中，成像系統可以包括擷取輸入影像的影像感測器。在一些實例中，為了擷取輸入影像，成像系統可以包括影像擷取和處理系統100、影像擷取設備105A及/或影像處理設備105B。操作1105可以對應於XR設備1005的操作1015、1025及/或1045的至少一個子集。

在操作1110處，成像系統被配置為並且能夠在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案。地標圖案可以包括以下中的至少一種：線性字形、線性條碼、條碼二維（2D）字形、2D條碼、快速回應（QR）碼、微QR碼、條碼、MaxiCode、Aztec碼、PDF417碼、ArUco碼、資料矩陣、網格矩陣、code one碼、堆疊條碼、shotcode、JAB碼、高容量彩色條碼（HCCB）、棋盤圖案、三維（3D）字形、3D條碼、一或多個顏色，或它們的組合。地標圖案的實例包括由地標圖案產生器214產生（及/或針對其產生地標圖案資料）的地標圖案、由地標圖案產生器258產生（及/或針對其產生地標圖案資料）的地標圖案、作為顯示內容262的一部分顯示在顯示器260上的地標圖案、地標圖案530、地標圖案630、地標圖案730、地標圖案830、地標圖案930A-930D、在操作1025-1035處產生的地標圖案、在操作1040處顯示的地標圖案，或它們的組合。在一些實例中，成像系統包括地標圖案的參考副本，並且經由搜尋與輸入影像中的地標圖案的參考副本的特徵匹配的特徵來偵測輸入影像中的地標圖案。操作1110可以對應於XR設備1005的操作1050。

在操作1115處，成像系統被配置為並且能夠決定地標圖案（及/或第一顯示器）在輸入影像中的位姿。地標圖案的位姿可以包括地標圖案的位置（例如，影像中的二維座標及/或環境中的三維座標）、地標圖案的取向（例如，俯仰、偏航及/或滾轉）或它們的組合。在一些態樣，成像系統被配置為並且能夠決定輸入影像中的地標圖案（及/或第一顯示器）的大小。大小可以包括三維體積、二維面積及/或一維量測值（例如，高度、寬度）。大小可以包括絕對大小及/或相對大小（相對於影像資料中的其他內容）。地標圖案的大小可以被辨識為絕對大小或相對於輸入影像中的另一大小（例如，第一顯示器的大小、在第一顯示器上顯示地標圖案的顯示裝置的大小、人的大小）的大小。第一顯示器的大小可以被辨識為絕對大小或相對於輸入影像中的另一大小（例如，地標圖案的大小、在第一顯示器上顯示地標圖案的顯示裝置的大小、人的大小）的大小。在一些實例中，成像系統經由將輸入影像中地標圖案的圖示與輸入影像中的地標圖案的參考副本（沒有透視失真）進行比較來決定地標圖案（及/或第一顯示器）在輸入影像中的位姿，以及至少部分地經由基於與參考副本的比較決定輸入影像中地標圖案的圖示的透視失真來決定位姿。在一些實例中，成像系統至少部分地經由從顯示裝置接收指示第一顯示器及/或顯示裝置的位姿及/或大小的資訊來決定第一顯示器及/或包括第一顯示器的顯示裝置的位姿及/或大小。操作1115可以對應於XR設備1005的操作1055。

在操作1120處，成像系統被配置為並且能夠使第二顯示器顯示基於輸入影像的輸出影像。虛擬介面覆蓋在輸出影像中的地標圖案上。輸出影像中的虛擬介面的位姿基於地標圖案（及/或第一顯示器）在輸入影像中的位姿。成像系統可以基於地標圖案（及/或第一顯示器）在輸入影像中的位姿來產生及/或修改虛擬介面及/或輸出影像以處於虛擬介面的位姿。在一些態樣，輸出影像中的虛擬介面的大小基於輸入影像中地標圖案的大小及/或第一顯示器的大小。成像系統可以基於輸入影像中的地標圖案（及/或第一顯示器）的大小來產生及/或修改虛擬介面及/或輸出影像以具有虛擬介面的大小。成像系統可以包括第二顯示器。

虛擬介面的實例包括至少部分由虛擬介面產生器206產生的虛擬介面、虛擬介面535、虛擬介面635、虛擬介面735、虛擬介面835、在操作1060中產生的虛擬介面、在操作1065中覆蓋在地標圖案上的虛擬介面、在操作1080中更新的虛擬介面或它們的組合。輸出影像的實例包括至少部分地使用輸出影像合成器212產生的輸出影像、經由在顯示器234上顯示輸出影像232來顯示的輸出影像、圖示FOV 560並且包括虛擬介面535並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、圖示FOV 660並且包括虛擬介面635以及遮擋物610和遮擋物620並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、圖示FOV 760並且包括虛擬介面735和虛擬內容720以及顯示的介面710並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、圖示FOV 860並且包括虛擬介面835以及遮擋物810和虛擬內容840並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、在操作1065中產生的輸出影像、在操作1070處顯示的輸出影像、在操作1080中更新的輸出影像、在操作1085處顯示的輸出影像，或它們的組合。操作1120可以對應於XR設備1005的操作1060至1085的至少一個子集。

在一些態樣，成像系統被配置為並且能夠辨識物件遮擋了第一顯示器的包括輸入影像中的地標圖案的至少一部分的區域。如在操作1120中使第二顯示器顯示輸出影像可以包括成像系統遮擋與輸出影像中的第一顯示器的該區域相對應的虛擬介面的一部分。對象的實例包括遮擋物610（例如手部）、遮擋物620（例如手指）和遮擋物810（例如手指）。至少在圖6B和圖8B中圖示成像系統遮擋與輸出影像中的第一顯示器的該區域相對應的虛擬介面的一部分的實例。例如，在圖6B中，遮擋物610和620遮擋了虛擬介面635的與被圖6A中的遮擋物610和620遮擋的觸控式螢幕顯示器515的區域相對應的部分。在圖8B中，遮擋物810遮擋了虛擬介面835的與被圖8A中的遮擋物810遮擋的觸控式螢幕顯示器515的區域相對應的部分。

在一些態樣，成像系統被配置為並且能夠產生虛擬介面的至少一部分。在一些態樣，成像系統被配置為並且能夠從包括第一顯示器的顯示裝置接收虛擬介面的至少一部分。顯示裝置的實例可以包括顯示介面設備250、HMD 310、行動手持設備410、顯示介面設備520、顯示介面設備1010或它們的組合。例如，在圖10中，在操作1060處虛擬介面的產生可以由XR設備1005、顯示介面設備1010或它們的組合來執行。

在一些態樣，成像系統被配置為並且能夠產生輸出影像的至少一部分。在一些態樣，產生輸出影像的至少一部分包括使用基於地標圖案（及/或第一顯示器）在輸入影像中的位姿的透視失真來修改虛擬介面。例如，成像系統可以執行顯示介面設備追蹤224以追蹤地標圖案（及/或第一顯示器）在輸入影像中的位姿。在一些實例中，成像系統可以基於地標圖案的位姿來決定第一顯示器的位姿。成像系統可以包括虛擬介面產生器206和輸出影像合成器212，其可以基於地標圖案（及/或第一顯示器）在輸入影像中的位姿而在輸出影像232中執行虛擬介面的透視失真。圖5A至5B中圖示透視失真的實例，其中根據XR設備520的FOV560，虛擬介面535基於地標圖案530及/或觸控式螢幕顯示器515及/或顯示介面設備510的位姿順時針輕微旋轉。虛擬介面產生器206和輸出影像合成器212可以基於輸入影像中的地標圖案（及/或第一顯示器）的大小來執行對輸出影像232中的虛擬介面的大小調整。

在一些態樣，成像系統被配置為並且能夠：產生與地標圖案相對應的地標圖案資料；及將地標圖案資料發送到包括第一顯示器的顯示裝置，以供顯示裝置回應於接收到地標圖案資料而在第一顯示器上顯示地標圖案。顯示裝置的實例可以包括顯示介面設備250、HMD 310、行動手持設備410、顯示介面設備520、顯示介面設備1010或它們的組合。地標圖案資料可以包括地標圖案。地標圖案資料可以包括表徵地標圖案的資料及/或可以用於重新建立地標圖案的參考副本（例如，由地標圖案的QR碼或條碼或其他編碼方案編碼的資料）。地標圖案資料可以由地標圖案產生器214產生，並且可以經由無線收發器230發送（方塊226）到顯示裝置（顯示介面設備250）。

在一些態樣，成像系統被配置為並且能夠：從包括第一顯示器的顯示裝置接收顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由顯示裝置的顯示介面接收顯示介面輸入的第一顯示器的一部分，該顯示介面與第一顯示器相關聯。顯示裝置的實例可以包括顯示介面設備250、HMD 310、行動手持設備410、顯示介面設備520、顯示介面設備1010或它們的組合。與第一顯示器相對應的顯示介面的實例包括與顯示器260相對應的顯示介面261。在圖2的方塊264處圖示接收顯示介面輸入的實例。

第一顯示器可以是顯示裝置的觸控式螢幕顯示器的顯示層。顯示介面可以是觸控式螢幕顯示器的觸敏層。顯示介面輸入可以是由觸控式螢幕顯示器的觸敏層偵測到的觸摸輸入。觸控式螢幕顯示器的實例包括顯示介面設備510的觸控式螢幕顯示器515。觸摸輸入可以包括例如觸摸、輕敲、雙次輕敲、三次輕敲、輕掃、長按、手勢、任何先前列出的觸摸輸入的多指變體，或它們的組合。

顯示介面可以控制第一顯示器上的遊標。顯示介面輸入可以是基於遊標在第一顯示器上的位置的遊標輸入。顯示介面可以包括滑鼠、觸控板、觸敏表面、觸控式螢幕、操縱桿、小鍵盤、鍵盤、按鈕、控制器、遙控器或它們的組合中的至少一種。遊標輸入可以包括例如點擊、按兩下、三次點擊、點擊和拖動操作、用遊標繞圈、用遊標指向、用遊標懸停、用游標在周圍或上方做手勢，或它們的組合。

顯示介面可以執行手部相對於第一顯示器的手部追蹤。顯示介面輸入可以指示第一顯示器上與手部的位置相對應的位置。顯示介面可以包括一或多個相機及/或一或多個距離感測器。顯示介面可以使用一或多個相機及/或一或多個距離感測器來執行手部追蹤。顯示介面輸入可以與以下中的至少一項相關聯：手部觸摸第一顯示器上的位置，手部懸停在第一顯示器上的位置上方，手部指向第一顯示器上的位置，手部相對於第一顯示器上的位置做手勢，手部的手指觸摸第一顯示器上的位置，手部的手指懸停在第一顯示器上的位置上方，手部的手指指向第一顯示器上的位置，手部的手指相對於第一顯示器上的位置做手勢，或它們的組合。成像系統可以包括一或多個相機及/或一或多個距離感測器的至少一個子集。包括第一顯示器的顯示裝置可以包括一或多個相機及/或一或多個距離感測器的至少一個子集。一或多個距離感測器可以包括例如RADAR感測器、LIDAR感測器、SONAR感測器、SODAR感測器、飛行時間感測器、結構光感測器或它們的組合。

在一些態樣，成像系統被配置為並且能夠：辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準。例如，成像系統可以辨識顯示介面輸入辨識符指示在第一顯示器上的一組特定座標處的顯示介面輸入，第一顯示器上的該組座標亦與虛擬介面的虛擬介面元件（例如，一或多個按鈕、滑塊、捲軸、選項按鈕、核取方塊、旋鈕、滾輪、本文欄位、基於觸摸的小鍵盤、基於觸摸的鍵盤、基於觸摸的繪圖區域或它們的組合）對準。例如，在圖8B中，顯示介面輸入辨識符可以是指示使用者505右手的拇指已經觸摸了觸控式螢幕顯示器515上的一組座標的觸摸輸入辨識符，並且成像系統可以辨識出觸控式螢幕顯示器515上的該組座標與虛擬介面835的控制器按鈕中的一個相對應。

成像系統可以回應於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動修改虛擬介面。例如，若虛擬介面是圖5B的音樂播放機虛擬介面535，則經由對觸控式螢幕515的觸摸輸入按下虛擬介面535上的「跳過」按鈕或者可以跳到下一首歌曲並因此觸發對虛擬介面的修改以辨識下一首歌曲。類似地，若虛擬介面是圖5B的音樂播放機虛擬介面535，則經由對觸控式螢幕515的觸摸輸入來滑動虛擬介面535的滑塊可以觸發對虛擬介面的修改以移動滑塊。若虛擬介面是圖7B的視訊播放機虛擬介面735，則經由對觸控式螢幕515的觸摸輸入來滑動虛擬介面735的滑塊或按下虛擬介面735的任意按鈕（例如，播放、快進、倒帶、暫停）可以觸發對虛擬介面的修改以移動滑塊及/或用適當的視訊訊框更新正在由視訊播放機虛擬介面735播放的視訊。若虛擬介面是圖6B的影像檢視器虛擬介面635，則向下輕掃影像檢視器虛擬介面635可以滾動影像並且因此可以觸發對虛擬介面的修改以滾動影像。若虛擬介面是圖6B的影像檢視器虛擬介面635，則觸摸影像檢視器虛擬介面635中的影像可以放大所選擇的影像或使其居中，並且由此可以觸發對虛擬介面的修改以放大所選擇的影像或使其居中。

成像系統可以回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出音訊剪輯。例如，若虛擬介面是圖5B的音樂播放機虛擬介面535，則經由對觸控式螢幕515的觸摸輸入按下虛擬介面535上的「播放」按鈕可以播放歌曲，其中該歌曲是音訊剪輯的實例。若虛擬介面是圖5B的視訊播放機虛擬介面735，則經由對觸控式螢幕515的觸摸輸入按下虛擬介面535上的「播放」按鈕可以播放歌曲，其中該歌曲是音訊剪輯的實例。若虛擬介面是圖7B的視訊播放機虛擬介面735，則經由對觸控式螢幕515的觸摸輸入來滑動虛擬介面735的滑塊或按下虛擬介面735的任意按鈕（例如，播放、快進、倒帶、暫停）可以觸發播放由視訊播放機虛擬介面735正在播放的視訊的音軌，該音軌對應於適當的視訊訊框，視訊的音軌是音訊剪輯的實例。若虛擬介面是圖8B的遊戲控制器虛擬介面835，則經由觸摸輸入按壓虛擬介面835上的各種遊戲按鈕可以執行遊戲中的動作（例如，發射武器）並且可以播放遊戲中的聲音效果，該聲音效果是音訊剪輯的實例。

成像系統可以回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出振動。振動的實例包括振動回饋845。例如，若虛擬介面是圖8B的遊戲控制器虛擬介面835，則經由觸摸輸入按壓虛擬介面835上的各個遊戲按鈕可以執行遊戲中的動作（例如，發射武器）並且可以提供振動回饋845。

成像系統可以接收場景的第二輸入影像。第二輸入影像可以在擷取輸入影像之後由影像感測器擷取。成像系統可以使第二顯示器顯示第二輸出影像。第二輸出影像包括覆蓋在第二輸入影像上的虛擬內容。虛擬內容由成像系統基於辨識由顯示介面輸入辨識符所指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動設置（例如，在場景內選擇、在場景內調整位姿、在場景內調整大小）。虛擬內容的實例包括由虛擬內容產生器210產生的虛擬內容、使用輸出影像合成器212合成到第二輸出影像中的虛擬內容、虛擬內容720、虛擬內容840或它們的組合。第二輸出影像的實例包括至少部分地使用輸出影像合成器212產生的輸出影像、經由在顯示器234上顯示輸出影像232來顯示的輸出影像、圖示FOV 760並且包括虛擬介面735和虛擬內容720以及顯示的介面710並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、圖示FOV 860並且包括虛擬介面835和遮擋物810和虛擬內容840並且經由XR設備520的一或多個顯示器顯示給XR設備520的使用者505的輸出影像、在操作1065中產生的輸出影像、在操作1070處顯示的輸出影像、在操作1080中更新的輸出影像、在操作1085處顯示的輸出影像，或它們的組合。

在一些態樣，成像系統可以包括：用於接收場景的輸入影像的部件，該輸入影像由影像感測器擷取；用於在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案的部件；用於決定地標圖案在輸入影像中的位姿的部件；及用於使第二顯示器顯示基於輸入影像的輸出影像的部件，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。在一些實例中，用於接收輸入影像的部件包括影像感測器130、影像擷取設備105A、影像處理設備105B、影像擷取和處理設備100、XR設備202、影像感測器220、XR應用程式204、相機330A-330B、相機430A-430D、XR設備520的一或多個影像感測器、XR設備1005的一或多個影像感測器（例如，如在操作1045中所使用的）或它們的組合。在一些實例中，用於偵測地標圖案的部件包括影像處理設備105B、影像擷取和處理設備100、影像處理器150、主處理器152、影像感測器220、顯示介面設備追蹤224、XR設備202中執行顯示介面設備追蹤224的顯示介面設備追蹤引擎、XR應用程式204或它們的組合。在一些實例中，用於決定地標圖案的位姿的部件包括影像處理設備105B、影像擷取和處理設備100、影像處理器150、主處理器152、影像感測器220、顯示介面設備追蹤224、XR設備202中執行顯示介面設備追蹤224的顯示介面設備追蹤引擎、XR應用程式204或它們的組合。在一些實例中，用於使第二顯示器顯示輸出影像的部件包括虛擬介面產生器208、遮擋物偵測器208、虛擬內容產生器210、輸出影像合成器212、輸出內容的顯示232、顯示器234、XR應用程式204、用於顯示器234的顯示控制器或它們的組合。

在一些實例中，本文描述的程序（例如，程序1100及/或本文描述的其他程序）可以由計算設備或裝置執行。在一些實例中，程序1100可以由圖2的XR系統200執行。在一些實例中，程序1100可以由圖2的XR設備202、圖5A至圖9的XR設備520、圖10的XR設備1005或它們的組合來執行。在另一實例中，程序1100可以由具有圖12所示的計算系統1200的計算設備執行。

計算設備可以包括任何合適的設備，諸如行動設備（例如，行動電話）、桌面計算設備、平板計算設備、可穿戴設備（例如，VR頭戴式耳機、AR頭戴式耳機、AR眼鏡、聯網手錶或智慧手錶或其他可穿戴設備）、伺服器電腦、自主車輛或自主車輛的計算設備、機器人設備、電視及/或任何其他具有執行本文所述程序（包括程序1100）的資源能力的計算設備在。在一些情況下，計算設備或裝置可以包括各種部件，諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦、一或多個相機、一或多個感測器及/或被配置為執行本文所述程序的步驟的其他部件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的網路介面、它們的任何組合、及/或其他組件。網路介面可以被配置為傳送及/或接收基於網際網路協定（IP）的資料或其他類型的資料。

計算設備的部件可以在電路中實現。例如，部件可以包括及/或可以使用電子電路或其他電子硬體來實現，這些電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或它們的任何組合來實現，以執行本文描述的各種操作。

程序1000和1100被示出為邏輯流程圖，其動作表示可以在硬體、電腦指令或它們的組合中實現的操作序列。在電腦指令的上下文中，動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，指令在由一或多個處理器執行時執行所述操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序不意欲被解釋為限制，並且任何數量的所述操作可以以任何順序及/或並行組合以實現程序。

此外，程序1000、1100及/或本文描述的其他程序可以在配置有可執行指令的一或多個電腦系統的控制下執行，並且可以實現為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用程式）、由硬體實現或它們的組合。如前述，代碼可以儲存在電腦可讀或機器可讀儲存媒體上，例如以包括可由一或多個處理器執行的複數個指令的電腦程式的形式。電腦可讀或機器可讀儲存媒體可以是非暫時性的。

圖12是示出用於實現本發明技術的某些態樣的系統的實例的圖。具體地，圖12圖示計算系統1200的實例，其可以是例如構成內部計算系統的任何計算設備、遠端計算系統、相機或其任何部件，其中系統的部件使用連接1205彼此進行通訊。連接1205可以是使用匯流排的實體連接，或者是到處理器1210的直接連接，諸如在晶片組架構中。連接1205亦可以是虛擬連接、網路連接或邏輯連接。計算系統1200的實例可以包括，例如，影像擷取和處理系統100、影像擷取設備105A、影像處理設備105B、影像處理器150、ISP 154、圖1的主處理器152、XR系統200、XR設備202、圖2的顯示介面設備250、圖3A至圖3B的HMD 310、圖4A至圖4B的行動手持設備410、圖5A至圖9的XR設備520、圖5A至圖9的顯示介面設備510、圖10的XR設備1005、圖10的顯示介面設備1010、執行操作1100的成像系統、計算系統1200、圖12的處理器1210或它們的組合。

在一些實施例中，計算系統1200是分散式系統，其中本案中所描述的功能可以分佈在資料中心、多個資料中心、對等網路等內。在一些實施例中，所描述的系統部件中的一或多個表示許多此類部件各自執行針對該部件所描述的部分或全部功能。在一些實施例中，部件可以是實體設備或虛擬裝置。

實例系統1200包括至少一個處理單元（CPU或處理器）1210和將包括系統記憶體1215（諸如唯讀記憶體（ROM）1220和隨機存取記憶體（RAM）1225）的各種系統部件耦接到處理器1210的連接1205。計算系統1200可以包括高速記憶體的快取記憶體1212，該高速記憶體與處理器1210直接連接、靠近處理器或整合為處理器的一部分。

處理器1210可以包括被配置為控制處理器1210的任何通用處理器和硬體服務或軟體服務（諸如儲存在存放裝置1230中的服務1232、1234和1236）以及其中軟體指令被結合到實際處理器設計中的專用處理器。處理器1210本質上可以是完全獨立的計算系統，包含多個核心或處理器、匯流排、記憶體控制器、快取記憶體等。多核心處理器可以是對稱的或不對稱的。

為了實現使用者互動，計算系統1200包括輸入設備1245，其可以表示任意數量的輸入機構，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1200亦可以包括輸出設備1235，其可以是多個輸出機構中的一或多個。在一些情況下，多模式系統可以使使用者能夠提供多種類型的輸入/輸出以與計算系統1200進行通訊。計算系統1200可以包括通訊介面1240，其通常可以支配和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發器執行或利於接收及/或傳輸有線或無線通訊，包括使用音訊插孔/插頭、麥克風插孔/插頭、通用序列匯流排（USB）埠/插頭、Apple®Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、BLUETOOTH®無線訊號傳輸、BLUETOOTH®低能量（BLE）無線訊號傳輸、IBEACON®無線訊號傳輸、射頻辨識（RFID）無線訊號傳輸、近場通訊（NFC）無線訊號傳輸、專用短距離通訊（DSRC）無線訊號傳輸、802.11 Wi-Fi無線訊號傳輸、無線區域網路（WLAN）訊號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、紅外（IR）通訊無線訊號傳輸、公用交換電話網絡（PSTN）訊號傳輸、整合式服務數位網路絡（ISDN）訊號傳輸、3G/4G/5G/LTE蜂巢資料網路無線訊號傳輸、ad-hoc網路訊號傳輸、無線電波訊號傳輸、微波訊號傳輸、紅外訊號傳輸、可見光訊號傳輸、紫外光訊號傳輸、沿電磁頻譜的無線訊號傳輸，或它們的某種組合的那些。通訊介面1240亦可以包括一或多個全球導航衛星系統（GNSS）接收器或收發器，它們被用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到一或多個訊號來決定計算系統1200的定位。GNSS系統包括但不限於美國的全球定位系統（GPS）、俄羅斯的全球導航衛星系統（GLONASS）、中國的北斗導航衛星系統（BDS）和歐洲的伽利略GNSS。對關於任何特定硬體佈置上的操作沒有限制，因此這裡的基本特徵可以在其開發時很容易地替換為改進的硬體或韌體配置。

存放裝置1230可以是非揮發性及/或非暫時性及/或電腦可讀記憶體設備，並且可以是硬碟或可以儲存電腦可存取的資料的其他類型的電腦可讀取媒體，諸如磁盒式磁帶、快閃記憶卡、固態記憶體設備、數位多功能磁碟、盒式磁帶、軟碟、軟碟、硬碟、磁帶、磁條/帶、任何其他磁儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、光碟唯讀記憶體（CD-ROM）光碟、可重寫光碟（CD）光碟、數位視訊光碟（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、其他光學媒體、安全數位（SD）卡、微型安全數位（microSD）卡、MemoryStick®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、mini/micro/nano/picoSIM卡、其他積體電路（IC）晶片/卡、隨機存取記憶體（RAM）、靜態RAM（SRAM）、動態RAM（DRAM）、唯讀記憶體（ROM）、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體EPROM（FLASHEPROM）、快取緩衝記憶體（L1/L2/L3/L4/L5/L#）、電阻隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移矩RAM（STT-RAM）、其他儲存晶片或盒式磁帶及/或它們的組合。

存放裝置1230可以包括軟體服務、伺服器、服務等，當處理器1210執行定義這種軟體的代碼時，其使系統執行功能。在一些實施例中，執行特定功能的硬體服務可以包括儲存在電腦可讀取媒體中的軟體部件，其與諸如處理器1210、連接1205、輸出設備1235等必要的硬體部件相結合以執行功能。

如本文所用，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括其中可以儲存資料的非暫時性媒體，並且不包括無線或經由有線連接傳播的載波及/或暫時性電子訊號。非暫時性媒體的實例可以包括但不限於磁碟或磁帶、諸如光碟（CD）或數位多功能光碟（DVD）之類的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以在其上儲存代碼及/或機器可執行指令，代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類或者指令、資料結構或者程式語句的任意組合。程式碼片段可以經由傳遞及/或接收資訊、資料、命令列參數、參數或記憶體內容耦接至另一程式碼片段或硬體電路。資訊、命令列參數、參數、資料等可以使用任何合適的手段傳遞、轉發或傳輸，包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等。

在一些實施例中，電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流等的電纜或無線訊號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確排除諸如能量、載波訊號、電磁波和訊號本身之類的媒體。

在上面的描述中提供了具體細節以提供對本文提供的實施例和實例的透徹理解。然而，本發明所屬領域中具有通常知識者應當理解，可以在沒有這些具體細節的情況下實踐實施例。為了解釋的清楚起見，在一些情況下，本技術可以被呈現為包括單獨的功能方塊，其包括的功能方塊包括設備、設備部件、以軟體或硬體和軟體的組合體現的方法中的步驟或常式。可以使用除了圖中所示及/或本文描述的那些之外的額外部件。例如，電路、系統、網路、程序和其他部件可以以方塊圖的形式顯示為部件，以免在不必要的細節上模糊實施例。在其他情況下，可以在沒有不必要細節的情況下顯示公知的電路、程序、演算法、結構和技術，以避免模糊實施例。

各個實施例可以在以上被描述為被圖示為流程圖（flowchart）、流程圖（flowdiagram）、資料串流圖、結構圖或方塊圖的程序。儘管流程圖可以將操作描述為順序程序，但是許多操作可以並行地或同時地執行。此外，可以重新設置操作的次序。程序的操作在完成時會終止，但可能會有圖中未包含的額外步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於函數時，其終止可以對應於該函數返回到調用函數或主函數。

根據上述實例的程序和方法可以使用被儲存或以其他方式可從電腦可讀取媒體獲得的電腦可執行指令來實現。此類指令可以包括例如促使或以其他方式配置通用電腦、專用電腦或處理設備來執行特定功能或功能組的指令和資料。所使用的部分電腦資源可以經由網路存取。電腦可執行指令可以是例如二進位、中間格式指令，諸如組合語言、韌體、原始程式碼等。可用於儲存指令、使用的資訊及/或在根據所述實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、提供有非揮發性記憶體的USB設備、聯網存放裝置等。

實現根據這些揭示內容的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或它們的任何組合，並且可以採用多種形狀因數中的任何一種。當以軟體、韌體、中介軟體或微碼實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要的任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小形狀因數個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以體現在周邊設備或額外卡中。作為進一步的實例，此類功能亦可以在不同晶片或在單個設備中執行的不同程序之間在電路板上實現。

指令、用於傳送此類指令的媒體、用於執行它們的計算資源、以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的實例部件。

在上述描述中，結合本案的具體實施例對本案的各個態樣進行了描述，但是本發明所屬領域中具有通常知識者將認識到本案不限於此。因此，儘管本文已經詳細描述了本案的說明性實施例，但是應當理解，本發明概念可以以其他方式不同地體現和採用，並且所附請求項意欲被解釋為包括此類變化，除非受到現有技術限制。上述應用的各種特徵和態樣可以單獨或聯合使用。此外，實施例可以在不脫離本說明書的更廣泛的精神和範疇的情況下用於本文所述之外的任何數量的環境和應用中。因此，說明書和附圖被認為是說明性的而不是限制性的。出於說明的目的，以特定順序描述了方法。應當理解，在替代實施例中，可以以與所描述的順序不同的順序來執行這些方法。

具有通常知識者將理解，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「

」）和大於或等於（「

」）符號來替代而並不脫離本描述的範疇。

在部件被描述為「配置為」執行某些操作的情況下，這種配置可以經由例如設計電子電路或其他硬體來執行操作、經由對可程式設計電子電路（例如微處理器或其他合適的電子電路）進行程式設計來實執行該操作或它們的任何組合來實現。

短語「耦接到」是指任何部件直接或間接實體連接到另一個部件，及/或任何部件與另一個部件直接或間接進行通訊（例如，經由有線或無線連接及/或其他合適的通訊介面連接到另一個部件）。

引用集合「……中的至少一個」及/或集合「……中的一或多個」的請求項語言或其他語言表示該集合的一個成員或該集合的多個成員（以任何組合）滿足該實例。例如，引用「A和B中的至少一個」的請求項語言是指A、B或A和B。在另一個實例中，引用「A、B和C中的至少一個」的請求項語言是指A、B、C，或A和B，或A和C，或B和C，或A和B和C。語言集合「……中的至少一個」及/或集合「……中的一或多個」不將集合限制為集合中列出的項目。例如，引用「A和B中的至少一個」的請求項語言可以表示A、B或A和B，並且可以另外包括未在A和B的集合中列出的項目。

結合本文揭示的實施例描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以實現為電子硬體、電腦軟體、韌體或它們的組合。為了清楚地說明硬體和軟體的這種可互換性，以上已經大體上根據它們的功能描述了各種說明性部件、方塊、模組、電路以及步驟。此類功能是被實現為硬體還是軟體取決於特定應用以及根據整體系統所施加的設計約束條件。具有通常知識者可以針對每種特定應用按照不同方式實現所述功能，但是此類具體實施決策不應當被解釋為導致脫離了本案的範疇。

本文所述的技術亦可以在電子硬體、電腦軟體、韌體或它們的任何組合中實現。此類技術可以在多種設備中的任何一種中實現，諸如通用電腦、無線通訊設備手持機或具有多種用途的積體電路設備，包括在無線通訊設備手持機和其他設備中應用。描述為模組或部件的任何特徵皆可以在整合邏輯裝置中一起實現，或者作為個別但可交互動操作的邏輯裝置單獨實現。若在軟體中實現，則該技術可以至少部分地由包括程式碼的電腦可讀取資料儲存媒體實現，該程式碼包括指令，當執行該指令時執行上述方法中的一或多個。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM），諸如同步動態隨機存取記憶體（SDRAM）、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁或光資料儲存媒體等。補充地或替代地，這些技術可以至少部分地經由承載或傳送以指令或資料結構形式並且可以由電腦存取、讀取及/或執行的程式碼的電腦可讀通訊媒體來實現，諸如傳播的訊號或波。

程式碼可由處理器執行，該處理器可以包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA），或其他等效的整合或個別邏輯電路。此類處理器可以被配置為執行本案中所描述的任何技術。通用處理器可以是微處理器，但是另選地，處理器可以是任何習知處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合、或者任何其他此類配置。因此，如本文所使用的術語「處理器」可以指任何前述結構、前述結構的任何組合、或適用於實施本文所述技術的任何其他結構或裝置。此外，在一些態樣，本文描述的功能可以在被配置用於編碼和解碼的專用軟體模組或硬體模組內提供，或者結合到組合視訊轉碼器-解碼器（CODEC）中。

本案的說明性態樣包括:

態樣1：一種用於處理影像資料的裝置，該裝置包括：記憶體；及耦接到記憶體的一或多個處理器，該一或多個處理器被配置為：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在該輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

態樣2.根據態樣1之裝置，其中地標圖案包括以下中的至少一種：線性字形、線性條碼、條碼二維（2D）字形、2D條碼、快速回應（QR）碼、微QR碼、條碼、MaxiCode、Aztec碼、PDF417碼、ArUco碼、資料矩陣、網格矩陣、code one碼、堆疊條碼、shotcode、JAB碼、高容量彩色條碼（HCCB）、棋盤圖案、三維（3D）字形、3D條碼以及一或多個顏色。

態樣3.根據態樣1至2中任一項所述的裝置，其中一或多個處理器被配置為：辨識物件遮擋了第一顯示器的包括輸入影像中的地標圖案的至少一部分的區域，並且其中為了使第二顯示器顯示輸出影像，一或多個處理器被配置為在輸出影像中遮擋與第一顯示器的該區域相對應的虛擬介面的一部分。

態樣4.根據態樣1至3中任一項所述的裝置，其中一或多個處理器被配置為：產生虛擬介面的至少一部分。

態樣5.根據態樣1至4中任一項所述的裝置，其中一或多個處理器被配置為：從包括第一顯示器的顯示裝置接收虛擬介面的至少一部分。

態樣6.根據態樣1至5中任一項所述的裝置，其中一或多個處理器被配置為：產生輸出影像的至少一部分。

態樣7.根據態樣6之裝置，其中為了產生輸出影像的至少一部分，一或多個處理器被配置為使用基於地標圖案在輸入影像中的位姿的透視失真來修改虛擬介面。

態樣8.根據態樣1至7中任一項所述的裝置，其中一或多個處理器被配置為：產生與地標圖案相對應的地標圖案資料；及將地標圖案資料發送到包括第一顯示器的顯示裝置，以供顯示裝置回應於接收到地標圖案資料而在第一顯示器上顯示地標圖案。

態樣9.根據態樣1至8中任一項所述的裝置，其中一或多個處理器被配置為：從包括第一顯示器的顯示裝置接收顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由顯示裝置的顯示介面接收顯示介面輸入的第一顯示器的一部分，該顯示介面與第一顯示器相關聯。

態樣10.根據態樣9之裝置，其中第一顯示器是顯示裝置的觸控式螢幕顯示器的顯示層，其中顯示介面是觸控式螢幕顯示器的觸敏層，其中顯示介面輸入是由觸控式螢幕顯示器的觸敏層偵測到的觸摸輸入。

態樣11.根據態樣9至10中任一項所述的裝置，其中顯示介面控制第一顯示器上的遊標，其中顯示介面輸入是基於遊標在第一顯示器上的位置的遊標輸入，其中顯示介面包括滑鼠、觸控板、觸敏表面、觸控式螢幕、操縱桿、小鍵盤、鍵盤、按鈕、控制器和遙控器中的至少一種。

態樣12.根據態樣9至11中任一項所述的裝置，其中顯示介面執行手部相對於第一顯示器的手部追蹤，其中顯示介面輸入指示第一顯示器上與手部的位置相對應的位置，其中顯示介面包括相機和距離感測器中的至少一種，其中顯示介面輸入與以下中的至少一項相關聯：手部觸摸第一顯示器上的該位置，手部懸停在第一顯示器上的該位置上方，手部指向第一顯示器上的該位置，以及手部相對於第一顯示器上的該位置做手勢。

態樣13.根據態樣9至12中任一項所述的裝置，其中一或多個處理器被配置為：辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準。

態樣14.根據態樣13之裝置，其中一或多個處理器被配置為：回應於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動修改虛擬介面。

態樣15.根據態樣13至14中任一項所述的裝置，其中一或多個處理器被配置為：接收場景的第二輸入影像，該第二輸入影像在擷取輸入影像之後由影像感測器擷取；及使第二顯示器顯示第二輸出影像，其中第二輸出影像包括覆蓋在第二輸入影像上的虛擬內容，其中虛擬內容是基於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動設置的。

態樣16.根據態樣13至15中任一項所述的裝置，其中一或多個處理器被配置為：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出音訊剪輯。

態樣17.根據態樣13至16中任一項所述的裝置，其中一或多個處理器被配置為：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出振動。

態樣18.根據態樣1至17中任一項所述的裝置，其中一或多個處理器被配置為：決定輸入影像中的第一顯示器的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的第一顯示器的大小。

態樣19.根據態樣1至18中任一項所述的裝置，其中一或多個處理器被配置為：決定輸入影像中的地標圖案的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的地標圖案的大小。

態樣20.根據態樣1至19中任一項所述的裝置，亦包括：影像感測器。

態樣21.根據態樣1至20中任一項所述的裝置，亦包括：第二顯示器。

態樣22.根據態樣1至21中任一項所述的裝置，其中該裝置包括行動手持設備、無線通訊設備和頭戴式顯示器（HMD）中的至少一種。

態樣23.一種影像資料處理方法，該方法包括：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

態樣24.根據態樣23之方法，其中地標圖案包括以下中的至少一種：線性字形、線性條碼、條碼二維（2D）字形、2D條碼、快速回應（QR）碼、微QR碼、條碼、MaxiCode、Aztec碼、PDF417碼、ArUco碼、資料矩陣、網格矩陣、code one碼、堆疊條碼、shotcode、JAB碼、高容量彩色條碼（HCCB）、棋盤圖案、三維（3D）字形、3D條碼以及一或多個顏色。

態樣25.根據態樣23至24中任一項所述的方法，亦包括：辨識物件遮擋了第一顯示器的包括輸入影像中的地標圖案的至少一部分的區域，並且其中使第二顯示器顯示輸出影像的包括在輸出影像中遮擋與第一顯示器的該區域相對應的虛擬介面的一部分。

態樣26.根據態樣23至25中任一項所述的方法，亦包括：產生虛擬介面的至少一部分。

態樣27.根據態樣23至26中任一項所述的方法，亦包括：從包括第一顯示器的顯示裝置接收虛擬介面的至少一部分。

態樣28.根據態樣23至27中任一項所述的方法，亦包括：產生輸出影像的至少一部分。

態樣29.根據態樣28之方法，其中產生輸出影像的至少一部分包括使用基於地標圖案在輸入影像中的位姿的透視失真來修改虛擬介面。

態樣30.根據態樣23至29中任一項所述的方法，亦包括：產生與地標圖案相對應的地標圖案資料；及將地標圖案資料發送到包括第一顯示器的顯示裝置，以供顯示裝置回應於接收到地標圖案資料而在第一顯示器上顯示地標圖案。

態樣31.根據態樣23至30中任一項所述的方法，亦包括：從包括第一顯示器的顯示裝置接收顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由顯示裝置的顯示介面接收顯示介面輸入的第一顯示器的一部分，該顯示介面與第一顯示器相關聯。

態樣32.根據態樣31中任一項所述的方法，其中第一顯示器是顯示裝置的觸控式螢幕顯示器的顯示層，其中顯示介面是觸控式螢幕顯示器的觸敏層，其中顯示介面輸入是由觸控式螢幕顯示器的觸敏層偵測到的觸摸輸入。

態樣33.根據態樣31至32中任一項所述的方法，其中顯示介面控制第一顯示器上的遊標，其中顯示介面輸入是基於遊標在第一顯示器上的位置的遊標輸入，其中顯示介面包括滑鼠、觸控板、觸敏表面、觸控式螢幕、操縱桿、小鍵盤、鍵盤、按鈕、控制器和遙控器中的至少一種。

態樣34.根據態樣31至33中任一項所述的方法，其中顯示介面執行手部相對於第一顯示器的手部追蹤，其中顯示介面輸入指示第一顯示器上與手部的位置相對應的位置，其中顯示介面包括相機和距離感測器中的至少一種，其中顯示介面輸入與以下中的至少一項相關聯：手部觸摸第一顯示器上的該位置，手部懸停在第一顯示器上的該位置上方，手部指向第一顯示器上的該位置，以及手部相對於第一顯示器上的該位置做手勢。

態樣35.根據態樣31至34中任一項所述的方法，亦包括：辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準。

態樣36.根據態樣35中任一項所述的方法，亦包括：回應於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動修改虛擬介面。

態樣37.根據態樣35至36中任一項所述的方法，亦包括：接收場景的第二輸入影像，該第二輸入影像在擷取輸入影像之後由影像感測器擷取；及使第二顯示器顯示第二輸出影像，其中第二輸出影像包括覆蓋在第二輸入影像上的虛擬內容，其中虛擬內容是基於辨識由顯示介面輸入辨識符指示的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動設置的。

態樣38.根據態樣35至37中任一項所述的方法，亦包括：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出音訊剪輯。

態樣39.根據態樣35至38中任一項所述的方法，亦包括：回應於辨識由顯示介面輸入辨識符標識的第一顯示器的一部分與輸出影像中的虛擬介面的一部分對準而自動輸出振動。

態樣40.根據態樣23至39中任一項所述的方法，亦包括：決定輸入影像中的第一顯示器的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的第一顯示器的大小。

態樣41.根據態樣23至40中任一項所述的方法，亦包括：決定輸入影像中的地標圖案的大小，其中輸出影像中的虛擬介面的大小基於輸入影像中的地標圖案的大小。

態樣42.根據態樣23至41中任一項所述的方法，其中該方法由包括影像感測器的裝置執行。

態樣43.根據態樣23至42中任一項所述的方法，其中該方法由包括第二顯示器的裝置執行。

態樣44.根據態樣23至43中任一項所述的方法，其中該方法由包括行動手持設備、無線通訊設備和頭戴式顯示器（HMD）中的至少一種的裝置執行。

態樣45：一種其上儲存有指令的非暫時性電腦可讀取媒體，當指令由一或多個處理器執行時，使該一或多個處理器：接收場景的輸入影像，該輸入影像由影像感測器擷取；在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案；決定地標圖案在輸入影像中的位姿；及使第二顯示器顯示基於輸入影像的輸出影像，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

態樣46：根據態樣45之非暫時性電腦可讀取媒體，亦包括態樣2至22中的任一項，及/或態樣24至44中的任一項。

態樣47：一種用於影像處理的裝置，該裝置包括：用於接收場景的輸入影像的部件，該輸入影像由影像感測器擷取；用於在場景的輸入影像中偵測在場景中的第一顯示器上顯示的地標圖案的部件；用於決定地標圖案在輸入影像中的位姿的部件；及用於使第二顯示器顯示基於輸入影像的輸出影像的部件，其中虛擬介面覆蓋在輸出影像中的地標圖案上，其中虛擬介面在輸出影像中的位姿基於地標圖案在輸入影像中的位姿。

態樣48：根據態樣47之裝置，亦包括態樣2至22中的任一項，及/或態樣24至44中的任一項。

100:影像擷取和處理系統 105A:影像擷取裝置 105B:影像處理設備 110:場景 115:鏡頭 120:控制機構 125A:曝光控制機構 125B:聚焦控制機構 125C:變焦控制機構 130:影像感測器 140:隨機存取記憶體（RAM） 145:唯讀記憶體（ROM） 150:影像處理器 152:主處理器 154:ISP 156:輸入/輸出（I/O）埠 160:輸入/輸出（I/O）設備 200:XR系統 202:XR設備 204:XR應用程式 206:虛擬介面產生器 208:遮擋物偵測器 210:虛擬內容產生器 212:輸出影像合成器 214:地標圖案產生器 216:慣性感測器 218:慣性追蹤 220:影像感測器 222:手部追蹤 224:顯示介面設備追蹤 226:方塊 228:方塊 230:無線收發器 232:方塊 234:顯示器 250:顯示介面設備 252:顯示介面應用程式 254:顯示介面產生器 256:顯示介面解譯器 258:地標圖案產生器 260:顯示器 261:顯示介面 262:顯示內容 264:方塊 270:無線收發器 272:方塊 274:方塊 276:感測器 278:位姿追蹤 300:透視圖 310:頭戴式顯示器（HMD） 320:使用者 330A:第一相機 330B:第二相機 335:耳機 340:顯示器 350:透視圖 400:透視圖 410:行動手持設備 420:前表面 430A:第一相機 430B:第二相機 430C:第三相機 430D:第四相機 435A:揚聲器 435B:揚聲器 440:顯示器 450:透視圖 460:後表面 500:透視圖 505:使用者 510:顯示介面設備 515:觸控式螢幕顯示器 520:XR設備 525:顯示器 530:地標圖案 535:虛擬介面 550:透視圖 560:視野（FOV） 600:透視圖 610:測第一遮擋物 620:第二遮擋物 630:地標圖案 635:虛擬介面 650:透視圖 660:視野（FOV） 700:透視圖 710:介面 720:虛擬內容 730:地標圖案 735:視訊播放機虛擬介面 750:透視圖 760:視野（FOV） 800:透視圖 810:遮擋物 830:地標圖案 835:虛擬介面 840:虛擬內容 845:振動回饋 850:透視圖 860:視野（FOV） 900:概念圖 905:預定頻率隨著時間 930A:地標圖案 930B:地標圖案 930C:地標圖案 930D:地標圖案 1000:操作 1005:XR設備 1010:顯示介面設備 1015:操作 1020:操作 1025:操作 1030:操作 1035:操作 1040:操作 1045:操作 1050:操作 1055:操作 1060:操作 1065:操作 1070:操作 1075:操作 1080:操作 1085:操作 1100:程序 1105:操作 1110:操作 1115:操作 1120:操作 1200:計算系統 1205:連接 1210:處理器 1212:快取記憶體 1215:系統記憶體 1220:唯讀記憶體（ROM） 1225:隨機存取記憶體（RAM） 1230:存放裝置 1232:服務 1234:服務 1235:輸出設備 1236:服務 1240:通訊介面 1245:輸入設備

下文參考附圖來詳細描述本案的說明性實施例:

圖1是示出根據一些實例的影像擷取和處理系統的實例架構的方塊圖；

圖2是示出根據一些實例的具有XR設備和顯示介面設備的擴展現實（XR）系統的實例架構的方塊圖；

圖3A是示出根據一些實例的用作擴展現實（XR）系統的頭戴式顯示器（HMD）的透視圖；

圖3B是示出根據一些實例的由使用者佩戴的圖3A的頭戴式顯示器（HMD）的透視圖；

圖4A是示出根據一些實例的包括前置相機並且可以用作擴展現實（XR）設備或觸控式螢幕設備的行動手持設備的前表面的透視圖；

圖4B是示出根據一些實例的包括後置相機並且可以用作擴展現實（XR）設備或顯示介面設備的行動手持設備的後表面的透視圖；

圖5A是示出根據一些實例的使用者佩戴擴展現實（XR）設備並持有正在顯示地標圖案的顯示介面設備的透視圖；

圖5B是示出根據一些實例的佩戴圖5A的擴展現實（XR）設備並經由該設備查看環境的使用者的視野（FOV）的透視圖，其中虛擬介面覆蓋在地標圖案上；

圖6A是示出根據一些實例的使用者佩戴擴展現實（XR）設備並持有正在顯示被使用者的手部和手指部分遮擋的兩個地標圖案的顯示介面設備的透視圖；

圖6B是示出根據一些實例的佩戴圖6A的擴展現實（XR）設備並經由該設備查看環境的使用者的視野（FOV）的透視圖，其中虛擬介面覆蓋在兩個地標圖案上並且遮擋物在虛擬介面上可見；

圖7A是示出根據一些實例的使用者佩戴擴展現實（XR）設備並持有正在顯示地標圖案和顯示的介面的顯示介面設備的透視圖；

圖7B是示出根據一些實例的佩戴圖7A的擴展現實（XR）設備並經由該設備查看環境的使用者的視野（FOV）的透視圖，其中虛擬介面覆蓋在地標圖案上但是顯示的介面仍然可見；

圖8A是示出根據一些實例的使用者佩戴擴展現實（XR）設備並持有正在顯示兩個地標圖案的顯示介面設備的透視圖；

圖8B是示出根據一些實例的佩戴圖8A的擴展現實（XR）設備並經由該設備查看環境的使用者的視野（FOV）的透視圖，其中虛擬介面覆蓋在兩個地標圖案上；

圖9是示出根據一些實例的顯示介面設備隨時間在顯示多個不同的地標圖案之間切換的概念圖；

圖10是示出根據一些實例的由擴展現實（XR）設備和顯示介面設備執行的用於提供虛擬介面的操作的泳道圖；

圖11是示出根據一些實例的用於處理影像資料的操作的流程圖；並且

圖12是示出用於實現本文描述的某些態樣的計算系統的實例的圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

200:XR系統

202:XR設備

204:XR應用程式

206:虛擬介面產生器

208:遮擋物偵測器

210:虛擬內容產生器

212:輸出影像合成器

214:地標圖案產生器

216:慣性感測器

218:慣性追蹤

220:影像感測器

222:手部追蹤

224:顯示介面設備追蹤

226:方塊

228:方塊

230:無線收發器

232:方塊

234:顯示器

250:顯示介面設備

252:顯示介面應用程式

254:顯示介面產生器

256:顯示介面解譯器

258:地標圖案產生器

260:顯示器

261:顯示介面

262:顯示內容

264:方塊

270:無線收發器

272:方塊

274:方塊

276:感測器

278:位姿追蹤

Claims (30)

1. 一種用於處理影像資料的裝置，該裝置包括： 一記憶體；及 耦接到該記憶體的一或多個處理器，該一或多個處理器被配置為： 接收一場景的一輸入影像，該輸入影像由一影像感測器擷取； 在該場景的該輸入影像中偵測在該場景中的一第一顯示器上顯示的一地標圖案； 決定該地標圖案在該輸入影像中的一位姿；及 使一第二顯示器顯示基於該輸入影像的一輸出影像，其中一虛擬介面覆蓋在該輸出影像中的該地標圖案上，其中該虛擬介面在該輸出影像中的一位姿基於該地標圖案在該輸入影像中的位姿。
2. 根據請求項1之裝置，其中該地標圖案包括一快速回應（QR）碼。
3. 根據請求項1之裝置，其中該一或多個處理器被配置為： 辨識一物件遮擋了該第一顯示器的包括該輸入影像中的該地標圖案的至少一部分的一區域，並且其中為了使該第二顯示器顯示該輸出影像，該一或多個處理器被配置為在該輸出影像中遮擋與該第一顯示器的該區域相對應的該虛擬介面的一部分。
4. 根據請求項1之裝置，其中該一或多個處理器被配置為： 產生該虛擬介面的至少一部分。
5. 根據請求項1之裝置，其中該一或多個處理器被配置為： 從包括該第一顯示器的一顯示裝置接收該虛擬介面的至少一部分。
6. 根據請求項1之裝置，其中該一或多個處理器被配置為： 產生該輸出影像的至少一部分。
7. 根據請求項6之裝置，其中為了產生該輸出影像的至少一部分，該一或多個處理器被配置為使用基於該地標圖案在該輸入影像中的該位姿的一透視失真來修改該虛擬介面。
8. 根據請求項1之裝置，其中該一或多個處理器被配置為: 產生與該地標圖案相對應的地標圖案資料；及 將該地標圖案資料發送到包括該第一顯示器的一顯示裝置，以供該顯示裝置回應於接收到該地標圖案資料而在該第一顯示器上顯示該地標圖案。
9. 根據請求項1之裝置，其中該一或多個處理器被配置為： 從包括該第一顯示器的一顯示裝置接收一顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由該顯示裝置的一顯示介面接收一顯示介面輸入的該第一顯示器的一部分，該顯示介面與該第一顯示器相關聯。
10. 根據請求項9之裝置，其中該第一顯示器是該顯示裝置的一觸控式螢幕顯示器的一顯示層，其中該顯示介面是該觸控式螢幕顯示器的一觸敏層，其中該顯示介面輸入是由該觸控式螢幕顯示器的該觸敏層偵測到的一觸摸輸入。
11. 根據請求項9之裝置，其中該一或多個處理器被配置為： 辨識由該顯示介面輸入辨識符指示的該第一顯示器的一部分與該輸出影像中的該虛擬介面的一部分對準。
12. 根據請求項11之裝置，其中該一或多個處理器被配置為： 回應於辨識由該顯示介面輸入辨識符指示的該第一顯示器的一部分與該輸出影像中的該虛擬介面的一部分對準而自動修改該虛擬介面。
13. 根據請求項11之裝置，其中該一或多個處理器被配置為： 接收該場景的一第二輸入影像，該第二輸入影像在擷取該輸入影像之後由該影像感測器擷取；及 使該第二顯示器顯示一第二輸出影像，其中該第二輸出影像包括覆蓋在該第二輸入影像上的虛擬內容，其中該虛擬內容是基於辨識由該顯示介面輸入辨識符指示的該第一顯示器的一部分與該輸出影像中的虛擬介面的一部分對準而自動設置的。
14. 根據請求項11之裝置，其中該一或多個處理器被配置為： 回應於辨識由該顯示介面輸入辨識符標識的該第一顯示器的一部分與該輸出影像中的該虛擬介面的一部分對準而自動輸出一音訊剪輯。
15. 根據請求項1之裝置，其中該一或多個處理器被配置為： 決定該輸入影像中的該第一顯示器的一大小，其中該輸出影像中的該虛擬介面的一大小基於該輸入影像中的該第一顯示器的大小。
16. 根據請求項1之裝置，其中該一或多個處理器被配置為： 決定該輸入影像中的該地標圖案的一大小，其中該輸出影像中的該虛擬介面的一大小基於該輸入影像中的該地標圖案的大小。
17. 根據請求項1之裝置，亦包括： 該影像感測器。
18. 根據請求項1之裝置，亦包括： 該第二顯示器。
19. 根據請求項1之裝置，其中該裝置包括一行動手持設備、一無線通訊設備和一頭戴式顯示器（HMD）中的至少一種。
20. 一種處理影像資料的方法，該方法包括以下步驟： 接收一場景的一輸入影像，該輸入影像由一影像感測器擷取； 在該場景的該輸入影像中偵測在該場景中的一第一顯示器上顯示的一地標圖案； 決定該地標圖案在該輸入影像中的一位姿；及 使一第二顯示器顯示基於該輸入影像的一輸出影像，其中一虛擬介面覆蓋在該輸出影像中的該地標圖案上，其中該虛擬介面在該輸出影像中的一位姿基於該地標圖案在該輸入影像中的位姿。
21. 根據請求項20之方法，其中該地標圖案包括一快速回應（QR）碼。
22. 根據請求項20之方法，亦包括以下步驟： 辨識一物件遮擋了該第一顯示器的包括該輸入影像中的該地標圖案的至少一部分的一區域，並且其中使該第二顯示器顯示該輸出影像的包括在該輸出影像中遮擋與該第一顯示器的該區域相對應的該虛擬介面的一部分。
23. 根據請求項20之方法，亦包括以下步驟： 產生該虛擬介面的至少一部分。
24. 根據請求項20之方法，亦包括以下步驟： 從包括該第一顯示器的一顯示裝置接收該虛擬介面的至少一部分。
25. 根據請求項20之方法，其中該一或多個處理器被配置為： 產生該輸出影像的至少一部分。
26. 根據請求項25之方法，其中產生該輸出影像的該至少一部分包括使用基於該地標圖案在該輸入影像中的該位姿的一透視失真來修改該虛擬介面。
27. 根據請求項20之方法，亦包括以下步驟： 產生與該地標圖案相對應的地標圖案資料；及 將該地標圖案資料發送到包括該第一顯示器的一顯示裝置，以供該顯示裝置回應於接收到該地標圖案資料而在該第一顯示器上顯示該地標圖案。
28. 根據請求項20之方法，亦包括以下步驟： 從包括該第一顯示器的一顯示裝置接收一顯示介面輸入辨識符，該顯示介面輸入辨識符指示經由該顯示裝置的一顯示介面接收一顯示介面輸入的該第一顯示器的一部分，該顯示介面與該第一顯示器相關聯。
29. 根據請求項28之方法，亦包括以下步驟： 辨識由該顯示介面輸入辨識符指示的該第一顯示器的一部分與該輸出影像中的該虛擬介面的一部分對準。
30. 根據請求項20之方法，亦包括以下步驟： 決定該輸入影像中的該第一顯示器的一大小，其中該輸出影像中的該虛擬介面的一大小基於該輸入影像中的該第一顯示器的大小。

Images