TWI750822B - 用於為目標設置可呈現的虛擬對象的方法和系統 - Google Patents

Abstract

一種用於為目標設置可呈現的虛擬對象的方法和系統，其中，該現實場景中安裝有攝像頭和光通訊裝置，該攝像頭和該光通訊裝置之間具有相對位姿，該方法包括：使用該攝像頭跟蹤該現實場景中的目標；根據該攝像頭的跟蹤結果獲得該目標的位置訊號；設置與該目標相關聯的具有空間位置訊號的虛擬對象，其中，該虛擬對象的空間位置訊號基於該目標的位置訊號而確定；以及將該虛擬對象的相關訊號發送給第一設備，該訊號中包括該虛擬對象的空間位置訊號，其中，該虛擬對象的相關訊號能夠被該第一設備使用以基於其通過該光通訊裝置確定的位置訊號和姿態訊號在其顯示媒介上呈現該虛擬對象。

Description

用於為目標設置可呈現的虛擬對象的方法和系統

本發明屬擴增實境技術領域，尤其涉及一種用於為現實場景中的目標設置可呈現的虛擬對象的方法和系統。

本部分的陳述僅僅是為了提供與本發明相關的背景訊號，以幫助理解本發明，這些背景訊號並不一定構成現有技術。

近年來，擴增實境(Augmented Reality，AR)技術取得了長足的進展。擴增實境技術也被稱為混合現實技術，其通過計算機技術將虛擬對象疊加到現實場景中，使得現實場景和虛擬對象能夠實時地呈現到同一個畫面或空間中，從而增強用戶對現實世界的感知。由於擴增實境技術能夠對真實環境進行增強顯示輸出，其在醫療研究與解剖訓練、精密儀器製造和維修、軍用飛機導航、工程設計和遠程機器人控制等技術領域，獲得了越來越廣泛的應用。

在一種擴增實境應用中，可以在視野中的固定位置處疊加一些數據訊號，例如，飛行員在駕駛飛機的時候，可以通過佩戴顯示頭盔來查看在現實場景上疊加的飛行數據，這些數據通常都是顯示在視野中的固定位置處(例如，始終在視野的右上角)，因而缺乏足夠的靈活性，特別是，所疊加的虛擬對象無法隨著現實場景中的真實目標的移動而移動。在另一種擴增實境應用中，可以在用戶手機拍攝到的人物附近疊加一些虛擬對象，但是這種方式準確度不足，並且不適合在多個人之間的AR交互。

本發明的方案提供了一種用於為現實場景中的目標設置可呈現的虛擬對象的方法和系統，其通過使用光通訊裝置和攝像頭，使 得能夠基於現實場景中的目標的位置訊號為其設置相關聯的虛擬對象，該虛擬對象能夠在設備的顯示媒介上精確地呈現，並且所呈現的虛擬對象能夠跟隨現實場景中的目標。

本發明的一個方面涉及一種用於為現實場景中的目標設置可呈現的虛擬對象的方法，其中，所述現實場景中安裝有攝像頭和光通訊裝置，所述攝像頭和所述光通訊裝置之間具有相對位姿，所述方法包括：使用所述攝像頭跟蹤所述現實場景中的目標；根據所述攝像頭的跟蹤結果獲得所述目標的位置訊號；設置與所述目標相關聯的具有空間位置訊號的虛擬對象，其中，所述虛擬對象的空間位置訊號基於所述目標的位置訊號而確定；以及將所述虛擬對象的相關訊號發送給第一設備，該訊號中包括所述虛擬對象的空間位置訊號，其中，所述虛擬對象的相關訊號能夠被所述第一設備使用以基於其通過所述光通訊裝置確定的位置訊號和姿態訊號在其顯示媒介上呈現所述虛擬對象。

可選地，其中，所述根據所述攝像頭的跟蹤結果獲得所述目標的位置訊號包括：根據所述攝像頭的跟蹤結果獲得所述目標相對於所述攝像頭的位置訊號，以及根據所述目標相對於所述攝像頭的位置訊號以及所述攝像頭和所述光通訊裝置之間的相對位姿來確定所述目標相對於所述光通訊裝置的位置訊號。

可選地，其中，所述虛擬對象的空間位置訊號是相對於所述光通訊裝置的空間位置訊號。

可選地，其中，所述根據所述攝像頭的跟蹤結果獲得所述目標的位置訊號包括：根據所述攝像頭的跟蹤結果獲得所述目標相對於所述攝像頭的位置訊號，以及根據所述目標相對於所述攝像頭的位置訊號以及所述攝像頭在所述現實場景中的位姿訊號來確定所述目標在所述現實場景中的位置訊號。

可選地，其中，根據與所述目標有關的訊號來配置所述虛擬對象的相關訊號。

可選地，所述方法還包括：根據所述攝像頭的跟蹤結果獲得與所述目標有關的訊號。

可選地，其中，所述根據與所述目標有關的訊號來配置所述虛擬對象的相關訊號包括：從設施接收與所述目標有關的訊號；將所述訊號與所述攝像頭跟蹤的位於相對於所述設施的預定位置處的目標建立聯繫；以及根據所述訊號配置所述目標的虛擬對象的相關訊號。

可選地，其中，所述根據與所述目標有關的訊號來配置所述虛擬對象的相關訊號包括：從第二設備接收訊號，該訊號包括所述第二設備的位置訊號；將所述第二設備的位置訊號與根據所述攝像頭的跟蹤結果確定的一個或多個目標的位置訊號進行比較，以確定與所述第二設備匹配的目標；以及根據來自所述第二設備的訊號配置與所述第二設備匹配的目標的虛擬對象的相關訊號。

可選地，其中，所述第二設備至少部分地通過採集包括所述光通訊裝置的圖像並分析該圖像來確定其位置訊號。

可選地，所述方法還包括：根據所述攝像頭的跟蹤結果獲得所述目標的姿態訊號；以及其中，所述設置與所述目標相關聯的具有空間位置訊號的虛擬對象包括根據所述目標的姿態訊號設置所述虛擬對象的姿態訊號。

可選地，其中，所述虛擬對象的姿態能夠根據所述第一設備相對於所述虛擬對象的位置和/或姿態變化而調整。

可選地，其中，所述第一設備至少部分地通過採集包括所述光通訊裝置的圖像並分析該圖像來確定其相對於所述光通訊裝置的位置訊號和姿態訊號。

可選地，其中，根據與所述第一設備有關的訊號確定要發送給所述第一設備的所述虛擬對象的相關訊號。

本發明的另一個方面涉及一種用於為現實場景中的目標設置可呈現的虛擬對象的系統，包括：安裝於所述現實場景中的攝像頭，其用於跟蹤所述現實場景中的目標；安裝於所述現實場景中的光通訊裝置，其中，所述光通訊裝置和所述攝像頭具有相對位姿；以及伺服器，其用於執行上述方法。

可選地，所述系統還包括能夠獲得與所述目標有關的訊 號的設施。

可選地，所述系統還包括所述第一設備，其用於：從所述伺服器接收所述虛擬對象的相關訊號；至少部分地通過所述光通訊裝置確定所述第一設備的位置訊號和姿態訊號；以及基於所述位置訊號和姿態訊號以及所述虛擬對象的相關訊號在所述第一設備的顯示媒介上呈現所述虛擬對象。

本發明的另一個方面涉及一種存儲介質，其中存儲有計算機程式，在所述計算機程式被處理器執行時，能夠用於實現上述方法。

本發明的另一個方面涉及一種電子設備，包括處理器和存儲器，所述存儲器中存儲有計算機程式，在所述計算機程式被處理器執行時，能夠用於實現上述方法。

100:光標籤

101:第一光源

102:第二光源

103:第三光源

S301~S304:步驟流程

圖1示出了一種示例性的光標籤。

圖2示出了根據一個實施例的包含用於為目標設置可呈現的虛擬對象的系統的現實場景。

圖3示出了根據一個實施例的用於為目標設置可呈現的虛擬對象的方法。

圖4示出了根據一個實施例的由圖2中的第一用戶通過手機螢幕或者AR眼鏡觀察到的示意圖像。

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。

光通訊裝置也稱為光標籤，這兩個術語在本文中可以互換使用。光標籤能夠通過不同的發光方式來傳遞訊號，其具有識別距離遠、可見光條件要求寬鬆的優勢，並且光標籤所傳遞的訊號可以隨時間變化，從而可以提供大的訊號容量和靈活的配置能力。相比於傳統的二維條碼， 光標籤具有更遠的識別距離和更強的訊號交互能力，從而可以為用戶提供巨大的便利性。

光標籤中通常可以包括控制器和至少一個光源，該控制器可以通過不同的驅動模式來驅動光源，以向外傳遞不同的訊號。圖1示出了一種示例性的光標籤100，其包括三個光源(分別是第一光源101、第二光源102、第三光源103)。光標籤100還包括控制器(在圖1中未示出)，其用於根據要傳遞的訊號為每個光源選擇相應的驅動模式。例如，在不同的驅動模式下，控制器可以使用不同的驅動信號來控制光源的發光方式，從而使得當使用具有成像功能的設備拍攝光標籤100時，其中的光源的成像可以呈現出不同的外觀(例如，不同的顏色、圖案、亮度、等等)。通過分析光標籤100中的光源的成像，可以解析出各個光源此刻的驅動模式，從而解析出光標籤100此刻傳遞的訊號。

為了基於光標籤向用戶提供相應的服務，每個光標籤可以被分配一個標識訊號(ID)，該標識訊號用於由光標籤的製造者、管理者或使用者等唯一地識別或標識光標籤。通常，可由光標籤中的控制器驅動光源以向外傳遞該標識訊號，而用戶可以使用設備對光標籤進行圖像採集來獲得該光標籤傳遞的標識訊號，從而可以基於該標識訊號來訪問相應的服務，例如，訪問與標識訊號相關聯的網頁、獲取與標識訊號相關聯的其他訊號(例如，與該標識訊號對應的光標籤的位置訊號)等等。本文提到的設備例如可以是用戶攜帶或控制的設備(例如，手機、平板電腦、智能眼鏡、AR眼鏡、智能頭盔、智能手錶等等)，也可以是能夠自主移動的機器(例如，無人機、無人駕駛汽車、機器人等等)。設備可以通過其上的攝像頭對光標籤進行圖像採集來獲得包含光標籤的圖像，並通過分析圖像中的光標籤(或光標籤中的各個光源)的成像以識別出光標籤傳遞的訊號。

可以在伺服器上保存每個光標籤的標識訊號(ID)或其他訊號，例如與該光標籤相關的服務訊號、與該光標籤相關的描述訊號或屬性，如光標籤的位置訊號、型號訊號、物理尺寸訊號、物理形狀訊號、姿態或朝向訊號等。光標籤也可以具有統一的或默認的物理尺寸訊號和物理 形狀訊號等。設備可以使用識別出的光標籤的標識訊號來從伺服器查詢獲得與該光標籤有關的其他訊號。光標籤的位置訊號可以是指該光標籤在物理世界中的實際位置，其可以通過地理座標訊號來指示。伺服器可以是在計算裝置上運行的軟件程式、一台計算裝置或者由多台計算裝置構成的集群。光標籤可以是離線的，也即，光標籤不需要與伺服器進行通訊。當然，可以理解，能夠與伺服器進行通訊的在線光標籤也是可行的。

圖2示出了根據一個實施例的包含用於為目標設置可呈現的虛擬對象的系統的現實場景，該現實場景例如可以是一個銀行網點，其中有三個用戶，分別是第一用戶、第二用戶和第三用戶，第一用戶可以是銀行網點工作人員，第二用戶和第三用戶可以是銀行客戶。第一用戶攜帶有能夠識別光標籤的設備，例如手機或者AR眼鏡。

所述系統包括攝像頭、光標籤以及伺服器(圖2中未示出)，其中，攝像頭和光標籤各自以特定的位置和姿態(下文中可以統稱為“位姿”)安裝於現實場景中。在一個實施例中，伺服器可以獲得攝像頭和光標籤各自的位姿訊號，並且可以基於攝像頭和光標籤各自的位姿訊號得到攝像頭和光標籤之間的相對位姿訊號。在一個實施例中，伺服器也可以直接得到攝像頭和光標籤之間的相對位姿訊號。如此，伺服器可以獲得攝像頭座標系和光標籤座標系之間的變換矩陣，該變換矩陣例如可以包括兩個座標系之間的旋轉矩陣R和位移向量t。通過攝像頭座標系和光標籤座標系之間的變換矩陣，可以將一個座標系中的座標轉換為另一個座標系中的座標。在一個實施例中，可以在安裝攝像頭和光標籤時，對兩者的位姿訊號進行人工標定，並將位姿訊號存儲於伺服器。攝像頭可以是安裝於固定位置並且具有固定朝向的攝像頭，但可以理解，攝像頭也可以是可移動(例如，可以改變位置或調整方向)的攝像頭，只要能夠確定其當前位姿訊號即可。可以由伺服器設置攝像頭的當前位姿訊號，並基於該位姿訊號控制攝像頭的移動，也可以由攝像頭本身或者其他裝置來控制攝像頭的移動，並將攝像頭的當前位姿訊號發送給伺服器。在一些實施例中，系統中可以包括不止一個攝像頭，也可以包括不止一個光標籤。

在一個實施例中，可以為現實場景建立一個場景座標系(其也可稱為現實世界座標系)，並且可以基於攝像頭在現實場景中的位姿訊號來確定攝像頭座標系與場景座標系之間的變換矩陣，以及基於光標籤在現實場景中的位姿訊號來確定光標籤座標系與場景座標系之間的變換矩陣。在這種情況下，可以將攝像頭座標系或光標籤座標系中的座標轉換為場景座標系中的座標，而不在攝像頭座標系和光標籤座標系之間進行變換，但是可以理解，攝像頭和光標籤之間的相對位姿訊號或變換矩陣仍然能夠被伺服器知悉。因此，在本申請中，在攝像頭和光標籤之間具有相對位姿是指客觀上在兩者之間存在相對位姿，而並不要求系統預先存儲上述兩者之間的相對位姿訊號或者使用該相對位姿訊號。例如，一個實施例中，在系統中可以僅存儲攝像頭和光標籤各自在場景座標系中的位姿訊號，並且可以不計算或者使用兩者的相對位姿。

攝像頭用於跟蹤現實場景中的目標，該目標可以是靜止的或移動的，其例如可以是場景中的人員、靜止物體、可移動的物體、等等。對於圖2所示的場景，系統可以通過攝像頭來跟蹤其中的第一用戶、第二用戶和第三用戶的位置。攝像頭例如可以是單眼攝像頭、雙眼攝像頭、或者其他形式的攝像頭。可以使用攝像頭通過現有技術中的各種方法來跟蹤現實場景中的人或物體的位置。例如，對於使用單個單目攝像頭的情況，可以結合場景訊號(例如，場景中的人或物體所處的平面的訊號)來確定場景中的目標的位置訊號。對於使用雙眼攝像頭的情況，可以根據目標在攝像頭視野中的位置以及目標的深度訊號，來確定目標的位置訊號。對於使用多個攝像頭的情況，可以根據目標在各個攝像頭視野中的位置，來確定目標的位置訊號。

在一個實施例中，確定場景中的目標的位置訊號的過程可以由攝像頭來執行，並可以將相應的結果發送給伺服器。在另一個實施例中，可以由伺服器根據攝像頭拍攝的圖像來確定場景中的目標的位置訊號。伺服器可以將所確定的目標的位置訊號轉換為在光標籤座標系或場景座標系下的位置訊號。在獲得了目標的位置訊號之後，伺服器可以設置與目標相關聯的具有空間位置訊號的虛擬對象，虛擬對象的空間 位置訊號可以基於目標的位置訊號來確定。例如，可以將虛擬對象的空間位置設置為位於相應目標的正上方，或者位於目標附近的其他位置。

在設置了虛擬對象之後，伺服器可以將虛擬對象的相關訊號發送給某個能夠識別光標籤的設備。對於圖2所示的場景，伺服器可以將與第二用戶關聯的虛擬對象以及與第三用戶關聯的虛擬對象發送給第一用戶攜帶的光標籤識別設備。光標籤識別設備上具有攝像頭和顯示媒介，識別設備通過對光標籤進行掃描，可以確定其相對於光標籤的位置和姿態訊號，該位置和姿態訊號也可以被進一步轉換為場景座標系下的位置和姿態訊號。之後，識別設備能夠使用虛擬對象的相關訊號以基於其位置訊號和姿態訊號在其顯示媒介上的合適位置處呈現相應的虛擬對象。

可以理解，第二用戶或第三用戶也可以攜帶光標籤識別設備，並可以以與第一用戶類似的方式通過光標籤識別設備的顯示媒介觀察到與其他用戶關聯的虛擬對象。本發明的方案特別適合於場景中的多人AR交互。

圖3示出了根據一個實施例的用於為目標設置可呈現的虛擬對象的方法，其可以使用上述系統來實現，並且可以包括如下步驟：

步驟301：使用攝像頭跟蹤現實場景中的目標。

通過使用攝像頭針對現實場景持續地採集圖像，可以對現實場景中存在的目標進行視覺跟蹤。基於攝像頭的視覺跟蹤技術涉及對圖像序列中的目標進行檢測、提取、識別或跟蹤，以獲得目標的位置、姿態、速度、加速度或運動軌跡等。視覺跟蹤技術屬本領域的現有技術，在此不再贅述。

在一個實施例中，攝像頭在跟蹤目標時，可以僅進行連續圖像採集，並將所採集的圖像作為跟蹤結果提供給伺服器，之後，可以由伺服器分析這些圖像並確定各個目標的位置訊號。在另一個實施例中，攝像頭還可以對所採集的圖像執行進一步的處理，例如圖像處理、目標檢測、目標提取、目標識別、確定目標位置或姿態等，相應的處理 結果可以作為跟蹤結果被提供給伺服器。

步驟302：根據攝像頭的跟蹤結果獲得所述目標的位置訊號。

伺服器可以從攝像頭接收跟蹤結果，並根據該跟蹤結果獲得現實場景中的目標的位置訊號。在一個實施例中，伺服器最終獲得的目標位置訊號可以是目標在攝像頭座標系下的位置訊號、目標在光標籤座標系下的位置訊號、或者是目標在場景座標系下的位置訊號。伺服器可以根據不同座標系之間的變換矩陣來實現目標位置在不同座標系之間的轉換。例如，伺服器可以首先根據攝像頭的跟蹤結果獲得目標相對於所述攝像頭的位置訊號(也即，在攝像頭座標系下的位置訊號)，然後可以根據目標相對於攝像頭的位置訊號以及攝像頭和光標籤之間的相對位姿訊號來確定目標相對於光標籤的位置訊號(也即，在光標籤座標系下的位置訊號)，也可以根據目標相對於攝像頭的位置訊號以及攝像頭在現實場景中的位姿訊號來確定目標在現實場景中的位置訊號(也即，在場景座標系下的位置訊號)。

在一個實施例中，除了獲得目標的位置訊號之外，伺服器還可以根據攝像頭的跟蹤結果獲得目標的姿態訊號，例如，人或者物體的朝向等。

步驟303：設置與所述目標相關聯的具有空間位置訊號的虛擬對象。

在確定了目標的位置訊號之後，伺服器可以為該目標設置相關聯的虛擬對象，該虛擬對象具有空間位置訊號，其可以基於目標的位置訊號來確定。例如，可以將虛擬對象的空間位置配置為位於目標位置上方的預定距離處。虛擬對象的空間位置訊號例如可以是其相對於光標籤的空間位置訊號，也可以是其在場景座標系中的位置訊號。

在一個實施例中，伺服器除了配置虛擬對象的空間位置訊號之外，還可以配置任何其他與虛擬對象有關的訊號。與虛擬對象有關的訊號是用於描述該虛擬對象的相關訊號，例如可以包括虛擬對象中包含的圖片、文字、數字、圖標等，也可以包括虛擬對象的形狀訊號、 顏色訊號、尺寸訊號、姿態訊號等。基於該訊號，設備可以呈現出相應的虛擬對象。伺服器可以根據與目標有關的訊號來配置對應於該目標的虛擬對象的相關訊號，如此，可以為各個目標定制相應的虛擬對象。

在一個實施例中，伺服器可以根據攝像頭的跟蹤結果來獲得與目標有關的訊號。例如，伺服器可以根據攝像頭的跟蹤結果判斷目標是人還是物體、目標是男人還是女人、目標是什麼物體、目標是移動的還是靜止的、目標的移動速度、目標的移動方向、等等。這些與目標有關的訊號可以用於配置對應於該目標的虛擬對象的相關訊號。

在一個實施例中，也可以通過其他設施來獲得與目標有關的資訊。例如，可以通過指紋或靜脈採集設備、人臉識別設備、身份證讀取設備等設施來獲得人員的身份資訊，可以通過讀卡器等設施來獲得人員的性別資訊、職業資訊、身份資訊、會員卡資訊等。在這些設施獲得了人員資訊之後，伺服器可以從設施接收該資訊並將該資訊與攝像頭當前所跟蹤的位於預定位置(例如，這些設施的前方、後方、左側、右側、上方、下方、附近等)的人員建立聯繫，從而可以使用該人員的資訊(例如，性別資訊、職業資訊、身份資訊、會員卡資訊等)來配置與該人員對應的虛擬對象的相關資訊。類似地，也可以通過場景中的設施來獲得物體的相關資訊，並用該資訊配置與該物體對應的虛擬對象的相關資訊。

在一個實施例中，伺服器還可以設置虛擬對象的姿態訊號，虛擬對象的姿態訊號可以基於目標的姿態訊號來設置，但也可以通過其他方式來設置。

步驟304：將所述虛擬對象的相關訊號發送給能夠識別光標籤的設備，該訊號中包括所述虛擬對象的空間位置訊號。

在為目標設置了虛擬對象之後，伺服器可以將虛擬對象的相關訊號發送給能夠識別光標籤的設備，該設備例如可以是手機、AR眼鏡等，其具有攝像頭和顯示媒介。虛擬對象的相關訊號中包括虛擬對象的空間位置訊號，在一個實施例中，還可以包括虛擬對象的姿態訊號。

在一個實施例中，可以根據與設備有關的訊號確定要發 送給該設備的所述虛擬對象的相關訊號。與設備有關的訊號可以包括該設備本身的相關訊號、該設備的用戶的相關訊號、等等。例如，可以根據設備用戶的不同權限或者不同等級，選擇虛擬對象的一部分或者全部相關訊號發送給設備。

在一個實施例中，光標籤識別設備可以通過掃描場景中佈置的光標籤來識別光標籤傳遞的訊號(例如標識訊號)，並使用該訊號訪問伺服器(例如，通過無線信號進行訪問)以從伺服器獲得虛擬對象的相關訊號。在一個實施例中，伺服器可以使用光標籤以光通訊方式將虛擬對象的相關訊號發送到光標籤識別設備。虛擬對象的相關訊號能夠被光標籤識別設備使用以基於其通過光標籤確定的位置訊號和姿態訊號在其顯示媒介上呈現所述虛擬對象。

可以通過光標籤來確定設備的位置和姿態訊號，該位置和姿態訊號可以是設備相對於光標籤的位置和姿態訊號(也即，在光標籤座標系下的位置和姿態訊號)，但也可以是被轉換到其他座標系(例如場景座標系)下的位置和姿態訊號。

在一個實施例中，設備可以通過採集包括光標籤的圖像並分析該圖像來確定其相對於光標籤的位置訊號。例如，設備可以通過圖像中的光標籤成像大小以及可選的其他訊號(例如，光標籤的實際物理尺寸訊號、設備的攝像頭的焦距)來確定光標籤與設備的相對距離(成像越大，距離越近；成像越小，距離越遠)。設備可以使用光標籤的標識訊號從伺服器獲得光標籤的實際物理尺寸訊號，或者光標籤可以具有統一的物理尺寸並在設備上存儲該物理尺寸。設備可以通過包括光標籤的圖像中的光標籤成像的透視變形以及可選的其他訊號(例如，光標籤的成像位置)，來確定設備相對於光標籤的方向訊號。設備可以使用光標籤的標識訊號從伺服器獲得光標籤的物理形狀訊號，或者光標籤可以具有統一的物理形狀並在設備上存儲該物理形狀。在一個實施例中，設備也可以通過其上安裝的深度攝像頭或雙眼攝像頭等來直接獲得光標籤與設備的相對距離。設備也可以採用現有的任何其他定位方法來確定其相對於光標籤的位置訊號。

在一個實施例中，設備可以掃描光標籤，並可以根據光標籤的成像來確定其相對於光標籤的姿態訊號，當光標籤的成像位置或成像區域位於第二設備成像視野的中心時，可以認為第二設備當前正對著光標籤。在確定設備的姿態時可以進一步考慮光標籤的成像的方向。隨著設備的姿態發生改變，光標籤在設備上的成像位置和/或成像方向會發生相應的改變，因此，可以根據光標籤在設備上的成像來獲得設備相對於光標籤的姿態訊號。

在一個實施例中，也可以以如下方式來確定設備相對於光標籤的位置和姿態訊號。具體地，可以根據光標籤建立一個座標系，該座標系可以被稱為光標籤座標系。可以將光標籤上的一些點確定為在光標籤座標系中的一些空間點，並且可以根據光標籤的物理尺寸訊號和/或物理形狀訊號來確定這些空間點在光標籤座標系中的座標。光標籤上的一些點例如可以是光標籤的外殼的角、光標籤中的光源的端部、光標籤中的一些標識點、等等。根據光標籤的物體結構特徵或幾何結構特徵，可以在設備相機拍攝的圖像中找到與這些空間點分別對應的像點，並確定各個像點在圖像中的位置。根據各個空間點在光標籤座標系中的座標以及對應的各個像點在圖像中的位置，結合設備相機的內參訊號，可以計算得到拍攝該圖像時設備相機在光標籤座標系中的位姿訊號(R，t)，其中R為旋轉矩陣，其可以用於表示設備相機在光標籤座標系中的姿態訊號，t為位移向量，其可以用於表示設備相機在光標籤座標系中的位置訊號。計算R、t的方法在現有技術中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法來計算R、t，為了不模糊本發明，在此不再詳細介紹。

在設備通過光標籤獲得了位置和姿態訊號之後，可以例如使用設備內置的加速度傳感器、陀螺儀、攝像頭等通過本領域已知的方法(例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等)來測量或跟蹤設備的位置和姿態變化，從而獲得設備新的位置和姿態訊號。

在獲得了虛擬對象的空間位置訊號以及設備的位置和姿態訊號之後，便可以在通過設備的顯示媒介呈現的現實場景中的合適位 置處疊加該虛擬對象。在虛擬對象具有姿態訊號的情況下，可以進一步確定所疊加的虛擬對象的姿態。虛擬對象的姿態可以隨著設備相對於虛擬對象的位置和/姿態而調整，例如使得虛擬對象的某個方向(例如虛擬對象的正面方向)始終朝向設備。在一個實施例中，可以基於設備和虛擬對象的位置在空間中確定一個從虛擬對象到設備的方向，並基於該方向來確定虛擬對象的姿態。通過上述方法，同一個虛擬對象對於處於不同位置的設備實際上可以具有各自的姿態。

在一個實施例中，在疊加了虛擬對象之後，設備用戶可以對該虛擬對象執行各種交互操作。例如，設備用戶可以點擊虛擬對象以查閱其詳情、改變虛擬對象的姿態、改變虛擬對象的大小或顏色、在虛擬對象上添加標注、等等。在一個實施例中，在設備用戶改變了虛擬對象的屬性之後，可以把虛擬對象的修改後的屬性訊號上傳到伺服器。伺服器可以基於修改後的屬性訊號來更新其存儲的虛擬對象的相關訊號。

圖3所示的方法可以持續執行或者定期重複執行，使得虛擬對象能夠始終跟蹤場景中的目標。

在一個實施例中，位於現實場景中的跟蹤目標可以是設備或者持有該設備的人，並可以根據該設備的相關訊號來設置與相應虛擬對象有關的訊號。具體地，設備可以例如使用上文提到的方式通過光標籤來確定其位置訊號，並將該位置訊號發送到伺服器，該位置訊號可以是設備相對於光標籤的位置訊號。設備所發送的位置訊號可以是設備在掃描光標籤時獲得的位置訊號，也可以是設備在掃描光標籤之後使用內置的加速度傳感器、陀螺儀、攝像頭等通過本領域已知的方法(例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等)測量或跟蹤獲得的新的位置訊號。另外，設備還可以將一些其他訊號發送給伺服器，例如，設備標識號、設備用戶名、設備所有人的職業資訊、設備所有人的身份資訊、設備所有人的性別資訊、設備所有人的年齡資訊、設備上某個應用的賬戶資訊、與設備所執行的某個操作有關的訊號、等等。伺服器可以將設備的位置訊號與根據攝像頭的跟蹤結果確定的一個或多個目 標的位置訊號進行比較，以確定與設備匹配的目標。例如，伺服器可以從一個或多個目標的位置訊號中選擇與設備的位置訊號最接近的一個，並認為相應的目標與設備匹配。在確定了與設備匹配的目標之後，伺服器可以根據來自設備的訊號配置對應於該目標的虛擬對象的相關訊號。通過上述方式，場景中的設備(例如，機器人、無人車等)或者持有設備(例如，手機、AR眼鏡等)的人員可以自主地向伺服器上傳相關訊號，從而不再需要使用專門的設施(例如，刷卡器、指紋採集設備等)來獲得與設備或人員有關的訊號。

圖4示出了根據一個實施例的由圖2中的第一用戶通過手機螢幕或者AR眼鏡觀察到的示意圖像，其中包含第二用戶和第三用戶。如上文提到的，第一用戶可以是銀行網點工作人員，第二用戶和第三用戶可以是銀行客戶。如圖4所示，第一用戶通過手機螢幕或者AR眼鏡不僅能夠觀察到第二用戶和第三用戶，還可以觀察到各個用戶頭上疊加的虛擬對象(例如，“VIP”、“普通”等)，這些對象可以用來指示用戶的客戶等級，例如，是VIP客戶還是普通客戶。用戶的客戶等級例如可以通過讀取用戶的身份資訊、銀行卡資訊等來獲取，也可以通過從用戶手機接收其電話號碼資訊、銀行賬戶資訊等來獲取。

在本發明的一個實施例中，可以以計算機程式的形式來實現本發明。計算機程式可以存儲於各種存儲介質(例如，硬碟、光碟、快閃記憶體等)中，當該計算機程式被處理器執行時，能夠用於實現本發明的方法。

在本發明的另一個實施例中，可以以電子設備的形式來實現本發明。該電子設備包括處理器和存儲器，在存儲器中存儲有計算機程式，當該計算機程式被處理器執行時，能夠用於實現本發明的方法。

本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施 例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要該組合不是不符合邏輯的或不能工作。本文中出現的類似於“根據A”、“基於A”、“通過A”或“使用A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明其含義為“僅僅根據A”。在本申請中為了清楚說明，以一定的順序描述了一些示意性的操作步驟，但本領域技術人員可以理解，這些操作步驟中的每一個並非是必不可少的，其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行，相反，這些操作步驟中的一些可以根據實際需要以不同的順序執行，或者並行執行，只要新的執行方式不是不符合邏輯的或不能工作。

由此描述了本發明的至少一個實施例的幾個方面，可以理解，對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意於在本發明的精神和範圍內。雖然本發明已經通過優選實施例進行了描述，然而本發明並非局限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。

雖然本發明以前述實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，所作更動與潤飾之等效替換，仍為本發明之專利保護範圍內。

S301~S304:步驟流程

Claims (15)

1. 一種用於為現實場景中的目標設置可呈現的虛擬對象的方法，其中，該現實場景中安裝有一攝像頭和一光通訊裝置，該攝像頭和該光通訊裝置之間具有相對位姿，該方法包括：使用該攝像頭跟蹤該現實場景中的一目標；根據該攝像頭的跟蹤結果獲得該目標的一位置訊號；設置與該目標相關聯的具有空間位置訊號的一虛擬對象，其中，該虛擬對象的一空間位置訊號基於該目標的該位置訊號而確定；以及將該虛擬對象的相關訊號發送給一第一設備，該訊號中包括該虛擬對象的該空間位置訊號，其中，該虛擬對象的相關訊號能夠被該第一設備使用以基於其透過該光通訊裝置確定的一位置訊號和一姿態訊號在其顯示媒介上呈現該虛擬對象，其中，該第一設備至少部分地通過採集包括該光通訊裝置的圖像並分析該圖像來確定其相對於該光通訊裝置的該位置訊號和該姿態訊號。
2. 如申請專利範圍第1項所述之方法，其中該根據該攝像頭的跟蹤結果獲得該目標的該位置訊號包括：根據該攝像頭的跟蹤結果獲得該目標相對於該攝像頭的該位置訊號，以及根據該目標相對於該攝像頭的該位置訊號以及該攝像頭和該光通信裝置之間的相對位姿來確定該目標相對於該光通信裝置的該位置訊號。
3. 如申請專利範圍第2項所述之方法，其中該虛擬對象的空間位置訊號是相對於該光通信裝置的空間位置訊號。
4. 如申請專利範圍第1項所述的方法，其中根據該攝像頭的跟蹤結果獲得該目標的位置訊號包括：根據該攝像頭的跟蹤結果獲得該目標相對於該攝像頭的位置訊號，以及根據該目標相對於該攝像頭的位置訊號以及該攝像頭在該現實場景中的位姿訊號來確定該目標在該現實場景中的位置訊號。
5. 如申請專利範圍第1-4項中任一項所述的方法，其中，根據與該目標有 關的訊號來配置該虛擬對象的相關訊號。
6. 如申請專利範圍第5項所述之方法，還包括：根據該攝像頭的跟蹤結果獲得與該目標有關的訊號。
7. 如申請專利範圍第5項所述之方法，其中，該根據與該目標有關的訊號來配置該虛擬對象的相關訊號包括：從設施接收與該目標有關的訊號；將該訊號與該攝像頭跟蹤的位於相對於該設施的預定位置處的目標建立聯繫；以及根據該訊號配置該目標的虛擬對象的相關訊號。
8. 如申請專利範圍第5項所述之方法，其中，該根據與該目標有關的訊號來配置該虛擬對象的相關訊號包括：從一第二設備接收訊號，該訊號包括該第二設備的位置訊號；將該第二設備的位置訊號與根據該攝像頭的跟蹤結果確定的一個或多個目標的位置訊號進行比較，以確定與該第二設備匹配的目標；以及根據來自該第二設備的訊號配置與該第二設備匹配的目標的虛擬對象的相關訊號。
9. 如申請專利範圍第8項所述之方法，其中，該第二設備至少部分地通過採集包括該光通訊裝置的圖像並分析該圖像來確定其位置訊號。
10. 如申請專利範圍第1-4項中任一項所述之方法，還包括：根據該攝像頭的跟蹤結果獲得該目標的姿態訊號；以及其中，該設置與該目標相關聯的具有空間位置訊號的虛擬對象包括根據該目標的姿態訊號設置該虛擬對象的姿態訊號。
11. 一種用於為現實場景中的目標設置可呈現的虛擬對象的系統，包括：安裝於該現實場景中的一攝像頭，其用於跟蹤該現實場景中的目標；安裝於該現實場景中的一光通訊裝置，其中，該光通訊裝置和該攝像頭具有相對位姿；以及一伺服器，其用於：根據該攝像頭的跟蹤結果獲得該目標的位置訊號；設置與該目標相關聯的具有一空間位置訊號的虛擬對象，其中，該虛擬對象的空間位置訊號基於該目標的位置訊號而確定； 將該虛擬對象的相關訊號發送給一第一設備，該訊號中包括該虛擬對象的空間位置訊號，其中，該虛擬對象的相關訊號能夠被該第一設備使用以基於其通過該光通訊裝置確定的位置訊號和姿態訊號在其顯示媒介上呈現該虛擬對象；該第一設備用於：從該伺服器接收該虛擬對象的相關訊號；至少部分地通過該光通訊裝置確定該第一設備的位置訊號和姿態訊號；以及基於該位置訊號和姿態訊號以及該虛擬對象的相關訊號在該第一設備的顯示媒介上呈現該虛擬對象。
12. 如申請專利範圍第11項所述之系統，其中，該根據該攝像頭的跟蹤結果獲得該目標的位置訊號包括：根據該攝像頭的跟蹤結果獲得該目標相對於該攝像頭的位置訊號，以及根據該目標相對於該攝像頭的位置訊號以及該攝像頭和該光通訊裝置之間的相對位姿來確定該目標相對於該光通訊裝置的位置訊號。
13. 如申請專利範圍第11項所述之系統，其中，該根據該攝像頭的跟蹤結果獲得該目標的位置訊號包括：根據該攝像頭的跟蹤結果獲得該目標相對於該攝像頭的位置訊號，以及根據該目標相對於該攝像頭的位置訊號以及該攝像頭在該現實場景中的位姿訊號來確定該目標在該現實場景中的位置訊號。
14. 一種存儲介質，其中存儲有一計算機程式，在該計算機程式被該處理器執行時，能夠用於實現如申請專利範圍第1-10項中任一項所述之方法。
15. 一種電子設備，包括一處理器和一存儲器，該存儲器中存儲有一計算機程式，在該計算機程式被該處理器執行時，能夠用於實現如申請專利範圍第1-10項中任一項所述之方法。

Images