TWI759764B - 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 - Google Patents

Abstract

本發明提供一種基於光通信裝置疊加虛擬物件的方法，包括：設備獲得光通信裝置傳遞的標識資訊，所述標識資訊與一個或多個虛擬物件相關聯；設備至少部分地通過所述光通信裝置確定其位置資訊；設備至少部分地通過所述光通信裝置確定其姿態資訊；設備通過所述標識資訊獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，所述疊加資訊包括所述虛擬物件的疊加位置資訊；以及設備基於其位置資訊和姿態資訊以及所述虛擬物件的疊加資訊，在所述設備的顯示媒介上呈現所述虛擬物件。

Description

基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體

本發明屬於增強現實或虛擬實境技術領域，尤其涉及一種基於光通信裝置疊加虛擬物件的方法和相應的電子設備。

本部分的陳述僅僅是為了提供與本發明相關的背景資訊，以説明理解本發明，這些背景資訊並不一定構成現有技術。

近年來，增強現實（Augmented Reality，AR）和虛擬實境（Virtual Reality，VR）技術取得了長足的進展，並獲得了越來越廣泛的應用。

增強現實技術也被稱為混合現實技術，其通過電腦技術將虛擬物件應用到現實場景，使得現實場景和虛擬物件即時地呈現到同一個畫面或空間中，從而增強用戶對現實世界的感知。由於增強現實技術具有能夠對真實環境進行增強顯示輸出的特性，其在醫療研究與解剖訓練、精密儀器製造和維修、軍用飛機導航、工程設計和遠端機器人控制等技術領域，獲得了越來越廣泛的應用並且具有明顯的優勢。在一種增強現實應用中，可以在視野中的固定位置處疊加一些資料資訊，例如，飛行員在學習駕駛飛機的時候，可以通過佩戴顯示頭盔來查看在現實場景上疊加的飛行資料，這些資料通常都是顯示在視野中的固定的位置處（例如，始終在左上角）。這種增強現實技術缺乏足夠的靈活性。在另一種增強現實應用中，可以首先識別出現實場景中的真實物體，然後將虛擬物件疊加到螢幕上顯示的該真實物體上或附近。但是，當前的增強現實技術難以做到在現實場景中的精確位置處疊加虛擬物件，特別是當虛擬物件的疊加位置與識別出的真實物體距離較遠時。

虛擬實境技術是一種能夠創建和體驗虛擬世界的電腦模擬技術，它利用電腦生成一種互動式的虛擬場景，其實體行為的模擬系統能夠使使用者沉浸到該虛擬場景中。在該虛擬場景中，通常具有許多虛擬物件，這些虛擬物件的疊加位置或呈現位置通常會根據使用者的位置或姿態的改變而改變。但是，當前的虛擬實境技術通常是基於設備內部的感測器（例如，加速度感測器、陀螺儀等）來跟蹤用戶的位置或姿態，這種方式存在誤差，且誤差會隨著時間逐漸積累，導致難以根據使用者的實際位置或姿態來準確地疊加虛擬物件。

本發明的方案提供了一種基於光通信裝置在現實場景或虛擬場景中疊加虛擬物件的方法，其通過使用光通信裝置作為錨點，能夠在現實場景或虛擬場景中的精確位置處疊加虛擬物件。

本發明的一個方面涉及一種基於光通信裝置疊加虛擬物件的方法，包括：設備獲得光通信裝置傳遞的標識資訊，所述標識資訊與一個或多個虛擬物件相關聯；設備至少部分地通過所述光通信裝置確定該設備的位置資訊；設備至少部分地通過所述光通信裝置確定該設備的姿態資訊；設備通過所述標識資訊獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，所述疊加資訊包括所述虛擬物件的疊加位置資訊；以及設備基於該設備的位置資訊和姿態資訊以及所述虛擬物件的疊加資訊，在所述設備的顯示媒介上呈現所述虛擬物件。

進一步地，所述設備具有圖像採集器件，以及其中，通過如下方式確定所述設備的位置資訊或姿態資訊：所述設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定該設備的位置資訊或姿態資訊。

進一步地，所述設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定該設備的位置資訊或姿態資訊包括：所述設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定該設備的在採集所述圖像時的位置資訊或姿態資訊；以及，所述設備使用內置的感測器跟蹤其位置變化和/或姿態變化，以確定該設備的當前的位置資訊或姿態資訊。

進一步地，所述虛擬物件的疊加位置資訊是相對於所述光通信裝置的疊加位置資訊；和/或，所述設備的位置資訊和姿態資訊是相對於所述光通信裝置的位置資訊和姿態資訊。

進一步地，所述設備的位置資訊和姿態資訊是所述設備在某個物理坐標系下的位置資訊和姿態資訊，以及其中，基於所述設備相對於所述光通信裝置的位置資訊和姿態資訊以及所述光通信裝置本身在所述物理坐標系下的位置資訊和姿態資訊，確定所述設備在所述物理坐標系下的位置資訊和姿態資訊。

進一步地，所述虛擬物件是背景透明的人物照片或視頻。

進一步地，所述虛擬物件包括至少兩個虛擬物件，以及其中，所述至少兩個虛擬物件被配置以預定的時序呈現在所述設備的顯示媒介上。

進一步地，所述通過所述標識資訊獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊包括：通過所述標識資訊以及所述設備的位置資訊和/或姿態資訊來獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊。

進一步地，所述通過所述標識資訊以及所述設備的位置資訊和/或姿態資訊來獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊包括：基於所述設備的位置資訊確定所述設備的使用者的特徵資訊；以及，基於所述設備的使用者的特徵資訊選擇需要疊加的虛擬物件。

進一步地，所述基於所述設備的位置資訊確定所述設備的使用者的特徵資訊包括：基於所述設備的位置資訊確定所述設備的使用者的身高資訊。

進一步地，所述疊加資訊還包括所述虛擬物件的疊加姿態資訊或疊加時間資訊。

進一步地，基於現實世界中的物體的位置來確定所述虛擬物件的疊加位置資訊。

進一步地，所述物體是具有圖像採集器件的另一設備，以及其中，所述另一設備至少部分地通過所述光通信裝置來確定該另一設備的位置資訊。

進一步地，本發明的再一個方面涉及一種存儲介質，其中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現上述的方法。

進一步地，本發明的再一個方面涉及一種電子設備，包括處理器和記憶體，所述記憶體中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現上述的方法。

通過採用本發明的方法，實現了一種基於光通信裝置在現實場景或虛擬場景中疊加虛擬物件的方法，其通過使用光通信裝置作為錨點，能夠在現實場景或虛擬場景中的精確位置處疊加虛擬物件。

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。

光通信裝置也稱為光標籤，這兩個術語在本文中可以互換使用。光標籤能夠通過發出不同的光來傳遞資訊，其具有識別距離遠、可見光條件要求寬鬆、指向性強的優勢，並且光標籤所傳遞的資訊可以隨時間變化，從而可以提供大的資訊容量和靈活的配置能力。

光標籤中通常可以包括控制器和至少一個光源，該控制器可以通過不同的驅動模式來驅動光源，以向外傳遞不同的資訊。圖1示出了一種示例性的光標籤100，其包括三個光源（分別是第一光源101、第二光源102、第三光源103）。光標籤100還包括控制器（在圖1中未示出），其用於根據要傳遞的資訊為每個光源選擇相應的驅動模式。例如，在不同的驅動模式下，控制器可以使用不同的驅動信號來控制光源的發光方式，從而使得當使用具有圖像採集功能的設備拍攝光標籤100時，其中的光源的圖像可以呈現出不同的外觀（例如，不同的顏色、圖案、亮度、等等）。通過分析光標籤100中的光源的成像，可以解析出各個光源此刻的驅動模式，從而解析出光標籤100此刻傳遞的資訊。

為了基於光標籤向使用者提供相應的服務，每個光標籤可以被分配一個標識資訊（ID），該標識資訊用於由光標籤的製造者、管理者或使用者等唯一地識別或標識光標籤。通常，可由光標籤中的控制器驅動光源以向外傳遞該標識資訊，而使用者可以使用設備對光標籤進行圖像採集來獲得該光標籤傳遞的標識資訊，從而可以基於該標識資訊來訪問相應的服務，例如，訪問與光標籤的標識資訊相關聯的網頁、獲取與標識資訊相關聯的其他資訊（例如，與該標識資訊對應的光標籤的位置資訊）、等等。本文提到的具有圖像採集功能的設備例如可以是使用者攜帶或控制的設備（例如，帶有攝像頭的手機、平板電腦、智慧眼鏡、智慧頭盔、智慧手錶等），也可以是能夠自主移動的機器（例如，無人機、無人駕駛汽車、機器人等）。設備例如可以通過其上的攝像頭對光標籤進行圖像採集來獲得包含光標籤的圖像，並通過內置的應用程式來分析每張圖像中的光標籤（或光標籤中的各個光源）的成像以識別出光標籤傳遞的資訊。

光標籤可以安裝於固定的位置，並可以將光標籤的標識資訊（ID）以及任何其他資訊（例如位置資訊）存儲於伺服器中。在現實中，可以將大量的光標籤構建成一個光標籤網路。圖2示出了一種示例性的光標籤網路，該光標籤網路包括多個光標籤和至少一個伺服器，其中，與每個光標籤相關的資訊可保存在伺服器上。例如，可以在伺服器上保存每個光標籤的標識資訊（ID）或任何其他資訊，例如與該光標籤相關的服務資訊、與該光標籤相關的描述資訊或屬性，如光標籤的位置資訊、物理尺寸資訊、物理形狀資訊、姿態或朝向資訊等。設備可以使用識別出的光標籤的標識資訊來從伺服器查詢獲得與該光標籤有關的其他資訊。光標籤的位置資訊可以是指該光標籤在物理世界中的實際位置，其可以通過地理座標資訊來指示。伺服器可以是在計算裝置上運行的軟體程式、一台計算裝置或者由多台計算裝置構成的集群。光標籤可以是離線的，也即，光標籤不需要與伺服器進行通信。當然，可以理解，能夠與伺服器進行通信的線上光標籤也是可行的。

可以將光標籤作為錨點，來實現虛擬物件到現實場景或虛擬場景中的疊加。虛擬物件例如可以是圖示、圖片、文字、表情符號、虛擬的三維物體、三維場景模型、一段動畫、一段視頻、一個可跳轉的網頁連結、等等。在下文中，以在現實場景中疊加虛擬物件為例進行了說明，但需要說明的是，這並非限制，本發明的方案同樣適用於在虛擬場景中疊加虛擬物件。

圖3示出了根據一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法，該方法包括如下步驟：

步驟301：設備獲得光標籤傳遞的標識資訊。

例如，設備可以通過採集並分析光標籤的圖像，來識別出光標籤傳遞的標識資訊。該標識資訊可以與一個或多個虛擬物件相關聯。

步驟302：設備使用所述標識資訊進行查詢，以獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，該疊加資訊包括疊加位置資訊。

設備在識別出光標籤傳遞的標識資訊之後，可以使用該標識資訊向伺服器發出查詢請求。在伺服器處可以預先存儲與該光標籤相關的資訊，其例如可以包括光標籤的標識資訊、與該光標籤（或光標籤的標識資訊）相關聯的一個或多個虛擬物件的描述資訊、每個虛擬物件的疊加位置資訊、等等。虛擬物件的描述資訊是用於描述該虛擬物件的相關資訊，例如可以包括虛擬物件中包含的圖片、文字、圖示、虛擬物件的標識資訊、形狀資訊、顏色資訊、尺寸資訊、等等。基於該描述資訊，設備可以呈現出相應的虛擬物件。虛擬物件的疊加位置資訊可以是相對於光標籤的位置資訊（例如，虛擬物件的疊加位置相對於光標籤的距離資訊和相對於光標籤的方向資訊），其用於指示虛擬物件的疊加位置。設備通過向伺服器發出查詢請求，可以獲得要在設備當前呈現的現實場景中疊加的虛擬物件的描述資訊以及該虛擬物件的疊加資訊。在一個實施例中，在伺服器處存儲的虛擬物件描述資訊可以僅僅是虛擬物件的標識資訊，設備在獲得該標識資訊後，可以使用該標識資訊在設備本地或從協力廠商獲得用於虛擬物件的呈現的更為詳細的描述資訊。在一個實施例中，虛擬物件的疊加資訊還可以包括虛擬物件的疊加姿態資訊或疊加時間資訊，該疊加姿態資訊可以是虛擬物件相對於光標籤的姿態資訊，也可以是其在現實世界的坐標系中的姿態資訊。

需要說明的是，為了確定虛擬物件的疊加姿態，並非必須使用虛擬物件的疊加姿態資訊，而是也可以使用虛擬物件的疊加位置資訊來確定虛擬物件的疊加姿態。例如，對於一個虛擬物件，可以確定其上的若干個點的疊加位置資訊，這些不同的點的疊加位置資訊能夠用於確定該虛擬物件相對於光標籤的姿態或者在現實世界坐標系中的姿態。

在一個實施例中，可以基於現實世界中位於光標籤附近的其他物體（例如，另一個設備）相對於光標籤的位置來確定虛擬物件的疊加位置資訊，如此，在疊加虛擬物件時，這些虛擬物件可以覆蓋現實場景中的物體，或者可以在這些物體周圍或附近呈現相關的虛擬物件，從而實現精確的增強現實效果。在一個實施例中，現實世界中的物體的位置可以變化，其可以是某個人或者某個物體的當前位置，該位置可以通過掃描光標籤來確定，也可以通過掃描光標籤並進行感測器跟蹤來確定，也可以通過場景中佈設的攝像頭來確定，也可以通過將設備攝像頭採集的圖像與光標籤周圍的場景的模型進行比較來確定，等等。

步驟303：設備至少部分地通過光標籤確定其位置資訊。

在一個實施例中，設備可以通過採集包括光標籤的圖像並分析該圖像來確定其相對於光標籤的位置資訊。例如，設備可以通過圖像中的光標籤成像大小以及可選的其他資訊（例如，光標籤的實際物理尺寸資訊、設備的攝像頭的焦距）來確定光標籤與識別設備的相對距離（成像越大，距離越近；成像越小，距離越遠）。設備可以使用光標籤的標識資訊從伺服器獲得光標籤的實際物理尺寸資訊，或者光標籤可以具有統一的物理尺寸並在設備上存儲該物理尺寸。設備可以通過包括光標籤的圖像中的光標籤成像的透視畸變以及可選的其他資訊（例如，光標籤的成像位置），來確定設備相對於光標籤的方向資訊。設備可以使用光標籤的標識資訊從伺服器獲得光標籤的物理形狀資訊，或者光標籤可以具有統一的物理形狀並在設備上存儲該物理形狀。在一個實施例中，設備也可以通過其上安裝的深度攝像頭或雙目攝像頭等來直接獲得光標籤與識別設備的相對距離。設備也可以採用現有的任何其他定位方法來確定其相對於光標籤的位置資訊。

步驟304：設備至少部分地通過光標籤確定其姿態資訊。

在一個實施例中，設備可以確定其相對於光標籤的姿態資訊，例如，設備可以根據光標籤的成像來確定其相對於光標籤的姿態資訊，當光標籤的成像位置或成像區域位於設備成像視野的中心時，可以認為設備當前正對著光標籤。在確定設備的姿態時可以進一步考慮光標籤的成像的方向。

在一個實施例中，也可以以如下方式來確定設備相對於光標籤的位置和姿態資訊（可以統稱為位姿資訊）。具體地，可以根據光標籤建立一個坐標系，該坐標系可以被稱為光標籤坐標系。可以將光標籤上的一些點確定為在光標籤坐標系中的一些空間點，並且可以根據光標籤的物理尺寸資訊和/或物理形狀資訊來確定這些空間點在光標籤坐標系中的座標。光標籤上的一些點例如可以是光標籤的外殼的角、光標籤中的光源的端部、光標籤中的一些標識點、等等。根據光標籤的物體結構特徵或幾何結構特徵，可以在設備相機拍攝的圖像中找到與這些空間點分別對應的像點，並確定各個像點在圖像中的位置。根據各個空間點在光標籤坐標系中的座標以及對應的各個像點在圖像中的位置，結合設備相機的內參資訊，可以計算得到拍攝該圖像時設備相機在光標籤坐標系中的位姿資訊（R，t），其中R為旋轉矩陣，其可以用於表示設備相機在光標籤坐標系中的姿態資訊，t為位移向量，其可以用於表示設備相機在光標籤坐標系中的位置資訊。計算R、t的方法在現有技術中是已知的，例如，可以利用3D-2D的PnP（Perspective-n-Point）方法來計算R、t，為了不模糊本發明，在此不再詳細介紹。旋轉矩陣R和位移向量t實際上可以描述如何將某個點的座標在光標籤坐標系和設備相機坐標系之間轉換。例如，通過旋轉矩陣R和位移向量t，可以將某個點在光標籤坐標系中的座標轉換為在設備相機坐標系中的座標，並可以進一步轉換為圖像中的像點的位置。如此，對於具有多個特徵點（虛擬物件的輪廓上的多個點）的虛擬物件，可以在該虛擬物件的疊加資訊中包括該多個特徵點在光標籤坐標系中的座標（也即，相對於光標籤的位置資訊），基於多個特徵點在光標籤坐標系中的座標，可以確定這些特徵點在設備相機坐標系中的座標，從而可以確定這些特徵點在設備上的各自成像位置。虛擬物件的多個特徵點的各自成像位置一旦確定，就可以相應地確定出該虛擬物件整體的成像的位置、大小、或姿態等。

在通過掃描光標籤確定設備在空間中的位置和/或姿態之後，設備可能會發生平移和/或旋轉，在這種情況下，可以例如使用設備內置的各種感測器（例如，加速度感測器、磁力感測器、方向感測器、重力感測器、陀螺儀、攝像頭等）通過本領域已知的方法（例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等）來測量或跟蹤其位置變化和/或姿態變化，從而確定設備的即時位置和/或姿態。

所確定的設備的位置和姿態資訊可以是相對於光標籤的位置和姿態資訊，也可以是設備在其他物理坐標系下的位置和姿態資訊，該物理坐標系例如可以是場所坐標系（例如，針對某個房間、建築物、園區等建立的坐標系）或者世界坐標系。在這種情況下，光標籤可以具有在該物理坐標系下的位置和姿態資訊，其可以被提前標定和存儲。通過設備相對於光標籤的位置和姿態資訊以及光標籤本身在某個物理坐標系下的位置和姿態資訊，可以確定設備在該物理坐標系下的位置和姿態資訊。設備可以識別光標籤傳遞的資訊（例如標識資訊），並使用該資訊來獲得（例如通過查詢）光標籤在某個物理坐標系下的位置和姿態資訊。類似地，虛擬物件的疊加位置資訊也可以是在其他物理坐標系下的位置資訊。

步驟305：基於虛擬物件的疊加資訊、設備的位置資訊、設備的姿態資訊，在設備的顯示媒介上呈現所述虛擬物件，從而在現實場景中疊加所述虛擬物件。

在一個實施例中，在通過上述步驟獲得了虛擬物件的疊加位置資訊和設備相對於光標籤的位置資訊之後，實際上可以創建出以光標籤為原點的三維空間坐標系，其中，設備和待疊加的虛擬物件均具有在該坐標系中的準確的空間座標。在一個實施例中，也可以基於虛擬物件的疊加位置資訊和設備相對於光標籤的位置資訊來確定待疊加的虛擬物件相對於設備的位置資訊。在上述基礎上，可以基於設備的姿態資訊在現實場景中疊加該虛擬物件。例如，可以基於設備和待疊加的虛擬物件的相對距離來確定待疊加的虛擬物件的成像大小，可以基於設備和待疊加的虛擬物件的相對方向和設備的姿態資訊來確定待疊加的虛擬物件在設備上的成像位置。基於該成像位置和成像大小，可以在現實場景中實現虛擬物件的準確疊加。在一個實施例中，待疊加的虛擬物件可以具有預設的成像大小，在這種情況下，可以僅確定待疊加的虛擬物件在設備上的成像位置，而不確定其成像大小。在疊加資訊包括虛擬物件的疊加姿態資訊的情況下，可以進一步確定所疊加的虛擬物件的姿態。在一個實施例中，可以根據上文所計算的設備（更準確地說，該設備的相機）相對於光標籤的位姿資訊（R，t）來確定待疊加的虛擬物件在設備上的成像的位置、大小或姿態等。

在上述實施例中，光標籤實際上被用作了錨點，基於該錨點，實現了虛擬物件在現實場景中的精確疊加。而且，即使虛擬物件的疊加位置與光標籤距離較遠時，也可以實現精確疊加。

本領域技術人員可以理解，設備也可以在確定了其位置資訊和/或姿態資訊之後，使用光標籤的標識資訊查詢待疊加的虛擬物件。在一個實施例中，設備可以在確定了其位置資訊和/或姿態資訊之後，使用光標籤的標識資訊以及設備的位置資訊和/或姿態資訊進行查詢，以確定待疊加的虛擬物件以及所述虛擬物件的疊加資訊。如此，可以根據設備的位置和/或姿態篩選需要疊加的虛擬物件，從而減輕需要傳輸的網路流量。

在一個實施例中，可以基於設備的位置資訊確定設備使用者的特徵資訊，並基於該特徵資訊選擇需要疊加的虛擬物件。例如，在用戶使用諸如手機或智慧眼鏡之類的設備時，可以根據設備的位置資訊確定設備離地面的高度，從而確定設備使用者的大致身高資訊，這可以用於判斷設備使用者是成人還是兒童，從而，如果設備使用者是兒童，可以選擇兒童喜愛的虛擬物件（例如，卡通形象的虛擬物件）進行疊加，以提供更好的使用體驗。

在一個實施例中，設備可以使用各種可行的方式來呈現現實場景。例如，設備可以通過攝像頭採集現實世界的資訊並使用上述資訊在顯示幕上再現出現實場景，虛擬物件的圖像可以被疊加在該顯示幕上。設備（例如智慧眼鏡）也可以不通過顯示幕來再現現實場景，而是可以簡單地通過棱鏡、透鏡、反射鏡、透明物體（例如玻璃）等來再現現實場景，虛擬物件的圖像可以被光學地疊加到該現實場景中。上述顯示幕、棱鏡、透鏡、反射鏡、透明物體等可以統稱為設備的顯示媒介，虛擬物件可以被呈現在該顯示媒介上。例如，在一種光學透視式增強現實設備中，使用者通過特定的透鏡觀察到現實場景，同時該透鏡可以將虛擬物件的成像反射到用戶的眼中。在一個實施例中，設備的使用者可以直接觀察到現實場景或其部分，該現實場景或其部分在被使用者的眼睛觀察到之前不需要經過任何媒介進行再現，並且虛擬物件可以被光學地疊加到該現實場景中。因此，現實場景或其中的部分在被使用者的眼睛觀察到之前並不一定需要通過設備來呈現或再現。

在疊加了虛擬物件之後，設備可能會發生平移和/或旋轉，在這種情況下，可以使用本領域已知的方法（例如，諸如手機之類的終端設備可使用其內置的加速度感測器、陀螺儀、視覺里程計等）來測量其位置變化以及姿態變化，從而對虛擬物件的顯示進行調整，這在本領域中是已知的，不再贅述。

在一個實施例中，設備可以重新（例如，當光標籤離開設備視野後重新進入設備視野時，或者在光標籤保持在設備視野中的情況下每隔一定時間）掃描光標籤以確定其位置資訊和姿態資訊，並基於虛擬物件的疊加位置資訊、設備的位置資訊、設備的姿態資訊，重新確定虛擬物件的成像位置和/或成像大小，從而校正所述虛擬物件在現實場景中的疊加。如此，可以避免疊加的虛擬物件的位置隨著設備的轉動或移動而發生漂移。

在某些情況下，可能存在與光標籤關聯的多個虛擬物件，並且在疊加這些虛擬物件時可能會出現重疊、遮擋等情形。在一個實施例中，當疊加多個虛擬物件時可以考慮這些虛擬物件之間的重疊、遮擋等情形，並且僅在現實場景中疊加或呈現未被遮擋的虛擬物件或者虛擬物件的未被遮擋的部分。在另一個實施例中，也可以考慮將遮擋其他虛擬物件的虛擬物件或其部分設置為半透明，並且也疊加或呈現被遮擋的虛擬物件或其部分，從而使得設備使用者能夠觀察到所有虛擬物件。

在一個實施例中，在疊加虛擬物件時，設備可以根據需要僅疊加其當前視野範圍內的一部分虛擬物件，而非視野範圍內的所有虛擬物件。例如，對於一些疊加位置與設備位置非常接近的虛擬物件，如果在設備觀察到的現實場景中疊加該虛擬物件，該虛擬物件可能會顯示為具有非常大的尺寸（近大遠小），並會遮擋大量其他物體，從而影響設備使用者的使用體驗。對於一些疊加位置與設備位置相距非常遠的虛擬物件，如果在設備觀察到的現實場景中疊加該虛擬物件，該虛擬物件可能會顯示為具有非常小的尺寸而難於觀察，並不需要疊加。對於一些位於設備視野範圍邊緣處的虛擬物件，或者一些被實際物體或其他虛擬物件遮擋或部分遮擋的虛擬物件，也可以不進行疊加。

在一個實施例中，在疊加了虛擬物件之後，設備或其使用者可以對該虛擬物件執行操作，以改變虛擬物件的屬性。例如，設備或其使用者可以移動虛擬物件的位置、改變虛擬物件的姿態、改變虛擬物件的大小或顏色、在虛擬物件上添加標注、等等。在一個實施例中，在設備或其使用者改變了虛擬物件的屬性之後，可以把虛擬物件的修改後的屬性資訊上傳到伺服器。伺服器可以基於修改後的屬性資訊來修改其存儲的虛擬物件的描述資訊和疊加資訊。如此，當之後其他使用者使用其設備掃描光標籤時，可以在現實場景中疊加修改後的虛擬物件。

在一個實施例中，為了提高虛擬物件疊加的靈活性、可定制性，可以為不同的設備或設備使用者定制不同的虛擬物件。圖4示出了根據另一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法，該方法包括如下步驟（部分步驟與圖3中的步驟類似，在此不再詳細解釋）：

步驟401：設備獲得光標籤傳遞的標識資訊。

步驟402：設備使用所述標識資訊以及所述設備或其使用者的相關資訊進行查詢，以獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，該疊加資訊包括疊加位置資訊。

設備的相關資訊例如可以是設備的標識資訊、設備的型號資訊、設備的配置資訊等，設備的使用者的相關資訊例如可以是該使用者的標識資訊、身份資訊、年齡資訊、性別資訊、職業資訊、個人愛好資訊等。設備在識別出光標籤傳遞的標識資訊之後，可以使用該標識資訊和所述設備或其使用者的相關資訊向伺服器發出查詢請求。伺服器在接收到查詢請求後，可以基於光標籤的標識資訊和設備或其使用者的相關資訊，選擇出合適的一個或多個虛擬物件，並向設備發送該一個或多個虛擬物件的描述資訊以及每個虛擬物件的疊加資訊。在一個實施例中，虛擬物件的疊加資訊還可以包括虛擬物件的疊加姿態資訊或疊加時間資訊。

步驟403：設備至少部分地通過光標籤確定其位置資訊。

步驟404：設備至少部分地通過光標籤確定其姿態資訊。

步驟405：基於虛擬物件的疊加資訊、設備的位置資訊、設備的姿態資訊，在設備的顯示媒介上呈現所述虛擬物件，從而在現實場景中疊加所述虛擬物件。

如此，可以在相同的現實場景中為不同的設備或使用者疊加不同的虛擬物件，這是非常有利的。

在一個實施例中，為了提高虛擬物件疊加的靈活性、可定制性，可以根據不同的時刻來配置要疊加的不同的虛擬物件。圖5示出了根據另一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法，該方法包括如下步驟（部分步驟與圖3中的步驟類似，在此不再詳細解釋）：

步驟501：設備獲得光標籤傳遞的標識資訊。

步驟502：設備使用所述標識資訊進行查詢，以獲得待疊加的一個或多個虛擬物件以及每個虛擬物件的疊加位置資訊和疊加時間資訊。

虛擬物件的疊加時間資訊例如可以是一個時間段，其可以用疊加開始時間和疊加結束時間表示，用於指示該虛擬物件在現實場景中的生存期。不同虛擬物件的生存期可以重疊。設備在識別出光標籤傳遞的標識資訊之後，可以使用該標識資訊向伺服器發出查詢請求。在伺服器處可以預先存儲與該光標籤相關的資訊，其例如可以包括光標籤的標識資訊、與該光標籤相關聯的一個或多個虛擬物件的描述資訊、每個虛擬物件的疊加位置資訊、每個虛擬物件的疊加時間資訊、等等。伺服器可以基於當前時間資訊和虛擬物件的疊加時間資訊，從與光標籤的標識資訊相關聯的多個虛擬物件中選擇一個或多個虛擬物件（例如，疊加結束時間晚於當前時間的一個或多個虛擬物件），並將所選擇的一個或多個虛擬物件的描述資訊、疊加位置資訊、疊加時間資訊發送給設備。

步驟503：設備至少部分地通過光標籤確定其位置資訊。

步驟504：設備至少部分地通過光標籤確定其姿態資訊。

步驟505：設備確定當前應疊加的虛擬物件。

設備可以根據收到的每個虛擬物件的疊加時間資訊，確定出當前時刻應在現實場景中疊加的虛擬物件。

步驟506：基於當前應疊加的虛擬物件的疊加位置資訊、設備的位置資訊、設備的姿態資訊，在現實場景中疊加所述當前應疊加的虛擬物件。

步驟507：隨著時間的過去，根據每個虛擬物件的疊加位置資訊和疊加時間資訊在現實場景中疊加虛擬物件或刪除虛擬物件。

例如，當某一個虛擬物件的生存期開始時，可以在現實場景中疊加該虛擬物件，當其生存期結束時，可以從現實場景中刪除該虛擬物件。如此，可以根據不同的時刻來配置要在現實場景中疊加的不同的虛擬物件，並設定每個虛擬物件的生存期，這極大地提高了虛擬物件疊加的靈活性和可定制性。

在另一個實施例中，在圖5所示的步驟502中可以進一步使用設備或其使用者的相關資訊，也即，設備可以使用光標籤的標識資訊和設備或其使用者的相關資訊進行查詢，以確定針對該設備的待疊加的一個或多個虛擬物件以及每個虛擬物件的疊加位置資訊和疊加時間資訊。如此，可以為不同的設備或設備使用者定制在不同時刻疊加的不同虛擬物件，進一步提高了虛擬物件疊加的靈活性和可定制性。

圖6示出了根據一個實施例的在一個方向觀察的疊加了虛擬物件後的現實場景，圖7示出了根據一個實施例的在另一個方向觀察的疊加了虛擬對象後的現實場景。在圖6和圖7中示出了安裝於房間牆壁上的一個光標籤（包括三個條狀光源），並且示出了在桌子上方疊加的一個虛擬物件，該虛擬物件是一個虛擬顯示幕，其中可以顯示圖片、視頻等。

在某些情況下，當使用者設備使用光標籤傳遞的標識資訊查詢要疊加的虛擬物件時，可能並不需要向其發送與該光標籤關聯的所有虛擬物件，也可能並不需要在設備上呈現位於設備視野範圍內的所有虛擬物件，而是可以僅呈現適合設備當前位置和姿態的一個或多個虛擬物件，例如，僅呈現位於設備視野範圍內並且距離適中的虛擬物件，或者僅呈現位於設備視野範圍的中心區域附近的虛擬物件，或者僅呈現未被遮擋或覆蓋的虛擬物件，等等。在某些情況下，設備的位置資訊和/或姿態資訊能夠反映設備使用者的一些特徵，例如，兒童使用者所持有的設備的位置一般較低，成人使用者所持有的設備的位置一般較高，因此，可以基於設備的位置資訊計算設備的高度（該高度可以反映設備使用者的身高資訊），並為不同高度的設備呈現不同的虛擬物件，例如為較低高度的設備呈現卡通形式的虛擬物件。另外，如果與光標籤關聯的虛擬物件比較多，則當設備使用光標籤傳遞的標識資訊進行查詢以確定待疊加的虛擬物件以及所述虛擬物件的疊加資訊時，可能涉及從伺服器到設備的大量的資料傳輸。例如，伺服器可能需要向設備傳輸與該光標籤關聯的所有虛擬物件的描述資訊、疊加資訊（例如，疊加位置資訊、疊加姿態資訊、疊加時間資訊）、等等，這會增加通信負擔，增大延遲，並且影響用戶的交互體驗，這種問題在虛擬物件很多或者虛擬物件本身比較複雜的情況下尤為嚴重。圖8示出了根據再一個實施例的基於光標籤在現實場景中疊加虛擬物件的方法，其能夠避免或減輕上述問題。該方法包括如下步驟（部分步驟與圖3中的步驟類似，在此不再詳細解釋）：

步驟801：設備獲得光標籤傳遞的標識資訊。

步驟802：設備至少部分地通過光標籤確定其位置資訊和姿態資訊。

設備可以以與步驟303和304類似的方式確定其位置資訊和姿態資訊（可以一起稱為位姿資訊）。

步驟803：設備通過所述標識資訊以及所述設備的位置資訊和/或姿態資訊，獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，所述疊加資訊包括疊加位置資訊。

設備在識別出光標籤傳遞的標識資訊並且獲得了其位置資訊和姿態資訊之後，可以將該標識資訊、位置資訊、姿態資訊發送給伺服器。伺服器在接收到這些資訊後，可以使用這些資訊來確定要疊加的虛擬物件以及這些虛擬物件的疊加資訊。例如，伺服器可以首先根據標識資訊來確定與該標識資訊相關聯的所有虛擬物件，然後，伺服器可以根據設備的位置資訊和/或姿態資訊，從這些虛擬物件中篩選出待疊加的虛擬物件，並將這些篩選出的虛擬物件的描述資訊以及疊加資訊發送給設備。

需要理解的是，一方面，伺服器所確定的待疊加的虛擬物件不一定處於設備的視野範圍內。例如，設備可能確定出若干目前不處於設備視野範圍內的虛擬物件，這些虛擬物件當前並不會被疊加到設備的顯示媒介上，但當設備發生平移和/或旋轉時，可能會進入設備的視野範圍而被疊加。另一方面，處於設備當前視野範圍內的虛擬物件也不一定會被伺服器確定為待疊加的虛擬物件。例如，對於一些疊加位置與設備位置非常接近的虛擬物件，如果在設備觀察到的現實場景中疊加該虛擬物件，該虛擬物件可能會顯示為具有非常大的尺寸（近大遠小），並會遮擋大量其他物體，從而影響設備使用者的使用體驗。對於一些疊加位置與設備位置相距非常遠的虛擬物件，如果在設備觀察到的現實場景中疊加該虛擬物件，該虛擬物件可能會顯示為具有非常小的尺寸而難於觀察，因此並不需要疊加。對於一些被實際物體或其他虛擬物件遮擋或部分遮擋的虛擬物件，也可以不將其確定為待疊加的虛擬物件。

在一個實施例中，虛擬物件的疊加資訊還可以包括虛擬物件的疊加姿態資訊或疊加時間資訊。

步驟804：設備基於所述位置資訊、所述姿態資訊以及所述疊加資訊，在設備的顯示媒介上呈現所述虛擬物件，從而在現實場景中疊加所述虛擬物件。

在一個實施例中，虛擬物件可以是人物照片或視頻。在一個實施例中，該人物照片或視頻可以是背景透明的照片或視頻（例如，帶alpha透明通道的照片或視頻），使得該照片或視頻中只有人物，而不具備背景。如此，當疊加了該人物照片或視頻之後，由於該照片或視頻本身的背景不會被呈現，因此，人物就好像真實地位於現實場景中一樣，從而可以實現更好的增強現實效果。

在上文中，以在現實場景中疊加虛擬物件為例進行了說明，但可以理解，本發明的方案同樣適用於在虛擬場景中疊加虛擬物件。在設備呈現或顯示的虛擬場景中可以包括各種虛擬物件，例如虛擬的三維場景模型、虛擬物體、虛擬人物、等等。在疊加各種虛擬物件時，設備可以通過攝像頭識別出光標籤，並將該光標籤作為錨點來疊加各種虛擬物件，通過這種方式，可以準確地跟蹤用戶的位置或姿態並準確地疊加各種虛擬物件。在虛擬場景中可以顯示或不顯示光標籤或用於示出光標籤的位置的圖示或標識。

本文中提到的設備可以是使用者攜帶或控制的設備，設備上可以安裝有圖像採集器件（例如攝像頭）和顯示媒介（例如顯示幕）。

在本發明的一個實施例中，可以以電腦程式的形式來實現本發明。電腦程式可以存儲於各種電腦可讀取記錄媒體（例如，硬碟、光碟、快閃記憶體等）中，當該電腦程式被處理器執行時，能夠用於實現本發明的方法。

在本發明的另一個實施例中，可以以電子設備的形式來實現本發明。該電子設備包括處理器和記憶體，在記憶體中存儲有電腦程式，當該電腦程式被處理器執行時，能夠用於實現本發明的方法。

本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要該組合不是不符合邏輯的或不能工作。本文中出現的類似於“根據A”、“基於A”、“通過A”或“使用A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明或者根據上下文明確可知其含義為“僅僅根據A”。在本申請中為了清楚說明，以一定的順序描述了一些示意性的操作步驟，但本領域技術人員可以理解，這些操作步驟中的每一個並非是必不可少的，其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行，相反，這些操作步驟中的一些可以根據實際需要以不同的循序執行，或者並存執行，只要新的執行方式不是不符合邏輯的或不能工作。

由此描述了本發明的至少一個實施例的幾個方面，可以理解，對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意於在本發明的精神和範圍內。雖然本發明已經通過優選實施例進行了描述，然而本發明並非局限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。

100        光標籤 101        第一光源 102        第二光源 103        第三光源 步驟301-305 步驟401-405 步驟501-507 步驟801-804

圖1，為本發明一種示例性的光標籤的示意圖。

圖2，為本發明一種示例性的光標籤網路的示意圖。

圖3，為本發明一個實施例的流程示意圖。

圖4，為本發明另一個實施例的流程示意圖。

圖5，為本發明另一個實施例的流程示意圖。

圖6，為本發明一個實施例中在一個方向觀察的疊加了虛擬物件後的現實場景。

圖7，為本發明一個實施例中在另一個方向觀察的疊加了虛擬對象後的現實場景。

圖8，為本發明再一個實施例的流程示意圖。

步驟301-305

Claims (14)

1. 一種基於光通信裝置疊加虛擬物件的方法，包括：設備獲得光通信裝置傳遞的標識資訊，所述標識資訊與一個或多個虛擬物件相關聯；所述設備具有圖像採集器件，且該設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定該設備的位置資訊和姿態資訊；所述設備通過所述標識資訊獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊，所述疊加資訊包括所述虛擬物件的疊加位置資訊；以及所述設備基於該設備的位置資訊和姿態資訊以及所述虛擬物件的疊加資訊，在所述設備的顯示媒介上呈現所述虛擬物件。
2. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定該設備的位置資訊和姿態資訊包括：所述設備至少部分地通過採集包括所述光通信裝置的圖像並分析該圖像來確定其在採集所述圖像時該設備的位置資訊和姿態資訊；以及所述設備使用內置的感測器跟蹤該設備的位置變化和/或姿態變化，以確定該設備當前的位置資訊和姿態資訊。
3. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述虛擬物件的疊加位置資訊是相對於所述光通信裝置的疊加位置資訊；和/或所述設備的位置資訊和姿態資訊是相對於所述光通信裝置的位置資訊和姿態資訊。
4. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述設備的位置資訊和姿態資訊是所述設備在某個物理坐標系下的位置資訊和姿態資訊，以及其中，基於所述設備相對於所述光通信裝置的位置資訊和姿態資訊以及所述光通信裝置本身在所述物理坐標系下的位置資訊和姿態資訊，確定所述設備在所述物理坐標系下的位置資訊和姿態資訊。
5. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述虛擬物件是背景透明的人物照片或視頻。
6. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述虛擬物件包括至少兩個虛擬物件，以及其中，所述至少兩個虛擬物件被配置以預定的時序呈現在所述設備的顯示媒介上。
7. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述通過所述標識資訊獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊包括：通過所述標識資訊以及所述設備的位置資訊和/或姿態資訊來獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊。
8. 如申請專利範圍第7項所述的基於光通信裝置疊加虛擬物件的方法，所述通過所述標識資訊以及所述設備的位置資訊和/或姿態資訊來獲得待疊加的虛擬物件以及所述虛擬物件的疊加資訊包括：基於所述設備的位置資訊確定所述設備的使用者的特徵資訊；以及基於所述設備的使用者的特徵資訊選擇需要疊加的虛擬物件。
9. 如申請專利範圍第8項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述基於所述設備的位置資訊確定所述設備的使用者的特徵資訊包括：基於所述設備的位置資訊確定所述設備的使用者的身高資訊。
10. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述疊加資訊還包括所述虛擬物件的疊加姿態資訊或疊加時間資訊。
11. 如申請專利範圍第1項所述的基於光通信裝置疊加虛擬物件的方法，其中，基於現實世界中的物體的位置來確定所述虛擬物件的疊加位置資訊。
12. 如申請專利範圍第11項所述的基於光通信裝置疊加虛擬物件的方法，其中，所述物體是具有圖像採集器件的另一設備，以及其中，所述另一設備至少部分地通過所述光通信裝置來確定該另一設備的位置資訊。
13. 一種電腦可讀取記錄媒體，其中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現如請求項1-12中任一項所述的方法。
14. 一種電子設備，包括處理器和記憶體，所述記憶體中存儲有電腦程式，在該電腦程式被處理器執行時，能夠用於實現如請求項1-12中任一項所述的方法。

Images