TWI795762B - 用於在現實場景中疊加直播人物影像的方法和電子設備 - Google Patents

Abstract

提供了一種用於在現實場景中疊加直播人物影像的方法和電子設備， 該方法包括：確定設備在空間中的位置和姿態，其中，該設備具有圖像採集元件和顯示介面；獲得為該直播人物影像設置的空間位置；基於該設備的位置和姿態以及該直播人物影像的空間位置，確定該直播人物影像在該設備的顯示介面上的呈現位置；在該設備的顯示介面上呈現該設備的圖像採集元件採集的現實場景；以及接收該直播人物影像並在該顯示介面上的該呈現位置處疊加該直播人物影像。

Description

用於在現實場景中疊加直播人物影像的方法和電子設備

本發明涉及擴增實境技術領域，尤其涉及一種用於在通過設備觀察到的現實場景中疊加直播人物影像的方法和電子設備。

本部分的陳述僅僅是為了提供與本申請的技術方案有關的背景資訊，以幫助理解，其對於本申請的技術方案而言並不一定構成現有技術。

在行政機關、銀行網點、展覽館、景區、商場、超市、機場、車站等場所，經常需要安排一些服務人員在一些特定地點為用戶提供現場講解或諮詢服務，例如，在行政機關為用戶提供政策諮詢服務，在銀行網點為用戶提供各種理財產品的介紹，在超市貨架旁邊為用戶介紹各種商品，等等。

然而，以這種傳統的服務方式，需要服務人員和用戶之間面對面的近距離(通常1米左右甚至更近)口頭交流，這在存在傳染疫情時會極大地增加交叉感染的風險，並影響許多產業(特別是需要現場講解人員或服務人員的產業)的順利復工復產。儘管強制服務人員和用戶佩戴口罩等防護設施可以降低該風險，但這相對而言會影響交流的順暢度並需要花費額外的防護成本。另外，心理學研究表明，在面對面的對話交流過程中，訊號的傳遞實際上是在語 言和非語言兩個層次上同時進行的，通常，通過非語言(例如，面部表情、長相、姿態、手勢等)傳達的訊息占整個交流過程總訊息量的比例超過50%，而其中面部表情和長相是非常重要的部分。而在佩戴口罩等防護設施的情況下，通過面部表情和長相等傳達的訊息大部分被阻隔而無法被傳遞，從而影響面對面交流的效果。

另外，以上述傳統的服務方式，通常同一服務人員僅能負責一個地點的用戶。以銀行網點為例，即使在銀行網點A的工作人員a當前空閒，在銀行網點B的工作人員b很忙碌，工作人員a也不能服務當前正在銀行網點B處等待的其他用戶。因此，上述傳統服務方式是低效並且成本高昂的。隨著老齡化社會的快速到來以及人力成本的不斷提高，上述傳統服務方式的弊端也會越來越明顯。

為了解決上述問題中的至少一個，本申請提供了一種用於在設備觀察到的現實場景中疊加直播人物影像的方法和電子設備。

本發明的一個方面涉及一種用於在現實場景中疊加直播人物影像的方法，包括：確定設備在空間中的位置和姿態，其中，該設備具有圖像採集元件和顯示介面；獲得為該直播人物影像設置的空間位置；基於該設備的位置和姿態以及該直播人物影像的空間位置，確定該直播人物影像在該設備的顯示介面上的呈現位置；在該設備的顯示介面上呈現該設備的圖像採集元件採集的現實場景；以及接收該直播人物影像並在該顯示介面上的該呈現位置處疊加該直播人物影像。

在本發明之一實施例中，該設備接收的該直播人物影像是背景透明的直播人物影像或者無背景的直播人物影像；或者，該設備處理所接收的該直播人物影像以生成背景透明的直播人物影像或者無背景的直播人物影像。

在本發明之一實施例中，該方法還包括：確定要為該設備呈現的直播人物影像。

在本發明之一實施例中，通過該設備在空間中的位置來確定要為該設備呈現的直播人物影像。

在本發明之一實施例中，通過該設備在空間中的位置和姿態來確定要為該設備呈現的直播人物影像。

在本發明之一實施例中，該方法還包括：獲得為該直播人物影像設置的在空間中的姿態。

在本發明之一實施例中，該方法還包括：基於該設備的位置和姿態以及該直播人物影像的姿態，確定該直播人物影像在該設備的顯示介面上的呈現姿態。

在本發明之一實施例中，使得該直播人物影像的正面始終朝向該設備。

在本發明之一實施例中，該方法還包括：採集該設備的用戶的影像、聲音或文字輸入；以及將該影像、聲音或文字輸入發送給提供該直播人物影像的直播者。

在本發明之一實施例中，該方法還包括：在該設備的顯示介面上疊加該直播人物影像之後，根據該設備的新的位置和姿態以及該直播人物影像的空間位置，確定該直播人物影像在該設備的顯示介面上的新的呈現位置。

在本發明之一實施例中，該方法還包括：在該設備的顯示介面上疊加該直播人物影像之後，該直播人物影像在該顯示介面上的呈現位置保持不變。

在本發明之一實施例中，該方法還包括：在該設備的顯示介面上疊加該直播人物影像之後，根據該設備的用戶的指示使得該直播人物影像在該顯示介面上的呈現位置保持不變。

在本發明之一實施例中，該確定設備在空間中的位置和姿態包括：通過該設備掃描部署在現實場景中的光通訊裝置來確定該設備在空間中的初始位置和姿態，並持續跟蹤該設備在空間中的位置和姿態變化。

在本發明之一實施例中，該方法還包括：該設備獲得該光通訊裝置的標識訊號，並通過該標識訊號確定要為該設備呈現的直播人物影像。

在本發明之一實施例中，在該設備的顯示介面上疊加至少兩個直播人物影像。

在本發明之一實施例中，直播人物影像是二維人物影像或者三維人物影像。

在本發明之一實施例中，方法還包括：在接收該直播人物影像之前，指示與該直播人物影像關聯的直播者提供該直播人物影像。

本發明的另一個方面涉及一種存儲介質，其中存儲有計算機程序，在該計算機程序被處理器執行時，能夠用於實現上述的方法。

本發明的再一個方面涉及一種電子設備，其包括處理器和存儲器，該存儲器中存儲有計算機程序，在該計算機程序被處理器執行時，能夠用於實現上述的方法。

通過本發明的方案，實現了一種基於現實場景中的位置或者與現實場景中的位置綁定的直播交互方法，使得設備用戶能夠體驗到類似於真人現場服務的非接觸式場景服務，而並不需要服務人員和用戶進行面對面的近距離口頭交流，從而在存在傳染疫情時可以極大地降低交叉感染的風險，並幫助相關產業順利復工復產。另外，通過該方案，同一服務人員可以為不同位置的用戶服務，從而可以打破地理局限性、節省人力成本、提高服務效率。

1001~1005:步驟流程

100:光標籤

101:第一光源

102:第二光源

103:第三光源

201:用戶

202:貨架

203:設備

204:虛線框

301:攝像設備

302:直播者

圖1示出了根據一個實施例的用於在通過設備觀察到的現實場景中疊加直播人物影像的方法。

圖2示出了用戶在現實場景中觀看直播人物影像的示意圖。

圖3示出了用於提供圖2所示的現實場景中的直播人物影像的直播者和攝像設備。

圖4示出了在用戶的設備的顯示介面上呈現的示意圖像

圖5是用於示出本發明的實際效果的一個示例真實圖像

圖6示出了一種示例性的光標籤

圖7示出了一種示例性的光標籤網絡

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限制本發明。

圖1示出了根據一個實施例的用於在通過設備觀察到的現實場景中疊加直播人物影像的方法。設備例如可以是用戶攜帶或控制的設備(例如，手機、平板電腦、智能眼鏡、AR/VR眼鏡、AR/VR頭盔、智能手錶等等)，並且具有圖像採集元件(例如攝像頭)和顯示介面(例如螢幕)。該方法可以包括如下步驟：

步驟1001：確定設備在空間中的位置和姿態。

可以使用各種可行的方式來確定設備在空間中的位置和姿態，例如，可以在空間中佈置視覺標誌並通過分析設備採集到的視覺標誌的圖像來確定設備的位置和姿態；可以建立現實場景的三維模型或者點雲數據，並通過分析設備採集到的場景圖像來確定設備的位置和姿態；可以使用高精度陀螺儀等來確定設備的位置和姿態；可以在空間中佈置可以發射無線電訊號的信標，並通過分析設備接收到的無線電訊號來確定設備的位置和姿態；可以使用衛星定位訊號來確定設備的位置並使用陀螺儀等來確定設備的姿態；以及上述各種方式的結合；等等。

步驟1002：獲得為該直播人物影像設置的空間位置。

例如，可以由行政機關、銀行網點、展覽館、景區、商場、超市、機場、車站等的服務人員(在本文中可以被稱為“直播者”)來實時地提供直播人物影像，該直播人物影像用於向設備用戶提供內容講解、答覆設備用戶的諮詢、等等。通過使用直播人物影像，使得服務人員可以遠程地且實時地向用戶 講解，並能回答用戶的諮詢等，而並不需要與用戶進行近距離的面對面交流，也不需要將服務人員局限於某個固定地點。

可以例如由直播人物影像上的一個點的空間位置、多個點(例如，直播人物影像的輪廓上的多個點)的空間位置、或者整個直播人物影像區域的空間位置來表示或者定義直播人物影像的空間位置(也即，直播人物影像在空間中的呈現位置)。例如，如果直播人物影像是一個具有矩形形狀的影像，可以例如使用矩形影像的中心點在空間中的位置座標來定義矩形影像的空間位置，可以例如使用矩形影像的某個角(例如，左上角、左下角、右上角、右下角)在空間中的位置座標來定義矩形影像的空間位置，可以例如使用矩形影像的兩個對角(例如，左上角與右下角，或者左下角與右上角)在空間中的位置座標來定義矩形影像的空間位置，等等。

在獲得為直播人物影像設置的空間位置之前，可以使用各種方式確定要為設備呈現的直播人物影像。在一個實施例中，可以通過設備在空間中的位置以及可選的姿態來確定可以為設備呈現的直播人物影像。例如，設備可以掃描安裝於展覽館中的某個視覺標誌以確定設備在展覽館中的位置以及可選的姿態，通過設備在展覽館中的位置以及可選的姿態，可以進行查詢以確定當前可以為設備呈現的直播人物影像(例如，用於某個展品的介紹的直播人物影像)。

在一個實施例中，可以通過其他資訊來確定要為設備呈現的直播人物影像，例如，可以通過設備獲得的視覺標誌的標識訊號來進行查詢以確定當前可以為設備呈現的直播人物影像。

在一個實施例中，可能獲得多個可以為設備呈現的直播人物影像，並且可以由設備用戶從中選擇以確定當前要呈現的直播人物影像。例如，對於當前在行政機關中的設備用戶，可以提示用戶目前有涉及多種業務的多個直播人物影像可供呈現，用戶可以根據需要(例如，根據其想要辦理的業務)選擇其感興趣的直播人物影像。

在一個實施例中，可以基於與設備或者設備用戶相關的資訊(例如，用戶的年齡、性別、職業等資訊)篩選直播人物影像，從而可以根據設備用戶的偏好向其呈現其可能喜歡的直播人物影像。

在一個實施例中，在確定要為設備用戶呈現的直播人物影像之後或者在接收該直播人物影像之前，可以例如通過設備將相應的指示或者消息發送給用於提供該直播人物影像的直播者，以使得直播者可以開啟直播並向設備發送直播人物影像。

在一個實施例中，一個直播者可以與多個直播人物影像相關聯，例如，一個直播者可以負責與展廳中的多個展品對應的多個直播人物影像。在這種情況下，發送給直播者的指示或者消息中可以標識出相應的直播人物影像(例如，在發送給直播者的指示或者消息中包含相應直播人物影像的標識訊號)，以使得直播者知悉，例如，使得直播者知悉當前應該為哪個展品提供相應的直播人物影像。

在一個實施例中，一個直播人物影像可以與多個直播者相關聯，多個直播者中的任何一個空閒的直播者可以提供該直播人物影像。在一個實施例中，可以由設備用戶來選擇其喜歡的直播者，或者可以由最早對設備用戶的請求作出應答的直播者來提供該直播人物影像。

在一個實施例中，還可以獲得為要呈現的直播人物影像設置的在空間中的姿態，其例如可以用於定義直播人物影像在空間中的朝向等。

步驟1003：基於設備的位置和姿態以及直播人物影像的空間位置，確定直播人物影像在設備的顯示介面上的呈現位置。

在確定了設備在空間中的位置和姿態之後，實際上可以確定設備的圖像採集元件的當前視野範圍。進一步地，基於直播人物影像的空間位置可以確定該直播人物影像是否位於設備的圖像採集元件的當前視野範圍內，以及位於該視野範圍內的什麼位置，從而可以確定直播人物影像在設備的顯示介面上的呈現位置。

在一個實施例中，在直播人物影像具有空間中的姿態的情況下，可以進一步基於設備的位置和姿態以及直播人物影像的姿態來確定在設備的顯示介面上呈現的直播人物影像的姿態。

在一個實施例中，可以使得直播人物影像的某個方向始終面向觀察該直播人物影像的用戶的設備。例如，對於二維直播人物影像，可以使得直播人物影像的正面始終朝向用戶的設備，如此，即使設備用戶處於不同的位置或者改變位置，也能感覺到直播人物影像中的人物始終在面向自己進行講解。

步驟1004：在設備的顯示介面上呈現設備的圖像採集元件採集的現實場景。

設備可以通過其圖像採集元件實時地採集現實場景，並將現實場景的圖像呈現到設備的顯示介面上。

步驟1005：接收直播人物影像並在設備的顯示介面上的該呈現位置處疊加直播人物影像。

通過這種方式，實際上可以將直播人物影像疊加到通過設備觀察到的現實場景中的合適位置，從而可以向設備用戶提供與現實場景緊密結合的直播人物影像，以例如向設備用戶進行講解、答覆諮詢等。

在一個實施例中，設備接收的直播人物影像可以是背景透明的直播人物影像(例如，帶alpha透明通道的直播人物影像)或者是無背景的直播人物影像。例如，可以在採集直播人物影像之後或者在傳輸直播人物影像的過程中處理該直播人物影像以產生背景透明的直播人物影像，並將其發送給設備。在一個實施例中，設備可以接收包含不透明背景的直播人物影像並處理該直播人物影像以生成背景透明的直播人物影像或者無背景的直播人物影像。為了便於產生背景透明的直播人物影像或者無背景的直播人物影像，可以在拍攝直播人物影像時為人物佈置單色背景，例如綠布。通過這種方式，可以使得疊加於現實場景中的直播人物影像看起來只有人物，而不具備拍攝人物時的原始背景。如此，當用戶通過設備的顯示介面觀察直播人物影像時，僅會觀察到人物，而不會觀察到人物的原始背景，就好像人物真實地位於現實場景中一樣，從而可以實現更好的用戶體驗。

在一個實施例中，為了實現設備用戶與直播者之間的更好的交流，可以通過設備採集設備用戶的影像、聲音、或者文字輸入中的至少一項，並將其發送給直播者，以使得雙方可以實時交互。

圖2示出了用戶在現實場景中觀看直播人物影像的示意圖。在該現實場景中包括貨架202，用戶201持有設備203並通過設備203的顯示介面觀看佈置於或者嵌入於該現實場景中的直播人物影像，該直播人物影像在現實場景中的部署位置例如由虛線框204所示。可以由虛線框204上的一個或多個點的空 間位置來定義整個虛線框204在空間中的位置。虛線框204可以具有預設的或者默認的姿態，例如默認虛線框204與地面垂直。

圖3示出了用於提供圖2所示的現實場景中的直播人物影像的直播者302，以及用於採集直播者302的影像以生成直播人物影像的攝像設備301。

圖4示出了在用戶201的設備203的顯示介面上呈現的示意圖像，其中，通過設備203的圖像採集元件獲得了現實場景的圖像(其中包括貨架202)，並將其呈現在設備203的顯示介面上。另外，設備203還接收到由直播者302的攝像設備301提供的直播人物影像，並根據設備203的位置和姿態以及為該直播人物影像設置的空間位置，在設備203的顯示介面上的相應呈現位置處疊加背景透明的包含直播者302的直播人物影像，從而實現了直播者302與現實場景的完美融合。

圖5是用於示出本發明的實際效果的一個示例真實圖像。該真實圖像所示出的現實場景中包括貨架，當用戶使用手機觀察該現實場景時，可以在用戶手機螢幕所呈現的現實場景中疊加背景透明的包含講解員的直播人物影像。如此，用戶感覺到就好像有一個真實的講解員在貨架前給其介紹各種商品一樣。

在一個實施例中，在直播人物影像中可以包括兩個或者兩個以上的人物，並且該兩個或者兩個以上的人物可以進行語言或肢體互動，以向用戶提供更詳細的講解。

在一個實施例中，可以為現實場景佈置至少兩個直播人物影像，並且可以在設備的顯示介面上疊加至少兩個直播人物影像。至少兩個直播人物影像可以同時呈現或者依次呈現在設備的顯示介面上。

在一個實施例中，直播人物影像可以是二維人物影像。在一個實施例中，直播人物影像可以是三維人物影像。例如，在拍攝人物影像時，可以使用位於人物周圍的多個攝像設備從多個不同角度拍攝，從而提供三維人物影像。

在一個實施例中，還可以設置或者調整直播人物影像的尺寸，例如調整以使得其中的人物具有與真人類似的大小。

在一個實施例中，在設備的顯示介面上疊加直播人物影像之後，可以跟蹤設備的位置和姿態變化，並根據設備的新的位置和姿態以及直播人物影像的空間位置，實時地確定直播人物影像在設備的顯示介面上的新的呈現位置。類似地，也可以根據設備的新的位置和姿態以及為直播人物影像設置的在空間中的姿態，實時地確定直播人物影像在設備的顯示介面上的新的呈現姿態。這種方式可以實現很好的擴增實境效果，使設備用戶感覺到直播者好像真實地位於現實場景中。

在一個實施例中，在設備的顯示介面上疊加了直播人物影像之後，可以使得直播人物影像在顯示介面上具有固定的呈現位置和/或呈現姿態。

在一個實施例中，當在設備的顯示介面上疊加了直播人物影像之後，可以根據設備用戶的指示使得直播人物影像在顯示介面上具有固定的呈現位置和/或呈現姿態。如此，即使設備用戶移動(例如，離開當前位置)時，也可以通過設備的顯示介面以期望的呈現位置和/或呈現姿態觀看直播人物影像。例如，當在設備的顯示介面上疊加了直播人物影像之後，設備用戶可以改變設備在空間中的位置和/或姿態，從而使得疊加在設備顯示介面上的直播人物影像具有設備用戶期望的呈現位置和/或呈現姿態，此時，設備用戶可以發送指 示(例如通過點擊在設備顯示介面上呈現的按鈕)來使得直播人物影像的當前呈現位置和/或呈現姿態在此後保持不變，即使設備在空間中改變位置或姿態。

在一個實施例中，可以通過佈置在空間中的光通訊裝置來確定設備在空間中的位置和姿態。光通訊裝置也稱為光標籤，這兩個術語在本文中可以互換使用。光標籤能夠通過不同的發光方式來傳遞訊號，其具有識別距離遠、可見光條件要求寬鬆的優勢，並且光標籤所傳遞的訊號可以隨時間變化，從而可以提供大的訊號容量和靈活的配置能力。

光標籤中通常可以包括控制器和至少一個光源，該控制器可以通過不同的驅動模式來驅動光源，以向外傳遞不同的訊號。圖6示出了一種示例性的光標籤100，其包括三個光源(分別是第一光源101、第二光源102、第三光源103)。光標籤100還包括控制器(在圖6中未示出)，其用於根據要傳遞的訊號為每個光源選擇相應的驅動模式。例如，在不同的驅動模式下，控制器可以使用不同的驅動訊號來控制光源的發光方式，從而使得當使用具有成像功能的設備拍攝光標籤100時，其中的光源的成像可以呈現出不同的外觀(例如，不同的顏色、圖案、亮度、等等)。通過分析光標籤100中的光源的成像，可以解析出各個光源此刻的驅動模式，從而解析出光標籤100此刻傳遞的訊號。可以理解，圖6所示的光標籤僅僅用作示例，光標籤可以具有與圖6所示的示例不同的形狀，並且可以具有與圖6所示的示例不同數量和/或不同形狀的光源。

為了基於光標籤向用戶提供相應的服務，每個光標籤可以被分配一個標識訊號(ID)，該標識訊號用於由光標籤的製造者、管理者或使用者等唯一地識別或標識光標籤。通常，可由光標籤中的控制器驅動光源以向外傳遞該標識訊號，而用戶可以使用設備對光標籤進行圖像採集來獲得該光標籤傳遞 的標識訊號，從而可以基於該標識訊號來訪問相應的服務，例如，訪問與標識訊號相關聯的網頁、獲取與標識訊號相關聯的其他訊號(例如，與該標識訊號對應的光標籤的位置訊號)等等。設備可以通過圖像採集元件對光標籤進行圖像採集來獲得包含光標籤的圖像，並通過分析圖像中的光標籤(或光標籤中的各個光源)的成像以識別出光標籤傳遞的訊號。

可以將與每個光標籤相關的訊號存儲於伺服器中。在現實中，還可以將大量的光標籤構建成一個光標籤網絡。圖7示出了一種示例性的光標籤網絡，該光標籤網絡包括多個光標籤和至少一個伺服器。可以在伺服器上保存每個光標籤的標識訊號(ID)或其他資訊，例如與該光標籤相關的服務資訊、與該光標籤相關的描述資訊或屬性，如光標籤的位置資訊、型號資訊、物理尺寸資訊、物理形狀資訊、姿態或朝向資訊等。光標籤也可以具有統一的或默認的物理尺寸資訊和物理形狀資訊等。設備可以使用識別出的光標籤的標識訊號來從伺服器查詢獲得與該光標籤有關的其他資訊。光標籤的位置資訊可以是指該光標籤在物理世界中的實際位置，其可以通過地理座標訊號來指示。伺服器可以是在計算裝置上運行的軟體程序、一台計算裝置或者由多台計算裝置構成的集群。光標籤可以是離線的，也即，光標籤不需要與伺服器進行通信。當然，可以理解，能夠與伺服器進行通信的在線光標籤也是可行的。

在一個實施例中，設備可以通過採集包括光標籤的圖像並分析該圖像(例如，分析圖像中的光標籤的成像的大小、透視變形等)來確定其相對於光標籤的位置，該相對位置可以包括設備相對於光標籤的距離和方向。在一個實施例中，設備還可以通過採集包括光標籤的圖像並分析該圖像來確定其相 對於光標籤的姿態。例如，當光標籤的成像位置或成像區域位於設備成像視野的中心時，可以認為設備當前正對著光標籤。

在一些實施例中，設備可以通過掃描光標籤來識別光標籤傳遞的標識訊號，並可以通過該標識訊號來獲得(例如通過查詢)光標籤在現實場景座標系中的位置和姿態資訊。現實場景座標系例如可以是某個場所座標系(例如，針對某個房間、建築物、園區等建立的座標系)或者世界座標系中。如此，基於光標籤在現實場景座標系中的位置和姿態資訊以及設備相對於光標籤的位置或姿態訊號，可以確定設備在現實場景座標系中的位置或姿態訊號。因此，所確定的設備在空間中的位置或姿態可以是設備相對於光標籤的位置或姿態，但也可以是設備在現實場景座標系中的位置或姿態。

在一個實施例中，設備可以通過掃描光標籤來識別光標籤傳遞的標識訊號，並通過該標識訊號確定該光標籤所在現實場景的場景訊號，該場景資訊例如可以是現實場景的三維模型資訊、現實場景的點雲資訊、光標籤周圍的輔助標誌的信息以及其他信息等。之後，基於所確定的場景訊號以及設備所採集的現實場景的圖像可以通過視覺定位來確定設備在現實場景中的位置和/或姿態。

在通過掃描光標籤確定設備在空間中的位置和/或姿態之後，設備可能會發生平移和/或旋轉，在這種情況下，可以例如使用設備內置的各種傳感器(例如，加速度傳感器、磁力傳感器、方向傳感器、重力傳感器、陀螺儀、攝像頭等)通過本領域已知的方法(例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等)來測量或跟蹤其位置變化和/或姿態變化，從而確定設備的 實時位置和/或姿態。在一個實施例中，設備可以在光標籤處於其攝像頭視野中時重新掃描光標籤以校正或者重新確定其位置或姿態訊號。

在一個實施例中，設備可以獲得光標籤的標識訊號，之後，設備可以通過該標識訊號來查詢確定要呈現的直播人物影像，並獲得為該直播人物影像設置的空間位置。例如，設備可以掃描安裝於超市某個貨架的光標籤並識別該光標籤的標識訊號，通過該光標籤的標識訊號，可以查詢確定當前要為設備呈現的直播人物影像是用於介紹該貨架上的商品的直播人物影像，並可以獲得該直播人物影像的空間位置。

在本申請的一些實施例中以服務人員作為直播者進行了描述，但可以理解，本申請並不局限於此，直播者可以是希望向其他人提供直播人物影像的任何人，例如，演講者、講解者、視頻會議參與者、教師、使用各種直播APP的直播者、等等。

直播人物影像也可以是由計算機合成或者生成的影像。例如，在一個實施例中，可以預先存儲人物A的平面影像或三維模型，然後通過人物A的實時的動作特徵、語音特徵等以及該人物A的平面影像或三維模型，來合成或生成人物A的直播影像。通過這種方式，可以僅僅傳輸人物A的實時的動作特徵或語音特徵，而不需要傳輸人物A的實時視頻，從而可以降低系統對傳輸帶寬的需求，提高效率。在一個實施例中，還可以預先存儲人物A的平面影像或三維模型，然後通過人物B的實時的動作特徵、語音特徵等以及該人物A的平面影像或三維模型，來合成或生成人物A的直播影像。通過這種方式，可以使得直播人物影像中的人物(例如人物A)與實際的直播者(例如人物B)不同。 另外，通過這種方式，直播人物影像中的人物可以不是真實人物，而是一個虛擬人物，例如動畫人物。

在本發明的一個實施例中，可以以計算機程序的形式來實現本發明。計算機程序可以存儲於各種存儲介質(例如，硬碟、光碟、快閃記憶體等)中，當該計算機程序被處理器執行時，能夠用於實現本發明的方法。

在本發明的另一個實施例中，可以以電子設備的形式來實現本發明。該電子設備包括處理器和存儲器，在存儲器中存儲有計算機程序，當該計算機程序被處理器執行時，能夠用於實現本發明的方法。

本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合該實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要該組合不是不符合邏輯的或不能工作。本文中出現的類似於“根據A”、“基於A”、“通過A”或“使用A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明其含義為“僅僅根據A”。在本申請中為了清楚說明，以一定的順序描述了一些示意性的操作步驟，但本領域技術人員可以理解，這些操作步驟中的每一個並非是必不可少的，其中的一些步驟可以被省略或者被其他步驟替代。這些操作步驟也並非必須以所示的方式依次執行，相反，這些操作步驟中的一些可以根據實際需要以 不同的順序執行，或者並行執行，只要新的執行方式不是不符合邏輯的或不能工作。

由此描述了本發明的至少一個實施例的幾個方面，可以理解，對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意於在本發明的精神和範圍內。雖然本發明已經通過優選實施例進行了描述，然而本發明並非局限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。

1001~1005:步驟流程

Claims (13)

1. 一種在設備向現實場景採集的影像上疊加直播人物的影像的方法，該設備包括圖像採集元件和顯示介面，本方法包括以下步驟：該設備確定其在空間中的位置和姿態；該設備根據包括其在空間中的位置在內的資訊選定該設備要接收的直播人物的影像；該設備獲得假設該直播人物真實地出現在該設備所在的現實場景中的話為該直播人物在空間中指定的位置；該設備分析包括其在空間中的位置和姿態以及為該直播人物在空間中指定的位置在內的資訊，計算該直播人物的影像在該顯示介面上的呈現位置；該設備接收被選定的直播人物的影像；該設備在其顯示介面上呈現其圖像採集元件向該現實場景採集的影像；該設備在其顯示介面上的該呈現位置將所接收的直播人物的影像疊加在該現實場景的影像上；該設備跟蹤其在空間中的位置變化和姿態變化；該設備分析包括其在空間中的新位置和新姿態以及該為該直播人物在空間中指定的位置在內的資訊，計算該直播人物在該顯示介面上的新呈現位置；和該設備在其顯示介面上的該新呈現位置將所接收的直播人物的影像疊加在該現實場景的影像上，使被疊加在該現實場景的影像上的該直播人物的影像在該顯示介面的由該設備所計算的呈現位置上看來如同該直播人物真實地存在於在該現實場景中為該直播人物在空間中指定的位置一般。
2. 如申請專利範圍第1項所述之方法，其中該設備接收的該直播人物的影像是：背景透明的直播人物的影像；或無背景的直播人物的影像。
3. 如申請專利範圍第1項所述之方法，還包括：該設備處理其接收的該直播人物的影像，生成背景透明的直播人物的影像或者無背景的直播人物的影像，其中：該設備在其顯示介面上的該呈現位置將所生成的直播人物的影像疊加在該現實場景的影像上。
4. 如申請專利範圍第1項所述之方法，其中：該設備根據包括其在空間中的位置和姿態在內的資訊選定該設備要接收的直播人物的影像。
5. 如申請專利範圍第1項或第2項所述之方法，還包括：該設備獲得假設該直播人物真實地出現在該設備所在的現實場景中的話為該直播人物在空間中設置的姿態。
6. 如申請專利範圍第5項所述之方法，其中：該設備分析包括其在空間中的位置和姿態以及為該直播人物在空間中指定的位置和姿態在內的資訊，計算該直播人物的影像在該顯示介面上的呈現位置和呈現姿態。
7. 如申請專利範圍第1項或第2項所述之方法，還包括：該設備採集該設備的用戶的影像、聲音或文字輸入；和該設備將所採集的影像、聲音或文字輸入發送給提供該直播人物的影像的直播者。
8. 如申請專利範圍第1項或第2項所述之方法，其中該設備確定其在空間中的位置和姿態包括：通過該設備掃描部署在該現實場景中的光通訊裝置來確定該設備在空間中的初始位置和初始姿態，並持續跟蹤該設備在空間中的位置變化和姿態變化。
9. 如申請專利範圍第8項所述之方法，還包括：該設備獲得該光通訊裝置的標識訊號；該設備通過包括該標識訊號在內的資訊選定該設備要接收的直播人物的影像。
10. 如申請專利範圍第1項或第2項所述之方法，其中：該直播人物的影像包括由計算機合成或生成的直播人物的影像。
11. 如申請專利範圍第1項或第2項所述之方法，其中該直播人物的影像是二維影像或者三維影像。
12. 一種存儲介質，其中存儲有計算機程序，在該計算機程序被與該存儲介質電信連接的處理器執行時，能夠用於實現申請專利範圍第1-11項中任一項所述的方法。
13. 一種電子設備，包括處理器和與該處理器電信連接的存儲器，該存儲器中存儲有計算機程序，在該計算機程序被該處理器執行時，能夠用於實現申請專利範圍第1-11項中任一項所述的方法。

Images