TW202220438A - 擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質 - Google Patents

擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TW202220438A
TW202220438A TW110127756A TW110127756A TW202220438A TW 202220438 A TW202220438 A TW 202220438A TW 110127756 A TW110127756 A TW 110127756A TW 110127756 A TW110127756 A TW 110127756A TW 202220438 A TW202220438 A TW 202220438A
Authority
TW
Taiwan
Prior art keywords
target object
position information
image
special effect
video
Prior art date
Application number
TW110127756A
Other languages
English (en)
Inventor
劉旭
欒青
李斌
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202220438A publication Critical patent/TW202220438A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明實施例提供了一種擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質，其中，本發明實施例首先獲取擴增實境AR設備拍攝的當前場景圖像；其次，基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊；最後，基於所述展示位置資訊，控制所述AR設備播放所述特效資料；其中，所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。

Description

擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質
本發明關於擴增實境技術領域，尤其關於一種擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質。
擴增實境（Augmented Reality，AR）技術，通過將實體資訊（視覺資訊、聲音、觸覺等）通過模擬模擬後，疊加到真實世界中，從而將真實的環境和虛擬的物體即時地在同一個畫面或空間呈現。
相關技術中，定位方式是通過識別AR設備當前所處的位置，映射到三維地圖模型中的某一位置，進而展示該位置所在範圍內的預設好的虛擬特效資料。這種方式不僅需要採集大批量圖像來重構真實環境對應的三維地圖模型，而且預設好的虛擬資料展示出來的效果單一，不夠豐富和生動。
本發明實施例提供一種擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質。
本發明實施例提供了一種擴增實境場景下的展示方法，所述方法由電子設備執行，所述方法包括： 獲取擴增實境AR設備拍攝的當前場景圖像； 基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊； 基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
如此，能夠基於對目標對象的識別結果，實現虛擬影像和音頻的綜合展示，即不僅能夠展示與目標對象匹配的AR畫面、視頻、全息影像等虛擬影像，另外，無需重新構建三維地圖模型，能夠直接通過目標對象的識別結果即可觸發匹配的特效資料進行展示，並且，特效資料中的虛擬影像的展示位置與目標對象之間具有預設位置關係，使其展示效果能夠與目標對象緊密關聯，能夠更有針對性的去展示特效資料。
在本發明的一些實施例中，所述基於所述當前場景圖像對目標對象的識別結果，確定所述特效資料的展示位置資訊，包括：在所述當前場景圖像中識別到所述目標對象的情況下，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。如此，基於當前場景圖像中目標對象的識別結果，切換對應的定位方式來確定特效資料的展示位置資訊，可以有效降低由於其中一種定位方式定位失敗而中斷特效資料的展示的概率，提高了特效資料展示的穩定性。
在本發明的一些實施例中，所述基於所述當前場景圖像對目標對象的識別結果，確定所述特效資料的展示位置資訊，包括：在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。如此，基於當前場景圖像中目標對象的識別結果，切換對應的定位方式來確定特效資料的展示位置資訊，可以有效降低由於其中一種定位方式定位失敗而中斷特效資料的展示的概率，提高了特效資料展示的穩定性。
在本發明的一些實施例中，所述基於所述展示位置資訊，控制所述AR設備播放所述特效資料，包括：在確定所述目標對象的至少部分在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備播放所述特效資料中的至少部分特效資料；其中，所述至少部分特效資料為所述目標對象的至少部分對應的所述虛擬影像和音頻中的至少之一；在確定所述目標對象未在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。如此，在AR設備的圖像展示範圍內包括至少部分目標對象的情況下，展示至少部分對應的虛擬影像和音頻中的至少之一，在AR設備的圖像展示範圍內不包括目標對象時，不展示虛擬影像，只展示音頻，使得特效資料展示的效果更為合理，也使得特效資料的展示效果更為連貫。
在本發明的一些實施例中，所述虛擬影像包括全息影像；所述展示方法還包括：獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象；為所述待處理視頻中的每個圖元點設置透明通道，得到第一視頻；基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻；基於所述第二視頻生成包括所述目標關聯對象的全息影像。如此，虛擬影像還包括全息影像，展示與目標對象關聯的目標關聯對象對應的全息影像，還可以在當前場景圖像中疊加顯示全息影像，使得AR內容的展示效果更為豐富。
在本發明的一些實施例中，所述基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻，包括：將所述第一視頻中的背景圖元點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標圖元點和除所述目標圖元點以外的背景圖元點；將所述第一視頻中的第一類圖元點對應的透明通道設置為黑色，將第一視頻中的第二類圖元點對應的透明通道設置為白色，將所述第一視頻中的第三類圖元點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類圖元點包括與所述背景圖元點相鄰的目標圖元點和與所述目標圖元點相鄰的背景圖元點；所述第一類圖元點包括除所述第三類圖元點以外的所述背景圖元點，所述第二類圖元點包括除所述第三類圖元點以外的目標圖元點；基於第三視頻和第四視頻，生成所述第二視頻。如此，通過對第一視頻的不同類型圖元點進行處理，可以實現將原視頻調整為全息影像的展示效果。
在本發明的一些實施例中，所述虛擬影像包括多個虛擬對象的影像，以及多個虛擬對象之間的展示順序和交互資料中的至少之一；所述基於所述展示位置資訊，控制所述AR設備播放所述特效資料，包括：在所述展示位置資訊對應的展示位置上，基於所述多個虛擬對象之間的展示順序和交互資料中的至少之一，展示所述虛擬對象的影像。如此，按照多個虛擬對象之間的展示順序，展示包括多個虛擬對象的影像以及多個虛擬對象之間的交互資料，能夠豐富AR展示的內容，提高AR內容的展示效果。
在本發明的一些實施例中，所述基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊，包括：基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述目標對象在世界座標系下的位置資訊；基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊。如此，可以較為準確地確定出目標對象在當前場景圖像中的圖像位置資訊，基於目標對象的圖像位置資訊可以較為準確地得到特效資料的展示位置資訊，從而為特效資料的準確展示提供支援。
在本發明的一些實施例中，所述獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，包括：基於所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在所述世界座標系下的相對位置資訊，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊。如此，利用當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在世界座標系下的相對位置資訊，能夠較為準確的確定AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊，從而為特效資料的準確展示提供支援。
在本發明的一些實施例中，按照以下方式識別所述當前場景圖像中是否包含所述目標對象：對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中；基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述目標對象。如此，利用上述特徵點的提取和比對能夠較為準確的確定當前場景圖像中是否存在目標對象。
以下裝置、電子設備等的效果描述參見上述擴增實境場景下的展示方法的說明。
本發明實施例提供了一種擴增實境場景下的展示裝置，包括： 圖像獲取模組，配置為獲取擴增實境AR設備拍攝的當前場景圖像； 位置確定模組，配置為基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊； 特效播放模組，配置為基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
在本發明的一些實施例中，所述位置確定模組，配置為在所述當前場景圖像中識別到所述目標對象的情況下，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述位置確定模組，配置為在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述特效播放模組，配置為在確定所述目標對象的至少部分在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備播放所述特效資料中的至少部分特效資料；其中，所述至少部分特效資料為所述目標對象的至少部分對應的所述虛擬影像和音頻中的至少之一；在確定所述目標對象未在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。
在本發明的一些實施例中，所述虛擬影像包括全息影像；所述展示裝置還包括全息影像生成模組，配置為獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象；為所述待處理視頻中的每個圖元點設置透明通道，得到第一視頻；基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻；基於所述第二視頻生成包括所述目標關聯對象的全息影像。
在本發明的一些實施例中，所述全息影像生成模組，配置為將所述第一視頻中的背景圖元點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標圖元點和除所述目標圖元點以外的背景圖元點；將所述第一視頻中的第一類圖元點對應的透明通道設置為黑色，將所述第一視頻中的第二類圖元點對應的透明通道設置為白色，將所述第一視頻中的第三類圖元點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類圖元點包括與所述背景圖元點相鄰的目標圖元點和與所述目標圖元點相鄰的背景圖元點；所述第一類圖元點包括除所述第三類圖元點以外的背景圖元點，所述第二類圖元點包括除所述第三類圖元點以外的目標圖元點；基於第三視頻和第四視頻，生成所述第二視頻。
在本發明的一些實施例中，所述虛擬影像包括多個虛擬對象的影像，以及所述多個虛擬對象之間的展示順序和交互資料中的至少之一；所述特效播放模組，配置為在所述展示位置資訊對應的展示位置上，基於所述多個虛擬對象之間的展示順序和交互資料中的至少之一，展示所述虛擬對象的影像。
在本發明的一些實施例中，所述位置確定模組，配置為基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述目標對象在世界座標系下的位置資訊；基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述位置確定模組，配置為基於所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在所述世界座標系下的相對位置資訊，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊。
在本發明的一些實施例中，所述位置確定模組，配置為按照以下方式識別所述當前場景圖像中是否包含所述目標對象：對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中；基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述目標對象。
本發明實施例還提供一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行上述任一實施例所述的擴增實境場景下的展示方法。
本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行上述任一實施例所述的擴增實境場景下的展示方法。
本發明實施例還提供一種電腦程式，所述電腦程式包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備的處理器執行如上述任一實施例所述的擴增實境場景下的展示方法。
本發明實施例至少提供一種擴增實境場景下的展示方法、裝置、設備、介質及程式，能夠基於對目標對象的識別結果，實現虛擬影像和音頻的綜合展示，即不僅能夠展示與目標對象匹配的AR畫面、視頻、全息影像等虛擬影像，另外，無需重新構建三維地圖模型，能夠直接通過目標對象的識別結果即可觸發匹配的特效資料進行展示，並且，特效資料中的虛擬影像的展示位置與目標對象之間具有預設位置關係，使其展示效果能夠與目標對象緊密關聯，能夠更有針對性的去展示特效資料。
為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。
本文中術語“和/或”，僅僅是描述一種關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
本發明實施例中的多個或者多種可以分別指的是至少兩個或者至少兩種。
隨著AR技術的發展，逐漸將AR技術應用於多種領域中，比如可以在實體對象上疊加AR內容，通過AR內容向使用者形象生動地介紹實體對象。但是相關技術中，AR設備上展示AR內容時，需要識別AR設備當前所處的位置，之後映射到三維地圖模型中的某一位置，進而展示該位置所在範圍內的預設好的虛擬特效資料。這種方式不僅需要採集大批量圖像來重構真實環境對應的三維地圖模型，而且預設好的虛擬資料展示出來的效果單一，不夠豐富和生動。
針對相關技術中，存在的AR內容展示時需採集大批量圖像來重構真實環境對應的三維地圖模型、虛擬資料效果單一的缺陷，本發明實施例提供了一種擴增實境場景下的展示方法、裝置、設備、介質及程式，本發明實施例能夠基於對目標對象的識別結果，實現虛擬影像和音頻的綜合展示，即不僅能夠展示與目標對象匹配的AR畫面、視頻、全息影像等虛擬影像，另外，無需重新構建三維地圖模型，能夠直接通過目標對象的識別結果即可觸發匹配的特效資料進行展示，並且，特效資料中的虛擬影像的展示位置與目標對象之間具有預設位置關係，使其展示效果能夠與目標對象緊密關聯，能夠更有針對性的去展示特效資料。
通過以下實施例，對本發明實施例公開的擴增實境場景下的展示方法、裝置、設備、介質及程式進行說明。
如圖1所示，本發明實施例公開了一種擴增實境場景下的展示方法，該方法可以應用於具有計算能力的設備。其中，設備可以是伺服器，也可以是AR設備。該擴增實境場景下的展示方法可以包括如下步驟。
S110、獲取擴增實境AR設備拍攝的當前場景圖像。
示例性地，AR設備可以包括但不限於AR眼鏡、平板電腦、智慧手機、智慧穿戴式設備等具有顯示功能和資料處理能力的設備，這些AR設備中可以安裝用於展示AR場景內容的應用程式，使用者可以在該應用程式中體驗AR場景內容。
示例性地，AR設備還可以包含用於拍攝圖像的圖像採集部件，比如三原色（Red Green Blue，RGB）攝影頭，在獲取到AR設備拍攝的當前場景圖像後，可以對該當前場景圖像進行識別，識別是否包含觸發特效資料進行展示的目標對象。
S120、基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊。
示例性地，針對不同的應用場景，目標對象可以為具有特定形態的物體，比如可以為書本、字畫、建築物等實體物體，通過特效資料可以對該實體物體進行介紹，增加使用者對實體物體的瞭解。
示例性地，針對進行日曆特效資料展示的場景，目標對象可以為具有預設形態的日曆，特效資料可以為基於該日曆的內容預先設計好的虛擬展示內容，可以向使用者介紹日曆的內容，以吸引使用者查閱日曆。
拍攝的當前場景圖像中可能包括目標對象，也可能不包括目標對象，因此在執行步驟S120之前，可以對當前場景圖像進行識別，以確定當前場景圖像中是否包括目標對象。
在識別到目標對象之後，可以基於目標對象的識別字等獲取與目標對象相匹配的特效資料。這裡的特效資料可以包括虛擬影像、視頻以及音頻等。虛擬影像可以包括與目標對象匹配的視頻、全息影像、AR畫面等。
在一些實施例中，在當前場景圖像中包括目標對象的情況下，可以基於當前場景圖像，利用標識物（marker）進行定位的方式，確定與所述目標對象相匹配的特效資料的展示位置資訊。其中，利用marker進行定位可以是，利用目標對象的圖像作為marker，確定目標對象在當前場景圖像中的圖像位置資訊，之後基於圖像位置資訊確定特效資料的展示位置資訊。
在一些實施例中，在當前場景圖像中不包括目標對象的情況下，利用其他的定位方式，例如即時定位或地圖構建（Simultaneous Localization And Mapping，SLAM）定位方式，確定目標對象對應的位置資訊或相對於AR設備的相對位置資訊，之後利用確定的上述位置資訊或相對位置資訊來確定特效資料的展示位置資訊。其中，利用SLAM確定相對位置資訊的步驟見下面實施例的描述。
上述展示位置資訊可以包括特效資料在世界座標系下的座標資訊。該世界座標系為在真實空間中構建的三維座標系，是一個絕對座標系。其中，世界座標系不隨AR設備、目標對象、特效資料的位置而改變。
S130、基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
若上述當前場景圖像為識別到目標對象的首幀圖像，則基於展示位置資訊，控制特效資料從開始進行播放；若在AR設備之前拍攝的歷史場景圖像中已經識別到目標對象，則基於特效資料當前的播放進度，繼續播放特效資料。特效資料播放完之後，還可以通過點擊AR設備上的顯示的按鈕，重新播放該特效資料。
上述實施例能夠直接通過目標對象的識別結果即可觸發匹配的特效資料進行展示，無需重新構建三維地圖模型，相比基於當前AR設備的定位結果去觸發展示特效資料的方式，展示效果能夠與目標對象緊密關聯，能夠更有針對性的去展示特效資料。另外，本發明實施例無需重新構建三維地圖模型，能夠直接通過目標對象的識別結果即可觸發匹配的特效資料進行展示，並且，特效資料中的虛擬影像的展示位置與目標對象之間具有預設位置關係，使其展示效果能夠與目標對象緊密關聯，能夠更有針對性的去展示特效資料。
圖2示出可以應用本發明實施例的擴增實境場景下的展示方法的一種系統架構示意圖；如圖2所示，該系統架構中包括：當前場景圖像獲取終端201、網路202和控制終端203。為實現支撐一個示例性應用，當前場景圖像獲取終端201和控制終端203通過網路202建立通信連接，當前場景圖像獲取終端201通過網路202向控制終端203上報當前場景圖像，控制終端203響應於當前場景圖像，並基於當前場景圖像對目標對象的識別結果，確定目標對象匹配的特效資料以及特效資料的展示位置資訊，其次，基於展示位置資訊，控制AR設備播放特效資料；特效資料包括虛擬影像和音頻中的至少之一，虛擬影像的展示位置與目標對象之間具有預設位置關係。最後，控制終端203將展示位置資訊和特效資料上傳至網路202，並通過網路202發送給當前場景圖像獲取終端201。
作為示例，當前場景圖像獲取終端201可以包括圖像採集設備，控制終端203可以包括具有視覺資訊處理能力的視覺處理設備或遠端伺服器。網路202可以採用有線或無線連接方式。其中，當控制終端203為視覺處理設備時，當前場景圖像獲取終端201可以通過有線連接的方式與視覺處理設備通信連接，例如通過匯流排進行資料通信；當控制終端203為遠端伺服器時，當前場景圖像獲取終端201可以通過無線網路與遠端伺服器進行資料交互。
或者，在一些場景中，當前場景圖像獲取終端201可以是帶有視頻採集模組的視覺處理設備，可以是帶有攝影頭的主機。這時，本發明實施例的擴增實境場景下的展示方法可以由當前場景圖像獲取終端201執行，上述系統架構可以不包含網路202和控制終端203。
在一些實施例中，AR設備圖像展示範圍有限，無法展示所有位置上的特效資料，因此，在基於所述展示位置資訊，控制所述AR設備播放所述特效資料時，首先判斷特效資料是否位於所述AR設備的圖像展示範圍內。
特效資料是與目標對象相匹配的，特效資料中的虛擬影像的展示位置與目標對象之間具有預設位置關係。在一些實施例中，在目標對象為日歷時，特效資料對應的虛擬影像的展示位置可以與日曆的封面相垂直。
在一些實施例中，通過當前場景圖像可以確定目標對象是否在AR設備的圖像展示範圍內，以確定展示的特效資料，進而使得特效資料展示的效果更為合理。即可以利用以下步驟，如圖3所示，控制所述AR設備播放所述特效資料： 在確定所述目標對象的至少部分在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備播放所述特效資料中的至少部分特效資料；其中，所述至少部分特效資料為所述目標對象的至少部分對應的虛擬影像和音頻中的至少之一；在確定所述目標對象未在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。
在一些實施例中，若當前場景圖像中包括至少部分目標對象，則確定所述目標對象的至少部分在所述AR設備的圖像展示範圍內，此時目標對象的至少部分對應的的特效資料位於AR設備的圖像展示範圍內，此時在基於所述展示位置資訊，控制所述AR設備播放目標對象的至少部分對應的特效資料時，可以是控制所述AR設備播放目標對象的至少部分對應的所述虛擬影像和音頻中的至少之一。
在一些實施例中，若當前場景圖像中不包括目標對象，則確定所述目標對象不在所述AR設備的圖像展示範圍內，此時與目標對象匹配的特效資料中的虛擬影像不在AR設備的圖像展示範圍內，此時在基於所述展示位置資訊，控制所述AR設備播放所述特效資料時，可以是控制所述AR設備按照音頻的已播放進度繼續播放所述音頻。
在一些實施例中，在AR設備的圖像展示範圍內包括至少部分目標對象的情況下，展示至少部分對應的虛擬影像和音頻中的至少之一，在AR設備的圖像展示範圍內不包括目標對象時，不展示虛擬影像，只展示音頻，使得特效資料展示的效果更為合理，也使得特效資料的展示效果更為連貫。
在一些實施例中，上述確定當前場景圖像中是否包括目標對象，或者是否包括至少部分目標對象，例如可以按照如下步驟實現。
第一步，對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中。
第二步，基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述目標對象，或者是否包括部分目標對象。
在一些實施例中，若從當前場景圖像中提取的特徵點與預先儲存的特徵點全部匹配成功，則確定當前場景圖像中包括完整的目標對象；若從當前場景圖像中提取的特徵點與預先儲存的特徵點匹配成功的比例高於預設比例，則確定當前場景圖像中包括部分目標對象；若從當前場景圖像中提取的特徵點與預先儲存的特徵點匹配成功的比例低於或等於預設比例，則確定當前場景圖像中不包括目標對象。如此，利用上述特徵點的提取和比對能夠較為準確的確定當前場景圖像中是否存在目標對象。匹配過程可見下述步驟S510至S520。
在當前場景圖像中包括完整的目標對象的情況下，AR設備的圖像展示範圍內包括完整的目標對象，此時AR設備展示完整的所述虛擬影像和音頻中的至少之一；在當前場景圖像中包括部分目標對象的情況下，AR設備的圖像展示範圍內包括部分目標對象，此時AR設備展示部分虛擬影像和音頻中的至少之一；在當前場景圖像中不包括目標對象的情況下，AR設備的圖像展示範圍內不包括目標對象，此時AR設備不展示虛擬影像，只展示音頻。如此，能夠提高特效資料展示的合理性以及連貫性。
在一些實施例中，為了提高展示的AR內容的豐富性，提高AR內容展示的效果，還可以展示與目標對象匹配的全息影像，全息影像中包括與目標對象關聯的目標關聯對象。如圖4A所示，在一些實施例中可以利用如下步驟S210至S240，生成全息影像。
S210、獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象。
目標關聯對象與目標對象相關聯，例如，如圖5A所示，在目標對象為某一場所501時，目標關聯對象可以是對該場所進行介紹的導遊502。
如圖5B所示，為待處理視頻中的一張圖像，該圖像有背景，其中包括目標關聯對象，即對該場所進行介紹的導遊502。
S220、為所述待處理視頻中的每個圖元點設置透明通道，得到第一視頻。
這裡是為待處理視頻中每張圖像中的每個圖元點設置透明通道，利用透明通道可以控制對應的圖元點的透明程度，透明的圖元點不對圖像提供貢獻，即該圖元點不顯示；不透明的圖元點對圖像提供貢獻，即該圖元點顯示。
S230、基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻。
如果將某一圖元點的透明通道的值設置為0，則表示該圖元點為透明，此時該圖元點的透明通道設置為了黑色，該圖元點不對圖像提供貢獻；如果將某一圖元點的透明通道的值設置為1，則表示該圖元點為不透明，此時該圖元點的透明通道設置為了白色，該圖元點對圖像提供貢獻。利用對透明通道透明度的設置，可以從所述第一視頻中去除背景圖元點。
在一些實施例中，如圖4B所示，可以利用如下步驟S2301至S2303，去除第一視頻中的背景圖元點，得到第二視頻。
S2301、將第一視頻中的背景圖元點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標圖元點和除所述目標圖元點以外的背景圖元點。
示例性的，將背景圖元點對應的透明通道設置為1。
S2302、將所述第一視頻中的第一類圖元點對應的透明通道設置為黑色，將所述第一視頻中的第二類圖元點對應的透明通道設置為白色，將所述第一視頻中的第三類圖元點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類圖元點包括與所述背景圖元點相鄰的目標圖元點和與所述目標圖元點相鄰的背景圖元點；所述第一類圖元點包括除所述第三類圖元點以外的背景圖元點，所述第二類圖元點包括除所述第三類圖元點以外的目標圖元點。
示例性的，將第一類圖元點對應的透明通道設置為0，將第二類圖元點對應的透明通道設置為1，將第三類圖元點對應的透明通道設置為0到1之間的值，即預設灰度值。將第三類圖元點設置為預設灰度值是為了將目標關聯對象邊緣的圖元的顏色與背景的透明色相接近，能夠使得顯示的目標關聯對象邊緣顏色平滑過度。如圖5C所示為第四視頻中一張圖像。
S2303、基於第三視頻和第四視頻，生成所述第二視頻。
將第三視頻和第四視頻進行整合，即能夠得到去除背景，只保留目標關聯對象的第二視頻。如圖3A所示，導遊302的背景是透明的。
在一些實施例中，通過對第一視頻的不同類型圖元點進行處理，可以實現將原視頻調整為全息影像的展示效果。
S240、基於所述第二視頻生成包括所述目標關聯對象的全息影像。
生成的全息影像如圖5A所示。
在一些實施例中，首先，可以通過蒙版方式把與目標對象匹配的待處理視頻處理為帶透明通道的視頻素材（對應於本發明實施例中的第一視頻）；其中，蒙版即為選框的外部（選框的內部就是選區）。然後，將該視頻素材中的背景圖元點對應的透明通道設置為白色，得到第三視頻。並將該視頻素材中的背景圖元點對應的透明通道設置為黑色，將該視頻素材中的目標關聯對象的目標圖元點對應的透明通道設置為白色，將該視頻素材中的漸變部分的圖元點對應的透明通道設置為預設灰色值，得到第四視頻；其中，漸變部分的圖元點為與背景圖元點相鄰的目標圖元點和與目標圖元點相鄰的背景圖元點。最後，將第三視頻和第四視頻進行橫向整合，得到第二視頻。如此，能夠以減少視頻大小，進而提高製作視頻相關聯的全息效果和特效資料的效率。在一些實施例中，虛擬影像還包括全息影像，展示與目標對象關聯的目標關聯對象對應的全息影像，還可以在當前場景圖像中疊加顯示全息影像，使得AR內容的展示效果更為豐富。
在一些實施例中，為了提高AR內容顯示的豐富性，虛擬影像中還可以包括視頻、AR畫面、文字等，如圖6A所示，在識別到目標對象蛋糕時，顯示“生日快樂”的文字。同時如圖6B所示，在識別到目標對象日歷時，顯示與日曆對象的AR畫面，AR畫面中包括龍、松鼠等虛擬對象。
在一些實施例中，為了豐富AR展示的內容，提高AR內容的展示效果，可以在虛擬影像中設置多個虛擬對象的影像，並預先設置多個虛擬對象之間的展示順序和交互資料中的至少之一。基於所述展示位置資訊，控制所述AR設備播放所述特效資料，可以是通過以下過程來實現； 在所述展示位置資訊對應的展示位置上，基於多個虛擬對象之間的展示順序和交互資料中的至少之一，展示所述虛擬對象的影像。
如圖6C所示，虛擬影像中設置虛擬對象戰士一601和虛擬對象戰士二602的影像，在掃描到遊戲字樣時，顯示戰士一601的虛擬影像先出現在AR設備展示的畫面中，戰士二602戰鬥的虛擬影像後出現在AR設備展示的畫面中。之後，根據預設的戰士一601和戰士二602之間的交互資料，展示兩者的戰鬥狀態。
在一些實施例中，按照多個虛擬對象之間的展示順序，展示包括多個虛擬對象的影像以及多個虛擬對象之間的交互資料，能夠豐富AR展示的內容，提高AR內容的展示效果。
特效資料展示的過程中，在一些情況下，目標對象或者AR設備可能發生移動，在移動過程中，若目標對象的位置發生變化，如何能夠繼續確定特效資料的展示位置資訊，從而對特效資料進行連貫展示，以提供更加逼真的展示效果，是值得研究的問題。
在一些實施例中，特效資料可以是三維（3-Dimension，3D）模型、視頻、音頻或透明視頻等任一內容，也可以是上述多種內容任意組合。
針對上述問題，本發明實施例利用兩種定位方式確定特效資料的展示位置資訊，即可以利用以下步驟來確定特效資料的展示位置資訊： 所述當前場景圖像中識別到所述目標對象的情況下，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。
在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。
在一些實施例中，在識別到當前場景圖像中包含目標對象的情況下，可以利用第一定位方式，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。
在一些實施例中，在識別到當前場景圖像中不包含目標對象的情況下，即在所述當前場景圖像中未識別到所述目標對象的情況下，可以利用第二定位方式，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。
上述在未識別到當前場景圖像中包含目標對象的情況下，可以根據第二定位方式確定出特效資料的展示位置資訊，這樣可以基於確定的展示位置資訊控制AR設備繼續對未展示的特效資料進行展示，能夠提高特效資料在展示過程中的連貫性，使得特效資料的展示更加逼真。
在一些實施例中，基於當前場景圖像中目標對象的識別結果，切換對應的定位方式來確定特效資料的展示位置資訊，可以有效降低由於其中一種定位方式定位失敗而中斷特效資料的展示的概率，提高了特效資料展示的穩定性。
示例性地，目標對象為日曆，特效資料包括動態展示的總時長為30s的視頻，若在該視頻展示到第10s時，AR設備拍攝的當前場景圖像中識別不到目標對象，此時可以根據基於第二定位方式確定的特效資料的展示位置資訊，繼續控制AR設備按照視頻繼續從第10s處進行展示。若在繼續展示過程中，基於場景圖像確定出日曆完全離開AR設備的圖像展示範圍，比如AR設備的拍攝角度完全離開日曆，視頻自然位於圖像展示範圍之外，此時儘管視頻還在繼續展示，但是使用者無法通過AR設備觀看到特效資料對應的視頻。若在繼續展示過程中，基於場景圖像確定出日曆偏離但是未全部離開AR設備的圖像展示範圍，比如AR設備的拍攝角度還可以拍攝到日曆的部分區域，此時使用者可以通過AR設備觀看到視頻的部分視頻。
示例性地，目標對象為日曆，特效資料包括動態展示的總時長為30s的視頻，若在該視頻展示到第10s時，AR設備拍攝的當前場景圖像中識別全部目標對象，此時可以根據基於利用日曆在當前場景圖像中的圖像位置資訊確定的展示位置資訊，繼續控制AR設備按照視頻繼續從第10s處進行展示。
在一些實施例中，AR設備播放特效資料可以跟隨目標對象的移動而移動，即根據目標對象在當前場景圖像中的出現情況而變化。比如，當對目標對象的識別中斷時，對應本發明實施例中在拍攝的當前場景圖像中識別不到目標對象的情況下，比如，可以是目標對象被遮擋、移除掃描區域等情況下，可以根據基於SLAM定位方式確定的特效資料的展示位置資訊，繼續控制AR設備進行特效資料的播放。之後在拍攝的當前場景圖像中重新識別到目標對象的情況下，繼續以即時定位方式確定特效資料的展示位置資訊，並控制AR設備進行特效資料的播放。
示例性的，可以利用如下步驟識別日曆是否在當前場景圖像中： 對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中；基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述日曆包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述日曆。
若從當前場景圖像中提取的特徵點與預先儲存的日曆特徵點全部匹配成功，則確定當前場景圖像中包括完整的日曆。若從當前場景圖像中提取的特徵點與預先儲存的日曆的特徵點匹配成功的比例高於預設比例，則確定當前場景圖像中包括部分日曆。若從當前場景圖像中提取的特徵點與預先儲存的日曆的特徵點匹配成功的比例低於或等於預設比例，則確定當前場景圖像中不包括日曆。
上述利用第一定位方式，基於圖像識別技術，可以較為準確地確定出目標對象在當前場景圖像中的圖像位置資訊，因此，這裡基於目標對象的圖像位置資訊可以較為準確地得到特效資料的展示位置資訊，從而為特效資料的準確展示提供支援。
第一定位方式是基於目標對象在當前場景圖像中的圖像位置資訊，來確定的特效資料的展示位置資訊，因此在基於第一定位方式對目標對象進行定位的過程中，可以同時確定出AR設備在拍攝每張場景圖像時，與目標對象之間的相對位置資訊，並保存該相對位置資訊。這樣在當前場景圖像為未識別到目標對象的情況下，可以結合保存的AR設備與目標對象之間的相對位置資訊，以及即時定位與SLAM技術，確定出AR設備在拍攝當前場景圖像時，與目標對象之間的相對位置資訊。在一些實施例中可以基於該相對位置資訊以及特效資料與目標對象的相對位置關係，確定出特效資料的展示位置資訊，該過程將在後文進行詳細闡述。
在一些實施例中，可以按照以下方式識別當前場景圖像中是否包含目標對象，如圖7所示。
S510，對當前場景圖像進行特徵點提取，得到當前場景圖像包含的多個特徵點分別對應的特徵資訊；多個特徵點位於當前場景圖像中的目標檢測區域中。
示例性地，在對當前場景圖像進行識別過程中，可以通過圖像檢測演算法，定位出當前場景圖像中包含實體對象的目標檢測區域。然後在目標檢測區域中進行特徵點提取，比如可以提取目標檢測區域中位於實體對象輪廓上的特徵點、位於標識圖案區域的特徵點以及位於文字區域的特徵點等。示例性地，為了使得提取到的特徵點能夠完整的表示目標對象，特徵點可以基於目標對象在當前場景圖像中對應的位置區域進行均勻提取，比如目標對象為日曆的情況下，可以在日曆封面在當前場景圖像中對應的矩形區域中進行均勻提取。
示例性地，這裡提取到的特徵點包含的特徵資訊可以包含特徵點對應的紋理特徵值、RGB特徵值、灰度值等能夠表示該特徵點特徵的資訊。
S520，基於多個特徵點分別對應的特徵資訊與預先儲存的目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定當前場景圖像中是否包含目標對象。
示例性地，可以按照相同的方式預先對目標對象進行拍攝，得到並保存目標對象包含的多個特徵點分別對應的特徵資訊。
示例性地，在基於多個特徵點分別對應的特徵資訊與預先儲存的目標對象包含的多個特徵點分別對應的特徵資訊進行比對時，可以先基於當前場景圖像提取到的多個特徵點分別對應的特徵資訊確定當前場景圖像中目標檢測區域對應的第一特徵向量，以及基於目標對象包含的多個特徵點分別對應的特徵資訊確定目標對象對應的第二特徵向量。然後可以通過第一特徵向量和第二特徵向量確定目標檢測區域和目標對象之間的相似度，比如可以通過余弦公式進行確定。
示例性地，在確定第一特徵向量和第二特徵向量之間的相似度大於或等於預設相似度閾值的情況下，確定當前場景圖像中包含目標對象。反之，在確定第一特徵向量和第二特徵向量之間的相似度小於預設相似度閾值的情況下，確定當前場景圖像中不包含目標對象。
在一些實施例中，利用上述特徵點的提取和比對能夠較為準確的確定當前場景圖像中是否存在目標對象。
在一些實施例中，在識別到當前場景圖像包括目標對象的情況下，可以利用如下步驟確定特效資料的展示位置資訊。
基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述目標對象在世界座標系下的位置資訊；基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊。
在執行上述步驟之前，首先獲取目標對象在當前場景圖像中的圖像位置資訊。示例性地，可以以當前場景圖像建立圖像座標系，獲取目標對象包含的多個特徵點在圖像座標系中的圖像座標值，得到目標對象在當前場景圖像中的圖像位置資訊。
上述基於目標對象在當前場景圖像中的圖像位置資訊，確定目標對象在世界座標系下的位置資訊，可以是基於上述圖像位置資訊、圖像座標系和AR設備對應的相機座標系之間的轉換關係、以及AR設備對應的相機座標系與世界座標系之間的轉換關係，確定目標對象在世界座標系下的位置資訊。
示例性地，AR設備對應的相機座標系可以以AR設備包含的圖像採集部件的聚焦中心為原點，以光軸為Z軸建立的三維直角座標系。在AR設備拍攝到當前場景圖像後，可以基於圖像座標系和相機座標系之間的轉換關係，確定出目標對象在相機座標系下的位置資訊。
示例性地，世界座標系可以以目標對象的中心點為原點進行建立，比如上文提到的在目標對象為日曆的情況下，可以以日曆的中心為原點，以通過日曆中心的長邊為X軸、以通過日曆中心的短邊為Y軸、以通過日曆中心且垂直於日曆封面的直線為Z軸進行建立的。
其中，相機座標系和世界座標系之間的轉換為剛體轉換，即相機座標系經過旋轉、平移可以與世界座標系重合的一種轉換方式。相機座標系和世界座標系之間的轉換關係可以通過目標對象中的多個位置點在世界座標系下的位置座標，以及在相機座標系下對應的位置座標進行確定。這裡在得到目標對象在相機座標系下的位置資訊後，可以基於AR設備對應的相機座標系與世界座標系之間的轉換關係，確定出目標對象在世界座標系下的位置資訊。
上述基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊，可以是AR設備在世界座標系下的位置資訊通過AR設備拍攝的當前場景圖像來確定。比如在當前場景圖像中選定特徵點，通過確定選定的特徵點在以目標對象建立的世界座標系下的位置座標，以及選定的特徵點在AR設備對應的相機座標系下的位置座標，可以確定出AR設備在拍攝當前場景圖像時在世界座標系下的位置資訊。
考慮到特效資料的展示位置與目標對象在相同座標系下具有預設位置關係，因此這裡基於目標對象和AR設備在相同的世界座標系下的位置資訊，可以確定出特效資料的展示位置資訊。
上述在基於目標對象在世界座標系下的位置資訊和AR設備在世界座標系下的位置資訊，確定特效資料的展示位置資訊時，可以是： 基於目標對象在世界座標系下的位置資訊，確定特效資料在世界座標系下的位置資訊；基於特效資料在世界座標系下的位置資訊和AR設備在世界座標系下的位置資訊，確定特效資料的展示位置資訊。
示例性地，可以按照目標對象在世界座標系下的位置資訊，以及預先設置的特效資料的展示位置與目標對象在相同座標系下的預設位置關係，確定出特效資料在世界座標系下的展示位置資訊。
在一些實施例中，可以較為準確地確定出目標對象在當前場景圖像中的圖像位置資訊，基於目標對象的圖像位置資訊可以較為準確地得到特效資料的展示位置資訊，從而為特效資料的準確展示提供支援。
在一些實施例中，在當前場景圖像中未識別到目標對象的情況下，可以利用如下步驟確定特效資料的展示位置資訊： 基於所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在所述世界座標系下的相對位置資訊，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊；基於確定的相對位置資訊，確定特效資料的展示位置資訊。
示例性地，下面以當前場景圖像為AR設備拍攝的第三幀場景圖像為例，結合SLAM技術簡要說明如何確定AR設備在拍攝當前場景圖像時，AR設備與目標對象之間的相對位置資訊。
從AR設備拍攝第一幀包含目標對象的場景圖像開始，可以基於以目標對象的中心點為原點建立的世界座標系，以及AR設備拍攝的第一幀場景圖像中選定的特徵點分別在世界座標系和AR設備對應的相機座標系下的位置座標，確定出AR設備在拍攝第一幀場景圖像時在世界座標系下的位置資訊，同時確定的還包含目標對象在AR設備在拍攝第一幀場景圖像時在世界座標系下的位置資訊。基於AR設備在拍攝第一幀場景圖像時在世界座標系下的位置資訊，以及目標對象在AR設備在拍攝第一幀場景圖像時在世界座標系下的位置資訊，可以確定出AR設備拍攝第一幀場景圖像時與目標對象在世界座標系下的相對位置資訊。
在一些實施例中，當AR設備拍攝第二幀場景圖像時，可以在第二幀場景圖像中找到第一幀場景圖像中包含的目標特徵點，基於目標特徵點分別在AR設備拍攝這兩幀場景圖像時在相機座標系下的位置資訊，確定出AR設備在拍攝第二幀場景圖像時相對於拍攝第一幀場景圖像時的位置偏移量。然後基於該位置偏移量，以及AR設備在拍攝第一幀場景圖像時與目標對象在建立的世界座標系下的相對位置資訊，確定出AR設備在拍攝第二幀場景圖像時與目標對象在世界座標系下的相對位置資訊。
在一些實施例中，可以通過相同的方式，確定出AR設備在當前場景圖像時，相對於拍攝第二幀場景圖像時的位置偏移量，這樣可以結合AR設備拍攝當前場景圖像時相比拍攝第二幀場景圖像時的位置偏移量，以及AR設備在拍攝第二幀場景圖像時與目標對象在世界座標系下的相對位置資訊，確定出AR設備在拍攝當前場景圖像時與目標對象在世界座標系下的相對位置資訊。
利用當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在世界座標系下的相對位置資訊，能夠較為準確的確定AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊，從而為特效資料的準確展示提供支援。
在確定特效資料在世界座標系下的展示位置資訊時，還可以確定特效資料在世界座標系下的展示姿態資訊，處理邏輯基本相同。在展示特效資料的時候，可以同時結合確定的展示位置資訊和展示姿態資訊進行展示。
本發明實施例提供的擴增實境場景下的展示方法，可以基於獲取的當前場景圖像對目標對象的識別結果，實現虛擬影響和音頻的綜合展示。同時本發明實施例提供的特效資料的展示位置資訊，可以是根據對當前場景圖像中目標對象的識別結果而確定，即若根據特效資料的展示位置資訊，控制AR設備播放特效資料，即是根據當前場景圖像中目標對象的識別結果，控制AR設備播放特效資料，且特效資料的展示位置與目標對象之間具有預設位置資訊。
在一種應用場景中，當前場景圖像為製作的婚禮請帖，目標對象為新人，基於婚禮請帖中部分區域識別到新人的情況下，確定與新人匹配的特效資料，比如：展示新人相戀、相愛的點點滴滴的視頻，以及該視頻對應的展示位置資訊；基於婚禮請帖中部分區域未識別到新人的情況下，確定與新人匹配的音頻資訊，比如：新人合唱的有關婚禮的音頻，以及與該音頻對應的展示位置資訊。之後，分別基於兩個不同的展示位置資訊，控制AR設備播放該視頻或音頻等，如此，可增加婚禮請帖的可看性和觀賞性。
對應於上述擴增實境場景下的展示方法，本發明實施例還公開了一種擴增實境場景下的展示裝置，該裝置中的各個模組能夠實現上述在服務端或AR設備上執行的各個實施例的擴增實境場景下的展示方法，並且能夠取得相同的有益效果。如圖8所示，擴增實境場景下的展示裝置包括： 圖像獲取模組810，配置為獲取擴增實境AR設備拍攝的當前場景圖像。 位置確定模組820，配置為基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊。 特效播放模組830，配置為基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
在本發明的一些實施例中，所述位置確定模組820，配置為在所述當前場景圖像中識別到所述目標對象的情況下，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述位置確定模組820，配置為在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述特效播放模組830，配置為在確定所述目標對象的至少部分在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備播放所述特效資料中的至少部分特效資料；其中，所述至少部分特效資料為所述目標對象的至少部分對應的所述虛擬影像和音頻中的至少之一；在確定所述目標對象未在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。
在本發明的一些實施例中，所述虛擬影像包括全息影像；所述展示裝置還包括全息影像生成模組，配置為獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象；為所述待處理視頻中的每個圖元點設置透明通道，得到第一視頻；基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻；基於所述第二視頻生成包括所述目標關聯對象的全息影像。
在本發明的一些實施例中，所述全息影像生成模組，配置為將所述第一視頻中的背景圖元點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標圖元點和除所述目標圖元點以外的背景圖元點；將所述第一視頻中的第一類圖元點對應的透明通道設置為黑色，將所述第一視頻中的第二類圖元點對應的透明通道設置為白色，將所述第一視頻中的第三類圖元點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類圖元點包括與所述背景圖元點相鄰的目標圖元點和與所述目標圖元點相鄰的背景圖元點；所述第一類圖元點包括除所述第三類圖元點以外的背景圖元點，所述第二類圖元點包括除所述第三類圖元點以外的目標圖元點；基於第三視頻和第四視頻，生成所述第二視頻。
在本發明的一些實施例中，所述虛擬影像包括多個虛擬對象的影像，以及所述多個虛擬對象之間的展示順序和交互資料中的至少之一；所述特效播放模組830，配置為在所述展示位置資訊對應的展示位置上，基於所述多個虛擬對象之間的展示順序和交互資料中的至少之一，展示所述虛擬對象的影像。
在本發明的一些實施例中，所述位置確定模組820，配置為基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述目標對象在世界座標系下的位置資訊；基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊。
在本發明的一些實施例中，所述位置確定模組820，配置為基於所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在所述世界座標系下的相對位置資訊，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊。
在本發明的一些實施例中，所述位置確定模組820，配置為按照以下方式識別所述當前場景圖像中是否包含所述目標對象：對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中；基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述目標對象。
對應於上述擴增實境場景下的展示方法，本發明實施例還提供了一種電子設備900，如圖9所示，為本發明實施例提供的電子設備900結構示意圖，包括： 處理器91、記憶體92、和匯流排93；所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行上述任一實施例中的擴增實境場景下的展示方法。
記憶體92配置為儲存執行指令，包括內部記憶體921和外部記憶體922；內部記憶體921配置為暫時存放處理器91中的運算資料，以及與硬碟等外部記憶體922交換的資料，處理器91通過內部記憶體921與外部記憶體922進行資料交換，當電子設備900運行時，處理器91與記憶體92之間通過匯流排93通信，使得處理器91執行以下指令： 獲取擴增實境AR設備拍攝的當前場景圖像；基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊；基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述擴增實境場景下的展示方法。其中，該儲存介質可以是易失性或非易失的電腦可讀取儲存介質。
本發明實施例還提供一種電腦程式，所述電腦程式包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備的處理器執行如上述任一實施例所述擴增實境場景下的展示方法。
本發明實施例還提供另一種電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可配置為執行上述方法實施例中所述擴增實境場景下的展示方法，可參見上述方法實施例。
其中，該電腦程式產品可以通過硬體、軟體或其結合的方式實現。在一些實施例中，所述電腦程式產品可以體現為電腦儲存介質，在另一些實施例中，電腦程式產品可以體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
本發明實施例中涉及的設備可以是系統、方法和電腦程式產品中的至少之一。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、可擦除可程式設計唯讀記憶體（Electrical Programmable Read Only Memory，EPROM）或快閃記憶體、靜態隨機存取記憶體（Static Random-Access Memory，SRAM）、可擕式壓縮磁碟唯讀記憶體（Compact Disc Read-Only Memory，CD-ROM）、數位多功能盤（Digital Video Disc，DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和無線網中的至少之一下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和邊緣伺服器中的至少之一。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（Industry Standard Architecture，ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言，諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路，包括局域網（Local Area Network，LAN）或廣域網路（Wide Area Network，WAN）連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、FPGA或可程式設計邏輯陣列（Programmable Logic Arrays，PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的工作過程，可以參考前述方法實施例中的對應過程。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上所述實施例，僅為本發明的具體實施方式，用以說明本發明的技術方案，而非對其限制，本發明的保護範圍並不局限於此，儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本發明實施例技術方案的精神和範圍，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以申請專利範圍的保護範圍為準。
工業實用性 本發明實施例提供一種擴增實境場景下的展示方法、裝置、設備、介質及程式，該方法包括：獲取擴增實境AR設備拍攝的當前場景圖像；基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊；基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
201:當前場景圖像獲取終端 202:網路 203:控制終端 501:場所 502:導遊 601:虛擬對象戰士一 602:虛擬對象戰士二 810:圖像獲取模組 820:位置確定模組 830:特效播放模組 900:電子設備 91:處理器 92:記憶體 921:內部記憶體 922:外部記憶體 93:匯流排 S110~S130,S210~S240,S2301~S2303, S510~S520:步驟
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。 圖1示出了本發明實施例所提供的一種擴增實境場景下的展示方法的流程示意圖； 圖2示出可以應用本發明實施例的擴增實境場景下的展示方法的一種系統架構示意圖； 圖3示出了本發明實施例所提供的基於目標對象在AR設備的圖像展示範圍內，控制AR設備播放特效資料的流程示意圖； 圖4A示出了本發明實施例所提供的生成全息影像的流程示意圖； 圖4B示出了本發明實施例所提供的去除第一視頻中的背景圖元點，得到第二視頻的流程示意圖； 圖5A示出了本發明中展示的特效資料的示意圖之一； 圖5B示出了本發明中待處理視頻中的一張圖像； 圖5C示出了本發明中第四視頻中的一張圖像； 圖6A示出了本發明中展示的特效數據的示意圖之二； 圖6B示出了本發明中展示的特效數據的示意圖之三； 圖6C示出了本發明中展示的特效數據的示意圖之四； 圖7示出了本發明實施例所提供的識別當前場景圖像中是否包含目標對象的流程示意圖； 圖8示出了本發明實施例所提供的一種擴增實境場景下的展示裝置的結構示意圖； 圖9示出了本發明實施例所提供的一種電子設備的結構示意圖。
S110~S130:步驟

Claims (12)

  1. 一種擴增實境場景下的展示方法，所述方法由電子設備執行，所述方法包括： 獲取擴增實境AR設備拍攝的當前場景圖像； 基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊； 基於所述展示位置資訊，控制所述AR設備播放所述特效資料；所述特效資料包括虛擬影像和音頻中的至少之一，所述虛擬影像的展示位置與所述目標對象之間具有預設位置關係。
  2. 根據請求項1所述的方法，其中，所述基於所述當前場景圖像對目標對象的識別結果，確定所述特效資料的展示位置資訊，包括： 在所述當前場景圖像中識別到所述目標對象的情況下，基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊。
  3. 根據請求項1或2所述的方法，其中，所述基於所述當前場景圖像對目標對象的識別結果，確定所述目標對象匹配的特效資料以及所述特效資料的展示位置資訊，包括： 在所述當前場景圖像中未識別到所述目標對象的情況下，獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，並基於所述相對位置資訊，確定所述特效資料的展示位置資訊。
  4. 根據請求項1或2所述的方法，其中，所述基於所述展示位置資訊，控制所述AR設備播放所述特效資料，包括： 在確定所述目標對象的至少部分在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備播放所述特效資料中的至少部分特效資料；其中，所述至少部分特效資料為所述目標對象的至少部分對應的虛擬影像和音頻中的至少之一； 在確定所述目標對象未在所述AR設備的圖像展示範圍的情況下，基於所述展示位置資訊，控制所述AR設備按照所述音頻的已播放進度繼續播放所述音頻。
  5. 根據請求項1或2所述的方法，其中，所述虛擬影像包括全息影像；所述方法還包括： 獲取與所述目標對象匹配的待處理視頻，所述待處理視頻中包括與所述目標對象關聯的目標關聯對象； 為所述待處理視頻中的每個圖元點設置透明通道，得到第一視頻； 基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻； 基於所述第二視頻生成包括所述目標關聯對象的全息影像。
  6. 根據請求項5所述的方法，其中，所述基於所述透明通道，從所述第一視頻中去除背景圖元點，得到第二視頻，包括： 將所述第一視頻中的背景圖元點對應的透明通道設置為白色，得到第三視頻；所述第一視頻包括所述目標關聯對象的目標圖元點和除所述目標圖元點以外的背景圖元點； 將所述第一視頻中的第一類圖元點對應的透明通道設置為黑色，將所述第一視頻中的第二類圖元點對應的透明通道設置為白色，將所述第一視頻中的第三類圖元點對應的透明通道設置為預設灰色值，得到第四視頻；所述第三類圖元點包括與所述背景圖元點相鄰的目標圖元點和與所述目標圖元點相鄰的背景圖元點；所述第一類圖元點包括除所述第三類圖元點以外的背景圖元點，所述第二類圖元點包括除所述第三類圖元點以外的目標圖元點； 基於第三視頻和第四視頻，生成所述第二視頻。
  7. 根據請求項1或2所述的方法，其中，所述虛擬影像包括多個虛擬對象的影像，以及所述多個虛擬對象之間的展示順序和交互資料中的至少之一；所述基於所述展示位置資訊，控制所述AR設備播放所述特效資料，包括： 在所述展示位置資訊對應的展示位置上，基於所述多個虛擬對象之間的展示順序和交互資料中的至少之一，展示所述虛擬對象的影像。
  8. 根據請求項2所述的方法，其中，所述基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述特效資料的展示位置資訊，包括： 基於所述目標對象在所述當前場景圖像中的圖像位置資訊，確定所述目標對象在世界座標系下的位置資訊； 基於所述目標對象在所述世界座標系下的位置資訊和所述AR設備在所述世界座標系下的位置資訊，確定所述特效資料的展示位置資訊。
  9. 根據請求項3所述的展示方法，其中，所述獲取世界座標系下所述目標對象與所述AR設備之間的相對位置資訊，包括： 基於所述當前場景圖像、歷史場景圖像、以及所述AR設備在拍攝所述歷史場景圖像時與所述目標對象在所述世界座標系下的相對位置資訊，確定所述AR設備在拍攝當前場景圖像時，與所述目標對象之間的相對位置資訊。
  10. 根據請求項1或2所述的方法，其中，按照以下方式識別所述當前場景圖像中是否包含所述目標對象： 對所述當前場景圖像進行特徵點提取，得到所述當前場景圖像包含的多個特徵點分別對應的特徵資訊；所述多個特徵點位於所述當前場景圖像中的目標檢測區域中； 基於所述多個特徵點分別對應的特徵資訊與預先儲存的所述目標對象包含的多個特徵點分別對應的特徵資訊進行比對，確定所述當前場景圖像中是否包含所述目標對象。
  11. 一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如請求項1至10任一項所述的擴增實境場景下的展示方法。
  12. 一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如請求項1至10任一項所述的擴增實境場景下的展示方法。
TW110127756A 2020-11-06 2021-07-28 擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質 TW202220438A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011233879.6 2020-11-06
CN202011233879.6A CN112348969B (zh) 2020-11-06 2020-11-06 增强现实场景下的展示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
TW202220438A true TW202220438A (zh) 2022-05-16

Family

ID=74428557

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110127756A TW202220438A (zh) 2020-11-06 2021-07-28 擴增實境場景下的展示方法、電子設備及電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN112348969B (zh)
TW (1) TW202220438A (zh)
WO (1) WO2022095467A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI848706B (zh) 2023-04-11 2024-07-11 鴻海精密工業股份有限公司 遠端協作方法、遠端設備及儲存介質

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348969B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN112905014A (zh) * 2021-02-26 2021-06-04 北京市商汤科技开发有限公司 Ar场景下的交互方法、装置、电子设备及存储介质
CN112991553B (zh) * 2021-03-11 2022-08-26 深圳市慧鲤科技有限公司 信息展示方法及装置、电子设备和存储介质
CN112991555B (zh) * 2021-03-30 2023-04-07 北京市商汤科技开发有限公司 数据展示方法、装置、设备以及存储介质
CN113269782B (zh) 2021-04-21 2023-01-03 青岛小鸟看看科技有限公司 数据生成方法、装置及电子设备
CN113220123A (zh) * 2021-05-10 2021-08-06 深圳市慧鲤科技有限公司 一种音效控制的方法、装置、电子设备及存储介质
CN113115099B (zh) * 2021-05-14 2022-07-05 北京市商汤科技开发有限公司 一种视频录制方法、装置、电子设备以及存储介质
CN113240819A (zh) * 2021-05-24 2021-08-10 中国农业银行股份有限公司 穿戴效果的确定方法、装置和电子设备
CN113329218A (zh) * 2021-05-28 2021-08-31 青岛鳍源创新科技有限公司 水下拍摄的增强现实结合方法、装置、设备及存储介质
CN113359986B (zh) * 2021-06-03 2023-06-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113542891B (zh) * 2021-06-22 2023-04-21 海信视像科技股份有限公司 一种视频特效显示方法及设备
CN113345108B (zh) * 2021-06-25 2023-10-20 北京市商汤科技开发有限公司 增强现实数据展示方法、装置、电子设备及存储介质
CN113470186A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 Ar交互方法、装置、电子设备及存储介质
CN113542620B (zh) * 2021-07-06 2022-02-25 北京百度网讯科技有限公司 一种特效处理方法、装置及电子设备
CN113487744A (zh) * 2021-07-09 2021-10-08 浙江商汤科技开发有限公司 场景显示方法及装置、电子设备、车辆、可读存储介质
CN114153548A (zh) * 2021-12-15 2022-03-08 北京绵白糖智能科技有限公司 一种展示方法、装置、计算机设备及存储介质
CN114298897A (zh) * 2021-12-29 2022-04-08 新瑞鹏宠物医疗集团有限公司 宠物形象处理方法、装置、存储介质及电子设备
CN114299262A (zh) * 2021-12-31 2022-04-08 北京绵白糖智能科技有限公司 增强现实ar场景的展示方法及装置
CN114661398B (zh) * 2022-03-22 2024-05-17 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质
CN115242980B (zh) * 2022-07-22 2024-02-20 中国平安人寿保险股份有限公司 视频生成方法和装置、视频播放方法和装置及存储介质
CN115695685A (zh) * 2022-10-28 2023-02-03 北京字跳网络技术有限公司 特效处理方法、装置、电子设备及存储介质
CN116095293A (zh) * 2023-01-13 2023-05-09 北京达佳互联信息技术有限公司 虚拟道具的显示方法、装置、设备以及存储介质
CN116860114B (zh) * 2023-09-04 2024-04-05 腾讯科技（深圳）有限公司 基于人工智能的扩展现实交互方法及相关装置
CN118151806B (zh) * 2024-05-11 2024-07-19 广州欧科信息技术股份有限公司 基于增强现实的历史数据展示方法及相关设备
CN118331430A (zh) * 2024-06-13 2024-07-12 深圳市中新云创科技有限公司 一种基于增强现实的跑步机全景体感运动系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US20170092001A1 (en) * 2015-09-25 2017-03-30 Intel Corporation Augmented reality with off-screen motion sensing
CN110083238A (zh) * 2019-04-18 2019-08-02 深圳市博乐信息技术有限公司 基于增强现实技术的人机互动方法与系统
CN110180167B (zh) * 2019-06-13 2022-08-09 张洋 增强现实中智能玩具追踪移动终端的方法
CN110213640B (zh) * 2019-06-28 2021-05-14 香港乐蜜有限公司 虚拟物品的生成方法、装置及设备
CN111510701A (zh) * 2020-04-22 2020-08-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及计算机可读介质
CN111640169A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 历史事件呈现方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质
CN111696215A (zh) * 2020-06-12 2020-09-22 上海商汤智能科技有限公司 一种图像处理方法、装置及设备
CN112348969B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI848706B (zh) 2023-04-11 2024-07-11 鴻海精密工業股份有限公司 遠端協作方法、遠端設備及儲存介質

Also Published As

Publication number Publication date
CN112348969A (zh) 2021-02-09
WO2022095467A1 (zh) 2022-05-12
CN112348969B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
WO2022095467A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
CN110465097B (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
CN111080759B (zh) 一种分镜效果的实现方法、装置及相关产品
TW202117673A (zh) 一種ar場景圖像處理方法、電子設備及儲存介質
US10380803B1 (en) Methods and systems for virtualizing a target object within a mixed reality presentation
WO2022095468A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
CN113228625A (zh) 支持复合视频流的视频会议
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN111694430A (zh) 一种ar场景画面呈现方法、装置、电子设备和存储介质
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN112927349B (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
WO2023035897A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
WO2023045637A1 (zh) 视频数据生成方法、装置、电子设备及可读存储介质
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN114615513A (zh) 视频数据生成方法、装置、电子设备及存储介质
US10391408B2 (en) Systems and methods to facilitate user interactions with virtual objects depicted as being present in a real-world space
US11394549B1 (en) System and method for generating a pepper's ghost artifice in a virtual three-dimensional environment
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
CN114612637B (zh) 一种场景画面显示方法、装置、计算机设备及存储介质
CN114758041A (zh) 虚拟对象展示方法、装置、电子设备及存储介质
CN111625101B (zh) 一种展示控制方法及装置
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법
US11915371B2 (en) Method and apparatus of constructing chess playing model
CN111651048B (zh) 多虚拟对象排列展示方法、装置、电子设备及存储介质