TW202119362A - 一種擴增實境資料呈現方法、電子設備及儲存介質 - Google Patents
一種擴增實境資料呈現方法、電子設備及儲存介質 Download PDFInfo
- Publication number
- TW202119362A TW202119362A TW109133948A TW109133948A TW202119362A TW 202119362 A TW202119362 A TW 202119362A TW 109133948 A TW109133948 A TW 109133948A TW 109133948 A TW109133948 A TW 109133948A TW 202119362 A TW202119362 A TW 202119362A
- Authority
- TW
- Taiwan
- Prior art keywords
- real scene
- data
- virtual object
- augmented reality
- special effect
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明實施例提供了一種擴增實境資料呈現方法、電子設備及儲存介質，該方法包括：獲取現實場景資料；識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料；基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
Description
本發明關於擴增實境技術領域，具體而言，關於一種擴增實境資料呈現方法、電子設備及儲存介質。
擴增實境（Augmented Reality，AR）技術，通過將實體資訊（視覺資訊、聲音、觸覺等）通過模擬後，疊加到真實世界中，從而將真實的環境和虛擬的物體即時地在同一個畫面或空間呈現。對AR設備呈現的擴增實境場景的效果的優化以及與使用者的交互性的提升，愈發重要。
有鑑於此，本發明實施例至少提供一種擴增實境資料呈現的方案。
第一方面，本發明實施例提供了一種擴增實境資料呈現方法，包括：
獲取現實場景資料；
識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料；
基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
通過上述方法，可以基於識別出的現實場景資料中的不同的目標實體對象的屬性資訊，確定出虛擬對象的特效資料，並在AR設備中展示融入到現實場景的虛擬對象的特效資料，可以使得虛擬對象的展示與現實場景資料中目標實體資料的屬性資訊相匹配，提升了擴增實境場景的展示效果。
在一種可能的實施方式中，所述現實場景資料包括現實場景圖像；
在識別所述現實場景資料中目標實體對象的屬性資訊之前，還包括：
檢測所述AR設備在現實場景中的位姿資料；所述位姿資料包括所述AR設備在現實場景中的位置資訊和/或拍攝角度；
在所述現實場景圖像中展示的至少一個實體對象中，確定與所述位姿資料匹配的目標實體對象。
通過上述實施方式，可以基於AR設備的位姿資料，確定與該位姿資料所匹配的現實場景下的關注目標，也即目標實體對象，進而展示與該目標實體對象的屬性匹配的虛擬對象特效狀態，從而使虛擬對象的特效資料更好地融入現實場景。
在一種可能的實施方式中，上述方法還包括：
識別拍攝到的參考實體對象姿態；
獲取與所述參考實體對象姿態匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第一目標擴增實境資料，所述第一目標擴增實境資料包括與所述參考實體對象姿態匹配的虛擬對象的特效資料。
其中，所述參考實體對象姿態包括面部表情和肢體動作中至少一種。
這裡，通過獲取參考實體對象的面部表情和/或肢體動作，可以對擴增實境資料中虛擬對象的特效資料進行動態更新，進而可以使得呈現出的擴增實境場景展示出參考實體對象與虛擬對象之間的交互效果，使得呈現效果更真實。
在一種可能的實施方式中，所述識別拍攝到的參考實體對象姿態，包括：
檢測所述AR設備在現實場景中的位置資訊與所述虛擬對象在現實場景中對應的位置資訊之間的距離；
在所述距離在預設距離範圍內的情況下，識別拍攝到的參考實體對象姿態。
由於現實場景中存在一些實體對象會有一些姿態的展現，但是這些實體對象可能並不是在與虛擬對象互動，採用上述實施方式，可以減少不必要的識別處理及姿態更新處理，節省處理資源。
在一種可能的實施方式中，所述識別拍攝到的參考實體對象姿態，包括：
基於預先訓練的神經網路模型，對獲取的現實場景圖像進行姿態識別處理，得到所述現實場景圖像中展示的所述參考實體對象姿態。
在一種可能的實施方式中，所述方法還包括：
回應作用於所述AR設備的觸發操作；
獲取與所述觸發操作匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第二目標擴增實境資料，所述第二目標擴增實境資料包括與所述觸發操作匹配的虛擬對象的特效資料。
其中，所述觸發操作包括作用在所述AR設備螢幕上的操作、聲音輸入和改變所述AR設備的位姿中至少一種。
通過這種實施方式，豐富了虛擬對象的展示效果，可以為擴增實境AR設備提供更多的交互方法，提升了擴增實境場景中的交互能力。
在一種可能的實施方式中，所述方法還包括：
回應導航請求，獲取所述AR設備在現實場景的當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊；
利用所述當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊，生成導航路線；所述導航路線中的途經點包括所述虛擬對象在現實場景中的位置；
在所述AR設備中展示包括所述導航路線的指示資料的擴增實境資料。
在一種可能的實施方式中，所述確定與所述屬性資訊匹配的虛擬對象的特效資料，包括：
獲取所述AR設備在現實場景的位姿資料；
基於所述AR設備在現實場景的位姿資料和所述虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，確定與所述屬性資訊匹配的所述虛擬對象的特效資料。
上述三維場景模型可以表徵現實場景，基於三維場景模型所構建的虛擬對象的位姿資料可以較好的融入現實場景，從該虛擬對象在三維場景模型中的位姿資料中，確定出與AR設備的位姿資料相匹配的虛擬對象的特效資料，從而使得虛擬對象的特效資料的展示更加貼合現實場景。
第二方面，本發明實施例提供了一種擴增實境資料呈現裝置，包括：
獲取部分，包括獲取現實場景資料，並將所述現實場景資料傳輸至識別部分；
識別部分，被配置為識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料，並將所述虛擬對象的特效資料傳輸至展示部分；
展示部分，被配置為基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
一種可能的實施方式中，所述現實場景資料包括現實場景圖像；
所述識別部分，還被配置為：在識別所述現實場景資料中目標實體對象的屬性資訊之前，檢測所述AR設備在現實場景中的位姿資料；所述位姿資料包括所述AR設備在現實場景中的位置資訊和/或拍攝角度；在所述現實場景圖像中展示的至少一個實體對象中，確定與所述位姿資料匹配的目標實體對象。
一種可能的實施方式中，所述展示部分，還被配置為：
識別拍攝到的參考實體對象姿態；
獲取與所述參考實體對象姿態匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第一目標擴增實境資料，所述第一目標擴增實境資料包括與所述參考實體對象姿態匹配的虛擬對象的特效資料。
一種可能的實施方式中，所述參考實體對象姿態包括面部表情和肢體動作中至少一種。
一種可能的實施方式中，所述展示部分，還被配置為：
檢測所述AR設備在現實場景中的位置資訊與所述虛擬對象在所述現實場景中對應的位置資訊之間的距離；
在所述距離在預設距離範圍內的情況下，識別拍攝到的參考實體對象姿態。
一種可能的實施方式中，所述展示部分，還被配置為：
基於預先訓練的神經網路模型，對獲取的現實場景圖像進行姿態識別處理，得到所述現實場景圖像中展示的所述參考實體對象姿態。
一種可能的實施方式中，所述展示部分，還被配置為：
回應作用於所述AR設備的觸發操作；
獲取與所述觸發操作匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第二目標擴增實境資料，所述第二目標擴增實境資料包括與所述觸發操作匹配的虛擬對象的特效資料。
一種可能的實施方式中，所述觸發操作包括作用在所述AR設備螢幕上的操作、聲音輸入和改變所述AR設備的位姿中至少一種。
一種可能的實施方式中，所述裝置還包括導航部分，所述導航部分被配置為：
回應導航請求，獲取所述AR設備在現實場景的當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊；
利用所述當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊，生成導航路線；所述導航路線中的途經點包括所述虛擬對象在現實場景中的位置；
在所述AR設備中展示包括所述導航路線的指示資料的擴增實境資料。
一種可能的實施方式中，所述識別部分，還被配置為：
獲取所述AR設備在現實場景的位姿資料；
基於所述AR設備在現實場景的位姿資料、和所述虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，確定與所述屬性資訊匹配的所述虛擬對象的特效資料。
第三方面，本發明實施例提供一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如上述第一方面或任一實施方式所述的擴增實境資料呈現方法的步驟。
第四方面，本發明實施例提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如上述第一方面或任一實施方式所述的擴增實境資料呈現方法的步驟。
關於上述擴增實境資料呈現裝置、電子設備、及電腦可讀儲存介質的效果描述參見上述擴增實境資料呈現方法的說明，這裡不再贅述。
為使本發明實施例的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明實施例的詳細描述並非旨在限制要求保護的本發明實施例的範圍，而是僅僅表示本發明的選定實施例。基於本發明實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明實施例保護的範圍。
本發明實施例可適用於支援AR技術的電子設備（如手機、平板電腦、AR眼鏡等AR設備）或伺服器，或者其組合，在本發明實施例應用於伺服器的情況下，該伺服器可以與其他具有通信功能且具有攝影功能的電子設備連接，其連接方式可以是有線連接或無線連接，無線連接例如可以為藍牙連接、無線寬頻（Wireless Fidelity，WIFI）連接等。
AR設備中呈現擴增實境場景，可以理解為在AR設備中展示融入到現實場景的虛擬對象，可以是直接將虛擬對象的呈現畫面渲染出來，使之與現實場景融合，比如呈現一套虛擬的茶具，使之顯示效果是放置在現實場景中的真實桌面上，也可以是將虛擬對象的呈現特效與現實場景圖像融合後，展示融合後的顯示畫面；具體選擇何種呈現方式取決於AR設備的設備類型和採用的畫面呈現技術，比如，一般地，由於從AR眼鏡中可以直接看到現實場景（並非成像後的現實場景圖像），因此AR眼鏡可以採用直接將虛擬對象的呈現畫面渲染出來的呈現方式；對於手機、平板電腦等移動終端設備，由於在移動終端設備中展示的是對現實場景成像後的畫面，因此可以採用將現實場景圖像與虛擬對象的呈現特效進行融合處理的方式，來展示擴增實境效果。
虛擬對象在現實場景中的融入程度很大程度上影響著虛擬對象的展示效果。基於現實場景中目標實體對象的屬性不同，來展示與之匹配的虛擬對象，可以使得虛擬對象的展示更加符合現實場景的需求，融入性更好，進而提升擴增實境場景的展示效果。
下面對本發明實施例所涉及的一種擴增實境資料呈現方法進行詳細介紹。
參見圖1所示，為本發明實施例所提供的一種擴增實境資料呈現方法的流程示意圖，包括以下幾個步驟：
S101、獲取現實場景資料。
S102、識別現實場景資料中目標實體對象的屬性資訊，確定與屬性資訊匹配的虛擬對象的特效資料。
S103、基於虛擬對象的特效資料，在擴增實境AR設備中展示包括虛擬對象的特效資料的擴增實境資料。
通過上述方法，可以基於識別出的現實場景資料中的目標實體對象的相關屬性資訊，比如對象類型（比如屬於商品櫃）、對象狀態（比如商品櫃中剩餘物品的資訊）、對象名稱（比如建築物名稱）等，確定出需要展示的虛擬對象的特效資料，比如商品櫃中商品圖樣、剩餘物品的描述內容和大廈名稱等，進而在AR設備中展示包含虛擬對象的特效資料的擴增實境資料，以滿足當前現實場景需求，豐富展示效果。
以下對上述步驟分別進行說明。
在上述S101中，現實場景資料可以包括但不限於以下至少一種：現實場景圖像和現實場景聲音等。
這裡需要說明的是，在現實場景資料中包含現實場景圖像的情況下，獲取現實場景圖像，可以識別其中目標實體對象的屬性資訊，以便於確定匹配的虛擬對象的特效資料，該現實場景圖像可以用於後續擴增實境資料的生成，也可以不用於後續擴增實境資料的生成，如前面所述，可以直接將虛擬對象的呈現畫面渲染出來，使之與現實場景融合，也可以將該現實場景圖像與虛擬對象的特效資料融合後渲染出來。
上述不同類型的現實場景資料所包含的目標實體對象的類型不同，比如，在現實場景資料包括現實場景圖像的情況下，現實場景資料中的實體對象可以包括建築物、擺放的物品等；現實場景資料中的實體對象還可以包括聲音特效，氣味特效等。
在現實場景資料包括現實場景圖像的情況下，獲取現實場景圖像的方式例如為通過AR設備內置攝影頭（如前置攝影頭）獲取，或者，通過現實場景中部署的獨立於AR設備之外的攝影頭來獲取，或者，還可以通過其它設備傳輸給AR設備的使用者圖像資料的方式來獲取。本發明並不限定現實場景圖像的獲取方式。
在上述S102中，目標實體對象的屬性資訊例如可以是目標實體對象的類別、目標實體對象的尺寸、或者目標實體對象的名稱等。
在一種可能的實施方式中，識別現實場景資料中目標實體對象的屬性資訊，可以採用的方式包括：將包含目標實體對象的現實場景圖像輸入到預先訓練好的識別模型中，經過識別模型對現實場景圖像進行處理，輸出得到該目標實體對象的屬性資訊。
在另外一種可能的實施方式中，識別現實場景資料中目標實體對象的屬性資訊，還可以採用這樣的方式：在不同的實體對象上設置不同的輔助標識，例如可以在實體對象上添加不同的二維碼，可以掃描設置在目標實體對象上的二維碼，從而獲得目標實體對象的屬性資訊。
在上述S102中，現實場景圖像中可能包括一個或多個實體對象，在包括多個實體對象的情況下，可以將這多個實體對象都作為目標實體對象進行屬性資訊的識別；為了節省處理資源，減少不必要的識別處理，以及精準識別使用者觀看需求，可以先基於AR設備的位姿資料，篩選出符合匹配條件的目標實體對象，再進行屬性資訊的識別；位姿資料可以包括AR設備在現實場景中的位置資訊和/或拍攝角度。基於AR設備的位姿資料來篩選目標實體對象的過程可以分為以下幾種情況。
情況1、位姿資料包括位置資訊。
在這種情況下，可以計算現實場景圖像中展示的每一個實體對象在現實場景中的位置和AR設備在現實場景中的位置之間的距離，當計算的距離小於預設距離的情況下，確定該實體對象為目標實體對象。
示例性的，如圖2所示，圖2為一種可能的獲取現實場景圖像的示意圖，圖中A點位置為AR設備在現實場景中的位置資訊，B、C、D分別為AR設備要拍攝的現實場景圖像中的實體對象在現實場景中的位置資訊，若B與A之間的距離小於預設距離，則將A確定為目標實體對象。
在另外一種可能的實施方式中，還可以在計算現實場景圖像中展示的每一個實體對象在現實場景中的位置和AR設備在現實場景中的位置資訊之間的距離，將對應的計算出的距離最近的實體對象確定為目標實體對象。
情況2、位姿資料包括拍攝角度。
在位姿資料包括拍攝角度的情況下，可以先確定每一個實體對象對應的預設拍攝角度，針對每一個實體對象，判斷AR設備的拍攝角度與該實體對象對應的預設拍攝角度是否有重疊，若有重疊，則將該實體對象確定為目標實體對象。
示例性的，在同一面牆的不同高度位置處可以設置有不同的畫像，實體對象可以為不同高度的畫像，每一幅畫像可以有預設的拍攝角度，例如畫像A的預設拍攝角度為30°~60°，若AR設備的拍攝角度為40°，將畫像A確定為目標實體對象。
實際應用中，若有多個實體對象的預設拍攝角度與AR設備的拍攝角度有重疊，可以將這多個實體對象作為目標實體對象，也可以將對應的重疊角度最大的實體對象確定為目標實體對象。
情況3、位姿資料包括位置資訊和拍攝角度。
在位姿資料同時包括位置資訊和拍攝角度的情況下，可以先從各個實體對象中篩選出距離AR設備的位置在預設距離範圍內的待確認實體對象，然後將待確認體對象中，對應的預設拍攝角度與AR設備的拍攝角度有重疊的實體對象確定為目標實體對象。
延續上例，在同一面牆的不同高度位置處設置的不同的畫像距離AR設備的位置是相同的，待確認實體對象為牆上的畫像，則可以基於不同畫像的預設拍攝角度篩選目標實體對象。
在識別出目標實體對象的屬性資訊後，可以在虛擬對象特效資料庫中，確定與該屬性資訊匹配的虛擬對象的特效資料。示例性的，若目標實體對象的屬性資訊為飲料櫃，則虛擬對象的特效資料可以包括飲料圖像，還可以包括飲料圖像的描述資訊，例如飲料名稱等；若目標實體對象的屬性資訊為書櫃，則虛擬對象的特效資料可以為書籍圖像，還可以包括書籍圖像的描述資訊，例如書籍名稱和作者等。
本發明實施例中，識別出目標實體對象的屬性資訊後，所呈現的虛擬對象的特效資料可以由使用者自行設定。當不同使用者設置呈現不同的虛擬對象的特效資料時，在不同使用者的終端設備上檢測出目標實體對象的屬性資訊的情況下，可以在不同使用者的設備上呈現不同的目標實體對象的屬性資訊。
本發明實施例中，可以對現實場景中的實體對象有選擇性地進行虛擬對象的特效資料的配置，比如，對於有的實體對象不配置相關虛擬對象的特效資料，在這種情況下，對於有的目標實體對象，識別出該目標實體對象的屬性資訊後，其對應的虛擬對象的特效資料可以為空。
上述描述內容中，確定出的與目標實體對象的屬性資訊匹配的虛擬對象的特效資料，可以是從虛擬對象特效資料庫中儲存的該虛擬對象的特效資料中，確定出來的匹配該AR設備的位姿資料的虛擬對象特效資料。在一種可能的實施方式中，可以基於AR設備在現實場景的位姿資料和虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料（可以認為是儲存在虛擬對象特效資料庫中的），確定出虛擬對象的特效資料。
這裡，為了便於虛擬對象的特效資料的開發，可以採用三維場景模型來描述現實場景，並基於該三維場景模型來開發虛擬對象的特效資料，這樣，可以使得虛擬對象的特效資料更加融入現實場景。在這種情況下，可以基於AR設備在現實場景的位姿資料（包括位置資訊和/或拍攝角度），以及虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，確定虛擬對象的特效資料。
本發明的一些實施例中，為了方便進行虛擬對象特效資料的渲染，還原虛擬對象在三維場景模型下的展示特效，可以將包含了虛擬對象的展示特效和三維場景模型的展示畫面中的三維場景模型進行透明處理，這樣，在後續渲染階段，可以將包含了虛擬對象的展示特效和透明化處理後的三維場景模型的展示畫面渲染出來，並使得現實場景與三維場景模型對應，如此，便可以在現實世界中得到虛擬對象在三維場景模型下的展示特效。
在上述內容中，在虛擬對象為靜態的情況下，虛擬對象在三維場景模型中的位姿資料可以包括虛擬對象在三維場景模型中的位置資訊（比如地理位置座標資訊）和/或對應的姿態資訊（虛擬對象的展示姿態）；在虛擬對象為動態的情況下，虛擬對象在三維場景模型中的位姿資料可以包括多組位置資訊（比如地理位置座標資訊）和/或對應的姿態資訊（虛擬對象的展示姿態）。
具體實施中，當AR設備在現實場景的位姿資料確定後，可以在虛擬對象在三維場景模型中的位姿資料中，確定出與AR設備的位姿資料相匹配的虛擬對象的特效資料，比如在虛擬對象在構建的大廈模型場景下的特效資料中，確定出與AR設備當前所在位置和拍攝角度所匹配的虛擬對象的位置和姿態等。
在S102對現實場景圖像中各個實體對象都進行屬性資訊識別之前，或者基於AR設備的位姿資料篩選符合匹配條件的目標實體對象，並對目標實體對象進行屬性資訊識別之前，可以先確定出現實場景圖像中能夠獨立分割出來的實體對象。在一種可能的實施方式中，確定現實場景圖像中的各個實體對象，可以採用這樣的過程：將現實場景圖像進行圖像分割，然後識別進行圖像分割之後的每一部分分割圖像所對應的實體對象。圖像分割也即將圖像分成若干個特定的、具有獨特性質的區域並提出感興趣目標。
在上述S103中，在AR設備中展示包括虛擬對象的特效資料的擴增實境資料，可以根據AR設備的類型的不同，以及虛擬對象的特效資料的類型的不同，將每種特效資料分別進行展示，或者，將多種特效資料相結合展示。
（1）、在虛擬對象包括聲音的情況下，展示包括虛擬對象的特效資料的擴增實境資料，可以是在拍攝現實場景的電子設備中播放與目標實體對象的屬性資訊對應的聲音。
例如，目標實體對象的屬性資訊可以為某一尺寸的咖啡機，在從現實場景資料中檢測到該尺寸的咖啡機的情況下，可以確定與該屬性資訊匹配的虛擬對象的特效資料為某段咖啡介紹的錄音，則可以在AR設備中播放該段錄音。
（2）、在虛擬對象包括氣味的情況下，可以是識別出現實場景資料中目標實體對象的屬性資訊，確定與屬性資訊匹配的氣味的類型、以及釋放氣味的時間長度，並將確定出的氣味的類型、以及釋放氣味的時間長度發送到第三方控制氣味釋放的設備中，並指示第三方控制氣味釋放的設備以該時間長度釋放對應類型的氣味。
（3）、在虛擬對象包括虛擬物體的呈現畫面的情況下，該呈現畫面可以是靜態的，也可以是動態的，擴增實境資料可以包括擴增實境圖像。基於AR設備類型的不同，擴增實境圖像可以對應有不同的呈現方法。
一種可能的呈現方法，可以應用在AR眼鏡上，具體可以基於預先設置的虛擬物體在現實場景中的位置資訊，在AR眼鏡的鏡片中展示虛擬物體，在使用者透過展示有虛擬物體的AR眼鏡的鏡片觀看現實場景的情況下，可以在虛擬物體在現實場景中對應的位置處觀看到虛擬物體。
另外一種可能的呈現方法，可以應用在手機、平板等電子設備上，在展示包括虛擬對象的特效資料的擴增實境資料的情況下，AR設備基於現實場景生成現實場景圖像，在AR設備上展示的擴增實境資料可以是在現實場景圖像中疊加虛擬物體的圖像之後的圖像。
示例性的，採用上述呈現方式可以呈現出的擴增實境圖像可以如圖3所示，疊加的虛擬物體的圖像與現實場景中的實體對象之間會存在有遮擋關係，具體將在下面展開介紹，在此暫不展開說明。
在另外一示例中，在呈現包含有虛擬物體的擴增實境圖像的過程中，還可以展示虛擬物體的屬性資訊，這裡，虛擬物體和屬性資訊都屬於虛擬對象的特效資料。如圖4所示，目標實體對象為一個透明門的冰箱，虛擬物體為冰箱內的飲料（冰箱內有何種飲料為預先設置好的），虛擬對象的屬性資訊為飲料的生產日期、保質期、能量值和淨含量等；在目標實體對象為書櫃的情況下，虛擬物體可以為書櫃上擺放的書籍，虛擬對象的屬性資訊為書籍的作者、出版社和出版日期等。
為了擴增實境體驗，展示的AR場景中，可以增加虛擬對象與現實場景的交互效果。比如，可以響應拍攝到的參考實體對象姿態，來展示與該參考實體對象姿態匹配的虛擬對象的特效資料。
具體的，可以識別拍攝到的參考實體對象的姿態，然後獲取與參考實體對象的姿態匹配的虛擬對象的特效資料，再將AR設備中當前展示的擴增實境資料更新為第一目標擴增實境資料，其中，第一目標擴增實境資料包括與參考實體對象姿態匹配的虛擬對象的特效資料。
這裡，參考實體對象是指在現實場景中能夠給出參考的姿態的任何實體對象，比如可以是正在操作AR設備的使用者、現實場景中的人物或者動物或者機器人等等。
其中，在一種可能的情況下，參考實體對象的姿態可以包括面部表情和肢體動作中至少一種。識別參考對象的姿態，可以基於預先訓練的神經網路模型，對獲取的現實場景圖像進行姿態識別處理，得到現實場景圖像中展示的參考實體對象姿態。
在一種可能的情況下，識別拍攝到的參考實體對象姿態可以通過以下方式實現：檢測AR設備在現實場景中的位置資訊與虛擬對象在現實場景中對應的位置資訊之間的距離；在距離在預設距離範圍內的情況下，識別拍攝到的參考實體對象姿態。
具體的，可以將獲取的現實場景圖像輸入到預先訓練的神經網路模型中，神經網路模型可以輸出在獲取的現實場景圖像中識別到的姿態，並將識別到的姿態，確定為參考實體對象姿態。
訓練神經網路的訓練樣本可以是帶有姿態標籤的樣本圖像，例如姿態標籤可以是面部表情標籤（例如面部表情可以是微笑、大笑、哭或疑問等）和/或肢體動作標籤（例如肢體動作可以是拍照、握手或打招呼等），基於神經網路模型可以得到每一個樣本圖像的預測姿態，基於樣本圖像的預測姿態和姿態標籤，可以對神經網路進行訓練，具體的訓練過程將不再展開介紹。
將AR設備當前展示的擴增實境資料更新為第一目標擴增實境資料，可以是將擴增實境資料中的虛擬對象的特效資料進行更新，使得AR設備當前展示的虛擬對象呈現新的展示狀態。
示例性的，在一種場景下，參考實體對象為現實場景中與操作AR設備的使用者配合的另一使用者，通過AR設備獲取該另一使用者的手勢、表情和/或肢體等，然後控制虛擬對象呈現與該另一使用者的手勢、表情和/或肢體相對應的狀態。這裡，可識別的使用者的手勢、表情和/或肢體動作等可以是預先設置的，與每一種手勢、表情和/或肢體動作所對應的虛擬對象的狀態也可以是預先設置的。例如，在未識別到參考實體對象的姿態之前，虛擬對象的特效資料也即虛擬物體呈現的狀態可以如圖5a所示，檢測到現實場景圖像中參考實體對象的姿態，虛擬物體的呈現狀態可以如圖5b所示，在圖5b中呈現的為虛擬物體在識別到拍照姿勢之後呈現的狀態。
在另一種場景下，參考實體對象可以為操作AR設備的使用者，也即操作AR設備的使用者可以基於當前展示的AR場景，對其中的虛擬對象做出相關手勢，此時可以識別AR設備使用者的手勢，執行對應的操作。示例性的，延續圖4所示的例子，通過識別現實場景中飲料旁邊的兩個箭頭是否被點擊，從而確定是否更改當前顯示的飲料及其屬性資訊；或者通過識別在現實場景中飲料是否被點擊，來確定飲料是否被購買。當識別到飲料被點擊，可以在AR設備中呈現對應的支付介面，並在檢測到支付成功後，生成訂單資訊，將該訂單資訊發送到對應的商家伺服器，從而實現基於虛擬物體對實體物體的購買。
在又一種可能的實施方式中，還可以回應作用於AR設備的觸發操作，然後獲取與觸發操作匹配的虛擬對象的特效資料，並將AR設備中當前展示的擴增實境資料更新為第二目標擴增實境資料，第二目標擴增實境資料包括與觸發操作匹配的虛擬對象的特效資料。
其中，觸發操作可以包括在AR設備螢幕上的操作（如點擊、按兩下、長按或滑動等）、聲音輸入和改變AR設備的位姿（如改變AR設備的位置或者改變AR設備的拍攝角度等）中的至少一種。
示例性的，延續圖4所示的例子，在通過AR設備展示飲料的屬性資訊的情況下，除了可以檢測擴增實境場景中飲料旁邊的兩個虛擬按鈕是否被點擊之外，還可以確定在AR設備的螢幕上兩個虛擬按鈕對應的位置是否有觸發操作，其觸發操作對應的效果與在現實場景中檢測到的手勢操作是對應的。例如在AR設備的螢幕上飲料旁邊的箭頭的點擊操作與在現實場景中基於手勢觸發飲料旁邊的箭頭，所匹配的虛擬對象的特效資料可以相同。
具體實施中，在AR設備中展示包括虛擬對象的特效資料的擴增實境資料，且現實場景資料包括現實場景圖像，虛擬對象包括虛擬物體的情況下，還可以增加現實場景圖像中各實體對象與虛擬物體之間的遮擋關係的判斷。具體的，可以基於各實體對象的位姿資訊、虛擬物體的位姿資訊、以及AR設備的位姿資訊，確定各實體對象與虛擬對象之間的遮擋關係。
本發明實施例還可以增加導航效果的呈現。
具體地，回應導航請求，獲取AR設備在現實場景的當前位置資訊和虛擬對象在現實場景中對應的位置資訊，然後利用當前位置資訊和虛擬對象在現實場景中對應的位置資訊生成導航路線，導航路線中的途經點包括虛擬對象在現實場景中的位置，或者包括虛擬對象在現實場景中所在的位置區域，並可以基於AR設備展示包括導航路線的指示資料的擴增實境資料。
其中，AR設備可以在本地執行生成導航路線的過程，也可以將導航請求發送給伺服器，由伺服器來執行，並將導航路線發送給AR設備。
本發明實施例增加導航效果，可以在使用者有導航需求的情況下，基於導航需求，生成添加了虛擬對象位置作為途徑地的導航路線。一種可能的實施方式中，可以檢測是否接收到目的地資訊，目的地可以為現實場景中的任一地點，也可以為虛擬對象在現實場景中所在的位置區域，當檢測到的目的地資訊對應的地點處於虛擬對象在現實場景中所在的位置區域的範圍內的情況下，可以直接基於AR設備當前的位置資訊以及目的地資訊，確定到達該虛擬對象的最短的行駛路線；在目的地為現實場景中的地點的情況下，可以生成以該目的地作為導航終點，且途徑虛擬對象在現實場景中所在的位置區域的最短路線，也即引導使用者途徑部署有虛擬對象展示位置區域，提高使用者在行程中的行路體驗和行路趣味性。
除此之外，在並未接收到目的地資訊的情況下，也可以主動推送虛擬對象的相關介紹信息，當檢測到使用者點擊虛擬對象的展示觸發按鈕，可以確定到達虛擬對象所在位置的導航路線，並在AR設備上進行展示。
示例性的，在AR設備中展示包括導航路線的指示資料的擴增實境圖像，可以如圖6所示，擴增實境圖像中除了包括虛擬物體之外，還可以包括指示符號（如地上的箭頭），通過展示指示符號，可以指引使用者到達對應位置。
示例性的，當使用者到達某個目標虛擬物時，可以向使用者推送到達與該目標虛擬物關聯的其他目標虛擬物的導航路徑。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於相同的構思，本發明實施例提供了一種擴增實境資料呈現裝置，參見圖7所示，為本發明實施例所提供的一種擴增實境資料呈現裝置的架構示意圖，包括獲取部分701、識別部分702、展示部分703、以及導航部分704，具體的：
獲取部分701，包括獲取現實場景資料，並將所述現實場景資料傳輸至識別部分702；
識別部分702，被配置為識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料，並將所述虛擬對象的特效資料傳輸至展示部分703；
展示部分703，被配置為基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
一種可選的實施方式中，所述現實場景資料包括現實場景圖像；
所述識別部分702，還被配置為：在識別所述現實場景資料中目標實體對象的屬性資訊之前，檢測所述AR設備在現實場景中的位姿資料；所述位姿資料包括所述AR設備在現實場景中的位置資訊和/或拍攝角度；在所述現實場景圖像中展示的至少一個實體對象中，確定與所述位姿資料匹配的目標實體對象。
一種可選的實施方式中，所述展示部分703，還被配置為：
識別拍攝到的參考實體對象姿態；
獲取與所述參考實體對象姿態匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第一目標擴增實境資料，所述第一目標擴增實境資料包括與所述參考實體對象姿態匹配的虛擬對象的特效資料。
一種可選的實施方式中，所述參考實體對象姿態包括面部表情和肢體動作中至少一種。
一種可選的實施方式中，所述展示部分703，還被配置為：
檢測所述AR設備在現實場景中的位置資訊與所述虛擬對象在所述現實場景中對應的位置資訊之間的距離；
在所述距離在預設距離範圍內的情況下，識別拍攝到的參考實體對象姿態。
一種可選的實施方式中，所述展示部分703，還被配置為：
基於預先訓練的神經網路模型，對獲取的現實場景圖像進行姿態識別處理，得到所述現實場景圖像中展示的所述參考實體對象姿態。
一種可選的實施方式中，所述展示部分703，還被配置為：
回應作用於所述AR設備的觸發操作；
獲取與所述觸發操作匹配的虛擬對象的特效資料；
將所述AR設備中當前展示的擴增實境資料更新為第二目標擴增實境資料，所述第二目標擴增實境資料包括與所述觸發操作匹配的虛擬對象的特效資料。
一種可選的實施方式中，所述觸發操作包括作用在所述AR設備螢幕上的操作、聲音輸入和改變所述AR設備的位姿中至少一種。
一種可選的實施方式中，所述裝置還包括導航部分704，所述導航部分704被配置為：
回應導航請求，獲取所述AR設備在現實場景的當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊；
利用所述當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊，生成導航路線；所述導航路線中的途經點包括所述虛擬對象在現實場景中的位置；
在所述AR設備中展示包括所述導航路線的指示資料的擴增實境資料。
一種可選的實施方式中，所述識別部分702，還被配置為：
獲取所述AR設備在現實場景的位姿資料；
基於所述AR設備在現實場景的位姿資料、和所述虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，確定與所述屬性資訊匹配的所述虛擬對象的特效資料。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的範本可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
在本發明實施例以及其他的實施例中，“部分”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是單元，還可以是模組也可以是非模組化的。
基於同一技術構思，本發明實施例還提供了一種電子設備。參照圖8所示，為本發明實施例提供的電子設備的結構示意圖，包括處理器801、記憶體802、和匯流排803。其中，記憶體802用於儲存執行指令，包括記憶體8021和外部記憶體8022；這裡的記憶體8021也稱內記憶體，用於暫時存放處理器801中的運算資料，以及與硬碟等外部記憶體8022交換的資料，處理器801通過記憶體8021與外部記憶體8022進行資料交換，在電子設備800運行的情況下，處理器801與記憶體802之間通過匯流排803通信，使得處理器801在執行以下指令：
獲取現實場景資料；
識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料；
基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
其中，處理器801執行的具體處理過程可參照上述方法實施例或者裝置實施例中的描述，這裡不再展開說明。
此外，本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述的擴增實境資料呈現方法的步驟。
本發明實施例所提供的擴增實境資料呈現方法的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可用於執行上述方法實施例中所述的擴增實境資料呈現方法的步驟，具體可參見上述方法實施例，在此不再贅述。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
以上僅為本發明實施例的具體實施方式，但本發明實施例的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明實施例揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明實施例的保護範圍之內。因此，本發明實施例的保護範圍應以申請專利範圍的保護範圍為準。
工業實用性
本發明實施例提供了一種擴增實境資料呈現方法、電子設備及儲存介質，該方法包括：獲取現實場景資料；識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料；基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。通過上述方法，可以基於識別出的現實場景資料中的不同的目標實體對象的屬性資訊，確定出虛擬對象的特效資料，並在AR設備中展示融入到現實場景的虛擬對象的特效資料，可以使得虛擬對象的展示與現實場景資料中目標實體資料的屬性資訊相匹配，提升了擴增實境場景的展示效果。
701:獲取部分
702:識別部分
703:展示部分
704:導航部分
800:電子設備
801:處理器
802:記憶體
8021:內記憶體(記憶體)
8022:外部記憶體
803:匯流排
S101~S103:步驟
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。
圖1示出了本發明實施例所提供的一種擴增實境資料呈現方法的流程示意圖；
圖2示出了本發明實施例所提供的一種可能的獲取現實場景圖像的示意圖；
圖3示出了本發明實施例所提供的一種可能的在現實場景中疊加虛擬物體的圖像之後的圖像；
圖4示出了本發明實施例所提供的一種可能的虛擬物體的屬性資訊展示的示意圖；
圖5a示出了本發明實施例所提供的在未識別到參考實體對象的姿態之前，虛擬物體的特效資料也即虛擬物體呈現的狀態示意圖；
圖5b示出了本發明實施例所提供的在未識別到參考實體對象的姿態之後，虛擬物體的特效資料也即虛擬物體呈現的狀態示意圖；
圖6示出了本發明實施例所提供的一種在AR設備中展示包括導航路線的指示資料的擴增實境圖像的示意圖；
圖7示出了本發明實施例所提供的一種擴增實境資料呈現的架構示意圖；
圖8示出了本發明實施例所提供的一種電子設備的結構示意圖。
S101~S103:步驟
Claims (12)
- 一種擴增實境資料呈現方法，包括： 獲取現實場景資料； 識別所述現實場景資料中目標實體對象的屬性資訊，確定與所述屬性資訊匹配的虛擬對象的特效資料； 基於所述虛擬對象的特效資料，在擴增實境AR設備中展示包括所述虛擬對象的特效資料的擴增實境資料。
- 根據請求項1所述的方法，其中，所述現實場景資料包括現實場景圖像； 在識別所述現實場景資料中目標實體對象的屬性資訊之前，還包括： 檢測所述AR設備在現實場景中的位姿資料；所述位姿資料包括所述AR設備在現實場景中的位置資訊和/或拍攝角度； 在所述現實場景圖像中展示的至少一個實體對象中，確定與所述位姿資料匹配的目標實體對象。
- 根據請求項1或2所述的方法，還包括： 識別拍攝到的參考實體對象姿態； 獲取與所述參考實體對象姿態匹配的虛擬對象的特效資料； 將所述AR設備中當前展示的擴增實境資料更新為第一目標擴增實境資料，所述第一目標擴增實境資料包括與所述參考實體對象姿態匹配的虛擬對象的特效資料。
- 根據請求項3所述的方法，其中，所述參考實體對象姿態包括面部表情和肢體動作中至少一種。
- 根據請求項3所述的方法，其中，所述識別拍攝到的參考實體對象姿態，包括： 檢測所述AR設備在現實場景中的位置資訊與所述虛擬對象在所述現實場景中對應的位置資訊之間的距離； 在所述距離在預設距離範圍內的情況下，識別拍攝到的參考實體對象姿態。
- 根據請求項3所述的方法，其中，所述識別拍攝到的參考實體對象姿態，包括： 基於預先訓練的神經網路模型，對獲取的現實場景圖像進行姿態識別處理，得到所述現實場景圖像中展示的所述參考實體對象姿態。
- 根據請求項1或2所述的方法，還包括： 回應作用於所述AR設備的觸發操作； 獲取與所述觸發操作匹配的虛擬對象的特效資料； 將所述AR設備中當前展示的擴增實境資料更新為第二目標擴增實境資料，所述第二目標擴增實境資料包括與所述觸發操作匹配的虛擬對象的特效資料。
- 根據請求項7所述的方法，其中，所述觸發操作包括作用在所述AR設備螢幕上的操作、聲音輸入和改變所述AR設備的位姿中至少一種。
- 根據請求項1或2所述的方法，還包括： 回應導航請求，獲取所述AR設備在現實場景的當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊； 利用所述當前位置資訊和所述虛擬對象在所述現實場景中對應的位置資訊，生成導航路線；所述導航路線中的途經點包括所述虛擬對象在現實場景中的位置； 在所述AR設備中展示包括所述導航路線的指示資料的擴增實境資料。
- 根據請求項1或2所述的方法，其中，所述確定與所述屬性資訊匹配的虛擬對象的特效資料，包括： 獲取所述AR設備在現實場景的位姿資料； 基於所述AR設備在現實場景的位姿資料和所述虛擬對象在用於表徵現實場景的三維場景模型中的位姿資料，確定與所述屬性資訊匹配的所述虛擬對象的特效資料。
- 一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如請求項1至10任一項所述的擴增實境資料呈現方法的步驟。
- 一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如請求項1至10任一項所述的擴增實境資料呈現方法的步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910979912.0A CN110716645A (zh) | 2019-10-15 | 2019-10-15 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN201910979912.0 | 2019-10-15 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202119362A true TW202119362A (zh) | 2021-05-16 |
Family
ID=69212600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109133948A TW202119362A (zh) | 2019-10-15 | 2020-09-29 | 一種擴增實境資料呈現方法、電子設備及儲存介質 |
Country Status (5)
| Country | Link |
|---|---|
| KR (1) | KR20210046591A (zh) |
| CN (1) | CN110716645A (zh) |
| SG (1) | SG11202013122PA (zh) |
| TW (1) | TW202119362A (zh) |
| WO (1) | WO2021073268A1 (zh) |
Families Citing this family (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
| WO2021184388A1 (zh) * | 2020-03-20 | 2021-09-23 | Oppo广东移动通信有限公司 | 图像展示方法及装置、便携式电子设备 |
| CN111538920A (zh) * | 2020-03-24 | 2020-08-14 | 天津完美引力科技有限公司 | 内容的呈现方法及装置、系统、存储介质、电子装置 |
| CN111416938B (zh) * | 2020-03-27 | 2021-11-02 | 咪咕文化科技有限公司 | 一种增强现实合拍方法、设备及计算机可读存储介质 |
| CN111476911B (zh) * | 2020-04-08 | 2023-07-25 | Oppo广东移动通信有限公司 | 虚拟影像实现方法、装置、存储介质与终端设备 |
| CN111652979A (zh) * | 2020-05-06 | 2020-09-11 | 福建工程学院 | 一种实现ar的方法和系统 |
| CN111625091B (zh) * | 2020-05-14 | 2021-07-20 | 佳都科技集团股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
| KR20210148074A (ko) * | 2020-05-26 | 2021-12-07 | 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 | Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체 |
| CN111610997A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、展示系统及装置 |
| CN111610998A (zh) * | 2020-05-26 | 2020-09-01 | 北京市商汤科技开发有限公司 | Ar场景内容的生成方法、展示方法、装置及存储介质 |
| CN111627097B (zh) * | 2020-06-01 | 2023-12-01 | 上海商汤智能科技有限公司 | 一种虚拟景物的展示方法及装置 |
| CN111627117B (zh) * | 2020-06-01 | 2024-04-16 | 上海商汤智能科技有限公司 | 画像展示特效的调整方法、装置、电子设备及存储介质 |
| CN111595346B (zh) * | 2020-06-02 | 2022-04-01 | 浙江商汤科技开发有限公司 | 导航提醒方法、装置、电子设备及存储介质 |
| CN111640190A (zh) * | 2020-06-02 | 2020-09-08 | 浙江商汤科技开发有限公司 | Ar效果的呈现方法、装置、电子设备及存储介质 |
| CN111625103A (zh) * | 2020-06-03 | 2020-09-04 | 浙江商汤科技开发有限公司 | 雕塑展示方法、装置、电子设备及存储介质 |
| CN111583421A (zh) * | 2020-06-03 | 2020-08-25 | 浙江商汤科技开发有限公司 | 确定展示动画的方法、装置、电子设备及存储介质 |
| CN111625100A (zh) * | 2020-06-03 | 2020-09-04 | 浙江商汤科技开发有限公司 | 图画内容的呈现方法、装置、计算机设备及存储介质 |
| CN111638793B (zh) * | 2020-06-04 | 2023-09-01 | 浙江商汤科技开发有限公司 | 飞行器的展示方法、装置、电子设备及存储介质 |
| CN111640183A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种ar数据展示控制方法及装置 |
| CN111638792A (zh) * | 2020-06-04 | 2020-09-08 | 浙江商汤科技开发有限公司 | Ar效果的呈现方法、装置、计算机设备及存储介质 |
| CN111639613B (zh) * | 2020-06-04 | 2024-04-16 | 上海商汤智能科技有限公司 | 一种增强现实ar特效生成方法、装置及电子设备 |
| CN111639611A (zh) * | 2020-06-04 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种历史文物的展示控制方法及装置 |
| CN111640193A (zh) * | 2020-06-05 | 2020-09-08 | 浙江商汤科技开发有限公司 | 文字处理方法、装置、计算机设备及存储介质 |
| CN111640192A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 场景图像处理方法、装置、ar设备以及存储介质 |
| CN111651047B (zh) * | 2020-06-05 | 2023-09-19 | 浙江商汤科技开发有限公司 | 一种虚拟物体展示方法、装置、电子设备及存储介质 |
| CN111640184A (zh) * | 2020-06-05 | 2020-09-08 | 上海商汤智能科技有限公司 | 古建筑物重现方法、装置、电子设备及存储介质 |
| CN111638797A (zh) * | 2020-06-07 | 2020-09-08 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
| CN111643900B (zh) * | 2020-06-08 | 2023-11-28 | 浙江商汤科技开发有限公司 | 一种展示画面控制方法、装置、电子设备和存储介质 |
| CN111640165A (zh) * | 2020-06-08 | 2020-09-08 | 上海商汤智能科技有限公司 | Ar合影图像的获取方法、装置、计算机设备及存储介质 |
| CN111679741B (zh) * | 2020-06-08 | 2023-11-28 | 浙江商汤科技开发有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| CN111640166B (zh) * | 2020-06-08 | 2024-03-26 | 上海商汤智能科技有限公司 | 一种ar合影方法、装置、计算机设备及存储介质 |
| CN111651049B (zh) * | 2020-06-08 | 2024-01-09 | 浙江商汤科技开发有限公司 | 交互方法、装置、计算机设备及存储介质 |
| CN111640197A (zh) * | 2020-06-09 | 2020-09-08 | 上海商汤智能科技有限公司 | 一种增强现实ar特效控制方法、装置及设备 |
| CN111857341B (zh) * | 2020-06-10 | 2023-06-13 | 浙江商汤科技开发有限公司 | 一种展示控制方法及装置 |
| CN111640199B (zh) * | 2020-06-10 | 2024-01-09 | 浙江商汤科技开发有限公司 | 一种ar特效数据生成的方法及装置 |
| CN111640200B (zh) * | 2020-06-10 | 2024-01-09 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
| CN111640202B (zh) * | 2020-06-11 | 2024-01-09 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
| CN111652986B (zh) * | 2020-06-11 | 2024-03-05 | 浙江商汤科技开发有限公司 | 舞台效果呈现方法、装置、电子设备及存储介质 |
| CN111651057A (zh) * | 2020-06-11 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种数据展示方法、装置、电子设备及存储介质 |
| CN111667588A (zh) * | 2020-06-12 | 2020-09-15 | 上海商汤智能科技有限公司 | 人物图像处理方法、装置、ar设备以及存储介质 |
| CN111652987B (zh) * | 2020-06-12 | 2023-11-07 | 浙江商汤科技开发有限公司 | 一种ar合影图像生成的方法及装置 |
| CN111693063A (zh) * | 2020-06-12 | 2020-09-22 | 浙江商汤科技开发有限公司 | 导航互动展示方法、装置、电子设备及存储介质 |
| CN111667590B (zh) * | 2020-06-12 | 2024-03-22 | 上海商汤智能科技有限公司 | 一种互动合影方法、装置、电子设备及存储介质 |
| CN111862341A (zh) * | 2020-07-09 | 2020-10-30 | 北京市商汤科技开发有限公司 | 虚拟对象的驱动方法、装置、显示设备及计算机存储介质 |
| CN111833461B (zh) * | 2020-07-10 | 2022-07-01 | 北京字节跳动网络技术有限公司 | 一种图像特效的实现方法、装置、电子设备及存储介质 |
| CN111897431B (zh) * | 2020-07-31 | 2023-07-25 | 北京市商汤科技开发有限公司 | 展示方法及装置、显示设备、计算机可读存储介质 |
| CN111880659A (zh) * | 2020-07-31 | 2020-11-03 | 北京市商汤科技开发有限公司 | 虚拟人物控制方法及装置、设备、计算机可读存储介质 |
| CN111881861B (zh) * | 2020-07-31 | 2023-07-21 | 北京市商汤科技开发有限公司 | 一种展示方法、装置、设备及存储介质 |
| CN111899350A (zh) * | 2020-07-31 | 2020-11-06 | 北京市商汤科技开发有限公司 | 增强现实ar图像的呈现方法及装置、电子设备、存储介质 |
| CN111880664B (zh) * | 2020-08-03 | 2024-06-14 | 深圳传音控股股份有限公司 | Ar互动方法、电子设备及可读存储介质 |
| CN111882567A (zh) * | 2020-08-03 | 2020-11-03 | 深圳传音控股股份有限公司 | Ar效果的处理方法、电子设备及可读存储介质 |
| CN111982093A (zh) * | 2020-08-24 | 2020-11-24 | 深圳市慧鲤科技有限公司 | 导航方法、装置、电子设备和存储介质 |
| CN112037314A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
| CN112053370A (zh) * | 2020-09-09 | 2020-12-08 | 脸萌有限公司 | 基于增强现实的显示方法、设备及存储介质 |
| CN112068704B (zh) * | 2020-09-10 | 2023-12-08 | 上海幻维数码创意科技股份有限公司 | 一种在目标对象上显示增强现实效果的方法 |
| CN112437226B (zh) * | 2020-09-15 | 2022-09-16 | 上海传英信息技术有限公司 | 图像处理方法、设备及存储介质 |
| CN112148197A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 增强现实ar交互方法、装置、电子设备及存储介质 |
| KR20220045799A (ko) | 2020-10-06 | 2022-04-13 | 삼성전자주식회사 | 전자 장치 및 그 동작 방법 |
| CN112270765A (zh) * | 2020-10-09 | 2021-01-26 | 百度(中国)有限公司 | 信息处理方法、装置、终端、电子设备以及存储介质 |
| CN114529690B (zh) * | 2020-10-30 | 2024-02-27 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
| CN112288889A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 指示信息展示方法、装置、计算机设备及存储介质 |
| CN112348968B (zh) * | 2020-11-06 | 2023-04-25 | 北京市商汤科技开发有限公司 | 增强现实场景下的展示方法、装置、电子设备及存储介质 |
| CN114584684A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 信息展示方法、装置、电子设备及存储介质 |
| CN112927293A (zh) * | 2021-03-26 | 2021-06-08 | 深圳市慧鲤科技有限公司 | Ar场景展示方法及装置、电子设备和存储介质 |
| CN112991555B (zh) * | 2021-03-30 | 2023-04-07 | 北京市商汤科技开发有限公司 | 数据展示方法、装置、设备以及存储介质 |
| CN113190116A (zh) * | 2021-04-28 | 2021-07-30 | 北京市商汤科技开发有限公司 | 日程提醒方法、装置、电子设备及存储介质 |
| CN113411248B (zh) * | 2021-05-07 | 2024-03-05 | 上海纽盾科技股份有限公司 | 等保测评中结合ar的数据可视化处理方法及系统 |
| CN113325951B (zh) * | 2021-05-27 | 2024-03-29 | 百度在线网络技术（北京）有限公司 | 基于虚拟角色的操作控制方法、装置、设备以及存储介质 |
| CN113238657A (zh) * | 2021-06-03 | 2021-08-10 | 北京市商汤科技开发有限公司 | 一种信息的展示方法、装置、计算机设备及存储介质 |
| CN113359984A (zh) * | 2021-06-03 | 2021-09-07 | 北京市商汤科技开发有限公司 | 瓶体的特效呈现方法、装置、计算机设备及存储介质 |
| CN113359983A (zh) * | 2021-06-03 | 2021-09-07 | 北京市商汤科技开发有限公司 | 增强现实数据呈现方法、装置、电子设备及存储介质 |
| CN113426117B (zh) * | 2021-06-23 | 2024-03-01 | 网易（杭州）网络有限公司 | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 |
| CN113470186A (zh) * | 2021-06-30 | 2021-10-01 | 北京市商汤科技开发有限公司 | Ar交互方法、装置、电子设备及存储介质 |
| CN113838217B (zh) * | 2021-09-23 | 2023-09-12 | 北京百度网讯科技有限公司 | 信息展示方法、装置、电子设备及可读存储介质 |
| CN113867528A (zh) * | 2021-09-27 | 2021-12-31 | 北京市商汤科技开发有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
| CN114155605B (zh) * | 2021-12-03 | 2023-09-15 | 北京字跳网络技术有限公司 | 一种控制方法、装置以及计算机存储介质 |
| CN116212361B (zh) * | 2021-12-06 | 2024-04-16 | 广州视享科技有限公司 | 虚拟对象显示方法、装置和头戴式显示装置 |
| CN114265330B (zh) * | 2021-12-17 | 2023-05-02 | 中国人民解放军空军特色医学中心 | 一种基于模拟飞行的增强现实显示效果评估系统及方法 |
| CN114332429A (zh) * | 2021-12-31 | 2022-04-12 | 北京绵白糖智能科技有限公司 | 增强现实ar场景的展示方法及装置 |
| CN114401442B (zh) * | 2022-01-14 | 2023-10-24 | 北京字跳网络技术有限公司 | 视频直播及特效控制方法、装置、电子设备及存储介质 |
| CN114390215B (zh) * | 2022-01-20 | 2023-10-24 | 脸萌有限公司 | 一种视频生成方法、装置、设备以及存储介质 |
| CN114935994A (zh) * | 2022-05-10 | 2022-08-23 | 阿里巴巴（中国）有限公司 | 物品数据处理方法、设备及存储介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102043890A (zh) * | 2009-10-16 | 2011-05-04 | 马天龙 | 一种将实体与虚拟物品相关联的控制平台及相应控制方法 |
| JP6108926B2 (ja) * | 2013-04-15 | 2017-04-05 | オリンパス株式会社 | ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法 |
| CN103530903A (zh) * | 2013-10-28 | 2014-01-22 | 智慧城市系统服务（中国）有限公司 | 一种虚拟试衣间的实现方法及实现系统 |
| US10600111B2 (en) * | 2016-11-30 | 2020-03-24 | Bank Of America Corporation | Geolocation notifications using augmented reality user devices |
| CN107204031B (zh) * | 2017-04-27 | 2021-08-24 | 腾讯科技（深圳）有限公司 | 信息展示方法及装置 |
| EP3639261B1 (en) * | 2017-05-05 | 2023-08-30 | Unity IPR APS | Contextual applications in a mixed reality environment |
| CN108874114B (zh) * | 2017-05-08 | 2021-08-03 | 腾讯科技（深圳）有限公司 | 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质 |
| CN108932051B (zh) * | 2017-05-24 | 2022-12-16 | 腾讯科技（北京）有限公司 | 增强现实图像处理方法、装置及存储介质 |
| CN109213728A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 基于增强现实的文物展示方法及系统 |
| CN108491485A (zh) * | 2018-03-13 | 2018-09-04 | 北京小米移动软件有限公司 | 信息提示方法、装置和电子设备 |
| CN108537149B (zh) * | 2018-03-26 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108519817A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 基于增强现实的交互方法、装置、存储介质及电子设备 |
| CN108563327B (zh) * | 2018-03-26 | 2020-12-01 | Oppo广东移动通信有限公司 | 增强现实方法、装置、存储介质及电子设备 |
| CN108492363B (zh) * | 2018-03-26 | 2020-03-10 | Oppo广东移动通信有限公司 | 基于增强现实的结合方法、装置、存储介质及电子设备 |
| CN108829250A (zh) * | 2018-06-04 | 2018-11-16 | 苏州市职业大学 | 一种基于增强现实ar的对象互动展示方法 |
| CN108876484A (zh) * | 2018-08-06 | 2018-11-23 | 百度在线网络技术（北京）有限公司 | 商品推荐方法及装置 |
| CN109298780A (zh) * | 2018-08-24 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的信息处理方法、装置、ar设备及存储介质 |
| CN109345637B (zh) * | 2018-08-27 | 2021-01-26 | 创新先进技术有限公司 | 基于增强现实的互动方法及装置 |
| CN109078327A (zh) * | 2018-08-28 | 2018-12-25 | 百度在线网络技术（北京）有限公司 | 基于ar的游戏实现方法和设备 |
| CN109089097A (zh) * | 2018-08-28 | 2018-12-25 | 恒信东方文化股份有限公司 | 一种基于vr图像处理的焦点对象选取方法 |
| CN109459029B (zh) * | 2018-11-22 | 2021-06-29 | 亮风台（上海）信息科技有限公司 | 一种用于确定目标对象的导航路线信息的方法与设备 |
| CN109741462A (zh) * | 2018-12-29 | 2019-05-10 | 广州欧科信息技术股份有限公司 | 基于ar的展品导赏装置、方法及存储介质 |
| CN110286773B (zh) * | 2019-07-01 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 基于增强现实的信息提供方法、装置、设备及存储介质 |
| CN110716645A (zh) * | 2019-10-15 | 2020-01-21 | 北京市商汤科技开发有限公司 | 一种增强现实数据呈现方法、装置、电子设备及存储介质 |
-
2019
- 2019-10-15 CN CN201910979912.0A patent/CN110716645A/zh not_active Withdrawn
-
2020
- 2020-08-27 SG SG11202013122PA patent/SG11202013122PA/en unknown
- 2020-08-27 KR KR1020207037546A patent/KR20210046591A/ko not_active Application Discontinuation
- 2020-08-27 WO PCT/CN2020/111888 patent/WO2021073268A1/zh active Application Filing
- 2020-09-29 TW TW109133948A patent/TW202119362A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210046591A (ko) | 2021-04-28 |
| WO2021073268A1 (zh) | 2021-04-22 |
| SG11202013122PA (en) | 2021-05-28 |
| CN110716645A (zh) | 2020-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021073268A1 (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| KR102432283B1 (ko) | 콘텐츠를 공간 3d 환경에 매칭 | |
| US20210118235A1 (en) | Method and apparatus for presenting augmented reality data, electronic device and storage medium | |
| JP7079231B2 (ja) | 情報処理装置及び情報処理システム及び制御方法、プログラム | |
| Zhou et al. | Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR | |
| TWI534654B (zh) | 用於在一頭部安裝裝置上選擇一擴充實境物件之方法及電腦可讀媒體與用於選擇一擴充實境物件之頭部安裝裝置 | |
| US9348411B2 (en) | Object display with visual verisimilitude | |
| US10341642B2 (en) | Display device, control method, and control program for stereoscopically displaying objects | |
| JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
| KR20230096043A (ko) | 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션 | |
| JP2018508849A (ja) | 動的に適応可能な仮想リスト | |
| JP2015001875A (ja) | 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット | |
| US20170053449A1 (en) | Apparatus for providing virtual contents to augment usability of real object and method using the same | |
| WO2022252688A1 (zh) | 增强现实数据呈现方法、装置、电子设备及存储介质 | |
| TW202314535A (zh) | 資料展示方法、電腦設備及電腦可讀儲存媒體 | |
| US11640700B2 (en) | Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment | |
| WO2023093329A1 (zh) | 信息输出方法、头戴式显示设备及可读存储介质 | |
| CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
| CN115115812A (zh) | 虚拟场景的显示方法、装置及存储介质 | |
| KR20170022860A (ko) | 실제 사물의 사용성을 증강하는 가상 콘텐츠 제공 장치 및 방법 | |
| Letellier et al. | Providing adittional content to print media using augmented reality | |
| Hsieh et al. | A Virtual Interactive System for Merchandising Stores | |
| US20230334790A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
| US20230334792A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation |