TW202205059A - 虛擬對象的控制方法、電子設備及電腦可讀儲存介質 - Google Patents
虛擬對象的控制方法、電子設備及電腦可讀儲存介質 Download PDFInfo
- Publication number
- TW202205059A TW202205059A TW110119707A TW110119707A TW202205059A TW 202205059 A TW202205059 A TW 202205059A TW 110119707 A TW110119707 A TW 110119707A TW 110119707 A TW110119707 A TW 110119707A TW 202205059 A TW202205059 A TW 202205059A
- Authority
- TW
- Taiwan
- Prior art keywords
- display position
- position information
- virtual object
- hand
- coordinate system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明提供了一種虛擬對象的控制方法、電子設備及電腦可讀儲存介質，其中，該控制方法包括：獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別所述現實場景圖像中的手臂的長度資訊；基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
Description
本發明關於電腦視覺技術領域，具體而言，關於一種虛擬對象的控制方法、電子設備及電腦可讀儲存介質。
隨著人工智慧的發展，擴增實境技術（Augmented Reality，AR）技術的應用目標場景逐漸廣泛，在AR場景中，可以增加使用者與虛擬對象的交互場景，通過手部移動可以達到控制虛擬對象的移動，因此手部移動可以作為AR場景中進行人機交互的重要動作，其追蹤準確度和效率直接影響對虛擬對象的控制效果。
本發明實施例至少提供一種虛擬對象的控制方案。
第一方面，本發明實施一種虛擬對象的控制方法，包括：
獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；
識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別所述現實場景圖像中的手臂的長度資訊；
基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
本發明實施例中，可以基於手部的目標關鍵點在設備座標系下的第一顯示位置資訊、手臂的長度資訊，來確定手部的目標關鍵點在世界座標系下的第二顯示位置資訊，通過借助手臂的長度資訊，快速確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊，無需對大量手部骨骼點進行識別，從而可以提高手部的目標關鍵點的識別效率，進一步在基於手部的目標關鍵點對虛擬對象的展示位置進行控制時，可以提升控制虛擬對象過程中的處理效率，優化控制效果。
在一種可能的實施例方式中，所述基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括：
基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊；
基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
在一種可能的實施方式中，所述識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，包括：
對所述現實場景圖像進行手部檢測，確定所述現實場景圖像中包含手部的檢測區域；
獲取所述檢測區域的目標關鍵點在所述現實場景圖像中的位置座標，將獲取到的位置座標作為所述第一顯示位置資訊。
在一種可能的實施方式中，所述識別所述現實場景圖像中的手臂的長度資訊，包括：
對所述現實場景圖像進行檢測，確定所述現實場景圖像中的手臂姿態類型；
基於所述手臂姿態類型，以及預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，確定所述現實場景圖像中的手臂的長度資訊。
本發明實施例中，通過圖像檢測確定現實場景圖像中包含的手臂姿態類型，進而可以根據預先建立的映射關係快速確定出現實場景圖像中的手臂的長度資訊。
在一種可能的實施方式中，所述基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊，包括：
基於展示所述擴增實境圖像的終端設備的螢幕尺寸資訊對所述第一顯示位置資訊進行歸一化處理，得到所述手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊；
基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊。
本發明實施例中，可以針對手部的目標關鍵在不同類型的終端設備對應的設備座標系下的第一顯示位置資訊進行歸一化處理，從而使得在不同類型的終端設備中展示的擴增實境圖像，均能夠按照統一方式快速確定該擴增實境圖像的手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
在一種可能的實施方式中，所述基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊，包括：
基於所述第三顯示位置資訊、所述相機投影矩陣和所述手臂的長度資訊，確定所述手部的目標關鍵點在相機座標系下的第四顯示位置資訊；
基於所述第四顯示位置資訊和所述圖像採集單元拍攝所述現實場景圖像時使用的相機外參矩陣，確定所述第二顯示位置資訊；
其中，所述相機投影矩陣為標準化設備座標系和相機座標系的轉換矩陣，所述相機外參矩陣為世界座標系和相機座標系的轉換矩陣。
本發明實施例中，通過引入手臂的長度資訊來近似表示手部的目標關鍵點在相機座標系下的深度資訊，從而可以快速確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊，進而可以快速確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
在一種可能的實施方式中，所述基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括：
基於在不同幀現實場景圖像中的所述手部的目標關鍵點對應的第二顯示位置資訊，確定所述手部的目標關鍵點在目標場景中的位置變化資料；
基於所述位置變化資料，控制所述擴增實境圖像中所述虛擬對象的展示位置進行移動。
本發明實施例中，可以基於手部的目標關鍵點在現實場景中的位置變化資料對虛擬對象的展示位置進行調整，從而達到通過手部來控制虛擬對象的展示位置的目的。
在一種可能的實施方式中，所述基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括：
基於所述手部的目標關鍵點對應的第二顯示位置資訊，以及所述手部的目標關鍵點和所述虛擬對象之間的預設相對位置關係，確定所述虛擬對象的目標展示位置；
基於確定的所述虛擬對象的目標展示位置，控制所述擴增實境圖像中所述虛擬對象移動至所述目標展示位置。
本發明實施例中，可以基於手部的目標關鍵點在世界座標系下的第二顯示位置資訊以及預設相對位置關係，對虛擬對象的展示位置進行調整，從而達到通過手部來控制虛擬對象的展示位置的目的。
第二方面，本發明實施例提供了一種虛擬對象的控制裝置，包括：
獲取模組，配置為獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；
識別模組，配置為識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別所述現實場景圖像中的手臂的長度資訊；
控制模組，配置為基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
在一種可能的實施方式中，所述控制模組在配置為基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括：
基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊；
基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
在一種可能的實施方式中，所述識別模組在配置為識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊時，包括：
對所述現實場景圖像進行手部檢測，確定所述現實場景圖像中包含手部的檢測區域；
獲取所述檢測區域的目標位置點在所述現實場景圖像中的位置座標，並將獲取到的位置座標作為所述第一顯示位置資訊。
在一種可能的實施方式中，所述識別模組在配置為識別所述現實場景圖像中的手臂的長度資訊時，包括：
對所述現實場景圖像進行檢測，確定所述現實場景圖像中的手臂姿態類型；
基於所述手臂姿態類型，以及預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，確定所述現實場景圖像中的手臂的長度資訊。
在一種可能的實施方式中，所述控制模組在配置為基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊時，包括：
基於展示所述擴增實境圖像的終端設備的螢幕尺寸資訊對所述第一顯示位置資訊進行歸一化處理，得到所述手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊；
基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊。
在一種可能的實施方式中，所述控制模組在配置為基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊時，包括：
基於所述第三顯示位置資訊、所述相機投影矩陣和所述手臂的長度資訊，確定所述手部的目標關鍵點在相機座標系下的第四顯示位置資訊；
基於所述第四顯示位置資訊和所述圖像採集單元拍攝所述現實場景圖像時使用的相機外參矩陣，確定所述第二顯示位置資訊；
其中，所述相機投影矩陣為標準化設備座標系和相機座標系的轉換矩陣，所述相機外參矩陣為世界座標系和相機座標系的轉換矩陣。
在一種可能的實施方式中，所述控制模組在配置為基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置時，包括：
基於在不同幀現實場景圖像中的所述手部的目標關鍵點對應的第二顯示位置資訊，確定所述手部的目標關鍵點在現實場景中的位置變化資料；
基於所述位置變化資料，控制所述擴增實境圖像中所述虛擬對象的展示位置進行移動。
在一種可能的實施方式中，所述控制模組在配置為基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置時，包括：
基於所述手部的目標關鍵點對應的第二顯示位置資訊，以及所述手部的目標關鍵點和所述虛擬對象之間的預設相對位置關係，確定所述虛擬對象的目標展示位置；
基於確定的所述虛擬對象的目標展示位置，控制所述擴增實境圖像中所述虛擬對象移動至所述目標展示位置。
第三方面，本發明實施例提供了一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如第一方面所述的控制方法的步驟。
第四方面，本發明實施例提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行如第一方面所述的控制方法的步驟。
為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步定義和解釋。
本文中術語“和/或”，僅僅是描述一種關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
擴增實境（Augmented Reality，AR）技術可以應用於AR設備中，AR設備可以為任何能夠支援AR功能的電子設備，包括但不限於AR眼鏡、平板電腦、智慧手機等。當AR設備在現實場景中被操作時，通過該AR設備可以觀看到由虛擬對象和現實場景疊加的AR場景，在AR場景中，基於手部控制虛擬對象的應用非常廣泛，比如可以通過手部的移動來更改虛擬對象在AR場景的展示位置。
在對手部的位置進行識別時，可以基於檢測手部各個骨骼點的座標來求手部的質心位置，通過質心位置的移動來控制虛擬對象的展示位置，該方式需要檢測出手部各個骨骼點的座標，再依據多個座標來求質心位置，過程較為繁瑣，在基於確定的手部的質心位置對虛擬對象進行控制時，存在效率較低的問題。
基於上述研究，本發明提供了一種虛擬對象的控制方法，可以基於手部的目標關鍵點在設備座標系下的第一顯示位置資訊、手臂的長度資訊，來確定手部的目標關鍵點在世界座標系下的第二顯示位置資訊，通過借助手臂的長度資訊，快速確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊，無需對大量手部骨骼點進行識別，從而可以提高手部的目標關鍵點的識別效率，進一步在基於手部的目標關鍵點對虛擬對象的展示位置進行控制時，可以提升控制虛擬對象過程中的處理效率，優化控制結果。
為便於對本實施例進行理解，首先對本發明實施例公開的一種虛擬對象的控制方法進行詳細介紹，本發明實施例提供的虛擬對象的控制方法的執行主體一般為具有一定計算能力的電腦設備，具體可以為終端設備或伺服器或其它處理設備，示例性地，終端設備可以包括手機、平板、AR眼鏡等AR設備，在此不進行限定。AR設備可以通過應用程式連接伺服器。在一些可能的實現方式中，該虛擬對象的控制方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
參見圖1所示，為本發明實施例提供的虛擬對象的控制方法的流程圖，該控制方法包括以下S101~S103。
S101，獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像。
示例性地，現實場景圖像可以通過終端設備的圖像採集單元進行採集，圖像採集單元可以包括終端設備上設置的攝影頭，比如智慧手機、平板上的攝影頭，也可以包括外接攝影頭，比如AR眼鏡外接的攝影頭。
終端設備的圖像採集單元在採集到現實場景圖像後，可以將該現實場景圖像與預先借助電腦圖形技術和視覺化技術產生的虛擬對象進行疊加，從而獲得顯示場景圖像與虛擬對象相疊加的擴增實境圖像，擴增實境圖像可以在終端設備的螢幕上展示。示例性地，現實場景圖像為公園，虛擬對象為疊加在公園上的虛擬熊貓，或者現實場景圖像為操場跑道，虛擬對象為疊加在操場跑道上的虛擬賽車。
S102，識別現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別現實場景圖像中的手臂的長度資訊。
示例性的，可以識別圖像採集單元拍攝的現實場景圖像中手部區域的關鍵點，手部區域的關鍵點的數量為至少一個，可以從至少一個關鍵點中選擇目標關鍵點。示例性地，為了便於識別，可以選擇手部的中心點作為目標關鍵點，也可以選擇手部中指上的關鍵點作為目標關鍵點等。
在得到包含手部的現實場景圖像後，可以基於預先訓練的用於目標檢測的神經網路對該現實場景圖像中包含的手部進行檢測，確定現實場景圖像中包含手部的檢測區域，比如包含手部的檢測框，可以基於該檢測框的位置確定手部的目標關鍵點在設備座標系下的第一顯示位置資訊。
示例性地，設備座標系可以為終端設備中用於顯示擴增實境圖像的顯示幕幕對應的座標系，具體可以以顯示幕幕的一角點作為設備座標系的原點，以顯示幕幕兩條垂直且相交的邊作為設備座標系的座標軸，比如，以手機為例，可以將手機螢幕一角點作為設備座標系的原點，將通過該角點的長邊作為設備座標系的橫軸（x軸），將通過該角點的短邊作為設備座標系的縱軸（y軸）。
若終端設備為AR眼鏡，現實場景圖像顯示在AR眼鏡的鏡片上時，這裡的設備座標系可以以投影在的鏡片螢幕的一角點為原點，以鏡片螢幕中通過原點的兩條相互垂直且相交的線為座標軸建立的座標系。
此外，在使用者手持終端設備時，圖像採集單元拍攝到的現實場景圖像中還包含手臂，現實場景圖像中手臂的長度資訊與該手臂的姿態相關，比如處於伸張狀態的手臂長度要長於處於收起狀態的手臂長度，因此可以通過對現實場景圖像中的手臂的姿態進行識別，確定現實場景圖像中包含的手臂的長度資訊。
S103，基於第一顯示位置資訊以及手臂的長度資訊，控制擴增實境圖像中虛擬對象的展示位置。
具體的，在本發明實施例中，基於第一顯示位置資訊以及所述手臂的長度資訊，控制擴增實境圖像中所述虛擬對象的展示位置，包括：基於第一顯示位置資訊以及手臂的長度資訊，將第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊；基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置。
手部的目標關鍵點對應的第一顯示位置資訊包括手部的目標關鍵點在設備座標系下分別沿x軸和y軸的座標值，因為現實場景圖像是通過圖像採集單元拍攝得到的，因此可以根據圖像採集單元的相機投影矩陣來確定手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
示例性地，可以針對現實場景預先構建世界座標系，比如現實場景為展覽館的一展覽廳，可以以該展覽廳的設定位置點為世界座標系的原點，以相互垂直的三條直線作為世界座標系的三個座標軸，在確定出每個座標軸的正方向後得到該展覽廳對應的世界座標系。
示例性地，在確定手部的目標關鍵點在世界座標系下的世界位置座標時，考慮到用戶的手臂與手部在一條直線上，且手臂近似平行於終端設備的圖像採集單元的光軸，因此可以用手臂的長度資訊來表示手部的目標關鍵點在相機座標系下的深度資訊，然後結合手部的目標關鍵點對應的第一顯示位置資訊，確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
示例性地，虛擬對象在擴增實境場景中的初始展示位置可以通過在預先構建的表示現實場景的三維場景模型中確定，三維場景模型和現實場景處於同一座標系中時是按照1:1比例呈現的，可以重合，比如將三維場景模型放置在世界座標系下時，可以得到虛擬對象在世界座標系下的初始展示位置，在確定出手部的目標關鍵點的第二顯示位置資訊後，可以基於確定的第二顯示位置資訊，來調整虛擬對象在擴增實境圖像中的展示位置。
示例性地，可以通過手部的目標關鍵點的移動，來控制虛擬對象在擴增實境圖像中的移動，或者通過手部的目標關鍵點觸發虛擬對象，控制虛擬對象的呈現特效變化，比如虛擬對象在擴增實境圖像中處於靜止狀態，在檢測到手部的目標關鍵點的第二顯示位置資訊和虛擬對象在世界座標系下的位置資訊重合時，可以達到手部觸發虛擬對象的特效，此時虛擬對象可以開始隨著手部的目標關鍵點的移動而移動，達到通過手部控制虛擬對象的目的。
本發明實施例中，可以基於手部的目標關鍵點在設備座標系下的第一顯示位置資訊、手臂的長度資訊，來確定手部的目標關鍵點在世界座標系下的第二顯示位置資訊，通過借助手臂的長度資訊，快速確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊，無需對大量手部骨骼點進行識別，從而可以提高手部的目標關鍵點的識別效率，進一步在基於手部的目標關鍵點對虛擬對象的展示位置進行控制時，可以提升控制虛擬對象過程中的處理效率，優化控制效果。
下面將結合具體實施例對上述S101~S103進行詳細闡述。
針對上述S102，在識別現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊時，如圖2所示，可以包括：
S1021，對現實場景圖像進行手部檢測，確定現實的檢測區域；
S1022，獲取檢測區域的目標位置點在現實場景圖像中的位置座標，並將該位置座標作為第一顯示位置資訊。
示例性地，可以基於預先訓練的進行目標檢測的神經網路來對現實場景圖像進行手部檢測，得到現實場景圖像中包含手部的檢測區域，即得到針對現實場景圖像中的手部位置進行標注的檢測框，如圖3所示，為檢測出的包含手部的檢測框的示意圖。
進一步地，神經網路在輸出包含手部的檢測框時，可以同時輸出該檢測框的四個角點對應的位置座標，比如，如圖3所示，以現實場景圖像建立設備座標系，該檢測框的四個角點包含左上角點k1、右上角點k2、左下角點k3和右下角點k4，可以基於四個角點在現實場景圖像中對應的位置座標來確定檢測框的目標位置點，比如檢測框中的中心點在現實場景圖像中的位置座標。
示例性地，可以基於左上角點k1和右下角點k4確定第一對角線對應的直線方程，然後基於右上角點k2和左下角點k3確定第二對角線對應的直線方程，然後基於第一對角線對應的直線方程和第二對角線對應的直線方程來確定出該檢測框的中心點在現實場景圖像中的位置座標，比如可以將第一對角線對應的直線方程和第二對角線對應的直線方程的交點作為檢測框的中心點在現實場景圖像中的位置座標。
針對上述S102，在識別現實場景圖像中的手臂的長度資訊時，如圖4所示，可以包括以下步驟S1023~S1024：
S1023，對現實場景圖像進行檢測，確定現實場景圖像中的手臂姿態類型；
S1024，基於手臂姿態類型，以及預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，確定現實場景圖像中的手臂的長度資訊。
同樣，通過預先訓練的進行姿態檢測的神經網路來對現實場景圖像進行檢測，可以確定出現實場景圖像中包含的手臂對應的手臂姿態類別，示例性地，手臂姿態類型可以包含三種類型，比如包含手臂伸張狀態、手臂半伸張狀態和手臂收起狀態，進一步基於預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，可以確定出該現實場景圖像中手臂的長度資訊。
示例性地，預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係可以包括：手臂伸張狀態時，對應的手臂的長度資訊為0.65m，手臂半伸張狀態時，對應的手臂的長度資訊為0.45m，手臂收起狀態時，對應的手臂的長度資訊為0.2m，若對現實場景圖像進行檢測，確定現實場景圖像中的手臂姿態類型為手臂伸張狀態時，可以快速確定手臂的長度資訊為0.65m。
本發明實施例中，通過圖像檢測確定現實場景圖像中包含的手臂姿態類型，進而可以根據預先建立的映射關係快速確定出現實場景圖像中的手臂的長度資訊。
針對上述S103，在基於第一顯示位置資訊以及手臂的長度資訊，將第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊時，如圖5所示，可以包括以下S1031~S1032：
S1031，基於展示擴增實境圖像的終端設備的螢幕尺寸資訊對第一顯示位置資訊進行歸一化處理，得到手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊；
S1032，基於第三顯示位置資訊、終端設備的圖像採集單元的相機投影矩陣和手臂的長度資訊，確定第二顯示位置資訊。
考慮到不同的終端設備對應的設備座標系不統一，這裡可以引入標準化設備座標系，標準化設備座標系的x軸和y軸上的取值範圍為0到1，這樣在將第一顯示位置資訊在設備座標系上沿x軸和y軸上的座標值映射至標準化設備座標系時，需要對第一顯示位置資訊進行歸一化處理，具體可以將第一顯示位置資訊在設備座標系上沿x軸的座標值歸一化處理為0到1的值，同時將第一顯示位置資訊在設備座標系上沿y軸的座標值歸一化處理為0到1的值。
考慮到設備座標系是以終端設備的螢幕構建的座標系，因此在對第一顯示位置資訊進行歸一化處理時，可以通過終端設備的螢幕尺寸資訊進行歸一化處理，在進行歸一化處理後，可以得到手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊，按照這樣的方式可以按照統一方式確定手部的目標關鍵點在具有不同螢幕尺寸的標準化設備座標系下的第三顯示位置資訊。
具體地，記手部的目標關鍵點在設備座標系中的第一顯示位置資訊為
，可以通過以下公式（1）和公式（2）來確定手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊
：
（1）
（2）
其中，
表示手部的目標關鍵點在標準化設備座標系下沿x軸方向的座標值；
表示手部的目標關鍵點在標準化設備座標系下沿y軸方向的座標值；
表示手部的目標關鍵點在設備座標系下沿x軸方向的座標值；
表示手部的目標關鍵點在設備座標系下沿y軸方向的座標值；W表示終端設備的螢幕在設備座標系下沿x軸方向上的長度；L表示終端設備的螢幕在設備座標系下沿y軸方向上的長度。
在得到手部的目標關鍵點對應的第三顯示位置資訊後，可以基於該第三顯示位置資訊和終端設備的圖像採集單元的相機投影矩陣來確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊，其中，手部的目標關鍵點在相機座標系下沿z軸的座標可以通過手臂的長度資訊確定，進一步可以基於手部的目標關鍵點在相機座標系下的第四顯示位置資訊來確定手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
本發明實施例中，可以針對手部的目標關鍵在不同類型的終端設備對應的設備座標系下的第一顯示位置資訊進行歸一化處理，從而使得在不同類型的終端設備中展示的擴增實境圖像，均能夠按照統一方式快速確定該擴增實境圖像的手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
具體地，在基於第三顯示位置資訊、終端設備的圖像採集單元的相機投影矩陣和手臂的長度資訊，確定第二顯示位置資訊時，如圖6所示，可以包括以下S10321~S10322：
S10321，基於第三顯示位置資訊、相機投影矩陣和手臂的長度資訊，確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊；
S10322，基於第四顯示位置資訊和圖像採集單元拍攝現實場景圖像時使用的相機外參矩陣，確定第二顯示位置資訊。
其中，相機投影矩陣為標準化設備座標系和相機座標系的轉換矩陣，相機外參矩陣為世界座標系和相機座標系的轉換矩陣。
其中，相機投影矩陣
可以通過以下公式（3）來表示：
（3）
為了對相機投影矩陣中包含的參數n、r、l、t和b進行解釋，下面引入圖7（a）和圖7（b），為圖像採集單元對應的相機座標系向標準化設備座標系進行轉換的示意圖，圖7（a）為相機座標系下的視錐體，圖7（b）為相機座標系下的視錐體經過相機投影矩陣處理後，在標準化設備座標系下的單位立方體，即相機投影矩陣可以對視錐體進行歸一化處理。視錐體內的景物可見，視錐體之外的景物不可見，視錐體包括垂直於相機座標系中z軸方向上的遠剪裁平面ABCD和近剪裁平面EFGH，其中，（r，t，n）表示近剪裁平面中點F的座標值，其中，r表示點F在相機座標系下沿x軸方向的座標值，t表示點F在相機座標系下沿y軸方向的座標值，n表示點F在相機座標系下沿z軸方向的座標值；（l，b，n）表示近剪裁平面中點H的座標，其中，l表示點H在相機座標系下沿x軸方向的座標值，b表示點H在相機座標系下沿y軸方向的座標值，n表示點H在相機座標系下沿z軸方向的座標值；f表示圖像採集單元對應的相機焦距。
其中，相機的常用參數相機視場角fov和相機寬高比aspect，可以根據以下公式（4）和公式（5）來確定：
（4）
（5）
因此相機投影矩陣也可以通過相機視場角、相機寬高比、近剪裁平面、遠剪裁平面和相機焦距的一些固有參數來確定。
下面引入投影公式（6），通過公式（6）來確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊。
（6）
其中，
表示手部的目標關鍵點在相機座標系下的第四顯示位置資訊，其中，
表示手部的目標關鍵點在相機座標系下沿x軸方向的座標值，
表示手部的目標關鍵點在相機座標系下沿y軸方向的座標值，
表示手部的目標關鍵點在相機座標系下沿z軸方向的座標值，
可以通過手臂在相機座標系下的手臂的長度資訊來確定，
和
可以通過公式（6）來確定。
在得到手部的目標關鍵點在相機座標系下的第四顯示位置資訊後，可以通過以下公式（7）來確定手部的目標關鍵點的第二顯示位置資訊：
（7）
其中，
表示手部的目標關鍵點在世界座標系下的第二顯示位置資訊；
表示圖像採集單元拍攝現實場景圖像時使用的相機外參矩陣的逆矩陣，具體表示由相機座標系向世界座標系進行轉換的轉換矩陣。
具體地，終端設備的圖像採集單元拍攝現實場景圖像時使用的相機外參矩陣可以包括世界座標系向相機座標系轉換時的平移向量和旋轉矩陣，分別可以通過世界座標系原點在圖像採集單元拍攝現實場景圖像時在相機座標系下對應的位置資訊，以及世界座標系的座標軸在圖像採集單元拍攝現實場景圖像時在相機座標系中的旋轉角度來表示，或者可以通過圖像採集單元拍攝現實場景圖像時在世界座標系下的位元姿資料來表示，具體在確定圖像採集單元拍攝現實場景圖像時的位元姿資料時，可以通過即時定位與地圖構建（simultaneous localization and mapping，SLAM）演算法來確定，在本發明中不進行贅述，在得到相機外參矩陣後，可以進一步根據上述公式（7）來確定手部的目標關鍵點的第二顯示位置資訊。
本發明實施例中，通過引入手臂的長度資訊來近似表示手部的目標關鍵點在相機座標系下的深度資訊，從而可以快速確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊，進而可以快速確定出手部的目標關鍵點在世界座標系下的第二顯示位置資訊。
針對上述S103，在一種實施方式中，在基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置時，如圖8所示，可以包括以下步驟S1033~S1034：
S1033，基於在不同幀現實場景圖像中的手部的目標關鍵點對應的第二顯示位置資訊，確定手部的目標關鍵點在目標場景中的位置變化資料；
S1034，基於位置變化資料，控制擴增實境圖像中虛擬對象的展示位置進行移動。
示例性地，終端設備的圖像採集單元可以按照設定時間間隔獲取現實場景圖像，並按照上述方式確定每幀現實場景圖像中的手部的目標關鍵點對應的第二顯示位置資訊，這樣可以確定出手部的目標關鍵點在設定時長內在現實場景中的位置變化資料，然後基於該位置變化資料來控制虛擬對象的展示位置。
示例性地，以現實場景為一室內展覽廳為例，該展覽廳包括三個實體桌子，分別記為桌子A、桌子B和桌子C，虛擬對象為虛擬花瓶，該虛擬花瓶在展覽廳對應的世界座標系中的初始位置為位於桌子A上，因此可以在擴增實境圖像中看到位於桌子A上的虛擬花瓶，可以通過手部的目標關鍵點來觸發位於桌子A上的虛擬花瓶，進而開始對虛擬花瓶的展示位置進行移動，比如檢測到連續兩幀現實場景圖像中的手部的目標關鍵點對應的第二顯示位置資訊由桌子A移動至桌子C，則可以控制虛擬花瓶從桌子A移動至桌子C，從而呈現出位置桌子C上的虛擬花瓶的擴增實境圖像。
示例性地，可以在檢測到手部的目標關鍵點和虛擬對象在世界座標系中重合設定時長時，觸發針對虛擬對象的展示位置的調整過程，比如檢測到手部的目標關鍵點對應的第二顯示位置資訊和虛擬對象在世界座標系下的位置資訊重合達到設定時長時，開始針對虛擬對象在擴增實境圖像中的展示位置進行調整。
在另一種應用場景中，比如在AR遊戲場景中，還可以通過不同幀現實場景圖像中的手部的目標關鍵點對應的第二顯示位置資訊完成對動態的虛擬對象的控制，比如虛擬對象為虛擬賽車，通過不同幀現實場景圖像中手部的目標關鍵點在現實場景中的位置變化資料，不斷地對擴增實境圖像中虛擬賽車的行駛軌跡進行調整。
本發明實施例中，可以基於手部的目標關鍵點在現實場景中的位置變化資料對虛擬對象的展示位置進行調整，從而達到通過手部來控制虛擬對象的展示位置的目的。
針對上述S103，在另一種實施方式中，在基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置時，如圖9所示，可以包括以下步驟S1035~S1036：
S1035，基於手部的目標關鍵點對應的第二顯示位置資訊，以及手部的目標關鍵點和虛擬對象之間的預設相對位置關係，確定虛擬對象的目標展示位置；
S1036，基於確定的虛擬對象的目標展示位置，控制擴增實境圖像中虛擬對象移動至目標展示位置。
示例性地，手部的目標關鍵點和虛擬對象之間的預設相對位置關係可以是預先設置好的，也可以是首次在擴增實境圖像中獲取到的手部的目標關鍵點和虛擬對象時，手部的目標關鍵點和虛擬對象之間的初始相對位置關係。
基於手部的目標關鍵點和虛擬對象之間的預設相對位置關係，可以基於即時獲取的手部的目標關鍵點當前時刻在世界座標系下的第二顯示位置資訊，確定虛擬對象的目標展示位置，然後控制擴增實境圖像中的虛擬對象移動至目標展示位置處。
示例性地，虛擬對象為虛擬彩色畫筆，當虛擬彩色畫筆在擴增實境圖像中移動時，擴增實境圖像中可以呈現以移動軌跡對應的彩色線條，比如虛擬彩色畫筆可以按照移動軌跡畫出粉色的線條，當採集多幀現實場景圖像時，可以隨著手部的目標關鍵點的不斷移動，基於該第二顯示位置資訊和預設相對位置關係，確定出虛擬彩色畫筆不斷移動的目標展示位置，這樣可以在擴增實境圖像中按照目標展示位置的移動形成移動軌跡，對應地可以在擴增實境圖像中呈現出與移動軌跡對應的彩色線條，比如使用者的手部的目標關鍵點的移動軌跡為圓形，則擴增實境圖像中可以呈現出由虛擬彩色畫筆畫出圓形的彩色線條的特效。
本發明實施例中，可以基於手部的目標關鍵點在世界座標系下的第二顯示位置資訊以及預設相對位置關係，對虛擬對象的展示位置進行調整，從而達到通過手部來控制虛擬對象的展示位置的目的。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一技術構思，本發明實施例中還提供了與虛擬對象的控制方法對應的虛擬對象的控制裝置，由於本發明實施例中的裝置解決問題的原理與本發明實施例上述控制方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
參照圖10所示，為本發明實施例提供的一種虛擬對象的控制裝置1000的結構示意圖，該虛擬對象的控制裝置1000包括：
獲取模組1001，配置為獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；
識別模組1002，配置為識別現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別現實場景圖像中的手臂的長度資訊；
控制模組1003，配置為基於第一顯示位置資訊以及手臂的長度資訊，控制擴增實境圖像中虛擬對象的展示位置。
在一種可能的實施方式中，控制模組1003在配置為基於第一顯示位置資訊以及手臂的長度資訊，控制擴增實境圖像中虛擬對象的展示位置，包括：
基於第一顯示位置資訊以及手臂的長度資訊，將第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊；
基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置。
在一種可能的實施方式中，識別模組1002在配置為識別現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊時，包括：
對現實場景圖像進行手部檢測，確定現實場景圖像中包含手部的檢測區域；
獲取檢測區域的目標位置點在現實場景圖像中的位置座標，並將獲取到的位置座標作為第一顯示位置資訊。
在一種可能的實施方式中，識別模組1002在配置為識別現實場景圖像中的手臂的長度資訊時，包括：
對現實場景圖像進行檢測，確定現實場景圖像中的手臂姿態類型；
基於手臂姿態類型，以及預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，確定現實場景圖像中的手臂的長度資訊。
在一種可能的實施方式中，控制模組1003在配置為基於第一顯示位置資訊以及手臂的長度資訊，將第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊時，包括：
基於展示擴增實境圖像的終端設備的螢幕尺寸資訊對第一顯示位置資訊進行歸一化處理，得到手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊；
基於第三顯示位置資訊、終端設備的圖像採集單元的相機投影矩陣和手臂的長度資訊，確定第二顯示位置資訊。
在一種可能的實施方式中，控制模組1003在配置為基於第三顯示位置資訊、終端設備的圖像採集單元的相機投影矩陣和手臂的長度資訊，確定第二顯示位置資訊時，包括：
基於第三顯示位置資訊、相機投影矩陣和手臂的長度資訊，確定手部的目標關鍵點在相機座標系下的第四顯示位置資訊；
基於第四顯示位置資訊和圖像採集單元拍攝現實場景圖像時使用的相機外參矩陣，確定第二顯示位置資訊；
其中，相機投影矩陣為標準化設備座標系和相機座標系的轉換矩陣，相機外參矩陣為世界座標系和相機座標系的轉換矩陣。
在一種可能的實施方式中，控制模組1003在配置為基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置時，包括：
基於在不同幀現實場景圖像中的手部的目標關鍵點對應的第二顯示位置資訊，確定手部的目標關鍵點在現實場景中的位置變化資料；
基於位置變化資料，控制擴增實境圖像中虛擬對象的展示位置進行移動。
在一種可能的實施方式中，控制模組1003在配置為基於第二顯示位置資訊，控制擴增實境圖像中虛擬對象的展示位置時，包括：
基於手部的目標關鍵點對應的第二顯示位置資訊，以及手部的目標關鍵點和虛擬對象之間的預設相對位置關係，確定虛擬對象的目標展示位置；
基於確定的虛擬對象的目標展示位置，控制擴增實境圖像中虛擬對象移動至目標展示位置。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
對應於圖1中的虛擬對象的控制方法，本發明實施例還提供了一種電子設備1100，如圖11所示，為本發明實施例提供的電子設備1100結構示意圖，包括：
處理器111、記憶體112、和匯流排113；記憶體112配置為儲存執行指令，包括內部記憶體1121和外部記憶體1122；內部記憶體1121配置為暫時存放處理器111中的運算資料，以及與硬碟等外部記憶體1122交換的資料，處理器111通過內部記憶體1121與外部記憶體1122進行資料交換，當所述電子設備1100運行時，所述處理器111與所述記憶體112之間通過匯流排113通信，使得所述處理器111執行以下指令：獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；識別現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別現實場景圖像中的手臂的長度資訊；基於第一顯示位置資訊以及手臂的長度資訊，控制擴增實境圖像中虛擬對象的展示位置。
本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述的虛擬對象的控制方法的步驟。其中，該儲存介質可以是易失性或非易失的電腦可讀取儲存介質。
本發明實施例所提供的虛擬對象的控制方法的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可配置為執行上述方法實施例中所述的虛擬對象的控制方法的步驟，具體可參見上述方法實施例，在此不再贅述。
本發明實施例還提供一種電腦程式，該電腦程式被處理器執行時實現前述實施例的任意一種方法。該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包（Software Development Kit，SDK）等等。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
最後應說明的是：以上所述實施例，僅為本發明的具體實施方式，用以說明本發明的技術方案，而非對其限制，本發明的保護範圍並不局限於此，儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本發明實施例技術方案的精神和範圍，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以申請專利範圍的保護範圍為準。
工業實用性
本發明實施例公開了一種虛擬對象的控制方法、裝置、電子設備及儲存介質，其中，該控制方法包括：獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像；識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別所述現實場景圖像中的手臂的長度資訊；基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。上述方案可以提高手部的目標關鍵點的識別效率，提升控制虛擬對象過程中的處理效率，優化控制效果。
1000:虛擬對象的控制裝置
1001:獲取模組
1002:識別模組
1003:控制模組
1100:電子設備
111:處理器
112:記憶體
1121:內部記憶體
1122:外部記憶體
113:匯流排
S101~S103,S1021~S1024,S1031~S1036,S10321~S10322:步驟
為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。
圖1示出了本發明實施例所提供的一種虛擬對象的控制方法的流程圖；
圖2示出了本發明實施例所提供的一種確定手部的目標關鍵點的第一顯示位置資訊的方法流程圖；
圖3示出了本發明實施例所提供的一種包含手部的現實場景圖像的示意圖；
圖4示出了本發明實施例所提供的一種確定手臂的長度資訊的方法流程圖；
圖5示出了本發明實施例所提供的一種確定手部的目標關鍵點的第二顯示位置資訊的方法流程圖；
圖6示出了本發明實施例所提供的一種確定手部的目標關鍵點的第二顯示位置資訊的具體方法流程圖；
圖7（a）示出了本發明實施例所提供的一種相機座標系下的視錐體示意圖；
圖7（b）示出了本發明實施例所提供的一種標準化設備座標系下的單位立方體示意圖；
圖8示出了本發明實施例所提供的一種控制虛擬對象移動的方法流程圖；
圖9示出了本發明實施例所提供的另一種控制虛擬對象的移動的方法流程圖；
圖10示出了本發明實施例所提供的一種虛擬對象的控制裝置的結構示意圖；
圖11示出了本發明實施例所提供的一種電子設備的示意圖。
S101~S103:步驟
Claims (10)
- 一種虛擬對象的控制方法，包括： 獲取現實場景圖像與虛擬對象相疊加的擴增實境圖像； 識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，以及，識別所述現實場景圖像中的手臂的長度資訊； 基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
- 根據請求項1所述的方法，其中，所述基於所述第一顯示位置資訊以及所述手臂的長度資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括： 基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊； 基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置。
- 根據請求項1或2所述的控制方法，其中，所述識別所述現實場景圖像中手部的目標關鍵點在設備座標系下的第一顯示位置資訊，包括： 對所述現實場景圖像進行手部檢測，確定所述現實場景圖像中包含手部的檢測區域； 獲取所述檢測區域的目標位置點在所述現實場景圖像中的位置座標，並將獲取到的位置座標作為所述第一顯示位置資訊。
- 根據請求項1或2所述的控制方法，其中，所述識別所述現實場景圖像中的手臂的長度資訊，包括： 對所述現實場景圖像進行檢測，確定所述現實場景圖像中的手臂姿態類型； 基於所述手臂姿態類型，以及預先建立的手臂姿態類型和手臂的長度資訊之間的映射關係，確定所述現實場景圖像中的手臂的長度資訊。
- 根據請求項2所述的控制方法，其中，所述基於所述第一顯示位置資訊以及所述手臂的長度資訊，將所述第一顯示位置資訊變換為世界座標系下的第二顯示位置資訊，包括： 基於展示所述擴增實境圖像的終端設備的螢幕尺寸資訊對所述第一顯示位置資訊進行歸一化處理，得到所述手部的目標關鍵點在標準化設備座標系下的第三顯示位置資訊； 基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊。
- 根據請求項5所述的控制方法，其中，所述基於所述第三顯示位置資訊、所述終端設備的圖像採集單元的相機投影矩陣和所述手臂的長度資訊，確定所述第二顯示位置資訊，包括： 基於所述第三顯示位置資訊、所述相機投影矩陣和所述手臂的長度資訊，確定所述手部的目標關鍵點在相機座標系下的第四顯示位置資訊； 基於所述第四顯示位置資訊和所述圖像採集單元拍攝所述現實場景圖像時使用的相機外參矩陣，確定所述第二顯示位置資訊； 其中，所述相機投影矩陣為標準化設備座標系和相機座標系的轉換矩陣，所述相機外參矩陣為世界座標系和相機座標系的轉換矩陣。
- 根據請求項2所述的控制方法，其中，所述基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括： 基於在不同幀現實場景圖像中的所述手部的目標關鍵點對應的第二顯示位置資訊，確定所述手部的目標關鍵點在現實場景中的位置變化資料； 基於所述位置變化資料，控制所述擴增實境圖像中所述虛擬對象的展示位置進行移動。
- 根據請求項2所述的控制方法，其中，所述基於所述第二顯示位置資訊，控制所述擴增實境圖像中所述虛擬對象的展示位置，包括： 基於所述手部的目標關鍵點對應的第二顯示位置資訊，以及所述手部的目標關鍵點和所述虛擬對象之間的預設相對位置關係，確定所述虛擬對象的目標展示位置； 基於確定的所述虛擬對象的目標展示位置，控制所述擴增實境圖像中所述虛擬對象移動至所述目標展示位置。
- 一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如請求項1至8中任一項所述的控制方法的步驟。
- 一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行如請求項1至8中任一項所述的控制方法的步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010753268.8A CN111880657B (zh) | 2020-07-30 | 2020-07-30 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
| CN202010753268.8 | 2020-07-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202205059A true TW202205059A (zh) | 2022-02-01 |
Family
ID=73205754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110119707A TW202205059A (zh) | 2020-07-30 | 2021-05-31 | 虛擬對象的控制方法、電子設備及電腦可讀儲存介質 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN111880657B (zh) |
| TW (1) | TW202205059A (zh) |
| WO (1) | WO2022021980A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111880657B (zh) * | 2020-07-30 | 2023-04-11 | 北京市商汤科技开发有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
| CN114584679A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 赛况数据呈现方法、装置、计算机设备及可读存储介质 |
| CN114584681A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 目标对象的运动展示方法、装置、电子设备及存储介质 |
| CN114584680A (zh) * | 2020-11-30 | 2022-06-03 | 北京市商汤科技开发有限公司 | 一种运动数据展示方法、装置、计算机设备及存储介质 |
| CN112714337A (zh) * | 2020-12-22 | 2021-04-27 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN112799507B (zh) * | 2021-01-15 | 2022-01-04 | 北京航空航天大学 | 人体虚拟模型展示方法、装置、电子设备及存储介质 |
| CN112817447B (zh) * | 2021-01-25 | 2024-05-07 | 暗物智能科技(广州)有限公司 | 一种ar内容显示方法及系统 |
| CN113253838A (zh) * | 2021-04-01 | 2021-08-13 | 作业帮教育科技（北京）有限公司 | 基于ar的视频教学方法、电子设备 |
| CN113359985A (zh) * | 2021-06-03 | 2021-09-07 | 北京市商汤科技开发有限公司 | 数据展示方法、装置、计算机设备以及存储介质 |
| CN114115528B (zh) * | 2021-11-02 | 2024-01-19 | 深圳市雷鸟网络传媒有限公司 | 虚拟对象控制方法、装置、计算机设备和存储介质 |
| CN114422644A (zh) * | 2022-01-25 | 2022-04-29 | Oppo广东移动通信有限公司 | 设备控制方法、装置、用户设备和计算机可读存储介质 |
| CN114742977A (zh) * | 2022-03-30 | 2022-07-12 | 青岛虚拟现实研究院有限公司 | 一种基于ar技术的视频透视方法 |
| CN114911384B (zh) * | 2022-05-07 | 2023-05-12 | 青岛海信智慧生活科技股份有限公司 | 镜子显示器及其远程控制方法 |
| CN115937430B (zh) * | 2022-12-21 | 2023-10-10 | 北京百度网讯科技有限公司 | 用于展示虚拟对象的方法、装置、设备及介质 |
| CN115861581B (zh) * | 2023-02-08 | 2023-05-05 | 成都艺馨达科技有限公司 | 一种基于混合现实的移动互联云服务方法及系统 |
| CN116363331B (zh) * | 2023-04-03 | 2024-02-23 | 北京百度网讯科技有限公司 | 图像生成方法、装置、设备以及存储介质 |
| CN116309850B (zh) * | 2023-05-17 | 2023-08-08 | 中数元宇数字科技(上海)有限公司 | 一种虚拟触控识别方法、设备及存储介质 |
| CN117032617B (zh) * | 2023-10-07 | 2024-02-02 | 启迪数字科技(深圳)有限公司 | 基于多屏幕的网格拾取方法、装置、设备及介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4701424B2 (ja) * | 2009-08-12 | 2011-06-15 | 島根県 | 画像認識装置および操作判定方法並びにプログラム |
| US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
| US10304248B2 (en) * | 2014-06-26 | 2019-05-28 | Korea Advanced Institute Of Science And Technology | Apparatus and method for providing augmented reality interaction service |
| US9911235B2 (en) * | 2014-11-14 | 2018-03-06 | Qualcomm Incorporated | Spatial interaction in augmented reality |
| US10290152B2 (en) * | 2017-04-03 | 2019-05-14 | Microsoft Technology Licensing, Llc | Virtual object user interface display |
| CN108762495B (zh) * | 2018-05-18 | 2021-06-29 | 深圳大学 | 基于手臂动作捕捉的虚拟现实驱动方法及虚拟现实系统 |
| CN111103967A (zh) * | 2018-10-25 | 2020-05-05 | 北京微播视界科技有限公司 | 虚拟对象的控制方法和装置 |
| CN110941337A (zh) * | 2019-11-25 | 2020-03-31 | 深圳传音控股股份有限公司 | 虚拟形象的控制方法、终端设备及计算机可读存储介质 |
| CN111161335A (zh) * | 2019-12-30 | 2020-05-15 | 深圳Tcl数字技术有限公司 | 虚拟形象的映射方法、映射装置及计算机可读存储介质 |
| CN111880657B (zh) * | 2020-07-30 | 2023-04-11 | 北京市商汤科技开发有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
-
2020
- 2020-07-30 CN CN202010753268.8A patent/CN111880657B/zh active Active
-
2021
- 2021-04-29 WO PCT/CN2021/091072 patent/WO2022021980A1/zh active Application Filing
- 2021-05-31 TW TW110119707A patent/TW202205059A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN111880657B (zh) | 2023-04-11 |
| WO2022021980A1 (zh) | 2022-02-03 |
| CN111880657A (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022021980A1 (zh) | 虚拟对象的控制方法、装置、电子设备及存储介质 | |
| US11043031B2 (en) | Content display property management | |
| US11430192B2 (en) | Placement and manipulation of objects in augmented reality environment | |
| TWI659335B (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
| JP6423435B2 (ja) | 物理的光景を表すための方法および装置 | |
| US12100098B2 (en) | Simple environment solver using planar extraction | |
| JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
| CN111897431B (zh) | 展示方法及装置、显示设备、计算机可读存储介质 | |
| US9268410B2 (en) | Image processing device, image processing method, and program | |
| CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
| WO2020042970A1 (zh) | 一种三维建模的方法及其装置 | |
| US20120162384A1 (en) | Three-Dimensional Collaboration | |
| WO2016122973A1 (en) | Real time texture mapping | |
| GB2589505A (en) | Three-dimensional special effect generation method and apparatus based on human face, and electronic device | |
| CN110389703A (zh) | 虚拟物品的获取方法、装置、终端和存储介质 | |
| CN111527468A (zh) | 一种隔空交互方法、装置和设备 | |
| CN111882674A (zh) | 虚拟对象的调整方法、装置、电子设备及存储介质 | |
| Chen et al. | A case study of security and privacy threats from augmented reality (ar) | |
| KR20210030207A (ko) | 인스턴스 검출 및 일반적인 장면 이해를 이용한 객체 검출 | |
| CN112882576A (zh) | Ar交互方法、装置、电子设备及存储介质 | |
| CN112950711A (zh) | 一种对象的控制方法、装置、电子设备及存储介质 | |
| WO2023124691A1 (zh) | 增强现实场景的展示 | |
| TWI740275B (zh) | 擴增實境物件顯示裝置及擴增實境物件顯示方法 | |
| KR102696670B1 (ko) | 인스턴스 검출 및 일반적인 장면 이해를 이용한 객체 검출 | |
| TWM650161U (zh) | 裸視三維實境系統 |