TW202228009A - 基於混合現實的培訓方法、電子設備及存儲介質 - Google Patents

基於混合現實的培訓方法、電子設備及存儲介質 Download PDF

Info

Publication number
TW202228009A
TW202228009A TW109146747A TW109146747A TW202228009A TW 202228009 A TW202228009 A TW 202228009A TW 109146747 A TW109146747 A TW 109146747A TW 109146747 A TW109146747 A TW 109146747A TW 202228009 A TW202228009 A TW 202228009A
Authority
TW
Taiwan
Prior art keywords
training
mixed reality
information
target object
dimensional
Prior art date
Application number
TW109146747A
Other languages
English (en)
Other versions
TWI794715B (zh
Inventor
付博
何小波
彭炬
陳正兵
杜先祥
藍燕生
張龍
袁鋒
楊欽
Original Assignee
大陸商鴻富成精密電子(成都)有限公司
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商鴻富成精密電子(成都)有限公司, 鴻海精密工業股份有限公司 filed Critical 大陸商鴻富成精密電子(成都)有限公司
Publication of TW202228009A publication Critical patent/TW202228009A/zh
Application granted granted Critical
Publication of TWI794715B publication Critical patent/TWI794715B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申請提供一種基於混合現實的培訓方法、電子設備及存儲介質，所述方法包括：接收用戶終端發送的目標對象的人臉資訊；若合法，發送登錄控制資訊至混合現實設備；在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程，包括:設置所述三維虛擬物料在所述空間資訊中的位置，將所述三維虛擬物料與設置的位置資訊發送至所述混合現實設備；發送培訓步驟提示資訊至所述混合現實設備；接收所述混合現實設備即時發送的所述目標對象的肢體三維資訊；根據所述肢體三維資訊確定培訓結果。本申請可以提高培訓效率，降低培訓成本。

Description

基於混合現實的培訓方法、電子設備及存儲介質
本發明涉及混合現實技術領域，尤其涉及一種基於混合現實的培訓方法、電子設備及存儲介質。
目前，對人員進行培訓的方式大多都是專業技師現場培訓。不同領域需要不同的專業技師，不能實現跨領域、跨地域培訓，通用性低，同時需要耗費大量的人力物力，培訓費用較高。且諸多行業實操培訓存在一定的危險性，例如，在電控維修培訓中，由於參與培訓人員操作不熟練，容易出現被電控設備誤傷的情況。可見傳統的培訓方式費時費力，且人員的安全也無法得到保證。
鑒於以上內容，有必要提供一種基於混合現實的培訓方法、電子設備及存儲介質，可以提高培訓效率，降低培訓成本，同時保證培訓過程的安全性。
本申請的第一方面提供一種基於混合現實的培訓方法，所述基於混合現實的培訓方法包括：接收所述用戶終端發送的目標對象的人臉資訊；根據所述人臉資訊判斷所述目標對象是否合法；若所述目標對象合法，發送登錄控制資訊至混合現實設備；在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程，包括：獲取培訓過程中待使用物料對應的三維虛擬物料；在接收到所述混合現實設備發送的真實培訓場景的空間資訊後，設置所述三維虛擬物料在所述空間資訊中的位置，將所述三維虛擬物料與設置的位置資訊發送至所述混合現實設備；發送多個培訓步驟提示資訊至所述混合現實設備；接收所述混合現實設備即時發送的所述目標對象的肢體三維資訊，其中，所述肢體三維資訊為所述目標對象根據每個培訓步驟提示資訊執行培訓時獲取的資訊；根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果。
在一種可能的實現方式中，所述方法還包括：根據接收的所述肢體三維資訊更新所述設置的位置資訊，並將更新後的位置資訊發送給所述混合現實設備。
在一種可能的實現方式中，所述根據所述人臉資訊判斷所述目標對象是否合法包括：基於所述人臉資訊提取所述目標對象的人臉特徵資料；若所述提取到的人臉特徵資料與預先存儲的人臉特徵資料匹配，輸出所述目標對象合法的提示資訊；若所述提取到的人臉特徵資料與所述預先存儲的人臉特徵資料不匹配，輸出所述目標對象不合法的提示資訊。
在一種可能的實現方式中，所述根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果包括：獲取所述目標對象在每個培訓步驟中的培訓結果，得到多個培訓結果；根據所述多個培訓結果確定所述目標對象的培訓結果。
在一種可能的實現方式中，所述獲取所述目標對象在每個培訓步驟中的培訓結果，得到多個培訓結果包括：提取每個培訓步驟中所述目標對象的肢體三維資訊的多個第一關鍵幀圖像及預先存儲的標準操作肢體三維資訊的多個第二關鍵幀圖像；檢測每個第一關鍵幀圖像中的多個第一肢體關鍵點及每個第二關鍵幀圖像中的多個第二肢體關鍵點；獲取每個第一肢體關鍵點位於所述第一關鍵幀圖像中的第一三維座標點；獲取每個第二肢體關鍵點位於所述第二關鍵幀圖像的第二三維座標點；根據所述第一三維座標點與所述第二三維座標點計算所述差異度；根據多個所述差異度分別確定所述目標對象在每個培訓步驟的培訓結果。
在一種可能的實現方式中，所述根據所述第一三維座標點與所述第二三維座標點計算所述差異度包括：根據時間軸的順序關聯所述第一三維座標點和第二三維座標點；計算關聯後的所述第一三維座標點和第二三維座標點之間的歐氏距離得到所述差異度。
在一種可能的實現方式中，所述根據多個所述差異度分別確定所述目標對象在每個培訓步驟的培訓結果包括：分別計算所述每個培訓步驟中差異度的方差；根據所述方差與預設的閾值區間分別確定所述目標對象在所述每個培訓步驟中的分值，其中每個閾值區間對應一個分值。
在一種可能的實現方式中，根據所述每個培訓結果與其對應的權重，確定所述目標對象的培訓結果，其中所述權重表示每個培訓步驟的關鍵程度。
本申請的第二方面提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行所述記憶體中存儲的電腦程式時實現所述的基於混合現實的培訓方法。
本申請的協力廠商面提供一種電腦可讀存儲介質，所述電腦可讀存儲介質上存儲有電腦程式，所述電腦程式被處理器執行時實現所述的基於混合現實的培訓方法。
本申請公開的基於混合現實的培訓方法、電子設備及存儲介質，可以提高培訓效率，降低培訓成本。
下面將結合本實施例中的附圖，對本實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
請參見圖1，圖1是本申請實施例提供的一種基於混合現實的培訓方法的應用環境圖。本申請實施例的基於混合現實的培訓方法應用在電子設備3中,所述電子設備3是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。所述電子設備還可包括網路設備和/或使用者設備。其中，所述網路設備包括但不限於單個網路設備、多個網路設備組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路設備構成的雲，其中，雲計算是分散式運算的一種，由一群鬆散耦合的電腦集組成的一個超級虛擬電腦。所述使用者設備包括但不限於任何一種可與使用者透過鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理PDA等。
所述電子設備3與用戶終端1和混合現實設備2通信連接。
如圖2所示，所述用戶終端1包括攝像頭10、通信單元11、記憶體12及處理器13。所述攝像頭10、通信單元11、記憶體12及處理器13之間電性連接。在本實施方式中，所述攝像頭10用於拍攝目標對象的人臉資訊。所述通信單元11用於為所述用戶終端1提供網路通信功能。例如，所述用戶終端1透過所述通信單元11與所述電子設備3通信連接。所述用戶終端1包括但不限於任何一種可與使用者透過鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理PDA等。
如圖3所示，所述混合現實設備2包括，但不限於，攝像頭20、通信單元21、記憶體22、處理器23、感測器24、顯示器25。所述攝像頭20、通信單元21、記憶體22、處理器23、感測器24、顯示器25之間電性連接。所述混合現實設備2是可獨立運行的一體化頭戴式設備，負責人機交互的輸入與輸出功能，例如，Microsoft公司的HoloLens設備。
所述攝像頭20用於拍攝培訓測評視頻；所述通信單元21用於為所述混合現實設備2提供網路通信功能。例如，所述混合現實設備2透過所述通信單元21與所述電子設備3通信連接。所述顯示器25用於顯示培訓教學視頻，方便使用者基於所述培訓教學視頻進行培訓。需要說明的是，所述混合現實設備2還可以包括耳機及無線連接適配器，圖中未示出。
如圖4所示，所述電子設備3包括記憶體31、至少一個處理器32、存儲在所述記憶體31中並可在所述至少一個處理器32上運行的電腦程式33及至少一條通訊匯流排34和通信單元35。
本領域技術人員可以理解，圖4所示的示意圖僅僅是所述電子設備3的示例，並不構成對電子設備3的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備3還可以包括輸入輸出設備、網路接入設備等。
所述至少一個處理器32可以是CPU，還可以是其他通用處理器、數位訊號處理器DSP、專用積體電路ASIC、現場可程式設計閘陣列FPGA或者其他可程式設計邏輯器件、電晶體邏輯器件、分立硬體元件等。該處理器32可以是微處理器或者該處理器32也可以是任何常規的處理器等，所述處理器32是所述電子設備3的控制中心，利用各種介面和線路連接整個電子設備3的各個部分。
所述記憶體31可用於存儲所述電腦程式33和/或模組/單元，所述處理器32透過運行或執行存儲在所述記憶體31內的電腦程式和/或模組/單元，以及調用存儲在記憶體31內的資料，實現所述電子設備3的各種功能。所述記憶體31可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；存儲資料區可存儲根據電子設備3的使用所創建的資料等。此外，記憶體31可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡（Smart Media Card，SMC），安全數位（Secure Digital，SD）卡，快閃記憶體卡（Flash Card）、至少一個磁碟記憶體件、快閃記憶體器件等。
所述通信單元35用於為所述電子設備3提供網路通信功能。例如，所述電子設備3透過所述通信單元35與所述混合現實設備2通信連接 。
所述電子設備3中的所述記憶體31存儲多個指令以實現如下文圖5所示的一種基於混合現實的培訓方法。
請參見圖5，圖5是本申請實施例提供的一種基於混合現實的培訓方法的流程圖。根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。所述基於混合現實的培訓方法的執行主體可以是所述電子設備。
步驟S11、接收所述用戶終端發送的目標對象的人臉資訊。
在進行培訓之前，為了防止所述目標對象非法參與培訓，例如，非培訓範圍內的人員私自參與培訓。需要對目標對象的身份進行認證，以確認所述目標對象是否為合法使用者，只有合法的用戶才能進行培訓，以避免資訊外洩的情況出現。在本實施方式中，採用人臉認證的方法確定所述目標對象是否為合法使用者。具體地，所述用戶終端採集所述目標對象的人臉資訊，並將所述人臉資訊發送至所述電子設備。
作為一種可選的實施方式，所述步驟S11之前，所述方法還包括：創建培訓人員資料庫，其中，所述資料庫用於存儲培訓人員的資訊，例如，人臉特徵資訊。
步驟S12、根據所述人臉資訊判斷所述目標對象是否合法。
在本申請的一個實施例中，在接收到所述用戶終端發送的目標對象的人臉資訊後，所述電子設備根據所述人臉資訊判斷所述目標對象是否合法。具體地，基於所述人臉資訊提取所述目標對象的人臉特徵資料；比對所述提取到的人臉特徵資料與所述資料庫中的人臉特徵資料是否匹配；若所述提取到的人臉特徵資料與所述資料庫中的人臉特徵資料匹配，輸出所述目標對象合法的提示資訊；若所述提取到的人臉特徵資料與所述資料庫中的人臉特徵資料不匹配，輸出所述目標對象不合法的提示資訊。
在本實施方式中，所述提取到的人臉特徵資料與所述資料庫中的人臉特徵資料匹配描述的是提取到的人臉特徵資料與資料庫中的人臉特徵資料之間的歐氏距離小於預設值。
需要說明的是，人臉特徵提取技術為現有技術，本申請不再詳細闡述。
步驟S13、若所述目標對象合法，發送登錄控制資訊至所述混合現實設備。
在本申請的一個實施例中，在合法的目標對象開始參與培訓之前，需要先登錄所述目標對象佩戴的所述混合現實設備。
在本實施方式中，所述電子設備發送登錄控制資訊至所述混合現實設備，其中，所述登錄控制資訊包括所述目標對象的個人資訊。例如，所述個人資訊包括姓名、工號等。所述電子設備根據所述登錄控制資訊控制所述混合現實設備輸入所述目標對象的個人資訊，以執行登錄。所述混合現實設備在接收到所述登陸控制資訊之後，發送成功登陸資訊至所述電子設備。
此外，在其他實施例中，所述基於混合現實的培訓方法除了在開始對培訓用戶進行身份認證以識別目標對象是否合法之外，還可在培訓過程中每間隔預設時間便採集一次目標對象的人臉資訊，以判斷培訓中途是否發生培訓使用者有替換的情況。
步驟S14、在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程。
傳統的培訓方式為專業技師現場培訓，在本申請的一個實施例中，為了降低培訓成本，同時使所述目標對象身臨其境的對操作過程進行學習，可以透過所述混合現實設備對所述目標對象培訓。
結合圖5，所述在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程包括：
步驟S41、獲取培訓過程中待使用物料對應的三維虛擬物料。
在本實施方式中，所述物料為所述目標對象進行培訓時所需要的物品。
所述三維虛擬物料為與所述物料對應的三維模型，可以利用任何一種三維建模軟體進行構建，例如BIM、solidworks等，本申請對此不作任何限定。
步驟S42、接收所述混合現實設備發送的真實培訓場景的空間資訊，設置所述三維虛擬物料在所述空間資訊中的位置資訊，將所述三維虛擬物料與設置的位置資訊發送至所述混合現實設備。
在本申請的一個實施例中，為了使所述三維虛擬物料準確地放置在真實的培訓場景中，需要對所述真實培訓場景進行空間資訊提取。
在本實施方式中，所述電子設備利用所述混合現實設備的感測器對真實培訓場景進行掃描，基於即時定位與地圖構建 (Simultaneous localization and mapping，SLAM)技術來獲取真實場景的空間資訊。進一步的，所根據具體培訓內容設置所述三維虛擬物料在所述空間資訊中的位置資訊，所述位置資訊可以根據使用者的實際需求進行設定。所述電子設備將所述步驟S41獲得的三維虛擬物料與設置的位置資訊發送至所述混合現實設備。所述混合現實設備透過所述顯示器將所述虛擬物料傳遞給所述目標對象。
步驟S43、發送多個培訓步驟提示資訊至所述混合現實設備。
在本實施方式中，所述電子設備根據培訓內容將操作流程拆分為多個培訓步驟，並生成培訓步驟提示資訊所述混合現實設備，所述培訓步驟提示資訊包括語音、文字、數位元、圖形和方向標示中的至少一種。
所述目標對象根據所述培訓步驟提示資訊進行操作。具體地，所述目標對象使用實體設備與所述三維虛擬物料進行交交交互操作，完成工站作業步驟及流程的標準化培訓。所述混合現實設備透過攝像頭即時捕捉每個培訓步驟中的所述目標對象的肢體三維資訊，並將所述肢體三維資訊發送給所述電子設備。
步驟S44、接收所述混合現實設備即時發送的所述目標對象的肢體三維資訊，其中，所述肢體三維資訊為所述目標對象根據每個培訓步驟提示資訊執行培訓時獲取的資訊。
在本申請的一個實施例中，所述電子設備根據接收到的所述目標對象的肢體三維資訊進行後續操作。
作為一種可選的實施方式，所述步驟S44之後，所述方法還包括：根據接收的所述肢體三維資訊更新所述設置的位置資訊，並將更新後的位置資訊發送給所述混合現實設備。
具體地，所述電子設備根據接收到的肢體三維資訊，即時更新所述三維虛擬物料在所述空間資訊中的位置資訊，並將更新後的位置資訊發送給所述混合現實設備。所述混合現實設備透過所述顯示器將更新後的三維虛擬物料傳遞給所述目標對象。
結合所述混合現實設備與所述電子設備，能夠建立基於現實場景和虛擬物料的混合現實培訓場景，並根據所述目標對象的操作即時更新虛擬物料，所述目標對象可獲得媲美現場培訓的混合現實培訓體驗，達到最接近現場培訓的效果。
步驟S45、根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果。
在本實施方式中，所述肢體三維資訊可以根據使用者的需求進行選取，例如，選取所述目標對象的手部三維資訊作為培訓的衡量標準。
在本實施方式中，所述根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果，包括：獲取所述目標對象在每個培訓步驟中的培訓結果，得到多個培訓結果；根據所述多個培訓結果確定所述目標對象的培訓結果，具體地，
（1）提取每個培訓步驟中所述目標對象的肢體三維資訊的多個第一關鍵幀圖像及預先存儲的標準培訓操作肢體三維資訊的多個第二關鍵幀圖像。
（2）檢測每個第一關鍵幀圖像中的多個第一肢體關鍵點及每個第二關鍵幀圖像中的多個第二肢體關鍵點。具體地，可以將每個第一關鍵幀圖像及每個第二關鍵幀圖像輸入至預先訓練完成的肢體關鍵點檢測模型，透過所述肢體關鍵點檢測模型檢測出所述第一關鍵幀圖像中的多個第一肢體關鍵點及所述第二關鍵幀圖像中的多個第二肢體關鍵點。肢體關鍵點檢測模型的訓練過程為現有技術，本申請不再詳細闡述。
（3）計算每個第一肢體關鍵點和對應的每個第二肢體關鍵點之間的差異度，得到多個所述差異度。具體地，獲取每個第一肢體關鍵點位於所述第一關鍵幀圖像中的第一三維座標點以及每個第二肢體關鍵點位於所述第二關鍵幀圖像的第二三維座標點。根據時間軸的順序關聯所述第一三維座標點和第二三維座標點，計算關聯後的所述第一三維座標點和第二三維座標點之間的歐氏距離得到所述差異度。
（4）根據多個所述差異度分別確定所述目標對象在每個培訓步驟的培訓結果。具體地，分別計算所述每個培訓步驟中差異度的方差，根據所述方差所在的預設閾值區間，確定所述目標對象的分值，其中每個閾值區間對應一個分值。示例性的，若某一步驟中所述方差位於[0,0.1)區間，輸出所述某一步驟的培訓結果為“培訓得分90分，培訓合格”；若某一步驟中所述方差位於[0.1,0.2)區間，輸出所述某一步驟的培訓結果為“培訓得分80分，培訓合格”；若某一步驟中所述方差位於[0.2,0.3)區間，輸出所述某一步驟的培訓結果為“培訓得分70分，培訓合格”；若某一步驟中所述方差位於[0.3,+
Figure 02_image001
區間，輸出所述某一步驟的培訓結果為“培訓不合格”。
（5）根據所述每個培訓結果與其對應的權重，確定所述目標對象的培訓結果，其中所述權重表示每個培訓步驟的關鍵程度，且所有培訓步驟的權重相加之後結果為1。其中每個培訓步驟對應的權重可以根據使用者的實際需求進行設定，例如，設定某一培訓步驟的權重為0.3，若所述培訓步驟的培訓結果為90分，則所述培訓步驟的最終培訓結果為90乘以0.3，及27分。將所有培訓步驟的得分相加，獲得所述目標對象的培訓結果。
作為一種可選的實施方式，所述步驟S45之前，所述方法還包括：對所述第一關鍵幀圖像及所述第二關鍵幀圖像進行影像處理，所述影像處理包括：圖像對齊處理，動態時間對齊處理。
在一實施方式中，所述方法還可以包括將所述培訓結果發送給所述用戶終端的步驟。如此，可以方便所述目標對象透過所述用戶終端查看培訓結果。
在圖5與圖6所描述的方法流程中，可以接收所述用戶終端發送的目標對象的人臉資訊；根據所述人臉資訊判斷所述目標對象是否合法；若所述目標對象合法，發送登錄控制資訊至混合現實設備；在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程，包括:獲取培訓過程中待使用物料對應的三維虛擬物料；接收所述混合現實設備發送的真實培訓場景的空間資訊，設置所述三維虛擬物料在所述空間資訊中的位置，將所述三維虛擬物料與設置的位置資訊發送至所述混合現實設備；發送多個培訓步驟提示資訊至所述混合現實設備；接收所述混合現實設備即時發送的所述目標對象的肢體三維資訊，其中，所述肢體三維資訊為所述目標對象根據每個培訓步驟提示資訊執行培訓時獲取的資訊；根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果。本申請能提高培訓效率，降低培訓成本，同時保證培訓過程的安全性。
需要說明的是，所述電子設備3集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，該電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體（Read-Only Memory，ROM）。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。系統請求項中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
1:用戶終端 2:混合現實設備 3:電子設備 10, 20:攝像頭 12, 22, 31:記憶體 13,23, 32:處理器 11, 21, 35:通信單元 24:感測器 25:顯示器 33:電腦程式 34:通訊匯流排
圖1是本申請公開的一種基於混合現實的培訓方法的應用環境圖。
圖2是本申請實現基於混合現實的培訓方法的較佳實施例的用戶終端的結構示意圖。
圖3是本申請實現基於混合現實的培訓方法的較佳實施例的混合現實設備的結構示意圖。
圖4是本申請實現基於混合現實的培訓方法的較佳實施例的電子設備的結構示意圖。
圖5是本申請公開的一種基於混合現實的培訓方法的較佳實施例的流程圖。
圖6是本申請公開的在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程的流程圖。
無
S11~S14:步驟

Claims (10)

  1. 一種基於混合現實的培訓方法，應用在電子設備中，所述電子設備與用戶終端和混合現實設備通信連接，其中，所述基於混合現實的培訓方法包括： 接收所述用戶終端發送的目標對象的人臉資訊； 根據所述人臉資訊判斷所述目標對象是否合法； 若所述目標對象合法，發送登錄控制資訊至混合現實設備； 在接收到所述混合現實設備回饋的成功登錄資訊後，啟動混合現實培訓流程，包括： 獲取培訓過程中待使用物料對應的三維虛擬物料； 接收所述混合現實設備發送的真實培訓場景的空間資訊，設置所述三維虛擬物料在所述空間資訊中的位置，將所述三維虛擬物料與設置的位置資訊發送至所述混合現實設備； 發送多個培訓步驟提示資訊至所述混合現實設備； 接收所述混合現實設備即時發送的所述目標對象的肢體三維資訊，其中，所述肢體三維資訊為所述目標對象根據每個培訓步驟提示資訊執行培訓時獲取的資訊； 根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果。
  2. 根據請求項1所述的基於混合現實的培訓方法，其中，所述方法還包括： 根據接收的所述肢體三維資訊更新所述設置的位置資訊，並將更新後的位置資訊發送給所述混合現實設備。
  3. 根據請求項1所述的基於混合現實的培訓方法，其中，所述根據所述人臉資訊判斷所述目標對象是否合法包括： 基於所述人臉資訊提取所述目標對象的人臉特徵資料； 若所述提取到的人臉特徵資料與預先存儲的人臉特徵資料匹配，輸出所述目標對象合法的提示資訊； 若所述提取到的人臉特徵資料與所述預先存儲的人臉特徵資料不匹配，輸出所述目標對象不合法的提示資訊。
  4. 根據請求項1所述的基於混合現實的培訓方法，其中，所述根據所述目標對象的肢體三維資訊確定所述目標對象的培訓結果包括： 獲取所述目標對象在每個培訓步驟中的培訓結果，得到多個培訓結果； 根據所述多個培訓結果確定所述目標對象的培訓結果。
  5. 根據請求項4所述的基於混合現實的培訓方法，其中，所述獲取所述目標對象在每個培訓步驟中的培訓結果，得到多個培訓結果包括： 提取每個培訓步驟中所述目標對象的肢體三維資訊的多個第一關鍵幀圖像及預先存儲的標準操作肢體三維資訊的多個第二關鍵幀圖像； 檢測每個第一關鍵幀圖像中的多個第一肢體關鍵點及每個第二關鍵幀圖像中的多個第二肢體關鍵點； 獲取每個第一肢體關鍵點位於所述第一關鍵幀圖像中的第一三維座標點； 獲取每個第二肢體關鍵點位於所述第二關鍵幀圖像的第二三維座標點； 根據所述第一三維座標點與所述第二三維座標點計算差異度； 根據多個所述差異度分別確定所述目標對象在每個培訓步驟的培訓結果。
  6. 根據請求項5所述的基於混合現實的培訓方法，其中，所述根據所述第一三維座標點與所述第二三維座標點計算所述差異度包括： 根據時間軸的順序關聯所述第一三維座標點和第二三維座標點； 計算關聯後的所述第一三維座標點和第二三維座標點之間的歐氏距離得到所述差異度。
  7. 根據請求項5所述的基於混合現實的培訓方法，其中，所述根據多個所述差異度分別確定所述目標對象在每個培訓步驟的培訓結果包括： 分別計算所述每個培訓步驟中差異度的方差； 根據所述方差與預設的閾值區間分別確定所述目標對象在所述每個培訓步驟中的分值，其中每個閾值區間對應一個分值。
  8. 根據請求項4所述的基於混合現實的培訓方法，其中， 根據所述每個培訓結果與其對應的權重，確定所述目標對象的培訓結果，其中所述權重表示每個培訓步驟的關鍵程度。
  9. 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現如請求項1至請求項8中任意一項所述的基於混合現實的培訓方法。
  10. 一種電腦可讀存儲介質，其中，所述電腦可讀存儲介質存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至請求項8中任意一項所述的基於混合現實的培訓方法。
TW109146747A 2020-12-22 2020-12-29 基於混合現實的培訓方法、電子設備及存儲介質 TWI794715B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011530770.9A CN114721497A (zh) 2020-12-22 2020-12-22 基于混合现实的培训方法、电子设备及存储介质
CN202011530770.9 2020-12-22

Publications (2)

Publication Number Publication Date
TW202228009A true TW202228009A (zh) 2022-07-16
TWI794715B TWI794715B (zh) 2023-03-01

Family

ID=82229917

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146747A TWI794715B (zh) 2020-12-22 2020-12-29 基於混合現實的培訓方法、電子設備及存儲介質

Country Status (2)

Country Link
CN (1) CN114721497A (zh)
TW (1) TWI794715B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI851486B (zh) 2023-11-27 2024-08-01 鴻海精密工業股份有限公司 圖像檢視方法、電子設備及儲存介質

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL298851B2 (en) * 2016-07-25 2023-12-01 Magic Leap Inc Change, display and visualization of imaging using augmented and virtual reality glasses
US20190130792A1 (en) * 2017-08-30 2019-05-02 Truinject Corp. Systems, platforms, and methods of injection training
CN111626234A (zh) * 2020-05-29 2020-09-04 江苏中车数字科技有限公司 一种智能制造系统平台的实现方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI851486B (zh) 2023-11-27 2024-08-01 鴻海精密工業股份有限公司 圖像檢視方法、電子設備及儲存介質

Also Published As

Publication number Publication date
TWI794715B (zh) 2023-03-01
CN114721497A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US10664580B2 (en) Sign-in system, method, apparatus and server based on facial recognition
KR102063037B1 (ko) 신원 인증 방법, 단말기 장치 및 컴퓨터 판독 가능한 저장 매체
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
CN107066983B (zh) 一种身份验证方法及装置
US12079940B2 (en) Multi-endpoint mixed-reality meetings
US11257293B2 (en) Augmented reality method and device fusing image-based target state data and sound-based target state data
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
WO2020125500A1 (zh) 机器人避障控制方法、装置及终端设备
CN113240031B (zh) 全景图像特征点匹配模型的训练方法、装置以及服务器
CN111738769B (zh) 视频处理方法及装置
CN110209285B (zh) 一种基于手势控制的沙盘展示系统
CN105117633B (zh) 人脸识别Windows系统登录验证系统
CN113656761B (zh) 基于生物识别技术的业务处理方法、装置和计算机设备
CN113934297B (zh) 一种基于增强现实的交互方法、装置、电子设备及介质
US20210065353A1 (en) Automated collectible card grading system
TW201504839A (zh) 可攜式電子裝置及互動式人臉登入方法
CN106445344A (zh) 一种截图处理方法及装置
KR20220122937A (ko) 정보 검증 방법, 장치, 설비 및 매체
CN111881431A (zh) 人机验证方法、装置、设备及存储介质
TWI794715B (zh) 基於混合現實的培訓方法、電子設備及存儲介質
CN111831991A (zh) 输入操作检测方法、装置、计算设备和介质
CN112016889A (zh) 流程构建方法、装置、电子设备及存储介质
CN112055013A (zh) 一种自动化认证方法、装置、设备和存储介质
CN112866171A (zh) 一种虚拟现实设备登录其他社交平台并获取相关信息的方法
CN113269214A (zh) 图形相似度的分析方法、装置、设备及存储介质