TW202111487A

TW202111487A - 人類行為理解系統及人類行為理解方法

Info

Publication number: TW202111487A
Application number: TW108144985A
Authority: TW
Inventors: 謝毅剛; 黃靖甯; 許堅致
Original assignee: 未來市股份有限公司
Priority date: 2019-09-10
Filing date: 2019-12-09
Publication date: 2021-03-16
Also published as: EP3792817A1; JP2021043930A; CN112560565A

Abstract

本發明提供一種行為理解系統及行為理解方法。此行為理解系統包括感測器及處理器。感測器感測人體部位在一時間週期內的動作。取得感測器所感測的序列的動作感測資料。根據動作感測資料產生分別對應於時間週期內的至少兩個時間點的至少兩個比較結果。透過將動作感測資料與基礎動作資料進行比較，產生所述至少兩個比較結果。此基礎動作資料與多個基礎動作相關。根據至少兩個比較結果決定人體部位的行為資訊。此行為資訊與由基礎動作中的至少一者形成的行為相關。藉此，可改進行為理解的準確性，且實施例可快速地預測行為。

Description

人類行為理解系統及人類行為理解方法

本發明是有關於一種用於估測行為的方法，且特別是有關於一種行為理解系統及一種行為理解方法。

人類動作分析及行為理解的問題多年來一直存在，並因其廣泛的潛在應用而引起了許多研究的興趣。

然而，由於人類動作的複雜性質，理解人類行為的任務仍是困難的。而使任務更複雜化的是需要在執行速度及幾何變形（如主體的大小、其在場景中的位置及其相對於感測器的方位）方面為穩健的。另外，在一些背景下，人類行為意味著與物件的互動。儘管此種互動可幫助區分相似的人類動作，但也增加了挑戰，如身體部分的遮擋（occlusion）。

在現有技術中，提供一個或更多個感測器來感測使用者的動作，且基於感測器的感測結果估測使用者的行為。然而，人類有非常多種行為，且使用者的行為相當難以被準確地預測。有鑑於此，本發明實施例提供一種人類行為理解系統及人類行為理解方法，根據一個或多個基礎動作來估測用戶的行為。

本發明實施例的人類行為理解方法包括但不限於以下步驟：取得序列的動作感測資料，且此動作感測資料是透過感測人體部位在一時間週期內的動作而產生。產生分別對應於至少兩個時間點的至少兩個比較結果。透過將動作感測資料與基礎動作資料進行比較，產生至少兩個比較結果。基礎動作資料與多個基礎動作相關。根據比較結果決定人體部位的行為資訊。行為資訊與由至少一個基礎動作形成的行為相關。

本發明實施例的人類行為理解系統包括但不限於感測器及處理器。感測器用於感測人體部位在一時間週期內的動作。處理器經配置用以執行以下步驟：產生分別對應於至少兩個時間點的至少兩個比較結果。時間點在時間週期內。透過將動作感測資料與基礎動作資料進行比較，產生至少兩個比較結果。基礎動作資料與多個基礎動作相關。根據比較結果決定人體部位的行為資訊。行為資訊與由至少一個基礎動作形成的行為相關。

基於上述，在本發明實施例的人類行為理解方法及人類行為理解系統中，在不同時間點所取得的動作感測資料與預定行為比對。各預定行為相關於一個或更多個預定基礎動作。對應於多個時間點的動作感測資料的這些基礎動作將受檢查是否與預定行為匹配，以決定人體部位的當前行為資訊。藉此，可改進行為理解的準確度，且本發明實施例可快速地預測行為資訊。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參照本發明的當前優選實施例，在附圖中示出所述優選實施例的實例。盡可能地，在圖式及說明中使用相同的元件符號代表相同或相似的部件。

圖1是根據本發明示例性實施例中的一者的人類行為理解系統100的方塊圖。參照圖1，人類行為理解系統100包括但不限於一個或多個感測器110、記憶體130及處理器150。人類行為理解系統100可適用於虛擬實境（virtual reality，VR）、增強現實（augmented reality，AR）、混合現實（mixed reality，MR）、擴展現實（extended reality，XR）或其他現實相關技術。

感測器110可為加速度計、陀螺儀、磁強計、雷射感測器、慣性測量單元（inertial measurement unit，IMU）、紅外線（infrared ray，IR）感測器、影像感測器、深度相機或前述感測器的任何組合。在本發明的實施例中，感測器110用於感測一個或多個人體部位在一時間週期內的動作。人體部位可為手、頭、腳踝、腿、腰或其他部分。感測器110可感測對應人體部位的動作，以根據感測器110在此時間週期內的多個時間點處的感測結果（例如，相機影像、所感測到的強度值等）產生序列的動作感測資料。例如，動作感測資料包括3自由度（3-degree of freedom，3-DoF）資料，且3-DoF資料與人體部位在三維（three-dimensional，3D）空間中的旋轉資料（例如橫擺（yaw）、翻滾（roll）及俯仰（pitch）中的加速度）相關。又例如，動作感測資料包括人體部位在二維（two-dimensional，2D）/3D空間中的相對位置和/或位移。應注意，感測器110可嵌入於手持控制器或例如可穿戴控制器、智慧手錶、腳踝感測器、頭戴式顯示器（head-mounted display，HMD）等可穿戴設備中。

記憶體130可為任何類型的固定的或可移動的隨機存取記憶體（Random-Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體或相似裝置或者以上裝置的組合。記憶體130可用於儲存程式碼、裝置配置、緩衝資料或永久資料（例如動作感測資料、比較結果、與基礎動作相關的資訊等），且稍後將介紹這些資料。

處理器150耦接記憶體130，且處理器150經配置用以載入儲存在記憶體130中的程式碼，以執行本發明示例性實施例的過程。處理器150的功能可使用例如中央處理單元（central processing unit，CPU）、微處理器、微控制器、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field programmable gate array，FPGA）等可程式設計單元來實施。處理器150的功能也可透過獨立的電子裝置或積體電路（integrated circuit，IC）來實施，且處理器150的操作也可透過軟體來實施。

應注意，處理器150可與感測器110設置在同一設備處，也可不與感測器110設置在同一設備處。然而，分別配備有感測器110及處理器150的設備可更包括具有相容通信技術的通信收發器（例如藍牙、無線保真（wireless fidelity，Wi-Fi）、IR或實體傳輸線），以彼此傳輸/接收資料。

圖2是根據本發明示例性實施例中的一者的人類行為理解系統200的示意圖。參照圖2，人類行為理解系統200包括HMD 120、兩個腳踝感測器140及兩個手持控制器160。IMU 111及IMU 113（即，感測器110）嵌入在腳踝感測器140及手持控制器160中，以取得動作感測資料的第一部分。立體相機（即，感測器110）及處理器150嵌入在HMD 120中，且立體相機可經配置用以朝向人體部位B1至B5中的一者或多者擷取相機影像，以決定動作感測資料的第二部分。

在一些實施例中，序列的動作感測資料可透過對同一人體的動作感測資料的第一部分與動作感測資料的第二部分加以組合來產生。例如，基於一個或多個時間點的動作感測資料的第一部分決定一個動作感測資料，且基於一個或多個其他時間點的動作感測資料的第二部分決定另一個動作感測資料。又例如，將一個時間點的動作感測資料的第一部分及動作感測資料的第二部分與其權重關係融合，以決定動作感測資料的序列中的一者。

在一些實施例中，序列的動作感測資料可僅根據動作感測資料的第一部分或動作感測資料的第二部分來產生。例如，選擇動作感測資料的第一部分及動作感測資料的第二部分中的一者來決定序列的動作感測資料，且將忽略未選擇的動作感測資料。

在一些實施例中，HMD 120可更包括另一IMU（未示出），以取得人體部位B5（即，頭）的旋轉資訊。HMD 120、腳踝感測器140及手持控制器160可透過相容通訊技術彼此通訊。

應注意，人類行為理解系統200僅為示出感測器110及處理器150的設置方式及通訊方式的實例。然而，仍可存在行為理解系統100的其他實施方案，且本發明不限於此。

為更好地理解本發明的一個或多個實施例中所提供的操作過程，以下將舉例說明幾個實施例，以詳細說明人類行為理解系統100或人類行為理解系統200的操作過程。在以下實施例中應用人類行為理解系統100或人類行為理解系統200中的裝置及模組來解釋本文中所提供的控制方法。控制方法的每一步驟可根據實際的實施情況進行調整，且不應限於本文中所述者。

本發明的實施例中的術語“行為”由三種類型來定義：人類手勢、人類動作及人類活動。每一類型的行為的特徵在於動作複雜度的特定程度、人-物件互動的特定程度以及行為的特定持續時間。例如，手勢行為具有低的複雜度和短的持續時間，動作行為具有中等的複雜度和中等的持續時間，且活動行為具有高的複雜度和長的持續時間。對於手勢行為來說，與另一個物件互動是不可能的，且對於動作行為及活動行為來說，與另一個物件互動是可能的。一種手勢行為的特徵可在於人體部位（通常是手臂）的僅一個部分的動作。一種動作行為的特徵可在於稍微更複雜的移動（其也可為多個手勢的組合），或者特徵可在於多個人體部位的動作。另外，活動行為的特徵可在於高水準的動作複雜度，其中連續地執行多個移動或動作。

圖3是根據本發明示例性實施例中的一者的人類行為理解方法的流程圖。參照圖3，透過感測器110取得動作感測資料（步驟S310）。就不同類型的感測器110來說，可取得對應人體部位在2D/3D空間中的動作的加速度、旋轉、磁力、方位、距離和/或位置（此後稱為感測結果），且感測器110的一個或多個感測結果將成為人體部位的動作感測資料。

以人類行為理解系統200為例，可決定人體部位B1的6-DoF資訊。圖4是根據本發明示例性實施例中的一者的動作偵測方法的流程圖。參照圖2及圖4，腳踝感測器140包括具有加速度計、陀螺儀及磁強計的功能的IMU 111，且取得人體部位B1的加速度A、旋轉（其可包括方位及角速度）G及磁場M（步驟S401）。將根據在人體部位B1上感測到的加速度A、旋轉G及磁力M來估測人體部位B1的姿勢（步驟S402），且可決定人體部位B1在預定坐標系中的旋轉資訊。例如，姿勢可為向上旋轉、向左旋動等。

另一方面，立體相機朝向人體部位B1擷取單張影像m1、m2（步驟S403）。處理器150可對單張影像m1、m2執行魚眼形變校正處理（fisheye dewarp process），且產生形變校正影像M1、M2（步驟S404）。將透過機器學習技術（例如，深度學習、人工神經網路（artificial neural network，ANN）或支援向量機（support vector machine，SVM）等）來識別形變校正影像M1、M2中的人體部位B1。接著，可使用與人體部位B1對應的感測強度及像素位置來估測人體部位B1的深度資訊（即，相對於HMD 120的距離）（步驟S405）以及估測人體部位B1在平行於立體相機的平面處的2D位置（步驟S406）。處理器150可根據在步驟S405及步驟S406處估測的人體部位B1的距離及2D位置在預定坐標系中產生3D位置（步驟S407）。接著，可融合人體部位B1在預定坐標系中的旋轉及3D位置（步驟S408），且可輸出將被視為動作感測資料的6-DoF資訊（步驟S409）。

在另一個實施例中，可根據人體部位B5的3D位置及人體部位B1的旋轉資訊來決定人體部位B1的3D位置。具體來說，可在人體部位B5上配備6-DoF感測器，以取得人體部位B5的位置及旋轉資訊。另一方面，如在步驟S402處所述，可取得人體部位B1的旋轉資訊。接著，可透過人體部位B1在三個軸上的所偵測加速度的二重積分（double integral）來估測人體部位B1的位移。然而，當用戶行走時，可能累積使用者的人體部位B1的所估測位移的誤差，且人體部位B1的所估測位置將不準確。為提高所估測位置的準確度，可將人體部位B5的位置視為用戶的參考點，且可根據參考點校正人體部位B1的所估測位置。在行走或跑步時，人體部位B5的位移將對應於具有例如抬腿、展開腿、任何其他行走或跑步姿勢等特定姿勢的人體部位B1的位移。具有特定姿勢的人體部位B1的位置可被視為復位位置（reset position），且復位位置具有與參考點對應的特定相對位置。當處理器150根據人體部位B1的位移決定用戶正在行走或跑步時，可根據與參考點對應的特定相對位置在重定位置處校正人體部位B1的所估測位置，以去除由IMU 111產生的估測誤差。

應注意，仍存在許多其他用於取得動作感測資料的實施例。例如，可在人體部位B1上配備6-DoF感測器，以使6-DoF資訊為動作感測資料。又例如，可在人體部位B1上配備深度相機，以使所偵測的深度資訊為動作感測資料。

參照圖3，處理器150可產生分別對應於至少兩個時間點的至少兩個比較結果（步驟S330）。具體來說，透過將動作感測資料與基礎動作資料進行比較，產生每一比較結果。基礎動作資料與多個基礎動作相關，且基礎動作資料可包括每一基礎動作的特定動作感測資料。以人體部位B1或人體部位B2為例，基礎動作可為上抬（lifting）、點（pointing）、踢腿（kicking）、跨步（stepping）或跳躍（jumping）。上抬基礎動作可與動作感測資料的特定姿勢相關。依序執行一個或多個基礎動作以形成行為。此意味著，每一行為與具有時間順序的一個或多個基礎動作相關聯。此時間順序包括多個時間點。一個行為可在多個時間點分成一個或多個基礎動作。例如，人體部位B1的踢腿行為包括在兩個時間點依序進行的上抬基礎動作及踢腿基礎動作。應注意，兩個相鄰時間點之間的持續時間可為固定的或者可基於實際需要而為可變的。

在一些實施例中，將會將每一時間點的動作感測資料與基礎動作資料中的多個預定基礎動作進行比較，以產生比較結果。每一預定基礎動作與例如在3D空間中的特定位置及特定方位等特定動作感測資料相關聯。另外，由於多個基礎動作的順序是形成一個行為的必要條件，因此將不同時間點的比較結果儲存在記憶體130中以供以後使用。應注意，在實施例中所闡述的順序被敘述成透過基礎動作的發生時間點對基礎動作進行排序。

在一些實施例中，多個基礎動作的特定動作感測資料可為用於訓練分類器的訓練樣本或基於機器學習技術的神經網路模型。分類器或神經網路模型可用於辨識哪一基礎動作對應於在步驟S310取得的動作感測資料，或者決定所偵測的人體部位的動作是基礎動作中的一者的可能性。

在一些實施例中，比較結果可為最相似的一個或多個基礎動作或者分別對應於不同基礎動作的可能性。

在一些實施例中，為量化可能性，可使用動作感測資料與基礎動作資料之間的匹配程度來表示所偵測的人體部位的動作是特定基礎動作的一個可能性。匹配程度可為自0%到100%的值，以呈現人體部位的動作是特定基礎動作的可能性，且與所有預定基礎動作對應的匹配程度的總和可為例如100%。例如，在一時間點的比較結果包括10%的上抬基礎動作、0%的點基礎動作、75%的踢腿基礎動作、3%的跨步基礎動作及22%的跳躍基礎動作。

在一些實施例中，可根據與每一時間點的所有基礎動作對應的匹配程度選擇一個或多個基礎動作來作為比較結果的代表。例如，具有最高匹配程度的一個或多個基礎動作可為比較結果的代表。又例如，匹配程度大於門檻值（例如60%、75%或80%）的一個或多個基礎動作可為比較結果的代表。

應注意，比較結果包括與前述實施例中的所有預定基礎動作對應的多個匹配程度。然而，仍可存在其他用於決定比較結果的實施方案。例如，比較結果可包括在步驟S310取得的動作感測資料與基礎動作的特定動作感測資料之間的差異，且具有較小差異的一個或多個基礎動作可為比較結果的代表。另外，可根據人體幾何結構的限制首先選擇基礎動作來與動作感測資料進行比較。例如，大部分人類無法相對於其胸部在水平方向上將其手臂朝後伸展達特定程度。

在一些實施例中，除預定基礎動作以外，可使用序列的動作感測資料及機器學習演算法來訓練與基礎動作資料中的預定基礎動作不同的非預定基礎動作。例如，如果不存在匹配程度大於門檻值的預定基礎動作，則在當前時間點的動作感測資料將為用於訓練分類器的訓練樣本或新基礎動作的神經網路模型。

參照圖3，處理器150可根據那至少兩個比較結果決定人體部位的行為資訊（步驟S350）。如之前所提及，依序執行一個或多個基礎動作以形成一個行為。行為資訊與由基礎動作中的至少一者形成的行為相關。不同時間點的比較結果將被基於其順序加以組合，以決定哪一預定行為與比較結果的組合匹配。每一預定行為依次與一個或多個特定基礎動作相關聯。在一個實施例中，決定在步驟S330所決定的比較結果的連續性。這些已決定基礎動作（即，比較結果的代表）之間的連續性與基礎動作的執行順序相關。例如，第三時間點的基礎動作是第二時間點的另一基礎動作之後執行。將根據連續性決定人體部位的行為。處理器150可選擇包括與較早時間點的動作感測資料對應的所決定基礎動作的一個或多個預定行為，且將檢查所選擇的預定行為是否更包括後續時間點的另一所決定基礎動作。或者，會將一個組合中的多個比較結果與同一時間點的預定行為進行比較，且處理器150可根據此組合直接輸出結果。此結果與組合是否和一個預定行為匹配相關。行為資訊可包括但不限於所決定的行為、形成所決定的行為的多個基礎動作及對應的序列的動作感測資料。

圖5是根據本發明示例性實施例中的一者的不同時間點的行為理解的示意圖。圖6A及圖6B是根據本發明示例性實施例中的一者的兩種行為的示意圖。參照圖5及圖6A，就人體部位B1來說，例如，根據第一時間點t1的動作感測資料決定上抬基礎動作，且根據第二時間點t2的動作感測資料決定點基礎動作。時間視窗W1內的兩個所決定基礎動作將被組合成一個組合。實施例中的時間視窗與一個組合中的比較結果的數目相關。接著，處理器150可根據此組合（即，上抬基礎動作與踢腿基礎動作）決定執行跨步行為。其連續性相關於在上抬基礎動作之後執行點基礎動作。

參照圖5及圖6B，就人體部位B1及人體部位B2來說，例如，根據第三時間點t3的動作感測資料決定深蹲（deep squatting）基礎動作，且根據第四時間點t4的動作感測資料決定跳躍基礎動作。時間視窗W3內的兩個所決定基礎動作將被組合成一個組合。接著，處理器150可根據此組合（即，深蹲基礎動作與跳躍基礎動作）決定執行跳躍行為。此連續性被敘述成在深蹲基礎動作之後執行跳躍基礎動作。

因此，在不取得後續時間點的進一步的動作感測資料的條件下，可正確地預測一個行為。

應注意，時間窗口可為可變的。反應於比較結果不與任何預定行為匹配，可擴大時間視窗以包括一個組合中的更多比較結果。例如，參照圖5，時間視窗W1放大而變成時間視窗W2，且時間視窗W2內的組合包括三個時間點的三個比較結果。將判斷時間視窗W2內的組合是否與任何預定行為匹配。

另一方面，反應於比較結果與一個預定行為匹配，可減小或維持時間視窗。例如，參照圖5，在時間視窗W2內的組合與一個預定行為匹配之後，時間視窗W2減小而變成時間視窗W3。時間視窗W3內的另一組合包括兩個時間點t3及t4的兩個比較結果。接著，處理器150可判斷時間視窗W3內的組合是否與任何預定行為匹配。

應注意，匹配程度的值可與比較結果為正確的信賴度相關。在一個實施例中，可將每一時間點的比較結果的代表的匹配程度與門檻值進行比較。門檻值可為例如50%、70%或80%。反應於代表的匹配程度大於門檻值，將使用此代表來決定人體部位的行為。例如，門檻值是60%，且75%的跳躍基礎動作將作為用於決定行為的參考。

另一方面，反應於代表的匹配程度不大於門檻值，將不使用此代表來決定人體部位的行為。此代表將被捨棄或被賦予較低優先順序。例如，門檻值是80%，且65%的踢腿基礎動作將被捨棄，且踢腿基礎動作將不作為決定行為的參考。又例如，門檻值是60%，決定第一時間點的65%的點基礎動作、第二時間點的55%的上抬基礎動作及第三時間點的80%的踢腿基礎動作。處理器150可不認為透過這三個基礎動作執行踢腿行為。

另外，一個行為可與多個人體部位的基礎動作相關。例如，參照圖2，假定用戶的行為是跑步。在一個時間點，人體部位B1的動作可對應於上抬基礎動作，且人體部位B2的動作可對應於點基礎動作。在一個實施例中，將取得透過感測另一人體部位的動作產生的第二動作感測資料，根據第二動作感測資料決定分別對應於那至少兩個時間點的至少兩個第二比較結果，且根據在步驟S330決定的那至少兩個比較結果以及那至少兩個第二比較結果決定人體部位的行為。取得第二動作感測資料和決定第二比較結果的方式可分別與步驟S310及步驟S330相同或相似，且將省略相關說明。與前述實施例的差異在於，在本實施例中，一個人體部位的一些預定行為與多個人體部位的多個特定基礎動作相關聯。處理器150可檢查兩個或更多個人體部位的所決定基礎動作是否與一個預定行為匹配。

例如，根據第一時間點t1的人體部位B1的動作感測資料決定上抬基礎動作，且根據第二時間點t2的人體部位B1的動作感測資料決定點基礎動作。另外，根據第一時間點t1的人體部位B2的動作感測資料決定點基礎動作，且根據第二時間點t2的人體部位B2的動作感測資料決定上抬基礎動作。接著，處理器150可根據人體部位B1及人體部位B2的所決定基礎動作的組合決定執行跑步行為。

應注意，基於一個不同的設計要求，在其他實施例中，一個或多個預定行為可與三個或更多個人體部位的多個基礎動作相關聯。處理器150可判斷這些人體部位的比較結果是否與任何預定行為匹配。

在決定人體部位的行為資訊之後，可根據所決定行為修改顯示器中呈現的虛擬化身（avatar）或影像的動作。例如，腿的行為是跑步，且虛擬替身可相應地跑步。又例如，頭的行為是抬頭，且在顯示器的影像中將示出天空。

綜上所述，在本發明實施例的人類行為理解系統及人類行為理解方法中，首先在各時間點判斷特定人體部位的動作是否與一個或更多個基礎動作匹配。將兩個或更多個已決定的基礎動作與多個預定行為比對，以決定一個匹配行為。此外，連續性及匹配程度也可作為估測行為的條件。藉此，可改善行為理解的準確度，且本案發明實施例可快速地預測行為。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、200:行為理解系統 110:感測器 111、113:IMU 120:HMD 130:記憶體 140:腳踝感測器 150:處理器 160:手持控制器 B1~B5:人體部位 S310~S350、S401~S409:步驟 t1~t4:時間點 G:旋轉 A:加速度 M:磁力 m1、m2:影像 M1、M2:形變校正影像 W1~W3:時間視窗

圖1是根據本發明示例性實施例中的一者的人類行為理解系統的方塊圖。圖2是根據本發明示例性實施例中的一者的人類行為理解系統的示意圖。圖3是根據本發明示例性實施例中的一者的人類行為理解方法的流程圖。圖4是根據本發明示例性實施例中的一者的動作偵測方法的流程圖。圖5是根據本發明示例性實施例中的一者的在不同時間點處的行為理解的示意圖。圖6A及圖6B是根據本發明示例性實施例中的一者的兩種行為的示意圖。

S210~S350:步驟

Claims

一種人類行為理解方法，包括：取得一序列的動作感測資料，其中所述動作感測資料是透過感測人體部位在一時間週期內的動作而產生；產生分別對應於至少二時間點的至少二比較結果，其中所述至少二時間點在所述時間週期內，且所述至少二比較結果是透過將所述動作感測資料與一基礎動作資料進行比較來產生，其中所述基礎動作資料與多個基礎動作相關；以及根據所述至少二比較結果決定所述人體部位的行為資訊，其中所述行為資訊與所述基礎動作中的至少一者所形成的行為相關。
如申請專利範圍第1項所述的人類行為理解方法，其中產生分別對應於所述至少二時間點的所述至少二比較結果的步驟包括：決定所述動作感測資料與所述基礎動作資料之間的匹配程度，其中所述至少二比較結果中的每一者包括所述匹配程度，且所述匹配程度與所述感測動作資料是所述基礎動作中的一者的可能性相關。
如申請專利範圍第2項所述的人類行為理解方法，其中根據的所述動作感測資料決定分別對應於所述基礎動作的所述匹配程度的步驟包括：在每一所述時間點根據所述匹配程度選擇所述基礎動作中的一者來作為所述至少二比較結果中的一者的代表。
如申請專利範圍第3項所述的人類行為理解方法，其中根據所述至少二比較結果決定所述人體部位的所述行為資訊的步驟包括：將所述代表的所述匹配程度與一門檻值進行比較；反應於所述代表的所述匹配程度大於所述門檻值，決定所述人體部位的所述行為資訊；以及反應於所述代表的所述匹配程度不大於所述門檻值，不決定所述人體部位的所述行為資訊。
如申請專利範圍第1項所述的人類行為理解方法，其中根據所述至少二比較結果決定所述人體部位的所述行為資訊的步驟包括：決定所述至少二比較結果的連續性，其中所述連續性與所述基礎動作中的至少兩者的執行順序相關；以及根據所述連續性決定所述人體部位的所述行為資訊。
如申請專利範圍第1項所述的人類行為理解方法，其中取得所述序列的動作感測資料的步驟包括：取得多個相機影像；以及根據所述相機影像決定所述序列的動作感測資料。
如申請專利範圍第1項所述的人類行為理解方法，其中取得所述序列的動作感測資料的步驟包括：自一慣性測量單元（inertial measurement unit，IMU）取得所述序列的動作感測資料。
如申請專利範圍第1項所述的人類行為理解方法，其中取得所述序列的動作感測資料的步驟包括：取得多個相機影像；以及根據所述相機影像及來自一慣性測量單元的感測結果決定所述序列的動作感測資料。
如申請專利範圍第1項所述的人類行為理解方法，更包括：使用所述序列的動作感測資料及機器學習演算法將與所述基礎動作不同的非預定基礎動作添加到所述基礎動作資料中。
一種人類行為理解系統，包括：一感測器，感測一人體部位在一時間週期內的動作；以及一處理器，經配置用以執行：取得所述感測器的一序列的動作感測資料；產生分別對應於至少二時間點的至少二比較結果，其中所述至少二時間點在所述時間週期內，且所述至少二比較結果是透過將所述動作感測資料與一基礎動作資料進行比較來產生，其中所述基礎動作資料與多個基礎動作相關；以及根據所述至少二比較結果決定所述人體部位的行為資訊，其中所述行為資訊與所述基礎動作中的至少一者所形成的行為相關。
如申請專利範圍第10項所述的人類行為理解系統，其中所述處理器經配置用以執行：決定所述動作感測資料與所述基礎動作資料之間的匹配程度，其中所述至少二比較結果中的每一者包括所述匹配程度，且所述匹配程度與所述動作是所述基礎動作中的一者的可能性相關。
如申請專利範圍第11項所述的人類行為理解系統，其中所述處理器經配置用以執行：在每一所述時間點根據所述匹配程度選擇所述基礎動作中的一者來作為所述至少二比較結果中的一者的代表。
如申請專利範圍第12項所述的人類行為理解系統，其中所述處理器經配置用以執行：將所述代表的所述匹配程度與一門檻值進行比較；反應於所述代表的所述匹配程度大於所述門檻值，決定所述人體部位的所述行為資訊；以及反應於所述代表的所述匹配程度不大於所述門檻值，不決定所述人體部位的所述行為資訊。
如申請專利範圍第10項所述的人類行為理解系統，其中所述處理器經配置用以執行：決定所述至少二比較結果的連續性，其中所述連續性與所述基礎動作中的至少兩者的執行順序相關；以及根據所述連續性決定所述人體部位的所述行為資訊。
如申請專利範圍第10項所述的人類行為理解系統，其中所述感測器取得多個相機影像，且所述處理器被進一步配置成執行：根據所述相機影像決定所述序列的動作感測資料。
如申請專利範圍第10項所述的人類行為理解系統，其中所述感測器是慣性測量單元，且所述處理器更經配置用以執行：自所述慣性測量單元取得所述序列的動作感測資料。
如申請專利範圍第10項所述的人類行為理解系統，其中所述感測器取得多個相機影像，且所述人類行為理解系統更包括：一第二感測器，其中所述第二感測器是一慣性測量單元，且所述處理器更經配置用以執行：根據所述相機影像及來自所述慣性測量單元的感測結果決定所述序列的動作感測資料。
如申請專利範圍第10項所述的人類行為理解系統，其中所述處理器經配置用以執行：使用所述序列的動作感測資料及機器學習演算法將與所述基礎動作不同的非預定基礎動作添加到所述基礎動作資料中。