TWI710972B - 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體 - Google Patents

基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI710972B
TWI710972B TW108139686A TW108139686A TWI710972B TW I710972 B TWI710972 B TW I710972B TW 108139686 A TW108139686 A TW 108139686A TW 108139686 A TW108139686 A TW 108139686A TW I710972 B TWI710972 B TW I710972B
Authority
TW
Taiwan
Prior art keywords
atomic
standard
posture
living body
hash key
Prior art date
Application number
TW108139686A
Other languages
English (en)
Other versions
TW202119277A (zh
Inventor
黃奕禧
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW108139686A priority Critical patent/TWI710972B/zh
Priority to CN201911248194.6A priority patent/CN112784658A/zh
Priority to US16/789,333 priority patent/US11386564B2/en
Application granted granted Critical
Publication of TWI710972B publication Critical patent/TWI710972B/zh
Publication of TW202119277A publication Critical patent/TW202119277A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一種基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體。獲取包括活體的視頻圖幀。分析視頻圖幀中的活體而產生原子姿勢特徵值。依據原子姿勢特徵值執行雜湊函數而產生原子姿勢雜湊鍵值。藉由比對原子姿勢雜湊鍵值，辨識人體執行特定動作。

Description

基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體
本發明是有關於一種人體動作辨識，且特別是有關於一種基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體。
人體動作辨識於學術與產業界一直是很熱門的研究與應用目標，其可應用至虛擬實境、遊戲、運動訓練、健康照護、居家安全、人性化人機介面與教育等等不同的領域。目前人體動作辨識技術可分為兩類，其分別為基於電腦視覺的人體動作辨識系統以及基於穿戴式感測器的人體動作辨識系統。基於穿戴式感測器的人體動作辨識系統必須於人體身上設置感測器才有辦法進行動作辨識，對於沒有穿戴感測器的人體無法進行動作辨識。
基於電腦視覺的人體動作辨識系統可透過分析影像來進行動作辨識，無須於人體上設置任何感測器。目前來說，基於電腦視覺的人體動作辨識系統可使用基於模版比對的方法或基於機器學習的方法來進行動作辨識。基於機器學習的方法需耗費龐大的運算資源，且機器學習模型的建立相當耗時。此外，基於模版比對的方法一般使用動態時間扭曲（dynamic time warping，DTW）處理來進行動作辨識。然而，動態時間扭曲處理的時間複雜度（Time Complexity）與空間複雜度（Space Complexity）相當高，因而難以適用於運算資源受限的嵌入式平台。
有鑑於此，本發明提出一種基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體，其可有效降低運算複雜度。
本發明實施例提供一種基於原子姿勢的動作辨識方法，所述方法包括下列步驟。獲取包括活體的視頻圖幀。分析視頻圖幀中的活體而產生原子姿勢特徵值。依據原子姿勢特徵值執行雜湊函數而產生原子姿勢雜湊鍵值。藉由比對原子姿勢雜湊鍵值，以辨識人體執行特定動作。
本發明實施例提供一種動作辨識系統，其包括儲存裝置與處理器，處理器耦接儲存裝置。處理器經配置以執行下列步驟。獲取包括活體的視頻圖幀。分析視頻圖幀中的活體而產生原子姿勢特徵值。依據原子姿勢特徵值執行雜湊函數而產生原子姿勢雜湊鍵值。藉由比對原子姿勢雜湊鍵值，以辨識人體執行特定動作。
本發明實施例提供一種電腦可讀取記錄媒體，上述電腦可讀取記錄媒體記錄電腦程式，其經由上述動作辨識系統的處理器載入以執行上述動作辨識方法的步驟。
基於上述，於本發明的實施例中，動作辨識系統可獲取視頻圖幀中人體所呈現的原子姿勢特徵值，並依據原子姿勢特徵值與雜湊函數產生各張視頻圖幀中原子姿勢雜湊鍵值。於是，藉由比對各張視頻圖幀中原子姿勢雜湊鍵值與關聯於特定動作的雜湊表，可判斷人體是否執行動態的特定姿勢。藉此，可大幅降低運算複雜度而使人體動作辨識的應用範圍更廣泛。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、系統與電腦可讀取記錄媒體的範例。
圖1是依照本發明一實施例的動作辨識系統的示意圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹動作辨識系統中的所有構件以及配置關係，詳細功能與操作將配合圖2與圖3一併揭露。
請參照圖1，動作辨識系統10包括儲存裝置110、處理器120，以及攝像裝置130，其中處理器120耦接至攝像裝置130以及儲存裝置110。在一實施例中，動作辨識系統10可包括具有儲存裝置110與處理器120的電腦系統，以及外接於上述電腦系統的影像擷取裝置130。例如，動作辨識系統10可以是由筆記型電腦或桌上型電腦與外接攝影機而構成，本發明不在此設限。在另一實施例中，動作辨識系統10可以是將攝像裝置130、儲存裝置110，以及處理器120整合為單一電子裝置。例如，動作辨識系統10可以是智慧型手機、平板電腦等具有影像擷取功能的電子裝置，本發明不在此設限。
攝像裝置130用以朝一空間擷取影像而產生包括連續視頻圖幀的視頻串流，並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。具體而言，攝像裝置120可以是深度攝影機（depth camera）、立體攝影機或紅綠藍（RGB）攝影機，本發明對此不限制。
儲存裝置110用以儲存影像、程式碼、軟體元件等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
處理器120用以控制動作辨識系統10的構件之間的作動，其例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）、圖形處理器（Graphics Processing Unit，GPU或其他類似裝置或這些裝置的組合。處理器120可執行記錄於儲存裝置110中的程式碼、軟體模組、指令等等，以實現本發明實施例的動作辨識方法。
圖2是依照本發明一實施例的動作辨識方法的流程圖。請參照圖2，本實施例的方法適用於圖1中的動作辨識系統10，以下即搭配動作辨識系統10中的各項元件說明本實施例方法的詳細流程。動作辨識系統10可用以辨識一活體所執行的動態特定動作，上述活體可以人體或其他動物，本發明對此不限制。然而，為了方便說明，以下將以活體是一人體為例進行說明。
首先，於步驟S201，處理器120獲取包括活體的視頻圖幀。具體而言，攝像裝置130朝一空間持續進行拍攝而產生視訊串流，而至少一人物Obj1位於此空間內。視訊串流包括分別對應至不同拍攝時間點的多張視頻圖框，因而這些視頻圖框分別包括有對應於人物Obj1的人體。攝像裝置130將視訊串流提供給由處理器120與儲存裝置110組成的電腦系統。透過由處理器120分析視訊串流裡的視頻圖幀，空間裡的人物Obj1的動態動作可以被辨識的。
於步驟S202，處理器120分析視頻圖幀中的活體而產生原子姿勢特徵值。於此，用語「原子姿勢」代表單一視頻圖幀中人體所呈現的姿勢。詳細而言，處理器120可執行姿勢偵測軟體套件而獲取視頻圖幀中人體所呈現之原子姿勢的原子姿勢特徵值。原子姿勢特徵值可包括肢體角度資訊，而肢體角度資訊例如是人體的骨架資訊或基於骨架資訊而產生的延伸資訊。姿勢偵測軟體套件例如是Nuitra SDK、MS Kinect、Orbbec Astra SDK、OpenPose或PoseNet等等，本發明對此不限制。
於步驟S203，處理器120依據原子姿勢特徵值執行雜湊函數而產生原子姿勢雜湊鍵值。雜湊函數是可將原子姿勢特徵值轉換為由字母和數字組成的字串（即雜湊鍵值）的一種資料單向轉換操作，雜湊函數可以是MD5、RIPEMD-160、 SHA1、SHA386、SHA512或其他適合的函數，本發明對此不限制。換言之，在處理器120分析出視頻圖幀中原子姿勢的原子姿勢特徵值之後，處理器120可依據雜湊函數獲取對應的原子姿勢雜湊鍵值。此外，於一實施例中，處理器120更可將視頻圖幀的時間標籤與原子姿勢的肢體角度資訊一併輸入至雜湊函數獲來產生對應的原子姿勢雜湊鍵值。
於步驟S204，處理器120藉由比對原子姿勢雜湊鍵值，辨識人體執行特定動作。於一實施例中，處理器120可基於依據原子姿勢雜湊鍵值判定視頻圖幀中的原子姿勢符合特定動作的多個標準原子姿勢其中之一，而辨識人體執行特定動作。具體而言，處理器120可依據當前偵測到的原子姿勢雜湊鍵值搜尋一雜湊表，依據此雜湊表是否記錄有相同的雜湊鍵值而判斷此原子姿勢是否符合特定動作的多個標準原子姿勢其中之一。更詳細而言，圖3是依照本發明一實施例的動作辨識方法的示意圖。請參照圖3，動態的特定動作（例如揮手）可基於這些標準原子姿勢SAP_1、SAP_2、SAP_3、SAP_4而定義，儲存於儲存裝置110中的雜湊表記錄有這些標準原子姿勢SAP_1、SAP_2、SAP_3、SAP_4各自對應的雜湊鍵值Hash2、Hash4、Hash1、Hash3。當處理器120分析視頻圖幀F1時，處理器120可獲取原子姿勢AP_1的原子姿勢雜湊鍵值Hash1。處理器120可依據原子姿勢AP_1的原子姿勢雜湊鍵值Hash1搜尋雜湊表，並判定原子姿勢AP_1的原子姿勢雜湊鍵值Hash1相同於標準原子姿勢SAP_3的雜湊鍵值Hash1。因此，藉由持續判斷視頻串流VS1中連續視頻圖幀內的多個原子姿勢是否符合特定動作的多個標準原子姿勢SAP_1、SAP_2、SAP_3、SAP_4，處理器120可辨識人體是否執行特定動作而達到動作辨識的目的。此外，處理器120是藉由比對原子姿勢的原子姿勢雜湊鍵值與事前建立的雜湊表來判斷原子姿勢是否符合特定動作的標準原子姿勢，因而相較於DTW處理可有效降低運算複雜度。
由此可知，於一實施例中，於實際進行動作辨識之前，處理器120需建立特定動作的雜湊表。圖4是依照本發明一實施例的建立雜湊表的流程圖。請參照圖4，本實施例的方法適用於圖1中的動作辨識系統10，以下即搭配動作辨識系統10中的各項元件說明本實施例方法的詳細流程。
於步驟S401，處理器120依據特定動作定義特定動作的多個標準原子姿勢的標準肢體角度資訊。詳細而言，依據特定動作的種類與動作特徵，處理器120可定義多個標準原子姿勢的標準肢體角度資訊。舉例而言，假設特定動作為行走則雙腳將輪流抬起且雙手自然擺動，因此這些標準原子姿勢可分別定義為「右腳微抬」、「右腳上抬」、「左腳微抬」與「左腳上抬」。對應的，處理器120可針對這些標準原子姿勢分別產生標準肢體角度資訊，例如雙腳的膝關節角度與雙手的軸關節角度等等。然而，標準原子姿勢與其標準肢體角度資訊的定義可視實際應用而設計之，本發明對此並不限制。此外，對應至同一特定動作的標準原子姿勢的數量同樣可視實際應用而設計之，本發明對此並不限制。說明的是，步驟S401中產生標準肢體角度資訊的方式相同於步驟S202中產生肢體角度資訊的方式。
接著，於步驟S402，處理器120依據標準原子姿勢的標準肢體角度資訊執行雜湊函數而產生標準原子姿勢的雜湊鍵值。於步驟S403，處理器120依據標準原子姿勢的雜湊鍵值建立特定動作的雜湊表。也就是說，不同的特定動作各自具有對應的雜湊表，而這些雜湊表可記錄於儲存裝置110中。之後，處理器120可依據這些雜湊表來判斷視頻串流中的人體所執行的特定動作。
然而，本發明的實現方式不限於上述說明，可以對於實際的需求而酌予變更或延伸上述實施例的內容。為了更清楚說明，以下即搭配圖1的動作辨識系統10的各元件列舉實施例，以說明動作辨識系統10執行其動作辨識方法的詳細步驟。圖5是依照本發明一實施例的動作辨識方法的流程圖。請同時參照圖1與圖5。
於步驟S501，處理器120設置取樣計時器。於一實施例中，處理器120是依據視頻取樣時段內的多張視頻圖幀判斷活體是否執行特定動作。換言之，處理器120每隔一視頻取樣時段重新辨識活體動作。此視頻取樣時段的長度可以是預設，例如2秒，本發明對此不限制。處理器220通過取樣計時器測量此視頻取樣時段。所述計時器可以是軟體計數器。舉例而言，以攝像裝置130每秒可擷取60幀視頻圖幀為例，若視頻取樣時段為2秒，處理器120可藉由計數視頻圖幀的幀數來判斷取樣計時器是否期滿。當計時器計數到120幀時，代表取樣計時器期滿。或者，處理器120可依據各張視頻圖幀所對應的時間戳記判斷取樣計時器是否期滿。
於步驟S502，處理器120獲取視頻串流中包括活體的視頻圖幀。於本實施例中，活體的肢體角度資訊可包多個關節夾角。於是，於步驟S503，處理器120分析活體而獲取包括多個關節點的骨架資訊。本發明對於關節點的數目並不限制，可視實際應用而設置。具體而言，活體的骨架資訊是由多個關節點（或稱關鍵點）組成，這些關節點分別具有對應的座標位置，此座標位置可以是二維座標或三維座標。於一實施例中，當攝像裝置130為深度攝影機（depth camera）或立體攝影機，處理器120可依據深度攝影機（depth camera）或立體攝影機所擷取影像與姿勢偵測軟體套件Nuitra SDK、MS Kinect或Orbbec Astra SDK來獲取這些關節點的三維座標。
於步驟S504，處理器120依據特定動作與關節點的座標位置取得多個肢體向量。具體而言，處理器120可依據兩個關節點的座標位置計算出一肢體向量。舉例而言，當活體為一人體，處理器120可計算肩膀關節點至手軸關節點的一肢體向量。於步驟S505，處理器120依據特定動作與肢體向量計算關節夾角。處理器120可計算兩肢體向量之間的夾角。詳細而言，處理器120可計算第一肢體向量與第二肢體向量之間的關節夾角，其中第一肢體向量的終點為第二肢體向量的起點。需說明的是，處理器120可依據特定動作的種類來計算相對應的肢體向量與相對應的關節夾角。亦即，處理器120應該取哪些肢體向量與哪些關節夾角需是特定動作的種類而定。舉例而言，假設活體為一人體且特定動作為走路，處理器120需取雙腳的膝關節夾角與雙手的手軸關節夾角，因此處理器120需要取用以計算膝關節夾角與手軸關節夾角的肢體向量。
圖6是依照本發明一實施例的計算關節夾角的示意圖。請參照圖6，以活體為人體為例，對於一視頻圖幀內的原子姿勢AP_6，處理器120可取得包括關節點J1～J16的骨架資訊。假設處理器120欲判斷原子姿勢AP_6是否雙手向兩側平舉的T姿勢，則處理器120將計算手軸關節夾角θ1、手軸關節夾角θ4、肩關節夾角θ2、肩關節夾角θ3、膝關節夾角θ5、膝關節夾角θ6。
詳細而言，處理器120將依據關節點J8、J9計算肢體向量V7，以及依據關節點J9、J10計算肢體向量V8。接著，處理器120可計算肢體向量V7與肢體向量V8之間的夾角而獲取左腳的膝關節夾角θ5。更具體而言，假設關節點J8、J9、J10分別為(x 1,y 1,z 1)、(x 2,y 2,z 2)、(x 3,y 3,z 3)，則肢體向量V7為(x 2-x 1,y 2-y 1,z 2-z 1)且肢體向量V8為(x 3-x 2,y 3-y 2,z 3-z 2)。同理，處理器120將依據關節點J8、J9計算肢體向量V7，以及依據關節點J9、J10計算肢體向量V8。接著，處理器120可計算肢體向量V7與肢體向量V8之間的夾角而獲取左腳的膝關節夾角θ5。
此外，處理器120將依據關節點J1、J2計算肢體向量V1，以及依據關節點J3、J2計算肢體向量V2。接著，處理器120可計算肢體向量V1與肢體向量V2之間的夾角而獲取右手的手軸關節夾角θ1。處理器120可依據關節點J3、J4計算肢體向量V3，以及依據關節點J4、J15計算肢體向量V11。接著，處理器120可計算肢體向量V3與肢體向量V11之間的夾角而獲取右邊的肩軸關節夾角θ2。同理，處理器120將依據關節點J6、J7計算肢體向量V6，以及依據關節點J5、J6計算肢體向量V5。接著，處理器120可計算肢體向量V5與肢體向量V6之間的夾角而獲取左手的手軸關節夾角θ4。處理器120可依據關節點J5、J4計算肢體向量V4，以及依據關節點J4、J15計算肢體向量V11。接著，處理器120可計算肢體向量V4與肢體向量V11之間的夾角而獲取左邊的肩軸關節夾角θ3。因此，於一實施例中，手軸關節夾角θ1、手軸關節夾角θ4、肩關節夾角θ2、肩關節夾角θ3、膝關節夾角θ5、膝關節夾角θ6後續可用以產生原子姿勢AP_6的原子姿勢雜湊鍵值。
回到圖5的流程，於步驟S506，處理器120將依據容忍值調整關節夾角。上述容忍值例如是5度或10度，本發明對此不限制。具體而言，若當下偵測到的關節夾角與標準原子姿勢的標準關節夾角之間差距小於容忍值，則可直接將當下偵測到的關節夾角調整至相同於標準關節夾角，亦即將當下偵測到的關節夾角直接視為標準關節夾角而進行後續流程。
圖7是依照本發明一實施例的調整關節夾角的流程圖。請參照圖，於步驟S701，處理器120判斷關節夾角中的第一關節夾角與多個標準關節夾角中的第一標準關節夾角之間的差距是否小於容忍值。若步驟S701判斷為是，於步驟S702，反應於關節夾角中的第一關節夾角與標準關節夾角中的第一標準關節夾角之間的差距小於容忍值，處理器120將第一關節夾角修改為相同於第一標準關節夾角。相反地，若步驟S701判斷為否，於步驟S703，處理器120不修改第一關節夾角。舉例而言，以活體為人體為例，假設容忍值是5度且處理器120依據骨架資訊取得膝關節夾角為178度，則處理器120可將此膝關節夾角調整為標準關節角度180度。相反的，假設容忍值是5度且處理器120依據骨架資訊取得膝關節夾角為170度，則處理器120可不調整膝關節夾角使其維持為170度。
回到圖5的流程，於步驟S507，處理器120將原子姿勢的關節夾角輸入至雜湊函數而產生原子姿勢雜湊鍵值。具體而言，處理器120可串接這些關節夾角而產生一數字串列，並將此數字串列輸入至雜湊函數而產生原子姿勢雜湊鍵值。然而，本發明並不限制於此，處理器120亦可對這些關節夾角執行其他預處理而產生一輸入資料，並將此輸入資料輸入至雜湊函數而產生原子姿勢雜湊鍵值。
於步驟S508，處理器120依據原子姿勢雜湊鍵值搜尋一雜湊表以判定原子姿勢是否符合特定動作的標準原子姿勢其中之一。詳細而言，處理器120依據原子姿勢雜湊鍵值搜尋雜湊表，而判斷原子姿勢雜湊鍵值是否相同於雜湊表中分別對應至多個標準原子姿勢的雜湊鍵值其中之一。反應於原子姿勢雜湊鍵值相同於雜湊表中分別對應至標準原子姿勢的雜湊鍵值其中之一，處理器120可判定原子姿勢符合特定動作的這些標準原子姿勢其中之一。
於步驟S509，處理器120判斷所有的標準原子姿勢是否分別相符於視頻圖幀的原子姿勢與其他視頻圖幀內的其他原子姿勢。具體而言，特定動作係依據多個標準原子姿勢來定義，因此，於一實施例中，處理器120於一視頻取樣時段內判斷是否偵測到與所有標準原子姿勢相符的原子姿勢，從而判斷活體是否執行特定動作。
於是，若步驟S509判斷為是，於步驟S510，反應於所有的標準原子姿勢分別相符於視頻圖幀的原子姿勢與其他視頻圖幀內的其他原子姿勢，處理器120可判定活體執行特定動作。若步驟S509判斷為否，於步驟S511，處理器120判斷取樣計時器的視頻取樣時段是否期滿。若步驟S511判斷為否，回到步驟S502，處理器120將繼續判斷下一張視頻圖幀的原子姿勢是否相符於特定動作的標準原子姿勢。若步驟S511判斷為是，於步驟S512，反應於取樣計時器的視頻取樣時段期滿，處理器120判定活體未執行特定動作。
舉例而言，圖8是依照本發明一實施例的動作辨識方法的示意圖。請參照圖8，以活體為人體為例，圖8係以特定動作為行走且特定動作由4個標準原子動作定義為例進行說明，但本發明並不限制於此。於此範例中，處理器120先建立特定動作「行走」的雜湊表T1。處理器120可先定義各標準原子姿勢SAP_5～SAP_8的標準肢體角度資訊，於此範例中標準肢體角度資訊為標準關節夾角。處理器120可定義標準原子姿勢SAP_5～SAP_8（分別為「右腳微抬」、「右腳上抬」、「左腳微抬」與「左腳上抬」）各自的標準關節夾角。像是，標準原子姿勢SAP_5「右腳微抬」的標準關節夾角包括：左邊的膝關節夾角180度；右邊的膝關節夾角120度；右邊的肩關節夾角10度；左邊的肩關節夾角10度；以及右邊的髖關節120度。
之後，處理器120可依據各標準原子姿勢SAP_5～SAP_8的標準關節夾角產生對應的雜湊鍵值，並將其記錄為雜湊表T1。如圖8所示，雜湊表T1記錄有對應至標準原子姿勢SAP_5的雜湊鍵值「ASED1234」；對應至標準原子姿勢SAP_6的雜湊鍵值「21A58DFA」；對應至標準原子姿勢SAP_7的雜湊鍵值「5A58D0DD」；以及對應至標準原子姿勢SAP_8的雜湊鍵值「TTYL2A1B」。
於實際進行動作辨識時，處理器120可產生對應至第一時間之視頻圖幀F81上的原子姿勢AP_2的原子姿勢雜湊鍵值。反應於原子姿勢AP_2的原子姿勢雜湊鍵值相同於雜湊表T1中的雜湊鍵值「ASED1234」，處理器120可判定原子姿勢AP_2與標準原子姿勢SAP_5相符合。接著，處理器120可產生對應至第二時間之視頻圖幀F82上的原子姿勢AP_3的原子姿勢雜湊鍵值。反應於原子姿勢AP_3的原子姿勢雜湊鍵值相同於雜湊表T1中的雜湊鍵值「21A58DFA」，處理器120可判定原子姿勢AP_3與標準原子姿勢SAP_6相符合。
接著，處理器120可產生對應至第三時間之視頻圖幀F83上的原子姿勢AP_4的原子姿勢雜湊鍵值。反應於原子姿勢AP_4的原子姿勢雜湊鍵值相同於雜湊表T1中的雜湊鍵值「5A58D0DD」，處理器120可判定原子姿勢AP_4與標準原子姿勢SAP_7相符合。處理器120可產生對應至第四時間之視頻圖幀F84上的原子姿勢AP_5的原子姿勢雜湊鍵值。反應於原子姿勢AP_5的原子姿勢雜湊鍵值相同於雜湊表T1中的雜湊鍵值「TTYL2A1B」，處理器120可判定原子姿勢AP_5與標準原子姿勢SAP_8相符合。於是，反應於特定動作所有的標準原子姿勢SAP_5～SAP_8分別相符於原子姿勢AP_2～AP_5，處理器120可判定人體執行特定動作「行走」，從而達到人體動作辨識的目的。
本發明實施例另提供一種非暫態的電腦可讀取媒體，此電腦可讀取媒體可儲存多數個程式碼片段，並且這些程式碼片段在載入動作辨識系統10的處理器120中並執行之後，即可完成上述動作辨識方法的各步驟。
綜上所述，於本發明實施例中，藉由比對各張視頻圖幀中原子姿勢雜湊鍵值與關聯於特定動作的雜湊表，可判斷活體是否執行動態的特定姿勢。藉此，可大幅降低運算複雜度而使活體動作辨識的應用範圍更廣泛。此外，相比儲存大量的影像模板資訊進行姿勢模板比對而完成動作辨識，本發明實施例僅需要儲存雜湊表而可有效地節省儲存空間。亦即，本發明實施例可提供一種運算複雜度低且節省儲存空間的動作辨識方案，因而可適用於計算與硬體資源受限的嵌入式平台上。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:動作辨識系統
110:儲存裝置
120:處理器
130:攝像裝置
obj1:人物
VS1:視頻串流
F1、F81~F84:視頻圖幀
SAP_1~SAP_8:標準原子動作
AP_1~AP_6:原子動作
J1~J19:關節點
V1~V11:肢體向量
θ1~θ6:關節夾角
T1:雜湊表
S201~S204、S401~S403、S501~S512、S701~S703:步驟
圖1是依照本發明一實施例的動作辨識系統的示意圖。 圖2是依照本發明一實施例的動作辨識方法的流程圖。 圖3是依照本發明一實施例的動作辨識方法的示意圖。 圖4是依照本發明一實施例的建立雜湊表的流程圖。 圖5是依照本發明一實施例的動作辨識方法的流程圖。 圖6是依照本發明一實施例的計算關節夾角的示意圖。 圖7是依照本發明一實施例的調整關節夾角的流程圖。 圖8是依照本發明一實施例的動作辨識方法的示意圖。
VS1:視頻串流
F1:視頻圖幀
SAP_1~SAP_4:標準原子動作
AP_1:原子動作

Claims (19)

  1. 一種基於原子姿勢的動作辨識方法，所述方法包括：獲取包括一活體的一視頻圖幀；分析該視頻圖幀中的該活體而產生一原子姿勢特徵值；依據該原子姿勢特徵值執行雜湊函數而產生一原子姿勢雜湊鍵值；以及藉由比對該原子姿勢雜湊鍵值與一雜湊表，辨識該活體執行一特定動作。
  2. 如申請專利範圍第1項所述的動作辨識方法，其中分析該視頻圖幀中的該活體而產生該原子姿勢特徵值的步驟包括：分析該視頻圖幀中的該活體而產生一原子姿勢的肢體角度資訊，其中藉由比對該原子姿勢雜湊鍵值，辨識該活體執行該特定動作的步驟包括：基於依據該原子姿勢雜湊鍵值判定該原子姿勢符合該特定動作的多個標準原子姿勢其中之一，辨識該活體執行該特定動作。
  3. 如申請專利範圍第2項所述的動作辨識方法，其中分析該視頻圖幀中的該活體而產生該原子姿勢的該肢體角度資訊的步驟包括：分析該活體而獲取包括多個關節點的骨架資訊；依據該特定動作與該些關節點的座標位置取得多個肢體向量；以及 依據該特定動作與該些肢體向量計算多個關節夾角。
  4. 如申請專利範圍第3項所述的動作辨識方法，其中依據該肢體角度資訊執行雜湊函數而產生該原子姿勢的雜湊鍵值的步驟包括：依據一容忍值調整該些關節夾角；以及將該原子姿勢的該些關節夾角輸入至該雜湊函數而產生該原子姿勢雜湊鍵值。
  5. 如申請專利範圍第4項所述的動作辨識方法，其中依據該容忍值調整該些關節夾角的步驟包括：反應於該些關節夾角中的第一關節夾角與多個標準關節夾角中的第一標準關節夾角之間的差距小於容忍值，將該第一關節夾角修改為相同於該第一標準關節夾角。
  6. 如申請專利範圍第2項所述的動作辨識方法，所述方法更包括：依據該特定動作定義該特定動作的該些標準原子姿勢的標準肢體角度資訊；依據該些標準原子姿勢的該標準肢體角度資訊執行該雜湊函數而產生該些標準原子姿勢的雜湊鍵值；以及依據該些標準原子姿勢的雜湊鍵值建立該特定動作的一雜湊表。
  7. 如申請專利範圍第6項所述的動作辨識方法，其中基於依據該原子姿勢雜湊鍵值判定該原子姿勢符合該特定動作的該些 標準原子姿勢其中之一，辨識該活體執行該特定動作的步驟包括：依據該原子姿勢雜湊鍵值搜尋該雜湊表，而判斷該原子姿勢雜湊鍵值是否相同於該雜湊表中分別對應至該些標準原子姿勢的雜湊鍵值其中之一；以及反應於該原子姿勢雜湊鍵值相同於該雜湊表中分別對應至該些標準原子姿勢的雜湊鍵值其中之一，判定該原子姿勢符合該特定動作的該些標準原子姿勢其中之一。
  8. 如申請專利範圍第2項所述的動作辨識方法，其中基於依據該原子姿勢雜湊鍵值判定該原子姿勢符合該特定動作的該些標準原子姿勢其中之一，辨識該活體執行該特定動作的步驟包括：反應於所有的該些標準原子姿勢分別相符於該視頻圖幀的該原子姿勢與其他視頻圖幀內的其他原子姿勢，判定該活體執行該特定動作，其中視頻串流更包括該視頻圖幀與其他視頻圖幀。
  9. 如申請專利範圍第8項所述的動作辨識方法，所述方法更包括：設置一取樣計時器；以及反應於該取樣計時器的一視頻取樣時段期滿，判定該活體未執行該特定動作。
  10. 一種基於原子姿勢的動作辨識系統，包括：儲存裝置；以及 處理器，耦接該儲存裝置，經配置以執行該儲存裝置中的指令以：獲取包括一活體的一視頻圖幀；分析該視頻圖幀中的該活體而產生一原子姿勢特徵值；依據該原子姿勢特徵值執行雜湊函數而產生一原子姿勢雜湊鍵值；以及藉由比對該原子姿勢雜湊鍵值與一雜湊表，辨識該活體執行一特定動作。
  11. 如申請專利範圍第10項所述的動作辨識系統，其中該處理器經配置以：分析該視頻圖幀中的該活體而產生一原子姿勢的肢體角度資訊；以及基於依據該原子姿勢雜湊鍵值判定該原子姿勢符合該特定動作的多個標準原子姿勢其中之一，辨識該活體執行該特定動作。
  12. 如申請專利範圍第11項所述的動作辨識系統，其中該處理器經配置以：分析該活體而獲取包括多個關節點的骨架資訊；依據該特定動作與該些關節點的座標位置取得多個肢體向量；以及依據該特定動作與該些肢體向量計算該些關節夾角。
  13. 如申請專利範圍第12項所述的動作辨識系統，，其中該處理器經配置以： 依據一容忍值調整該些關節夾角；以及將該原子姿勢的該些關節夾角輸入至該雜湊函數而產生該原子姿勢雜湊鍵值。
  14. 如申請專利範圍第13項所述的動作辨識系統，其中該處理器經配置以：反應於該些關節夾角中的第一關節夾角與多個標準關節夾角中的第一標準關節夾角之間的差距小於容忍值，將該第一關節夾角修改為相同於該第一標準關節夾角。
  15. 如申請專利範圍第11項所述的動作辨識系統，其中該處理器經配置以：依據該特定動作定義該特定動作的該些標準原子姿勢的多個標準關節夾角；依據該些標準關節夾角執行該雜湊函數而產生該些標準原子姿勢的雜湊鍵值；以及依據該些標準原子姿勢的雜湊鍵值建立該特定動作的一雜湊表。
  16. 如申請專利範圍第15項所述的動作辨識系統，其中該處理器經配置以：依據該原子姿勢的雜湊鍵值搜尋該雜湊表，而判斷該原子姿勢的雜湊鍵值是否相同於該雜湊表中分別對應至該些標準原子姿勢的雜湊鍵值其中之一；以及反應於該原子姿勢的雜湊鍵值相同於該雜湊表中分別對應至 該些標準原子姿勢的雜湊鍵值其中之一，判定該原子姿勢符合該特定動作的該些標準原子姿勢其中之一。
  17. 如申請專利範圍第11項所述的動作辨識系統，其中該處理器經配置以：反應於所有的該些標準原子姿勢分別相符於該視頻圖幀的該原子姿勢與其他視頻圖幀內的其他原子姿勢，判定該活體執行該特定動作，其中該視頻串流更包括該視頻圖幀與其他視頻圖幀。
  18. 如申請專利範圍第17項所述的動作辨識系統，其中該處理器經配置以：設置一取樣計時器；以及反應於該取樣計時器的一視頻取樣時段期滿，判定該活體未執行該特定動作。
  19. 一種電腦可讀取記錄媒體，記錄電腦程式，經由動作辨識系統的處理器載入以執行下列步驟：獲取包括一活體的一視頻圖幀；分析該視頻圖幀中的該活體而產生一原子姿勢特徵值；依據該原子姿勢特徵值執行雜湊函數而產生一原子姿勢雜湊鍵值；以及藉由比對該原子姿勢雜湊鍵值與一雜湊表，辨識該活體執行一特定動作。
TW108139686A 2019-11-01 2019-11-01 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體 TWI710972B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108139686A TWI710972B (zh) 2019-11-01 2019-11-01 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體
CN201911248194.6A CN112784658A (zh) 2019-11-01 2019-12-09 基于原子姿势的动作识别方法及其系统与电脑可读取记录媒体
US16/789,333 US11386564B2 (en) 2019-11-01 2020-02-12 Method, system, and computer-accessible recording medium for motion recognition based on an atomic pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108139686A TWI710972B (zh) 2019-11-01 2019-11-01 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
TWI710972B true TWI710972B (zh) 2020-11-21
TW202119277A TW202119277A (zh) 2021-05-16

Family

ID=74202448

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108139686A TWI710972B (zh) 2019-11-01 2019-11-01 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US11386564B2 (zh)
CN (1) CN112784658A (zh)
TW (1) TWI710972B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444895B (zh) * 2020-05-08 2024-04-19 商汤集团有限公司 视频处理方法、装置、电子设备及存储介质
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
FR3137203A1 (fr) * 2022-06-22 2023-12-29 Ai Bright Systeme et methode d’assistance a la realisation de mouvements physiques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
US20160148391A1 (en) * 2013-06-12 2016-05-26 Agency For Science, Technology And Research Method and system for human motion recognition
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135502B2 (en) * 2009-05-11 2015-09-15 Universitat Zu Lubeck Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
JP5604225B2 (ja) * 2010-08-25 2014-10-08 Ｋｄｄｉ株式会社 人体姿勢推定装置、人体姿勢推定方法およびコンピュータプログラム
ES2812578T3 (es) * 2011-05-13 2021-03-17 Vizrt Ag Estimación de una postura basada en la silueta
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
CN106599762A (zh) * 2015-10-15 2017-04-26 阿里巴巴集团控股有限公司 动作信息识别方法和系统
US10086286B2 (en) * 2016-01-27 2018-10-02 Electronic Arts Inc. Systems and methods for capturing participant likeness for a video game character
US10913454B2 (en) * 2017-12-13 2021-02-09 Humanising Autonomy Limited Systems and methods for predicting pedestrian intent
CN108108699A (zh) * 2017-12-25 2018-06-01 重庆邮电大学 融合深度神经网络模型和二进制哈希的人体动作识别方法
TWI701609B (zh) * 2018-01-04 2020-08-11 緯創資通股份有限公司 影像物件追蹤方法及其系統與電腦可讀取儲存媒體
CN109492589A (zh) * 2018-11-13 2019-03-19 重庆工程职业技术学院 通过二进制特征与联合层叠结构融合的人脸识别工作方法以及智能芯片

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148391A1 (en) * 2013-06-12 2016-05-26 Agency For Science, Technology And Research Method and system for human motion recognition
CN105320944A (zh) * 2015-10-24 2016-02-10 西安电子科技大学 一种基于人体骨架运动信息的人体行为预测方法
CN106022251A (zh) * 2016-05-17 2016-10-12 沈阳航空航天大学 基于视觉共生矩阵序列的异常双人交互行为识别方法

Also Published As

Publication number Publication date
TW202119277A (zh) 2021-05-16
US11386564B2 (en) 2022-07-12
US20210133985A1 (en) 2021-05-06
CN112784658A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
TWI710972B (zh) 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體
US10990803B2 (en) Key point positioning method, terminal, and computer storage medium
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
US9465444B1 (en) Object recognition for gesture tracking
EP3284011B1 (en) Two-dimensional infrared depth sensing
US10970850B2 (en) Method and device for recognizing motion
Yun et al. A hand gesture recognition method based on multi-feature fusion and template matching
US9723979B2 (en) Method, apparatus and computer program product for positioning pupil
US20130335318A1 (en) Method and apparatus for doing hand and face gesture recognition using 3d sensors and hardware non-linear classifiers
US20130249786A1 (en) Gesture-based control system
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
WO2018103416A1 (zh) 用于人脸图像的检测方法和装置
CN111754391A (zh) 人脸转正方法、设备及计算机可读存储介质
CN107368181B (zh) 一种手势识别方法及装置
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
KR101706864B1 (ko) 모션 센싱 입력기기를 이용한 실시간 손가락 및 손동작 인식
JP4659722B2 (ja) 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム
US20140301603A1 (en) System and method for computer vision control based on a combined shape
JP4011426B2 (ja) 顔検出装置、顔検出方法および顔検出プログラム
CN106406507B (zh) 图像处理方法以及电子设备
KR102510047B1 (ko) 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법
WO2020016963A1 (ja) 情報処理装置、制御方法、及びプログラム
KR101085536B1 (ko) 제스처 인식을 이용한 인터페이스 구성방법
TWI777153B (zh) 影像辨識方法及其裝置及人工智慧模型訓練方法及其裝置