TWI689859B - 由手腕偵測肌動訊號識別使用者手勢之系統及方法 - Google Patents

由手腕偵測肌動訊號識別使用者手勢之系統及方法 Download PDF

Info

Publication number
TWI689859B
TWI689859B TW108109262A TW108109262A TWI689859B TW I689859 B TWI689859 B TW I689859B TW 108109262 A TW108109262 A TW 108109262A TW 108109262 A TW108109262 A TW 108109262A TW I689859 B TWI689859 B TW I689859B
Authority
TW
Taiwan
Prior art keywords
signal
target
muscle
module
feature
Prior art date
Application number
TW108109262A
Other languages
English (en)
Other versions
TW202036245A (zh
Inventor
劉孟昆
邱兆偉
林昱廷
郭昭廣
吳季剛
Original Assignee
國立臺灣科技大學
酷手科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學, 酷手科技股份有限公司 filed Critical 國立臺灣科技大學
Priority to TW108109262A priority Critical patent/TWI689859B/zh
Priority to US16/822,344 priority patent/US11023045B2/en
Application granted granted Critical
Publication of TWI689859B publication Critical patent/TWI689859B/zh
Publication of TW202036245A publication Critical patent/TW202036245A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種由手腕偵測肌動訊號以識別使用者手勢之系統及方法，其透過由使用者之手腕偵測目標肌動訊號後，由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號，並依據擷取出之目標特徵訊號產生目標特徵資料，及使用手勢分類模型分類目標特徵資料以識別使用者之手勢之技術手段，可以輕易地將感測肌動訊號的穿戴裝置穿戴到正確位置，藉以可以準確的辨識使用者手勢，並達成使用較低功耗辨識使用者手勢以降低產品成本的技術功效。

Description

由手腕偵測肌動訊號識別使用者手勢之系統及方法
一種手勢判斷系統及方法，特別係指一種由手腕偵測肌動訊號以識別使用者手勢之系統及方法。
目前針對手勢辨識的技術，大多和假肢控制與人機介面有關，有些是用非接觸式人工視覺來進行手勢辨識，但其絕大多數都要額外避免遮蔽攝影機視線，產生自由度受限等問題。另外，有些是使用接觸式穿戴式裝置擷取資料進行分析辨識。其中，接觸式的方式又分為許多種類，像是使用肌電訊號(electromyogram,EMG)、肌動訊號(mechanomyogram,MMG)、超音波成像、力敏電阻的壓力偵測、或是市面上用磁場偵測的追蹤器(VR專用手套)等，種類繁多，各有優缺。
其中，利用肌電訊號分析手勢作動為現在穿戴式裝置的諸多應用之一，其優點為能探測微小的生理反應，但其缺點為受測部位易受到外界因素干擾。像是手臂的皮膚流汗或是當時使用環境太乾燥，都會影響其肌電訊號量測的穩定性及數值，此外也有設備成本高的問題。
而肌動訊號的感測器種類繁多，不同感測器都會有不同訊號效果。同時，被偵測之肌肉位置也會有不同的訊號效果，必須精確找出肌肉位置才能達到足夠的準確率，反之，則無法有效辨識使用者的手勢。目前大部分肌動訊號的手勢辨識的技術都是擷取前臂後側的腕屈肌與腕伸肌群的肌動訊號，然而手臂上的腕屈肌與腕伸肌群不易定位，且不易固定感測器，面臨穿戴不便的問題。
綜上所述，可知先前技術中長期以來一直存在使用肌電訊號判斷手勢準確度不足且使用肌動訊號不易將感測器穿戴到正確位置的問題，因此有必要提出改進的技術手段，來解決此一問題。
有鑒於先前技術存在使用肌電訊號判斷手勢準確度不足且使用肌動訊號不易將感測器穿戴到正確位置的問題，本發明遂揭露一種由手腕偵測肌動訊號識別使用者手勢之系統及方法，其中： 本發明所揭露之由手腕偵測肌動訊號識別使用者手勢之系統，至少包含：訊號偵測模組，用以由使用者之手腕偵測目標肌動訊號；訊號擷取模組，用以由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號；特徵產生模組，用以依據目標特徵訊號產生目標特徵資料；手勢辨識模組，用以分類目標特徵資料以識別使用者之手勢。
本發明所揭露之由手腕偵測肌動訊號為識別使用者手勢之方法，其步驟至少包括：建立手勢分類模型；由使用者之手腕偵測目標肌動訊號；由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號；依據目標特徵 訊號產生目標特徵資料；使用手勢分類模型分類目標特徵資料以識別使用者之手勢。
本發明所揭露之系統與方法如上，與先前技術之間的差異在於本發明透過穿戴裝置由使用者之手腕偵測目標肌動訊號後，由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號，並依據擷取出之目標特徵訊號產生目標特徵資料，及使用手勢分類模型分類目標特徵資料以識別使用者之手勢，藉以解決先前技術所存在的問題，並可以達成使用較低功耗辨識使用者手勢以降低產品成本的技術功效。
110:訊號偵測模組
120:訊號過濾模組
130:訊號擷取模組
150:特徵產生模組
170:手勢辨識模組
180:特徵篩選模組
410:尺骨
420:穿戴位置
450:觸發點
520:時頻域訊號
步驟210:建立手勢分類模型
步驟220:由使用者之手腕偵測目標肌動訊號
步驟230:濾除目標肌動訊號的雜訊
步驟240:由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號
步驟260:依據目標特徵訊號產生目標特徵資料
步驟270:使用手勢分類模型分類目標特徵資料以識別使用者之手勢
步驟320:搜集訓練肌動訊號
步驟330:濾除訓練肌動訊號的雜訊
步驟340:由訓練肌動訊號中擷取出包含振幅超過預定值之訓練特徵訊號
步驟360:依據訓練特徵訊號產生訓練特徵資料
步驟380:篩選訓練特徵資料
步驟390:依據訓練特徵資料建立手勢分類模型
第1圖為本發明所提之由手腕偵測肌動訊號以識別使用者手勢之系統架構圖。
第2圖為本發明所提之穿戴裝置穿戴位置示意圖。
第3圖為本發明所提之由手腕偵測肌動訊號以識別使用者手勢之方法流程圖。
第4圖為本發明實施例所提之擷取目標特徵訊號之示意圖。
第5圖為本發明實施例所提之使用小波包分解產生之頻率範圍表示圖。
第6圖為本發明所提之依據肌動訊號建立手勢分類模型之方法流程圖。
以下將配合圖式及實施例來詳細說明本發明之特徵與實施方式，內容足以使任何熟習相關技藝者能夠輕易地充分理解本發明解決技術問題所應用的技術手段並據以實施，藉此實現本發明可達成的功效。
本發明可以依據做出手勢之使用者手腕的肌肉震動訊號(mechanomyogram)判斷使用者所做出的手勢，藉以在極低取樣頻率下仍可對可辨識之各種手勢達到90%以上的優異辨識能力，且能有較低功耗，同時也可以降低成本。其中，肌肉震動訊號為肌肉收縮時可以在肌肉表面被檢測到的機械訊號，在本發明也被稱為「肌動訊號」。
以下先以「第1圖」本發明所提之由手腕偵測肌動訊號以識別使用者手勢之系統架構圖來說明本發明的系統運作。如「第1圖」所示，本發明之系統含有訊號偵測模組110、訊號擷取模組130、特徵產生模組150、手勢辨識模組170，以及可以附加的訊號過濾模組120、特徵篩選模組180。
上述各模組可以包含在同一個穿戴裝置(圖中未示)中，例如，在一塊晶片中設置所有模組，並將該晶片設置在穿戴裝置上，上述各模組也可以分散在兩個或兩個以上的不同裝置中，例如，部分模組設置在穿戴裝置的晶片中，並在經過晶片運算後，將運算後的資料透過無線通訊的方式傳送給設置在電腦中的其他模組等，但本發明並不以此為限。其中，除了訊號偵測模組110需要設置在穿戴裝置中之外，訊號偵測模組110以外之其他模組沒有設置上的限制。
值得一提的是，本發明所提之穿戴裝置被穿戴在手腕上的位置通常與穿戴手錶的位置一致，也就是手臂的尺骨410後方伸指肌分岔處，如「第2圖」所示，由於尺骨410後方伸指肌分岔處有較平坦的接觸面，可以讓穿戴裝置 穩固的與尺骨210後方伸指肌分岔處的肌肉貼合，如此，使用者不需尋找可以固定穿戴裝置的穿戴位置420，即可以使穿戴裝置容易的固定在手腕上，且可以方便的被使用者穿戴。
訊號偵測模組110負責由使用者的手腕偵測肌動訊號(本發明所提之肌動訊號包含目標肌動訊號以及訓練肌動訊號)。一般而言，訊號偵測模組110在運作時，可以持續的偵測肌動訊號，但本發明並不以此為限。
在本發明中，訊號偵測模組110通常使用較低的取樣頻率以偵測肌動訊號，例如，訊號偵測模組110可以使用200Hz的取樣頻率，但本發明並不以此為限。由於訊號偵測模組110使用較低的取樣頻率，因此，訊號偵測模組110也有較低的功耗，可以有效的減少穿戴裝置的電量消耗。
需要特別說明的是，在本發明中，由於穿戴裝置可以穩固的被穿戴在手腕上，使得設置在穿戴裝置上的訊號偵測模組110可以確實地與尺骨後方伸指肌分岔處的皮膚接觸，如此，訊號偵測模組110便可以在使用者做出手勢時，穩定的由控制手腕伸屈的腕屈肌與腕伸肌及/或控制各個手指的指屈肌與指伸肌等肌肉作動時偵測到肌動訊號。因此，在本發明中，穿戴裝置上僅設置一個訊號偵測模組110即可以由手腕有效地偵測到肌動訊號，但在本發明中，穿戴裝置上所設置的訊號偵測模組110並不以一個為限。
訊號過濾模組120可以濾除訊號偵測模組110所偵測到之肌動訊號的雜訊。訊號過濾模組120可以包含帶通濾波器(Bandpass Filter)，並可以使用帶通濾波器過濾訊號偵測模組110所偵測到之肌動訊號中的雜訊。
在部分的實施例中，若訊號過濾模組120與訊號偵測模組110設置在不同的裝置中，則訊號過濾模組120可以透過有線或無線的方式接收訊號偵測模組110所偵測到的肌動訊號，本發明並沒有特別的限制。
訊號擷取模組130負責取得肌動訊號。當本發明包含訊號過濾模組120時，訊號擷取模組130可以由訊號過濾模組120取得肌動訊號，而當本發明不包含訊號過濾模組120時，訊號擷取模組130可以由訊號偵測模組110取得肌動訊號。
訊號擷取模組130負責由取得之肌動訊號中擷取出包含振幅超過預定值的特徵訊號(本發明所提之特徵訊號包含目標特徵訊號以及訓練特徵訊號)。舉例而言，訊號擷取模組130可以判斷肌動訊號之預定軸向的振幅是否超過預定值，並可以在肌動訊號之預定軸向的振幅超過預定值時，以超過預定值之振幅為觸發點，擷取肌動訊號中觸發點前之第一時間至觸發點後之第二時間之訊號為特徵訊號。其中，上述之預定軸向例如為水平方向的X軸或Y軸、或垂直方向的Z軸等，上述之第一時間與第二時間為一個時間值，例如0.2秒或600毫秒等，但本發明所提之預定軸向、第一時間與第二時間都不以上述為限。
特徵產生模組150負責依據訊號擷取模組130所擷取出的特徵訊號產生特徵資料(本發明所提之特徵資料包含目標特徵資料與訓練特徵資料)。更詳細的，特徵產生模組150可以依據特徵訊號的頻率、振福、以及時域產生特徵資料，舉例來說，特徵產生模組150可以對特徵訊號進行小波包分解(Wavelet Package Decomposition,WPD)以產生多個頻率範圍，並對各個頻率範圍中的時頻域訊號使用平均方根(Root Mean Square)、平均值(Mean)、最大值(Max Value)、標準差(Standard Deviation)、偏度(Skewness)、峰度(Kurtosis)、 方差(Variance)、過零點(Zero Crossing)、峰值因數(Crest Factor)、波形因數(Form Factor)、脈衝因數(Pulse Factor)以及整流平均值(Average Rectified Value)等一個或多個統計資料產生特徵資料。
在部分的實施例中，特徵產生模組150可以包含高通濾波器(Highpass Filter)，並可以先使用高通濾波器過濾所取得的特徵訊號，再依據過濾後的特徵訊號產生特徵資料。
特徵產生模組150也可以先正規化(Normalization)特徵訊號，使得相同使用者之不同手勢以及不同使用者之相同手勢所擷取出的每一個特徵訊號的比例相同，之後，再依據正規化後的特徵訊號產生特徵資料。
手勢辨識模組170負責分類目標特徵資料以識別使用者的手勢。手勢辨識模組170通常是使用手勢分類模型特徵產生模組150所產生的目標特徵資料，並依據分類結果判斷使用者的手勢，但本發明並不以此為限。
一般而言，手勢辨識模組170可以依據特徵產生模組150所產生的訓練特徵資料建立分類目標特徵資料的手勢分類模型，例如，手勢辨識模組170可以使用最近鄰居法(K Nearest Neighbor,KNN)、支援向量機(Support Vector Machine,SVM)以及線性判別分析(Linear Discriminant Analysis,LDA)等機器學習(Machine Learning)的分類演算法，並將訓練特徵資料作為訓練資料輸入機器學習的分類演算法中，藉以產生手勢分類模型。但手勢辨識模組170產生手勢分類模型的方式並不以上述為限。
特徵篩選模組180可以篩選特徵產生模組150所產生的訓練特徵資料，手勢辨識模組170可以依據特徵篩選模組180篩選出的訓練特徵資料建立手勢分類模型。如此，特徵篩選模組180可以篩選出近似的訓練特徵資料，避免 過多非近似的訓練特徵資料影響辨識結果，進而在手勢辨識模組170建立手勢分類模型時，提升整體的運算速度並降低如記憶體等硬體資源的使用量。其中，特徵篩選模組180可以使用逐次前饋搜尋法(Sequential Forward Selection,SFS)進行特徵篩選，但本發明並不以此為限。
接著以第一實施例來解說本發明的運作系統與方法，並請參照「第3圖」本發明所提之由手腕偵測肌動訊號以識別使用者手勢之方法流程圖。在本實施例中，假設本發明的所有模組都設置在穿戴裝置上，但本發明並不以此為限。
首先，手勢辨識模組170要先建立手勢分類模型(步驟210)。在本實施例中，假設穿戴裝置在出廠時，穿戴裝置的製造商已將手勢分類模型的相關資料寫入手勢辨識模組170中，藉以在手勢辨識模組170中建立手勢分類模型。其中，手勢分類模型可以辨識拍手、彈食指、彈指、擲錢幣、開槍、手掌向上、手掌向下以及快速握拳等八種不會讓手臂作動的小動作手勢。
在使用者將穿戴裝置穿戴到手腕上且穿戴裝置啟動後，訊號偵測模組110可以開始由使用者的手腕偵測目標肌動訊號(步驟220)。在本實施例中，穿戴裝置包含固定訊號偵測模組110的固定結構，透過固定結構可以讓穿戴裝置穩定的被穿戴在使用者之手腕處的尺骨後，且可以使得訊號偵測模組110確實地與使用者之手腕的皮膚接觸，藉以讓訊號偵測模組110可以使用200Hz的取樣頻率不斷地由使用者之手腕周圍的肌肉偵測目標肌動訊號。
在訊號偵測模組110開始偵測目標肌動訊號後，訊號擷取模組130可以由訊號偵測模組110所偵測到的目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)。在本實施例中，假設訊號擷取模組130判斷目 標肌動訊號在Z軸上的振幅是否超過預定值，若在Z軸上的目標肌動訊號如「第4圖」所示，訊號擷取模組在判斷目標肌動訊號在Z軸上的振幅超過預定值時，以超過預定值之振幅為觸發點450，由目標肌動訊號中擷取出觸發點前0.6秒(第一時間)至觸發點後0.2秒(第二時間)之訊號為目標特徵訊號。
若本實施例之穿戴裝置中包含訊號過濾模組120，則在訊號偵測模組110由使用者的手腕偵測目標肌動訊號(步驟220)後，訊號過濾模組120可以濾除訊號偵測模組110所偵測到之目標肌動訊號的雜訊(步驟230)。在本實施例中，假設訊號過濾模組120包含5~50赫茲的帶通濾波器，並使用所包含之帶通濾波器濾除訊號偵測模組110所偵測到之目標肌動訊號中的雜訊，使得訊號擷取模組130可以由訊號過濾模組120過濾後的目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)。
在訊號擷取模組130由目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)後，特徵產生模組150可以依據訊號擷取模組130所擷取出的目標特徵訊號產生目標特徵資料(步驟250)。在本實施例中，為了避免因為取樣頻率過低或分解階數過高，導致解析度失真，間接影響目標特徵資料的品質，因此，特徵產生模組150可以對目標特徵訊號進行三階的小波包分解以產生八層的頻率範圍，並依據每一層之頻率範圍中的時頻域訊號520(如「第5圖」所示)的統計資料產生目標特徵資料。其中，特徵產生模組150還可以先使用1赫茲的高通濾波器過濾訊號擷取模組130所擷取出的目標特徵訊號，及/或可以正規化訊號擷取模組130所擷取出的目標特徵訊號，再依據目標特徵訊號產生目標特徵資料。
在特徵產生模組150依據目標特徵訊號產生目標特徵資料(步驟260)後，手勢辨識模組170可以使用手勢分類模型分類特徵產生模組150所產生的目標特徵資料，藉以識別使用者的手勢(步驟270)。在本實施例中，假設手勢辨識模組170所包含的手勢分類模型可以依據目標特徵資料計算手勢分類模型能判斷之各種手勢的機率，也就是計算拍手、彈食指、彈指、擲錢幣、開槍、手掌向上、手掌向下以及快速握拳等八種手勢的機率，手勢辨識模組170可以將所計算出機率最高的手勢判定為使用者所做出的手勢。如此，透過本發明，便可以使用較低的功耗由使用者手腕偵測肌動訊號，並以優異的辨識能力辨識出使用者所做出的手勢。
上述的實施例中，若穿戴裝置在出廠時，手勢辨識模組170中並未包含手勢分類模型，則如「第6圖」之流程所示，訊號偵測模組110可以收集訓練肌動訊號(步驟320)。在本實施例中，訊號偵測模組110可以由使用者之手腕周圍的肌肉偵測一定數量的訓練肌動訊號，也可以連線至特定的伺服器下載訓練肌動訊號，或可以接收使用者上傳的訓練肌動訊號，藉以收集訓練肌動訊號。
在訊號偵測模組110收集完訓練肌動訊號後，訊號擷取模組130可以分別由訊號偵測模組110所收集到的訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)。在本實施例中，假設訊號擷取模組130使用與上述本發明判斷使用者之手勢的過程判相同的方式，也就是判斷訓練肌動訊號在Z軸上的振幅是否超過預定值，並在訓練肌動訊號在Z軸上的振幅超過預定值時，以超過預定值之振幅為觸發點，由訓練肌動訊號中擷取出觸發點前0.6秒(第一時間)至觸發點後0.2秒(第二時間)之訊號為訓練特徵訊號。
相似的，若穿戴裝置中包含訊號過濾模組120，則訊號過濾模組120可以濾除訊號偵測模組110所收集到之訓練肌動訊號的雜訊(步驟330)，使得訊號擷取模組130可以由訊號過濾模組120過濾後的訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)。
在訊號擷取模組130由訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)後，特徵產生模組150可以依據訊號擷取模組130所擷取出的訓練特徵訊號產生訓練特徵資料(步驟350)。在本實施例中，與上述辨識使用者之手勢相同的，特徵產生模組150可以對訓練特徵訊號進行三階的小波包分解以產生八層的頻率範圍，並依據每一層之頻率範圍中的時頻域訊號的統計資料產生目標特徵資料。其中，特徵產生模組150還可以先使用1赫茲的高通濾波器過濾訊號擷取模組130所擷取出的訓練特徵訊號，及/或可以正規化訊號擷取模組130所擷取出的訓練特徵訊號，再依據訓練特徵訊號產生訓練特徵資料。
在特徵產生模組150依據訓練特徵訊號產生訓練特徵資料(步驟360)後，手勢辨識模組170可以依據特徵產生模組150所產生的訓練特徵資料建立手勢分類模型(步驟390)。在本實施例中，假設手勢辨識模組170可以使用最近鄰居法作為機器學習的分類演算法，並將訓練特徵資料作為訓練資料輸入最近鄰居法，藉以產生手勢分類模型。
在本實施例中，若穿戴裝置中還包含特徵篩選模組180，則特徵篩選模組180可以在特徵產生模組150依據訓練特徵訊號產生訓練特徵資料(步驟360)後，先篩選特徵產生模組150所產生的訓練特徵資料(步驟380)，之後， 再由手勢辨識模組170依據特徵產生模組150所產生的訓練特徵資料建立手勢分類模型(步驟390)。
接著以第二實施例來解說本發明的運作系統與方法，同樣請參照「第3圖」。在本實施例中，假設僅有訊號偵測模組110設置在穿戴裝置上。穿戴裝置透過有線或無線通訊與計算裝置連接，本發明除了訊號偵測模組110之外的其他模組都設置於計算裝置中，但本發明並不以此為限。
首先，計算裝置可以收集訓練肌動訊號。在本實施例中，假設計算裝置可以透過穿戴裝置中的訊號偵測模組110由使用者之手腕周圍的肌肉偵測一定數量的訓練肌動訊號，也可以透過計算裝置的通訊模組連線至特定的伺服器下載訓練肌動訊號，或可以透過計算裝置的輸入模組接收使用者上傳的訓練肌動訊號，藉以收集訓練肌動訊號。
之後，計算裝置的訊號擷取模組130可以由被收集的訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)。在本實施例中，假設訊號擷取模組130同樣可以判斷訓練肌動訊號在Z軸上的振幅是否超過預定值，並在訓練肌動訊號在Z軸上的振幅超過預定值時，以超過預定值之振幅為觸發點，由訓練肌動訊號中擷取出訓練特徵訊號。
若計算裝置中包含訊號過濾模組120，則訊號過濾模組120可以濾除被收集到之訓練肌動訊號的雜訊(步驟330)，使得計算裝置的訊號擷取模組130可以由訊號過濾模組120過濾後的訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)。
在計算裝置的訊號擷取模組130由訓練肌動訊號中擷取出包含振幅超過預定值的訓練特徵訊號(步驟340)後，計算裝置的特徵產生模組150可 以依據訊號擷取模組130所擷取出的訓練特徵訊號產生訓練特徵資料(步驟350)。在本實施例中，假設特徵產生模組150可以對訓練特徵訊號進行三階的小波包分解以產生八層的頻率範圍，並依據每一層之頻率範圍中的時頻域訊號的統計資料產生目標特徵資料。其中，特徵產生模組150還可以先使用1赫茲的高通濾波器過濾訊號擷取模組130所擷取出的訓練特徵訊號，及/或可以正規化訊號擷取模組130所擷取出的訓練特徵訊號，再依據訓練特徵訊號產生訓練特徵資料。
在計算裝置的特徵產生模組150依據訓練特徵訊號產生訓練特徵資料(步驟360)後，計算裝置的手勢辨識模組170可以依據特徵產生模組150所產生的訓練特徵資料建立手勢分類模型(步驟390)。
在本實施例中，若計算裝置中還包含特徵篩選模組180，則特徵篩選模組180可以在計算裝置的特徵產生模組150依據訓練特徵訊號產生訓練特徵資料(步驟360)後，先篩選特徵產生模組150所產生的訓練特徵資料(步驟380)，接著，再由計算裝置的手勢辨識模組170依據特徵產生模組150所產生的訓練特徵資料建立手勢分類模型(步驟390)。
在計算裝置的特徵篩選模組180建立手勢分類模型後，穿戴裝置的訊號偵測模組110可以開始由使用者的手腕偵測目標肌動訊號(步驟220)，並可以透過有線或無線通訊將所偵測到的目標肌動訊號傳送給計算裝置。
計算裝置的訊號擷取模組130在接收到穿戴裝置的訊號偵測模組110所傳送的目標肌動訊號後，可以由所接收到的目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)。在本實施例中，假設訊號擷取模組130可以判斷目標肌動訊號在Z軸上的振幅是否超過預定值，並可以在判斷目標 肌動訊號在Z軸上的振幅超過預定值時，以超過預定值之振幅為觸發點450，由目標肌動訊號中擷取出目標特徵訊號。
相似的，若本實施例之計算裝置中包含訊號過濾模組120，則訊號過濾模組120可以先濾除訊號偵測模組110所傳送之目標肌動訊號的雜訊(步驟230)，計算裝置的訊號擷取模組130再由過濾後的目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)。
在計算裝置的訊號擷取模組130由目標肌動訊號中擷取出包含振幅超過預定值的目標特徵訊號(步驟240)後，計算裝置的特徵產生模組150可以依據訊號擷取模組130所擷取出的目標特徵訊號產生目標特徵資料(步驟250)。在本實施例中，特徵產生模組150可以對目標特徵訊號進行三階的小波包分解以產生八層的頻率範圍，並依據每一層之頻率範圍中的時頻域訊號的統計資料產生目標特徵資料。其中，特徵產生模組150還可以先使用高通濾波器過濾訊號擷取模組130所擷取出的目標特徵訊號，及/或可以正規化訊號擷取模組130所擷取出的目標特徵訊號，再依據目標特徵訊號產生目標特徵資料。
在計算裝置的特徵產生模組150依據目標特徵訊號產生目標特徵資料(步驟260)後，計算裝置的手勢辨識模組170可以使用手勢分類模型分類特徵產生模組150所產生的目標特徵資料，藉以識別使用者的手勢(步驟270)。如此，透過本發明，便可以使用較低的功耗由使用者手腕偵測肌動訊號，並以優異的辨識能力辨識出使用者所做出的手勢。
綜上所述，可知本發明與先前技術之間的差異在於具有透過穿戴裝置由使用者之手腕偵測目標肌動訊號後，由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號，並依據擷取出之目標特徵訊號產生目標特徵資 料，及使用手勢分類模型分類目標特徵資料以識別使用者之手勢之技術手段，藉由此一技術手段可以來解決先前技術所存在使用肌電訊號判斷手勢準確度不足且使用肌動訊號不易將感測器穿戴到正確位置的問題，進而達成使用較低功耗辨識使用者手勢以降低產品成本的技術功效。
再者，本發明之由手腕偵測肌動訊號以識別使用者手勢之方法，可實現於硬體、軟體或硬體與軟體之組合中，亦可在電腦系統中以集中方式實現或以不同元件散佈於若干互連之電腦系統的分散方式實現。
雖然本發明所揭露之實施方式如上，惟所述之內容並非用以直接限定本發明之專利保護範圍。任何本發明所屬技術領域中具有通常知識者，在不脫離本發明所揭露之精神和範圍的前提下，對本發明之實施的形式上及細節上作些許之更動潤飾，均屬於本發明之專利保護範圍。本發明之專利保護範圍，仍須以所附之申請專利範圍所界定者為準。
步驟210:建立手勢分類模型
步驟220:由使用者之手腕偵測目標肌動訊號
步驟230:濾除目標肌動訊號的雜訊
步驟240:由目標肌動訊號中擷取出包含振幅超過預定值之目標特徵訊號
步驟260:依據目標特徵訊號產生目標特徵資料
步驟270:使用手勢分類模型分類目標特徵資料以識別使用者之手勢

Claims (10)

  1. 一種由手腕偵測肌動訊號以識別使用者手勢之方法，該方法至少包含下列步驟：建立一手勢分類模型；由一使用者之手腕偵測一目標肌動訊號；判斷該目標肌動訊號之預定軸向之振幅超過預定值時，以超過預定值之振幅為一觸發點，擷取該目標肌動訊號中該觸發點前之一第一時間至該觸發點後之一第二時間之訊號為一目標特徵訊號；依據該目標特徵訊號產生一目標特徵資料；及使用該手勢分類模型分類該目標特徵資料以識別該使用者之手勢。
  2. 如申請專利範圍第1項所述之由手腕偵測肌動訊號以識別使用者手勢之方法，其中依據該目標特徵訊號產生該目標特徵資料之步驟為對該目標特徵訊號進行小波包分解(Wavelet Package Decomposition,WPD)以產生多個頻率範圍，並以各個頻率範圍中的時頻域訊號產生該目標特徵資料。
  3. 如申請專利範圍第1項所述之由手腕偵測肌動訊號以識別使用者手勢之方法，其中，該方法於判斷該目標肌動訊號之預定軸向之振幅超過預定值之步驟前，更包含濾除該目標肌動訊號之雜訊之步驟。
  4. 如申請專利範圍第1項所述之由手腕偵測肌動訊號以識別使用者手勢之方法，其中建立該手勢分類模型之步驟為搜集多個訓練肌動訊號，由該些訓練肌動訊號中擷取出包含振幅超過預定值之多個訓練特徵訊號，轉換該些訓練特徵訊號為各訓練特徵資料，依據該些訓練特徵資料建立該手勢分類模型。
  5. 如申請專利範圍第4項所述之由手腕偵測肌動訊號以識別使用者手勢之方法，其中依據該些訓練特徵資料建立該手勢分類模型之步驟，更包含篩選該些訓練特徵資料之步驟。
  6. 一種由手腕偵測肌動訊號以識別使用者手勢之系統，該系統至少包含：一訊號偵測模組，用以由一使用者之手腕偵測一目標肌動訊號；一訊號擷取模組，用以判斷該目標肌動訊號之預定軸向之振幅超過預定值時，以超過預定值之振幅為一觸發點，擷取該目標肌動訊號中該觸發點前之一第一時間至該觸發點後之一第二時間之訊號為一目標特徵訊號；一特徵產生模組，用以依據該目標特徵訊號產生一目標特徵資料；及一手勢辨識模組，用以分類該目標特徵資料以識別該使用者之手勢。
  7. 如申請專利範圍第6項所述之由手腕偵測肌動訊號以識別使用者手勢之系統，其中該特徵產生模組是對該目標特徵訊號進行小波包分解以產生多個頻率範圍，並以各個頻率範圍中的時頻域訊號產生該目標特徵資料。
  8. 如申請專利範圍第6項所述之由手腕偵測肌動訊號以識別使用者手勢之系統，其中，該系統更包含一訊號過濾模組，用以過濾該目標肌動訊號中之雜訊。
  9. 如申請專利範圍第6項所述之由手腕偵測肌動訊號以識別使用者手勢之系統，其中該訊號偵測模組更用以搜集多個訓練肌動訊號，該訊號擷取模組更用以由該些訓練肌動訊號中擷取出包含振幅超過預定值之多個訓練特徵訊號，該特徵產生模組更用以轉換該些訓練特徵訊號為各訓練特徵資料，該手 勢辨識模組更用以依據該些訓練特徵資料建立一手勢分類模型，藉以使用該手勢分類模型分類該目標特徵資料。
  10. 如申請專利範圍第9項所述之由手腕偵測肌動訊號以識別使用者手勢之系統，其中更包含一特徵篩選模組，用以篩選該些訓練特徵資料，使該手勢辨識模組依據該些篩選後之訓練特徵資料建立該手勢分類模型。
TW108109262A 2019-03-19 2019-03-19 由手腕偵測肌動訊號識別使用者手勢之系統及方法 TWI689859B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108109262A TWI689859B (zh) 2019-03-19 2019-03-19 由手腕偵測肌動訊號識別使用者手勢之系統及方法
US16/822,344 US11023045B2 (en) 2019-03-19 2020-03-18 System for recognizing user gestures according to mechanomyogram detected from user's wrist and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108109262A TWI689859B (zh) 2019-03-19 2019-03-19 由手腕偵測肌動訊號識別使用者手勢之系統及方法

Publications (2)

Publication Number Publication Date
TWI689859B true TWI689859B (zh) 2020-04-01
TW202036245A TW202036245A (zh) 2020-10-01

Family

ID=71134356

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109262A TWI689859B (zh) 2019-03-19 2019-03-19 由手腕偵測肌動訊號識別使用者手勢之系統及方法

Country Status (2)

Country Link
US (1) US11023045B2 (zh)
TW (1) TWI689859B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
CN113423341A (zh) 2018-11-27 2021-09-21 脸谱科技有限责任公司 用于可穿戴电极传感器系统的自动校准的方法和装置
IT201900019037A1 (it) * 2019-10-16 2021-04-16 St Microelectronics Srl Metodo perfezionato per rilevare un gesto di inclinazione del polso e unita' elettronica e dispositivo elettronico indossabile che implementano il medesimo
KR20210078283A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 센서 신호로부터 사용자의 제스처를 인식하는 전자 장치 및 이를 이용한 제스처 인식 방법
US11592907B2 (en) * 2020-10-20 2023-02-28 Google Llc Gesture-triggered augmented-reality
TWI765452B (zh) * 2020-12-08 2022-05-21 日商Ｊｆｅ鋼鐵股份有限公司 時間序列訊號之觸發條件決定方法、監視對象設備之異常診斷方法及時間序列訊號之觸發條件決定裝置
CN112508462B (zh) * 2021-02-05 2021-05-14 北京芯盾时代科技有限公司 数据筛选方法、装置及存储介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033327A1 (en) * 2013-09-09 2015-03-12 Belfiori Alfredo Wearable controller for wrist
CN104699241A (zh) * 2015-02-10 2015-06-10 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN105786189A (zh) * 2016-04-28 2016-07-20 深圳大学 一种基于肌动信号的指部独立动作识别方法及系统
CN106919958A (zh) * 2017-03-21 2017-07-04 电子科技大学 一种基于智能手表的人体手指动作识别方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI20846A (sl) 2001-03-21 2002-10-31 Tmg-Bmc D.O.O. Postopek in naprava za selektivno in neinvazivno merjenje časovnih potekov kontrakcije prečno progastih mišic
FI112845B (fi) 2002-11-29 2004-01-30 Teuvo Sihvonen Menetelmä ja laitteisto lihassähköaktiviteetin mittaamisessa
AU2004100481A4 (en) 2004-06-18 2004-07-08 La, Van Mechanomyogram Dependent Steps and Loading Force Portable Monitor device
US20060079801A1 (en) 2004-09-16 2006-04-13 Deluca Carlo J Sensor system for detecting and processing EMG signals
JP4934813B2 (ja) 2007-02-06 2012-05-23 国立大学法人広島大学 入力情報処理装置、入力情報処理方法、入力情報処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体
JP2009095431A (ja) 2007-10-15 2009-05-07 Chiba Univ 指筋活動検出方法
US8170656B2 (en) 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8421634B2 (en) 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
TWI490011B (zh) 2010-07-01 2015-07-01 Ind Tech Res Inst 運動分析系統與方法
US20150342513A1 (en) 2010-07-01 2015-12-03 Industrial Technology Research Institute System and Method for Analyzing Biomechanics
EP2698686B1 (en) 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US20140240103A1 (en) 2013-02-22 2014-08-28 Thalmic Labs Inc. Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control
US20140249397A1 (en) 2013-03-01 2014-09-04 Thalmic Labs Inc. Differential non-contact biopotential sensor
US10603690B2 (en) 2013-03-11 2020-03-31 Apple Inc. Portable electronic device using a tactile vibrator
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US9367139B2 (en) 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
KR102135586B1 (ko) * 2014-01-24 2020-07-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150261306A1 (en) 2014-03-17 2015-09-17 Thalmic Labs Inc. Systems, devices, and methods for selecting between multiple wireless connections
US20150301606A1 (en) 2014-04-18 2015-10-22 Valentin Andrei Techniques for improved wearable computing device gesture based interactions
USD717685S1 (en) 2014-05-15 2014-11-18 Thalmic Labs Inc. Expandable armband
US10216274B2 (en) 2014-06-23 2019-02-26 North Inc. Systems, articles, and methods for wearable human-electronics interface devices
KR102343657B1 (ko) 2014-08-28 2021-12-24 삼성전자주식회사 손목 근육들의 움직임들에 상응하는 사용자 입력을 처리할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
CN104345886B (zh) 2014-10-09 2017-04-26 深圳码隆科技有限公司 一种实现时尚体验的智能眼镜系统及个性化时尚体验方法
KR102315871B1 (ko) * 2014-11-27 2021-10-21 삼성전자주식회사 생체 신호 처리 장치 및 생체 신호 처리 방법
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9720515B2 (en) 2015-01-02 2017-08-01 Wearable Devices Ltd. Method and apparatus for a gesture controlled interface for wearable devices
US9612661B2 (en) 2015-01-02 2017-04-04 Wearable Devices Ltd. Closed loop feedback interface for wearable devices
EP3259634A4 (en) 2015-02-17 2018-10-17 Thalmic Labs Inc. Systems, devices, and methods for eyebox expansion in wearable heads-up displays
TWI583357B (zh) 2015-12-17 2017-05-21 財團法人工業技術研究院 肌肉震動訊號處理系統與方法
US10120455B2 (en) 2016-12-28 2018-11-06 Industrial Technology Research Institute Control device and control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033327A1 (en) * 2013-09-09 2015-03-12 Belfiori Alfredo Wearable controller for wrist
CN104699241A (zh) * 2015-02-10 2015-06-10 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN105786189A (zh) * 2016-04-28 2016-07-20 深圳大学 一种基于肌动信号的指部独立动作识别方法及系统
CN106919958A (zh) * 2017-03-21 2017-07-04 电子科技大学 一种基于智能手表的人体手指动作识别方法

Also Published As

Publication number Publication date
US11023045B2 (en) 2021-06-01
US20200301509A1 (en) 2020-09-24
TW202036245A (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
TWI689859B (zh) 由手腕偵測肌動訊號識別使用者手勢之系統及方法
Vallabh et al. Fall detection monitoring systems: a comprehensive review
US20200187845A1 (en) Abnormal motion detector and monitor
Wang et al. Fall detection based on dual-channel feature integration
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
TWI487505B (zh) 肌動訊號輸入裝置、人機操作系統及其辨識方法
Bayat et al. A study on human activity recognition using accelerometer data from smartphones
Zhang et al. Fall detection by embedding an accelerometer in cellphone and using KFD algorithm
US8421634B2 (en) Sensing mechanical energy to appropriate the body for data input
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
Zhuang et al. Design of human activity recognition algorithms based on a single wearable IMU sensor
Ye et al. Automatic eating detection using head-mount and wrist-worn accelerometers
CN111089604B (zh) 基于可穿戴传感器的健身运动识别方法
Liu et al. Recent advances in biometrics-based user authentication for wearable devices: A contemporary survey
CN108985157A (zh) 一种手势识别方法和装置
EP2508127B1 (en) Method and system for posture evaluation
Liu et al. A review of wearable sensors based fall-related recognition systems
Liu et al. A lightweight double-channel depthwise separable convolutional neural network for multimodal fusion gait recognition
Khandnor et al. A survey of activity recognition process using inertial sensors and smartphone sensors
Zhen et al. Wearable preimpact fall detector using SVM
Kerdegari et al. Development of wearable human fall detection system using multilayer perceptron neural network
Murao et al. A combined-activity recognition method with accelerometers
Politi et al. Comparative evaluation of feature extraction methods for human motion detection
Kefer et al. Evaluating the placement of arm-worn devices for recognizing variations of dynamic hand gestures
JP5998811B2 (ja) 情報入力装置、特定周波数抽出方法、特定周波数抽出プログラム