TWI723574B - 手勢辨識系統及手勢辨識方法 - Google Patents
手勢辨識系統及手勢辨識方法 Download PDFInfo
- Publication number
- TWI723574B TWI723574B TW108136770A TW108136770A TWI723574B TW I723574 B TWI723574 B TW I723574B TW 108136770 A TW108136770 A TW 108136770A TW 108136770 A TW108136770 A TW 108136770A TW I723574 B TWI723574 B TW I723574B
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- offset compensation
- demodulation
- quadrature
- module
- Prior art date
Links
Images
Abstract
一種手勢辨識方法使用雷達對手勢進行偵測並對偵測訊號進行解調,透過運算裝置對解調訊號進行直流偏移補償,並從補償訊號萃取位移訊號及包絡線訊號,最後透過深度神經網路依據位移訊號及包絡線訊號進行即時之手勢辨識。
Description
本發明是關於一種辨識系統,特別是關於一種手勢辨識系統及其辨識方法。
手勢辨識是人與機器之間最自然且簡單的溝通方式,透過手勢辨識能夠直接以手部動作控制機器。目前手勢辨識多以設置於偵測裝置中的三軸陀螺儀或是以深度攝影機進行手部移動軌跡的偵測,再藉由手部移動軌跡進行手勢辨識,但三軸陀螺儀必須讓人手持著才能夠與手勢同步移動以測得其移動軌跡,深度攝影機則需要讓手勢保持在鏡頭中才能夠捕捉到手勢,無論是三軸陀螺儀或是深度攝影機在實際應用上皆有其限制。請參閱美國專利號US 992,1657,其藉由多個超寬頻雷達(Ultra-WideBand radar)偵測手勢不同方向之深度資訊,再透過該些深度資訊與已知的手勢進行比對,而得到手勢辨識之結果。由於雷達具有非接觸及穿透非金屬障礙物的特性,使得以雷達進行手勢辨識有著便利且偵測範圍較為不受限制的功效,但透過多個雷達進行偵測及手勢比對會拉長手勢辨識的運算時間。
本發明的主要目的在於以雷達對手勢進行偵測,測得之訊號藉由直流偏移補償模組進行直流偏移補償,並藉由計算模組計算位移訊號及包絡線訊號,最後透過深度神經網路依據位移訊號及包絡線訊號進行手勢辨識。
本發明之一種手勢辨識方法包含:以一雷達對一手勢進行偵測而得到一偵測訊號,且該雷達對該偵測訊號進行解調而得到一解調訊號;一直流偏移補償模組接收該解調訊號,且該直流偏移補償模組對該解調訊號進行直流偏移補償而輸出一直流偏移補償解調訊號;一計算模組接收該直流偏移補償解調訊號,且該計算模組根據該直流偏移補償解調訊號計算一位移訊號及一包絡線訊號;以及一深度神經網路(Deep neural network, DNN)接收該位移訊號及該包絡線訊號,且該深度神經網路藉由該位移訊號及該包絡線訊號辨識該手勢。
一種手勢辨識系統包含一雷達及一運算裝置,該雷達用以對一手勢進行偵測而得到一偵測訊號,且該雷達對該偵測訊號進行解調而得到一解調訊號,該運算裝置具有一直流偏移補償模組、一計算模組及一深度神經網路,該直流偏移補償模組耦接該雷達以接收該解調訊號,且該直流偏移補償模組對該解調訊號進行直流偏移補償而輸出一直流偏移補償解調訊號,該計算模組耦接該直流偏移補償模組以接收該直流偏移補償解調訊號,且該計算模組用以從該直流偏移補償解調訊號萃取一位移訊號及一包絡線訊號,該深度神經網路耦接該計算模組以接收該位移訊號及該包絡線訊號,且該深度神經網路依據該位移訊號及該包絡線訊號進行深度學習或辨識該手勢。
本發明藉由該雷達對該手勢進行手勢偵測及訊號解調,並透過該運算裝置計算該手勢之位移訊號及包絡線訊號,讓深度神經網路能依據位移訊號及包絡線訊號進行手勢辨識。由於雷達具有非接觸式及具穿透性的優勢,且計算而得之位移訊號及包絡線訊號的資料量較少,可讓本發明達成即時手勢辨識之功效。
請參閱第1圖,其為本發明之一實施例,一種手勢辨識方法10的流程圖,其包含「手勢偵測11」、「直流偏移補償12」、「位移及包絡線計算13」及「手勢辨識14」。
請參閱第1圖,於步驟11中以一雷達對手勢進行手勢偵測及訊號解調,請參閱第2圖,其為該雷達110的電路圖,在本實施例中,該雷達110具有一注入鎖定振盪器111、一耦合器112、一接收天線113、一收發天線114、一第一功率分配器115、一第二功率分配器116及一正交解調模組120。該接收天線113接收一空間無線訊號S
AB為一參考訊號S
REF,而該空間無線訊號S
AB可為環境中之一無線基地台(Wireless Access Point)發出之一Wi-Fi訊號,使該雷達110成為一被動式雷達,可免除該雷達110需要自有訊號源而造成之電磁干擾。該耦合器112電性連接該接收天線113以接收該參考訊號S
REF,且該耦合器112將該參考訊號S
REF分為兩路,該注入鎖定振盪器111電性連接該耦合器112以接收其中之一路之該參考訊號S
REF,且該注入鎖定振盪器111被該參考訊號S
REF注入鎖定而處於一注入鎖定狀態(Injection-locked state)並輸出一參考振盪訊號S
O_REF做為該正交解調模組之本地振盪輸入訊號。該收發天線114經由該第一功率分配器115電性連接該耦合器112以接收另一路之該參考訊號S
REF,該收發天線114將該參考訊號S
REF發射為一無線訊號S
TX至一手勢H,並接收由該手勢H反射之一反射訊號S
RX為一偵測訊號S
det,該第二功率分配器116經由該第一功率分配器115電性連接該收發天線114以接收該偵測訊號S
det,且該第二功率分配器116將該偵測訊號S
det分為兩路做為該正交解調模組之射頻輸入訊號。
其中,若該手勢H與該收發天線114之間有著相對運動,該相對運動會對該無線訊號S
TX產生都普勒效應(Doppler Effect),使得該手勢H反射之該反射訊號S
RX及該收發天線114接收之該偵測訊號S
det中含有相對運動的都普勒相移成份。
請再參閱第2圖,在本實施例中,該正交解調模組120具有一正交功率分配器121、一第一混頻器122及一第二混頻器123,該正交功率分配器121電性連接該注入鎖定振盪器111以接收該參考振盪訊號S
O_REF,且該正交功率分配器121將該參考振盪訊號S
O_REF分配為一同相訊號S
O_I及一正交訊號S
O_Q,其中該同相訊號S
O_I與該正交訊號S
O_Q之間的相位相差90度。該第一混頻器122接收該同相訊號S
O_I及該偵測訊號S
det進行混頻並經由低通濾波器LPF濾波後得到該同相解調訊號
I,該第二混頻器123接收該正交訊號S
O_Q及該偵測訊號S
det進行混頻並經由低通濾波器LPF濾波後得到該正交解調訊號
Q。
此外,在其他實施例中,該雷達110亦可使用連續波(Continuous-Wave)雷達、超寬頻(Ultra-WideBand)雷達及頻率調制連續波(Frequency-Modulated Continuous-Wave)雷達得到該同相解調訊號
I及該正交解調訊號
Q,該雷達110之種類並非本案之所限。
請參閱第1圖,接著,於步驟12中對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移補償,請參閱第3圖,一運算裝置130由該雷達110接收該同相解調訊號
I及該正交解調訊號
Q,在本實施例中,該運算裝置130具有一直流偏移補償模組131、一計算模組132及一深度神經網路133(Deep neural network, DNN),該直流偏移補償模組131對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移補償而得到一直流偏移補償同相解調訊號
I DC_C及一直流偏移補償正交解調訊號
Q DC_C。在本實施例中,該直流偏移補償模組131以該同相解調訊號
I及該正交解調訊號
Q構成之極座標軌跡中的三組向量數據計算一外心座標,再藉由該外心座標對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移補償。請參閱第4圖,其為該同相解調訊號
I及該正交解調訊號
Q之進行直流偏移補償前後的極座標軌跡圖,請參閱第4(a)圖,由於偵測該手勢H在較小的擺動位移時所得之該同相解調訊號
I及該正交解調訊號
Q無法形成一類似圓形的軌跡,因此,本實施例藉由其中的三組向量數據(
I 1,
Q 1)、(
I 2,
Q 2)、(
I 3,
Q 3)求得軌跡的該外心座標(
I c,
Q c),而該外心座標則可視為該同相解調訊號
I及該正交解調訊號
Q的直流偏移向量,因此可藉由計算而得之該外心座標對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移補償,請參閱第4(b)圖,為該直流偏移補償同相解調訊號
I DC_C及該直流偏移補償正交解調訊號
Q DC_C構成之極座標軌跡圖。在本實施例中,求得該外心座標的計算式為:
,
其中
為該外心座標,
、
、
為該同相解調訊號
I及該正交解調訊號
Q的三組向量數據,藉此可快速地對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移補償成為該直流偏移補償同相解調訊號
I DC_C及該直流偏移補償正交解調訊號
Q DC_C,以利後續從該直流偏移補償同相解調訊號
I DC_C及該直流偏移補償正交解調訊號
Q DC_C求得該位移訊號
D及該包絡線訊號
E。
由於該同相解調訊號
I及該正交解調訊號
Q之三組數據的選擇對於該外心座標的正確性有著極大的影響,因此,較佳的,可透過一移動平均濾波器(Moving average filter)對該同相解調訊號
I及該正交解調訊號
Q進行處理後再進行三組向量數據的選擇以及外心座標的計算。
此外,在其他實施例中,亦可使用LS(Least Square) adaptive circle center tracking或Linear demodulation對該同相解調訊號
I及該正交解調訊號
Q進行直流偏移的補償。
請參閱第1圖,接著,於步驟13中該計算模組132根據該直流偏移補償解調訊號計算一位移訊號及一包絡線訊號,請參閱第3圖,該計算模組132由該直流偏移補償模組131接收該直流偏移補償同相解調訊號
I DC_C及該直流偏移補償正交解調訊號
Q DC_C,並藉由該直流偏移補償同相解調訊號
I DC_C及該直流偏移補償正交解調訊號
Q DC_C計算該位移訊號
D及該包絡線訊號
E,在本實施例中,該計算模組132計算該位移訊號
D及該包絡線訊號
E的公式為:
,
,
其中,
為一正歸化因子(Normalization factor),
為一包絡線峰值,該正歸化因子
為該包絡線峰值
的函數,
為光速,
為該參考振盪訊號S
O_REF之角頻率。
請參閱第1及3圖,最後,於步驟14中該運算裝置130之該深度神經網路133由該計算模組132接收該位移訊號
D及該包絡線訊號
E,且該深度神經網路133藉由該位移訊號
D及該包絡線訊號
E辨識該手勢。若處於訓練階段則該深度神經網路133藉由該位移訊號
D及該包絡線訊號
E進行訓練。在本實施例中,該深度神經網路133為具有長短期記憶(Long short-term memory)之卷積神經網路(Convolutional neural network),但本發明並不在此限。
請參閱第5及6圖,其為本實施例進行手勢辨識的實測數據,其中待測之手勢與該收發天線114的距離介於10 to 15 cm之間,而該收發天線114與發出該Wi-Fi訊號之無線基地台(圖未繪出)之間的距離約為1公尺。其中,第5(a)圖是將三根手指由張開移動至闔上,而第6(a)圖為測得之該位移訊號
D及該包絡線訊號
E,第5(b)圖是將三根手指由闔上移動至張開,而第6(b)圖為測得之該位移訊號
D及該包絡線訊號
E,第5(c)圖是將手向前轉動,而第6(c)圖為測得之該位移訊號
D及該包絡線訊號
E,第5(d)圖是將手向後轉動,而第6(d)圖為測得之該位移訊號
D及該包絡線訊號
E。由第6圖可以看到不同的手勢測得之該位移訊號
D及該包絡線訊號
E會有不同之特徵,而能藉由這兩個訊號進行手勢辨識。請參閱第7圖,為該深度神經網路133之訓練階段及驗證階段之正確率,可以看到該深度神經網路133在150 epochs時訓練階段可達到97.3%的正確率,驗證階段則亦可以達到94.4%的正確率,而測試時可以達到93.8%的正確率,可知本發明之該手勢辨識方法10具有相當可靠的辨識率。
本發明藉由該雷達對該手勢進行手勢偵測及訊號解調,並透過該運算裝置計算該手勢之位移訊號及包絡線訊號,讓深度神經網路能依據位移訊號及包絡線訊號進行手勢辨識。由於雷達具有非接觸式及具穿透性的優勢,且計算而得之位移訊號及包絡線訊號的資料量較少,可讓本發明達成即時手勢辨識之功效。
本發明之保護範圍當視後附之申請專利範圍所界定者為準,任何熟知此項技藝者,在不脫離本發明之精神和範圍內所作之任何變化與修改,均屬於本發明之保護範圍。
10:手勢辨識方法
11:手勢偵測
12:直流偏移補償
13:位移及包絡線計算
14:手勢辨識
110:雷達
111:注入鎖定振盪器
112:耦合器
113:接收天線
114:收發天線
115:第一功率分配器
116:第二功率分配器
120:正交解調模組
121:正交功率分配器
122:第一混頻器
123:第二混頻器
130:運算裝置
131:直流偏移補償模組
132:計算模組
133:深度神經網路
H:手勢
LPF:低通濾波器
S
det:偵測訊號
I:同相解調訊號
Q:正交解調訊號
I
DC_C:直流偏移補償同相解調訊號
Q
DC_C:直流偏移補償正交解調訊號
S
O_REF:參考振盪訊號
S
O_I:同相訊號
S
O_Q:正交訊號
S
AB:空間無線訊號
S
REF:參考訊號
S
TX:無線訊號
S
RX:反射訊號
E:包絡線訊號
D:位移訊號
第1圖:依據本發明之一實施例,一種手勢辨識方法的流程圖。
第2圖:依據本發明之一實施例,一雷達的電路圖。
第3圖:依據本發明之一實施例,一運算裝置的功能方塊圖。
第4圖:依據本發明之一實施例,對解調訊號進行直流偏移補償的示意圖。
第5圖:依據本發明之一實施例,該雷達偵測手勢的示意圖。
第6圖:依據本發明之一實施例,偵測第5圖之各個手勢而得之位移訊號及包絡線訊號。
第7圖:依據本發明之一實施例,深度神經網路以第6圖之位移訊號及包絡線訊號進行訓練及驗證第5圖所示之手勢辨識的正確率。
10:手勢辨識方法
11:手勢偵測
12:直流偏移補償
13:位移及包絡線計算
14:手勢辨識
Claims (7)
- 一種手勢辨識方法,其包含:以一雷達對一手勢進行偵測而得到一偵測訊號,且該雷達對該偵測訊號進行解調而得到一解調訊號;一直流偏移補償模組接收該解調訊號,且該直流偏移補償模組對該解調訊號進行直流偏移補償而輸出一直流偏移補償解調訊號;一計算模組接收該直流偏移補償解調訊號,且該計算模組根據該直流偏移補償解調訊號計算一位移訊號及一包絡線訊號;以及一深度神經網路(Deep neural network,DNN)接收該位移訊號及該包絡線訊號,且該深度神經網路藉由該位移訊號及該包絡線訊號辨識該手勢。
- 如申請專利範圍第1項所述之手勢辨識方法,其中該雷達具有一正交解調模組,該正交解調模組接收該偵測訊號及一參考振盪訊號,用以對該偵測訊號解調而輸出一同相解調訊號(In-phase demodulation signal)及一正交解調訊號(Quadrature demodulation signal),該直流偏移補償模組接收該同相解調訊號及該正交解調訊號並對其進行直流偏移補償而輸出一直流偏移補償同相解調訊號及一直流偏移補償正交解調訊號。
- 如申請專利範圍第2項所述之手勢辨識方法,其中該直流偏移補償模組藉由該同相解調訊號及該正交解調訊號的三組向量數據計算該解調訊號的一外心座標,且該直流偏移補償模組藉由該外心座標對該同相解調訊號及該正交解調訊號進行直流偏移補償。
- 如申請專利範圍第2項所述之手勢辨識方法,其中該正交解調模組具有一正交功率分配器、一第一混頻器及一第二混頻器,該正交功率分配器接收該參考振盪訊號,且將該參考振盪訊號分配為一同相訊號及一正交訊號,該第一混頻器接收該同相訊號及該偵測訊號並進行混頻而得到該同相解調訊號,該第二混頻器接收該正交訊號及該偵測訊號並進行混頻而得到該正交解調訊號。
- 如申請專利範圍第2項所述之手勢辨識方法,其中該雷達具有一注入鎖定振盪器、一耦合器、一接收天線、一收發天線及一第一功率分配器及一第二功率分配器,該接收天線接收一空間無線訊號為一參考訊號,該耦合器電性連接該接收天線以接收該參考訊號,且該耦合器將該參考訊號分為兩路,該注入鎖定振盪器電性連接該耦合器以接收其中之一路之該參考訊號,且該注入鎖定振盪器被該參考訊號注入鎖定,該注入鎖定振盪器輸出該參考振盪訊號做為該正交解調模組之一本地振盪輸入訊號,該收發天線經由該第一功率分配器電性連接該耦合器以接收另一路之該參考訊號,該收發天線將該參考訊號發射為一無線訊號至該手勢並接收由該手勢反射之一反射訊號為該偵測訊號,該第二功率分配器經由該第一功率分配器電性連接該收發天線以接收該偵測訊號,且該第二功率分配器將該偵測訊號分為兩路做為該正交解調模組之一射頻輸入訊號。
- 一種手勢辨識系統,其包含: 一雷達,用以對一手勢進行偵測而得到一偵測訊號,且該雷達對該偵測訊號進行解調而得到一解調訊號;以及 一運算裝置,具有一直流偏移補償模組、一計算模組及一深度神經網路(Deep neural network, DNN),該直流偏移補償模組耦接該雷達以接收該解調訊號,且該直流偏移補償模組對該解調訊號進行直流偏移補償而輸出一直流偏移補償解調訊號,該計算模組耦接該直流偏移補償模組以接收該直流偏移補償解調訊號,且該計算模組用以從該直流偏移補償解調訊號萃取一位移訊號及一包絡線訊號,該深度神經網路耦接該計算模組以接收該位移訊號及該包絡線訊號,且該深度神經網路依據該位移訊號及該包絡線訊號辨識該手勢。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108136770A TWI723574B (zh) | 2019-10-09 | 2019-10-09 | 手勢辨識系統及手勢辨識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108136770A TWI723574B (zh) | 2019-10-09 | 2019-10-09 | 手勢辨識系統及手勢辨識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI723574B true TWI723574B (zh) | 2021-04-01 |
TW202115612A TW202115612A (zh) | 2021-04-16 |
Family
ID=76604381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108136770A TWI723574B (zh) | 2019-10-09 | 2019-10-09 | 手勢辨識系統及手勢辨識方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI723574B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105190482A (zh) * | 2013-03-15 | 2015-12-23 | 高通股份有限公司 | 缩放手势的检测 |
US9921657B2 (en) * | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
US20180341333A1 (en) * | 2015-03-03 | 2018-11-29 | Pavlo Molchanov | Multi-sensor based user interface |
TW201904244A (zh) * | 2017-05-31 | 2019-01-16 | 美商谷歌有限責任公司 | 使用一無線通信晶片組之雷達感測之雷達調變 |
-
2019
- 2019-10-09 TW TW108136770A patent/TWI723574B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105190482A (zh) * | 2013-03-15 | 2015-12-23 | 高通股份有限公司 | 缩放手势的检测 |
US9921657B2 (en) * | 2014-03-28 | 2018-03-20 | Intel Corporation | Radar-based gesture recognition |
US20180341333A1 (en) * | 2015-03-03 | 2018-11-29 | Pavlo Molchanov | Multi-sensor based user interface |
TW201904244A (zh) * | 2017-05-31 | 2019-01-16 | 美商谷歌有限責任公司 | 使用一無線通信晶片組之雷達感測之雷達調變 |
Non-Patent Citations (3)
Title |
---|
Yi-Chen Lai, Chuan-Chi Chou, Mu-Cyun Tang, Tzyy-Sheng Horng, and Fu-Kang Wang, "Finger Gesture Sensing and Recognition Using a Wi-Fi-based Passive Radar", 2019 IEEE/MTT-S International Microwave Symposium, 07 May 2019.International Microwave Symposium. |
Yi-Chen Lai, Chuan-Chi Chou, Mu-Cyun Tang, Tzyy-Sheng Horng, and Fu-Kang Wang, "Finger Gesture Sensing and Recognition Using a Wi-Fi-based Passive Radar", 2019 IEEE/MTT-S International Microwave Symposium, 07 May 2019.International Microwave Symposium. 王國榮,基於資料手套的智慧型手勢辨識之廣泛研究,國立臺灣科技大學電機工程學系碩士論文,2001 * |
王國榮,基於資料手套的智慧型手勢辨識之廣泛研究,國立臺灣科技大學電機工程學系碩士論文,2001。 |
Also Published As
Publication number | Publication date |
---|---|
TW202115612A (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI514193B (zh) | 動作感測裝置 | |
Motroni et al. | SAR-based indoor localization of UHF-RFID tags via mobile robot | |
US6963301B2 (en) | System and method for near-field electromagnetic ranging | |
CN109375167B (zh) | 井下无源动目标定位方法 | |
Jiang et al. | 3D-OmniTrack: 3D tracking with COTS RFID systems | |
Huiting et al. | Exploiting phase measurements of EPC Gen2 RFID tags | |
US20150198708A1 (en) | Rfid device, methods and applications | |
WO2012094825A1 (zh) | 采用射频识别阅读器定位标签的方法以及射频识别阅读器 | |
Wang et al. | RF-Focus: Computer vision-assisted region-of-interest RFID tag recognition and localization in multipath-prevalent environments | |
Li et al. | An indoor location algorithm based on Kalman filter fusion of ultra-wide band and inertial measurement unit | |
US20230112537A1 (en) | Vital information acquisition apparatus and method | |
Venkatnarayan et al. | Enhancing indoor inertial odometry with wifi | |
CN103901425B (zh) | 一种测量运动物体横向速度的雷达及方法 | |
Fishberg et al. | Multi-agent relative pose estimation with UWB and constrained communications | |
Zhang et al. | RFID based vehicular localization for intelligent transportation systems | |
Wang et al. | Simultaneous material identification and target imaging with commodity RFID devices | |
Long et al. | Single UWB anchor aided PDR heading and step length correcting indoor localization system | |
Horng | Self-injection-locked radar: An advance in continuous-wave technology for emerging radar systems | |
Hu et al. | Accuracy improvement of indoor real-time location tracking algorithm for smart supermarket based on ultra-wideband | |
TWI723574B (zh) | 手勢辨識系統及手勢辨識方法 | |
Zhang et al. | A dynamic window-based UWB-Odometer fusion approach for indoor positioning | |
Huang et al. | Hand-gesture sensing Doppler radar with metamaterial-based leaky-wave antennas | |
Bonsignori et al. | Estimation of user’s orientation via wearable uwb | |
Kharrat et al. | Customized RSSI method for passive UHF RFID localization system | |
Mittra et al. | Real time estimation of motion and range of RFID tags |