TWI786493B - 具有機器學習加速器的手勢收集以及辨識系統 - Google Patents

具有機器學習加速器的手勢收集以及辨識系統 Download PDF

Info

Publication number
TWI786493B
TWI786493B TW109145030A TW109145030A TWI786493B TW I786493 B TWI786493 B TW I786493B TW 109145030 A TW109145030 A TW 109145030A TW 109145030 A TW109145030 A TW 109145030A TW I786493 B TWI786493 B TW I786493B
Authority
TW
Taiwan
Prior art keywords
signal
gesture
image data
characteristic image
machine learning
Prior art date
Application number
TW109145030A
Other languages
English (en)
Other versions
TW202225943A (zh
Inventor
君弘 王
Original Assignee
開酷科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開酷科技股份有限公司 filed Critical 開酷科技股份有限公司
Priority to TW109145030A priority Critical patent/TWI786493B/zh
Publication of TW202225943A publication Critical patent/TW202225943A/zh
Application granted granted Critical
Publication of TWI786493B publication Critical patent/TWI786493B/zh

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種具有機器學習加速器的手勢收集以及辨識系統,包含 傳輸單元,傳送傳輸訊號,以偵測手勢;第一接收鏈,接收第一訊號,以產生第一特徵圖像資料;第二接收鏈,接收第二訊號,以產生第二特徵圖像資料;手勢儲存引擎,根據第一特徵圖像資料及第二特徵圖像資料產生手勢資料,耦合至第一接收鏈及第二接收鏈,接收第一特徵圖像資料及第二特徵圖像資料,並輸出手勢資料;機器學習加速器,用於執行具有手勢資料之機器學習,包含輸入端,耦合至手勢儲存引擎之輸出端,用於接收手勢資料。

Description

具有機器學習加速器的手勢收集以及辨識系統
本發明係關於一種手勢收集以及辨識系統,特別是關於一種具有機器學習加速器的手勢收集以及辨識系統。
隨著電子產品在技術上發展日新月異,使用者與電子裝置之間的通訊及互動已經變成一個重要的技術問題。
一般的輸入方法包含觸控螢幕、語音控制、使用筆尖等輸入方法。雖然上述方法皆可使用,但仍存在許多限制。
例如,當使用者需要輸入指令到電子裝置時,使用者仍然需要觸控該電子裝置或產生聲音,以作為輸入的指令,但對於輸入的指令,應用程式係具有距離上的限制。此外,上述方法對於遊戲或者更複雜控制指令的應用程式而言係難以實現。
有鑑於此,目前雖然已揭露藉由使用偵測手勢以進行控制的技術手段,但偵測手勢的技術係具有難以辨識手勢以及正確辨識手勢的問題。進一步而言,由於每個使用者所產生手勢皆不盡相同,因此,現今對於偵測手勢的技術手段仍難以達到客制化辨識的結果,因而無法進一步成為更有效率輸入方法。
鑑於上述問題,本發明提供一種具有機器學習加速器的手勢收集以及辨識系統,包含:一傳輸單元,具有一自我干擾消除引擎,傳送一傳輸訊號,以偵測一手勢;一第一接收鏈,接收一第一訊號,以產生對應該第一訊號之一第一特徵圖像資料,其中該第一訊號藉由該手勢反射該傳輸訊號產生;一第二接收鏈,接收一第二訊號,以產生對應該第二訊號之一第二特徵圖像資料,其中該第二訊號藉由該手勢反射該傳輸訊號產生;一第三接收鏈,接收一第三訊號,以產生對應該第三訊號之一第三特徵圖像資料,其中該第三訊號藉由該手勢反射該傳輸訊號產生;一手勢儲存引擎,根據至少該第一特徵圖像資料、該第二特徵圖像資料及該第三特徵圖像資料產生一手勢資料,包含:一第一端,耦合至該第一接收鏈,且接收該第一特徵圖像資料;一第二端,耦合至該第二接收鏈,且用於接收該第二特徵圖像資料;一第三端,耦合至該第三接收鏈,且用於接收該第三特徵圖像資料;以及一輸出端,用於輸出該手勢資料,該手勢資料對應至少該第一特徵圖像資料、至少該第二特徵圖像資料以及至少該第三特徵圖像資料;以及一機器學習加速器,用於執行具有該手勢資料之一機器學習模型,包含一輸入端,耦合至該手勢儲存引擎之該輸出端,用於接收該手勢資料;其中該第一訊號、該第二訊號及該第三訊號輸入至該自我干擾消除引擎。
承上所述,藉由手勢辨識系統所提供的上述實施例,可實現反人為干擾/碰撞迴避系統。手勢辨識的準確度及正確性亦可藉由機器學習提升。本發明亦容許使用者設定手勢,且手勢亦可經由伺服器的訓練以獲得更佳的使用者體驗。
100:具有機器學習加速器的手勢收集以及辨識系統
ANT1:第一天線
ANT2:第二天線
ANT3:第三天線
Sr1:第一訊號
Sr2:第二訊號
Sr3:第三訊號
ANTTX:天線
R1:第一接收鏈
R2:第二接收鏈
R3:第三接收鏈
RX1:第一接收器
RX2:第二接收器
RX3:第三接收器
SIC:自我干擾消除引擎
St:傳輸訊號
SLO:參考震動訊號
ES:事件合成器
SDMWG:積分-微分調變波形產生器
FS:頻率合成器
ES1:主要事件合成器
ES2:附屬事件合成器
PMU:電力管理單元
FFT CH1:第一快速傅立業轉換通道
FFT CH2:第二快速傅立業轉換通道
FFT CH3:第三快速傅立業轉換通道
AP:應用程式
XTAL OSC:晶體振盪器
120:特徵擷取引擎
130:手勢儲存引擎
150:機器學習加速器
1510:陣列處理器
154:機器學習硬體加速程式機
1541:微控制單元控制器
1542:直接記憶體存取控制器
1543:記憶體
1544:歸一化激活函數模組
158:權重調控引擎
160:三維座標追蹤引擎
170:外部主機
180:微控制器
199:手勢
388:雲端伺服器
Dg:手勢資料
Wc:權重值
Wu:更新權重值
Dfm1:第一特徵圖像資料
Dfm2:第二特徵圖像資料
Dfm3:第三特徵圖像資料
圖1係為根據本發明具有機器學習加速器的手勢收集及辨識系統的方塊示意圖;圖2A係為第一接收鏈的方塊示意圖;圖2B係為第二接收鏈的方塊示意圖;以及圖2C係為第三接收鏈的方塊示意圖。
請參閱圖1,其係為本發明具有機器學習加速器的手勢收集及辨識系統方塊示意圖。具有機器學習加速器的預定手勢收集及辨識系統100包含傳輸單元TX、第一接收鏈R1、第二接收鏈R2、第三接收鏈R3、手勢儲存引擎130以及機器學習加速器150,其中第一接收鏈R1包含第一天線ANT1、第一接收器RX1、第一訊號處理引擎SP1以及第一特徵圖像產生器FMG1,第二接收鏈R2包含第二天線ANT2、第二接收器RX2、第二訊號處理引擎SP2以及第二特徵圖像產生器FMG2,第三接收鏈R3包含第三天線ANT3、第三接收器RX3、第三訊號處理引擎SP3以及第三特徵圖像產生器FMG3。
傳輸單元TX用於傳送傳輸訊號St,傳輸訊號St用於偵測手勢199的變化。第一接收鏈R1用於接收第一訊號Sr1以及產生對應第一訊號Sr1的第一特徵圖像資料Dfm1,傳輸訊號St偵測手勢199的變化並產生反射訊號,第一訊號Sr1由手勢199變化(reflecting)所產生的反射訊號產生。第二接收鏈R2用於接收第二訊號Sr2以及產生對應第二訊號Sr2的第二特徵圖像資料Dfm2,傳輸訊號St偵測手勢199的變化並產生反射訊號,第二訊號Sr2由手勢199變化所產生的 反射訊號產生。第三接收鏈R3用於接收第三訊號Sr3以及產生對應第三訊號Sr3的第三特徵圖像資料Dfm3,傳輸訊號St偵測手勢199的變化並產生反射訊號,第三訊號Sr3由手勢199變化所產生的反射訊號產生。
傳輸單元TX包含自我干擾消除引擎(self-interference cancellation;SIC),其係基於類比向量調變器實現。自我干擾消除引擎SIC的輸出訊號可透過最小均方演算法(Least Mean Square algorithm)自動追蹤時變自我干擾訊號。上述的第一接收鏈R1、第二接收鏈R2及第三接收鏈R3所接收的第一訊號Sr1、第二訊號Sr2及第三訊號Sr3係輸入至傳輸單元TX中的自我干擾消除引擎SIC,藉由自我干擾消除引擎SIC可處理大功率變化的傳輸訊號St、第一訊號Sr1、第二訊號Sr2及第三訊號Sr3,以針對傳輸單元TX傳送的傳輸訊號St及第一接收鏈R1、第二接收鏈R2及第三接收鏈R3所接收的第一訊號Sr1、第二訊號Sr2及第三訊號Sr3達到更精確、更廣泛的手勢偵測結果。
如圖1及圖2A所示,根據本發明的一實施例,傳輸單元TX耦合至天線ANTTX,用於傳送傳輸訊號St。第一接收鏈R1包含第一天線ANT1、第一接收器RX1、第一訊號處理引擎SP1以及第一特徵圖像產生器FMG1,但於本發明的實施例中並不限於此。第一天線ANT1用於接收第一訊號Sr1。第一接收器RX1包含第一端、第二端以及輸出端,第一端耦合至第一天線ANT1,並用於接收第一訊號Sr1。第二端耦合至傳輸單元TX的自我干擾消除引擎SIC,用於接收傳輸訊號St。輸出端用於輸出第一訊號Sr1。第一訊號處理引擎SP1用於根據第一訊號Sr1產生第一處理資料Dp1。第一訊號處理引擎SP1包含一輸入端以及一輸出端,輸入端耦合至第一接收器RX1的輸出端,用於接收第一訊號Sr1。輸出端用於輸出第一處理資料Dp1。第一特徵圖像產生器FMG1用於根據第一處理資料Dp1產生第一特徵圖像資料Dfm1。第一特徵圖像產生器FMG1包含一輸 入端以及一輸出端,輸入端耦合至第一訊號處理引擎SP1的輸出端,用於接收第一處理資料Dp1。輸出端用於輸出第一特徵圖像資料Dfm1。
如圖1及圖2B所示,根據本發明的一實施例,第二接收鏈R2包含第二天線ANT2、第二接收器RX2、第二訊號處理引擎SP2以及第二特徵圖像產生器FMG2,但於本發明的實施例中並不限於此。第二天線ANT2用於接收第一訊號Sr2。第二接收器RX2包含第一端、第二端以及輸出端,第一端耦合至第二天線ANT2,並用於接收第二訊號Sr2。第二端耦合至傳輸單元TX的自我干擾消除引擎SIC,用於接收傳輸訊號St。輸出端用於輸出第二訊號Sr2。第二訊號處理引擎SP2用於根據第二訊號Sr2產生第二處理資料Dp2。第二訊號處理引擎SP2包含一輸入端以及一輸出端,輸入端耦合至第二接收器RX2的輸出端,用於接收第二訊號Sr2。輸出端用於輸出第二處理資料Dp2。第二特徵圖像產生器FMG2用於根據第二處理資料Dp2產生第二特徵圖像資料Dfm2。第二特徵圖像產生器FMG2包含一輸入端以及一輸出端,輸入端耦合至第二訊號處理引擎SP2的輸出端,用於接收第二處理資料Dp2。輸出端用於輸出第二特徵圖像資料Dfm2。
如圖1及圖2C所示,根據本發明的一實施例,第三接收鏈R3包含第三天線ANT3、第三接收器RX3、第三訊號處理引擎SP3以及第三特徵圖像產生器FMG3,但於本發明的實施例中並不限於此。第三天線ANT3用於接收第三訊號Sr3。第三接收器RX3包含第一端、第二端以及輸出端,第一端耦合至第三天線ANT3,並用於接收第三訊號Sr3。第二端耦合至傳輸單元TX的自我干擾消除引擎SIC,用於接收傳輸訊號St。輸出端用於輸出第三訊號Sr3。第三訊號處理引擎SP3用於根據第三訊號Sr3產生第三處理資料Dp3。第三訊號處理引擎SP3包含一輸入端以及一輸出端,輸入端耦合至第三接收器RX3的輸出端,用於接收第三訊號Sr3。輸出端用於輸出第三處理資料Dp3。第三特徵圖像產生器 FMG3用於根據第三處理資料Dp3產生第三特徵圖像資料Dfm3。第三特徵圖像產生器FMG3包含一輸入端以及一輸出端,輸入端耦合至第三訊號處理引擎SP3的輸出端,用於接收第三處理資料Dp3。輸出端用於輸出第三特徵圖像資料Dfm3。
手勢儲存引擎130包含第一端、第二端、第三端以及輸出端,第一端耦合至第一接收鏈R1,且用於接收第一特徵圖像資料Dfm1。第二端耦合至第二接收鏈R2,且用於接收第二特徵圖像資料Dfm2。第三端耦合至第三接收鏈R3,且用於接收第三特徵圖像資料Dfm3。輸出端用於輸出手勢資料Dg,手勢資料Dg對應於至少該第一特徵圖像資料Dfm1、第二特徵圖像資料Dfm2以及第三特徵圖像資料Dfm3。進一步而言,手勢儲存引擎130分別連接第一接收鏈R1的第一特徵圖像產生器FMG1、第二接收鏈R2的第二特徵圖像產生器FMG2及第三接收鏈R3的第三特徵圖像產生器FMG3,以接收第一特徵圖像產生器FMG1、第二特徵圖像產生器FMG2及第三特徵圖像產生器FMG3產生的第一特徵圖像資料Dfm1、第二特徵圖像資料Dfm2及第三特徵圖像資料Dfm3。手勢儲存引擎130根據至少第一特徵圖像資料Dfm1、至少第二特徵圖像資料Dfm2及至少第三特徵圖像資料Dfm3儲存預定的手勢資料Dg,例如,第一特徵圖像資料Dfm1以及至少第二特徵圖像資料Dfm2包含一個人比出勝利的手勢,勝利的手勢則是比出手部的食指和中指,手勢資料Dg則根據勝利的手勢圖像產生對應的資料,並儲存在手勢儲存引擎130中。
具有機器學習加速器的預定手勢收集及辨識系統100更包含三維座標追蹤引擎160,連接手勢儲存引擎130的輸出端,以接收第一特徵圖像資料Dfm1、第二特徵圖像資料Dfm2及第三特徵圖像資料Dfm3。三維座標追蹤引擎160可透過座標轉換的功能,針對第一特徵圖像資料Dfm1、第二特徵圖像資料 Dfm2及第三特徵圖像資料Dfm3進行空間座標的計算,並將計算的結果與儲存在手勢儲存引擎130中的手勢資料Dg傳送至微控制器180進行座標比對。
具有機器學習加速器的預定手勢收集及辨識系統100更包含第一快速傅立業轉換通道FFT CH1(FFT channel 1)、第二快速傅立業轉換通道FFT CH2(FFT channel 2)及第三快速傅立業轉換通道FFT CH3(FFT channel 3),連接於手勢儲存引擎130及三維座標追蹤引擎160之間,藉以轉換手勢儲存引擎130所接收的第一特徵圖像資料Dfm1、第二特徵圖像資料Dfm2及第三特徵圖像資料Dfm3至三維座標追蹤引擎160。
機器學習加速器150用於執行具有手勢資料Dg的機器學習。機器學習加速器150包含一輸入端,耦合至手勢儲存引擎130的輸出端,用於接收手勢資料Dg。
如圖1及圖2A所示,根據本發明的一實施例,具有機器學習加速器的預定手勢收集及辨識系統100更包含頻率合成器FS,用於提供參考震動訊號SLO。於此實施例中,傳輸單元TX包含輸入端,第一接收器RX1更包含第二端,第二接收器RX2更包含第二端,第三接收器RX3更包含第二端。頻率合成器FS包含第一端、第二端、第三端及第四端。第一端耦合至第一接收器RX1的第二端,用於輸出參考震動訊號SLO至第一接收器RX1。第二端耦合至第二接收器RX2的第二端,用於輸出參考震動訊號SLO至第二接收器RX2。第三端耦合至傳輸單元TX的輸入端,用於輸出參考震動訊號SLO至傳輸單元TX。第四端耦合至第三接收器RX3的第二端,用於輸出參考震動訊號SLO至第三接收器RX3。根據本發明的一實施例,傳輸單元TX可根據參考震動訊號SLO調變傳輸訊號St,第一接收鏈R1可根據參考震動訊號SLO調變第一訊號Sr1。第二接收鏈R2可根據參考震動訊號SLO調變第二訊號Sr2。第三接收鏈R3可根據參考震動訊號SLO調變第三訊號Sr3。
根據本發明的一實施例,如圖1所示,頻率合成器FS更包含積分-微分調變波形產生器(Sigma-Delta modulator WG)SDM WG以及事件合成器ES。積分-微分調變波形產生器用於調變產生的波形以及調變參考震動訊號SLO。事件合成器ES可藉由增加天線的數量增加波形的解析度。於本發明之一實施例中,事件合成器ES包含主要事件合成器ES1及附屬事件合成器ES2。
具有機器學習加速器的預定手勢收集及辨識系統100更包含一晶體振盪器XTAL OSC,其係用於產生頻率合成器FS的穩定參考頻率。
根據本發明的一實施例,具有機器學習加速器的預定手勢收集及辨識系統100更包含特徵擷取引擎120,用於根據接收的第一訊號Sr1、第二訊號Sr2以及第三訊號Sr3分析其特徵,並將分析後的特徵輸入至機器學習加速器150的機器學習硬體加速程式機154進行辨識學習。於本發明之一實施例中,特徵擷取引擎120包含範圍特徵擷取引擎、都普勒特徵擷取引擎以及相差特徵擷取引擎。特徵擷取引擎120用於偵測手勢199在空間中的上下左右位置變化。
根據本發明的一實施例,如圖1所示,機器學習加速器150包含權重調控引擎158以及陣列處理器1510。權重調控引擎158用於儲存一權重值Wc。陣列處理器1510連接權重調控引擎158,用於接收權重值Wc以及手勢資料Dg,並利用辨識演算法根據權重值Wc以及手勢資料Dg辨識手勢199。由於權重值Wc已儲存在權重調控引擎158,因此,所需的記憶體儲存空間可因而減少。
根據本發明的一實施例,如圖1所示,機器學習加速器150更包含機器學習硬體加速程式機154,連接特徵擷取引擎120、微控制器180以及陣列處理器1510,接收特徵擷取引擎120分析第一訊號Sr1、第二訊號Sr2以及第三訊號Sr3後的特徵,用於作為陣列處理器1510以及微控制器180之間的連接介面。機器學習硬體加速程式機154包含微控制單元控制器1541、直接記憶體存取(Direct Memory Access;DMA)控制器1542、記憶體1543以及歸一化激活 函數模組(Softmax activation function)1544。微控制單元控制器1541透過直接記憶體存取控制器1542控制權重調控引擎158、陣列處理器1510及記憶體1543的訊號輸入及輸出。於本發明之一實施例中,微控制單元控制器1541係為一種神經網絡,其係根據微控制器180所接收的參數進行運算,並產生一序列的控制訊號到直接記憶體存取控制器1542,進一步控制權重調控引擎158及記憶體1543的訊號輸入及輸出。陣列處理器1510係使用權重調控引擎158及記憶體1543的陣列資料進行運算,並產生運算結果儲存於記憶體1543中。歸一化激活函數模組1544用於輸入及輸出訊號,陣列處理器1510最終產生的運算結果(陣列處理器1510的陣列資料)係經由歸一化激活函數模組1544傳送、輸出至微控制器180及應用程式AP進行運算。微控制器(microcontroller unit;MCU)180用於運算相關的程式,例如用於運算手勢辨識的行動應用程式(APP)。微控制器180亦可用於傳送資料至雲端伺服器,以進行權重值的訓練。
根據本發明的一實施例,如圖1所示,手勢資料Dg可傳送至雲端伺服器388,藉由雲端伺服器388進行訓練,以產生更新權重值Wu。更新權重值Wu可傳送至權重調控引擎158,以更新儲存在權重調控引擎158中的權重值Wc。接著,機器學習加速器150可利用手勢資料Dg以及儲存在權重調控引擎158中的更新權重值Wu執行手勢辨識的計算。藉由在雲端伺服器388上執行訓練,由機器學習加速器150所利用的權重值可即時地更新及調變,且手勢辨識的準確度及正確性亦可被改善。再者,手勢的設定及訓練亦可被實現。
根據本發明的一實施例,如圖1所示,具有機器學習加速器的預定手勢收集及辨識系統100更包含外部主機170,具有無線連接功能,設置於雲端伺服器388與機器學習加速器150之間。手勢資料Dg可透過外部主機170傳送至雲端伺服器388,藉由雲端伺服器388進行訓練,以產生更新權重值Wu。外部主機170亦可連接手勢儲存引擎130,以儲存及傳送第一特徵圖像資料Dfm1、 第二特徵圖像資料Dfm2、第三特徵圖像資料Dfm3及預定的手勢資料Dg,並傳送至雲端伺服器388進行訓練。
如圖1所示,具有機器學習加速器的預定手勢收集及辨識系統100更包含應用程式AP,連接微控制器180,應用程式AP可根據上述微控制器180座標比對計算的結果,進行手勢199的位置追蹤。進一步而言,本發明結合自我干擾消除引擎SIC的技術特徵,可達到更精細的手勢追蹤。例如,當使用者在空中筆畫、書寫一字型時,應用程式AP可利用光學辨識技術辨別使用者書寫的字型,例如辨識中文字型。此外,本發明亦可將整個系統、手指、手部及手掌的手勢辨識功能結合到穿戴式裝置、智慧型裝置、膝上型電腦、智慧型家電、家電產品、電器產品、人性化介面裝置或人機界面裝置中,以利用該手勢辨識功能作為輸入該些產品的控制指令。再者,結合手勢辨識及物體追蹤的功能,亦可進一步應用到體感遊戲以及中文字體輸入裝置中。進一步而言,當應用手勢辨識及物體追蹤的功能到體感遊戲時,藉由辨識及追蹤操控者的手勢動作,可進一步根據辨識及追蹤手勢動作的結果產生輸入到遊戲的控制指令。當應用手勢辨識及物體追蹤的功能到中文字體輸入裝置時,藉由辨識及追蹤操控者的手勢動作是比畫哪一個中文字,進一步根據辨識及追蹤手勢動作的結果產生中文字的輸出。
根據本發明的一實施例,具有機器學習加速器的預定手勢收集及辨識系統100更包含電力管理單元PMU,用於接收電壓V。上述圖1中的各個功能方塊可藉由硬體、軟體及/或韌體實現。各個功能方塊可獨立行程,或是彼此合併組合成一個功能方塊。各個功能方塊的端係用於訊號及資料的傳輸,其僅作為示例,而非用於限定本發明所揭露的內容,其係可根據各種實施例的態樣進行調整及變化。
根據本發明的一實施例,上述具有機器學習加速器的預定手勢收集及辨識系統100可藉由反人為干擾/碰撞迴避系統實現。根據本發明的一實施例,具有機器學習加速器的預定手勢收集及辨識系統100更包含頻率調變連續波形(Frequency modulated continuous waveform;FMCW)雷達系統,頻率調變連續波形雷達系統係為利用硬體深度神經網路加速器(例如機器學習加速器150)以及手勢訓練平台進行手部/手指手勢辨識的應用程式。具有機器學習加速器的預定手勢收集及辨識系統100可處理例如60GHz的高頻訊號。該具有機器學習加速器的預定手勢收集及辨識系統100可藉由單晶片系統(System on Chip;SoC)、晶片集或者具有至少一晶片的積體裝置以及可透過連接電路板的其他元件實現。
例如,反人為干擾/碰撞迴避系統可藉由開啟接收器RX1以及接收器RX2、並掃瞄頻譜實現。例如,掃瞄頻譜可以是整個57-67GHz頻譜。具有機器學習加速器的預定手勢收集及辨識系統100可以跳過被其他使用者或裝置所佔據的部分頻譜以避免產生碰撞。該反人為干擾/碰撞迴避演算法可在基本框架上完成。手勢辨識的整個演算法可基於機器學習以及深度神經網路(Deep Neural Network;DNN)實現。關於機器學習以及深度神經網路的電路,例如圖1的機器學習加速器150可接收由特徵圖像產生器FMG1、FMG2以及由畫面(frames)輸出的手勢辨識。由於計算機的工作負載、即時處理以及低潛在因素的影響,辨識演算法係以特定的硬體陣列處理器(例如陣列處理器1510)實現。特定的排程器(例如機器學習硬體加速程式機154)可作為陣列處理器1510以及微控制器180之間的介面。此外,可應用特定的演算法以減少儲存權重值的記憶體需求,因此,在迴授權重值到加速器150之前,可使用特定的引擎(例如權重調控引擎158)處理權重值(例如權重值Wc)。根據本發明的一實施例,在具有機器學習加速器的預定手勢收集及辨識系統100中,機器學習加速器150可專 門用於手勢偵測辨識,並設置於本地端的系統中。具有機器學習加速器的預定手勢收集及辨識系統100可為一獨立式的系統,可用於獨立進行手勢辨識。因此,具有機器學習加速器的預定手勢收集及辨識系統100係可更便利地整合到其他裝置中(例如智慧型手機、平板電腦以及桌上型電腦等),並可有效地提升計算效率。例如,手勢辨識所需花費的時間以及/或者功率消耗亦可減少。機器學習加速器150用於減少具有機器學習加速器的預定手勢收集及辨識系統100所需要的手勢處理時間,且由機器學習加速器150所使用的權重值亦可由手勢訓練獲得。手勢訓練可藉由遠端機器學習伺服器執行,例如雲端伺服器388。
在一個典型的應用場景中,可收集固定數量的手勢並用於訓練。使用複數個權重值的手勢辨識可藉由執行訓練改善、提升準確度,而訓練過程則是利用一組收集的手勢。例如,單一的一個手勢可藉由一千個人執行以產生一千個樣本,且該一千個樣本可藉由雲端機器學習伺服器(例如雲端伺服器388)處理。雲端機器學習伺服器可執行手勢訓練,手勢訓練則使用該些樣本獲得對應的結果。結果可以是使用於手勢推斷過程中的一組權重值。因此,當使用者執行、做出手勢時,該組權重值可應用到計算過程中,以強化辨識的執行。
一組基本的手勢可藉由使用訓練該組的權重值實現。此外,具有機器學習加速器的預定手勢收集及辨識系統100可允許使用者擁有客製化的手勢。使用者的個人手勢可被記錄下來,並透過外部主機處理器(例如微控制器180)或者外部具有網路傳輸功能的裝置或系統傳送到雲端機器學習伺服器(例如雲端伺服器388)以進行手勢訓練。外部主機處理器(例如微控制器180)以及外部具有網路傳輸功能的裝置或系統可執行手勢收集應用程式,並可透過有線或無線的方式連線到。訓練的結果(例如更新權重值Wu)可下載下來,因而使用者可使用自己所擁有的手勢。
如上所述,用於手勢感應的訊號可具有60GHz的頻率範圍。由於訊號對應到毫米範圍的波長,處理的系統可以毫米範圍的精確度偵測微小手部/手指的移動。用於雷達訊號的相位資訊的特定處理亦為必要條件。圖1中的特定相位處理引擎(例如特徵擷取引擎120)可用於達成此目的。
綜上所述,藉由手勢辨識系統所提供的上述實施例,可實現反人為干擾/碰撞迴避系統。手勢辨識的準確度及正確性亦可藉由機器學習提升。本發明亦容許使用者設定手勢,且手勢亦可經由伺服器的訓練以獲得更佳的使用者體驗。
100:具有機器學習加速器的手勢收集以及辨識系統
ANT1:第一天線
ANT2:第二天線
ANT3:第三天線
ANTTX:天線
R1:第一接收鏈
R2:第二接收鏈
R3:第三接收鏈
RX1:第一接收器
RX2:第二接收器
RX3:第三接收器
SIC:自我干擾消除引擎
St:傳輸訊號
SLO:參考震動訊號
ES:事件合成器
SDMWG:積分-微分調變波形產生器
ES1:主要事件合成器
ES2:附屬事件合成器
PMU:電力管理單元
FFT CH1:第一快速傅立業轉換通道
FFT CH2:第二快速傅立業轉換通道
FFT CH3:第三快速傅立業轉換通道
AP:應用程式
120:特徵擷取引擎
130:手勢儲存引擎
150:機器學習加速器
1510:陣列處理器
154:機器學習硬體加速程式機
1541:微控制單元控制器
1542:直接記憶體存取控制器
1543:記憶體
1544:歸一化激活函數模組
158:權重調控引擎
160:三維座標追蹤引擎
170:外部主機
180:微控制器
199:手勢
388:雲端伺服器
Dg:手勢資料
Wc:權重值
Wu:更新權重值
Dfm1:第一特徵圖像資料
Dfm2:第二特徵圖像資料
Dfm3:第三特徵圖像資料

Claims (11)

  1. 一種具有機器學習加速器的手勢收集以及辨識系統,包含:一傳輸單元,具有一自我干擾消除引擎,傳送一傳輸訊號,以偵測一手勢;一第一接收鏈,接收一第一訊號,以產生對應該第一訊號之一第一特徵圖像資料,其中該第一訊號藉由該手勢反射該傳輸訊號產生;一第二接收鏈,接收一第二訊號,以產生對應該第二訊號之一第二特徵圖像資料,其中該第二訊號藉由該手勢反射該傳輸訊號產生;一第三接收鏈,接收一第三訊號,以產生對應該第三訊號之一第三特徵圖像資料,其中該第三訊號藉由該手勢反射該傳輸訊號產生;一手勢儲存引擎,根據至少該第一特徵圖像資料、該第二特徵圖像資料及該第三特徵圖像資料產生一手勢資料,包含:一第一端,耦合至該第一接收鏈,且接收該第一特徵圖像資料;一第二端,耦合至該第二接收鏈,且用於接收該第二特徵圖像資料;一第三端,耦合至該第三接收鏈,且用於接收該第三特徵圖像資料;以及一輸出端,用於輸出該手勢資料,該手勢資料對應至少該第一特徵圖像資料、至少該第二特徵圖像資料以及至少該第三特徵圖像資料;以及一機器學習加速器,用於執行具有該手勢資料之一機器學習模型,包含一輸入端,耦合至該手勢儲存引擎之該輸出端,用於接收該手勢資料;其中該第一訊號、該第二訊號及該第三訊號輸入至該自我干擾消除引擎。
  2. 如請求項1所述之具有機器學習加速器的手勢收集以及辨識系統,其中 該第一接收鏈包含:一第一天線,用於接收該第一訊號;一第一接收器,包含:一第一端,耦合至該第一天線,用於接收該第一訊號;以及一輸出端,用於輸出該第一訊號;一第一訊號處理引擎,用於根據該第一訊號產生一第一處理資料,包含:一輸入端,耦合至該第一接收器之該輸出端,用於接收該第一訊號;以及一輸出端,用於輸出該第一處理資料;以及一第一特徵圖像產生器,用於根據該第一處理資料產生該第一特徵圖像資料,包含:一輸入端,耦合至該第一訊號處理引擎之該輸出端,用於接收該第一處理資料;以及一輸出端,用於輸出該第一特徵圖像資料;該第二接收鏈包含:一第二天線,用於接收該第二訊號;一第二接收器,包含:一第二端,耦合至該第二天線,用於接收該第二訊號;以及一輸出端,用於輸出該第二訊號;一第二訊號處理引擎,用於根據該第二訊號產生一第二處理資料,包含:一輸入端,耦合至該第二接收器之該輸出端,用於接收該第二訊號;以及 一輸出端,用於輸出該第二處理資料;以及一第二特徵圖像產生器,用於根據該第二處理資料產生該第二特徵圖像資料,包含:一輸入端,耦合至該第二訊號處理引擎之該輸出端,用於接收該第二處理資料;以及一輸出端,用於輸出該第二特徵圖像資料;以及該第三接收鏈包含:一第三天線,用於接收該第三訊號;一第三接收器,包含:一第三端,耦合至該第三天線,用於接收該第三訊號;以及一輸出端,用於輸出該第三訊號;一第三訊號處理引擎,用於根據該第三訊號產生一第三處理資料,包含:一輸入端,耦合至該第三接收器之該輸出端,用於接收該第三訊號;以及一輸出端,用於輸出該第三處理資料;以及一第三特徵圖像產生器,用於根據該第三處理資料產生該第三特徵圖像資料,包含:一輸入端,耦合至該第三訊號處理引擎之該輸出端,用於接收該第三處理資料;以及一輸出端,用於輸出該第三特徵圖像資料。
  3. 如請求項2所述之具有機器學習加速器的手勢收集以及辨識系統,更包含:一頻率合成器,用於提供一參考震盪訊號;其中 該傳輸單元包含一輸入端;該第一接收器更包含一第二端;該第二接收器更包含一第二端;該頻率合成器包含:一第一端,耦合至該第一接收器之該第二端,輸出該參考震動訊號至該第一接收器;一第二端,耦合至該第二接收器之該第二端,輸出該參考震動訊號至該第二接收器;一第三端,耦合至該傳輸單元之該輸入端,輸出該參考震動訊號至該傳輸單元;一第四端,耦合至該第三接收器之該第三端,輸出該參考震動訊號至該第三接收器;其中該傳輸單元根據該參考震盪訊號調變該傳輸訊號,該第一接收鏈根據該參考震盪訊號調變該第一訊號,該第二接收鏈根據該參考震盪訊號調變該第二訊號以及該第三接收鏈根據該參考震盪訊號調變該第三訊號。
  4. 如請求項3所述之具有機器學習加速器的手勢收集以及辨識系統,其中該頻率合成器包含:一積分-微分調變波形產生器,用於調變產生的一波形以及調變該參考震動訊號;以及一事件合成器,增加該波形的解析度。
  5. 如請求項2所述之具有機器學習加速器的手勢收集以及辨識系統,更包含: 一特徵擷取引擎,用於根據該第一特徵圖像資料、該第二特徵圖像資料及該第三特徵圖像資料分析該第一訊號、該第二訊號及該第三訊號之一相位,該特徵擷取引擎包含:一第一端,耦合至該第一特徵圖像產生器之該輸出端一第二端,耦合至該第二特徵圖像產生器之該輸出端;以及一第三端,耦合至該第三特徵圖像產生器之該輸出端。
  6. 如請求項1所述之具有機器學習加速器的手勢收集以及辨識系統,其中該機器學習加速器更包含:一權重調控引擎,儲存一權重值;一陣列處理器,連接該權重調控引擎,用於接收該權重值以及該手勢資料,且根據該權重值以及該手勢資料使用一辨識演算法辨識該手勢;以及一機器學習硬體加速程式機,連接該權重調控引擎且儲存該權重值。
  7. 如請求項6所述之具有機器學習加速器的手勢收集以及辨識系統,其中該機器學習硬體加速程式機更包含:一直接記憶體存取控制器;一微控制單元控制器,透過該直接記憶體存取控制器控制該權重調控引擎及該陣列處理器;一記憶體,儲存該陣列處理器之一陣列資料;以及歸一化激活函數模組,輸出該陣列處理器之該陣列資料。
  8. 如請求項6所述之具有機器學習加速器的手勢收集以及辨識系統,其中該手勢資料傳送至一雲端伺服器進行訓練,且藉由該雲端伺服器產 生一更新權重值,且該更新權重值傳送至該學習硬體加速程式機以更新該權重值。
  9. 如請求項8所述之具有機器學習加速器的手勢收集以及辨識系統,更包含:一外部主機,連接該學習硬體加速程式機、該手勢儲存引擎以及該雲端伺服器,用於傳送該手勢資料至該雲端伺服器,並由該雲端伺服器接收該更新權重值。
  10. 如請求項1所述之具有機器學習加速器的手勢收集以及辨識系統,更包含一三維座標追蹤引擎,連接該手勢儲存引擎之該輸出端,以轉換該第一特徵圖像資料、該第二特徵圖像資料及該第三特徵圖像資料之一空間座標。
  11. 如請求項1所述之具有機器學習加速器的手勢收集以及辨識系統,其中該具有機器學習加速器的手勢收集以及辨識系統係設置於一人機界面裝置、一智慧型裝置、一穿戴式裝置、一體感遊戲或者一中文字體輸入裝置中。
TW109145030A 2020-12-18 2020-12-18 具有機器學習加速器的手勢收集以及辨識系統 TWI786493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109145030A TWI786493B (zh) 2020-12-18 2020-12-18 具有機器學習加速器的手勢收集以及辨識系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109145030A TWI786493B (zh) 2020-12-18 2020-12-18 具有機器學習加速器的手勢收集以及辨識系統

Publications (2)

Publication Number Publication Date
TW202225943A TW202225943A (zh) 2022-07-01
TWI786493B true TWI786493B (zh) 2022-12-11

Family

ID=83436732

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145030A TWI786493B (zh) 2020-12-18 2020-12-18 具有機器學習加速器的手勢收集以及辨識系統

Country Status (1)

Country Link
TW (1) TWI786493B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130194193A1 (en) * 2012-01-26 2013-08-01 Honeywell International Inc. Adaptive gesture recognition system and method for unstable work environments
US20150106399A1 (en) * 2007-09-04 2015-04-16 Microsoft Corporation Gesture-based searching
TW201617787A (zh) * 2014-11-07 2016-05-16 鴻海精密工業股份有限公司 手勢創建系統及方法
TW202009654A (zh) * 2018-08-22 2020-03-01 美商谷歌有限責任公司 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
TWM595256U (zh) * 2019-12-10 2020-05-11 全台晶像股份有限公司 智能手勢辨識裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150106399A1 (en) * 2007-09-04 2015-04-16 Microsoft Corporation Gesture-based searching
US20130194193A1 (en) * 2012-01-26 2013-08-01 Honeywell International Inc. Adaptive gesture recognition system and method for unstable work environments
TW201617787A (zh) * 2014-11-07 2016-05-16 鴻海精密工業股份有限公司 手勢創建系統及方法
TW202009654A (zh) * 2018-08-22 2020-03-01 美商谷歌有限責任公司 用於促進使用者存在及定向之察覺的基於智慧手機之雷達系統
TWM595256U (zh) * 2019-12-10 2020-05-11 全台晶像股份有限公司 智能手勢辨識裝置

Also Published As

Publication number Publication date
TW202225943A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US10867165B2 (en) Custom gesture collection and recognition system having machine learning accelerator
US20230067322A1 (en) Gesture recognition method and related apparatus
Sang et al. Micro hand gesture recognition system using ultrasonic active sensing
Lien et al. Soli: Ubiquitous gesture sensing with millimeter wave radar
KR102107685B1 (ko) 신호 검출 및 인식을 위한 장치 및 방법
US20210103348A1 (en) Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
CN103529944B (zh) 一种基于Kinect的人体动作识别方法
US20230008681A1 (en) Detecting a Frame-of-Reference Change in a Smart-Device-Based Radar System
EP2945045B1 (en) Electronic device and method of playing music in electronic device
CN109218535B (zh) 智能调节音量的方法、装置、存储介质及终端
WO2019105376A1 (zh) 手势识别方法、终端及存储介质
US20220326367A1 (en) Smart-Device-Based Radar System Performing Gesture Recognition Using a Space Time Neural Network
CN113454481A (zh) 在存在饱和的情况下检测用户姿势的基于智能设备的雷达系统
Wu et al. Dynamic hand gesture recognition using FMCW radar sensor for driving assistance
US9857879B2 (en) Finger gesture sensing device
US20220163650A1 (en) Electronic device for identifying attribute of object by using millimeter wave and control method therefor
TWI786493B (zh) 具有機器學習加速器的手勢收集以及辨識系統
Eggimann et al. Low power embedded gesture recognition using novel short-range radar sensors
CN113569635A (zh) 一种手势识别方法及系统
CN111813272A (zh) 信息输入方法、装置和电子设备
US11543890B2 (en) Custom gesture collection and recognition system having machine learning accelerator
CN114647302A (zh) 具有机器学习加速器的手势收集以及识别系统
Chmurski et al. Novel Radar-based Gesture Recognition System using Optimized CNN-LSTM Deep Neural Network for Low-power Microcomputer Platform.
CN111176449B (zh) 基于超声波多普勒手势识别与多点触感融合的系统及方法
Tootaghaj et al. High five: improving gesture recognition by embracing uncertainty