TWI754903B

TWI754903B - 識別手勢的方法以及手勢感測裝置

Info

Publication number: TWI754903B
Application number: TW109109336A
Authority: TW
Inventors: 林素珍; 陳俊諺
Original assignee: 大陸商光寶電子（廣州）有限公司; 光寶科技股份有限公司
Priority date: 2020-03-20
Filing date: 2020-03-20
Publication date: 2022-02-11
Also published as: TW202137057A

Abstract

識別手勢的方法以及手勢感測裝置。偵測物體的移動而產生第一能量序列以及第二能量序列。接著，判斷第一能量序列與第二能量序列兩者的訊號樣式是否相符。在判定第一能量序列與第二能量序列兩者的訊號樣式相符之後，分析第一能量序列與第二能量序列以獲得對應的手勢事件。

Description

識別手勢的方法以及手勢感測裝置

本發明是有關於一種感測方法及裝置，且特別是有關於一種識別手勢的方法以及手勢感測裝置。

習知技術中，已有使用紅外線感測元件來檢測從人體發射的紅外輻射，藉此來偵測人的移動。所述技術為對類比訊號進行取樣，將透過感測元件所接受到的紅外線輻射值轉換為訊號，再進一步設置一個閾值，透過判斷訊號是否超過閾值來判斷是否有物體靠近。然，所述作法並無法判斷較為複雜的手勢事件。

本發明提供一種識別手勢的方法以及手勢感測裝置，計算所感測訊號的能量來確認訊號樣式，並進一步判斷不同的手勢事件的發生。

本發明的識別手勢的方法，包括：偵測物體的移動而產生第一能量序列以及第二能量序列；判斷第一能量序列與第二能量序列兩者的訊號樣式是否相符；以及在判定第一能量序列與第二能量序列兩者的訊號樣式相符之後，分析第一能量序列與第二能量序列以獲得對應的手勢事件。

在本發明的一實施例中，判斷第一能量序列與第二能量序列兩者的訊號樣式是否相符的步驟包括：自第一能量序列取出M個第一取樣訊號；經過延遲時間之後，自第二能量序列取出M個第二取樣訊號；比對M個第一取樣訊號以及M個第二取樣訊號，而獲得M個能量差；以及在M個能量差皆小於或等於門檻值的情況下，判定第一能量序列與第二能量序列兩者的訊號樣式相符。

在本發明的一實施例中，所述識別手勢的方法更包括：利用適應性閾值法(adaptive threshold method)來獲得門檻值以及延遲時間。

在本發明的一實施例中，所述識別手勢的方法更包括：利用第一感測器與第二感測器來偵測物體在第一方向上的移動而分別產生第一能量序列以及第二能量序列。

在本發明的一實施例中，所述識別手勢的方法更包括：利用第三感測器與第四感測器來偵測物體在第二方向上的移動而分別產生第三能量序列以及第四能量序列；判斷第三能量序列與第四能量序列兩者的訊號樣式是否相符；以及在判定第三能量序列與第四能量序列兩者的訊號樣式相符之後，分析第三能量序列與第四能量序列以獲得對應於物體的另一手勢事件。

本發明的手勢感測裝置，包括：訊號感測裝置，偵測物體的移動而產生第一能量序列以及第二能量序列；以及處理器，耦接訊號感測裝置，以接收第一能量序列與第二能量序列，其中處理器判斷第一能量序列與第二能量序列兩者的訊號樣式是否相符，在判定第一能量序列與第二能量序列兩者的訊號樣式相符之後，分析第一能量序列與第二能量序列以獲得對應的手勢事件。

基於上述，本發明透過計算訊號感測裝置所輸出訊號的能量序列，能夠達到更精準且更彈性化的訊號樣式判斷，同時解決不同訊號樣式但訊號能量相同的情況下做進一步的處理，得到更準確的處理結果。

100:手勢感測裝置

110:處理器

120:訊號感測裝置

120A:第一感測器

120B:第二感測器

120C:第三感測器

120D:第四感測器

S205~S215:識別手勢的方法各步驟

301、401:第一能量序列

302、402:第二能量序列

311、312、311’、312’、511、512、511’、512’:方框

501、601:第三能量序列

502、602:第四能量序列

705:閒置狀態

710:佔用狀態

715:訊號預處理狀態

720:手勢分析狀態

725:調光狀態

τ:延遲時間

805:延遲器

810:移動處理模組

815:訊號前處理模組

820:手勢分析模組

825:調光模組

905:訊號取樣器

910:能量計算器

915:樣式比對器

920:適應性閾值產生器

圖1是依照本發明一實施例的手勢感測裝置的方塊圖。

圖2是依照本發明一實施例的識別手勢的方法流程圖。

圖3是依照本發明一實施例之物體由上方往下方移動時的訊號樣式的示意圖。

圖4是依照本發明一實施例之物體由下方往上方移動時的訊號樣式的示意圖。

圖5是依照本發明一實施例之物體由左方往右方移動時的訊號樣式的示意圖。

圖6是依照本發明一實施例之物體由右方往左方移動時的訊號樣式的示意圖。

圖7是依照本發明一實施例的手勢感測裝置的狀態轉換的示意圖。

圖8是依照本發明一實施例的調光器的方塊圖。

圖9是依照本發明一實施例的訊號前處理模組的方塊圖。

圖1是依照本發明一實施例的手勢感測裝置的方塊圖。在圖1中，手勢感測裝置100包括處理器110以及訊號感測裝置120。處理器110例如為中央處理單元(Central Processing Unit，CPU)、物理處理單元(Physics Processing Unit，PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor，DSP)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)或其他類似裝置。

訊號感測裝置120用以偵測物體的移動。在此，訊號感測裝置120包括多個感測器。透過多個感測器所輸出的訊號樣式進一步判斷不同的手勢事件發生，進而可達成調光以及有效偵測物體移動的功能。以被動式紅外線感測器作為訊號感測裝置120而言，訊號感測裝置120透過吸收外來的紅外線輻射訊號，經過訊號感測裝置120表面的菲涅耳透鏡(Fresnel Lens)，進而產生正負振盪的訊號。透過多個感測器的擺放位置設計，使得多個感測器在不同的手勢下產生固定的訊號輸出樣式，進一步達到手勢事件的判斷。

底下搭配手勢感測裝置100來進一步說明識別手勢的方法各步驟。圖2是依照本發明一實施例的識別手勢的方法流程圖。請參照圖1及圖2，在步驟S205中，透過訊號感測裝置120偵測物體的移動而產生第一能量序列以及第二能量序列。能量計算方法為計算在長度N的訊號區間內以取樣頻率fs進行取樣後的訊號序列進行能量計算(如下述公式(1))。

其中，E為能量，fs為取樣頻率，N為訊號區間的長度。

例如，訊號感測裝置120包括兩個感測器，透過分別對兩個感測器的輸出訊號進行能量計算，進一步得到第一能量序列以及第二能量序列。

接著，在步驟S210中，處理器110判斷第一能量序列與第二能量序列兩者的訊號樣式是否相符。在判定第一能量序列與第二能量序列兩者的訊號樣式相符之後，如步驟S215所示，處理器110分析第一能量序列與第二能量序列以獲得對應的手勢事件。

圖3是依照本發明一實施例之物體由上方往下方移動時的訊號樣式的示意圖。圖4是依照本發明一實施例之物體由下方往上方移動時的訊號樣式的示意圖。在本實施例中，訊號感測裝置120包括第一感測器120A與第二感測器120B。利用第一感測器120A與第二感測器120B來偵測物體在第一方向(例如為上下方向)上的移動而分別產生第一能量序列以及第二能量序列。

在圖3中，當物體(例如手)由訊號感測裝置120上方往下方移動時，第一感測器120A輸出第一能量序列301，第二感測器120B輸出第二能量序列302。第一能量序列301與第二能量序列302為上下顛倒的訊號樣式，且第一能量序列301與第二能量序列302的訊號樣式之間具有一延遲時間τ。在圖3中，方框311’與方框312’分別為方框311以及方框312的放大圖。比對方框311’以及方框312’中的訊號樣式可以知道兩者為上下顛倒的訊號樣式。

在圖4中，當物體(例如手)由訊號感測裝置120下方往上方移動時，第一感測器120A輸出的第一能量序列401，第二感測器120B輸出第二能量序列402。第一能量序列401與第二能量序列402為另一上下顛倒的訊號樣式，且第一能量序列401與第二能量序列402的訊號樣式之間具有一延遲時間τ。

以圖3為例來說明如何判斷第一能量序列301與第二能量序列302兩者的訊號樣式是否相符。請參照圖3，自第一能量序列301取出M個第一取樣訊號，並在經過延遲時間τ之後自第二能量序列302取出M個第二取樣訊號。即，對應於自第一能量序列301取出第一取樣訊號的時間點，經過延遲時間τ之後再自第二能量序列302取出第二取樣訊號。其中，M為訊號樣式長度，針對不同手勢訊號則有不同的訊號樣式長度。接著，比對M個第一取樣訊號以及M個第二取樣訊號，而獲得M個能量差；以及在 M個能量差皆小於或等於一門檻值的情況下，判定第一能量序列301與第二能量序列302兩者的訊號樣式相符。

基於所述公式(1)來算出M個第一取樣訊號的能量E₁(0)~E₁(M-1)以及M個第二取樣訊號的能量E₂(τ)~E₂(M-1+τ)。之後將能量差與一門檻值進行比較。

即，在|E ₁[0]-E ₂[τ]|

Th、|E ₁[1]-E ₂[1+τ]|

Th、|E ₁[2]-E ₂[2+τ]|

Th、...、|E ₁[M-1]-E ₂[M-1+τ]|

Th時，判定第一能量序列301與第二能量序列302兩者的訊號樣式相符。

圖5是依照本發明一實施例之物體由左方往右方移動時的訊號樣式的示意圖。圖6是依照本發明一實施例之物體由右方往左方移動時的訊號樣式的示意圖。在本實施例中，訊號感測裝置120包括第一感測器120A、第二感測器120B、第三感測器120C與第四感測器120D。在圖5、圖6的實施例中，除了利用第一感測器120A與第二感測器120B來偵測物體在第一方向(例如為上下方向)上的移動而分別產生第一能量序列以及第二能量序列，還利用第三感測器120C與第四感測器120D來偵測物體在第二方向(例如為左右方向)上的移動而分別產生第三能量序列以及第四能量序列。

在圖5中，當物體(例如手)由訊號感測裝置120左方往右方移動時，第三感測器120C輸出第三能量序列501，第四感測器120D輸出第四能量序列502。第三能量序列501與第四能量序列502為上下顛倒的訊號樣式，且第三能量序列501與第四能量序列502的訊號樣式之間具有一延遲時間τ。在圖5中，方框511’與方框512’分別為方框511以及方框512的放大圖。比對方框511’以及方框512’中的訊號樣式可以知道兩者為上下顛倒的訊號樣式。

在圖6中，當物體(例如手)由訊號感測裝置120右方往左方移動時，第三感測器120C輸出第三能量序列601，第四感測器120D輸出第四能量序列602。第三能量序列601與第四能量序列602為上下顛倒的訊號樣式，且第三能量序列601與第四能量序列602的訊號樣式之間具有一延遲時間τ。

圖7是依照本發明一實施例的手勢感測裝置的狀態轉換的示意圖。請參照圖7，在本實施例中，以手勢感測裝置100作為調光裝置。並且，手勢感測裝置100包括閒置狀態705、佔用狀態710、訊號預處理狀態715、手勢分析狀態720以及調光狀態725。

當手勢感測裝置100的訊號感測裝置120處於未偵測到任何物體時，手勢感測裝置100處於閒置狀態705。而在訊號感測裝置120偵測到物體時，手勢感測裝置100進入佔用狀態710，同時也進入訊號預處理狀態715。在手勢感測裝置100處於訊號預處理狀態715下，當第一能量序列與第二能量序列兩者的訊號樣式符合時，則進入手勢分析狀態720。在手勢分析狀態720中找到符合的手勢事件時，進入調光狀態725進行相對應的調光動作。在手勢分析狀態720中未找到符合的手勢事件(無相關事件)時，返回訊號預處理狀態715。在訊號預處理狀態715中，當訊號感測裝置120輸出的訊號未有能量變化(代表未偵測到物體)時，即回到閒置狀態705，並且等待下一次訊號感測裝置120的感應訊號產生。同時，在訊號預處理狀態715時，訊號感測裝置120處於持續產生訊號的狀態，並進行能量計算，藉此獲得能量序列(第一能量序列~第四能量序列等等)直到訊號回至穩定無變化為止。

圖8是依照本發明一實施例的調光器的方塊圖。在本實施例中，以手勢感測裝置100作為調光裝置來進行調光處理。其中，手勢感測裝置100的儲存器中儲存有多個模組，由處理器110執行這些模組來識別手勢進一步進行調光。這些模組包括延遲器805、移動處理模組810、訊號前處理模組815、手勢分析模組820以及調光模組825。

在圖8中，訊號感測裝置120用於判斷是否進入訊號預處理狀態715、或是否回到閒置狀態705。延遲器805對訊號感測裝置120所輸出的訊號提供一延遲時間τ。在此，延遲器805可依據不同的訊號強度來進行延遲處理，藉此來調整不同的延遲時間，以供訊號前處理模組815計算並判斷訊號樣式。

移動處理模組810用以判斷手勢感測裝置100是否進入佔用狀態710。例如，在訊號感測裝置120偵測到物體時，判定有物體移動，因此手勢感測裝置100進入佔用狀態710。

訊號前處理模組815用於處理訊號感測裝置120所輸出的訊號，藉此來判斷訊號樣式。圖9是依照本發明一實施例的訊號前處理模組的方塊圖。訊號前處理模組815包括訊號取樣器 905、能量計算器910、樣式比對器915以及適應性閾值產生器920。訊號取樣器905用於處理連續訊號的取樣。能量計算器910用於對取樣後訊號的能量計算。

例如，訊號取樣器905利用兩個感測器輸出第一感測訊號以及第二感測訊號。訊號取樣器905分別在第一感測訊號以及第二感測訊號中長度為N的訊號區間內以一取樣頻率對訊號進行取樣。接著，由能量計算器910基於所述公式(1)來分別計算取樣後的第一感測訊號與第二感測訊號的能量，進一步可得到第一能量序列以及第二能量序列。在經過能量計算後，經由樣式比對器915來比較第一能量序列與第二能量序列兩者的訊號樣式是否相符。而樣式比對器915還能同時調整延遲時間τ，而達到更完整的訊號樣式。

當能量計算器910完成能量計算後，進一步判斷第一感測訊號以及第二感測訊號經過延遲時間的能量差是否小於一門檻值，在訊號樣式比較器中，對第一感測訊號以及第二感測訊號連續取樣M個訊號的能量進行比較，若比較所獲得的M個能量差皆小於或等於所述門檻值時，則判定樣式比對成功，進入手勢分析模組820中進行手勢事件比較。

適應性閾值產生器920用以利用適應性閾值法(adaptive threshold method)產生用來與能量差進行比對的門檻值以及延遲時間。當能量計算器910計算完能量後，將計算結果輸入適應性閾值產生器920以產生最佳的門檻值以及延遲時間。所述最佳的門檻值可透過智慧型演算法產生。例如，利用最小均方誤差(Minimum Mean Squared Error，MSE)、最小均方(Least Mean Square，LMS)、神經網路(Neural Network)、粒子群最佳化(Particle Swarm Optimization，PSO)等智慧型演算法，然並不以此為限。所述門檻值用於進行訊號能量樣式比較用，在判定第一能量序列與第二能量序列兩者的訊號樣式相符之後，進一步判斷手勢事件。

手勢分析模組820用於訊號前處理模組815處理完成時，根據特定的訊號樣式進行比對，若符合時則提供調光模組825進一步完成訊號樣式相對應之事件。具體而言，手勢分析模組820分析第一能量序列與第二能量序列以獲得對應的手勢事件。例如，手勢分析模組820分析圖3所示的第一能量序列301與第二能量序列302，獲得的手勢事件為由上往下滑動。手勢分析模組820分析圖4所示的第一能量序列401與第二能量序列402，獲得的手勢事件為由下往上滑動。在獲得手勢事件之後，則調光模組825會觸發相對事件。

另外，在使用者第一次使用手勢感測裝置100時，還可進一步透過校正模式進行門檻值以及延遲時間的運算。例如，在使用者安裝完成手勢感測裝置100後，會先進入校正模式，進一步針對使用者的手勢來偵測能量並進行運算，藉此調整門檻值以及延遲時間。透過此方式可優化手勢感測裝置100對於不同使用者的手勢來調整門檻值以及延遲時間，達到更準確的手勢偵測事件。透過校正模式可針對不同手勢對應的不同的訊號樣式長度，同時在使用者進行手勢測試時，訊號感測裝置120能透過訊號變化進一步決定訊號樣式長度M的選擇，若在手勢完成後訊號未有變化，訊號樣式長度M則結束。

綜上所述，本發明透過計算訊號感測裝置所輸出訊號的能量序列，能夠達到更精準且更彈性化的訊號樣式判斷，同時解決不同訊號樣式但訊號能量相同的情況下做進一步的處理，得到更準確的處理結果。

S205~S215:識別手勢的方法各步驟

Claims

一種識別手勢的方法，包括：利用一第一感測器與一第二感測器偵測一物體的移動而分別取得一第一感測訊號與一第二感測訊號，在一長度的訊號區間內以一取樣頻率對該第一感測訊號與該第二感測訊號進行取樣後進行能量計算來分別產生一第一能量序列以及一第二能量序列；判斷該第一能量序列與該第二能量序列兩者的訊號樣式是否相符；以及在判定該第一能量序列與該第二能量序列兩者的訊號樣式相符之後，分析該第一能量序列與該第二能量序列以獲得對應的一手勢事件。
如請求項1所述的識別手勢的方法，其中判斷該第一能量序列與該第二能量序列兩者的訊號樣式是否相符的步驟包括：自該第一能量序列取出M個第一取樣訊號；經過一延遲時間之後，自該第二能量序列取出M個第二取樣訊號；比對M個所述第一取樣訊號以及M個所述第二取樣訊號，而獲得M個能量差；以及在M個所述能量差皆小於或等於一門檻值的情況下，判定該第一能量序列與該第二能量序列兩者的訊號樣式相符。
如請求項2所述的識別手勢的方法，更包括：利用一適應性閾值法來獲得該門檻值以及該延遲時間。
如請求項1所述的識別手勢的方法，更包括：利用該第一感測器與該第二感測器來偵測該物體在一第一方向上的移動而分別取得該第一感測訊號與該第二感測訊號。
如請求項4所述的識別手勢的方法，更包括：利用一第三感測器與一第四感測器來偵測該物體在一第二方向上的移動而分別取得一第三感測訊號與一第四感測訊號，在該長度的訊號區間內以該取樣頻率對該第三感測訊號與該第四感測訊號進行取樣後進行能量計算來分別產生一第三能量序列以及一第四能量序列；判斷該第三能量序列與該第四能量序列兩者的訊號樣式是否相符；以及在判定該第三能量序列與該第四能量序列兩者的訊號樣式相符之後，分析該第三能量序列與該第四能量序列以獲得對應於該物體的另一手勢事件。
一種手勢感測裝置，包括：一訊號感測裝置，包括一第一感測器與一第二感測器，利用該第一感測器與該第二感測器偵測一物體的移動而分別取得一第一感測訊號與一第二感測訊號，在一長度的訊號區間內以一取樣頻率對該第一感測訊號與該第二感測訊號進行取樣後進行能量計算來分別產生一第一能量序列以及一第二能量序列；以及一處理器，耦接該訊號感測裝置，以接收該第一能量序列與該第二能量序列，其中該處理器判斷該第一能量序列與該第二能量序列兩者的訊號樣式是否相符，在判定該第一能量序列與該第二能量序列兩者的訊號樣式相符之後，分析該第一能量序列與該第二能量序列以獲得對應的一手勢事件。
如請求項6所述的手勢感測裝置，其中該處理器自該第一能量序列取出M個第一取樣訊號並經過一延遲時間自該第二能量序列取出M個第二取樣訊號，並且比對M個所述第一取樣訊號以及M個所述第二取樣訊號，而獲得M個能量差，在M個所述能量差皆小於或等於一門檻值的情況下，判定該第一能量序列與該第二能量序列兩者的訊號樣式相符。
如請求項7所述的手勢感測裝置，更包括：一適應性閾值產生器，耦接至該處理器，其中，該處理器執行該適應性閾值產生器來產生該門檻值以及該延遲時間。
如請求項6所述的手勢感測裝置，其中該第一感測器與該第二感測器偵測該物體在一第一方向上的移動而分別取得該第一感測訊號與該第二感測訊號。
如請求項9所述的手勢感測裝置，其中該訊號感測裝置更包括：一第三感測器與一第四感測器，利用該第三感測器與該第四感測器來偵測該物體在一第二方向上的移動而分別取得一第三感測訊號與一第四感測訊號，在該長度的訊號區間內以該取樣頻率對該第三感測訊號與該第四感測訊號進行取樣後進行能量計算來分別產生一第三能量序列以及一第四能量序列；該處理器判斷該第三能量序列與該第四能量序列兩者的訊號樣式是否相符，在判定該第三能量序列與該第四能量序列兩者的訊號樣式相符之後，分析該第三能量序列與該第四能量序列以獲得對應於該物體的另一手勢事件。