TWM642025U - 具有手勢偵測功能的電子裝置 - Google Patents

Abstract

本案揭示一種具有手勢偵測功能的電子裝置，包括動作感測器、儲存裝置，以及處理器。動作感測器可產生感測資料。處理器耦接動作感測器與儲存裝置，並經配置以執行下列操作。收集動作感測器產生的感測資料。根據動作感測器於單位時段產生的感測資料產生對應於單位時段的特徵資料。透過將特徵資料輸入機器學習模型，偵測施於電子裝置上的敲擊手勢。

Description

具有手勢偵測功能的電子裝置

本新型創作是有關於一種具有手勢偵測功能的電子裝置，且特別是有關於一種可偵測敲擊手勢的電子裝置。

目前來說，使用者一般可透過聲控方式、對觸控螢幕施予觸控操作或各種按鍵來操控電子裝置。除此之外，為了因應不同操作情境與使用者需求，使用者也可以透過控制手勢移動電子裝置或讓電子裝置產生姿態變化來與電子裝置進行互動。進一步來說，電子裝置可具備用以感測控制手勢的動作感測器，動作感測器的感測資料將用來辨識施於電子裝置上的控制手勢。現有作法多以人工觀察感測資料的變化來制定用以辨識控制手勢的判斷規則與門檻值。然而，由於不同使用者的操作習慣與控制力道皆有所差異，因此固定的判斷規則與門檻值並不適用於所有使用者。

有鑑於此，本新型創作提出一種具有手勢偵測功能的電子裝置，其包括動作感測器、儲存裝置，以及處理器。動作感測器可產生感測資料。處理器耦接動作感測器與儲存裝置，並經配置以執行下列操作。收集動作感測器產生的感測資料。根據動作感測器於單位時段產生的感測資料產生對應於單位時段的特徵資料。透過將特徵資料輸入機器學習模型，偵測施於電子裝置上的敲擊手勢。

基於上述，於本新型創作的實施例中，動作感測器持續地產生感測資料。並且，在根據一單位時段內的感測資料產生特徵資料之後，對應於該單位時段的特徵資料可輸入至經訓練的機器學習模型。於是，機器學習模型可輸出是否偵測到敲擊手勢的手勢辨識結果。基此，不僅可提供使用者一種便利的操控方式，且可提高敲擊手勢的偵測準確度。

為讓本新型創作的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本新型創作的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本新型創作的一部份，並未揭示所有本新型創作的可實施方式。更確切的說，這些實施例只是本新型創作的專利申請範圍中的裝置的範例。

請參照圖1，具有手勢偵測功能的電子裝置100可包括動作感測器110、儲存裝置120，以及處理器130。電子裝置100例如是智慧型手機、平板電腦、電子書、遊戲機、筆記型電腦、數位相機或音樂播放器等等，本新型創作並不對此限制。

動作感測器110用以感測電子裝置100的運動狀態並產生感測資料。於一些實施例中，動作感測器110可包括陀螺儀、線性加速度計或其組合。線性加速度計可用以輸出加速度感測值，而陀螺儀可用以輸出角速度感測值。於一些實施例中，線性加速度計可以是三軸線性加速度計，且陀螺儀可以是三軸陀螺儀。三軸線性加速度計可用以量測X軸加速度感測值、Y軸加速度感測值與Z軸加速度感測值。三軸陀螺儀可用以量測X軸角速度感測值、Y軸角速度感測值與Z軸角速度感測值。於一些實施例中，動作感測器110可以是慣性測量單元（Inertial measurement unit，IMU）。

儲存裝置120用以儲存指令、程式碼、軟體模組等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路或其組合。

處理器130耦接動作感測器110與儲存裝置120，例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化邏輯裝置（Programmable Logic Device，PLD）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。處理器130可存取並執行記錄在儲存裝置120中的軟體模組，以實現本新型創作實施例中的手勢偵測方法。上述軟體模組可廣泛地解釋為意謂指令、指令集、代碼、程式碼、程式、應用程式、軟體套件、執行緒、程序、功能等，而不管其是被稱作軟體、韌體、中間軟體、微碼、硬體描述語言亦或其他者。

於一些實施例中，處理器130可根據動作感測器110提供的感測資料來辨識使用者施於電子裝置100上的敲擊手勢。於是，使用者可透過敲擊電子裝置100的任意位置與電子裝置100進行互動。並且，使用者可透過單次敲擊、雙次敲擊或多次敲擊來對電子裝置100下達使用者指令。須注意的是，電子裝置100可在不利用任何觸控裝置（例如觸控螢幕或觸控板）的情況下辨識使用者的敲擊手勢。也就是說，於一些使用情境中，使用者可以在沒有觀看觸控螢幕或不方便碰觸觸控螢幕的情況下，透過敲擊電子裝置100來下達使用者指令，以控制電子裝置100執行對應於敲擊手勢的功能。

舉例來說，請參照圖2，當使用者單手持握電子裝置100的時候，持握手的手指F1可單次敲擊、雙次敲擊或多次敲擊電子裝置100的背蓋B1來施予敲擊手勢。於是，使用者在單手持握電子裝置100的情況下，可透過持握手的手指F1輕敲背蓋B1來下達選擇指令或其他控制指令。由此可見，此種敲擊手勢對於單手操作情境來說可提供相當便利且直覺的操作方式。然而，圖2僅為一示範性說明，使用者也可利用手指敲擊電子裝置100的側邊或其他位置來對電子裝置100施予敲擊手勢。

請參照圖1與圖3，本實施例的方式適用於上述實施例中的具有手勢偵測功能的電子裝置100，以下即搭配具有手勢偵測功能的電子裝置100中的各項元件說明本實施例的詳細步驟。

於步驟S310，處理器130收集動作感測器110產生的感測資料。進一步來說，動作感測器110持續進行感測而持續輸出感測資料。更具體而言，動作感測器110可以定時地輸出對應於不同取樣時間點的多筆感測值，而處理器130也將持續地收集動作感測器110產生的感測資料。當動作感測器110為三軸線性加速度計或三軸陀螺儀，處理器130收集並記錄的感測資料可包括X軸感測值、Y軸感測值、Z軸感測值或其組合。

舉例而言，動作感測器110可以50Hz的取樣頻率而定時輸出感測資料，即動作感測器110可每隔20毫秒輸出一筆感測資料。對應的，處理器130可每隔20毫秒接收動作感測器110輸出的感測資料。需說明的是，當敲擊手勢施於電子裝置100上時，而動作感測器110所輸出之感測值也會反應於電子裝置100的震動而有對應變動。

於步驟S320，處理器130根據動作感測器110於單位時段產生的感測資料產生對應於單位時段的特徵資料。動作感測器110可於單位時段內產生對應於不同取樣時間點的感測資料，而處理器130將根據動作感測器110於單位時段產生的感測資料來提取出特徵資料。本新型創作對於單位時段的長度並不限制，其例如是200毫秒或其他時間長度。假設動作感測器110以50Hz的取樣頻率而定時輸出感測資料且單位時段為200毫秒，則處理器130可根據對應至10個取樣時間點的10筆感測資料來產生特徵資料。於一些實施例中，特徵資料可以視為由多個資料元素構成的一維向量。這些資料元素可以是感測值本身或其運算結果。

具體來說，於一些實施例中，動作感測器110於單位時段產生的感測資料包括對應於不同取樣時間點的多筆感測值。處理器130可將多筆感測值設置為特徵資料的一部分。舉例而言，假設處理器130根據10個取樣時間點的10筆感測值來產生特徵資料。處理器130可將這10筆感測值全部作為特徵資料的一部分。或者，處理器130可將10筆感測值其中5筆感測值作為特徵資料的一部分。

於一些實施例中，處理器130可計算多筆感測值的運算結果，並將運算結果設置為特徵資料的另一部分。處理器130可對多筆感測值進行運算處理來獲取運算結果，上述運算處理例如是平均運算、差值運算、加法運算、變異數運算或其他類型的運算處理。換言之，處理器130可將這些感測值的平均值或變異數作為特徵資料的另一部分。或者，處理器130可將這些感測值其中兩者的差值作為特徵資料的另一部分。舉例而言，假設處理器130根據10個取樣時間點的10筆感測值來產生特徵資料。特徵資料可包括這10筆感測值的平均值或某2筆感測值的差值。

另外須要說明的是，於不同實施例中，處理器130可根據動作感測器110所提供的X軸感測值、Y軸感測值、Z軸感測值或其組合來產生特徵資料。

之於步驟S330，處理器130透過將特徵資料輸入機器學習模型，偵測施於電子裝置100上的敲擊手勢。敲擊手勢可包括單擊手勢或多擊手勢。多擊手勢可包括雙擊手勢或三擊手勢等等。也就是說，特徵資料作為機器學習模型的輸入資料，且此經訓練的機器學習模型將輸出敲擊手勢的辨識結果，以使處理器130可據以判斷是否偵測到敲擊手勢。

於一些實施例中，此機器學習模型包括卷積神經網路（convolution neural network，CNN）模型。卷積神經網路模型可包括對一維特徵資料進行卷積運算的卷積層（convolution layer）。於一些實施例中，卷積神經網路模型還可包括進行卷積處理的池化層（pooling layer）。換言之，卷積神經網路模型可由卷積層與池化層串連組成，並用以取得特徵資料所攜帶的特徵資訊。卷積神經網路模型中最後一層卷積層或池化層會將擷取特徵資訊提供給分類器進行分類。上述分類器可包括全連接神經網路與輸出層。輸出層可輸出對應於敲擊手勢的機率值。於是，處理器130可根據卷積神經網路模型輸出的機率值來判斷是否偵測到敲擊手勢。然而，於其他實施例中，機器學習模型可以是支援向量機（SVM）模型、分類樹模型或其他分類模型。

由此可見，本新型創作無須制定固定的判斷規則與臨界值來根據感測資料辨識敲擊手勢，因而可對絕大部分的使用者提供準確的手勢辨識結果。

須說明的是，經訓練的機器學習模型是依據訓練資料集進行深度學習而建構，其可儲存於儲存裝置120中。換言之，經訓練的機器學習模型的模型參數（例如神經網路層數目與各神經網路層的權重等等）可經由事前訓練而決定並儲存於儲存裝置120中。

於一些實施例中，處理器130可收集關聯於敲擊手勢的訓練資料。關聯於敲擊手勢的訓練資料可包括針對不同使用者與不同電子裝置所收集的感測資料。接著，處理器130可根據訓練資料產生訓練特徵資料。之後，處理器130可利用訓練特徵資料訓練機器學習模型，並將經訓練的機器學習模型的模型參數儲存於儲存裝置120中。於一些實施例中，可由其他計算機裝置來進行機器學習模型的訓練，以獲取經訓練的機器學習模型的模型參數。之後，再將經訓練的機器學習模型的模型參數儲存於儲存裝置120中，以使電子裝置100可利用經訓練的機器學習模型來偵測敲擊手勢。

須說明的是，經訓練的機器學習模型可用來辨識單擊手勢、雙擊手勢或其他多擊手勢。然而，敲擊手勢的執行時間將隨著敲擊次數的遞增，因此用以產生特徵資料的單位時段也將隨著敲擊次數的遞增而增加。於一些實施例中，需要針對不同敲擊次數的敲擊手勢訓練對應的機器學習模型。像是，用以辨識單擊手勢的機器學習模型的模型參數將相異於用以辨識雙擊手勢的機器學習模型的模型參數。

值得一提的是，於一些實施例中，透過利用辨識單擊手勢的機器學習模型，處理器130也可辨識出雙擊手勢或其他多擊手勢。具體而言，處理器130可判斷是否於預設時間區間內偵測到多個單擊手勢而辨識出多擊手勢。為了清楚說明本新型創作原理，以下將以雙擊手勢來列舉一實施例說明。

請參照圖1與圖4，本實施例的方式適用於上述實施例中的具有手勢偵測功能的電子裝置100，以下即搭配具有手勢偵測功能的電子裝置100中的各項元件說明本實施例的詳細步驟。

於步驟S402，處理器130收集動作感測器110產生的感測資料。於步驟S404，處理器130根據動作感測器110於第一單位時段產生的感測資料產生對應於第一單位時段的特徵資料。值得一提的是，於一些實施例中，處理器130可根據單位時段內的感測資料進行一資料過濾處理，以決定是否觸發後續手勢辨識流程。當單位時段內的感測資料符合過濾條件，處理器130將不針對此單位時段內的感測資料產生特徵資料來進行手勢辨識。舉例而言，當過去200毫秒內的感測資料小於門檻值時，處理器130將不產生特徵資料來進行手勢辨識。也就是說，若單位時段內的感測資料沒有大於門檻值，不會觸發敲擊手勢的後續辨識流程。如此一來，可避免處理器130進行不必要的辨識運算。

之後，於步驟S406，處理器130將對應於第一單位時段的特徵資料輸入至第一機器學習模型，以偵測施於電子裝置100的單擊手勢。第一機器學習模型是針對單擊手勢而訓練的深度學習模型。第一單位時段的長度是根據單擊手勢而設置。

接著，於步驟S408，處理器130判斷是否偵測到施於電子裝置100的單擊手勢。具體而言，處理器130可根據第一機器學習模型所輸出的機率值來判斷是否有單擊手勢施於電子裝置100上。

若步驟S408判斷為是，於步驟S410，反應於偵測到單擊手勢，處理器130判斷是否在一預設時間區間內偵測到對應於另一第一單位時段的另一單擊手勢。上述預設時間區間的長度例如是0.5秒，但可不限制於此。另一單擊手勢是基於第一機器學習模型與動作感測器110於另一第一單位時段產生的感測資料而偵測。也就是說，處理器130可持續利用第一機器學習模型與動作感測器110的即時感測資料來偵測單擊手勢。每當處理器130利用第一機器學習模型於預設時間區間內偵測到多個單擊手勢，可推斷使用者執行多擊手勢於電子裝置100上。

於一些實施例中，反應於在預設時間區間內偵測到對應於另一第一單位時段的另一單擊手勢，亦即於預設時間區間內偵測到一個以上的單擊手勢，處理器130可根據動作感測器110於第二單位時段內所產生的感測資料與第二機器學習模型來辨識多擊手勢。第二機器學習模型是針對多擊手勢而訓練的深度學習模型。第二單位時段的長度是根據多擊手勢而設置。第二單位時段長於第一單位時段與另一第一單位時段。舉例而言，針對雙擊手勢設置的第二單位時段的長度可以是400毫秒，而針對單擊手勢設置的第一單位可以是200毫秒。

因此，於步驟S412，處理器130根據動作感測器110於第二單位時段產生的感測資料產生對應於第二單位時段的特徵資料。此步驟的詳細操作方式已於前文說明，於此不贅述。並且，若步驟S410判斷為是，於步驟S414，反應於在預設時間區間內偵測到對應於另一第一單位時段的另一單擊手勢，處理器130將對應於第二單位時段的特徵資料輸入至第二機器學習模型，以偵測施於電子裝置100的雙擊手勢。接著，於步驟S416，處理器130判斷是否偵測到施於電子裝置100的雙擊手勢。

也就是說，當處理器130於預設時間區間內偵測到兩個單擊手勢，處理器130可利用對應於第二單位時段的特徵資料與第二機器學習模型來辨識雙擊手勢。

若步驟S416判斷為是，於步驟S418，處理器130執行對應於雙擊手勢的功能。舉例而言，當使用者對電子裝置100施予雙擊手勢，可使電子裝置100執行拍照功能、音樂播放功能、啟動應用程式或其他功能。此外，若步驟S408、步驟S410與步驟S416判斷為否，將回到步驟S402而持續收集感測資料。

由此可知，於一些實施例中，處理器130可利用針對單擊手勢的第一機器學習模型與針對雙擊手勢或其他多擊手勢的第二機器學習模型，而準確地辨識出使用者施於電子裝置100上的雙擊手勢或其他多擊手勢。也就是說，在使用第一機器學習模型與第二機器學習模型之前，需要訓練第一機器學習模型與第二機器學習模型。

請參照圖5，於步驟S502，收集關聯於單擊手勢的訓練資料。關聯於單擊手勢的訓練資料可包括針對不同使用者與不同電子裝置所蒐集之動作感測器所輸出的感測資料。於步驟S504，根據關聯於單擊手勢的訓練資料產生關聯於單擊手勢的訓練特徵資料。於步驟S506，根據關聯於單擊手勢的訓練特徵資料來訓練關聯於單擊手勢的第一機器學習模型M1。具體來說，第一機器學習模型M1將根據訓練特徵資料輸出預測結果，預測結果將與真實結果進行比對而產生損失值，以根據此損失值來更新第一機器學習模型M1的模型參數。

同理，於步驟S508，收集關聯於多擊手勢的訓練資料。關聯於多擊手勢的訓練資料可包括針對不同使用者與不同電子裝置所蒐集之動作感測器所輸出的感測資料。於步驟S510，根據關聯於多擊手勢的訓練資料來產生關聯於多擊手勢的訓練特徵資料。之後，於步驟S512，根據關聯於多擊手勢的訓練特徵資料來訓練關聯於多擊手勢的第二機器學習模型M2。

透過步驟S502～步驟S512的執行，可訓練出用以辨識單擊手勢的第一機器學習模型M1與用以辨識多擊手勢的第二機器學習模型M2。

之後，於步驟S514，收集動作感測器（例如圖1的動作感測器110）產生的感測資料。於步驟S516，根據動作感測器產生的感測資料來產生對應於單位時段的特徵資料。於此，對應於單位時段的特徵資料可包括對應於第一單位時段的特徵資料與第二單位時段的特徵資料。於步驟S518，利用第一機器學習模型M1與第二機器學習模型M2偵測施於電子裝置上的多擊手勢。舉例而言，可透過例如圖4所示的流程來偵測雙擊手勢。

綜上所述，本新型創作可利用即時的感測資料與機器學習模型來偵測施於電子裝置上的敲擊手勢。基此，不僅可提供使用者一種便利且直觀的操控方式，且可提高敲擊手勢的偵測準確度。除此之外，相較於使用固定的判斷規則與臨界值來偵測敲擊手勢，本新型創作可針對絕大部分的使用者提供準確的手勢辨識結果，而無須針對不同使用者進行任何個人化的資料處理。並且，本新型創作可利用多個機器學習模型來提高多擊手勢的辨識準確度。

雖然本新型創作已以實施例揭露如上，然其並非用以限定本新型創作，任何所屬技術領域中具有通常知識者，在不脫離本新型創作的精神和範圍內，當可作些許的更動與潤飾，故本新型創作的保護範圍當視後附的申請專利範圍所界定者為準。

100:電子裝置 110:動作感測器 120:儲存裝置 130:處理器 F1:手指 B1:背蓋 M1:第一機器學習模型 M2:第二機器學習模型 S310～S330, S402～S418, S502～S518:步驟

圖1是依照本新型創作一實施例的具有手勢偵測功能的電子裝置的示意圖。 圖2是依照本新型創作一實施例的敲擊手勢的示意圖。 圖3是依照本新型創作一實施例的手勢偵測方法的流程圖。 圖4是依照本新型創作一實施例的手勢偵測方法的流程圖。 圖5是依照本新型創作一實施例的訓練機器學習模型與多擊手勢辨識的流程圖。

100:電子裝置

110:動作感測器

120:儲存裝置

130:處理器

Claims (10)

1. 一種具有手勢偵測功能的電子裝置，包括： 一動作感測器，產生感測資料； 一儲存裝置；以及 一處理器，耦接所述動作感測器與所述儲存裝置，並經配置以： 收集所述動作感測器產生的所述感測資料； 根據所述動作感測器於一單位時段產生的所述感測資料產生對應於所述單位時段的特徵資料；以及 透過將所述特徵資料輸入一機器學習模型，偵測施於所述電子裝置上的一敲擊手勢。
2. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述動作感測器包括一陀螺儀、一線性加速度計或其組合。
3. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述機器學習模型包括一卷積神經網路模型。
4. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述處理器還經配置以： 收集關聯於所述敲擊手勢的訓練資料； 根據所述訓練資料產生訓練特徵資料；以及 利用所述訓練特徵資料訓練所述機器學習模型。
5. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述動作感測器於所述單位時段產生的所述感測資料包括多筆感測值，且所述處理器還經配置以： 將所述多筆感測值設置為所述特徵資料的一部分；以及 計算所述多筆感測值的運算結果，並將所述運算結果設置為所述特徵資料的另一部分。
6. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述敲擊手勢包括單擊手勢或多擊手勢。
7. 如請求項1所述的具有手勢偵測功能的電子裝置，其中所述單位時段包括一第一單位時段，而所述處理器更經配置以： 根據所述動作感測器於所述第一單位時段產生的所述感測資料產生對應於所述第一單位時段的所述特徵資料；以及 將對應於所述第一單位時段的所述特徵資料輸入至一第一機器學習模型，並判斷是否偵測到施於所述電子裝置的一單擊手勢。
8. 如請求項7所述的具有手勢偵測功能的電子裝置，其中所述單位時段包括另一第一單位時段，而所述處理器更經配置以： 反應於偵測到所述單擊手勢，判斷是否在一預設時間區間內偵測到對應於所述另一第一單位時段的另一單擊手勢， 其中所述另一單擊手勢是基於所述第一機器學習模型與所述動作感測器於所述另一第一單位時段產生的所述感測資料而偵測。
9. 如請求項8所述的具有手勢偵測功能的電子裝置，其中所述單位時段包括一第二單位時段，所述第二單位時段長於所述第一單位時段與所述另一第一單位時段，而所述處理器更經配置以： 反應於在所述預設時間區間內偵測到對應於所述另一第一單位時段的所述另一單擊手勢，根據所述動作感測器於所述第二單位時段內所產生的所述感測資料與一第二機器學習模型來辨識一多擊手勢。
10. 如請求項9所述的具有手勢偵測功能的電子裝置，其中所述處理器還經配置以： 根據所述動作感測器於所述第二單位時段產生的所述感測資料產生對應於所述第二單位時段的所述特徵資料；以及 將對應於所述第二單位時段的所述特徵資料輸入至所述第二機器學習模型，並判斷是否偵測施於所述電子裝置的所述多擊手勢。

Images