TWI654541B - 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品 - Google Patents

觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品

Info

Publication number
TWI654541B
TWI654541B TW107112809A TW107112809A TWI654541B TW I654541 B TWI654541 B TW I654541B TW 107112809 A TW107112809 A TW 107112809A TW 107112809 A TW107112809 A TW 107112809A TW I654541 B TWI654541 B TW I654541B
Authority
TW
Taiwan
Prior art keywords
touch
tap
subnet
neural network
image
Prior art date
Application number
TW107112809A
Other languages
English (en)
Other versions
TW201944210A (zh
Inventor
蔡宗華
葉映志
Original Assignee
矽統科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矽統科技股份有限公司 filed Critical 矽統科技股份有限公司
Priority to TW107112809A priority Critical patent/TWI654541B/zh
Application granted granted Critical
Publication of TWI654541B publication Critical patent/TWI654541B/zh
Priority to US16/382,702 priority patent/US10795481B2/en
Publication of TW201944210A publication Critical patent/TW201944210A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種觸控面板上的敲擊事件的識別方法，包含：針對在觸控面板上進行的敲擊事件量測出振動訊號，以收集敲擊事件並記錄該敲擊事件的類型，作為樣本；生成包含複數個樣本的一樣本集；使用此樣本集來訓練一深度神經網路，決定出優化的權重參數組；將該深度神經網路及該優化的權重參數組作為一敲擊分類器，佈建到一終端觸控產品中；及根據對該終端觸控產品執行一敲擊操作而感測出的振動訊號及觸碰感測值所形成的影像，得出預測的敲擊類型。本揭示並提供對應該識別方法的系統，以及一種終端觸控產品。

Description

觸控面板上的敲擊事件的識別方法及系統，以及 終端觸控產品
本揭示係關於一種感測技術，特別有關一種觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品。
習知的大尺寸觸控顯示裝置搭配有標註繪圖軟體，可供使用者在顯示畫面上進行標註，以方便解說畫面上的內容。該標註繪圖軟體通常會在畫面邊緣顯示主選單，使用者可透過該主選單改變畫筆顏色或調整畫筆粗細。然而，由於螢幕尺寸很大，該主選單可能距離使用者很遠，在點選上相當不便，調整畫筆屬性的操作對使用者來說相當麻煩。
有鑑於此，有必要提出一種新的方案，以解決上述問題。
本發明的目的在於提供一種觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品，以提升敲擊類型之預測的準確度。
為達成上述目的，本發明一方面提供一種觸控面板上的敲擊事件的識別方法，包含：感測在觸控面板上進行的各種敲擊事件而量測出的複數個振動訊號，記錄該等敲擊事件的類型作為分類標記；將對應一個敲擊事件的振動訊號及分類標記作為一個樣本，生成包含複數個樣本的一樣本集；將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路中進行訓練，採用向後傳播的算法，調整該權重參數組；將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組；將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端觸控產品中；感測對該終端觸控產品執行的一敲擊操作所產生的振動訊號，並生成對應該敲擊操作的複數個觸碰感測值所形成的一影像；將對應該敲擊操作的振動訊號輸入到該模型中以得出一第一結果，對該等觸碰感測值所形成的影像進行分析以得出一第二結果，根據該第一結果和該第二結果得出一預測的敲擊類型。
本發明另一方面提供一種觸控面板上的敲擊事件的識別方法，包含：感測在觸控面板上進行的各種敲擊事件而量測出的複數個振動訊號，並將該觸控面板感測每一敲擊事件所得出的複數個觸碰感測值轉換成一影像，且記錄該等敲擊事件的類型作為分類標記；將對應一個敲擊事件的振動訊號、影像及分類標記作為一個樣本，生成包含複數個樣本的一樣本集；將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入 到一深度神經網路中進行訓練，採用向後傳播的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
本發明再一方面提供一種觸控面板上的敲擊事件的識別系統，包含：一觸控面板；一振動感測器，與該觸控面板設置在一起，其中該振動感測器用以感測在觸控面板上進行的各種敲擊事件而量測出複數個振動訊號，該觸控面板用以感測每一敲擊事件以得出的複數個觸碰感測值，該等觸碰感測值被轉換成一影像；一處理器，與該振動感測器和該觸控面板耦接，該處理器接收該振動感測器傳來的該等振動訊號以及該觸控面板傳來的複數張影像；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：將該等敲擊事件的類型作為分類標記，記錄在該記憶體中；將對應一個敲擊事件的振動訊號、影像及分類標記作為一個樣本，生成包含複數個樣本的一樣本集；將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路中進行訓練，採用向後傳播的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
本發明又一方面提供一種終端觸控產品，包含：一觸控介面；一振動感測器，與該觸控介面設置在一起，該振動感 測器用以感測對該觸控介面執行的一敲擊操作而產生的振動訊號，該觸控介面用以感測該敲擊操作以得出複數個觸碰感測值，該等觸碰感測值被轉換成一影像；以及一控制器，與該振動感測器和該觸控介面耦接，該控制器中佈建有與上述方法中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據上述方法得出的該優化的權重參數組作為一模型，並用以將對應該敲擊操作的該振動訊號及來自該觸控介面的該影像輸入該模型中，以得出一預測的敲擊類型。
本揭示採用深度學習的方式，運用深度神經網路學習在觸控面板上進行的各種敲擊事件的分類，得出一預測模型。將此預測模型佈建在終端觸控產品上，因此終端觸控產品能夠對用戶作出的敲擊動作進行預測，在軟體層面上對這些敲擊類型作不同的應用，使得可應用性大幅提高。並且，本揭示利用敲擊產生的振動訊號以及觸碰感測值所形成的影像一起進行敲擊類型的預測，使得敲擊類型的預測準確度有效提升。
10‧‧‧觸控裝置
20‧‧‧觸控面板
20’‧‧‧觸控介面
21‧‧‧訊號傳送層
22‧‧‧訊號接收層
30、30’‧‧‧振動感測器
40‧‧‧計算機裝置
41‧‧‧處理器
42‧‧‧記憶體
60‧‧‧控制器
201‧‧‧第一子網路
202‧‧‧第二子網路
210‧‧‧平坦層
220‧‧‧多層感知器
S21~S28‧‧‧步驟
S61~S67‧‧‧步驟
第1圖顯示根據本揭示實現的一種觸控面板上的敲擊事件的識別系統的示意圖。
第2圖顯示根據本揭示第一實施例實現的一種觸控面板上的敲擊事件的識別方法的流程圖。
第3圖顯示本揭示中的振動訊號以時間分佈的示意圖。
第4圖顯示本揭示中於頻率空間的振動訊號的示意圖。
第5圖顯示本揭示中的深度神經網路的示意圖。
第6圖顯示根據本揭示第二實施例實現的一種觸控面板上的敲擊事件的識別方法的流程圖。
第7圖顯示根據本揭示的深度神經網路的架構示意圖。
第8圖顯示根據本揭示實現的一種終端觸控產品的示意圖。
第9圖顯示根據本揭示第二實施例實現的一種觸控面板上的敲擊事件的識別方法的流程圖。
為使本揭示的目的、技術方案及效果更加清楚、明確，以下參照圖式並舉實施例對本揭示進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本揭示，本揭示說明書所使用的詞語“實施例”意指用作實例、示例或例證，並不用於限定本揭示。此外，本揭示說明書和所附申請專利範圍中所使用的冠詞「一」一般地可以被解釋為意指「一個或多個」，除非另外指定或從上下文可以清楚確定單數形式。
本揭示採用深度學習(deep learning)的方式，對在觸控面板上作出的敲擊事件進行分類學習而得出一分類模型。利用此分類模型，可以將使用者在觸控產品上作出的敲擊動作加以分類，得出敲擊的類型(例如敲擊的次數與敲擊的手指數目的多種組合)，從而可以執行對應該類型的預定操作。
特別地，本揭示利用振動感測器量測出的振動訊號 及觸控面板量測出的觸碰感測值的影像一起進行敲擊類型的預測，能夠有效提高敲擊類型的預測準確度。
敲擊事件的類型例如可為手指不同部位進行的敲擊(例如指腹敲擊、指關節敲擊、指甲敲擊)、敲擊的次數(例如一次敲擊、二次敲擊和三次敲擊等)、同時敲擊之手指的數量(例如一指敲擊、二指敲擊和三指敲擊等)以及敲擊的角度(例如90度敲擊和45度敲擊等)，或上述多種類型的任意組合。
該預定操作可根據不同的應用情境而有不同的配置。例如在大尺寸觸控面板的應用情境下，舉例來說，一指敲擊可與開啟/關閉主選單的操作關聯，二指敲擊可與變更畫筆顏色的操作關聯，三指敲擊可與變更畫筆粗細的操作關聯。如下文描述的，所屬技術領域具有通常知識者可以理解，也可將本揭示的發明概念運用在其他應用。當然，敲擊類型與執行之操作的關係也可由使用者自行定義。
第1圖顯示根據本揭示實現的一種觸控面板上的敲擊事件的識別系統的示意圖。該系統包括一觸控裝置10及與觸控裝置10耦接的計算機裝置40。觸控裝置10包含一觸控面板20及至少一振動感測器30。觸控裝置10可為具有觸控功能的顯示裝置，其可透過一顯示面板(未圖示)顯示影像，同時可接收使用者的觸控操作。計算機裝置40可為具有一定之運算能力的計算器，例如個人電腦、筆記型電腦等。本揭示中，為了對敲擊事件進行分類，需要先收集敲擊事件，在此，人為地敲擊觸控裝置10，將敲 擊事件對應的訊號傳送到計算機裝置40，計算機裝置40採用深度神經網路(deep neural network)進行學習。
振動感測器30例如加速度計。振動感測器30可配置在觸控裝置10中的任一位置，較佳地，振動感測器30配置在觸控面板20的下表面。振動感測器30用以感測在觸控裝置10上進行的敲擊動作，產生相應的振動訊號。當振動感測器30配置在觸控面板20下表面時，可以針對在觸控面板20上的敲擊生成較好的訊號。
觸控面板20包括一訊號傳送(Tx)層21及一訊號接收(Rx)層22。觸控面板20感測使用者的觸摸操作，生成複數個觸碰感測值(如電容值)，從這些觸碰感測值，可決定出觸碰發生的位置。這些觸碰感測值結合其座標(如X、Y座標)可視為一張影像，觸碰感測值對應該影像中的像素值，此影像中觸碰感測值的分佈與敲擊的形態是相應的。
於一實施例中，計算機裝置40透過連接埠接收振動感測器30生成的振動訊號，將其饋入深度神經網路進行分類學習。人為產生敲擊事件後，也可將每個敲擊事件的類型作為分類標記(classification labels)輸入到計算機裝置40中，進行監督式學習(supervised learning)。
於另一實施例中，計算機裝置40透過連接埠接收振動感測器30生成的振動訊號以及來自觸控面板20的觸碰感測值，計算機裝置40可將來自觸控面板20的觸碰感測值轉換成影像的數據形式，而後將振動訊號及該影像饋入深度神經網路進行分類學 習。
也就是說，在進行敲擊類型的預測之前，可將敲擊事件產生的振動訊號及對應該敲擊事件之類型的分類標記作為輸入來訓練深度神經網路，也可將敲擊事件產生的振動訊號、影像訊號(來自觸控面板20)及對應該敲擊事件之類型的分類標記作為輸入來訓練深度神經網路。
如第1圖所示，計算機裝置40包含一處理器41及一記憶體42，處理器41與振動感測器30耦接，處理器41接收振動感測器30傳來的振動訊號，記憶體42與處理器41連接，記憶體42包含可由處理器41執行的複數個程式指令，處理器41執行該等程式指令以執行該深度神經網路的相關運算。計算機裝置40也可利用GPU來執行該深度神經網路的相關運算，以提升運算速度。
第2圖顯示根據本揭示第一實施例實現的一種觸控面板上的敲擊事件的識別方法的流程圖。請配合第1圖，參閱第2圖，所述方法包括如下步驟：步驟S21：利用振動感測器30感測在觸控面板20上進行的各種敲擊事件而量測出的複數個振動訊號，記錄該等敲擊事件的類型作為分類標記。在此步驟中，在觸控面板20上人為地產生各種敲擊事件，設置在觸控面板20下表面上的振動感測器30感測敲擊事件而生成振動訊號。並且，對應每一敲擊事件之類型的分類標記被記錄下來，儲存到記憶體42中。
在本揭示中，振動感測器30的數量不限於一個，也 可以是複數個，振動感測器30也可以設置在觸控裝置10中的任一位置，振動感測器30也可以感測在觸控裝置10表面的任一位置作出的敲擊動作。
振動感測器30偵測到的加速度是時間函數，有三個方向分量，第3圖所示為某一敲擊事件對應的加速度大小在時間上的分佈。於一實施例中，可利用傅立葉轉換分別將三個方向分量轉換到頻率空間，如第4圖所示。具體來說，所述方法可進一步包含將每一個振動訊號從時間分佈轉換到頻率空間的步驟。
在轉換到頻率空間後，可進一步濾掉低頻的直流成分(DC component)與高頻雜訊，以避免分類結果受到重力加速度以及雜訊的影響。具體來說，所述方法可進一步包含對每一個振動訊號進行濾波，過濾掉高頻和低頻的部分的步驟。
步驟S22：將對應一個敲擊事件的振動訊號及分類標記作為一個樣本，生成包含複數個樣本的一樣本集。在此步驟中，振動感測器30量測的振動訊號以及對應該敲擊事件之類型的分類標記作為一筆資料，即一個樣本，複數個樣本構成一樣本集。具體來說，一個樣本包含一個振動訊號的特徵值(feature values)以及對應該敲擊事件之類型的分類標記。
該樣本集可分成訓練樣本集及測試樣本集，該訓練樣本集可用來訓練深度神經網路，該測試樣本集用來測試訓練得出的深度神經網路模型的分類準確度。
步驟S23：將該樣本集中的樣本作為輸入，自由選取 的權重參數組(weighting parameters)作為調整參數，輸入到一深度神經網路中進行訓練，採用向後傳播(backpropagation)的算法，調整該權重參數組。
步驟S22中的得出的一個樣本中的特徵值自輸入層輸入，通過該深度神經網路輸出預測的分類標記。第5圖顯示一個深度神經網路的例子，深度神經網路一般可以分為輸入層、輸出層及介於輸入層和輸出層間的學習層，樣本集的每個樣本從輸入層輸入，預測的分類標記從輸出層輸出。一般來說，深度神經網路包含許多學習層，其層數相當多(例如50~100層)，故可實現深度學習。第5圖顯示的深度神經網路僅為示意，本揭示的深度神經網路並不以此為限。
深度神經網路中可包含多個卷積層(convolutional layer)、批次歸一層(batch normalization layer)、池化層(pooling layer)、全連接層(fully connected layer)、線性整流單元(rectified linear unit，ReLu)以及一個Softmax輸出層等等。本揭示可以採用適當數量的層數進行學習，以在預測準確度與運算效率上取得平衡，但需注意的是，層數過多也可能導致準確度下降。深度神經網路可包含多個級聯的子網路，每個子網路與位在其後的各個子網路相連，如DenseNet(Dense Convolutional Network)，以提升預測的準確度。深度神經網路也可包含殘留網路(Residual Network)，用來解決降解(degradation)問題。
該深度神經網路的目標是使得分類誤差(loss)最 小，優化的方法採用向後傳播算法，也就是說，輸出層得出的預測結果與真實的值進行比較，得到一個誤差值，然後這個誤差值逐層往回傳，從而修正每一層的參數。
步驟S24：將該樣本集的樣本分批(mini-batch)讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。每使用一批子樣本集進行訓練時，就會對權重參數組進行一次微調，如此迭代地進行，直到分類誤差趨向於收斂。最後，選取出對於測試集有最高預測準確度的參數組作為優化的模型參數組。
步驟S25：將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端觸控產品中。在此步驟中，該終端觸控產品具有一預測模型，其包含了與上述步驟S21~S24中採用的深度神經網路相同或相應的深度神經網路以及上述步驟S24得出的優化的權重參數組。
步驟S26：感測對該終端觸控產品執行的一敲擊操作所產生的振動訊號，並生成對應該敲擊操作的複數個觸碰感測值所形成的一影像。該終端觸控產品包含有一觸控介面及至少一振動感測器。在此步驟中，使用者敲擊該終端觸控產品時，該終端觸控產品中的振動感測器量測出振動訊號，該觸控介面感測使用者的觸摸操作，從而生成複數個觸碰感測值(如電容值)，這些觸碰感測值被轉換成一影像，此影像中觸碰感測值的分佈與敲擊的形態是相應的。
步驟S27：將對應該敲擊操作的振動訊號輸入到該模型中以得出一第一結果，對該等觸碰感測值所形成的影像進行分析以得出一第二結果，根據該第一結果和該第二結果得出一預測的敲擊類型。也就是說，敲擊類型的預測是根據該終端觸控產品之振動感測器產生的振動訊號以及該終端觸控產品之觸控介面產生的觸碰感測值所形成的影像而得出的。其中，來自該終端觸控產品的振動訊號作為該經過訓練的深度神經網路的輸入，以得出敲擊類型的第一個預測結果。來自該終端觸控產品的因觸碰操作而形成的影像經過分析後得出敲擊類型的第二個預測結果。該第一個預測結果和該第二個預測結果皆參與了最終之敲擊類型的預測。
於一實施例中，假如該第一個預測結果和該第二個預測結果之其中一個預測結果為不確定或無法判定時，可由另一個預測結果決定最終之敲擊類型的預測。於再一實施例中，最終預測的敲擊類型可為該第一個預測結果和該第二個預測結果的其中一者，例如該第一個預測結果和該第二個預測結果不一致時，可預設選定其中一者作為最終的預測結果，或依其各自的得分來決定。於再一實施例中，最終預測的敲擊類型可由該第一個預測結果和該第二個預測結果各別預測出的敲擊類型的組合。
舉例來說，該模型從振動訊號中可得出敲擊的次數，例如二次敲擊，從該影像中可以分析出是幾根手指同時敲擊，例如二指敲擊，從而可以預測出敲擊類型為進行了二次的二指敲 擊。舉例來說，該模型從振動訊號中可得出敲擊的次數，例如二次敲擊，從該影像中可以分析出手指哪一個部位進行了敲擊，例如指關節敲擊，從而可以預測出敲擊類型為進行了二次的指關節敲擊。
步驟S28：根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。在此步驟中，可將預測得出的敲擊類型傳送給執行中的一軟體，該軟體便執行對應預測結果的操作。
第6圖顯示根據本揭示第二實施例實現的一種觸控面板上的敲擊事件的識別方法的流程圖。請配合第1圖，參閱第6圖，所述方法包括如下步驟：步驟S61：利用振動感測器30感測在觸控面板20上進行的各種敲擊事件而量測出的複數個振動訊號，並將觸控面板20感測每一敲擊事件所得出的複數個觸碰感測值轉換成一影像，且記錄該等敲擊事件的類型作為分類標記。在此步驟中，在觸控面板20上人為地產生各種敲擊事件，設置在觸控面板20下表面上的振動感測器30感測敲擊事件而生成振動訊號。觸控面板20針對每一敲擊事件產生複數個觸碰感測值，這些觸碰感測值被轉換成一張影像的數據形式，一個敲擊事件對應一張影像。並且，對應每一敲擊事件之類型的分類標記被記錄下來，儲存到記憶體42中。
在本揭示中，觸碰感測值的影像可由觸控面板20產生後再輸入到計算機裝置40，也可由計算機裝置40的處理器41來將來自觸控面板20的觸碰感測值轉換成影像。
通常，敲擊事件只發生在觸控面板20上的一個局部的區域，因此可以只擷取這個區域的觸碰感測值的影像，也就是，可以只採用這個局部區域的影像進行深度神經網路的訓練。具體來說，所述方法可進一步包含將包含該敲擊事件之發生位置的一局部區域中的觸碰感測值轉換成該影像的步驟。
步驟S62：將對應一個敲擊事件的振動訊號、影像及分類標記作為一個樣本，生成包含複數個樣本的一樣本集。在此步驟中，振動感測器30量測的振動訊號、來自觸控面板20的觸碰感測值的影像以及對應該敲擊事件之類型的分類標記作為一筆資料，即一個樣本，複數個樣本構成一樣本集。具體來說，一個樣本包含一個振動訊號的特徵值、該影像的特徵值以及對應該敲擊事件之類型的分類標記。
該樣本集可分成訓練樣本集及測試樣本集，該訓練樣本集可用來訓練深度神經網路，該測試樣本集用來測試訓練得出的深度神經網路模型的分類準確度。
步驟S63：將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路中進行訓練，採用向後傳播的算法，調整該權重參數組。
第7圖顯示根據本揭示的深度神經網路的架構示意圖。在此步驟中，將該樣本集中的每個樣本輸入到第7圖所示的深度神經網路進行訓練。
如第7圖所示，該深度神經網路包含一第一子網路 201、一第二子網路202、一平坦層(flatten layer)210及一多層感知器(Multi-Layer Perceptron)220。來自振動感測器30的振動訊號輸入第一子網路201，來自觸控面板20的觸碰感測值的影像輸入第二子網路202。第一子網路201和第二子網路202在該深度神經網路中為平行的架構。振動訊號為一維的資料，第一子網路201可採用一維的架構，例如一維的卷積神經網路(convolutional neural network,CNN)。觸碰感測值的影像為二維的資料，第二子網路202可採用二維的架構，例如二維的卷積神經網路。第一子網路201的輸出和第二子網路202的輸出，輸入到平坦層210進行平坦化。由於第一子網路201為一維架構，第二子網路202為二維架構，需要利用平坦層210將第一子網路201和第二子網路202的輸出轉換成一維數據。平坦層210的輸出再輸入到多層感知器220進行敲擊事件的分類預測，以得出一預測的分類標記。多層感知器220可視為該深度神經網路的另一個子網路，其由多個的節點層所組成，映射一組輸入向量到一組輸出向量，除了輸入節點，每個節點都是一個帶有非線性激活函數的神經元。多層感知器220可包含卷積層、ReLU層、池化層和全連接層。第一子網路201、第二子網路202和多層感知器220的神經元各對應一權重值，該深度神經網路的所有權重值構成該權重參數組。
舉例來說，多層感知器220由一個輸入層，一或多個隱藏層及一個輸出層組成，從平坦層210輸入到多層感知器220的每一個輸入值自輸入層輸入，每個輸入值乘以一個權重值後求和 (也可再求和後加上一偏差值(bias))，作為第一個隱藏層中一個神經元的值，這個值可再進行非線性轉換得到最終的值，作為下一個隱藏層的輸入，依次進行並在輸出層輸出預測結果，即預測的分類標記。
具體來說，步驟S63可進一步包含如下步驟：將對應一個敲擊事件的振動訊號的特徵輸入到一維的第一子網路201；將對應一個敲擊事件之觸碰感測值的影像的特徵輸入到二維的第二子網路202；將該第一子網路的輸出和該第二子網路的輸出，輸入到平坦層210進行平坦化，以將該第一子網路201和該第二子網路202的輸出轉換成一維數據；以及將平坦層210的輸出，輸入到多層感知器220，進行敲擊事件的分類預測，以得出預測的分類標記。
該深度神經網路的目標是使得分類誤差(loss)最小，優化的方法採用向後傳播算法，也就是說，輸出層得出的預測結果與真實的值進行比較，得到一個誤差值，然後這個誤差值逐層往回傳，從而修正每一層的參數。具體來說，所述方法可進一步包含根據該預測的分類標記與該樣本中的分類標記的誤差，採用該向後傳播的算法，調整該權重參數組的步驟。該向後傳播的算法不僅調整多層感知器220中各神經元的權重，也可調整第一子網路201和第二子網路202中各神經元的權重。
步驟S64：將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。每使用一批子樣本集進行訓練時，就會對權重參數組進行一次微調，如此迭代地進行，直到分類誤差趨向於收斂。最後，選取出對於測試集有最高預測準確度的參數組作為優化的模型參數組。
第8圖顯示根據本揭示實現的一種終端觸控產品的示意圖。如第8圖所示，該終端觸控產品包含一觸控介面20’、一或多個振動感測器30’及一控制器60。振動感測器30’可以設置在觸控介面20’的下表面，或者也可設置在該終端觸控產品中的任一位置。振動感測器30’用以感測對該觸控介面20’執行的一敲擊操作而產生振動訊號。觸控介面20’用以感測該敲擊操作以得出複數個觸碰感測值，該等觸碰感測值被轉換成一影像。控制器60與觸控介面20’和振動感測器30’耦接，接收觸控介面20’產生的觸碰感測值所形成之影像和振動感測器30’產生的振動訊號。來自觸控介面20’的觸碰感測值亦可由控制器60轉換成一張影像。
控制器60用以對使用者在觸控介面20’上進行的敲擊事件進行分類預測，以得出一預測的敲擊類型。舉例來說，控制器60中佈建有與上述步驟S61~S64中採用的深度神經網路相同或相應的深度神經網路，且儲存有上述步驟S64得出的優化的權重參數組。該相應的深度神經網路及該優化的權重參數組構成一模型。控制器60將來自振動感測器30’的振動訊號及來自觸控介面20’ 之觸碰感測值所形成的影像輸入該模型中，即可得出預測的敲擊類型。如此，該終端觸控產品實現了敲擊事件的分類預測。
於一實施例中，控制器60可為該終端觸控產品中的任一控制器。於另一實施例中，控制器60結合於一觸控晶片中，也就是說，該終端觸控產品的觸控晶片不僅具有感測使用者的觸摸操作的功能，同時也具有預測使用者的敲擊類型的功能。具體來說，該深度神經網路相應的程式碼以及該優化的權重參數組可寫入觸控晶片的韌體中，在執行驅動程式的階段，觸控晶片可預測出敲擊事件的類型。
請配合第6圖參閱第8圖，所述方法還包括如下步驟：步驟S65：將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端觸控產品中。在此步驟中，該終端觸控產品具有一預測模型，其包含了與上述步驟S61~S64中採用的深度神經網路相同或相應的深度神經網路以及上述步驟S64得出的優化的權重參數組。
步驟S66：接收對該終端觸控產品執行的一敲擊操作所產生的振動訊號及來自該終端觸控產品之觸碰感測值的影像，並將對應該敲擊操作的該振動訊號及來自該終端觸控產品的該影像輸入該模型中，以得出一預測的敲擊類型。在此步驟中，使用者敲擊該終端觸控產品時，該終端觸控產品中的振動感測器30’量測振動訊號，觸控介面20’產生觸碰感測值，這些觸碰感測值被轉換成一影像，將該振動訊號及該影像輸入該模型中，即可預測得 出敲擊的類型。
步驟S67：根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。在此步驟中，控制器60可將預測得出的敲擊類型傳送給於操作系統中運作的一軟體，該軟體便執行對應預測結果的操作。
在一個例示的應用情境中，大尺寸觸控顯示產品中安裝有一標註軟體。舉例來說，當使用者對此產品表面進行一指敲擊時，該標記軟體對應地開啟/或關閉主選單；二指敲擊時，該標註軟體改變畫筆的顏色；三指敲擊時，改變筆尖粗細。在另一個例示的應用情境中，當使用者進行90度敲擊時，可開啟/關閉主選單，進行45度敲擊時可以將選單項目反白，供使用者選取多個項目，或者進行文字選取。在另一個例子中，當播放影片或音樂時，使用者從觸控板側面敲擊一次可使播放暫停，敲擊二次則可繼續播放。
本揭示採用深度學習的方式，運用深度神經網路學習在觸控面板上進行的各種敲擊事件的分類，得出一預測模型。將此預測模型佈建在終端觸控產品上，因此終端觸控產品能夠對用戶作出的敲擊動作進行預測，在軟體層面上對這些敲擊類型作不同的應用，使得可應用性大幅提高。並且，本揭示利用敲擊產生的振動訊號以及觸碰感測值所形成的影像一起進行敲擊類型的預測，使得敲擊類型的預測準確度有效提升。
本揭示已用較佳實施例揭露如上，然其並非用以限 定本揭示，本揭示所屬技術領域中具有通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (13)

  1. 一種觸控面板上的敲擊事件的識別方法，包含：感測在觸控面板上進行的各種敲擊事件而量測出的複數個振動訊號，並將該觸控面板感測每一敲擊事件所得出的複數個觸碰感測值轉換成一影像，且記錄該等敲擊事件的類型作為分類標記(classification labels)；將對應一個敲擊事件的振動訊號、影像及分類標記作為一個樣本，生成包含複數個樣本的一樣本集；將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中進行訓練，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組，其中訓練該深度神經網路的步驟包含：將對應一個敲擊事件的振動訊號的特徵(features)輸入到一第一子網路，該第一子網路為一一維子網路；將對應一個敲擊事件之觸碰感測值的影像的特徵輸入到一第二子網路，該第二子網路為一二維子網路；將該第一子網路的輸出和該第二子網路的輸出，輸入到一平坦層進行平坦化，以將該第一子網路和該第二子網路的輸出轉換成一維數據；以及將該平坦層的輸出，輸入到一多層感知器(Multi-Layer Perceptron)，進行敲擊事件的分類預測。
  2. 如申請專利範圍第1項所述之方法，其中該第一子網路和該第二子網路包含一卷積神經網路(convolutional neural network)。
  3. 如申請專利範圍第1項所述之方法，其中將該等觸碰感測值轉換成該影像的步驟包含：將包含該敲擊事件之發生位置的一局部區域中的觸碰感測值轉換成該影像。
  4. 如申請專利範圍第1項所述之方法，更包含：將該深度神經網路及該優化的權重參數組作為一模型，佈建到一終端觸控產品中；以及接收對該終端觸控產品執行的一敲擊操作所產生的振動訊號及來自該終端觸控產品之觸碰感測值的影像，並將對應該敲擊操作的該振動訊號及來自該終端觸控產品的該影像輸入該模型中，以得出一預測的敲擊類型。
  5. 如申請專利範圍第4項所述之方法，其中在得出該預測的敲擊類型的步驟之後，所述方法更包含：根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。
  6. 如申請專利範圍第5項所述之方法，其中該預定操作係選自由開關選單、變更畫筆顏色及變更畫筆粗細所組成的群組。
  7. 如申請專利範圍第1項所述之方法，其中敲擊的類型係依敲擊的次數、同時敲擊的手指數量、手指敲擊的部位及、或敲擊的角度來劃分。
  8. 一種觸控面板上的敲擊事件的識別系統，包含：一觸控面板；一振動感測器，與該觸控面板設置在一起，其中該振動感測器用以感測在觸控面板上進行的各種敲擊事件而量測出複數個振動訊號，該觸控面板用以感測每一敲擊事件以得出的複數個觸碰感測值，該等觸碰感測值被轉換成一影像；一處理器，與該振動感測器和該觸控面板耦接，該處理器接收該振動感測器傳來的該等振動訊號以及該觸控面板傳來的複數張影像；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：將該等敲擊事件的類型作為分類標記(classification labels)，記錄在該記憶體中；將對應一個敲擊事件的振動訊號、影像及分類標記作為一個樣本，生成包含複數個樣本的一樣本集；將該樣本集中的樣本作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中進行訓練，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組，其中該深度神經網路包含：一第一子網路，接收對應一個敲擊事件的振動訊號的特徵(features)，該第一子網路為一一維子網路；一第二子網路，接收對應一個敲擊事件之觸碰感測值的影像的特徵，該第二子網路為一二維子網路；一平坦層，用以對該第一子網路的輸出和該第二子網路的輸出進行平坦化，以將該第一子網路和該第二子網路的輸出轉換成一維數據；以及一多層感知器(Multi-Layer Perceptron)，接收該平坦層的輸出進行敲擊事件的分類預測，以得出一預測的分類標記。
  9. 如申請專利範圍第8項所述之系統，其中該第一子網路和該第二子網路包含一卷積神經網路(convolutional neural network)。
  10. 如申請專利範圍第8項所述之系統，其中所述方法更包含：將包含該敲擊事件之發生位置的一局部區域中的觸碰感測值轉換成該影像。
  11. 如申請專利範圍第8項所述之系統，其中敲擊的類型係依敲擊的次數、同時敲擊的手指數量、手指敲擊的部位及、或敲擊的角度來劃分。
  12. 一種終端觸控產品，包含：一觸控介面；一振動感測器，與該觸控介面設置在一起，該振動感測器用以感測對該觸控介面執行的一敲擊操作而產生的振動訊號，該觸控介面用以感測該敲擊操作以得出複數個觸碰感測值，該等觸碰感測值被轉換成一影像；以及一控制器，與該振動感測器和該觸控介面耦接，該控制器中佈建有與申請專利範圍第1項中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據申請專利範圍第1項得出的該優化的權重參數組作為一模型，並用以將對應該敲擊操作的該振動訊號及來自該觸控介面的該影像輸入該模型中，以得出一預測的敲擊類型。
  13. 如申請專利範圍第12項所述之終端觸控產品，其中該控制器並用以根據該預測的敲擊類型，執行對應該預測的敲擊類型的一預定操作。
TW107112809A 2018-04-13 2018-04-13 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品 TWI654541B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107112809A TWI654541B (zh) 2018-04-13 2018-04-13 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品
US16/382,702 US10795481B2 (en) 2018-04-13 2019-04-12 Method and system for identifying tap events on touch panel, and touch-controlled end product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107112809A TWI654541B (zh) 2018-04-13 2018-04-13 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品

Publications (2)

Publication Number Publication Date
TWI654541B true TWI654541B (zh) 2019-03-21
TW201944210A TW201944210A (zh) 2019-11-16

Family

ID=66590676

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112809A TWI654541B (zh) 2018-04-13 2018-04-13 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品

Country Status (2)

Country Link
US (1) US10795481B2 (zh)
TW (1) TWI654541B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708448A (zh) * 2019-05-08 2020-09-25 义隆电子股份有限公司 用于触控装置的控制系统及方法
TWI788651B (zh) * 2019-05-08 2023-01-01 義隆電子股份有限公司 用於觸控裝置的控制系統及其方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2591765B (en) * 2020-02-04 2023-02-08 Peratech Holdco Ltd Classifying mechanical interactions
CN111796708B (zh) * 2020-06-02 2023-05-26 南京信息工程大学 一种在触摸屏上再现图像三维形状特征的方法
CN111857366B (zh) * 2020-06-15 2024-03-19 歌尔科技有限公司 用于确定耳机的双击动作的方法、装置及耳机
KR20220023639A (ko) 2020-08-21 2022-03-02 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112445410B (zh) * 2020-12-07 2023-04-18 北京小米移动软件有限公司 触控事件识别方法、装置及计算机可读存储介质
EP4099142A4 (en) 2021-04-19 2023-07-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD OF OPERATION
CN114324580A (zh) * 2021-12-03 2022-04-12 西安交通大学 一种结构缺陷的智能敲击检测方法及系统
TWI812305B (zh) * 2022-06-27 2023-08-11 國立彰化師範大學 故障診斷系統及故障診斷方法
CN117389454A (zh) * 2022-07-01 2024-01-12 荣耀终端有限公司 指关节操作的识别方法及电子设备
CN117589427B (zh) * 2024-01-10 2024-06-18 深圳市正东明光电子有限公司 一种车载倒装led测试方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747070B2 (en) 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
TWI405101B (zh) 2009-10-05 2013-08-11 Wistron Corp 具觸控面板之電子裝置及其運作方法
TWI454977B (zh) 2011-01-18 2014-10-01 Univ Cheng Shiu 振動式觸控面板使用方式
US20150035759A1 (en) * 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
US9235278B1 (en) 2014-07-24 2016-01-12 Amazon Technologies, Inc. Machine-learning based tap detection
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708448A (zh) * 2019-05-08 2020-09-25 义隆电子股份有限公司 用于触控装置的控制系统及方法
US11320927B2 (en) 2019-05-08 2022-05-03 Elan Microelectronics Corporation Control system for a touch device and method thereof
TWI788651B (zh) * 2019-05-08 2023-01-01 義隆電子股份有限公司 用於觸控裝置的控制系統及其方法
CN111708448B (zh) * 2019-05-08 2023-11-03 义隆电子股份有限公司 用于触控装置的控制系统及方法

Also Published As

Publication number Publication date
US10795481B2 (en) 2020-10-06
US20190317633A1 (en) 2019-10-17
TW201944210A (zh) 2019-11-16

Similar Documents

Publication Publication Date Title
TWI654541B (zh) 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品
Ling et al. Ultragesture: Fine-grained gesture sensing and recognition
JP6030184B2 (ja) 持続波超音波信号を使用したタッチレス感知およびジェスチャー認識
CN110377175B (zh) 触控面板上敲击事件的识别方法及系统，及终端触控产品
US8614663B2 (en) Selective motor control classification
Jain et al. Deep neural learning techniques with long short-term memory for gesture recognition
Zhang et al. Deep neural networks: wasd neuronet models, algorithms, and applications
US20190138151A1 (en) Method and system for classifying tap events on touch panel, and touch panel product
US11287903B2 (en) User interaction method based on stylus, system for classifying tap events on stylus, and stylus product
CN115376518B (zh) 一种实时噪声大数据的声纹识别方法、系统、设备和介质
KR102231511B1 (ko) 가상 키보드 제어방법 및 제어장치
Čopič Pucihar et al. Solids on soli: Millimetre-wave radar sensing through materials
TWM595256U (zh) 智能手勢辨識裝置
Guo et al. Mudra: A multi-modal smartwatch interactive system with hand gesture recognition and user identification
Yang et al. An improved computer Interface comprising a recurrent neural network and a natural user Interface
CN114091611A (zh) 设备负载重量获取方法、装置、存储介质及电子设备
CN109753172A (zh) 触控面板敲击事件的分类方法及系统，及触控面板产品
Wu et al. Towards robust tracking with an unreliable motion sensor using machine learning.
Yang et al. Audio–visual perception‐based multimodal HCI
Yaremchuk et al. Small Dynamic Neural Networks for Gesture Classification with The Rulers (a Digital Musical Instrument).
KR102628947B1 (ko) 반응 데이터를 예측하는 시스템 및 그 제어방법
US20240104961A1 (en) System and methods for gesture inference using computer vision
US20240103623A1 (en) Systems and methods for gesture inference using transformations
US20240103628A1 (en) Systems and methods for gesture inference using ml model selection
Zhai et al. Towards practical 3D ultrasound sensing on commercial-off-the-shelf mobile devices