TW201935191A - 使用者與觸控筆的互動方法以及觸控筆產品 - Google Patents

使用者與觸控筆的互動方法以及觸控筆產品 Download PDF

Info

Publication number
TW201935191A
TW201935191A TW107103689A TW107103689A TW201935191A TW 201935191 A TW201935191 A TW 201935191A TW 107103689 A TW107103689 A TW 107103689A TW 107103689 A TW107103689 A TW 107103689A TW 201935191 A TW201935191 A TW 201935191A
Authority
TW
Taiwan
Prior art keywords
stylus
tap
deep neural
neural network
acceleration signal
Prior art date
Application number
TW107103689A
Other languages
English (en)
Other versions
TWI679559B (zh
Inventor
蔡宗華
葉映志
Original Assignee
矽統科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矽統科技股份有限公司 filed Critical 矽統科技股份有限公司
Priority to TW107103689A priority Critical patent/TWI679559B/zh
Priority to US16/262,291 priority patent/US11287903B2/en
Publication of TW201935191A publication Critical patent/TW201935191A/zh
Application granted granted Critical
Publication of TWI679559B publication Critical patent/TWI679559B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本揭示提出一種新穎的方法來操作觸控筆產品，利用慣性量測單元(Inertial Measurement Unit,IMU)之訊號來計算觸控筆產品的傾向角，並且收集手指敲擊觸控筆時所量測到的加速度訊號以訓練深度神經網路作為敲擊分類器，結合傾向角與敲擊分類器可讓使用者透過轉動和敲擊觸控筆產品，而與周邊裝置(如觸控螢幕)進行互動。本揭示並提供一種敲擊分類系統及觸控筆產品。

Description

使用者與觸控筆的互動方法、使用者對觸控筆進 行的敲擊事件的分類系統以及觸控筆產品
本揭示係關於一種人機互動技術，特別有關一種使用者與觸控筆的互動方法、使用者對觸控筆進行的敲擊事件的分類系統以及觸控筆產品。
觸控筆作為一種指標工具，通常與觸控螢幕搭配使用，實現螢幕上顯示之物件的選取功能。由於螢幕解析度的提升以及觸控筆的改進，觸控筆也常用作書寫工具，或作為畫筆使用。另一方面，各種等級的繪圖板或手寫板也需要觸控筆的搭配使用。然而，目前觸控筆的功能仍顯薄弱，因此開發新一代的觸控筆以增加其功能及產品競爭力，已成為重要課題之一。
本發明的目的在於提供一種使用者與觸控筆的互動方法、使用者對觸控筆進行的敲擊事件的分類系統以及觸控筆產品，以提供一種新穎的互動方式。
為達成上述目的，本發明一方面提供一種使用者與觸控筆的互動方法，包含：利用一感測器感測使用者對一觸控筆進行敲擊而生成的各種敲擊事件，以量測出複數個加速度訊號；對每一個加速度訊號進行取樣，針對每一個加速度訊號得出複數個特徵值；將一個加速度訊號的該等特徵值及根據該加速度訊號對應的敲擊事件的類型記錄的分類標記，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
本發明另一方面提供一種使用者對觸控筆進行的敲擊事件的分類系統，包含：一觸控筆，其內設置有一感測器，用以感測使用者對該觸控筆進行敲擊而生成的各種敲擊事件，以量測出複數個加速度訊號；以及一計算機裝置，與該觸控筆耦接，該計算機裝置包含：一處理器，接收該感測器傳來的該等加速度訊號；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：對每一個加速度訊號進行取樣，針對每一個加速度訊號得出複數個特徵值(feature values)；將一個加速度訊號的該等特徵值及根據該加速度訊號對應的敲擊事件的類型 記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
本發明再一方面提供一種觸控筆產品，包含：一感測器，用以對該觸控筆產品進行的一敲擊操作而產生的加速度訊號，並用以透過一融合算法計算該觸控筆產品的傾向角；一控制器，與該感測器耦接，該控制器中佈建有與申請專利範圍第1項中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據申請專利範圍第1項得出的該優化的權重參數組作為一敲擊分類器，並用以將來自該感測器的加速度訊號輸入該敲擊分類器中，以得出一預測的敲擊類型；以及一無線傳輸模組，與該控制器耦接，用以傳送攜載該預測的互動類型及該計算出的傾斜角的無線訊號。
本揭示將感測器及其融合演算法、以及敲擊分類器佈建在觸控筆產品中，以提供新穎的操作方式。在一些實施例中，用戶不需直接或間接接觸觸控螢幕便能透過轉動和敲擊觸控筆產品來執行許多的便利的互動。
10‧‧‧觸控筆
10’‧‧‧觸控筆產品
20、20’‧‧‧感測器
30‧‧‧控制器
40‧‧‧計算機裝置
41‧‧‧處理器
42‧‧‧記憶體
50‧‧‧無線傳輸模組
70‧‧‧螢幕
S31~S36‧‧‧步驟
S38~S41‧‧‧步驟
第1圖顯示使用者手握觸控筆的示意圖。
第2圖顯示根據本揭示實施例實現的一種敲擊事件的分類系統的示意圖。
第3圖顯示根據本揭示實施例實現的一種使用者與觸控筆的互動方法的流程圖。
第4圖顯示本揭示實施例中的深度神經網路的示意圖。
第5圖顯示根據本揭示實施例實現的一種觸控筆產品的示意圖。
第6圖顯示根據本揭示實施例實現的一種使用者與觸控筆的互動方法的流程圖。
第7A圖顯示本揭示實施例中顯示在螢幕上的調整條的示意圖。
第7B圖顯示本揭示實施例中顯示在螢幕上的顏色餅圖的示意圖。
第7C圖顯示本揭示實施例中觸控筆產品的一種座標系統的示意圖。
為使本揭示的目的、技術方案及效果更加清楚、明確，以下參照圖式並舉實施例對本揭示進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本揭示，本揭示說明書 所使用的詞語“實施例”意指用作實例、示例或例證，並不用於限定本揭示。此外，本揭示說明書和所附申請專利範圍中所使用的冠詞「一」一般地可以被解釋為意指「一個或多個」，除非另外指定或從上下文可以清楚確定單數形式。
第1圖顯示使用者手握觸控筆的示意圖。使用者的手部與觸控筆10可以進行互動，例如改變觸控筆10的傾向角和手指敲擊觸控筆10等。本揭示的目的是提供一種新穎的互動方式，讓使用者可以旋轉與敲擊觸控筆10，而與周邊裝置(如觸控螢幕)進行互動。
本揭示採用傳感器融合(sensor fusion)技術，結合經由深度學習(deep learning)得出的敲擊分類器，讓使用者可以藉由改變觸控筆10的傾向角以及敲擊觸控筆10來進行各種操作。傳感器融合技術可以使用六軸或九軸慣性量測單元(Inertial Measurement Unit,IMU)透過融合算法(例如Madgwick’s algorithm或Kalman filter)來計算觸控筆10之傾向角。此外，對使用者敲擊觸控筆10所產生的敲擊事件進行分類學習而得出敲擊分類器。利用此敲擊分類器可以將使用者對觸控筆10的敲擊方式加以分類。
改變傾向角的類型可包含對觸控筆10沿X軸旋轉的翻滾角度(roll angle)，沿Y軸旋轉的俯仰角度(pitch angle)以及對Z軸旋轉的偏擺角度(yaw angle)之至少一者，這裡可以右手定則來決定旋轉角度的正負方向(參見第7C圖)。
敲擊事件的類型例如可取決於使用者手指敲擊觸控筆10的類型或次數，例如一次敲擊、二次敲擊和三次敲擊等。
結合觸控筆的傾向角和敲擊分類技術，可以應用於許多應用情景，例如旋轉觸控筆來改變筆觸之顏色或字體大小，然後用手指敲擊觸控筆進行確定或取消，這可根據不同的應用情境而有不同的配置。所屬技術領域具有通常知識者可以理解，也可將本揭示的發明概念運用在其他應用。當然，互動事件的類型與執行之操作的關係也可由使用者自行定義。
第2圖顯示根據本揭示實施例實現的一種敲擊事件的分類系統的示意圖。該系統包括觸控筆10及與觸控筆10耦接的計算機裝置40。觸控筆10可為一電容式觸控筆，其可改變一觸控面板(未圖式)上的電容而產生觸控操作。計算機裝置40可為具有一定之運算能力的計算器，例如個人電腦、筆記型電腦等。本揭示中，當對使用者與觸控筆10的敲擊事件進行分類時，需要先收集敲擊事件，在此，人為地對觸控筆10作出各種動作，將敲擊事件對應的訊號傳送到計算機裝置40，計算機裝置40採用深度神經網路(deep neural network)進行學習。
如第2圖所示，觸控筆10包含至少一感測器20。感測器20可以為(九軸)IMU，例如三軸加速度計、三軸陀螺儀及三軸磁力計的組合。視應用的不同，感測器20也可以為(三軸)加速度計和(三軸)陀螺儀的組合。感測器20可配置在觸控筆10內的任一位置。
計算機裝置40透過連接埠接收感測器20生成的加速度訊號，將其饋入深度神經網路進行分類學習。人為生成敲擊事件後，也可將每個敲擊事件的類型輸入到計算機裝置40中，進行監督式學習(supervised learning)。如第2圖所示，計算機裝置40包含一處理器41及一記憶體42，處理器41接收感測器20傳來的加速度訊號，記憶體42與處理器41連接，記憶體42包含可由處理器41執行的複數個程式指令，處理器41執行該等程式指令以執行該深度神經網路的相關運算。計算機裝置40也可利用GPU或TPU來執行該深度神經網路的相關運算，以提升運算速度。
第3圖顯示根據本揭示實施例實現的一種使用者與觸控筆的互動方法的流程圖。請配合第2圖參閱第3圖，所述方法包括如下步驟S31至S36，這些步驟對應敲擊分類器的訓練流程。
步驟S31：利用感測器20感測使用者對觸控筆10進行敲擊而生成的各種敲擊事件，以量測出複數個加速度訊號。在此步驟中，人為地與觸控筆10進行互動以產生各種敲擊事件，設置在觸控筆10內的感測器20感測敲擊事件而生成加速度訊號。在本揭示中，感測器20的數量不限於一個，也可以是複數個，感測器20也可以設置在觸控筆10中的任一位置。
於一實施例中，感測器20可以採用九軸IMU來實現。感測器20偵測到的加速度是時間函數，有三個方向分量，可利用傅立葉轉換分別將三個方向分量投影到頻率空間。具體來說，所述方法可進一步包含將每一個加速度訊號從時間分佈轉換 到頻率空間的步驟。
在轉換到頻率空間後，可進一步濾掉低頻的直流成分(DC component)與高頻雜訊，以避免分類結果受到重力加速度以及雜訊的影響。具體來說，所述方法可進一步包含對每一個加速度訊號進行濾波，過濾掉高頻和低頻的部分的步驟。
於另一實施例中，感測器20可以採用三軸加速度計和三軸陀螺儀來實現。三軸加速度計可以量測觸控筆10於三維空間中移動的三個加速度分量，從而得出加速度訊號。
步驟S32：對每一個加速度訊號進行取樣，針對每一個加速度訊號得出複數個特徵值(feature values)。在此步驟中，對感測器20生成的每一個加速度訊號進行取樣，例如在頻率空間中，以一定的頻率間隔進行取樣，得出複數個資料點，這些資料點即為特徵值，可在進行歸一化(normalization)後，作為深度神經網路的訓練資料。
步驟S33：將一個加速度訊號的該等特徵值及根據該加速度訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集。在此步驟中，感測器20量測到的加速度訊號及對應該加速度訊號的敲擊事件的類型作為一筆資料，即一個樣本，複數個樣本構成一樣本集。具體來說，一個樣本包含一個加速度訊號的特徵值及對應該加速度訊號的分類標記。
該樣本集可分成訓練樣本集及測試樣本集，該訓練 樣本集可用來訓練深度神經網路，該測試樣本集用來測試訓練得出的神經網路模型的分類準確度。
步驟S34：將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組(weighting parameters)作為調整參數，輸入到一深度神經網路中，得出一預測的分類標記。步驟S33中的得出的一個樣本中的特徵值自輸入層輸入，通過該深度神經網路輸出預測的分類標記。
第4圖顯示一個深度神經網路的例子，深度神經網路一般可以分為輸入層、輸出層及介於輸入層和輸出層間的學習層，樣本集的每個樣本從輸入層輸入，預測的分類標記從輸出層輸出。一般來說，深度神經網路包含許多學習層，其層數相當多(例如50~100層)，故可實現深度學習。第4圖顯示的深度神經網路僅為示意，本揭示的深度神經網路並不以此為限。
深度神經網路中可包含多個卷積層(convolutional layer)、批次歸一層(batch normalization layer)、池化層(pooling layer)、全連接層(fully connected layer)、線性整流單元(rectified linear unit，ReLu)以及一個Softmax輸出層等等。本揭示可以採用適當數量的層數進行學習，以在預測準確度與運算效率上取得平衡，但需注意的是，層數過多也可能導致準確度下降。深度神經網路可包含多個級聯的子網路，每個子網路與位在其後的各個子網路相連，如DenseNet(Dense Convolutional Network)，藉由特徵再利用(feature re-usage)，以提升預測的準確度。
步驟S35：根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組。該深度神經網路的優化目標是使得分類誤差(loss)最小，優化的方法採用向後傳播算法，也就是說，輸出層得出的預測結果與真實的值進行比較，得到一個誤差值，然後這個誤差值逐層往回傳，從而修正每一層的參數。
步驟S36：將該樣本集的樣本分批(mini-batch)讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。每使用一批子樣本集進行訓練時，就會對該權重值參數組進行一次微調，如此迭代地進行，直到分類誤差趨向於收斂。最後，選取出對於測試集有最高預測準確度的參數組作為優化的模型參數組。
第5圖顯示根據本揭示實施例實現的一種觸控筆產品的示意圖。如第5圖所示，該觸控筆產品10’包含一或多個感測器20’、一控制器30及一無線傳輸模組50。感測器20’設置在觸控筆產品10’內的任一位置。在一個例子中，感測器20’可為慣性測量單元(IMU)，其內建三個方向的加速度計與三軸的陀螺儀，可以感測觸控筆產品10’的加速度與角速度。在另一個例子中，感測器20’可為九軸IMU，包含三軸加速度計、三軸陀螺儀和三軸磁力計。
於一方面，感測器20’用以感測對觸控筆產品10’進行的敲擊操作而產生加速度訊號。另一方面，感測器20’用以透過融合算法(例如Madgwick’s algorithm或Kalman filter)計算該觸控 筆產品的傾向角。控制器30與感測器20’耦接，接收感測器20’產生的加速度訊號及計算出的傾向角。
控制器30用以對使用者敲擊觸控筆產品10’之敲擊事件進行分類預測，以得出一預測的敲擊類型。舉例來說，控制器30中佈建有與上述步驟S34至S36中採用的深度神經網路相同或相應的深度神經網路，且儲存有上述步驟S36得出的優化的權重參數組。該相應的深度神經網路及該優化的權重參數組可作為一敲擊分類器，佈建於觸控筆產品10’中。控制器30將來自感測器20，的加速度訊號輸入該敲擊分類器中，即可得出相應之敲擊事件的分類標記，即得出預測的敲擊類型。如此，該觸控筆產品10’實現了敲擊事件的分類預測。
具體來說，該深度神經網路相應的程式碼以及該優化的權重參數組可寫入控制器30的韌體中，控制器30執行該深度神經網路的算法，以預測出敲擊事件的類型。
無線傳輸模組50，與控制器30連接或耦接，用以接收控制器30預測得出的敲擊事件的類型以及來自感測器20’的觸控筆產品10’的傾向角，並傳送攜載該傾向角與該預測的敲擊類型的無線訊號。舉例來說，無線傳輸模組50可為一藍牙模組，其可與一平板電腦(或筆記型電腦)通訊，透過藍牙訊號將這一資訊傳送給該平板電腦。
請配合第5圖參閱第6圖，所述方法還包括如下步驟S38至S41，這些步驟對應將敲擊分類器佈建到觸控筆產品10’中以 實現各種應用的流程。
步驟S38：將該深度神經網路及該優化的權重參數組作為一敲擊分類器，佈建到一觸控筆產品10’中。在此步驟中，該觸控筆產品10’具有該敲擊分類器，其包含了與上述步驟S34至S36中採用的深度神經網路相同或相應的深度神經網路以及上述步驟S36得出的優化的權重參數組。
步驟S39：接收對該觸控筆產品進行的一敲擊操作所產生的加速度訊號，並將該敲擊操作所產生的加速度訊號輸入該敲擊分類器中，以得出一預測的敲擊類型。在此步驟中，使用者與觸控筆產品10’進行互動而生成敲擊事件時，該觸控筆產品10’中的感測器20’量測加速度訊號，將該加速度訊號輸入該敲擊分類器中，並利用控制器30預測得出的敲擊事件的類型。
步驟S40：利用設置於該觸控筆產品10’中的IMU，透過一融合算法，計算該觸控筆產品10’的傾向角。在此步驟中，IMU可為六軸或九軸IMU，並且可以透過Madgwick’s algorithm或Kalman filter算法計算該觸控筆產品10’的傾向角。
步驟S41：根據該預測的敲擊類型及所計算出的傾向角，執行一預定操作。在此步驟中，觸控筆產品10’中的無線傳輸模組50透過無線訊號將控制器30預測得出的敲擊事件的類型及該傾向角傳送到例如一平板電腦(或筆記型電腦)，安裝於該平板電腦(或筆記型電腦)的軟體便執行可對應預測結果的操作。
在一個例示的應用情境中，使用者對觸控筆產品進 行一次敲擊時，可用來進行確認操作；進行二次敲擊時，可用來進行取消操作。
在另一個例示的應用情境中，使用者對觸控筆產品進行敲擊後，(該平板電腦的)螢幕70顯示一調整條，用以指示該觸控筆產品之筆跡的粗細，如第7A圖所示；當使用者進一步旋轉該觸控筆產品時，該觸控筆產品之筆跡的粗細被變更，調整的過程及結果可顯示在該調整條上。例如，順時針旋轉該觸控筆產品時，筆跡變粗；逆時針旋轉該觸控筆產品時，筆跡變細。最後，使用者再次敲擊觸控筆一次或兩次用來進行確定或取消設定的變更。
在另一個例示的應用情境中，使用者對觸控筆產品進行敲擊後，(該平板電腦的)螢幕70顯示一顏色餅圖，用以指示該觸控筆產品之筆跡的顏色，如第7B圖所示；當使用者進一步旋轉該觸控筆產品時，可以移動指標進而選取筆跡的顏色，調整的過程及結果可顯示在該顏色餅圖上。
在另一個例示應用情境中，使用者對觸控筆產品進行敲擊後，可允許對觸控筆產品的互動操作來控制視窗(例如Microsoft Word的視窗)的捲軸，上下捲動顯示內容。例如，當使用者沿觸控筆產品之X軸(見第7C圖)進行正方向旋轉時，內容將往上捲動，反之，內容將往下捲動。
在另一個例示應用情境中，使用者輕敲一下觸控筆可進入控制模式，此時觸控顯示裝置顯示對應的選單，使用者沿 著第7C圖中所示的X軸轉動觸控筆，即進行翻滾(roll)動作，藉由翻滾角度(roll angle)的變化可以選擇筆跡顏色、調整筆尖粗細、進行文字選取或捲動視窗捲軸。之後，使用者再輕敲一下觸控筆以確認變更，或者可以輕敲兩下來取消變更。上述的調整動作也可以透過改變俯仰角度(pitch angle)來實現，改變俯仰角度也可以對應執行其他類型的操作。
本揭示採用感應器融合技術並結合敲擊分類器，對觸控筆產品進行的各種互動操作，讓使用者在許多情境下可以不用直接或間接去接觸控螢幕即可進行便利的互動操作。
本揭示已用較佳實施例揭露如上，然其並非用以限定本揭示，本揭示所屬技術領域中具有通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (11)

  1. 一種使用者與觸控筆的互動方法，包含：利用一感測器感測使用者對一觸控筆進行敲擊而生成的各種敲擊事件，以量測出複數個加速度訊號；對每一個加速度訊號進行取樣，針對每一個加速度訊號得出複數個特徵值(feature values)；將一個加速度訊號的該等特徵值及根據該加速度訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
  2. 如申請專利範圍第1項所述之方法，更包含：將該深度神經網路及該優化的權重參數組作為一敲擊分類器，佈建到一觸控筆產品中；以及 接收對該觸控筆產品進行的一敲擊操作所產生的加速度訊號，並將該敲擊操作所產生的加速度訊號輸入該敲擊分類器中，以得出一預測的敲擊類型。
  3. 如申請專利範圍第2項所述之方法，更包含：利用設置於該觸控筆產品中的一慣性測量單元(Inertial Measurement Unit,IMU)，透過一融合算法，計算該觸控筆產品的傾向角；其中在得出該預測的互動類型的步驟之後，所述方法更包含：根據該預測的敲擊類型及所計算出的傾向角，執行一預定操作。
  4. 如申請專利範圍第3項所述之方法，其中該預定操作係選自由變更畫筆顏色及變更畫筆粗細所組成的群組。
  5. 如申請專利範圍第3項所述之方法，其中該傾斜角是由繞著X軸的翻滾角度(roll angle)、繞著Y軸的俯仰角度(pitch angle)及繞著Z軸的偏擺角度(yaw angle)之至少一者所構成。
  6. 如申請專利範圍第1項所述之方法，其中該深度神經網路包含多個卷積層(convolutional neural layers)。
  7. 如申請專利範圍第1項所述之方法，其中該敲擊事件的類型包含執行於該觸控筆的敲擊類型或次數。
  8. 一種使用者對觸控筆進行的敲擊事件的分類系統，包含： 一觸控筆，其內設置有一感測器，用以感測使用者對該觸控筆進行敲擊而生成的各種敲擊事件，以量測出複數個加速度訊號；以及一計算機裝置，與該觸控筆耦接，該計算機裝置包含：一處理器，接收該感測器傳來的該等加速度訊號；以及一記憶體，與該處理器連接，該記憶體包含可由該處理器執行的複數個程式指令，該處理器執行該等程式指令以執行一方法，所述方法包含：對每一個加速度訊號進行取樣，針對每一個加速度訊號得出複數個特徵值(feature values)；將一個加速度訊號的該等特徵值及根據該加速度訊號對應的敲擊事件的類型記錄的分類標記(classification label)，作為一個樣本，生成包含複數個樣本的一樣本集；將一個樣本中的該等特徵值作為輸入，自由選取的權重參數組作為調整參數，輸入到一深度神經網路(deep neural network)中，得出一預測的分類標記；根據該預測的分類標記與該樣本中真實的分類標記的誤差，採用向後傳播(backpropagation)的算法，調整該權重參數組；以及將該樣本集的樣本分批讀出，訓練該深度神經網路，對該權重參數組進行微調，以決定出優化的權重參數組。
  9. 如申請專利範圍第8項所述之系統，其中該深度神經網路包含多個卷積層(convolutional layers)。
  10. 如申請專利範圍第8項所述之系統，其中該敲擊事件的類型包含執行於該觸控筆的敲擊類型或次數。
  11. 一種觸控筆產品，包含：一感測器，用以感測對該觸控筆產品進行的一敲擊操作而產生的加速度訊號，並用以透過一融合算法計算該觸控筆產品的傾向角；一控制器，與該感測器耦接，該控制器中佈建有與申請專利範圍第1項中的深度神經網路對應的深度神經網路，該控制器用以將該對應的深度神經網路及根據申請專利範圍第1項得出的該優化的權重參數組作為一敲擊分類器，並用以將來自該感測器的加速度訊號輸入該敲擊分類器中，以得出一預測的敲擊類型；以及一無線傳輸模組，與該控制器耦接，用以傳送攜載該預測的互動類型及該計算出的傾斜角的無線訊號。
TW107103689A 2018-02-01 2018-02-01 使用者與觸控筆的互動方法以及觸控筆產品 TWI679559B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107103689A TWI679559B (zh) 2018-02-01 2018-02-01 使用者與觸控筆的互動方法以及觸控筆產品
US16/262,291 US11287903B2 (en) 2018-02-01 2019-01-30 User interaction method based on stylus, system for classifying tap events on stylus, and stylus product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107103689A TWI679559B (zh) 2018-02-01 2018-02-01 使用者與觸控筆的互動方法以及觸控筆產品

Publications (2)

Publication Number Publication Date
TW201935191A true TW201935191A (zh) 2019-09-01
TWI679559B TWI679559B (zh) 2019-12-11

Family

ID=67391427

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107103689A TWI679559B (zh) 2018-02-01 2018-02-01 使用者與觸控筆的互動方法以及觸控筆產品

Country Status (2)

Country Link
US (1) US11287903B2 (zh)
TW (1) TWI679559B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705607B (zh) * 2019-09-12 2022-10-25 西安交通大学 一种基于循环重标注自助法的行业多标签降噪方法
CN112198996B (zh) * 2020-09-04 2023-08-01 深圳市中视典数字科技有限公司 旋转角度获取方法及装置、计算机可读存储介质
CN115993883A (zh) * 2021-10-18 2023-04-21 荣耀终端有限公司 基于主动笔的交互方法与主动笔装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20122677U1 (de) 2000-06-21 2007-04-05 Argillon Gmbh Piezoelektrischer Biegewandler
CN101872259B (zh) * 2010-06-03 2012-01-25 中国人民解放军第二炮兵工程学院 自动录入书写内容的自然交互笔及笔迹检测方法
US9285983B2 (en) 2010-06-14 2016-03-15 Amx Llc Gesture recognition using neural networks
CN102135823A (zh) 2011-04-28 2011-07-27 华南理工大学 一种智能电子手写笔
US20150035759A1 (en) * 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
TWI512550B (zh) 2014-06-30 2015-12-11 Univ Nat Central A method and a module for identifying a user of a mobile device, and a computer program product
CN105677039B (zh) 2016-02-16 2020-06-09 北京博研智通科技有限公司 一种基于手势检测驾驶状态的方法、装置及可穿戴设备
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations

Also Published As

Publication number Publication date
US11287903B2 (en) 2022-03-29
US20190235642A1 (en) 2019-08-01
TWI679559B (zh) 2019-12-11

Similar Documents

Publication Publication Date Title
TWI654541B (zh) 觸控面板上的敲擊事件的識別方法及系統，以及終端觸控產品
JP2021034021A (ja) 再帰型ニューラルネットワークを用いる姿勢予測
US20130222230A1 (en) Mobile device and method for recognizing external input
TWI679559B (zh) 使用者與觸控筆的互動方法以及觸控筆產品
US9223422B2 (en) Remote controller and display apparatus, control method thereof
US10042438B2 (en) Systems and methods for text entry
US20130120282A1 (en) System and Method for Evaluating Gesture Usability
US20080134078A1 (en) Scrolling method and apparatus
JP2015072534A (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN102902469A (zh) 手势识别方法及触控系统
US8810511B2 (en) Handheld electronic device with motion-controlled cursor
TWI567592B (zh) 手勢辨識方法及穿戴式裝置
CN102216879A (zh) 基于移动感测的输入用户指令的方法和设备
KR101609553B1 (ko) 3차원 동작인식 정보입력 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체
US20140195989A1 (en) Input device, display device and method of controlling thereof
TW201411426A (zh) 電子裝置以及相關之控制方法
CN106249983A (zh) 显示设备、点选设备、点选系统以及它们的控制方法
CN103294226A (zh) 一种虚拟输入装置及方法
TW201537396A (zh) 壓力與動態感測控制的系統與方法
Lin et al. Tracking touched trajectory on capacitive touch panels using an adjustable weighted prediction covariance matrix
US12105884B2 (en) Touchless, gesture-based human interface device
US20210311621A1 (en) Swipe gestures on a virtual keyboard with motion compensation
US9927917B2 (en) Model-based touch event location adjustment
CN103348307B (zh) 用户接口
CN103984407A (zh) 使用运动传感器融合来进行运动识别的方法及装置