TW201504934A - 觸控筆互動方法及應用該方法之可攜式電子裝置 - Google Patents

Abstract

一種觸控筆互動方法，應用於可攜式電子裝置。該方法包括以下步驟：取得即時影像；判斷即時影像中是否出現觸控筆；若即時影像中出現觸控筆，則偵測即時影像中使用者與觸控筆間之互動操作；以及依據互動操作執行一功能指令。

Description

觸控筆互動方法及應用該方法之可攜式電 子裝置

本發明是關於一種觸控筆互動方法，特別是一種以觸控筆對可攜式電子裝置執行互動操作之觸控筆互動方法。本發明還包括應用該方法之可攜式電子裝置。

智慧型手機、平板電腦等可攜式電子裝置已成為現代人必備之輔助工具之一，舉凡工作記事、娛樂休閒、資訊瀏覽等均可利用該些可攜式電子裝置來完成。該些可攜式電子裝置主要是利用觸控方式輸入指令，因此使用者可利用手指或觸控筆，於裝置之觸控面板上執行點擊或滑移等操作加以控制。

目前在部分可攜式電子裝置內配置有觸控筆，以輔助使用者執行對應之手寫輸入。然而，除了在操作需要精確觸控之應用程式之狀況以外(例如繪圖或影像編輯等應用程式)，使用者在大多數時間還是習慣直接以手指進行觸控，使得觸控筆之使用頻率及實用性逐漸降低。但對於該些裝置而言，觸控筆之設置仍有其必要性。因此，如何能有效運用觸控筆，使其能與可攜式電子裝置之間產生更多互動，進而執行各類對應操作，實為一值得研究的課題。

本發明之主要目的係在提供一種以觸控筆對可攜式電子裝置執行互動操作之觸控筆互動方法。

為達到上述之目的，本發明之觸控筆互動方法，應用於可攜式電子裝置。該方法包括以下步驟：取得即時影像；判斷即時影像中是否出現觸控筆；若即時影像中出現觸控筆，則偵測即時影像中使用者與觸控筆間之互動操作；以及依據互動操作執行一功能指令。

本發明還包括應用前述方法之可攜式電子裝置。可攜式電子裝置包括影像擷取模組、影像辨識模組、動作偵測模組及處理模組。影像擷取模組用以取得即時影像；影像辨識模組用以辨識即時影像中是否出現觸控筆；動作偵測模組用以偵測即時影像中使用者與觸控筆間之互動操作；處理模組用以依據互動操作執行功能指令。

藉此設計，應用本發明之觸控筆互動方法之可攜式電子裝置能辨識觸控筆之存在與否，並且藉由偵測使用者與觸控筆間之互動操作，達到控制可攜式電子裝置之功能執行或遠端操作等效果，更增加觸控筆之實用性。

10、10a‧‧‧可攜式電子裝置

11‧‧‧影像擷取模組

12‧‧‧影像辨識模組

13‧‧‧動作偵測模組

14‧‧‧處理模組

15‧‧‧顯示模組

16‧‧‧容置槽

17‧‧‧感應模組

18‧‧‧觸控偵測模組

20‧‧‧觸控筆

21‧‧‧筆尖部位

22‧‧‧筆尾部位

S1~S5、S11~S13‧‧‧步驟

圖1是應用本發明之觸控筆互動方法之可攜式電子裝置之系統方塊圖。

圖2是本發明之觸控筆互動方法之主流程圖。

圖3(a)是本發明之觸控筆互動方法第一實施例於使用者執行互動操作前之示意圖。

圖3(b)是本發明之觸控筆互動方法第一實施例於使用者執行互動操作 後之示意圖。

圖4(a)是本發明之觸控筆互動方法第二實施例於使用者執行互動操作前之示意圖。

圖4(b)是本發明之觸控筆互動方法第二實施例於使用者執行互動操作後之示意圖。

圖5(a)是本發明之觸控筆互動方法第三實施例於使用者執行互動操作中之示意圖。

圖5(b)是本發明之觸控筆互動方法第三實施例於使用者執行互動操作後之示意圖。

圖6是應用本發明之觸控筆互動方法之可攜式電子裝置另一實施例之系統方塊圖。

圖7是本發明之觸控筆互動方法另一實施例之流程圖。

為能讓 貴審查委員更瞭解本發明之技術內容，特舉出數個實施例說明如下。

請先參考圖1是應用本發明之觸控筆互動方法之可攜式電子裝置10之系統方塊圖。本發明之觸控筆互動方法主要應用於可攜式電子裝置10，例如智慧型手機、可攜式電腦等，但本發明不以此為限，亦可應用於其他具有影像擷取功能之其他電子裝置上。

如圖1所示，在本發明之一實施例中，可攜式電子裝置10包括影像擷取模組11、影像辨識模組12、動作偵測模組13、處理模組14及顯示模組15，且處理模組14與其他各模組電性連接。影像擷取模組11用以取得即時影像，在本實施例中，影像擷取模組11可以是一個或多個鏡頭，可選擇性地設置於具有顯示模組15之同一面或/及其相對面；藉由將影像擷取模組11朝向任一方位，來取得對應該方位之即時影像。

影像辨識模組12用以辨識該影像擷取模組11所取得之即時影像中是否出現觸控筆。其中影像辨識模組12儲存有觸控筆之至少一特徵影像，以做為執行影像辨識時之比對基礎。此處所謂之特徵影像可包括觸控筆之外觀或結構特徵之局部影像，例如該特徵影像可以包括觸控筆之筆尖局部影像或筆尾局部影像之其中至少一者，或者觸控筆之特殊標記影像等；該特徵影像也可以是觸控筆之整體影像。在本發明之一實施例中，影像辨識模組12可以僅儲存該裝置專用之單一觸控筆之特徵影像，或是儲存多種不同類型之觸控筆之特徵影像，會依據設計不同來選擇對應專用觸控筆或多種觸控筆之操作使用。

影像辨識模組12藉由影像辨識方式，比對該即時影像中是否存在符合所儲存之任一特徵影像之結構特徵，以判斷即時影像中是否出現該觸控筆。在本實施例中，影像辨識模組12可以是一個應用程式、一個具有影像辨識功能之硬體晶片或二者之結合，但本發明不以此為限。

動作偵測模組13用以捕捉並偵測該即時影像中使用者與觸控筆間之互動操作。在影像擷取模組11持續取得即時影像之狀態下，動作偵測模組13偵測該即時影像，基於觸控筆之所在位置並依據使用者之各種動作，來判斷該使用者是否正在執行與觸控筆間之互動操作。此處互動操作可包括使用者在影像擷取模組11前握持並移動觸控筆之筆尖以形成一移動軌跡，或使用者在影像擷取模組11前對觸控筆執行一手勢動作(例如使用者以手部對觸控筆執行類似按壓按鍵之動作等)。在本實施例中，動作偵測模組13可以是一個應用程式、一個具有動作偵測功能之硬體晶片或二者之結合，但本發明不以此為限。

處理模組14用以依據動作偵測模組13所判定之互動操作來執行對應之功能指令。處理模組14能預先設定不同互動操作所對應之功能指令，因此當偵測模組13偵測到使用者與觸控筆間之互動操作時，處理模組14即可依據前述設定執行該互動操作所對應之功能指令。而各種互動操作所對應之功能指令可以在裝置出廠時即 設定完成，或能依據使用者需求而自行更改。此外，各互動操作所對應之功能指令，也會依據可攜式電子裝置10目前所開啟之應用程式不同而改變。處理模組14可以是中央處理單元，但處理模組14之實施態樣不以此為限，也可以是硬體、軟體、韌體之其中之一或任二者以上之任意結合。

顯示模組15提供顯示及觸控輸入之功能，藉由顯示模組15顯示該作業系統或各程式之使用介面，並且讓使用者可使用觸控筆或手指於顯示模組15上執行觸控輸入。顯示模組15也能用來顯示影像擷取模組11所取得之即時影像。在本發明之一實施例中，顯示模組15可以是一個觸控顯示面板。

請參考圖2是本發明之觸控筆互動方法之主流程圖。須注意的是，以下雖配合圖1所示之可攜式電子裝置10為例說明本發明之觸控筆互動方法，但本發明並不以此為限，任何具有類似架構或功能之可攜式電子裝置皆可應用本發明之觸控筆互動方法。如圖2所示，本發明之觸控筆互動方法包括步驟S1至步驟S4。以下將詳細說明該方法之各個步驟。

步驟S1：取得即時影像。

當使用者欲使用可攜式電子裝置10執行本發明之觸控筆互動方法時，首先利用影像擷取模組11取得即時影像。此處影像擷取模組11可藉由使用者手動操作或自動執行影像擷取功能，以取得位於鏡頭前方之動態即時影像。有關以影像擷取模組11自動執行影像擷取功能之實施例，將另於本發明之後述內容中說明。

步驟S2：判斷即時影像中是否出現觸控筆。

在影像擷取模組11取得即時影像後，影像辨識模組12會開始辨識動態改變之即時影像中是否出現觸控筆。影像辨識模組12儲存有觸控筆之特徵影像資料，因此藉由影像辨識及比對，可確認在即時影像中是否存在具有觸控筆之結構特徵之目標影像，以判斷即時影像中是否出現觸控筆。舉例來說，假設影像辨識模組12 儲存有觸控筆之筆尖局部影像，當影像擷取模組11取得即時影像後，影像辨識模組12會依據該觸控筆之筆尖局部影像，逐一比對該即時影像中各物件之影像；當比對出即時影像中存在相似該筆尖局部影像之目標影像時，則判斷即時影像中已出現觸控筆。而若判斷即時影像中出現觸控筆，則續行步驟S3；若判斷即時影像中並未出現觸控筆，則持續執行步驟S2。

步驟S3：偵測即時影像中使用者與觸控筆間之互動操作。

若於前述步驟S2判斷即時影像中出現觸控筆，則動作偵測模組13開始鎖定該即時影像中觸控筆之所在位置，以偵測並捕捉使用者與觸控筆間之互動操作。一般而言，不論使用者利用觸控筆執行任何操作(例如繪圖或書寫等)，或是與觸控筆本體之間進行互動，使用者都必須以手握持觸控筆。因此，動作偵測模組13主要會鎖定該即時影像中觸控筆之所在位置，並偵測使用者手部與觸控筆之間所產生之互動操作。若動作偵測模組13偵測到使用者與觸控筆間之互動操作，則續行步驟S4；若動作偵測模組13並未偵測到使用者與觸控筆間之互動操作，則持續執行步驟S3。

步驟S4：依據互動操作執行功能指令。

於前述步驟S3中若已偵測到該互動操作，處理模組14會依據該互動操作，選擇對應之功能指令並予以執行，以便使用者達到藉由觸控筆控制可攜式電子裝置10之目的。

以下舉出數個實施例說明本發明之觸控筆互動方法。請一併參考圖3(a)至圖3(b)。圖3(a)是本發明之觸控筆互動方法第一實施例於使用者執行互動操作前之示意圖；圖3(b)是本發明之觸控筆互動方法第一實施例於使用者執行互動操作後之示意圖。需注意的是，在圖3(a)及圖3(b)中，於可攜式電子裝置10之顯示模組15雖然呈現使用者全身影像，但為了方便表示使用者手部30與觸控筆20之間的互動操作，於圖面右側省略使用者 全身影像，僅對應顯示使用者手部與觸控筆20，特此說明。

如圖1及圖3(a)所示，假設使用者欲利用可攜式電子裝置10執行拍照功能，使用者需要自行移動至可攜式電子裝置10之影像擷取模組11之取景範圍內(例如移動至與顯示模組15同一側之鏡頭前)。當影像擷取模組11開始取得即時影像後，位於取景範圍內之使用者會出現在即時影像中，並藉由顯示模組15予以顯示。接著，影像辨識模組12會自該即時影像中尋找觸控筆之存在。此時，假設使用者以手部30握持觸控筆20，影像辨識模組12便會依據已儲存之觸控筆20之特徵影像(例如筆尖局部影像或筆尾局部影像)，與即時影像中觸控筆20外露之筆尖部位21或筆尾部位22相互比對。在比對後判斷觸控筆20已出現於該即時影像中之後，動作偵測模組13就可以鎖定觸控筆20所在位置，並且開始偵測使用者與觸控筆20之間的互動。

如圖1及圖3(b)所示，假設使用者以單手握持觸控筆20，然後以姆指31對觸控筆20之筆尾部位22執行類似按壓之動作。此時動作偵測模組13在偵測到前述互動操作後，會通知處理模組14進行處理。處理模組14依據裝置之設定，執行對應此互動操作之功能指令。舉例來說，假設此處以手指按壓觸控筆20之筆尾部位22之動作代表執行拍照指令，因此處理模組14在接到動作偵測模組13之通知後，會指示相關元件(例如前述影像擷取模組11等)執行拍照功能。據此，使用者藉由其手部30與觸控筆20之互動，即可控制可攜式電子裝置10執行遙控拍照功能，以取代一般拍照用之遙控器。

請一併參考圖4(a)至圖4(b)。圖4(a)是本發明之觸控筆互動方法第二實施例於使用者執行互動操作前之示意圖；圖4(b)是本發明之觸控筆互動方法第二實施例於使用者執行互動操作後之示意圖。

如圖1及圖4(a)所示，假設使用者欲利用可攜式電子裝置10執行記事功能，使用者可將手部30移動至可攜式電子 裝置10之影像擷取模組11之取景範圍內(例如移動至與顯示模組15不同側之鏡頭前)。當影像擷取模組11開始取得即時影像後，位於取景範圍內之使用者之手部30即會出現在即時影像中，並藉由顯示模組15予以顯示。在本實施例中，假設使用者以手部30握持觸控筆20，且即時影像中顯示觸控筆20外露之筆尖部位21；此時影像辨識模組12會依據已儲存之觸控筆20之筆尖局部影像進行比對，進而判斷觸控筆20已出現於該即時影像中。其後動作偵測模組13會鎖定觸控筆20所在位置，並且開始偵測使用者與觸控筆20之間的互動。

如圖1及圖4(b)所示，假設使用者以手部30握持並移動觸控筆20，以利用觸控筆20之筆尖部位21執行文字書寫動作；隨著筆尖部位21之移動會形成對應之移動軌跡。此時動作偵測模組13會偵測觸控筆20之筆尖部位21所形成之移動軌跡，並通知處理模組14進行處理。處理模組14依據此互動操作，將該些移動軌跡轉換為繪圖指令，並指示相關元件(例如影像處理模組或繪圖應用程式等)執行繪圖功能，以對應即時顯示該些移動軌跡，如圖4(b)中顯示模組15所顯示之文字部分A。據此，使用者不需要直接接觸顯示模組15，只要在影像擷取模組11前以觸控筆20執行書寫動作，即可於顯示模組15對應顯示手繪文字，方便使用者進行記事等操作。

請一併參考圖5(a)至圖5(b)。圖5(a)是本發明之觸控筆互動方法第三實施例於使用者執行互動操作中之示意圖；圖5(b)是本發明之觸控筆互動方法第三實施例於使用者執行互動操作後之示意圖。

本實施例為結合前述第一實施例及第二實施例之變化型式。如圖1及圖5(a)所示，在本實施例中，假設使用者同樣欲利用可攜式電子裝置10執行拍照功能，使用者首先移動至可攜式電子裝置10之影像擷取模組11之取景範圍內。當影像擷取模組11開始取得即時影像後，影像辨識模組12同樣會依據已儲 存之觸控筆20之筆尖局部影像與該即時影像中之各物件進行比對，進而判斷觸控筆20已出現於該即時影像中。其後動作偵測模組13會鎖定觸控筆20所在位置，並且開始偵測使用者與觸控筆20之間的互動。

此時假設位於影像擷取模組11前方之使用者以手部30握持並移動觸控筆20之筆尖部位21，進行圖樣之繪製動作；隨著觸控筆20之筆尖部位21移動，會形成對應之繪圖移動軌跡。動作偵測模組13在偵測到該些移動軌跡後，通知處理模組14進行處理。處理模組14依據此互動操作，將該些移動軌跡轉換為繪圖指令，並指示相關元件(例如影像處理模組或繪圖應用程式等)執行對應繪圖功能，以藉由顯示模組15對應即時顯示該些移動軌跡，形成如圖5(a)之顯示模組15上方所示之不同繪製圖樣B。

最後，當使用者完成所有繪圖操作後，只要執行如同前述第一實施例中與觸控筆20之互動操作，即可命令可攜式電子裝置10執行拍照指令；此時拍攝所取得之影像中即可包括先前所繪製之所有圖樣，如圖5(b)所示。據此，使用者只要在影像擷取模組11前以觸控筆20執行繪圖動作，即可於顯示模組15即時顯示對應圖樣，以做為後續拍照等影像擷取操作時，針對所取得影像之背景裝飾；而在執行拍照指令後，該些繪製圖樣B即結合於所取得之影像中，增添使用者拍照時之趣味性及變化性。

請參考圖6是應用本發明之觸控筆互動方法之可攜式電子裝置1a另一實施例之系統方塊圖。

如圖6所示，在本發明之一實施例中，可攜式電子裝置10a除了前述各個模組之外，更包括容置槽16、感應模組17及觸控偵測模組18。容置槽16提供觸控筆20之收納功能，當無需使用觸控筆20時，使用者可將觸控筆20直接插設於容置槽16內，以便於攜帶；而在有使用需求時，再將觸控筆20自容置槽 16內取出。容置槽16中可設置連結元件或是磁性元件，觸控筆20可具有對應的連結元件及磁性元件，以於收納觸控筆20時可固定觸控筆20。

感應模組17設置於容置槽16內，並與處理模組14電性連接。感應模組17用以判斷收納於容置槽16內之觸控筆20是否自容置槽16內取出或插設於容置槽16內。在本實施例中，感應模組17可以是一個光學感應器或壓力感應器等，但感應模組17之實施態樣不以此為限。

觸控偵測模組18電性連接處理模組14及顯示模組15，觸控偵測模組18用以偵測對顯示模組15執行之觸控輸入操作。在本發明中，觸控偵測模組18具有一時間設定，能週期性地判斷在設定時間內是否偵測到觸控筆20之輸入操作；此設定時間至少為30秒以上，但其時間長短會依據不同設計來決定，本發明不以此為限。

而因應執行觸控輸入操作之手段不同(例如以手指或觸控筆20執行觸控輸入操作)，觸控偵測模組18可依據該觸控輸入操作所產生之接觸面積或軌跡寬度，或觸控筆20是否自容置槽16內取出，來判斷該觸控輸入操作是否為使用觸控筆20執行之輸入操作。

請參考圖7是本發明之觸控筆互動方法另一實施例之流程圖。須注意的是，以下雖配合圖6所示之可攜式電子裝置10a為例說明本發明之觸控筆互動方法，但本發明並不以此為限，任何具有類似架構或功能之可攜式電子裝置皆可應用本發明之觸控筆互動方法。如圖7所示，在本實施例中，本發明之觸控筆互動方法於步驟S1更包括步驟S11至步驟S14。以下將詳細說明該方法之各個步驟。

步驟S11：判斷觸控筆20是否自可攜式電子裝置10a內取出。

在本實施例中，可攜式電子裝置10a可自動判斷開 始取得即時影像之時機。由於使用者在不使用觸控筆之情況下，一般會將觸控筆20收納於容置槽16內，因此藉由感應模組17偵測觸控筆20插設於容置槽16內或已自容置槽16內取出，來輔助判斷使用者是否想要使用觸控筆20。若感應模組17未偵測到容置槽16內有觸控筆20之存在，表示使用者已取出觸控筆使用，因此將續行步驟S12；若感應模組17判斷觸控筆20仍插設於容置槽16內，表示使用者目前並未使用觸控筆20，因此尚無取得即時影像之需求。感應模組17則持續執行步驟S11對觸控筆20之偵測。

步驟S12：判斷是否於設定時間內未偵測到觸控筆20之輸入操作。

於前述步驟S11判斷觸控筆20已自可攜式電子裝置10a內取出後，進一步藉由觸控偵測模組18偵測觸控筆20之使用狀態。由於使用者取出觸控筆20後，可能只是單純利用觸控筆執行觸控輸入，並非想要應用本發明之觸控筆互動方法控制可攜式電子裝置10a，因此需要藉由觸控偵測模組18偵測觸控筆20是否正在執行觸控輸入來加以判斷。若是觸控偵測模組18於設定時間內未偵測到觸控筆20之輸入操作，並且觸控筆20也未插回容置槽20內，表示使用者可能想要應用本發明之觸控筆互動方法，此時便續行步驟S13：若是觸控偵測模組18於該設定時間內偵測到觸控筆20之輸入操作，表示使用者是以觸控筆20執行觸控輸入，因此持續執行S12，以週期性地偵測觸控筆20之使用狀態。

步驟S13：開始取得即時影像。

若於前述步驟S12中判斷於設定時間內未偵測到觸控筆20之輸入操作，並且觸控筆20也未插回容置槽16內，則觸控偵測模組18可通知處理模組14，此時處理模組14即可指示影像擷取模組11執行影像擷取功能，達到自動取得即時影像之效果。

藉此設計，使用者可利用與觸控筆之間的互動操 作，遠端控制可攜式電子裝置執行對應功能指令，提供使用者更便利且多變之使用體驗。同時也增加了觸控筆之功能與實用性。

綜上所陳，本發明無論就目的、手段及功效，在在均顯示其迥異於習知技術之特徵。惟須注意，上述實施例僅為例示性說明本發明之原理及其功效，而非用於限制本發明之範圍。任何熟於此項技藝之人士均可在不違背本發明之技術原理及精神下，對實施例作修改與變化。本發明之權利保護範圍應如後述之申請專利範圍所述。

Claims (10)

1. 一種觸控筆互動方法，應用於一可攜式電子裝置，該方法包括以下步驟：取得一即時影像；判斷該即時影像中是否出現一觸控筆；若該即時影像中出現該觸控筆，則偵測該即時影像中一使用者與該觸控筆間之一互動操作；以及依據該互動操作執行一功能指令。
2. 如申請專利範圍第1項所述之方法，其中藉由一影像辨識方法比對該即時影像中是否存在具有該觸控筆之結構特徵之一目標影像，以判斷該即時影像中是否出現該觸控筆。
3. 如申請專利範圍第2項所述之方法，其中該目標影像包括該觸控筆之一筆尖局部影像或一筆尾局部影像之其中至少一者。
4. 如申請專利範圍第1項所述之方法，其中該互動操作包括該使用者移動該觸控筆之一筆尖部位以形成一移動軌跡或該使用者對該觸控筆執行一手勢動作。
5. 如申請專利範圍第1項所述之方法，其中該功能指令包括一影像擷取操作或一繪圖操作。
6. 一種可攜式電子裝置，包括：一影像擷取模組，用以取得一即時影像；一影像辨識模組，用以辨識該即時影像中是否出現一觸控筆；一動作偵測模組，用以偵測該即時影像中一使用者與該觸控筆間之一互動操作；以及一處理模組，用以依據該互動操作執行一功能指令。
7. 如申請專利範圍第6項所述之可攜式電子裝置，其中該影像辨識模組儲存有該觸控筆之至少一特徵影像，藉由比對該即時影像中是否存在符合任一該特徵影像之一目標影像，以判斷該即時影像中是否出現該觸控筆。
8. 如申請專利範圍第7項所述之可攜式電子裝置，其中該目標影像包括該觸控筆之一筆尖局部影像或一筆尾局部影像之其中至少一者。
9. 如申請專利範圍第6項所述之可攜式電子裝置，其中該互動操作包括該使用者移動該觸控筆之一筆尖部位以形成一移動軌跡或該使用者對該觸控筆執行一手勢動作。
10. 如申請專利範圍第6項所述之可攜式電子裝置，其中該功能指令包括一影像擷取操作或一繪圖操作。