TWI431516B - 觸覺回饋方法及其電子裝置 - Google Patents

Description

觸覺回饋方法及其電子裝置

本發明是有關於一種觸覺回饋方法及其電子裝置，且特別是有關於一種用以回應觸碰輸入之觸覺回饋方法及其電子裝置。

隨著觸控感應技術的蓬勃發展，越來越多的電子裝置開始使用觸控式顯示螢幕。觸控式顯示螢幕能提供視覺回饋，並供使用者以觸碰輸入的方式來操作電子裝置。

相較於一般使用者介面如電子裝置的鍵盤或按鍵，觸控式顯示螢幕的觸覺回饋較差。更詳細地說，當使用者進行觸碰輸入時，指尖或觸控筆比較無法感受到接觸的感覺，這會造成使用者難以得知是否有正確地完成碰觸輸入、亦不曉得觸碰了多少次。因此，使用者需仰賴觸控式顯示螢幕所提供的視覺回饋，來得知觸碰的結果。然而，此種作法會將會造成使用者在視覺上的負擔，並降低電子裝置的操作方便性。

本發明係有關於一種電子裝置，能提供與影像內容有關的觸感回饋，藉以提高電子裝置的操作方便性。

根據本發明之一方面，提出一種觸覺回饋方法，包括多個步驟。取得一原始影像。轉換原始影像為一二值影像。二值影像包含一第一灰值及一第二灰值。轉換原始影像為一灰階影像。灰階影像至少包含一第三灰值。第三灰值介於第一灰值與第二灰值之間。依據二值影像與灰階影像，產生一索引圖。索引圖包含複數個代表不同觸覺回饋強度的索引值。當原始影像被顯示於一顯示面板時，偵測一觸控面板上之一觸碰輸入。回應於所偵測之觸碰輸入，依據索引圖驅動一觸覺作動單元以產生觸覺回饋。

根據本發明之一方面，提出一種電子裝置，用於觸覺回饋。電子裝置包括處理模組、顯示面板、觸控面板、及觸控面板。顯示面板連接至處理模組。觸控面板連接至該處理模組，用以覆蓋於顯示面板上。觸覺作動單元連接至處理模組。處理模組用以取得一原始影像。處理模組另轉換原始影像為一二值影像。二值影像包含一第一灰值及一第二灰值。處理模組更轉換原始影像為一灰階影像。灰階影像至少包含一第三灰值。第三灰值介於第一灰值與第二灰值之間。處理模組更依據二值影像與灰階影像產生一索引圖。索引圖包含複數個代表不同觸覺回饋強度的索引值。處理模組更用以當原始影像被顯示於顯示面板時偵測觸控面板上之一觸碰輸入。處理模組更用以回應於所偵測之觸碰輸入，依據索引圖驅動觸覺作動單元以產生觸覺回饋。

為了對本發明之上述及其他方面有更佳的瞭解，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

以下揭露觸覺回饋方法及其電子裝置之實施例。在一些實施例中，能提供與影像內容有關的觸感回饋，藉以提高電子裝置的操作方便性。觸覺回饋的提供能降低使用者對於視覺的仰賴，並增加使用者經驗。而且，還能改善於單純的點觸操作中會有觸感回饋不佳的問題，而提高電子裝置的操作方便性。

請參照第1圖，其繪示依照本發明一實施例之電子裝置所執行之觸覺回饋方法之流程圖。此控制方法包括多個步驟。於步驟S110中，取得一張原始影像。於步驟S120中，轉換原始影像為二值影像。二值影像包含第一灰值及第二灰值。於步驟S130中，轉換原始影像為灰階影像。灰階影像至少包含第三灰值，且第三灰值介於第一灰值與第二灰值之間。於步驟S140中，依據二值影像與灰階影像，產生索引圖。索引圖包含複數個代表不同觸覺回饋強度的索引值。於步驟S150中，當原始影像被顯示於顯示面板時，偵測觸控面板上之觸碰輸入。於步驟S160中，回應於所偵測之觸碰輸入，依據索引圖驅動觸覺作動單元以產生觸覺回饋。如此，能提供與影像內容有關的觸感回饋，藉以提高電子裝置的操作方便性。

請參照第2圖，其繪示依照本發明一實施例之電子裝置之方塊圖。於一實施例中，電子裝置200包括一處理模組210、一顯示面板220、一觸控面板230及一觸覺作動單元240。處理模組210用以進行各種運算程序。處理模組210例如是微處理晶片。顯示面板220用以顯示各種資訊。觸控面板230例如是電阻式、電容式、光學式、音波式要或其他形式的觸控面板。觸控面板230覆蓋於顯示面板220上，以使顯示區域與觸控區域相對應。觸覺作動單元240用以產生觸覺回饋，如虛擬觸覺(Haptics)。處理模組210連接至顯示面板220、觸控面板230及觸覺作動單元240。處理模組210用以偵測觸控面板230所受之觸碰輸入而對應地控制顯示面板220的顯示資訊，以提供視覺回饋。處理模組210更用以偵測觸控面板230所受之觸碰輸入而對應地驅動觸覺作動單元240，以產生觸覺回饋。

請參照第3圖，其繪示第2圖之電子裝置之處理模組之一例之示意圖。於此例中，處理模組210的各單元211~218可實現為軟體如執行序或程式產品、或實現為硬體如數位/類比邏輯電路所實現、或實現為韌體與配合其之驅動程式。電子裝置200例如是透過處理模組210的各個單元來執行本發明之觸覺回饋方法，茲進一步說明如下。

於步驟S110中，取得原始影像。舉例來說，可由原始影像擷取單元211取得一張原始影像Im1。原始影像Im1例如是一張RGB影像，其包含三原色的影像資料。然本發明亦不限於此。於其他例子中，原始影像Im1可包含由其他色彩空間所定義的影像資料。

於一些實施例中，原始影像Im1例如是影像擷取單元211從記憶體的圖庫來取得。於其他實施例中，原始影像Im1例如是由原始影像擷取單元211從鏡頭與感測元件來取得。感測元件例如是基於電荷耦合元件(Charge Couple Device,CCD)或基於互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)。然原始影像的來源並不在此限且有更多的實施態樣。

於步驟S120中，轉換原始影像為二值影像。舉例來說，可由二值影像產生單元212轉換原始影像Im1為一張二值影像Im2。於此例中，二值影像Im2包含兩種灰值，如第一灰值與第二灰值。兩灰值例如但不受限地可分別代表影像的最大灰值與最小灰值。

於一些實施例中，二值影像Im2可依據一閥值(或稱門檻值)而被產生。舉例來說，二值影像Im2的產生可仰賴二值影像產生單元212利用演算法找出適合的閥值，並依據該閥值將原始影像Im1的灰值分類成兩種灰值。若原始影像Im1的某一灰值大於閥值，則該灰值會被調整為最大灰值；若原始影像Im1的某一灰值小於閥值，則該灰值會被調整為最小灰值，反之亦可。

閥值可用來進行影像分割，而將影像區分成前景(如主要物體)與背景(如其它物體)。於實作中，可針對原始影像Im1進行灰值的統計與分類，以得到一幅稱為直方圖的灰階統計圖。之後，可根據直方圖中像素灰階的分佈情況，以得知原始影像Im1的灰階分布特性，並作為分割的參考。

閥值的決定方式有多種實施方式。於一些實施例中，可透過觀察原始影像Im1之直方圖的波峰及波谷位置，以人工的方式來選取閥值。於另一些實施例中，可利用演算法來自動找出合適的閥值。自動閥值的取得方式，可根據物體之亮度特徵、尺寸、所佔之影像面積、比率、或物體種類之多寡推導而來。於實作中，自動尋找閥值的演算法例如但不受限地是百分比法(P-Tile Method)、模式法(Mode Method)、平均灰階值法(Mean-Value Method)、或具有通常知識者可在參照上述說明後可推演而得的其他演算法。

於步驟S130中，轉換原始影像為灰階影像。舉例來說，可由灰階影像產生單元213轉換原始影像Im1為一張灰階影像Im3。灰階影像Im3至少包含一種介於二值影像Im2之兩灰值之間的第三灰值。

於一些實施例中，灰階影像Im3例如是原始影像Im1中的亮度(luminance)資訊。舉例來說，針對原始影像Im1的一個像素，亮度值可從該像素所對應的三種顏色的影像資料轉換而來。亮度值例如但不受限是三種顏色的影像資料的均值、或權重總合。然本發明亦不限於此，於其他實施例中，灰階影像Im3例如是原始影像Im1中的Y成份、或其他能表示出原始影像Im1之細部特徵的影像內容。

灰階影像Im3的使用可產生多樣性的、不同程度的觸覺回饋。由於影像經過二值化處理後，中間過渡的灰色資訊已不存在，因此，可藉由灰階影像來提供過渡的區域數值，作為觸覺回饋強度的參考。

於步驟S140中，依據二值影像與灰階影像，產生索引圖。舉例來說，可由觸覺定向單元214與灰階處理單元215分別對二值影像Im2與灰階影像Im3作進一步的處理，再由索引圖產生單元216產生一張索引圖Im4。索引圖Im4包含多種索引值，其代表不同的觸覺回饋強度。

於一些實施例中，二值影像Im2之灰值係選擇性地被反轉。舉例來說，可由觸覺定向單元214選擇性地將二值影像Im2之第一灰值與第二灰值相互對調。

選擇性地反轉二值影像之灰值可使影像中的主體對應至高強度的觸覺回饋。假設高灰值是用來產生高強度的觸覺回饋，此時，若主體的原灰值是屬於高灰值，則不進行灰值反轉；若主體的原灰值是屬於低灰值，則進行反轉。如此，便能使影像中的主體具有高灰值，而對應至高強度的觸覺回饋。

主體的正確識別也是很重要的。於一些實施例中，主體的識別可透過二值影像中的兩種灰值的數量來決定，其原因在於主體相較於背景在影像中所佔的面積通常較小，故數量較少。當然，主體的識別也可以其他方式來實現。

茲以一例說明如何選擇性地反轉二值影像Im2之灰值。請參照第4圖，其繪示第1圖之步驟S140之部分細部過程之一例之流程圖。於步驟S141中，觸覺定向單元214計算二值影像Im2中第一灰值的數量與第二灰值的數量。接著，於步驟S142中，觸覺定向單元214判斷第一灰值的數量是否大於第二灰值的數量。之後，觸覺定向單元214依據判斷的結果，決定是否反轉二值影像之灰值。若第一灰值的數被判定大於第二灰值的數量，則如步驟S143a所示，觸覺定向單元214反轉二值影像的灰值；若第一灰值被判定不大於第二灰值的數量，則如步驟S143b所示，觸覺定向單元214保持二值影像的灰值。

茲以一例說明如何處理灰階影像Im3的灰值。請參照第5圖，其繪示第1圖之步驟S140之另一部分細部過程之一例之流程圖。於步驟S144中，灰階處理單元215計算二值影像Im2中第一灰值的數量與第二灰值的數量。接著，於步驟S145中，灰階處理單元215判斷第一灰值的數量是否大於第二灰值的數量。若是，則進入步驟S146a，灰階處理單元215將灰階影像Im3的灰值除半；若否，則進入步驟S146b，灰階處理單元215將灰階影像Im3的灰值反轉並除半。

茲以一例說明如何依據二值影像與灰階影像產生索引圖Im4。請參照第6圖，其繪示第1圖之步驟S140之另一部分細部過程之一例之流程圖。於步驟S147a中，索引圖產生單元216接收步驟S143a與S146a的結果，以合成反轉後之二值影像Im2的灰值與處理後之灰階影像Im3的灰值。於步驟S147b中，索引圖產生單元216接收步驟S143b與S146b的結果，以合成未經反轉之二值影像Im2的灰值與處理後之灰階影像Im3的灰值。於步驟S148中，索引圖產生單元216判斷合成後的灰值是否大於最高灰值。若是，則進入步驟S149a，索引圖產生單元216將合成後的灰值限定在最高灰值；若否，則進入步驟S149b，索引圖產生單元216保持合成後的灰值。故知，索引圖Im4中一個索引值係藉由合併二值影像Im2中一個灰值與灰階影像Im3中一個對應的灰值而產生。

於步驟S150中，當原始影像被顯示於顯示面板時，偵測觸控面板上之觸碰輸入。舉例來說，可由觸覺強度處理單元217依據觸碰輸入之座標P(x,y)取得索引圖Im4中相對應之一索引值KS，再由數值轉換單元218轉換該索引值KS為觸覺作動單元240的一強度變數SV。

於一實施例中，索引值KS與強度變數SV之間的轉換，例如是依照索引值KS與最高灰值之間的比例，再乘上觸覺作動單元240的最大強度，來產生強度變數SV，其關係式例如是SV=(KS/GH)×TS，其中，GH表示最高灰值，如255；TS代表觸覺作動單元240的最大強度。此種作法可視為是線性式的轉換，然本發明亦不限於此。實作中也可使用非線性式或其他方式來將索引值KS轉換為強度變數SV。

於步驟S160中，回應於所偵測之觸碰輸入，依據索引圖驅動觸覺作動單元以產生觸覺回饋。舉例來說，可由數值轉換單元218將上述之強度變數SV傳送至觸覺作動單元240，從而驅動觸覺作動單元240而產生觸覺回饋。

於一些實施例中，觸覺作動單元240例如是壓電式的震動器或馬達震動器，可用來產生基於壓電或振動的觸覺回饋。然本發明亦不限於此，觸覺回饋也可以依據其他形式之觸覺作動單元而有不同的實施態樣。

請參照第7圖，其繪示原始影像之一例之示意圖。如第7圖所示，於此例中，原始影像Im1的主體為一仙人掌。經由二值影像及灰階影像的合成後，所產生的索引圖Im4的分布狀態會相關於原始影像Im1的灰階，且主體會對應至較強的觸覺回饋。有關座標A1、A2、A3，係假設座標A1位在主體且其灰值係對應至最強的觸覺回饋，而座標A2位在主體且其灰值係對應至次強的觸覺回饋，而座標A3位在背景且其灰值係對應至最弱的觸覺回饋。如此，便能提供與影像內容有關的不同程度的觸感回饋。

本發明上述實施例之觸覺回饋方法及其電子裝置，將影像中的前景與背景透過閥值，進行二值化運算，來決定主要產生觸覺回饋的主體區域，再結合影像灰階數值，來計算觸覺回饋的強度。如此，能提供與影像內容有關的觸覺回饋，藉以提高電子裝置的操作方便性。觸覺回饋的提供能降低使用者對於視覺的仰賴，並增加使用者經驗。而且，還能改善於單純的點觸操作中會有觸感回饋不佳的問題，而提高電子裝置的操作方便性。

綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

210．．．處理模組

211．．．原始影像擷取單元

212．．．二值影像產生單元

213．．．灰階影像產生單元

214．．．觸覺定向單元

215．．．灰階處理單元

216．．．索引圖產生單元

217．．．觸覺強度處理單元

218．．．數值轉換單元

220．．．顯示面板

230．．．觸控面板

240．．．觸覺作動單元

Im1．．．原始影像

Im2．．．二值影像

Im3．．．灰階影像

Im4．．．索引圖

KS．．．索引值

P(x,y)、A1~A3．．．座標

SV．．．強度變數

S110~S160．．．流程步驟

第1圖繪示依照本發明一實施例之電子裝置所執行之觸覺回饋方法之流程圖。

第2圖繪示依照本發明一實施例之電子裝置之方塊圖。

第3圖繪示第2圖之電子裝置之處理模組之一例之示意圖。

第4圖繪示第1圖之步驟S140之部分細部過程之一例之流程圖。

第5圖繪示第1圖之步驟S140之另一部分細部過程之一例之流程圖。

第6圖繪示第1圖之步驟S140之另一部分細部過程之一例之流程圖。

第7圖繪示原始影像之一例之示意圖。

S110~S160．．．流程步驟

Claims (14)

1. 一種觸覺回饋方法，包括：取得一原始影像；轉換該原始影像為一二值影像，該二值影像包含一第一灰值及一第二灰值；轉換該原始影像為一灰階影像，該灰階影像至少包含一第三灰值，該第三灰值介於該第一灰值與該第二灰值之間；依據該二值影像與該灰階影像，產生一索引圖，該索引圖包含複數個代表不同觸覺回饋強度的索引值；當該原始影像被顯示於一顯示面板時，偵測一觸控面板上之一觸碰輸入；以及回應於所偵測之該觸碰輸入，依據該索引圖驅動一觸覺作動單元以產生觸覺回饋。
2. 如申請專利範圍第1項所述之觸覺回饋方法，其中，該二值影像係依據一閥值而被產生。
3. 如申請專利範圍第1項所述之觸覺回饋方法，其中，在產生該索引圖之步驟前，該方法更包括：選擇性地反轉該二值影像之灰值。
4. 如申請專利範圍第3項所述之觸覺回饋方法，其中，選擇性地反轉該二值影像之灰值的步驟包括：計算該二值影像中該第一灰值的數量與該第二灰值的數量；以及判斷該第一灰值的數量是否大於該第二灰值的數量；以及依據判斷的結果，決定是否反轉該二值影像之灰值。
5. 如申請專利範圍第1項所述之觸覺回饋方法，其中，該索引圖中一個索引值係藉由合併該二值影像中一個灰值與該灰階影像中一個對應的灰值而產生。
6. 如申請專利範圍第1項所述之觸覺回饋方法，其中，驅動該觸覺作動單元之步驟包括：依據該觸碰輸入之座標取得該索引圖中相對應之一索引值，並依據該索引值驅動該觸覺作動單元。
7. 如申請專利範圍第1項所述之觸覺回饋方法，其中，該觸覺作動單元係產生基於壓電或振動的觸覺回饋。
8. 一種電子裝置，用於觸覺回饋，該電子裝置包括：一處理模組；一顯示面板，連接至該處理模組；一觸控面板，連接至該處理模組，用以覆蓋於該顯示面板上；以及一觸覺作動單元，連接至該處理模組；其中，該處理模組用以取得一原始影像，該處理模組另轉換該原始影像為一二值影像，該二值影像包含一第一灰值及一第二灰值，該處理模組更轉換該原始影像為一灰階影像，該灰階影像至少包含一第三灰值，該第三灰值介於該第一灰值與該第二灰值之間，該處理模組更依據該二值影像與該灰階影像產生一索引圖，該索引圖包含複數個代表不同觸覺回饋強度的索引值，該處理模組更用以當該原始影像被顯示於該顯示面板時偵測該觸控面板上之一觸碰輸入，該處理模組更用以回應於所偵測之該觸碰輸入，依據該索引圖驅動該觸覺作動單元以產生觸覺回饋。
9. 如申請專利範圍第8項所述之電子裝置，其中，該二值影像係依據一閥值而被產生。
10. 如申請專利範圍第8項所述之電子裝置，其中，該處理模組在產生該索引圖前，更用以選擇性地反轉該二值影像之灰值。
11. 如申請專利範圍10項所述之電子裝置，該處理模組在選擇性地反轉該二值影像之灰值時，該處理模組係計算該二值影像中該第一灰值的數量與該第二灰值的數量，該處理模組更判斷該第一灰值的數量是否大於該第二灰值的數量，該處理模組另依據判斷的結果決定是否反轉該二值影像之灰值。
12. 如申請專利範圍第8項所述之電子裝置，其中，該索引圖中一個索引值係藉由合併該二值影像中一個灰值與該灰階影像中一個對應的灰值而產生。
13. 如申請專利範圍第8項所述之電子裝置，其中，該處理模組係依據該觸碰輸入之座標取得該索引圖中相對應之一索引值，並依據該索引值驅動該觸覺作動單元。
14. 如申請專利範圍第8項所述之電子裝置，其中，該觸覺作動單元係產生基於壓電或振動的觸覺回饋。