TW202125166A - 觸覺回饋裝置及其操作方法 - Google Patents

Abstract

本發明提供一種觸覺回饋裝置，包括穿戴式裝置以及主機。穿戴式裝置包括加速度感測器以及電刺激產生器。加速度感測器偵測目標物的運動狀態以獲得加速度數據。電刺激產生器依據觸覺控制信號來產生對應的電刺激並傳送電刺激至目標物。主機包括運算電路，用以依據電波信號的信號衰減量來計算目標物相對於所述主機的位移量，並依據位移量以及加速度數據來進行運算以產生表示所述目標物動作的移動軌跡資訊。運算電路並將移動軌跡資訊與顯示畫面中的物件的位置進行比對，以產生觸覺控制信號。本發明更提供觸覺回饋裝置的操作方法。

Description

觸覺回饋裝置及其操作方法

本發明是有關於一種觸覺回饋裝置及其操作方法，且特別是有關於的一種簡化觸覺回饋機制以及輕便化整體裝置的觸覺回饋裝置及其操作方法。

人機互動（Human-Computer Interaction，HCI）技術主要透過提供感官享受，包括視覺、聽覺、嗅覺及觸覺，來建立機器和電腦系統與用戶之間的互動關係。其中受到最多注視與著力的是對於視覺系統的開發，例如頭戴顯示器（Head-Mounted Display，HMD）及裸眼3D顯示器可經由欺騙視覺的技術獲得具有空間、深度的逼真立體形象。而聽覺及嗅覺的體驗則多沿用施行已久的外部設備來達成，其實現的難度較低。相對來說，觸覺體感裝置的開發時間長且投入成本高，因此往往因為設備造價昂貴、觸覺機制複雜以及裝置過於笨重等原因而少有突破且難以普及。因此，需要一種可以同時考量到投入成本、簡化觸覺回饋機制以及裝置輕便性的觸覺回饋裝置及其操作方法。

本發明提供一種觸覺回饋裝置及其操作方法，可以解決習知技藝中設備造價昂貴、觸覺機制複雜以及裝置過於笨重等缺失。

本發明提供一種觸覺回饋裝置，包括穿戴式裝置、距離感測器、顯示器以及主機。穿戴式裝置適於穿戴在目標物上，包括加速度感測器以及至少一電刺激產生器。加速度感測器用以偵測目標物的運動狀態以獲得加速度數據。至少一電刺激產生器用以依據一觸覺控制信號來產生對應的電刺激，並傳送電刺激至目標物。距離感測器用以向目標物發送電波信號，以及接收對應的回波信號，距離感測器並依據回波信號產生信號衰減量。顯示器用以依據畫面資訊顯示顯示畫面。主機耦接穿戴式裝置、距離感測器以及顯示器，包括運算電路。運算電路用以依據距離感測器與目標物之間的距離所造成的電波信號的信號衰減量來計算目標物相對於距離感測器的位移量。運算電路還依據位移量以及加速度數據來進行運算以產生表示目標物動作的移動軌跡資訊。並且，運算電路將所述移動軌跡資訊與顯示畫面中的物件位置進行比對，以產生觸覺控制信號。

本發明提供一種觸覺回饋裝置的操作方法，其中觸覺回饋裝置包括適於穿戴在目標物上的穿戴式裝置、距離感測器以及主機。上述操作方法包括：由穿戴式裝置偵測目標物的運動狀態以獲得加速度數據；由距離感測器向目標物發送電波信號以及接收對應的回波信號，距離感測器並依據回波信號產生信號衰減量；由主機依據距離感測器與目標物之間的距離所造成的電波信號的信號衰減量來計算目標物相對於距離感測器的位移量；由主機依據位移量以及加速度數據來進行運算以產生表示目標物動作的移動軌跡資訊；由主機將移動軌跡資訊與顯示畫面中的物件位置進行比對，以產生觸覺控制信號；以及由穿戴式裝置依據觸覺控制信號來產生對應的電刺激，並傳送電刺激至目標物。

基於上述，本發明可以依據電波信號的信號衰減量來推算目標物的位移量，並依據目標物的位移量與加速度數據來計算目標物的移動軌跡資訊。藉著比對目標物移動軌跡資訊以及顯示畫面中虛擬物件的位置，可以產生觸覺控制信號，以做為電刺激產生器提供電刺激的依據。因此，相較於現有技藝，本發明具備投入成本較低、觸覺回饋機制簡化以及觸覺回饋裝置更加輕便等優點。

圖1繪示為本發明一實施例的觸覺回饋裝置的方塊示意圖。請見圖1，觸覺回饋裝置100包括以無線方式相互耦接的穿戴式裝置110以及主機120。穿戴式裝置110用於適於穿戴在一個目標物上。此目標物可以是一個人，或是人體的一個部位，例如頭部、手部、軀幹部或腳部。在本實施例中，穿戴式裝置110可以手套的形式來實現。然而本發明不僅限於手套的實施態樣，在其他實施例中，穿戴式裝置110還可以頭套，或是背心、上衣等衣著類來實現。在其他實施例中，穿戴式裝置110也可以有線方式與主機120相互耦接。

穿戴式裝置110主要包括加速度感測器112以及電刺激產生器113。在本實施例中，穿戴式裝置110還包括無線收發電路114、控制電路111以及電源供應電路115。加速度感測器112用以偵測目標物的運動狀態，以獲得加速度數據S_AC 。加速度數據S_AC 可以包括直線位移量、線性加速度數據以及角加速度數據。加速度感測器112可以加速計（accelerometer）、陀螺儀（gyroscope）、直線加速度器（linear accelerometer）以及慣性測量單元（Inertial Measurement Unit，IMU）中任一或組合來實現。其中，加速計可透過偵側晶片上的微機電電容的電量偏移，或是透過偵測光路徑偏移的方式來測量加速度的方向及大小。在其他實施例中，也可以採用其他類型的加速度計，本發明對此不進行任何限制。控制電路111耦接加速度感測器112，用以接收加速度數據S_AC ，並將加速度數據S_AC 經由無線收發電路114以無線方式傳輸至主機120。

主機120主要包括運算電路121以及無線收發電路123。在本實施例中，主機120可以是電腦、筆記型電腦平板電腦或其他具有運算能力的電子設備。運算電路121經由無線收發電路123接收加速度數據S_AC ，並依據加速度數據S_AC 與一位移量來進行運算，以產生表示目標物動作的移動軌跡資訊。運算電路121並比對移動軌跡資訊以及一虛擬物件的虛擬位置，來產生觸覺控制信號S_TA 。其中，位移量是依據電波信號S_EC 的信號衰減量S_ATT 計算而得，表示目標物相對於距離感測器122的位置改變量，其中信號衰減量S_ATT 關聯於電波信號S_EC 與回波信號S_EM 之間的信號強度差異。

具體來說，主機120的附近可以設置距離感測器122以及顯示器125。距離感測器122與顯示器125耦接主機120，更具體一點來說，距離感測器122與顯示器125耦接主機120的運算電路121。距離感測器122用以向目標物發射電波信號S_EC 並接收對應的回波信號S_EM 。距離感測器122可依據電波信號S_EC 及其對應的回波信號S_EM 來計算電波信號S_EC 的信號衰減量S_ATT 。信號衰減量S_ATT 可以來自於回波信號S_EM 相較於電波信號S_EC 的功率的損耗量。並且，信號衰減量S_ATT 與距離感測器122與目標物之間的距離為正相關。本實施例可以依據下述的公式(1)來計算功率損耗量。其中，Lbf代表功率損耗量，f代表電波信號S_EC 的發射頻率（單位為Hz）。透過公式(1)，可以依據功率損耗量Lbf以及電波信號S_EC 的發射頻率f來得知位移量d。在另一實施例中，則可依據回波信號S_EM 相較於電波信號S_EC 的波峰值的衰退量來計算位移量。 Lbf=-147.6+20*log（f）+20*log（d）                 公式(1)

在本實施例中，距離感測器122是依據電波信號S_EC 及其對應的回波信號S_EM 來計算信號衰減量S_ATT ，但本發明並不以此為限。

關於距離感測器122的設置位置，在本實施例中，距離感測器122是設置在主機120附近並獨立於主機120，並且距離感測器122所包含的感測器數量至少為三個，以透過三角定位的方式來更精準地定位目標物的位置。在另一實施例中，距離感測器122可以設置在主機120內部，或是設置主機120外部，例如設置在顯示器125的周邊。又或者，在其他實施例中，距離感測器可以設置在穿戴式裝置110上，以向主機120發射電波信號並接收回波信號。距離感測器可以藉由回波信號相對於電波信號的信號衰電量來判斷目標物相對於距離感測器的位移量。

總結來說，本實施例的運算電路121可以接收信號衰減量S_ATT ，並依據信號衰減量S_ATT 來計算位移量。運算電路121並在計算出位移量後導入穿戴式裝置110傳來的加速度數據S_AC ，以取得目標物的移動軌跡資訊，例如翻轉以及移動等動作的姿勢信號，藉此產生觸覺控制信號S_TA 。

圖2繪示為本發明一實施例的觸覺回饋裝置的操作示意圖，其中穿戴式裝置110的加速度感測器（未示出）可以包括分布於手指指節、手掌以及手背的多個感測器。請見圖2，當使用者做出出拳的動作時，距離感測器122可以偵測到手部與距離感測器122之間的距離拉近（即位移量變小）。穿戴式裝置110的加速度感測器可以偵測到手部的直線位移數據以及線性加速度數據。加速度感測器並可偵測到由手掌部分翻轉的動作所造成的角加速度數據。綜合位移量、直線位移數據、線性加速度數據以及角加速度數據，主機120中的運算電路（未示出）可以獲取表示出拳姿勢的手勢資訊。

請同時參照圖1與圖2，攝像器124耦接於主機120的運算電路121。在本實施例中，攝像器124設置在主機120的內部。主機120中的運算電路121可以進一步將攝像器124所拍攝的使用者的圖像資訊S_C 做為判斷手部的動作及姿勢的輔助性資訊。例如，運算電路121可以比對圖像資訊S_C 與預存的樣本圖像資訊，以輔助判斷例如使用者手部的動作及姿勢。

在另一實施例中，攝像器124可以設置於主機外部，例如設置在顯示器125上。顯示器125的周邊設置有多個距離感測器122。多個距離感測器122透過發送電波信號S_EC 以及接收回波信號S_EM ，來取得使用者相對於顯示器125的位置以及位移量。主機120中的運算電路可以依據手部的位移量、手勢資訊以及顯示於顯示器125的虛擬物件的虛擬位置（例如圖2所示牆壁的位置），來判斷手部與牆壁的互動關係。運算電路藉此產生觸覺控制信號S_TA ，並依據目標物的移動軌跡資訊來判斷是否需要改變畫面資訊S_D 的內容來變更顯示器125所顯示的顯示畫面(例如由顯示完整的牆壁變化為顯示破損的牆壁）。

請重新參照圖1，觸覺控制信號S_TA 經由主機120的無線收發電路123發送至穿戴式裝置110的無線收發電路114。穿戴式裝置110的控制電路111透過無線收發電路114接收觸覺控制信號S_TA ，並將觸覺控制信號S_TA 傳送到對應的電刺激產生器113。電刺激產生器113則依據觸覺控制信號S_TA 產生電流。使用者（目標物）經由皮膚感受前述電流以獲得模擬的觸覺體驗。本實施例的穿戴式裝置110還可包括電源供應電路115。電源供應電路115用以向控制電路111、加速度感測器112電刺激產生器113以及無線收發電路114供應電力。

圖3A繪示為本發明一實施例的穿戴式裝置的前視示意圖，圖3B繪示為本發明一實施例的穿戴式裝置的後視示意圖。請同時參照圖3A與3B，在本實施例中，穿戴式裝置100實際上是手套。手套在對應手指指節、手掌以及手背的部分設置有多個電刺激產生器113。手套的靠近手腕的部分還設置有無線收發電路114以及電源供應電路115。電源供應電路115透過線路連接各電刺激產生器113。無線收發電路114用以將加速度感測器（未示出）所偵測到的加速度數據發送至主機，以及接收來自主機的觸覺控制信號。多個電刺激產生器113則依據對應的觸覺控制信號來產生電流，以提供使用者觸覺體驗。例如，使用者在出拳時，手背感受到的電刺激會比手掌感受到的電刺激要大。

圖4繪示為本發明一實施例的觸覺回饋裝置的操作方法的步驟流程圖。請同時參照圖1與圖4，步驟S410是由穿戴式裝置110偵測目標物的運動狀態，以獲得加速度數據S_AC 。步驟S420是由距離感測器122向目標物發送電波信號S_EC 以及接收對應的回波信號S_EM ，距離感測器122並依據回波信號S_EM 產生信號衰減量S_ATT 。步驟S430是由主機120依據距離感測器122與目標物之間的距離所造成的電波信號的一信號衰減量S_ATT 來計算目標物相對於距離感測器122的位移量。步驟S440是由主機120依據位移量以及加速度數據S_AC 來進行運算，以產生表示目標物動作的移動軌跡資訊。步驟S450是由主機120將移動軌跡資訊與顯示畫面中的物件的虛擬位置進行比對，以產生觸覺控制信號S_TA 。步驟S460是由穿戴式裝置110依據觸覺控制信號S_TA 來產生對應的電刺激，並傳送電刺激至目標物以提供目標物觸覺體驗。

綜上所述，本發明的觸覺回饋裝置可以依據電波信號的信號衰減量來推算目標物的位移量，並依據目標物的位移量與量測得到的目標物的加速度數據，來計算目標物的移動軌跡資訊。觸覺回饋裝置透過比對目標物移動軌跡資訊以及顯示畫面中虛擬物件的位置，可以產生觸覺控制信號，以做為電刺激產生器提供電刺激的依據。因此，相較於現有技藝，本發明具備投入成本較低、觸覺回饋機制簡化以及觸覺回饋裝置更加輕便等優點。

100:觸覺回饋裝置 110:穿戴式裝置 111:控制電路 112:加速度感測器 113:電刺激產生器 114:無線收發電路 115:電源供應電路 120:主機 121:運算電路 122:距離感測器 123:無線收發電路 124:攝像器 125:顯示器 S410~S450:步驟 S_AC :加速度數據 S_ATT :信號衰減量 S_C :圖像資訊 S_D :畫面資訊 S_EC :電波信號 S_EM :回波信號 S_TA :觸覺控制信號

圖1繪示為本發明一實施例的觸覺回饋裝置的方塊示意圖。 圖2繪示為本發明一實施例的觸覺回饋裝置的操作示意圖。 圖3A繪示為本發明一實施例的穿戴式裝置的前視示意圖。 圖3B繪示為本發明一實施例的穿戴式裝置的後視示意圖。 圖4繪示為本發明一實施例的觸覺回饋裝置的操作方法的步驟流程圖。

100:觸覺回饋裝置

110:穿戴式裝置

111:控制電路

112:加速度感測器

113:電刺激產生器

114:無線收發電路

115:電源供應電路

120:主機

121:運算電路

122:距離感測器

123:無線收發電路

124:攝像器

125:顯示器

S_AC :加速度數據

S_ATT :信號衰減量

S_C :圖像資訊

S_D :畫面資訊

S_EC :電波信號

S_EM :回波信號

S_TA :觸覺控制信號

Claims (17)

1. 一種觸覺回饋裝置，包括： 一穿戴式裝置，適於穿戴在一目標物上，包括： 一加速度感測器，用以偵測所述目標物的運動狀態，以獲得一加速度數據；以及 至少一電刺激產生器，用以依據一觸覺控制信號來產生對應的一電刺激，並傳送所述電刺激至所述目標物； 一距離感測器，用以向所述目標物發送一電波信號，以及接收對應的一回波信號，所述距離感測器並依據所述回波信號產生一信號衰減量； 一顯示器，用以依據一畫面資訊顯示一顯示畫面；以及 一主機，耦接所述穿戴式裝置、所述距離感測器以及所述顯示器，包括： 一運算電路，用以： 依據所述距離感測器與所述目標物之間的距離所造成的所述電波信號的所述信號衰減量來計算所述目標物相對於所述距離感測器的一位移量； 依據所述位移量以及所述加速度數據來進行運算以產生表示所述目標物的動作的一移動軌跡資訊；以及 將所述移動軌跡資訊與該顯示畫面中的一物件位置進行比對，以產生所述觸覺控制信號。
2. 如請求項1所述的觸覺回饋裝置，其中所述加速度感測器還用以偵測所述目標物的一角加速度以及一線性加速度以獲得所述加速度數據。
3. 如請求項1所述的觸覺回饋裝置，其中所述運算電路還用以依據所述移動軌跡資訊來變動所述畫面資訊。
4. 如請求項1所述的觸覺回饋裝置，其中所述觸覺回饋裝置還包括一攝像器，用以對所述目標物進行拍攝以獲得一圖像，所述運算電路還用以依據所述圖像、所述加速度數據以及所述位移量來判斷所述目標物的一動作姿勢。
5. 如請求項1所述的觸覺回饋裝置，其中所述穿戴式裝置還包括一控制電路，耦接所述加速度感測器，用以控制所述加速度數據被傳輸至所述主機，所述控制電路並控制所述觸覺控制信號被傳輸至所述至少一電刺激產生器。
6. 如請求項1所述的觸覺回饋裝置，其中所述穿戴式裝置為一手套，所述手套分佈有多個電刺激產生器。
7. 如請求項1所述的觸覺回饋裝置，其中所述穿戴式裝置還包括一電源供應電路，用以供電至所述加速度感測器以及所述至少一電刺激產生器。
8. 如請求項1所述的觸覺回饋裝置，其中所述穿戴式裝置無線耦接所述主機。
9. 如請求項8所述的觸覺回饋裝置，其中所述穿戴式裝置還包括一第一無線收發電路，用以發送所述加速度數據以及接收所述觸覺控制信號，所述主機還包括一第二無線收發電路，用以接收所述加速度數據以及發送所述觸覺控制信號。
10. 一種觸覺回饋裝置的操作方法，其中所述觸覺回饋裝置包括適於穿戴在一目標物上的一穿戴式裝置、一距離感測器以及一主機，所述操作方法包括： 由所述穿戴式裝置偵測所述目標物的運動狀態，以獲得一加速度數據； 由所述距離感測器向所述目標物發送一電波信號以及接收對應的一回波信號，所述距離感測器並依據所述回波信號產生一信號衰減量； 由所述主機依據由所述距離感測器與所述目標物之間的距離所造成的所述電波信號的所述信號衰減量來計算所述目標物相對於所述距離感測器間的一位移量； 由所述主機依據所述位移量以及所述加速度數據來進行運算以產生表示所述目標物的動作的一移動軌跡資訊； 由所述主機將所述移動軌跡資訊與一顯示畫面中的一物件位置進行比對，以產生一觸覺控制信號；以及 由所述穿戴式裝置依據所述觸覺控制信號來產生對應的一電刺激，並傳送所述電刺激至所述目標物。
11. 如請求項10所述的觸覺回饋裝置的操作方法，所述操作方法還包括： 由所述主機依據所述電波信號與所述回波信號之間的信號強度差異產生所述信號衰減量。
12. 如請求項10所述的觸覺回饋裝置的操作方法，其中所述加速度數據包括所述目標物的一角加速度以及一線性加速度。
13. 如請求項10所述的觸覺回饋裝置的操作方法，其中所述觸覺回饋裝置還包括一顯示器，所述操作方法還包括： 由所述顯示器依據一畫面資訊顯示所述顯示畫面，並由所述運算電路依據所述移動軌跡資訊來變動所述畫面資訊。
14. 如請求項10所述的觸覺回饋裝置的操作方法，其中所述觸覺回饋裝置還包括一攝像器，所述操作方法還包括： 由所述攝像器對所述目標物進行拍攝以獲得一圖像，並由所述主機依據所述圖像、所述加速度數據以及所述位移量來判斷所述目標物的一動作姿勢。
15. 如請求項10所述的觸覺回饋裝置的操作方法，其中所述穿戴式裝置還包括一控制電路，所述操作方法還包括： 由所述控制電路控制所述加速度數據被傳輸至所述主機，並且由所述控制電路控制所述觸覺控制信號被用以產生所述電刺激。
16. 如請求項10所述的觸覺回饋裝置的操作方法，其中所述穿戴式裝置為一手套，所述手套分佈有多個電刺激產生器，以依據所述觸覺控制信號來產生所述電刺激。
17. 如請求項10所述的觸覺回饋裝置的操作方法，還包含： 由所述穿戴式裝置供電以進行偵測所述目標物的運動狀態以及進行產生所述電刺激。

Images