TWI818461B - 應力回饋裝置以及虛擬影像顯示系統 - Google Patents

應力回饋裝置以及虛擬影像顯示系統 Download PDF

Info

Publication number
TWI818461B
TWI818461B TW111108352A TW111108352A TWI818461B TW I818461 B TWI818461 B TW I818461B TW 111108352 A TW111108352 A TW 111108352A TW 111108352 A TW111108352 A TW 111108352A TW I818461 B TWI818461 B TW I818461B
Authority
TW
Taiwan
Prior art keywords
stress
feedback device
position sensor
amount
pressure generator
Prior art date
Application number
TW111108352A
Other languages
English (en)
Other versions
TW202311921A (zh
Inventor
林綸康
戴一涵
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202311921A publication Critical patent/TW202311921A/zh
Application granted granted Critical
Publication of TWI818461B publication Critical patent/TWI818461B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves

Abstract

一種應力回饋裝置以及虛擬影像顯示系統被提出。應力回饋裝置包括位置感測器以及壓力產生器。位置感測器用以基於觸發信號以產生位置資訊，並傳送位置資訊至主機端。壓力產生器用以依據觸發信號來對目標區施加應力並調整應力的強度。

Description

應力回饋裝置以及虛擬影像顯示系統
本發明是有關於一種應力回饋裝置以及虛擬影像顯示系統，且特別是有關於一種能夠提升使用者在虛擬影像世界中的沉浸感的應力回饋裝置以及虛擬影像顯示系統。
在科技產業日益進步下，可進行虛擬實境(Virtual Reality，VR)或擴增實境(Augmented Reality，AR)的虛擬影像顯示器已普及於消費市場。
在虛擬實境中，當使用者與虛擬物件進行觸碰或推擠時，現有技術通常是以震動的方式來提示使用者，以模擬出使用者與此虛擬物件接觸時的感受。在此情況下，現有技術僅能夠模擬出接觸時的觸感，而無法讓使用者明顯的感受到接觸此虛擬物件時的力回饋與沉浸感。
本發明提供一種應力回饋裝置以及虛擬影像顯示系統， 可提升使用者在虛擬影像世界中的沉浸感受。
本發明的應力回饋裝置包括位置感測器以及壓力產生器。位置感測器用以基於觸發信號以產生位置資訊，並傳送位置資訊至主機端。壓力產生器耦接至位置感測器，並用以依據觸發信號來對目標區施加應力並調整應力的強度。
本發明的虛擬影像顯示系統包括第一應力回饋裝置、第二應力回饋裝置以及主機端。第一應力回饋裝置與第二應力回饋裝置相互連接於連動機構，第一應力回饋裝置與第二應力回饋裝置分別設置於使用者的第一部位與第二部位。第一應力回饋裝置與第二應力回饋裝置中的至少其中之一包括位置感測器以及壓力產生器。位置感測器用以基於觸發信號以產生位置資訊。壓力產生器耦接至位置感測器。主機端耦接至第一應力回饋裝置與第二應力回饋裝置。主機端用以依據觸發信號使第一應力回饋裝置與第二應力回饋裝置的位置感測器感測在第一部位與第二部位之間的相對位置，並使壓力產生器依據觸發信號來對第一部位以及第二部位中的至少其中之一施加應力並調整應力的強度。
基於上述，本發明的虛擬影像顯示系統可在觸發事件被啟動時，透過應力回饋裝置的壓力產生器來對使用者的上乎臂以及/或下乎臂施加應力，以固定穿戴於上乎臂以及/或下乎臂上的應力回饋裝置之相對位置，藉以改變使用者的皮膚張力。如此一來，本發明能夠讓使用者的大腦感受到有如真實動作時的力回饋，進而提升使用者在虛擬影像世界中的沉浸感。
100、210、220:應力回饋裝置
110、110A、110B:位置感測器
120、120A、120B:壓力產生器
121:驅動器
122:壓縮帶
130、130A、130B:壓力與位移偵測器
230:主機端
200:虛擬影像顯示系統
FSI:施力狀態資訊
LM:連動機構
PD:位置資訊
P1、P2:部分
S310~S340:步驟
TR:觸發信號
圖1繪示本發明一實施例的應力回饋裝置的示意圖。
圖2繪示本發明一實施例的虛擬影像顯示系統的示意圖。
圖3繪示本發明實施例的虛擬影像顯示系統的動作流程圖。
請參照圖1，圖1繪示本發明一實施例的應力回饋裝置的示意圖。應力回饋裝置100包括位置感測器110、壓力產生器120以及壓力與位移偵測器130。在本實施例中，應力回饋裝置100可穿戴於使用者的身體上的任何部位(例如，乎部或腳部)。使用者可透過一主機端(例如，頭戴式顯示器或任意具運算能力的電子裝置)以進行虛擬實境操作時，使主機端與應力回饋裝置100以無線傳輸方式來進行通訊與傳輸資料。藉此，主機端可根據虛擬影像，將使用者在虛擬實境中接觸或操作虛擬物件時所感受到的阻力或作用力，反應至應力回饋裝置100，以在應力回饋裝置100上產生相對應的力回饋，藉以提升使用者操作時的沉浸感。
在本實施例中，位置感測器110可接收觸發信號TR，並基於觸發信號TR以產生位置資訊PD，且可將位置資訊PD傳送至主機端。舉例來說，在一些實施例中，當主機端依據虛擬影像而判斷出使用者的乎部需對虛擬物件施加壓力(例如，轉動門鎖、 緊握握力器或端餐盤等)時，表示觸發事件已被啟動。此時，主機端可依據觸發事件以產生觸發信號TR至位置感測器110。接著，位置感測器110可依據觸發信號TR來感測其位於目標區(例如，使用者的乎臂)上的絕對位置，並對應地產生位置資訊PD。
而在另一些實施例中，當使用者根據虛擬影像而觀察到觸發事件即將被啟動時，使用者可透過按壓應力回饋裝置100上的按鈕(未繪示)，以產生觸發信號TR至位置感測器110。並且，位置感測器110可依據觸發信號TR來感測其位於目標區上的絕對位置，以對應地產生位置資訊PD。
在另一方面，壓力產生器120包括驅動器121以及壓縮帶122。驅動器121耦接於位置感測器110以及壓縮帶122之間。壓力與位移偵測器130耦接於位置感測器110以及壓力產生器120之間。其中，本實施例的驅動器121可例如是空氣幫浦(Air Pump)或其他類型的致動裝置，但本發明並不限於此。凡可使驅動壓縮帶122以針對使用者進行加壓的裝置均可用以實施本發明的驅動器121，沒有特定的限制。
具體而言，壓力產生器120用以依據觸發信號TR來對使用者的目標區施加應力並調整此應力的強度。舉例來說，當觸發事件被啟動時，壓力產生器120可透過驅動器121來依據觸發信號TR以驅動壓縮帶122，並使壓縮帶122對使用者的乎臂進行充氣加壓。
進一步來說，在本實施例中，當觸發事件被啟動時，應 力回饋裝置100可透過壓力與位移偵測器130來偵測壓力產生器120對目標區所施加的應力量SV1以及位置感測器110在目標區上的位移量DV1。接著，壓力與位移偵測器130可透過比較應力量SV1與參考應力量RSV1以獲得比較結果CR1，並將比較結果CR1傳送至壓力產生器120。
另一方面，壓力與位移偵測器130可透過比較位移量DV1與參考位移量RDV1以獲得比較結果CR2，並將比較結果CR2傳送至壓力產生器120。
值得一提的是，在本實施例中，當壓力與位移偵測器130判斷出應力量SV1未大於參考應力量RSV1，或是位移量DV1未小於參考位移量RDV1時，壓力產生器120可依據比較結果CR1、CR2，並透過壓縮帶122來對使用者的目標區進行加壓。
如此一來，當使用者在虛擬實境中需接觸或操作虛擬物件時，應力回饋裝置100可依據觸發信號TR來在使用者的目標區(例如，乎部)上施加應力，以使使用者能夠感受到有如真實觸碰或操作到物件的體驗。
對此，請同時參照圖1以及圖2，圖2繪示本發明一實施例的虛擬影像顯示系統的示意圖。虛擬影像顯示系統200包括應力回饋裝置210、應力回饋裝置220以及主機端230。其中，應力回饋裝置210以及220可依照圖1所示的應力回饋裝置100來實施。
在本實施例中，主機端230可以是一頭戴式顯示器，並 可產生虛擬實境或擴增實境的顯示效果。使用者可分別將應力回饋裝置210以及應力回饋裝置220穿戴於某一側的乎部的後乎臂(亦即，第一部分)以及前乎臂(亦即，第二部分)上。應力回饋裝置210以及應力回饋裝置220可相互連接於連動機構LM。應力回饋裝置210以及220可與主機端230以無線傳輸方式來進行通訊與傳輸資料。
關於虛擬影像顯示系統200的實施細節，請同時參照圖1至圖3，圖3繪示本發明實施例的虛擬影像顯示系統的動作流程圖。其中，在步驟S310中，當主機端230依據虛擬影像判斷出觸發事件被啟動時，主機端230可產生觸發信號TR至應力回饋裝置210的位置感測器110A以及應力回饋裝置220的位置感測器110B。
此時，位置感測器110A以及位置感測器110B可依據觸發信號TR以分別感測其在使用者的第一部分P1以及第二部分P2上的位置資訊PD，並將位置資訊PD傳送至主機端230。接著，應力回饋裝置210以及應力回饋裝置220可依據位置資訊PD來計算出位置感測器110A以及位置感測器110B在第一部分P1以及第二部分P2之間的相對位置。
進一步來說，在步驟S320中，主機端230可依據觸發信號TR來使位置感測器110A以及位置感測器110B判斷其在使用者的第一部分P1以及第二部分P2之間的相對位置的變動量VA是否大於一預設的臨界值RVA，以獲得比較結果CR3。
舉例來說，假設在虛擬實境中，使用者需對某一虛擬物件(例如，門鎖)進行轉動，此時，當位置感測器110A以及位置感測器110B判斷出變動量VA大於臨界值RVA時，表示使用者轉動此虛擬門鎖的轉動程度已大於臨界值RVA。在此情況下，虛擬影像顯示系統200可接續執行步驟S340的操作動作。
在步驟S340中，主機端230可依據比較結果CR3以產生第一鎖固命令LC1至應力回饋裝置210的壓力產生器120A以及/或應力回饋裝置220的壓力產生器120B。壓力產生器120A以及/或壓力產生器120B可依據第一鎖固命令LC1以對使用者的第一部位P1以及/或第二部位P2施加應力，藉以固定住使用者的乎臂上的應力回饋裝置210以及/或應力回饋裝置220。藉此，在觸發事件被啟動的情況下，虛擬影像顯示系統200可藉由對使用者的乎臂施加應力，以模擬出使用者在虛擬影像中觸碰或操作於虛擬物件時的力回饋與作用力。
在另一方面，當位置感測器110A以及位置感測器110B判斷出變動量VA未大於臨界值RVA時，表示使用者轉動此虛擬門鎖的轉動程度尚未大於臨界值RVA。在此情況下，虛擬影像顯示系統200可接續執行步驟S330的操作動作。
在步驟S330中，主機端230可依據比較結果CR3以控制應力回饋裝置210的壓力與位移偵測器130A以及應力回饋裝置220的壓力與位移偵測器130B來比較施加在使用者的第一部分P1以及第二部分P2上的應力量SV2與參考應力量RSV2以獲得比較 結果CR4。並且，主機端230亦可依據比較結果CR3以控制壓力與位移偵測器130A以及壓力與位移偵測器130B來比較位置感測器110A在使用者的第一部分P1以及位置感測器110B在使用者的第二部分P2上的位移量DV2與參考位移量RDV2以獲得比較結果CR5。
舉例來說，當壓力與位移偵測器130A以及130B判斷出應力量SV2大於參考應力量RSV2，以及位移量DV2小於參考位移量RDV2時，表示使用者在轉動虛擬門鎖時所感受到的力回饋已足夠大。在此情況下，壓力與位移偵測器130A以及130B會依據比較結果CR4以及CR5以回報一施力狀態資訊FSI至主機端230，以使主機端230依據施力狀態資訊FSI來調整所產生的虛擬影像。
在另一方面，當壓力與位移偵測器130A以及130B判斷出應力量SV2未大於參考應力量RSV2，或是位移量DV2未小於參考位移量RDV2時，表示使用者在轉動虛擬門鎖時所感受到的力回饋尚未足夠大。在此情況下，虛擬影像顯示系統200可接續執行步驟S340的操作動作。
在步驟S340中，主機端230可依據比較結果CR4以及CR5以產生第二鎖固命令LC2至壓力產生器120A以及/或壓力產生器120B。壓力產生器120A以及/或壓力產生器120B可依據第二鎖固命令LC2以對使用者的第一部位P1以及/或第二部位P2進一步地施加應力，藉以固定住使用者的乎臂上的應力回饋裝置210 以及/或應力回饋裝置220。藉此，在觸發事件被啟動的情況下，虛擬影像顯示系統200可藉由對使用者的乎臂施加應力，以模擬出使用者在虛擬影像中觸碰或操作於虛擬物件時的力回饋與作用力。
綜上所述，本發明虛擬影像顯示系統可在觸發事件被啟動時，透過應力回饋裝置的壓力產生器來對使用者的上乎臂以及/或下手臂施加應力，以固定穿戴於上手臂以及/或下手臂上的應力回饋裝置之相對位置，藉以改變使用者的皮膚張力。如此一來，本發明能夠讓使用者的大腦感受到有如真實動作時的力回饋，進而提升使用者在虛擬影像世界中的沉浸感。
100:應力回饋裝置
110:位置感測器
120:壓力產生器
121:驅動器
122:壓縮帶
130:壓力與位移偵測器
PD:位置資訊
TR:觸發信號

Claims (10)

  1. 一種應力回饋裝置，包括：一位置感測器，用以基於一觸發信號以產生一位置資訊，並傳送該位置資訊至一主機端；以及一壓力產生器，耦接至該位置感測器，用以依據該觸發信號來對一目標區施加一應力，其中，該壓力產生器依據用以指示比較該壓力產生器對該目標區所施加的一應力量與一參考應力量的一第一比較結果以及用以指示比較該位置感測器在該目標區的一位移量與一參考位移量的一第二比較結果來調整該應力的強度。
  2. 如請求項1所述的應力回饋裝置，其中該應力回饋裝置更包括：一壓力與位移偵測器，耦接至該位置感測器以及該壓力產生器，用以偵測該壓力產生器對該目標區所施加的所述應力量以及該位置感測器在該目標區的所述位移量，其中該壓力與位移偵測器依據比較該應力量與所述參考應力量以獲得所述第一比較結果，以及依據比較該位移量與所述參考位移量以獲得所述第二比較結果，並且該壓力產生器依據該第一比較結果與該第二比較結果以調整該應力的強度。
  3. 如請求項1所述的應力回饋裝置，其中該壓力產生器包括：一壓縮帶，耦接至該位置感測器；以及 一驅動器，耦接至該位置感測器以及該壓縮帶，用以依據該觸發信號以驅動該壓縮帶，以使該壓縮帶對該目標區進行充氣加壓。
  4. 如請求項3所述的應力回饋裝置，其中該驅動器為一空氣幫浦或一致動裝置。
  5. 一種虛擬影像顯示系統，包括：一第一應力回饋裝置與一第二應力回饋裝置，相互連接於一連動機構，該第一應力回饋裝置與該第二應力回饋裝置分別設置於一使用者的一第一部位與一第二部位，其中該第一應力回饋裝置與該第二應力回饋裝置中的至少其中之一包括：一位置感測器，用以基於一觸發信號以產生一位置資訊；以及一壓力產生器，耦接至該位置感測器；以及一主機端，耦接至該第一應力回饋裝置與該第二應力回饋裝置，其中該主機端用以：依據該觸發信號使該第一應力回饋裝置與該第二應力回饋裝置的該位置感測器感測在該第一部位與該第二部位之間的一相對位置；以及使該壓力產生器依據該觸發信號來對該第一部位以及該第二部位中的至少其中之一施加一應力並調整該應力的強度。
  6. 如請求項5所述的虛擬影像顯示系統，其中該壓力產生器包括： 一壓縮帶，耦接至該位置感測器；以及一驅動器，耦接至該位置感測器以及該壓縮帶，用以依據該觸發信號以驅動該壓縮帶，以使該壓縮帶對該第一部位以及該第二部位中的至少其中之一進行充氣加壓。
  7. 如請求項6所述的虛擬影像顯示系統，其中該驅動器為一空氣幫浦或一致動裝置。
  8. 如請求項5所述的虛擬影像顯示系統，其中該第一應力回饋裝置與該第二應力回饋裝置中的至少其中之一更包括：一壓力與位移偵測器，耦接至該位置感測器以及該壓力產生器，用以偵測該壓力產生器對該第一部位以及該第二部位中的至少其中之一所施加的一應力量以及該位置感測器在該第一部位以及該第二部位之間的一位移量。
  9. 如請求項8所述的虛擬影像顯示系統，其中該主機端更用以：依據該觸發信號使該第一應力回饋裝置與該第二應力回饋裝置的該位置感測器判斷在該第一部位以及該第二部位之間的該相對位置的變動量是否大於一臨界值，以獲得一第一比較結果，其中，當該位置感測器判斷該相對位置的變動量大於該臨界值時，該主機端依據該第一比較結果來使該壓力產生器對該第一部位以及該第二部位中的至少其中之一施加該應力，並且 當該位置感測器判斷該相對位置的變動量未大於該臨界值時，該主機端依據該第一比較結果來使該壓力與位移偵測器比較該應力量與一參考應力量以獲得一第二比較結果，以及比較該位移量與一參考位移量以獲得一第三比較結果。
  10. 如請求項9所述的虛擬影像顯示系統，其中當該壓力與位移偵測器判斷該應力量大於該參考應力量，並且判斷該位移量小於該參考位移量時，該壓力與位移偵測器依據該第二比較結果與該第三比較結果以回報一施力狀態資訊至該主機端，並且當該壓力與位移偵測器判斷該應力量未大於該參考應力量，或是判斷該位移量未小於該參考位移量時，該主機端依據該第二比較結果與該第三比較結果使該壓力產生器來對該第一部位以及該第二部位中的至少其中之一施加該應力。
TW111108352A 2021-09-13 2022-03-08 應力回饋裝置以及虛擬影像顯示系統 TWI818461B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163243715P 2021-09-13 2021-09-13
US63/243,715 2021-09-13

Publications (2)

Publication Number Publication Date
TW202311921A TW202311921A (zh) 2023-03-16
TWI818461B true TWI818461B (zh) 2023-10-11

Family

ID=85478698

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108352A TWI818461B (zh) 2021-09-13 2022-03-08 應力回饋裝置以及虛擬影像顯示系統

Country Status (3)

Country Link
US (1) US20230084511A1 (zh)
CN (1) CN115808971A (zh)
TW (1) TWI818461B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004492B2 (en) * 2000-04-17 2011-08-23 Immersion Corporation Interface for controlling a graphical image
WO2014186739A1 (en) * 2013-05-17 2014-11-20 Macri Vincent J System and method for pre-movement and action training and control
US9977500B2 (en) * 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
US20200016363A1 (en) * 2012-06-27 2020-01-16 Vincent John Macri Digital virtual limb and body interaction

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001009863A1 (en) * 1999-07-31 2001-02-08 Linden Craig L Method and apparatus for powered interactive physical displays
KR100952698B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉감 피드백장치를 이용한 촉감전달방법 및 그 시스템
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
CN111316205A (zh) * 2018-02-23 2020-06-19 莫伟邦 虚拟现实输入和触觉反馈系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004492B2 (en) * 2000-04-17 2011-08-23 Immersion Corporation Interface for controlling a graphical image
US9977500B2 (en) * 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
US20200016363A1 (en) * 2012-06-27 2020-01-16 Vincent John Macri Digital virtual limb and body interaction
WO2014186739A1 (en) * 2013-05-17 2014-11-20 Macri Vincent J System and method for pre-movement and action training and control

Also Published As

Publication number Publication date
US20230084511A1 (en) 2023-03-16
CN115808971A (zh) 2023-03-17
TW202311921A (zh) 2023-03-16

Similar Documents

Publication Publication Date Title
US20100277428A1 (en) Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program
US7685538B2 (en) Method of triggering functions in a computer application using a digitizer having a stylus and a digitizer system
US20160188010A1 (en) Force sensing mouse
JP2018139132A5 (zh)
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
JP2021114346A5 (zh)
US8456421B2 (en) Selection device and method
JP2016029563A (ja) 触覚型デバイスの自己較正
RU2008125043A (ru) Указывающее устройство типа мыши, управляемое пользователем
KR20050021500A (ko) 휴대용 컴퓨터 대화형 장치
JP2003140823A5 (zh)
US11640198B2 (en) System and method for human interaction with virtual objects
US8970488B2 (en) Operation input device and method, program, and electronic apparatus
TWI818461B (zh) 應力回饋裝置以及虛擬影像顯示系統
JPWO2018079382A1 (ja) 情報処理装置、制御方法、プログラム、及び記憶媒体
JPWO2020183626A5 (zh)
TWI788607B (zh) 人機交互系統和人機交互方法
JP6716028B2 (ja) 制御装置、情報処理システム、制御方法、及びプログラム
JP2018123639A5 (zh)
KR20130112457A (ko) 밀착형 촉각 전달 장치 및 밀착형 촉각 전달 장치의 동작 방법
US20080088472A1 (en) Switch Arrangement
CN108803955A (zh) 一种触控系统
US11287891B2 (en) Measurement apparatus and control method of measurement apparatus
US20130257725A1 (en) Selection device and method for performing positioning operation
TW201415299A (zh) 舌動式電腦游標控制系統及方法