TW202340927A - 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體 - Google Patents
頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體 Download PDFInfo
- Publication number
- TW202340927A TW202340927A TW112113912A TW112113912A TW202340927A TW 202340927 A TW202340927 A TW 202340927A TW 112113912 A TW112113912 A TW 112113912A TW 112113912 A TW112113912 A TW 112113912A TW 202340927 A TW202340927 A TW 202340927A
- Authority
- TW
- Taiwan
- Prior art keywords
- finger
- click
- fingers
- mounted display
- head
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000010079 rubber tapping Methods 0.000 title abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 30
- 238000006073 displacement reaction Methods 0.000 claims description 29
- 238000002567 electromyography Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 16
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 210000003811 finger Anatomy 0.000 description 144
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 210000003813 thumb Anatomy 0.000 description 10
- 210000004932 little finger Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 101000579490 Solanum lycopersicum Suberization-associated anionic peroxidase 1 Proteins 0.000 description 2
- 101001073211 Solanum lycopersicum Suberization-associated anionic peroxidase 2 Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
一種頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體。該頭戴式顯示器基於複數個即時影像，判斷複數個手指中是否具有一第一手指對應至一點擊型態。響應於該等手指中具有該第一手指對應至該點擊型態，該頭戴式顯示器判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢。響應於該感測訊號符合該第一手指之該點擊手勢，該頭戴式顯示器產生對應至該第一手指之一點擊輸入訊號。
Description
本發明係關於一種頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體。具體而言，本發明係關於一種能透過頭戴式顯示器及穿戴式裝置的判斷運作正確產生點擊輸入訊號之頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體。
近年來，各種與虛擬實境（virtual reality）相關的技術快速的發展，各種頭戴式顯示器的技術及應用被相繼的提出。
在現有技術中，在使用者穿戴內向外追蹤定位（Inside-out）的頭戴式顯示器的情形下，使用者可透過操作手持控制器上的實體按鍵輸入資料（例如：輸入文字）或是手部追蹤的方式輸入資料。
然而，在操作手持控制器上的實體按鍵的情形下，使用者操作控制器的手將無法進行其他的額外操作。此外，由於使用者需要操作控制器上的實體按鍵，因此通常讓使用者難以快速的輸入資料。另外，使用手部追蹤判斷輸入資料，難以精準的判斷是用者是否有明確的執行輸入的動作，因此容易發生誤判的情形。
有鑑於此，如何提供一種不需要使用者持有控制器，且能正確的產生點擊輸入訊號的技術，乃業界亟需努力之目標。
本發明之一目的在於提供一種頭戴式顯示器。該頭戴式顯示器包含一影像擷取器及一處理器，該處理器耦接至該影像擷取器。該處理器基於該等即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態。該處理器響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢。該處理器響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
本發明之另一目的在於提供一種點擊輸入訊號產生方法，該點擊輸入訊號產生方法用於一電子裝置。該點擊輸入訊號產生方法包含下列步驟：基於包含一使用者之複數個手指之複數個即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態；響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢；以及響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
本發明之另一目的在於提供一種非暫態電腦可讀取記錄媒體，該非暫態電腦可讀取記錄媒體儲存一電腦程式，該電腦程式包含複數個程式指令，該電腦程式在載入一電子裝置後執行一點擊輸入訊號產生方法，該點擊輸入訊號產生方法包含下列步驟：基於包含一使用者之複數個手指之複數個即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態；響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢；以及響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
本發明所提供之點擊輸入訊號產生技術（至少包含頭戴式顯示器、方法及其非暫態電腦可讀取記錄媒體），透過該等即時影像判斷該等手指中是否具有一第一手指對應至一點擊型態。接著，響應於該等手指中具有該第一手指對應至該點擊型態，本發明所提供之點擊輸入訊號產生技術判斷自穿戴式裝置接收之感測訊號是否符合該第一手指之一點擊手勢。最後，響應於該感測訊號符合該第一手指之該點擊手勢，本發明所提供之點擊輸入訊號產生技術產生對應至該第一手指之一點擊輸入訊號。由於本發明僅需要穿戴式裝置及頭戴式顯示器的搭配運作，因此不需要使用者手持裝置或是操作控制器上的實體按鍵。此外，本發明所提供之點擊輸入訊號產生技術，透過即時影像及感測訊號的判斷，可提升使用者點擊輸入資料的正確性。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
以下將透過實施方式來解釋本發明所提供之一種頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
先說明本實施方式的適用場景，其示意圖係描繪於第1圖。如第1圖所示，於本發明的應用環境中，可由一使用者C使用一頭戴式顯示器1，且使用者C穿戴一或多個穿戴式裝置2於手腕上（例如：智慧手環），以進行對應至頭戴式顯示器1的輸入運作（例如：虛擬鍵盤輸入運作）。於本發明的第一實施方式中，頭戴式顯示器1通訊連接至穿戴式裝置2。
須說明者，第1圖僅方便作為例示，本發明並未限制與頭戴式顯示器1所連線的穿戴式裝置2之數目，頭戴式顯示器1可同時與一或多個穿戴式裝置透過網路連線，視裝置的規模及使用者C的實際需求而定。
於本實施方式中，頭戴式顯示器1的架構示意圖描繪於第2圖。如第2圖所示，頭戴式顯示器1包含一影像擷取器11及一處理器13，處理器13耦接至影像擷取器11。
須說明者，影像擷取器11可包含複數個影像擷取單元（例如：複數個深度相機鏡頭），用以產生對應一視野範圍（Field Of View；FOV）之複數個即時影像。處理器13可為各種處理單元、中央處理單元（Central Processing Unit；CPU）、微處理器或本案所屬技術領域中具有通常知識者所知悉之其他計算裝置。
於本實施方式中，頭戴式顯示器1中的影像擷取器11用以擷取包含使用者C之複數個手指之複數個即時影像。
於本實施方式中，頭戴式顯示器1基於該等即時影像，判斷使用者C的該等手指中是否具有一第一手指對應至一點擊型態（pattern）。舉例而言，頭戴式顯示器1可透過手部追蹤（hand tracking）技術分析該等即時影像，以判斷使用者C是否有至少一手指對應至點擊的動作，其中該點擊型態用以指示使用者C執行了一有效點擊的動作。
於某些實施方式中，處理器13可透過計算手指的位移距離以判斷該手指是否對應至點擊型態。具體而言，處理器13基於該等即時影像，計算該等手指各者對應之一位移距離。接著，處理器13基於該等位移距離，判斷該等手指中是否具有該第一手指對應至該點擊型態。
於某些實施方式中，處理器13判斷該等手指中是否具有該第一手指對應之一時間區間（例如：0.3秒）之該位移距離大於一位移閾值。接著，處理器13響應於該第一手指對應之該時間區間之該位移距離大於該位移閾值，判斷該第一手指對應至該點擊型態。
接著，於本實施方式中，為了更精確的判斷使用者C的手部動作是點擊手勢而非其他手勢，處理器13可更基於穿戴式裝置2接收的感測訊號進行手勢分析。具體而言，處理器13響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置（例如：穿戴式裝置2）接收之感測訊號是否符合該第一手指之一點擊手勢（gesture）。其中，該點擊手勢用以指示使用者C執行了與點擊操作相關的手勢。
於本實施方式中，頭戴式顯示器1可自穿戴式裝置2接收一感測訊號。須說明者，頭戴式顯示器1可基於一預定周期（例如：以每秒30次的固定頻率），定期自穿戴式裝置2接收感測訊號。
於本實施方式中，穿戴式裝置2產生的該感測訊號對應至使用者C之該等手指。舉例而言，使用者C可將穿戴式裝置2（例如：智慧手環、智慧手錶等等）穿戴於手腕進行使用者C之手指部位的感測數據收集。
須說明者，由於使用者C透過不同手指點擊時，穿戴式裝置2將會產生對應的感測訊號（即，使用者C使用不同手指點擊時，將產生不同數值的感測訊號），處理器13可透過比對自穿戴式裝置2接收的感測訊號，辨識使用者C是使用哪個手指點擊，且辨識感測訊號是否對應至點擊手勢或是其他的手勢（例如：彈手指的動作）。
舉例而言，當使用者C正確點擊時，其產生的感測訊號通常包含按下手指後抬起手指的一連貫動作。因此，若穿戴式裝置2感測到的感測訊號僅有按下的單一動作時，處理器13判斷使用者C僅是執行一單純的放置動作。
於某些實施方式中，該感測訊號可包含一慣性訊號。舉例而言，如第3A圖所示，穿戴式裝置2包含慣性測量單元21及收發介面23，收發介面23電性連接至慣性測量單元21。慣性測量單元21可用以偵測對應使用者C穿戴穿戴式裝置2之手部之一慣性訊號。收發介面23為可接收及傳輸資料之介面或本案所屬技術領域中具有通常知識者所知悉之其他可接收及傳輸資料之介面。
於某些實施方式中，當穿戴式裝置2包含慣性測量單元21時（例如：第3A圖），處理器13比對該慣性訊號與複數個手勢慣性訊號（例如：已記錄的各個手指的手勢慣性訊號），以辨識該慣性訊號是否符合該第一手指之該點擊手勢。
具體而言，慣性測量單元（Inertial measurement unit；IMU）可持續的產生一序列之複數個慣性訊號（例如：以每秒10次的頻率產生的慣性測量參數串流（stream）），且該等慣性訊號各者可包含一加速度、一旋轉量及一角加速度。於運作時，頭戴式顯示器1可定期的自穿戴式裝置2接收該等慣性訊號。
於某些實施方式中，該感測訊號可包含一肌電圖（Electromyography；EMG）訊號。舉例而言，如第3B圖所示，穿戴式裝置2包含肌電圖測量單元25及收發介面23，收發介面23電性連接至肌電圖測量單元25。肌電圖測量單元25可用以偵測對應使用者C穿戴穿戴式裝置2之手部之一肌電圖訊號。
於某些實施方式中，當穿戴式裝置2包含肌電圖測量單元25時（例如：第3B圖），處理器13比對該肌電圖訊號與複數個手勢肌電圖訊號（例如：已記錄的各個手指的手勢肌電圖訊號），以辨識該肌電圖訊號是否符合該第一手指之該點擊手勢。
於某些實施方式中，為了更精準判斷手指的位置及移動距離，頭戴式顯示器1可更透過穿戴式裝置2上的紅外線定位使用者C的手部各關節位置，且計算該等手指各者之手指位置及位移距離。舉例而言，如第3C圖及3D圖所示，穿戴式裝置2可更包含紅外線發光二極體27，且紅外線發光二極體27用以產生一紅外線。
最後，於本實施方式中，處理器13響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
於某些實施方式中，點擊輸入訊號是對應至第一手指的手指位置。具體而言，處理器13更基於該等即時影像，計算該等手指各者對應之一手指位置（例如：空間中的絕對座標位置或是相對座標位置）。接著，處理器13響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之該手指位置之該點擊輸入訊號。
於某些實施方式中，為了節省運算資源及誤判的發生，頭戴式顯示器1僅會在判斷使用者C的手部位於一虛擬平面（virtual plane）上時，才執行對應的判斷運作。具體而言，處理器13基於該等即時影像，決定一虛擬平面位置。接著，處理器13響應於該等手指位置位於該虛擬平面位置上，判斷該等手指中是否具有該第一手指對應至該點擊型態。
須說明者，處理器13可透過辨識該等即時影像中的一平面區塊，決定該虛擬平面位置。於某些實施方式中，該虛擬平面位置對應至一實體空間中之一實體平面位置（例如：平整的桌面）。於某些實施方式中，使用者C需將雙手放置在實體平面上以執行相應的輸入操作（即，該虛擬平面位置需對應至實體平面位置）。
為便於理解，請參考第4圖的操作示意圖400，其例示了使用者C以右手執行運作的示意圖。於本範例中，使用者C的右手指位於虛擬平面VP。
如第4圖所示，處理器13可計算使用者C手部HD的各個手指與虛擬平面VP的距離，並根據該距離設定該等手指各者對應的位移閾值。舉例而言，大拇指與虛擬平面VP的距離為D1，處理器13可設定大拇指的位移閾值為D1（即，當處理器13判斷使用者C的大拇指位移距離超過D1時，處理器13判斷大拇指對應至該點擊型態）。
又舉例而言，食指與虛擬平面VP的距離為D2，處理器13可設定食指的位移閾值為D2（即，當處理器13判斷使用者C的食指位移距離超過D2時，處理器13判斷食指對應至該點擊型態）。
於某些實施方式中，虛擬平面位置對應至一虛擬鍵盤，且該點擊輸入訊號包含該虛擬鍵盤對應該第一手指之該手指位置之一輸入運作。舉例而言，當處理器13判斷使用者C執行點擊的是大拇指，且大拇指的位置位於虛擬鍵盤的按鍵「S」，處理器13產生的該點擊輸入訊號將包含按鍵「S」的輸入運作。
為便於理解，請參考第5圖的運作時序示意圖500。如第5圖所示，其中運作時序示意圖500的X軸分別對應至大拇指T、食指I、中指M、無名指R、小拇指P的判斷運作時序，以及點擊型態TP及點擊手勢TG的判斷結果。
如第5圖所示，處理器13判斷無名指R在時間區間R1的時間區間（例如：0.3秒）執行了對應的點擊型態，且處理器13判斷該點擊手勢TG對應至點擊（Tapping）手勢T，而非其他手勢O。因此，時間點TMP1對應的點擊型態TP的判斷結果為無名指R，點擊手勢TG的判斷結果為點擊手勢T，且處理器13產生對應無名指R及其手指位置的點擊輸入訊號。
此外，處理器13判斷食指I在時間區間I1的時間區間執行了對應的點擊型態，且處理器13判斷該點擊手勢TG對應至點擊手勢T，而非其他手勢O。因此，時間點TMP2對應的點擊型態TP的判斷結果為食指I，點擊手勢TG的判斷結果為點擊手勢T，且處理器13產生對應食指I及其手指位置的點擊輸入訊號。
此外，由於大拇指T在時間區間T1的時間區間執行的動作幅度未超過位移閾值，處理器13判斷大拇指T的位移非屬於點擊型態，因此處理器13不需進行進一步的判斷。
此外，雖然小拇指P在時間區間P1的時間區間執行的動作幅度超過位移閾值，然而處理器13判斷小拇指P的動作非屬於點擊手勢（即，屬於其他手勢O），因此處理器13不需進行進一步的判斷。
由上述說明可知，本發明所提供之頭戴式顯示器1，透過該等即時影像判斷該等手指中是否具有一第一手指對應至一點擊型態。接著，響應於該等手指中具有該第一手指對應至該點擊型態，頭戴式顯示器1判斷自穿戴式裝置接收之感測訊號是否符合該第一手指之一點擊手勢。最後，響應於該感測訊號符合該第一手指之該點擊手勢，頭戴式顯示器1產生對應至該第一手指之一點擊輸入訊號。由於本揭露僅需要穿戴式裝置及頭戴式顯示器的搭配運作，因此不需要使用者手持裝置或是操作控制器上的實體按鍵。此外，本發明所提供之頭戴式顯示器1，透過即時影像及感測訊號的判斷，提升使用者點擊輸入資料的正確性。
本發明之第二實施方式為一點擊輸入訊號產生方法，其流程圖係描繪於第6圖。點擊輸入訊號產生方法600適用於一電子裝置，例如：第一實施方式所述之頭戴式顯示器1。點擊輸入訊號產生方法600透過步驟S601至步驟S605產生點擊輸入訊號。
於步驟S601，由電子裝置基於包含一使用者之複數個手指之複數個即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態。接著，於步驟S603，由電子裝置響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢。
最後，於步驟S605，由電子裝置響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
於某些實施方式中，點擊輸入訊號產生方法600更包含以下步驟：基於該等即時影像，計算該等手指各者對應之一位移距離；以及基於該等位移距離，判斷該等手指中是否具有該第一手指對應至該點擊型態。
於某些實施方式中，其中判斷該等手指中是否具有該第一手指對應至該點擊型態更包含以下步驟：判斷該等手指中是否具有該第一手指對應之一時間區間之該位移距離大於一位移閾值；以及響應於該第一手指對應之該時間區間之該位移距離大於該位移閾值，判斷該第一手指對應至該點擊型態。
於某些實施方式中，點擊輸入訊號產生方法600更包含以下步驟：基於該等即時影像，計算該等手指各者對應之一手指位置；以及響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之該手指位置之該點擊輸入訊號。
於某些實施方式中，點擊輸入訊號產生方法600更包含以下步驟：基於該等即時影像，決定一虛擬平面位置；以及響應於該等手指位置位於該虛擬平面位置上，判斷該等手指中是否具有該第一手指對應至該點擊型態。
於某些實施方式中，其中該虛擬平面位置對應至一實體空間中之一實體平面位置。
於某些實施方式中，其中該虛擬平面位置對應至一虛擬鍵盤，且該點擊輸入訊號包含該虛擬鍵盤對應該第一手指之該手指位置之一輸入運作。
於某些實施方式中，其中該穿戴式裝置更包含一慣性測量單元，該感測訊號包含一慣性訊號，且該點擊輸入訊號產生方法600更包含以下步驟：比對該慣性訊號與複數個手勢慣性訊號，以辨識該慣性訊號是否符合該第一手指之該點擊手勢。
於某些實施方式中，其中該穿戴式裝置更包含一肌電圖測量單元，該感測訊號包含一肌電圖訊號，且該點擊輸入訊號產生方法600更包含以下步驟：比對該肌電圖訊號與複數個手勢肌電圖訊號，以辨識該肌電圖訊號是否符合該第一手指之該點擊手勢。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之頭戴式顯示器1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
第二實施方式所闡述之追蹤方法可由具有複數個指令之一電腦程式實現。各電腦程式可為能被於網路上傳輸之檔案，亦可被儲存於一非暫態電腦可讀取記錄媒體中。針對各電腦程式，在其所包含之該等指令被載入至一電子裝置（例如：頭戴式顯示器1）之後，該電腦程式執行第二實施方式所述之點擊輸入訊號產生方法。該非暫態電腦可讀取儲存媒體可為一電子產品，例如：一唯讀記憶體（read only memory；ROM）、一快閃記憶體、一軟碟、一硬碟、一光碟（compact disk；CD）、一隨身碟、一可由網路存取之資料庫或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體。
需說明者，於本發明專利說明書及申請專利範圍中，某些用語（包含：手指等等）前被冠以「第一」，該「第一」僅用來區分不同之用語。例如：第一手指中之「第一」僅用來表示該等手指中之一手指。
綜上所述，本發明所提供之點擊輸入訊號產生技術（至少包含頭戴式顯示器、方法及其非暫態電腦可讀取記錄媒體），透過該等即時影像判斷該等手指中是否具有一第一手指對應至一點擊型態。接著，響應於該等手指中具有該第一手指對應至該點擊型態，本發明所提供之點擊輸入訊號產生技術判斷自穿戴式裝置接收之感測訊號是否符合該第一手指之一點擊手勢。最後，響應於該感測訊號符合該第一手指之該點擊手勢，本發明所提供之點擊輸入訊號產生技術產生對應至該第一手指之一點擊輸入訊號。由於本發明僅需要穿戴式裝置及頭戴式顯示器的搭配運作，因此不需要使用者手持裝置或是操作控制器上的實體按鍵。此外，本發明所提供之點擊輸入訊號產生技術，透過即時影像及感測訊號的判斷，可提升使用者點擊輸入資料的正確性。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。
C:使用者
1:頭戴式顯示器
2:穿戴式裝置
11:影像擷取器
13:處理器
21:慣性測量單元
23:收發介面
25:肌電圖測量單元
27:紅外線發光二極體
400:操作示意圖
HD:手
VP:虛擬平面
D1:距離
D2:距離
T:大拇指
I:食指
M:中指
R:無名指
P:小拇指
TP:點擊型態
TG:點擊手勢
500:運作時序示意圖
T1、I1、R1、P1:時間區間
TMP1、TMP2:時間點
600:點擊輸入訊號產生方法
S601、S603、S605:步驟
第1圖係描繪第一實施方式之頭戴式顯示器之適用場景示意圖；
第2圖係描繪某些實施方式之頭戴式顯示器之架構示意圖；
第3A圖係描繪某些實施方式之穿戴式裝置之架構示意圖；
第3B圖係描繪某些實施方式之穿戴式裝置之架構示意圖；
第3C圖係描繪某些實施方式之穿戴式裝置之架構示意圖；
第3D圖係描繪某些實施方式之穿戴式裝置之架構示意圖；
第4圖係描繪某些實施方式之操作示意圖；
第5圖係描繪某些實施方式之運作時序示意圖；以及
第6圖係描繪第二實施方式之點擊輸入訊號產生方法之部分流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
600:點擊輸入訊號產生方法
S601、S603、S605:步驟
Claims (12)
- 一種頭戴式顯示器，包含： 一影像擷取器，用以擷取包含一使用者之複數個手指之複數個即時影像；以及 一處理器，耦接至該影像擷取器，且用以執行以下運作： 基於該等即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態； 響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢；以及 響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
- 如請求項1所述之頭戴式顯示器，其中該處理器更執行以下運作： 基於該等即時影像，計算該等手指各者對應之一位移距離；以及 基於該等位移距離，判斷該等手指中是否具有該第一手指對應至該點擊型態。
- 如請求項2所述之頭戴式顯示器，其中判斷該等手指中是否具有該第一手指對應至該點擊型態更包含以下運作： 判斷該等手指中是否具有該第一手指對應之一時間區間之該位移距離大於一位移閾值；以及 響應於該第一手指對應之該時間區間之該位移距離大於該位移閾值，判斷該第一手指對應至該點擊型態。
- 如請求項1所述之頭戴式顯示器，其中該處理器更執行以下運作： 基於該等即時影像，計算該等手指各者對應之一手指位置；以及 響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之該手指位置之該點擊輸入訊號。
- 如請求項4所述之頭戴式顯示器，其中該處理器更執行以下運作： 基於該等即時影像，決定一虛擬平面位置；以及 響應於該等手指位置位於該虛擬平面位置上，判斷該等手指中是否具有該第一手指對應至該點擊型態。
- 如請求項5所述之頭戴式顯示器，其中該虛擬平面位置對應至一實體空間中之一實體平面位置。
- 如請求項5所述之頭戴式顯示器，其中該虛擬平面位置對應至一虛擬鍵盤，且該點擊輸入訊號包含該虛擬鍵盤對應該第一手指之該手指位置之一輸入運作。
- 如請求項1所述之頭戴式顯示器，其中該穿戴式裝置更包含一慣性測量單元，該感測訊號包含一慣性訊號，且該處理器更執行以下運作： 比對該慣性訊號與複數個手勢慣性訊號，以辨識該慣性訊號是否符合該第一手指之該點擊手勢。
- 如請求項1所述之頭戴式顯示器，其中該穿戴式裝置更包含一肌電圖測量單元，該感測訊號包含一肌電圖訊號，且該處理器更執行以下運作： 比對該肌電圖訊號與複數個手勢肌電圖訊號，以辨識該肌電圖訊號是否符合該第一手指之該點擊手勢。
- 如請求項1所述之頭戴式顯示器，其中該穿戴式裝置更包含一紅外線發光二極體，該紅外線發光二極體用以產生一紅外線，且該處理器更執行以下運作： 基於該等即時影像及該紅外線，計算該等手指各者對應之一手指位置及一位移距離。
- 一種點擊輸入訊號產生方法，用於一電子裝置，該點擊輸入訊號方法包含下列步驟： 基於包含一使用者之複數個手指之複數個即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態； 響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢；以及 響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
- 一種非暫態電腦可讀取記錄媒體，該非暫態電腦可讀取記錄媒體儲存一電腦程式，該電腦程式包含複數個程式指令，該電腦程式在載入一電子裝置後執行一點擊輸入訊號產生方法，該點擊輸入訊號產生方法包含下列步驟： 基於包含一使用者之複數個手指之複數個即時影像，判斷該等手指中是否具有一第一手指對應至一點擊型態； 響應於該等手指中具有該第一手指對應至該點擊型態，判斷自一穿戴式裝置接收之一感測訊號是否符合該第一手指之一點擊手勢；以及 響應於該感測訊號符合該第一手指之該點擊手勢，產生對應至該第一手指之一點擊輸入訊號。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263362888P | 2022-04-13 | 2022-04-13 | |
| US63/362,888 | 2022-04-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202340927A true TW202340927A (zh) | 2023-10-16 |
Family
ID=88307799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112113912A TW202340927A (zh) | 2022-04-13 | 2023-04-13 | 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230333664A1 (zh) |
| CN (1) | CN116909384A (zh) |
| TW (1) | TW202340927A (zh) |
-
2023
- 2023-04-13 US US18/299,722 patent/US20230333664A1/en active Pending
- 2023-04-13 TW TW112113912A patent/TW202340927A/zh unknown
- 2023-04-13 CN CN202310394932.8A patent/CN116909384A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN116909384A (zh) | 2023-10-20 |
| US20230333664A1 (en) | 2023-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105824431B (zh) | 信息输入装置与方法 | |
| TWI543018B (zh) | An input device, an input method, and storage medium | |
| WO2020228643A1 (zh) | 交互控制方法、装置、电子设备及存储介质 | |
| US8743089B2 (en) | Information processing apparatus and control method thereof | |
| CN105159539B (zh) | 可穿戴设备的触控响应方法、装置及可穿戴设备 | |
| JP5802247B2 (ja) | 情報処理装置 | |
| WO2011146070A1 (en) | System and method for reporting data in a computer vision system | |
| US8457924B2 (en) | Control system and method using an ultrasonic area array | |
| TW201830050A (zh) | 追蹤系統、追蹤裝置及追蹤方法 | |
| Mayer et al. | Feasibility analysis of detecting the finger orientation with depth cameras | |
| US20170068321A1 (en) | Gesture Interactive Operation Method | |
| Grady et al. | PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images | |
| Ma et al. | Lift: Using projected coded light for finger tracking and device augmentation | |
| TW202340927A (zh) | 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體 | |
| TW202405621A (zh) | 通過虛擬滑鼠遠程控制擴展實境的系統及方法 | |
| US20240176143A1 (en) | Head-mounted display, controlling method and non-transitory computer readable storage medium thereof | |
| TW202430967A (zh) | 頭戴式顯示器、控制方法及其非暫態電腦可讀取記錄媒體 | |
| TWI697827B (zh) | 控制系統及其控制方法 | |
| TWI626423B (zh) | 手觸偵測裝置、手觸偵測方法及應用其之智慧投影系統 | |
| Brush et al. | Index of Difficulty Measurement for Handedness in Human Computer Interaction | |
| TWI854517B (zh) | 應用於混合實境的動作運算系統及動作運算方法 | |
| CN114415929B (zh) | 电子设备的控制方法、装置、电子设备和可读存储介质 | |
| US12073020B2 (en) | Head-mounted display, unlocking method and non-transitory computer readable storage medium thereof | |
| EP4310637A1 (en) | System and method for remotely controlling extended reality by virtual mouse | |
| TW202335707A (zh) | 應用於混合實境的動作運算系統及動作運算方法 |