TWI839316B - 追蹤系統與整合現有定位系統對接零件之裝置 - Google Patents
追蹤系統與整合現有定位系統對接零件之裝置 Download PDFInfo
- Publication number
- TWI839316B TWI839316B TW112142540A TW112142540A TWI839316B TW I839316 B TWI839316 B TW I839316B TW 112142540 A TW112142540 A TW 112142540A TW 112142540 A TW112142540 A TW 112142540A TW I839316 B TWI839316 B TW I839316B
- Authority
- TW
- Taiwan
- Prior art keywords
- module
- posture
- existing
- docking
- positioning system
- Prior art date
Links
- 238000003032 molecular docking Methods 0.000 title claims abstract description 56
- 230000010354 integration Effects 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000005452 bending Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000005057 finger movement Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
一種追蹤系統與整合現有定位系統對接零件之裝置，係包括一追蹤系統硬體模組、一對接零件、以及一定位軟體模組所構成。藉此，本發明所提追蹤系統與整合現有定位系統對接零件之裝置，其主要功能為捕捉使用者的手指動作，並將其即時地同步到電腦中，並設計能與現有第三方定位系統相容之對接零件，讓本發明之裝置可以搭配目前市售的定位系統（例如：HTC VIVE 移動定位器(VIVE Tracker)、Oculus Quest等）一起使用，從而能在現有的遊戲引擎（Game Engine）中進行應用。
Description
本發明係有關於一種追蹤系統與整合現有定位系統對接零件之
裝置，尤指涉及一種遊戲引擎相關支援工具，特別係指可捕捉並同步使用者手勢與手部的絕對姿態資料到電腦中。
從人機互動介面系統的操作與觸覺感知回饋的角度而言，目前市
場上的產品主要可以分成手持式控制器互動與手套型控制器互動兩種操作方式。關於該手持式控制器互動的部分，使用者透過操作手持式控制器上的按鈕與搖桿來與電腦進行互動，而這類互動方式的主要缺點是使用者必須在使用的過程中全程手持一個額外的控制器，並且學習如何使用該控制器來做互動，且該控制器僅能以振動的方式進行簡易的觸覺回饋，因此就操作時的沉浸性與直觀性而言，這類的操作與回饋方式並不是很理想；關於該手套型控制器互動的部分，主要是透過手套上的感測器或手套上的特定標記點搭配外部設備來進行使用者手部位置與手勢的辨別，這類的互動方式讓使用者可以直接用手及手勢與電腦進行互動，從操作的直觀性而言，這類的操作方式較為理想，又手套類型可以搭配其它機構與致動系統（例如外骨骼系統、外肌腱系統、振動馬達等）一起使用，因此可以提供更加真實的觸覺感知回饋給使用者。
針對現有手套型控制器之操作方式，其中透過手套上之感測器來
進行使用者手勢偵測的部分，目前市場上常見的方式為採用柔性感測器（Flex Sensor）、及慣性量測元件（Inertial Measurement Unit）等感測器來進行各手指彎曲角度與方位的估計，但由於該柔性感測器僅能量測一個旋轉自由度的運動，且長時間彎折容易損壞，而該慣性量測元件則有感測器數據會隨時間而偏移（Drifting）的特性，造成長時間使用時的量測數據誤差會越來越大，故採用這類型感測器來做定位並不是很理想；透過手套上的特定標記點搭配外部設備來進行使用者手勢偵測的部分，目前市場上常見的方式係採用光學定位的方式來追蹤各手指的位置，由於光直線前進的性質，因此光學定位會有障礙物遮擋的缺點，儘管這個問題可以透過架設多部攝影機或限制手部運動範圍來解決，但架設多部攝影機會有成本增加與使用空間的限制，而限制手部運動範圍會影響使用者在使用時的操作與體驗，因此對於穿戴式裝置而言，這樣的作法並不是很理想。
鑑於習知技藝之各項問題，為了能夠兼顧解決之，發展一套可捕
捉使用者的手指在實際空間中的絕對姿態之發明實有必要。
本發明之主要目的係在於，克服習知技藝所遭遇之上述問題並提
供一種可捕捉使用者的手指動作，並將其即時地同步到電腦中，並設計能與現有第三方定位系統相容之對接零件，讓本發明之裝置可以搭配目前市售的定位系統（例如：HTC VIVE 移動定位器(VIVE Tracker)、Oculus Quest等）一起使用，從而能在現有的遊戲引擎（Game Engine）中進行應用之追蹤系統與整合現有定位系統對接零件之裝置。
為達以上之目的，本發明係一種追蹤系統與整合現有定位系統對
接零件之裝置，係包括：一追蹤系統硬體模組，主要具有一訊號發射器（Signal Emitter）、數個感測器模組（Sensor Module）與一系統控制器（System Controller），該些感測器模組會安裝於使用者的指尖位置與手背上，該訊號發射器與該系統控制器會安裝於該使用者的手背上，該訊號發射器接收該系統控制器的控制訊號，產生已知的電磁訊號，當該使用者的手指與該訊號發射器產生相對運動時，安裝於指尖的該些感測器模組將量測該訊號發射器所產生的電磁訊號，並將所得的量測訊號輸出；一對接零件，係安裝於該使用者手背上，用以與現有定位系統進行對接；以及一定位軟體模組，係與該追蹤系統硬體模組構成一追蹤系統，該定位軟體模組具有一連接該些感測器模組之訊號處理算法模組（Signal Processing Module）、一連接該訊號處理算法模組之姿態估計算法模組（Posture Estimation Module）、與一連接該姿態估計算法模組之手勢估計算法模組（Hand Gesture Estimation Module），該訊號處理算法模組接收來自該些感測器模組的該些量測訊號進行訊號處理，並將處理過後的訊號交由該姿態估計算法模組計算出每一感測器模組的姿態，得到各手指相對於該訊號發射器的姿態資料，最後再利用該些姿態資料透過該手勢估計算法模組進行計算，得到該使用者的每隻手指每個關節的彎曲狀況與手部相對姿態；其中，若使用該對接零件並搭配該現有第三方定位系統一起使用，透過該對接零件之已知幾何設計參數，建立該現有第三方定位系統與該追蹤系統的姿態關係，並運用該姿態關係計算出該使用者手指在實際空間中的絕對姿態。
於本發明上述實施例中，該對接零件根據該現有定位系統的種類
主要分為追蹤器對接零件（Tracker Docking Mechanism）與手持式控制器對接零件（Handheld Controller Docking Mechanism）。
請參閱『第１圖～第９圖』所示，係分別為本發明之硬體配置示
意圖、本發明使用對接零件搭配現有定位系統一之硬體配置示意圖、本發明使用對接零件搭配現有定位系統二之硬體配置示意圖、本發明之定位軟體架構示意圖、本發明整體裝置之座標轉換示意圖、本發明使用對接零件搭配現有定位系統一之整體裝置的座標轉換示意圖、本發明使用對接零件搭配現有定位系統二之整體裝置的座標轉換示意圖、本發明之硬體與軟體模組間資料傳輸示意圖、及本發明所提裝置之系統運作流程示意圖。如圖所示：本發明係一種追蹤系統與整合現有定位系統對接零件之裝置，可捕捉並同步使用者手勢與手部的絕對姿態資料到電腦中，其係包括一追蹤系統硬體模組１、一對接零件２、以及一定位軟體模組３所構成。
上述所提之追蹤系統硬體模組１如第１圖所示，主要具有一訊號
發射器（Signal Emitter）１１、數個感測器模組（Sensor Module）１２與一系統控制器（System Controller）１３。該些感測器模組１２係安裝於使用者的指尖位置與手背上，該訊號發射器１１與該系統控制器１３係透過一平台１４安裝於該使用者的手背上。
該對接零件２係透過該平台１４安裝於該使用者手背上，並與該
系統控制器１３電性連接，用以與現有定位系統進行對接，而該現有定位系統可為追蹤器４或手持式控制器５。該對接零件２根據該現有定位系統的種類主要分為追蹤器對接零件（Tracker Docking Mechanism）２ａ，如第２圖所示，與手持式控制器對接零件（Handheld Controller Docking Mechanism）２ｂ，如第３圖所示。
該定位軟體模組３係與該追蹤系統硬體模組１構成一追蹤系統。
該定位軟體模組３之架構如第４圖所示，係具有一連接該些感測器模組１２之訊號處理算法模組（Signal Processing Module）３１、一連接該訊號處理算法模組３１之姿態估計算法模組（Posture Estimation Module）３２、與一連接該姿態估計算法模組３２之手勢估計算法模組（Hand Gesture Estimation Module）３３，該手勢估計算法模組３３並連接至一遊戲引擎（Game Engine）６進行圖形渲染（graphic rendering）。如是，藉由上述揭露之流程構成一全新之追蹤系統與整合現有定位系統對接零件之裝置。
本發明所提追蹤系統與整合現有定位系統對接零件之裝置，在未
使用對接零件２時，其座標轉換如第５圖所示，當使用對接零件２時，其座標轉換如第６、７圖所示；其中該第６圖係含追蹤器４與追蹤器對接零件２ａ的座標轉換圖，該第７圖係含手持式控制器５與手持式控制器對接零件２ｂ的座標轉換圖。並且，本裝置的硬體與軟體資料傳遞如第８圖所示。
當運用時，本裝置的系統運作流程如第９圖所示，於步驟s11中，
該訊號發射器１１接收來自該系統控制器１３的控制訊號後會產生已知的電磁訊號，且當使用者的手指與該訊號發射器１１產生相對運動時，由步驟s12安裝於指尖的該些感測器模組１２量測該訊號發射器１１所產生的電磁訊號，並將所得的量測訊號傳遞至該訊號處理算法模組３１中進行訊號處理，接著於步驟s13將處理過後的訊號交由該姿態估計算法模組３２計算出每一感測器模組１２的姿態，得到各手指相對於該訊號發射器１１的姿態資料，最後再於步驟s14透過該手勢估計算法模組３３，利用各手指相對於該訊號發射器１１的姿態資料進行手勢估計計算，得到該使用者的每隻手指每個關節的彎曲狀況與手部相對姿態；其中，若使用該對接零件２並搭配該現有第三方定位系統一起使用，透過該對接零件２之已知幾何設計參數，建立該現有第三方定位系統與該追蹤系統的姿態關係，並運用該姿態關係即可計算出該使用者手指在實際空間中的絕對姿態。
藉此，本發明所提追蹤系統與整合現有定位系統對接零件之裝
置，其主要功能為捕捉使用者的手指動作，並將其即時地同步到電腦中，並設計能與現有第三方定位系統相容之對接零件，讓本發明之裝置可以搭配目前市售的定位系統（例如：HTC VIVE 移動定位器(VIVE Tracker)、Oculus Quest等）一起使用，從而能在現有的遊戲引擎（Game Engine）中進行應用。
綜上所述，本發明係一種追蹤系統與整合現有定位系統對接零件
之裝置，可有效改善習用之種種缺點，有效捕捉使用者手指的姿態，若搭配現有第三方定位系統與本發明之對接零件，即可捕捉使用者的手指在實際空間中的絕對姿態，進而使本發明之產生能更進步、更實用、更符合使用者之所須，確已符合發明專利申請之要件，爰依法提出專利申請。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定
本發明實施之範圍；故，凡依本發明申請專利範圍及發明說明書內容所作之簡
單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
１:追蹤系統硬體模組
１１:訊號發射器
１２:感測器模組
１３:系統控制器
１４:平台
２:對接零件
２ａ:追蹤器對接零件
２ｂ:手持式控制器對接零件
３:定位軟體模組
３１:訊號處理算法模組
３２:姿態估計算法模組
３３:手勢估計算法模組
４:追蹤器
５:手持式控制器
６:遊戲引擎
第１圖，係本發明之硬體配置示意圖。
第２圖，係本發明使用對接零件搭配現有定位系統一之硬體配置示意圖。
第３圖，係本發明使用對接零件搭配現有定位系統二之硬體配置示意圖。
第４圖，係本發明之定位軟體架構示意圖。
第５圖，係本發明整體裝置之座標轉換示意圖。
第６圖，係本發明使用對接零件搭配現有定位系統一之整體裝置的座標轉換示意圖。
第７圖，係本發明使用對接零件搭配現有定位系統二之整體裝置的座標轉換示意圖。
第８圖，係本發明之硬體與軟體模組間資料傳輸示意圖。
第９圖，係本發明所提裝置之系統運作流程示意圖。
1:追蹤系統硬體模組
11:訊號發射器
12:感測器模組
13:系統控制器
14:平台
3:定位軟體模組
31:訊號處理算法模組
32:姿態估計算法模組
33:手勢估計算法模組
Claims (2)
- 一種追蹤系統與整合現有定位系統對接零件之裝置，係包括： 一追蹤系統硬體模組，主要具有一訊號發射器（Signal Emitter）、數個感測器模組（Sensor Module）與一系統控制器（System Controller），該些感測器模組會安裝於使用者的指尖位置與手背上，該訊號發射器與該系統控制器會安裝於該使用者的手背上，該訊號發射器接收該系統控制器的控制訊號，產生已知的電磁訊號，當該使用者的手指與該訊號發射器產生相對運動時，安裝於指尖的該些感測器模組將量測該訊號發射器所產生的電磁訊號，並將所得的量測訊號輸出； 一對接零件，係安裝於該使用者手背上，用以與現有定位系統進行對接；以及 一定位軟體模組，係與該追蹤系統硬體模組構成一追蹤系統，該定位軟體模組具有一連接該些感測器模組之訊號處理算法模組（Signal Processing Module）、一連接該訊號處理算法模組之姿態估計算法模組（Posture Estimation Module）、與一連接該姿態估計算法模組之手勢估計算法模組（Hand Gesture Estimation Module），該訊號處理算法模組接收來自該些感測器模組的該些量測訊號進行訊號處理，並將處理過後的訊號交由該姿態估計算法模組計算出每一感測器模組的姿態，得到各手指相對於該訊號發射器的姿態資料，最後再利用該些姿態資料透過該手勢估計算法模組進行計算，得到該使用者的每隻手指每個關節的彎曲狀況與手部相對姿態；其中，若使用該對接零件並搭配該現有第三方定位系統一起使用，透過該對接零件之已知幾何設計參數，建立該現有第三方定位系統與該追蹤系統的姿態關係，並運用該姿態關係計算出該使用者手指在實際空間中的絕對姿態。
- 依申請專利範圍第１項所述之追蹤系統與整合現有定位系統對接零件之裝置，其中，該對接零件根據該現有定位系統的種類主要分為追蹤器對接零件（Tracker Docking Mechanism）與手持式控制器對接零件（Handheld Controller Docking Mechanism）。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112142540A TWI839316B (zh) | 2023-11-03 | 2023-11-03 | 追蹤系統與整合現有定位系統對接零件之裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW112142540A TWI839316B (zh) | 2023-11-03 | 2023-11-03 | 追蹤系統與整合現有定位系統對接零件之裝置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI839316B true TWI839316B (zh) | 2024-04-11 |
Family
ID=91618586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW112142540A TWI839316B (zh) | 2023-11-03 | 2023-11-03 | 追蹤系統與整合現有定位系統對接零件之裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI839316B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202108086A (zh) * | 2019-08-30 | 2021-03-01 | 國立中央大學 | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 |
| TW202207109A (zh) * | 2020-08-07 | 2022-02-16 | 國立中央大學 | 工程專案文件管理方法與系統 |
| TW202215450A (zh) * | 2020-10-08 | 2022-04-16 | 國立中央大學 | 電腦輔助手術路徑規劃之電腦實施方法、電腦輔助處理裝置與電腦程式產品 |
-
2023
- 2023-11-03 TW TW112142540A patent/TWI839316B/zh active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW202108086A (zh) * | 2019-08-30 | 2021-03-01 | 國立中央大學 | 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法 |
| TW202207109A (zh) * | 2020-08-07 | 2022-02-16 | 國立中央大學 | 工程專案文件管理方法與系統 |
| TW202215450A (zh) * | 2020-10-08 | 2022-04-16 | 國立中央大學 | 電腦輔助手術路徑規劃之電腦實施方法、電腦輔助處理裝置與電腦程式產品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10534431B2 (en) | Tracking finger movements to generate inputs for computer systems | |
| US10521011B2 (en) | Calibration of inertial measurement units attached to arms of a user and to a head mounted device | |
| US10775946B2 (en) | Universal handheld controller of a computer system | |
| Fang et al. | A robotic hand-arm teleoperation system using human arm/hand with a novel data glove | |
| US6515669B1 (en) | Operation input device applied to three-dimensional input device | |
| US11409357B2 (en) | Natural human-computer interaction system based on multi-sensing data fusion | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| Reddivari et al. | Teleoperation control of Baxter robot using body motion tracking | |
| TWI724478B (zh) | 手指姿態偵測裝置、控制總成與校正方法 | |
| JP5588089B1 (ja) | アームの制御装置及び制御方法及び制御プログラム、ロボット、並びに、アームの制御用集積電子回路 | |
| KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| CN102814814A (zh) | 一种双臂机器人基于Kinect的人机交互方法 | |
| US20210109606A1 (en) | Automatic Switching between Different Modes of Tracking User Motions to Control Computer Applications | |
| JP3742879B2 (ja) | ロボットアーム・ハンド操作制御方法、ロボットアーム・ハンド操作制御システム | |
| JP2008135033A (ja) | 手姿勢動作検出装置 | |
| JP5588090B1 (ja) | アームの制御装置及び制御方法及び制御プログラム、ロボット、並びに、アームの制御用集積電子回路 | |
| TWI839316B (zh) | 追蹤系統與整合現有定位系統對接零件之裝置 | |
| Grasshoff et al. | 7dof hand and arm tracking for teleoperation of anthropomorphic robots | |
| TW202405621A (zh) | 通過虛擬滑鼠遠程控制擴展實境的系統及方法 | |
| WO2015081705A1 (zh) | 一种空中触控系统 | |
| Wang et al. | A Research on Virtual Training System Based on Force Feedback Data Glove | |
| TW201913298A (zh) | 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法 | |
| RU2673406C1 (ru) | Способ изготовления перчатки виртуальной реальности | |
| Ugale et al. | Overview on latest gesture controlled systems for robotic arm | |
| Vuyyuru et al. | Performing Basic Tasks on Computer using Hand Gestures & Ultrasonic Sensors |