TWI796192B - 具有手部姿勢操控之虛擬系統 - Google Patents
具有手部姿勢操控之虛擬系統 Download PDFInfo
- Publication number
- TWI796192B TWI796192B TW111112599A TW111112599A TWI796192B TW I796192 B TWI796192 B TW I796192B TW 111112599 A TW111112599 A TW 111112599A TW 111112599 A TW111112599 A TW 111112599A TW I796192 B TWI796192 B TW I796192B
- Authority
- TW
- Taiwan
- Prior art keywords
- module
- image
- hand
- dimensional
- virtual space
- Prior art date
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本發明提供一種具有手部姿勢操控之虛擬系統,其包含:頭戴顯示器及終端裝置,終端裝置連接至雲端伺服器以獲取三維虛擬空間及複數三維物品,終端裝置將三維虛擬空間及三維物品顯示於頭戴顯示器;終端裝置存有複數手部姿勢及複數操作指令;終端裝置提供拍攝使用者對應三維虛擬空間或三維物品進行無接觸操控之操作影像;終端裝置將操作影像透過影像運算處理提取手部影像並標記骨架影像並與各手部姿勢進行比對,以獲取匹配之手部姿勢及操作指令並反饋回應於三維虛擬空間或三維物品,以於三維虛擬空間內移動或對三維物品進行無接觸操控。
Description
本發明係關於一種人機介面相關領域,尤指一種具有手部姿勢操控之虛擬系統。
虛擬實境英文全名為Virtual Reality,一般簡稱VR;體驗虛擬實境時會搭配頭戴顯示器(HMD)完全罩住眼睛可視範圍,使用者看不到真實環境,完全沉浸在頭戴顯示器呈現的虛擬世界中,並且大多會以操作控制器來與虛擬世界中的內容進行互動。
而控制器是直接安裝在使用者手上或是使用者以手持方式拿著,這類控制器需要使用者戴上特殊設計的數據手套,以偵測使用者手部的動作再進一步辨識,其中,控制器的感測方式包括:加速度器、陀螺儀、可撓式電阻、紅外線測距與肌肉生理電訊號等等。
使用控制器監測使用者手部動作的特點是可以偵測較為精確、細緻的手部動作,但也因為如此,其運算處理方式也較為複雜,容易發生運算延遲,導致辨識反應延遲的問題。
而且控制器的型態難以完全符合每位使用者的使用習慣,容易造成使用者配戴時的不適感,造成使用時的負擔;因此,如何改善現有使用虛擬實境的不便性,顯得十分重要。
為解決上述課題,本發明提供一種具有手部姿勢操控之虛擬系統,能夠以非接觸式的手部影像操控方式控制三維虛擬空間,以達到無控制器及無接觸式的操控效果。
本發明之一項實施例提供一種具有手部姿勢操控之虛擬系統,其包含:一頭戴顯示器,其用配戴於使用者的頭部,頭戴顯示器具有一螢幕,螢幕對應於使用者的眼睛;以及一終端裝置,其裝設於頭戴顯示器,終端裝置具有一通訊模組、一顯示模組、一資料庫、一攝影模組及一控制模組,通訊模組連接至一雲端伺服器,雲端伺服器設有一三維虛擬空間,三維虛擬空間具有複數三維物品,該通訊模組能夠將該三維虛擬空間及各該三維物品傳送至顯示模組;顯示模組與螢幕耦接,顯示模組能夠將三維虛擬空間搭配各三維物品顯示於螢幕;資料庫存有複數手部姿勢及對應各手部姿勢之一操作指令;攝影模組提供拍攝使用者對應三維虛擬空間或其中一三維物品進行無接觸操控之一操作影像;控制模組由攝影模組接收操作影像,控制模組將操作影像透過一影像運算處理提取一手部影像,且由手部影像標記一骨架影像,控制模組將骨架影像與資料庫存有的各手部姿勢進行比對,以獲取匹配之其中一手部姿勢及對應之操作指令,控制模組將獲取之操作指令反饋回應於三維虛擬空間或三維物品,以於三維虛擬空間內移動或對三維物品進行無接觸操控。
藉由上述,本發明能夠拍攝使用者對應三維虛擬空間或三維物品的操作影像,並將操作影像進行分析以取得對應之操作指令,由操作指令反饋控制頭戴顯示器所呈現的三維虛擬空間或三維物品;藉此,達到無接觸式的操控效果,改善習知需要透過控制器操控虛擬空間之不便性。
為便於說明本發明於上述發明內容一欄中所表示的中心思想,茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪,而非按實際元件的比例予以繪製,合先敘明。
請參閱圖1至圖7所示,本發明提供一種具有手部姿勢操控之虛擬系統100,其包含:
本發明提供一種具有手部姿勢操控之虛擬系統100,其包含:
一頭戴顯示器10,其用配戴於使用者1的頭部,頭戴顯示器10具有一螢幕11,螢幕11對應於使用者1的眼睛,螢幕11能夠顯示三維畫面。
一終端裝置20,其裝設於頭戴顯示器10,終端裝置20具有一通訊模組21、一顯示模組22、一資料庫23、一攝影模組24及一控制模組25,通訊模組21透過網際網路連接至一雲端伺服器2,雲端伺服器2設有一三維虛擬空間3,三維虛擬空間3具有複數三維物品4,通訊模組21能夠將三維虛擬空間3及各三維物品4傳送至顯示模組22,顯示模組22能夠與螢幕11耦接,顯示模組22能夠將三維虛擬空間3搭配各三維物品4傳送並顯示於螢幕11;其中,三維虛擬空間3能夠是旅遊景點、飯店、餐飲店、賣場、汽車展示間等等,三維物品4則對應三維虛擬空間3的類型設置,但本發明不以此為限。
資料庫23存有複數手部姿勢231及對應各手部姿勢231之一操作指令;於本發明實施例中,手部姿勢231所對應的操作指令能夠為(1)手部姿勢231為食指向上對應操作指令為上移;(2)手部姿勢231為食指向下對應操作指令為下移;(3)手部姿勢231為握拳且指部面相攝影模組24對應操作指令為返回;(4)手部姿勢231為推掌對應操作指令為繼續或向前;(5)手部姿勢231為OK手勢對應操作指令為點擊;(6)手部姿勢231為握拳且掌部面相攝影模組24對應操作指令為停止;(7)手部姿勢231為大拇指向左對應操作指令為左移;(8)手部姿勢231為大拇指向右對應操作指令為右移,如圖2所示;但本發明不以此為限。
攝影模組24提供拍攝使用者1對應三維虛擬空間3或其中一三維物品4進行無接觸操控之一操作影像;控制模組25由攝影模組24接收操作影像,控制模組25將操作影像透過一影像運算處理提取一手部影像,且由手部影像標記一骨架影像,控制模組25將骨架影像與資料庫23存有的各手部姿勢231進行比對,以獲取匹配之其中一手部姿勢231及對應之操作指令,控制模組25將獲取之操作指令反饋回應於三維虛擬空間3或三維物品4,以於三維虛擬空間3內移動或對三維物品4進行無接觸操控;於本發明實施例中,影像運算處理為電腦視覺(Computer Vision)結合深度學習(Deep Learning)。
再者,控制模組25透過一資料標示程式(LabelImg)於手部影像H標記骨架影像I,其中,骨架影像I具有複數支點P及複數支桿S,各支點P對應手部之各指節及手部與手腕交界處,每一支桿S連結於相鄰兩支點P之間,每一支點P具有專屬編碼,如圖3所示;而控制模組25能夠判斷各支點P彼此之間的位置關係,以由資料庫23取得匹配的其中一手部姿勢231。
另外,控制模組25會接收由攝影模組24傳送之動態操作影像,而控制模組25會將操作影像依照時序分割為複數階段操作影像,控制模組25將每一階段操作影像進行影像運算處理,並依照時序產生複數個標記有骨架影像I之手部影像H,且依照時序由資料庫23獲取操作指令,控制模組25將獲取之操作指令反饋回應於三維虛擬空間3或三維物品4,以於三維虛擬空間3內移動或對三維物品4進行無接觸操控。
終端裝置20更具有一編輯模組26,該編輯模組26與該資料庫23耦接,編輯模組26能夠將資料庫23中各手部姿勢231及對應之操作指令顯示於顯示介面,編輯模組26能夠選取其中一手部姿勢231進行編輯,以變更選取之手部姿勢231及對應之操作指令。
再者,編輯模組26更能夠啟用攝影模組24拍攝一樣本影像,並將樣本影像傳送至控制模組25經過影像運算處理產生標記有骨架影像I之手部影像H,編輯模組26能將標記有骨架影像I之手部影像H,取代資料庫23之其中一手部姿勢231或是設定對應其中一操作指令。
終端裝置20更具有一金融模組27,其與控制模組25耦接,金融模組27具有一結帳選項,結帳選項配合三維虛擬空間3顯示於顯示介面,控制模組25能將獲取之操作指令反饋回應於被選取之三維物品4並點選結帳選項,以對被選取之三維物品4進行無接觸操控之結帳作業,其中,金融模組27能計算產生一消費金額,並將消費金額透過顯示模組22呈現於螢幕11,以提供使用者1對應結帳作業所產生的操作影像,取得對應之操作指令進行繳納消費金額。
舉例說明,請參閱圖1、圖4及圖5所示,當螢幕11所顯示的三維虛擬空間3是購物賣場,而三維物品4則為賣場所銷售的商品,使用者1能夠於三維虛擬空間3內以購物型態進行選購物品及消費,當使用者1於三維虛擬空間3選購物品同時,金融模組27會將每個被選取的三維物品4之金額進行計算而取得消費金額,並且會於螢幕11顯示消費金及結帳選項,使用者1能夠透過無接觸式操作金融模組27進行結帳作業。
通訊模組21能由雲端伺服器2獲取一地圖資訊5,地圖資訊5對應三維虛擬空間3;終端裝置20更具有一定位模組28,定位模組28與控制模組25耦接,定位模組28能獲取使用者1位於三維虛擬空間3的所在位置,以產生一位置訊號;定位模組28能夠將位置訊號傳送至控制模組25,控制模組25能夠將位置訊號透過圖形化處理產生一位置圖形281並標記於地圖資訊5,如圖1及圖5所示;控制模組25將具有位置圖形281之地圖資訊5搭配透過顯示模組22配合三維虛擬空間3呈現於螢幕11。
再者,終端裝置20更具有一導航模組29,導航模組29具有一查詢單元291及一導引單元292,查詢單元291能呈現地圖資訊5,地圖資訊5具有複數區域資訊6,查詢單元291提供使用者1以操作影像所產生的操作指令反饋選取其中一區域資訊6,導引單元292接收到被選取的區域資訊6並運算規劃產生一虛擬路線資訊L,使用者1於三維虛擬空間3內能依據虛擬路線資訊L移動至所選取的區域資訊6。
舉例說明,請參閱圖1及圖5至圖7所示,當螢幕11所顯示的三維虛擬空間3是購物賣場,而地圖資訊5則對應購物賣場,各區域資訊6則為此購物賣場中的生鮮區、衣物區、家電區、文具區、食品區等等,當使用者1處於食品區時,定位模組28能夠產生對應的位置訊號,定位模組28所產生的位置訊號傳送至控制模組25,由控制模組25將位置訊號透過圖形化處理產生位置圖形281標記於地圖資訊5上對應於生鮮區的區域資訊6中,使用者1能夠透過查詢單元291選取區域資訊6之衣物區,而導引單元292會進行食品區前往衣物區的路徑規劃,以產生對應之虛擬路線資訊L,如此一來,使用者1於三維虛擬空間3內能依據虛擬路線資訊L移動至所選取的區域資訊6之衣物區。
綜合上述,本發明能夠達成下列功效:
1. 本發明具有手部姿勢操控之虛擬系統100,能夠拍攝使用者1對應三維虛擬空間3或三維物品4的操作影像,並將操作影像進行分析以取得對應之操作指令,由操作指令反饋控制頭戴顯示器10所呈現的三維虛擬空間3或三維物品4,藉以達到無接觸式及無控制器的操控效果。
2.本發明具有手部姿勢操控之虛擬系統100,能夠提供使用者1自行建立或修改手部姿勢231及操作指令,以因應不同使用者1的操作習慣,進而提升使用廣度及便利性。
3.本發明具有手部姿勢操控之虛擬系統100,能夠提供在三維虛擬空間3內的定位及導航,以免發生迷航問題;並且透過虛擬路線資訊L能夠快速且準確移動至所需前往的區域資訊6,提供使用上的便利性。
以上所舉實施例僅用以說明本發明而已,非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化,俱屬本發明意欲保護之範疇。
1:使用者
2:雲端伺服器
3:三維虛擬空間
4:三維物品
5:地圖資訊
6:區域資訊
100:具有手部姿勢操控之虛擬系統
10:頭戴顯示器
11:螢幕
20:終端裝置
21:通訊模組
22:顯示模組
23:資料庫
231:手部姿勢
24:攝影模組
25:控制模組
26:編輯模組
27:金融模組
28:定位模組
281:位置圖形
29:導航模組
291:查詢單元
292:導引單元
I:骨架影像
P:支點
S:支桿
H:手部影像
L:虛擬路線資訊
圖1係本發明架構方塊圖。
圖2係本發明手部姿勢及對應操作指令示意圖。
圖3係本發明標記有骨架影像之手部影像。
圖4係本發明實施例示意圖(一),表示使用者配戴頭戴顯示器進行無接觸操控。
圖5係本發明實施例示意圖(二),表示地圖資訊配合三維虛擬空間顯示於螢幕。
圖6係本發明實施例示意圖(三),表示使用者透過操作指令回應於查詢單元。
圖7係本發明實施例示意圖(四),表示導引單元於地圖資訊產生虛擬路線資訊。
2:雲端伺服器
3:三維虛擬空間
4:三維物品
5:地圖資訊
6:區域資訊
100:具有手部姿勢操控之虛擬系統
10:頭戴顯示器
20:終端裝置
21:通訊模組
22:顯示模組
23:資料庫
24:攝影模組
25:控制模組
26:編輯模組
27:金融模組
28:定位模組
29:導航模組
291:查詢單元
292:導引單元
Claims (8)
- 一種具有手部姿勢操控之虛擬系統,其包含:一頭戴顯示器,其用配戴於使用者的頭部,該頭戴顯示器具有一螢幕,該螢幕對應於使用者的眼睛;以及一終端裝置,其裝設於該頭戴顯示器,該終端裝置具有一通訊模組、一顯示模組、一資料庫、一攝影模組及一控制模組,該通訊模組連接至一雲端伺服器,該雲端伺服器設有一三維虛擬空間,該三維虛擬空間具有複數三維物品,該通訊模組能夠將該三維虛擬空間及各該三維物品傳送至該顯示模組;該顯示模組與該螢幕耦接,該顯示模組能夠將該三維虛擬空間搭配各該三維物品顯示於該螢幕;該資料庫存有複數手部姿勢及對應各該手部姿勢之一操作指令;該攝影模組提供以動態拍攝追蹤使用者對應該三維虛擬空間或其中一三維物品進行無接觸操控之一操作影像;該操作影像為動態影像,該控制模組由該攝影模組接收該操作影像,該控制模組將該操作影像依照時序分割為複數階段操作影像,該控制模組將每一階段操作影像進行該影像運算處理且提取一手部影像,並依照時序產生複數個標記有一骨架影像之各該手部影像,該控制模組依照時序由該資料庫獲取與各該手部影像匹配之各該操作指令,該控制模組將獲取之所述操作指令反饋回應於該三維虛擬空間或所述三維物品,以於該三維虛擬空間內移動或對所述三維物品進行無接觸操控。
- 如請求項1所述之具有手部姿勢操控之虛擬系統,其中,該骨架影像具有複數支點及複數支桿,各該支點對應手部之各指節及手部與手腕交界處,每一支桿連結於相鄰兩支點之間,每一支點具有專屬編碼,該控制模組判斷各該支點彼此之間的位置關係,以由該資料庫取得匹配的其中一手部姿勢。
- 如請求項1所述之具有手部姿勢操控之虛擬系統,其中,該終端裝置更具有一編輯模組,該編輯模組與該資料庫耦接,該編輯模組能夠將該資料庫中各該手部姿勢及對應之操作指令顯示於該頭戴顯示器之螢幕,該編輯模組能夠選取其中一手部姿勢進行編輯,以變更選取之所述手部姿勢及對應之操作指令。
- 如請求項3所述之具有手部姿勢操控之虛擬系統,其中,該編輯模組更與該攝影模組及該控制模組耦接,該編輯模組能夠啟用該攝影模組拍攝一樣本影像,並將該樣本影像傳送至該控制模組經過該影像運算處理產生標記有該骨架影像之該手部影像,該編輯模組能將標記有該骨架影像之該手部影像,取代該資料庫之其中一手部姿勢或是設定對應其中一操作指令。
- 如請求項3所述之具有手部姿勢操控之虛擬系統,其中,該終端裝置更具有一金融模組,其與該控制模組耦接,該金融模組具有一結帳選項,該結帳選項配合該三維虛擬空間顯示於該顯示介面,該控制模組能將獲取之所述操作指令反饋回應於被選取之所述三維物品並點選該結帳選項,以對被選取之所述三維物品進行無接觸操控之結帳作業,該金融模組能計算產生一消費金額,並將該消費金額透過該顯示模組呈現於該螢幕,以提供使用者對應結帳作業所產生的該操作影像,取得對應之所述操作指令進行繳納該消費金額。
- 如請求項3所述之具有手部姿勢操控之虛擬系統,其中,該通訊模組能由該雲端伺服器獲取一地圖資訊,該地圖資訊對應該三維虛擬空間;該終端裝置具有一定位模組,該定位模組能獲取使用者位於該三維虛擬空間的所在位置,以產生一位置訊號;該定位模組能夠將該位置訊號傳送至該控制模組,該控制模組能夠將該位置訊號透過圖形化處理產生一位置圖形並標記於該地圖 資訊,該控制模組將具有該位置圖形之該地圖資訊搭配透過該顯示模組配合該三維虛擬空間呈現於該螢幕。
- 如請求項6所述之具有手部姿勢操控之虛擬系統,其中,該終端裝置具有一導航模組,該導航模組具有一查詢單元及一導引單元,該查詢單元能呈現該地圖資訊,該地圖資訊具有複數區域資訊,該查詢單元提供使用者以該操作影像所產生的所述操作指令反饋選取其中一區域資訊,該導引單元接收到被選取的所述區域資訊並運算規劃產生一虛擬路線資訊,使用者於該三維虛擬空間內能依據該虛擬路線資訊移動至所選取的所述區域資訊。
- 如請求項1或2所述之具有手部姿勢操控之虛擬系統,其中,該控制模組透過一資料標示程式(LabelImg)於該手部影像標記該骨架影像;該影像運算處理為電腦視覺(Computer Vision)結合深度學習(Deep Learning)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111112599A TWI796192B (zh) | 2022-03-31 | 2022-03-31 | 具有手部姿勢操控之虛擬系統 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111112599A TWI796192B (zh) | 2022-03-31 | 2022-03-31 | 具有手部姿勢操控之虛擬系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI796192B true TWI796192B (zh) | 2023-03-11 |
TW202340912A TW202340912A (zh) | 2023-10-16 |
Family
ID=86692373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111112599A TWI796192B (zh) | 2022-03-31 | 2022-03-31 | 具有手部姿勢操控之虛擬系統 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI796192B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
TWM597960U (zh) * | 2020-04-08 | 2020-07-01 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
CN112130659A (zh) * | 2019-06-25 | 2020-12-25 | 幻景启动股份有限公司 | 互动式立体显示装置与互动感应方法 |
CN113961069A (zh) * | 2021-09-30 | 2022-01-21 | 西安交通大学 | 适用于实物的增强现实交互方法、装置及存储介质 |
-
2022
- 2022-03-31 TW TW111112599A patent/TWI796192B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
CN112130659A (zh) * | 2019-06-25 | 2020-12-25 | 幻景启动股份有限公司 | 互动式立体显示装置与互动感应方法 |
TWM597960U (zh) * | 2020-04-08 | 2020-07-01 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
CN113961069A (zh) * | 2021-09-30 | 2022-01-21 | 西安交通大学 | 适用于实物的增强现实交互方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202340912A (zh) | 2023-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210177124A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
CN110168475B (zh) | 操作集线器的方法以及用于与外围装置交互的系统 | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
Yao et al. | Contour model-based hand-gesture recognition using the Kinect sensor | |
KR101652535B1 (ko) | 차량 인터페이스를 위한 제스처 기반 제어 시스템 | |
Fang et al. | Head-mounted display augmented reality in manufacturing: A systematic review | |
US9606630B2 (en) | System and method for gesture based control system | |
Larson et al. | Heatwave: thermal imaging for surface user interaction | |
Shen et al. | Vision-based hand interaction in augmented reality environment | |
KR20230025904A (ko) | 인공 현실 상호작용 모드의 통합 | |
CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
Premaratne et al. | Historical development of hand gesture recognition | |
CN105593787A (zh) | 用于与数字设备交互的直接指向检测的系统和方法 | |
Kurz | Thermal touch: Thermography-enabled everywhere touch interfaces for mobile augmented reality applications | |
Caputo et al. | The Smart Pin: An effective tool for object manipulation in immersive virtual reality environments | |
Breslauer et al. | Leap motion sensor for natural user interface | |
TWI796192B (zh) | 具有手部姿勢操控之虛擬系統 | |
Raees et al. | Thumb inclination-based manipulation and exploration, a machine learning based interaction technique for virtual environments | |
Bai et al. | Poster: Markerless fingertip-based 3D interaction for handheld augmented reality in a small workspace | |
Rehman et al. | FPSI-Fingertip pose and state-based natural interaction techniques in virtual environments | |
Nivedha et al. | Enhancing user experience through physical interaction in handheld augmented reality | |
Varga et al. | Survey and investigation of hand motion processing technologies for compliance with shape conceptualization | |
VanWaardhuizen et al. | Table top augmented reality system for conceptual design and prototyping | |
Henschke et al. | Extending the index finger is worse than sitting: Posture and minimal objects in 3D pointing interfaces |