TWI796192B

TWI796192B - 具有手部姿勢操控之虛擬系統

Info

Publication number: TWI796192B
Application number: TW111112599A
Authority: TW
Inventors: 吳世光
Original assignee: 國立勤益科技大學
Priority date: 2022-03-31
Filing date: 2022-03-31
Publication date: 2023-03-11
Also published as: TW202340912A

Abstract

本發明提供一種具有手部姿勢操控之虛擬系統，其包含：頭戴顯示器及終端裝置，終端裝置連接至雲端伺服器以獲取三維虛擬空間及複數三維物品，終端裝置將三維虛擬空間及三維物品顯示於頭戴顯示器；終端裝置存有複數手部姿勢及複數操作指令；終端裝置提供拍攝使用者對應三維虛擬空間或三維物品進行無接觸操控之操作影像；終端裝置將操作影像透過影像運算處理提取手部影像並標記骨架影像並與各手部姿勢進行比對，以獲取匹配之手部姿勢及操作指令並反饋回應於三維虛擬空間或三維物品，以於三維虛擬空間內移動或對三維物品進行無接觸操控。

Description

具有手部姿勢操控之虛擬系統

本發明係關於一種人機介面相關領域，尤指一種具有手部姿勢操控之虛擬系統。

虛擬實境英文全名為Virtual Reality，一般簡稱VR；體驗虛擬實境時會搭配頭戴顯示器（HMD）完全罩住眼睛可視範圍，使用者看不到真實環境，完全沉浸在頭戴顯示器呈現的虛擬世界中，並且大多會以操作控制器來與虛擬世界中的內容進行互動。

而控制器是直接安裝在使用者手上或是使用者以手持方式拿著，這類控制器需要使用者戴上特殊設計的數據手套，以偵測使用者手部的動作再進一步辨識，其中，控制器的感測方式包括：加速度器、陀螺儀、可撓式電阻、紅外線測距與肌肉生理電訊號等等。

使用控制器監測使用者手部動作的特點是可以偵測較為精確、細緻的手部動作，但也因為如此，其運算處理方式也較為複雜，容易發生運算延遲，導致辨識反應延遲的問題。

而且控制器的型態難以完全符合每位使用者的使用習慣，容易造成使用者配戴時的不適感，造成使用時的負擔；因此，如何改善現有使用虛擬實境的不便性，顯得十分重要。

為解決上述課題，本發明提供一種具有手部姿勢操控之虛擬系統，能夠以非接觸式的手部影像操控方式控制三維虛擬空間，以達到無控制器及無接觸式的操控效果。

本發明之一項實施例提供一種具有手部姿勢操控之虛擬系統，其包含：一頭戴顯示器，其用配戴於使用者的頭部，頭戴顯示器具有一螢幕，螢幕對應於使用者的眼睛；以及一終端裝置，其裝設於頭戴顯示器，終端裝置具有一通訊模組、一顯示模組、一資料庫、一攝影模組及一控制模組，通訊模組連接至一雲端伺服器，雲端伺服器設有一三維虛擬空間，三維虛擬空間具有複數三維物品，該通訊模組能夠將該三維虛擬空間及各該三維物品傳送至顯示模組；顯示模組與螢幕耦接，顯示模組能夠將三維虛擬空間搭配各三維物品顯示於螢幕；資料庫存有複數手部姿勢及對應各手部姿勢之一操作指令；攝影模組提供拍攝使用者對應三維虛擬空間或其中一三維物品進行無接觸操控之一操作影像；控制模組由攝影模組接收操作影像，控制模組將操作影像透過一影像運算處理提取一手部影像，且由手部影像標記一骨架影像，控制模組將骨架影像與資料庫存有的各手部姿勢進行比對，以獲取匹配之其中一手部姿勢及對應之操作指令，控制模組將獲取之操作指令反饋回應於三維虛擬空間或三維物品，以於三維虛擬空間內移動或對三維物品進行無接觸操控。

藉由上述，本發明能夠拍攝使用者對應三維虛擬空間或三維物品的操作影像，並將操作影像進行分析以取得對應之操作指令，由操作指令反饋控制頭戴顯示器所呈現的三維虛擬空間或三維物品；藉此，達到無接觸式的操控效果，改善習知需要透過控制器操控虛擬空間之不便性。

為便於說明本發明於上述發明內容一欄中所表示的中心思想，茲以具體實施例表達。實施例中各種不同物件係按適於說明之比例、尺寸、變形量或位移量而描繪，而非按實際元件的比例予以繪製，合先敘明。

請參閱圖1至圖7所示，本發明提供一種具有手部姿勢操控之虛擬系統100，其包含：

本發明提供一種具有手部姿勢操控之虛擬系統100，其包含：

一頭戴顯示器10，其用配戴於使用者1的頭部，頭戴顯示器10具有一螢幕11，螢幕11對應於使用者1的眼睛，螢幕11能夠顯示三維畫面。

一終端裝置20，其裝設於頭戴顯示器10，終端裝置20具有一通訊模組21、一顯示模組22、一資料庫23、一攝影模組24及一控制模組25，通訊模組21透過網際網路連接至一雲端伺服器2，雲端伺服器2設有一三維虛擬空間3，三維虛擬空間3具有複數三維物品4，通訊模組21能夠將三維虛擬空間3及各三維物品4傳送至顯示模組22，顯示模組22能夠與螢幕11耦接，顯示模組22能夠將三維虛擬空間3搭配各三維物品4傳送並顯示於螢幕11；其中，三維虛擬空間3能夠是旅遊景點、飯店、餐飲店、賣場、汽車展示間等等，三維物品4則對應三維虛擬空間3的類型設置，但本發明不以此為限。

資料庫23存有複數手部姿勢231及對應各手部姿勢231之一操作指令；於本發明實施例中，手部姿勢231所對應的操作指令能夠為(1)手部姿勢231為食指向上對應操作指令為上移；(2)手部姿勢231為食指向下對應操作指令為下移；(3)手部姿勢231為握拳且指部面相攝影模組24對應操作指令為返回；(4)手部姿勢231為推掌對應操作指令為繼續或向前；(5)手部姿勢231為OK手勢對應操作指令為點擊；(6)手部姿勢231為握拳且掌部面相攝影模組24對應操作指令為停止；(7)手部姿勢231為大拇指向左對應操作指令為左移；(8)手部姿勢231為大拇指向右對應操作指令為右移，如圖2所示；但本發明不以此為限。

攝影模組24提供拍攝使用者1對應三維虛擬空間3或其中一三維物品4進行無接觸操控之一操作影像；控制模組25由攝影模組24接收操作影像，控制模組25將操作影像透過一影像運算處理提取一手部影像，且由手部影像標記一骨架影像，控制模組25將骨架影像與資料庫23存有的各手部姿勢231進行比對，以獲取匹配之其中一手部姿勢231及對應之操作指令，控制模組25將獲取之操作指令反饋回應於三維虛擬空間3或三維物品4，以於三維虛擬空間3內移動或對三維物品4進行無接觸操控；於本發明實施例中，影像運算處理為電腦視覺(Computer Vision)結合深度學習(Deep Learning)。

再者，控制模組25透過一資料標示程式(LabelImg)於手部影像H標記骨架影像I，其中，骨架影像I具有複數支點P及複數支桿S，各支點P對應手部之各指節及手部與手腕交界處，每一支桿S連結於相鄰兩支點P之間，每一支點P具有專屬編碼，如圖3所示；而控制模組25能夠判斷各支點P彼此之間的位置關係，以由資料庫23取得匹配的其中一手部姿勢231。

另外，控制模組25會接收由攝影模組24傳送之動態操作影像，而控制模組25會將操作影像依照時序分割為複數階段操作影像，控制模組25將每一階段操作影像進行影像運算處理，並依照時序產生複數個標記有骨架影像I之手部影像H，且依照時序由資料庫23獲取操作指令，控制模組25將獲取之操作指令反饋回應於三維虛擬空間3或三維物品4，以於三維虛擬空間3內移動或對三維物品4進行無接觸操控。

終端裝置20更具有一編輯模組26，該編輯模組26與該資料庫23耦接，編輯模組26能夠將資料庫23中各手部姿勢231及對應之操作指令顯示於顯示介面，編輯模組26能夠選取其中一手部姿勢231進行編輯，以變更選取之手部姿勢231及對應之操作指令。

再者，編輯模組26更能夠啟用攝影模組24拍攝一樣本影像，並將樣本影像傳送至控制模組25經過影像運算處理產生標記有骨架影像I之手部影像H，編輯模組26能將標記有骨架影像I之手部影像H，取代資料庫23之其中一手部姿勢231或是設定對應其中一操作指令。

終端裝置20更具有一金融模組27，其與控制模組25耦接，金融模組27具有一結帳選項，結帳選項配合三維虛擬空間3顯示於顯示介面，控制模組25能將獲取之操作指令反饋回應於被選取之三維物品4並點選結帳選項，以對被選取之三維物品4進行無接觸操控之結帳作業，其中，金融模組27能計算產生一消費金額，並將消費金額透過顯示模組22呈現於螢幕11，以提供使用者1對應結帳作業所產生的操作影像，取得對應之操作指令進行繳納消費金額。

舉例說明，請參閱圖1、圖4及圖5所示，當螢幕11所顯示的三維虛擬空間3是購物賣場，而三維物品4則為賣場所銷售的商品，使用者1能夠於三維虛擬空間3內以購物型態進行選購物品及消費，當使用者1於三維虛擬空間3選購物品同時，金融模組27會將每個被選取的三維物品4之金額進行計算而取得消費金額，並且會於螢幕11顯示消費金及結帳選項，使用者1能夠透過無接觸式操作金融模組27進行結帳作業。

通訊模組21能由雲端伺服器2獲取一地圖資訊5，地圖資訊5對應三維虛擬空間3；終端裝置20更具有一定位模組28，定位模組28與控制模組25耦接，定位模組28能獲取使用者1位於三維虛擬空間3的所在位置，以產生一位置訊號；定位模組28能夠將位置訊號傳送至控制模組25，控制模組25能夠將位置訊號透過圖形化處理產生一位置圖形281並標記於地圖資訊5，如圖1及圖5所示；控制模組25將具有位置圖形281之地圖資訊5搭配透過顯示模組22配合三維虛擬空間3呈現於螢幕11。

再者，終端裝置20更具有一導航模組29，導航模組29具有一查詢單元291及一導引單元292，查詢單元291能呈現地圖資訊5，地圖資訊5具有複數區域資訊6，查詢單元291提供使用者1以操作影像所產生的操作指令反饋選取其中一區域資訊6，導引單元292接收到被選取的區域資訊6並運算規劃產生一虛擬路線資訊L，使用者1於三維虛擬空間3內能依據虛擬路線資訊L移動至所選取的區域資訊6。

舉例說明，請參閱圖1及圖5至圖7所示，當螢幕11所顯示的三維虛擬空間3是購物賣場，而地圖資訊5則對應購物賣場，各區域資訊6則為此購物賣場中的生鮮區、衣物區、家電區、文具區、食品區等等，當使用者1處於食品區時，定位模組28能夠產生對應的位置訊號，定位模組28所產生的位置訊號傳送至控制模組25，由控制模組25將位置訊號透過圖形化處理產生位置圖形281標記於地圖資訊5上對應於生鮮區的區域資訊6中，使用者1能夠透過查詢單元291選取區域資訊6之衣物區，而導引單元292會進行食品區前往衣物區的路徑規劃，以產生對應之虛擬路線資訊L，如此一來，使用者1於三維虛擬空間3內能依據虛擬路線資訊L移動至所選取的區域資訊6之衣物區。

綜合上述，本發明能夠達成下列功效：

1. 本發明具有手部姿勢操控之虛擬系統100，能夠拍攝使用者1對應三維虛擬空間3或三維物品4的操作影像，並將操作影像進行分析以取得對應之操作指令，由操作指令反饋控制頭戴顯示器10所呈現的三維虛擬空間3或三維物品4，藉以達到無接觸式及無控制器的操控效果。

2.本發明具有手部姿勢操控之虛擬系統100，能夠提供使用者1自行建立或修改手部姿勢231及操作指令，以因應不同使用者1的操作習慣，進而提升使用廣度及便利性。

3.本發明具有手部姿勢操控之虛擬系統100，能夠提供在三維虛擬空間3內的定位及導航，以免發生迷航問題；並且透過虛擬路線資訊L能夠快速且準確移動至所需前往的區域資訊6，提供使用上的便利性。

以上所舉實施例僅用以說明本發明而已，非用以限制本發明之範圍。舉凡不違本發明精神所從事的種種修改或變化，俱屬本發明意欲保護之範疇。

1:使用者

2:雲端伺服器

3:三維虛擬空間

4:三維物品

5:地圖資訊

6:區域資訊

100:具有手部姿勢操控之虛擬系統

10:頭戴顯示器

11:螢幕

20:終端裝置

21:通訊模組

22:顯示模組

23:資料庫

231:手部姿勢

24:攝影模組

25:控制模組

26:編輯模組

27:金融模組

28:定位模組

281:位置圖形

29:導航模組

291:查詢單元

292:導引單元

I:骨架影像

P:支點

S:支桿

H:手部影像

L:虛擬路線資訊

圖1係本發明架構方塊圖。圖2係本發明手部姿勢及對應操作指令示意圖。圖3係本發明標記有骨架影像之手部影像。圖4係本發明實施例示意圖(一)，表示使用者配戴頭戴顯示器進行無接觸操控。圖5係本發明實施例示意圖(二)，表示地圖資訊配合三維虛擬空間顯示於螢幕。圖6係本發明實施例示意圖(三)，表示使用者透過操作指令回應於查詢單元。圖7係本發明實施例示意圖(四)，表示導引單元於地圖資訊產生虛擬路線資訊。