TWI588672B - 虛擬園區之體感探索互動系統及方法 - Google Patents

Description

虛擬園區之體感探索互動系統及方法

本發明涉及一種三維影像互動技術，尤其涉及一種將攝取後之影像進行計算產生以三維影像，藉此探索虛擬園區之建築物及對該建築物進行投票之系統及方法。

以往在觀看建築物主體時，通常透過繪圖軟體例如CAD所繪製之平面圖、立面圖、剖面圖等三視圖來了解建築物外部及內部的配置，其中立面圖的種類包括：正立面圖（即前視圖）、右向立面圖（即右側視圖）、左向立面圖（即左側視圖）以及背向立面圖（即背視圖）可了解建築物的整體外觀、高度及相關裝修材料之配置；平面圖包括基地平面圖、各層平面圖，可瞭解內部空間配置，並作為繪製施工圖的依據；剖面圖則為瞭解建築物空間變化、內部結構、施工材料、施工方法等而繪製，作為提供施工的依據。

然而，透過傳統方式繪製建築圖，時有發生設計錯誤、空間衝突等問題，造成修正設計需要較長的時間，以及成本的增加，尤其是需要有整體規劃的園區，其規劃的建築物往往不是單一建築的構思而已，而是需要與周邊環境及相關建築物作整體配合及設計，才能呈現整體的美感，若當建築物建造完成後，才發現實際的建築物於當初的構想完全不同，則只能耗費更多的成本作修改。

因此，將設計的建築物予以數位化、虛擬化，以提高精確度、同時降低錯誤，並且賦予人們於建造建築物前，能事先體驗園區環境及該建築物之外觀及內部空間配置，並且提供體驗後所作的參考數據作為修改的依據，實為目前園區規劃時亟需解決的課題。

有鑒於上述習知技術的缺點，本發明之主要目的在於提供一種虛擬園區之體感探索互動系統及方法，主要應用在虛擬園區中探索參觀者，使參觀者透過虛擬環境觀看各建築物之外觀，及各該建築物之內部說明及配置。

本發明之另一目的在於提供一種虛擬園區之體感探索互動系統及方法，主要應用在虛擬園區中探索參觀者，藉由虛擬環境之設置，使參觀者與該虛擬環境互動，並對所到達之建築物進行喜好投票。

為達上揭及其它目的，本發明提供一種虛擬園區之體感探索互動系統，係使用影像偵測設備，利用其發射出之連續光對包含使用者之測量空間進行編碼，然後再進行解碼以計算成具有3D深度的影像，該系統包括：影像分析模組，接收上述影像並進行分析處理，以對應地產生一影像動作資料；儲存單元，用以儲存該影像動作資料，並且該儲存單元預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料，該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料及探索資訊；判斷模組，係根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者欲執行哪一個特定指令；指令操作介面模組，係根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫；以及一顯示裝置，用以顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數，其中在該選擇探索模式前，先於該顯示裝置出現手勢辨識提示畫面，該使用者依順時針在空中畫360度圓圈，若辨識成功，則出現互動手掌游標，若辨識失敗，則重複出現該手勢辨識提示畫面。

本發明復提供一種虛擬園區之體感探索互動方法，係使用影像偵測設備，利用其發射出之連續光對包含使用者之測量空間進行編碼，然後再進行解碼以計算成具有3D深度的影像，該方法包括：接收上述影像並進行分析處理，以對應地產生一影像動作資料；儲存該影像動作資料於一儲存單元中，並且該儲存單元預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料，該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料及探索資訊；根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者欲執行哪一個特定指令；根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫；以及顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數，其中在判斷該使用者欲執行哪一個特定指令前，先於一顯示裝置出現手勢辨識提示畫面，該使用者依順時針在空中畫360度圓圈，若辨識成功，則出現互動手掌游標，若辨識失敗，則重複出現該手勢辨識提示畫面。

因此，本發明虛擬園區之體感探索互動系統及方法，透過影像偵測設備取得3D影像，並對該3D影像進行處理以生成影像動作資料，再透過該影像動作資料相對應之指令與該虛擬環境互動，如此可參觀虛擬園區之環境及建築物外觀及內部之相對配置。

再者，透過虛擬園區之體感探索互動系統及方法，參觀者透過虛擬幻境之探索互動系統，可與虛擬環境互動並可立即獲得相對應之建築物的探索說明，以及可立即對該建築物之喜好進行投票，並且將投票結果顯示在虛擬建築物的外觀上。

以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點與功效。本發明亦可藉由其他不同的具體實施例加以施行或應用，本說明書中的各項細節亦可基於不同觀點與應用，在不悖離本發明之精神下進行各種修飾與變更。

參閱圖1，用以顯示本發明之虛擬園區之體感探索互動系統之實施例的系統架構方塊示意圖。本發明之虛擬園區之體感探索互動系統係建構在具有影像偵測功能之設備10(例如微軟KINET)、具有顯示影像功能之顯示器18以及與電腦設備22通訊連接之通訊網路26，並且可選擇性地包括一投影裝置16。於本實施例中，影像偵測設備10與顯示器18 係設置在室內空間，投影裝置16亦建置在同一室內空間內，用以播放虛擬實際影像，另外，電腦設備22可建構在附近室內空間或遠端機房內，電腦設備22可例如但不限定為工作站、個人電腦、筆記型電腦、伺服器、行動電話或個人數位助理等具有資料處理及通信傳輸。該電腦設備22復具有通訊模組，該通訊模組可例如為直接拉線與影像偵測設備10、顯示器18以及/或投影裝置16連接，或者以無線方式連線。

如圖所示，本發明之虛擬園區之體感探索互動系統包括影像偵測設備10，其中間的鏡頭102是一般常見的RGB彩色攝影機，左右兩邊鏡頭101則分別為紅外線發射器和紅外線CMOS攝影機所構成的3D深度感應器，影像偵測設備10主要就是靠3D深度感應器偵測使用者12的動作，而中間視訊鏡頭則是用來辨識使用者身分（靠著人臉辨識和身體特徵）、以及辨識基本的臉部表情；顯示器18，用以顯示虛擬環境、互動模式選項，以及與使用者12互動之操作手勢14；投影裝置16，用以播放虛擬實際影像，包括虛擬園區環境及建築物相關配置；以及電腦設備22，用以分析其自影像偵測設備10接收的3D深度的影像，並且對應地產生一影像動作資料，藉以解讀使用者12之操作指令，並且執行該指令。透過虛擬園區之體感探索互動系統可讓參觀者實際了解園區環境建築物之配置，並可針對特定建築物進行投票。

需注意的是，本發明係以探索園區建築物做為實施例，但不以此為限，其他如園區之規劃、比賽場地之配置亦可應用於本發明中。茲就本發明之體感探索互動系統之各構件詳細說明如下。

請參考圖2，係顯示本發明虛擬園區之體感探索互動系統之系統架構方塊示意圖，包括影像偵測設備10a，係用以用來辨識使用者身分，及使用者12之動作並且擷取其影像，詳而言之，影像偵測設備10a係透過例如微軟之KINECT使用的光編碼(Light Coding)技術，利用連續光(如近紅外線)對測量空間進行編碼，經其感應器讀取編碼的光線，交由該影像偵測設備10a之晶片運算進行解碼後，產生一張具有深度的影像，然後就觸發電腦設備22a端應用程式集之影像分析模組221進行分析以對應地產生一影像動作資料，其中當連續光照射到移動物體後會形成隨機的反射斑點(稱之為散斑)，該斑點於空間中任何兩處形成不同的圖案，等於是將整個空間加上了標記，所以任何物體進入該空間以及移動時，都可確切記錄移動物體的位置。

儲存單元222，係配置於電腦設備22a中，亦可建置另一儲存裝置來與電腦設備22a連接。該儲存單元222係用以儲存該影像動作資料，並且其預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料；該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料及探索資訊；該統計資料庫用以統計使用者12對特定建築物例如選擇喜歡或不喜歡之投票結果之統計。

判斷模組223，係根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者12欲執行哪一個特定指令，例如單手模式、雙手模式指令或者是自動模式指令、以及在駕駛模式和投票模式下控制行走鏡頭角來移動虛擬視角的前、左、右方向等。

指令操作介面模組223，係根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫。換言之，透過該特定指令可讓使用者12在單手模式或雙手模式下體感操作探索並且與系統互動，例如單手模式進行選單按鈕選擇，雙手模式則可以進行行走鏡頭左右轉和向前走。亦即，當影像偵測設備10a偵測人體肢體和操作手勢14並且辨識完成後，用人體單手直覺式啟動互動手掌游標來取代鍵盤滑鼠游標，單手進行選擇和確認，兩隻手舉起時則可以控制視角，移動虛擬視角的前、左、右方向，也就是單手和雙手可取代無線控制器來控制以控制體感操作。

顯示裝置18a，用以顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數。該顯示裝置18a可選擇性使用投影裝置16來替代，而使系統呈現3D虛擬實境場景，該3D虛擬實境場景係運用DIRECTX和OPENGL的3D演算技術呈現即時影像，透過投影裝置16投影出虛擬3D建築物量體、3D人物和3D地形地貌的資訊量。

為使本發明更容易了解起見，請同時參考圖3及圖4，圖3係為顯示本發明虛擬園區之體感探索互動系統之操作模式之示意圖，圖4為顯示本發明虛擬園區之體感探索互動系統之互動方式之示意圖。圖3(a)為啟動本系統時出現的主選單畫面，同時系統會啟動虛擬實境3D運算、體感手勢辨識功能、啟動/關閉音效以及自動啟動體感偵測情境。當顯示裝置18a出現手勢辨識提示畫圖示畫面如圖3(b)所示，使用者12舉起右手(掌)，至胸前位置，依順時鐘在空中畫一360度圓圈，若使用者12辨識成功，出現互動手掌游標(表示使用者右手偵測成功)，如圖3(c)所示；若辨識失敗，重複出現手勢辨識提示畫面。

如上述圖3(a)所示，本發明之虛擬園區之體感探索互動系統包括三種模式：自動模式32、駕駛模式34、以及投票模式36。其中當影像偵測設備10a偵測單手時，若單手停留在包括上述三種模式之選單5秒後，即可完成選擇動作。

上述說明可透過本發明圖4之示例而更加了解。其中圖4(a)為顯示在如顯示裝置18a之虛擬園區的顯示畫面，其右上角為該虛擬園區之小地圖探索，透過小地圖探索可讓使用者12清楚目前在虛擬園區的什麼位置。其中在選擇駕駛模式34或投票模式36之下，出現雙手手勢辨識提示圖示，如圖4(b)所示，將兩隻手舉起至胸前，若體感偵測成功，使用者12可以控制行走鏡頭視角，移動虛擬視角的前、左、右方向。具體言之，於啟動自動模式32時，參觀者可以在虛擬環境中高空飛行觀看虛擬園區的高空景致，或以切換到地面行走角度觀看園區內的建築量體和空間配置。進入駕駛模式34時，參觀者運用雙手掌握虛擬行走的方向，可一面控制轉彎和一面前進，例如圖4(c)手勢可向前走，圖4(d)手勢可向右轉，圖4(e)手勢可向左轉，另外若移動至特定建築物量體時，碰到建築物前方時，會出現該建築物的基本圖文介紹和投票人數。進入投票模式36時，使用者12可以針對特定建築物進行喜歡或不喜歡的投票，並且顯示在建築外觀上。

由上述實施例可知，透過本發明之虛擬園區之體感探索互動系統，使用者/參觀者可站在影像偵測設備10之偵測範圍內使用手勢動作操作在顯示裝置18或投影裝置16顯示/投射的虛擬環境中各種探索模式，以觀看虛擬園區之環境及各建築物之探索說明，並可對特定建築物進行喜歡或不喜歡之投票，以作為修正建築設計之參考。

請參閱圖5，係顯示本發明之虛擬園區之體感探索互動方法，係使用影像偵測設備，利用其發射出之連續光對包含使用者之測量空間進行編碼，然後再進行解碼以計算成具有3D深度的影像，該方法包括：

於步驟S10中，接收上述影像並進行分析處理，以對應地產生一影像動作資料，接著進行步驟S20。

於步驟S20中，儲存該影像動作資料於一儲存單元中，並且該儲存單元預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料，該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料及探索資訊，接著進行步驟S30。

於步驟S30中，根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者欲執行哪一個特定指令，接著進行步驟S40。

於步驟S40中，根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫，接著進行步驟S50。

於步驟S50中，顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數。

上述步驟中，在判斷該使用者欲執行哪一個特定指令前，先於一顯示裝置出現手勢辨識提示畫面，該使用者依順時針在空中畫360度圓圈，若辨識成功，則出現互動手掌游標，若辨識失敗，則重複出現該手勢辨識提示畫面。

上述步驟中，該探索模式之選擇包括自動模式、駕駛模式、以及投票模式其中之一種。其中該自動模式係將該使用者虛擬成空中俯視該虛擬園區之景觀，或切換到地面行走之角度觀看該虛擬園區之建築物及其空間配置；該駕駛模式係該使用者用雙手掌握虛擬方向盤行走的方向，並且當到達該建築物之前方時，會顯示該建築物的基本圖文介紹和投票計數；該投票模式係該使用者針對其行進到達之該建築物進行喜好投票，並且顯示在該建築物之外觀上。

綜上所述，本發明之虛擬園區之體感探索互動系統及方法主要是應用於虛擬園區之探索及對該虛擬園區內之建築物喜好程度進行投票，使用者/參觀者於進入影像偵測設備之偵測範圍內進行手勢操作，可以空中探索方式觀看虛擬園區、亦可切換成地面模式行走，並且行走至特定建築物可顯示探索資訊，可有效增進對園區環境及建物之了解。

再者，本發明之虛擬園區之體感探索互動系統及方法亦可對該建築物進行喜歡或不喜歡之投票，且該投票結果可顯示在建築物的外牆上，藉著對虛擬園區之各建築物及其內部配置的投票結果，可作為變更園區環境及建築物設計之參考依據，因此，可有效降低建物的設計費用及建造成本。

上述實施例僅為例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修飾與變化。因此，本發明之權利保護範圍，應如後述之申請專利範圍所列。

10,10a‧‧‧影像偵測設備
22,22a‧‧‧電腦設備
12‧‧‧使用者
14‧‧‧操作手勢
16‧‧‧投影裝置
18,18a‧‧‧顯示裝置
26‧‧‧網路
101‧‧‧左、右鏡頭
102‧‧‧中間鏡頭
221‧‧‧影像分析模組
222‧‧‧儲存單元
223‧‧‧判斷模組
224‧‧‧指令操作模組
32‧‧‧自動模式
34‧‧‧駕駛模式
36‧‧‧投票模式
S10~S50‧‧‧步驟

圖1係根據本發明之虛擬園區之體感探索互動系統的操作示意圖。 圖2為顯示本發明虛擬園區之體感探索互動系統之系統架構方塊示意圖。 圖3(a)~3(c)為顯示本發明虛擬園區之體感探索互動系統之操作模式之示意圖。 圖4(a)~4(e)為顯示本發明虛擬園區之體感探索互動系統之互動方式之示意圖。 圖5係顯示本發明虛擬園區之體感探索互動方法的基本運作流程示意圖。

10a‧‧‧影像偵測設備

22a‧‧‧電腦設備

221‧‧‧影像分析模組

222‧‧‧儲存單元

223‧‧‧判斷模組

224‧‧‧指令操作模組

18a‧‧‧顯示裝置

Claims (10)

1. 一種虛擬園區之體感探索互動系統，係使用影像偵測設備，利用其發射出之連續光對包含使用者之測量空間進行編碼，然後再進行解碼以計算成具有3D深度的影像，該系統包括： 影像分析模組，接收上述影像並進行分析處理，以對應地產生一影像動作資料； 儲存單元，用以儲存該影像動作資料，並且該儲存單元預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料，該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料，以及一探索資訊； 判斷模組，係根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者欲執行哪一個特定指令； 指令操作介面模組，係根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫；以及 一顯示裝置，用以顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數， 其中在該選擇探索模式前，先於該顯示裝置出現手勢辨識提示畫面，該使用者依順時針在空中畫360度圓圈，若辨識成功，則出現互動手掌游標，若辨識失敗，則重複出現該手勢辨識提示畫面。
2. 如申請專利範圍第1項之虛擬園區體感探索互動系統，其中該探索模式包括自動模式、駕駛模式、以及投票模式其中之一者。
3. 如申請專利範圍第2項之虛擬園區體感探索互動系統，其中該自動模式係將該使用者虛擬成空中俯視該虛擬園區之景觀，或切換到地面行走之角度觀看該虛擬園區之建築物及其空間配置。
4. 如申請專利範圍第2項之虛擬園區體感探索互動系統，其中該駕駛模式係該使用者用雙手掌握虛擬方向盤行走的方向，並且當到達該建築物之前方時，會顯示該建築物的基本圖文介紹和投票計數。
5. 如申請專利範圍第2項之虛擬園區體感探索互動系統，其中該投票模式係該使用者針對其行進到達之該建築物進行喜好投票，並且顯示在該建築物之外觀上。
6. 一種虛擬園區之體感探索互動方法，係使用影像偵測設備，利用其發射出之連續光對包含使用者之測量空間進行編碼，然後再進行解碼以計算成具有3D深度的影像，該方法包括： 接收上述影像並進行分析處理，以對應地產生一影像動作資料； 儲存該影像動作資料於一儲存單元中，並且該儲存單元預設有一指令資料庫、一建築物模型資料庫以及一統計資料庫，其中該指令資料庫包括可對應該影像動作資料之指令資料，該建築物模型資料庫包括該虛擬園區內各該建築物及其周邊之模型資料及探索資訊； 根據該影像動作資料與該指令資料庫之指令資料的比對，以判斷該使用者欲執行哪一個特定指令； 根據該特定指令選擇探索模式，並且根據所選擇之探索模式讀取該模型資料及該探索資訊，藉以選擇該建築物之探索方式以及對該建築物的喜好而進行投票，以將該投票之計數儲存至該統計資料庫；以及 顯示根據該指令操作介面模組所生成之一操作介面，並且顯示執行該操作介面後呈現之該虛擬園區之該探索資訊及該投票之計數， 其中在判斷該使用者欲執行哪一個特定指令前，先於一顯示裝置出現手勢辨識提示畫面，該使用者依順時針在空中畫360度圓圈，若辨識成功，則出現互動手掌游標，若辨識失敗，則重複出現該手勢辨識提示畫面。
7. 如申請專利範圍第6項之虛擬園區體感探索互動方法，其中該探索模式包括自動模式、駕駛模式、以及投票模式其中之一者。
8. 如申請專利範圍第7項之虛擬園區體感探索互動方法，其中該自動模式係將該使用者虛擬成空中俯視該虛擬園區之景觀，或切換到地面行走之角度觀看該虛擬園區之建築物及其空間配置。
9. 如申請專利範圍第7項之虛擬園區體感探索互動方法，其中該駕駛模式係該使用者用雙手掌握虛擬方向盤行走的方向，並且當到達該建築物之前方時，會顯示該建築物的基本圖文介紹和投票計數。
10. 如申請專利範圍第7項之虛擬園區體感探索互動方法，其中該投票模式係該使用者針對其行進到達之該建築物進行喜好投票，並且顯示在該建築物之外觀上。