TWI691926B - 結合擴增實境與虛擬實境的導覽裝置及導覽方法 - Google Patents

Abstract

一種結合擴增實境與虛擬實境的導覽裝置及導覽方法，導覽裝置執行一導覽程式後，可解析一擴增實境標籤，並載入一擴增實境(AR)導覽資訊及一模式切換物件，以輸出至一顯示單元，當導覽裝置產生的一控制指令觸發該模式切換物件後，導覽程式可使導覽裝置讀取一虛擬實境(VR)場景，並由原先的AR模式切換至VR模式；藉此，不僅可讓虛擬的導覽資訊擴增於現實空間中，而可提升導覽體驗與互動性，更可將模式切換物件疊加於現實空間，以引導處於AR模式之使用者進入VR模式，而提供虛實整合的沉浸式導覽體驗。

Description

結合擴增實境與虛擬實境的導覽裝置及導覽方法

一種導覽裝置及導覽方法，係基於擴增實境技術；尤指一種可切換擴增實境模式與虛擬實境模式的「結合擴增實境與虛擬實境的導覽裝置及導覽方法」。

導覽服務為觀光產業最常提供的觀光方式，習知的導覽方式大多由導覽人員提供人工解說、或讓遊客使用相關業者所提供導覽機的語音導覽功能，但如此一來，相關業者將需要耗費大量的人力成本雇用解說員，且導覽機也只能提供反覆播送導覽資訊的服務，因此，有人提出可利用擴增實境(AR)技術，讓遊客除眼前所見的實體展覽物或景點以外，更能看到疊加於展覽物的AR導覽資訊，或可讓學生除教科書以外，更能看到疊加於教科書內頁的AR導覽資訊，甚至能讓AR導覽資訊與使用者進行互動，相關前案如中華民國新型專利案第TWM419175號「具有擴增實境功能之導覽地圖」、中華民國新型專利案第TWM497315號「具感知觸動功能之擴增實境標籤及其裝置」、及中國發明專利 案第CN108198099A號「增強現實的導遊方法及系統、裝置、服務器及計算機可讀存儲介質」等專利案所揭。

然而，該些前案所提出的導覽體驗仍有不夠真實的問題，意即無法為使用者提供沉浸式的導覽體驗；是以，針對現有透過虛實整合形式呈現導覽資訊的導覽方式，如何基於擴增實境的技術，再提升其導覽體驗與互動性、及提供沉浸式的導覽體驗，乃有待解決之問題。

有鑑於上述的問題，本發明人依據多年來從事相關領域研究的經驗，針對虛擬實境、擴增實境、及虛擬導覽之相關技術進行研究；緣此，本發明之主要目的在於提供一種可結合擴增實境與虛擬實境的導覽裝置及導覽方法。

為達上述目的，本發明提出一種導覽裝置與導覽方法，且導覽裝置安裝有一導覽程式，導覽裝置包括：一處理模組、一影像擷取模組、一顯示單元、及一儲存模組；導覽程式使處理模組執行後，可使導覽裝置執行本發明所揭的導覽方法：解析影像擷取模組所拍攝的一擴增實境標籤，成功解析後，從儲存模組讀取關聯於擴增實境標籤之一擴增實境導覽資訊及一模式切換物件，讀取後，處理模組使擴增實境導覽資訊、及模式切換物件以一擴增實境模式輸出至顯示單元；當導覽裝置所產生的一控制指令觸發 模式切換物件後，處理模組經由導覽程式從儲存模組讀取關聯於擴增實境標籤之一虛擬實境場景以及一虛擬實境導覽資訊，讀取後，使擴增實境模式切換至一虛擬實境模式，並將虛擬實境場景輸出至顯示單元予以顯示，以及將該虛擬實境導覽資訊設定於該虛擬實境場景；是以，本發明據以實施後，可讓虛擬的導覽資訊擴增於現實空間中，而可達成提升導覽體驗與互動性之目的，更可將模式切換物件疊加於現實空間，以引導處於擴增實境模式之使用者進入虛擬實境模式，而可提供虛實整合的沉浸式導覽體驗，其中，虛擬實境場景亦得以兩個分割畫面輸出於該顯示單元，以供對應於使用者眼部的一目鏡利用使用者雙眼視角重疊交錯以及鏡片之折射，使該導覽裝置之該顯示單元所輸出的該虛擬場景立體化。

為使 貴審查委員得以清楚了解本發明之目的、技術特徵及其實施後之功效，茲以下列說明搭配圖示進行說明，敬請參閱。

1:導覽裝置

11:處理模組

APP:導覽程式

12:影像擷取模組

13:儲存模組

131:擴增實境資料區

132:虛擬實境資料區

14:顯示單元

M:擴增實境標籤

HMD:頭戴式顯示裝置

L:目境

AR_N:擴增實境導覽資訊

VR_S:虛擬實境場景

VR_O1:虛擬實境物件

VR_O2:第二虛擬實境物件

mode_1:模式切換物件

mode_2:第二模式切換物件

S:導覽方法

S1:拍攝目標圖像

S2:是否成功解析目標圖像

S3:進入擴增實境模式

S4:是否觸發模式切換物件

S5:進入虛擬實境模式

S6:切換虛擬實境場景

S6’:返回擴增實境模式

第1圖，為本發明之導覽裝置之結構組成示意圖。

第2圖，為本發明之導覽裝置之另一實施例之實施示意圖。

第3圖，為本發明之導覽方法之實施流程圖。

第4圖，為本發明之導覽方法之情境示意圖(一)。

第5圖，為本發明之導覽方法之情境示意圖(二)。

第6圖，為本發明之導覽方法之另一實施例之流程圖。

第7圖，為本發明之導覽方法之另一實施例之情境示意圖。

第8圖，為本發明之導覽方法之另一實施例(二)之流程圖。

第9圖，為本發明之導覽方法之另一實施例(二)之情境示意圖。

請參閱「第1圖」之導覽裝置之結構組成示意圖，如圖，本發明之結合擴增實境與虛擬實境的導覽裝置1安裝有一導覽程式APP，導覽裝置1包括：一處理模組11、一影像擷取模組12、一儲存模組13、及一顯示單元14，且導覽裝置1可為一智慧型手機、一平板電腦、或一頭戴式顯示裝置(HMD)，惟均不以此為限。

處理模組11用以運行導覽裝置1，可驅動上述各模組及顯示單元14之作動，並具備邏輯運算、暫存運算結果、保存執行指令位置等功能，其可為一中央處理器(CPU)、一微處理器(MPU)、一微控制器(MCU)之其中一種。

影像擷取模組12可包含用以拍攝一擴增實境標籤的一光學鏡頭及一影像感測器，影像擷取模組12亦可為一通用序列匯流排網路攝影機(USB Webcam)。

儲存模組13儲存有對應於擴增實境標籤的特徵點資訊，更包含一擴增實境資料區131及一虛擬實境資料區132；擴增實境資料區131可儲存一擴增實境導覽資訊及一 模式切換物件；虛擬實境資料區132可儲存一虛擬實境場景、一虛擬實境導覽資訊、一第二虛擬實境場景、一虛擬實境物件、一第二虛擬實境物件、及一第二模式切換物件；其中，前述的擴增實境導覽資訊、及虛擬實境導覽資訊可為一立體影像(Stereoscopic Images)、一文字、一音訊、一立體動畫之其中一種或其組合；而前述虛擬實境場景與第二虛擬實境場景之創建，可先由一全景相機(圖中未繪示)拍攝一全景影像(例如360°cylindrical VR或720°spherical VR)，再透過一虛擬實境開發引擎(圖中未繪示)進行影像接合而形成。

顯示單元14可為一液晶顯示器(LCD)、一發光二極體顯示器(LED)、一有機發光二極體顯示器(OLED)之其中一種。

導覽程式APP供處理模組11載入並執行多個程式指令，各程式指令分別可使處理模組11執行以下功能：

第1程式指令：使導覽裝置1連線至一資料庫伺服器(圖中未繪示)，以下載對應於擴增實境標籤之一導覽包，下載完成後，可分別匯入儲存模組13之擴增實境資料區131及虛擬實境資料區132，以供處理模組11讀取。

第2程式指令：可掃描及解析所述擴增實境標籤的特徵點資訊，並讀取儲存模組13之擴增實境資料區131，以讀取關聯於擴增實境標籤的擴增實境導覽資訊、及一模式切換物件之其中一種或其組合，讀取後，以一擴增實境模式輸出至顯示單元14予以顯示，其中，擴增實境標籤的特徵 點資訊可為多個，關聯於擴增實境標籤的模式切換物件可為多個。

第3程式指令：可驅動導覽裝置1具有的一眼動追蹤單元(eye tracking unit，圖中未繪示)偵測一使用者的眼部動作後，產生一輸入訊號，其中，輸入訊號可隨著使用者的眼部動作而產生變化，而所述變化可使處理模組11產生一控制指令，其中，處理模組11可將輸入訊號轉換為對應使用者眼部之可視位置之可視化的一觸發點(圖中未繪示)，以輸出至顯示單元14，惟，上述輸入訊號之偵測態樣僅為舉例，故控制指令的產生方式並不以此為限。

第4程式指令：當控制指令觸發模式切換物件，導覽程式APP可使處理模組11讀取儲存模組13之虛擬實境資料區132，以讀取關聯於擴增實境標籤的虛擬實境場景，以及用以設定進而呈現於虛擬實境場景中的虛擬實境導覽資訊、虛擬實境物件、第二虛擬實境物件、及第二模式切換物件，完成讀取後，將擴增實境模式切換至一虛擬實境模式，並將虛擬實境場景輸出至顯示單元14予以顯示。

第5程式指令：當控制指令觸發虛擬實境物件，其可與導覽裝置1之使用者產生一互動效果，例如使虛擬實境物件於虛擬實境場景作360度旋轉、或提供一語音導覽服務。

第6程式指令：當控制指令觸發第二虛擬實境物件，其可使處理模組11將虛擬實境場景切換至第二虛擬實境場景。

第7程式指令：當控制指令觸發第二模式切換物件， 其可使處理模組11將虛擬實境模式切換至擴增實境模式。

請繼續參閱「第2圖」之導覽裝置之另一實施例之實施示意圖，並請搭配參閱「第1圖」，導覽裝置1於本實施例為可拍攝一擴增實境標籤M的一行動裝置，例如一智慧型手機、或一平板電腦，但不以此為限，依此，導覽裝置1可組配至一頭戴式顯示裝置HMD，其中，頭戴式顯示裝置HMD更包括對應於使用者眼部的一目境L，其利用使用者雙眼視角重疊交錯、及鏡片折射的特性，使導覽裝置1之顯示單元14所顯示的影像立體化，而有關目境L的透鏡數量及其設置方式，並非本發明之主要技術特徵，於此不加以詳述；另，本發明於一些實施態樣中，擴增實境標籤M(Marker)可置入於一載體，前述載體可為一導覽刊物、一AR圖卡、或一教科書，但不以此為限；擴增實境標籤M亦得以一立體圖像的方式作呈現，若擴增實境標籤M為一立體圖像，則導覽程式APP主要使導覽裝置1之影像擷取模組12擷取一即時影像後，從即時影像中辨識出前述立體圖像的邊緣特徵(即擴增實境標籤M的特徵點資訊)，以續行解析，但不以此為限。

請參閱「第3圖」之導覽方法之實施流程圖，並請搭配參閱「第1圖」，本發明之結合擴增實境與虛擬實境的導覽方法S，執行於安裝有一導覽程式APP的一導覽裝置1，包括以下步驟。

拍攝目標圖像(步驟S1)：導覽程式APP使導覽裝置1之影像擷取模組12拍攝為擴增實境標籤M的一目標圖像，而擴增實境標籤M之態樣，已於前述，於此不再贅述； 是否成功解析目標圖像(步驟S2)：導覽程式APP使導覽裝置1判斷是否可辨識、並成功解析為擴增實境標籤M的目標圖像的特徵點資訊，若可成功解析，接續執行步驟S3；若無法成功解析，則返回步驟S1； 進入擴增實境模式(步驟S3)：承步驟S2，並請搭配參閱「第4圖」之導覽方法之情境示意圖(一)，導覽裝置1經由導覽程式APP讀取關聯於擴增實境標籤M的擴增實境導覽資訊AR_N、及一模式切換物件mode_1，讀取後，以一擴增實境模式輸出至導覽裝置1的顯示單元14予以顯示，即如「第4圖」所示；又，本實施例於較佳情況下，擴增實境導覽資訊AR_N、或模式切換物件mode_1於擴增實境模式中，可為非可視狀態(例如常態下為隱藏狀態)； 是否觸發模式切換物件(步驟S4)：當導覽裝置1以一擴增實境模式輸出擴增實境導覽資訊AR_N、及一模式切換物件mode_1時，導覽程式APP使導覽裝置1判斷模式切換物件mode_1是否有受到導覽裝置1所產生的一控制指令的觸發，若有，續行步驟S5，若無，則返回步驟S3； 進入虛擬實境模式(步驟S5)：承步驟S4，並請搭配參閱「第5圖」之導覽方法之情境示意圖(二)，導覽裝置1經由導覽程式APP讀取關聯於擴增實境標籤M的一虛擬實境場景VR_S，以及讀取設定、與呈現於虛擬實境場景VR_S 的一虛擬實境導覽資訊(圖中未繪示)、與一虛擬實境物件VR_O1，讀取後，將擴增實境模式切換至一虛擬實境模式，並使虛擬實境場景VR_S輸出至導覽裝置1的顯示單元14予以顯示，即如「第5圖」所示，又，「第5圖」之虛擬實境場景VR_S係以兩個分割畫面作呈現；又，本實施例於較佳情況下，設置於虛擬實境場景VR_S的虛擬實境導覽資訊、或虛擬實境物件VR_O1可為非可視狀態(例如常態下為隱藏狀態)。

請繼續參閱「第6圖」之導覽方法之另一實施例之流程圖，並請搭配參閱「第1圖」、「第3圖」、及「第7圖」之導覽方法之另一實施例之情境示意圖，當導覽方法S之步驟S5執行完畢後，導覽裝置1更可經由導覽程式APP，讀取設定、與呈現於虛擬實境場景VR_S的至少一第二虛擬實境物件VR_O2，即如「第7圖」所示，並接續執行以下步驟：切換虛擬實境場景(步驟S6)：當導覽程式APP使導覽裝置1判斷第二虛擬實境物件VR_O2受到控制指令的觸發後，導覽程式APP可使導覽裝置1將虛擬實境場景VR_S切換至一第二虛擬實境場景(圖中未繪示)，並使第二虛擬實境場景輸出至導覽裝置1的顯示單元14予以顯示，又，「第7圖」之虛擬實境場景VR_S應以兩個分割畫面作呈現，此實施例為方便說明，故省略另一分割畫面；又，本實施例於較佳情況下，設置於虛擬實境場景VR_S的第二虛擬實境物件VR_O2，可為非可視狀態(例如常態下為隱藏狀態)。

請繼續參閱「第8圖」之導覽方法之另一實施例(二)之流程圖，並請搭配參閱「第1圖」、「第3圖」、及「第9圖」之導覽方法之另一實施例(二)之情境示意圖，當導覽方法S之步驟S5執行時，導覽裝置1更可經由導覽程式APP，讀取設定、與呈現於虛擬實境場景VR_S的一第二模式切換物件mode_2，即如「第9圖」所示，並可接續執行以下步驟：返回擴增實境模式(步驟S6’)：當導覽程式APP使導覽裝置1判斷第二模式切換物件mode_2受到控制指令的觸發後，導覽程式APP可使導覽裝置1將虛擬實境模式切換至擴增實境模式，以返回步驟S2，又，「第9圖」之虛擬實境場景VR_S應以兩個分割畫面作呈現，此實施例為方便說明，故省略另一分割畫面；又，本實施例於較佳情況下，設置於虛擬實境場景VR_S的第二模式切換物件mode_2，可為非可視狀態(例如常態下為隱藏狀態)。

綜上可知，本發明所揭之導覽裝置及導覽方法據以實施後，可讓虛擬的導覽資訊擴增於現實空間中，而可達成提升導覽體驗與互動性之目的，更可將模式切換物件疊加於現實空間，以引導處於擴增實境模式之使用者，可即時透過導覽裝置進入虛擬實境模式，而可提供虛實整合的沉浸式導覽體驗；再者，本發明更提供於虛擬實境模式中切換至另一虛擬實境場景、與虛擬實境物件產生互動、以及返回擴增實境模式之機制，以提供更具彈性及趣味性的 導覽體驗。

唯，以上所述者，僅為本發明之較佳之實施例而已，並非用以限定本發明實施之範圍；任何熟習此技藝者，在不脫離本發明之精神與範圍下所作之均等變化與修飾，皆應涵蓋於本發明之專利範圍內。

綜上所述，本發明之功效，係具有「產業利用性」、「新穎性」與「進步性」等專利要件；申請人爰依專利法之規定，向 鈞局提起發明專利之申請。

1:導覽裝置

11:處理模組

APP:導覽程式

12:影像擷取模組

13:儲存模組

131:擴增實境資料區

132:虛擬實境資料區

14:顯示單元

Claims (10)

1. 一種結合擴增實境與虛擬實境的導覽裝置，安裝有一導覽程式，該導覽裝置可產生一控制指令及顯示影像，該導覽裝置包含：一處理模組，分別與一影像擷取模組、一顯示單元、及一儲存模組呈資訊連結；該導覽程式經該處理模組載入並執行後，解析該影像擷取模組所拍攝的一擴增實境標籤，成功解析後，從該儲存模組載入關聯於該擴增實境標籤之一擴增實境導覽資訊、及一模式切換物件，載入後，該處理模組使該擴增實境導覽資訊、及該模式切換物件之其中一種或其組合以一擴增實境模式輸出至該顯示單元予以顯示；以及該處理模組判斷該控制指令觸發該模式切換物件後，該導覽程式使該處理模組從該儲存模組讀取關聯於該擴增實境標籤之一虛擬實境場景及一虛擬實境導覽資訊，讀取後，使該處理模組將該擴增實境模式切換至一虛擬實境模式，並將該虛擬實境場景輸出至該顯示單元予以顯示，以及將該虛擬實境導覽資訊設定於該虛擬實境場景。
2. 如申請專利範圍第1項所述的結合擴增實境與虛擬實境的導覽裝置，其中，該虛擬實境場景係以兩個分割畫面輸出於該顯示單元，以供對應使用者眼部的一目鏡，可利用使用者雙眼視角重疊交錯以及鏡片之折射，使該顯示單元所顯示的該虛擬場景立體化。
3. 如申請專利範圍第1項所述的結合擴增實境與虛擬實境的導覽裝置，其中，該儲存模組儲存有對應該虛擬實境場景的至少一虛擬實境物件，供以設定於該虛擬實境場景，並受該控制指令觸發而產生一互動效果。
4. 如申請專利範圍第1項所述的結合擴增實境與虛擬實境的導覽裝置，該儲存模組更儲存有關聯於該虛擬實境場景的一第二虛擬實境物件，供以設定於該虛擬實境場景，該第二虛擬實境物件受該控制指令觸發後，該導覽程式使該處理模組將該虛擬實境場景切換至一第二虛擬實境場景。
5. 如申請專利範圍第1項所述的結合擴增實境與虛擬實境的導覽裝置，該儲存模組更儲存有一第二模式切換物件，供以設定於該虛擬實境場景，該第二模式切換物件受該控制指令觸發後，該導覽程式使該處理模組將該虛擬實境模式切換至該擴增實境模式。
6. 一種結合擴增實境與虛擬實境的導覽方法，執行於安裝有一導覽程式的一導覽裝置，該導覽裝置具有一儲存模組及一顯示單元，該導覽程式供該導覽裝置執行以下步驟：一進入擴增實境模式步驟：該導覽裝置成功解析一擴增實境標籤後，讀取該儲存模組以讀取關聯於該擴增實境標籤之一擴增實境導覽資訊、及一模式切換物件，讀取後，該導覽裝置使該擴增實境導覽資訊、及該模式切換物件之其中一種或其組合以一擴增實境模式輸出至該顯示單元予以顯示；以及一進入虛擬實境模式步驟：該導覽裝置產生的一控制指令觸發該模式切換物件後，該導覽裝置從該儲存模組讀取關聯於該擴增實境標籤之一虛擬實境場景以及一虛擬實境導覽資訊，讀取後，使該擴增實境模式切換至一虛擬實境模式，並將該虛擬實境場景輸出至該顯示單元予以顯示，以及將該虛擬實境導覽資訊設定於該虛擬實境場景。
7. 如申請專利範圍第6項所述之結合擴增實境與虛擬實境的導覽裝置之導 覽方法，其中，該虛擬實境場景係以兩個分割畫面輸出於該顯示單元，以供對應於使用者眼部的一目鏡利用使用者雙眼視角重疊交錯以及鏡片之折射，使該導覽裝置之該顯示單元所顯示的該虛擬場景立體化。
8. 如申請專利範圍第6項所述之結合擴增實境與虛擬實境的導覽裝置之導覽方法，該進入虛擬實境模式步驟執行完畢後，該導覽裝置更從該儲存模組讀取關聯於該虛擬實境場景的至少一虛擬實境物件，供以設定於該虛擬實境場景，並受該控制指令觸發而產生一互動效果。
9. 如申請專利範圍第6項所述之結合擴增實境與虛擬實境的導覽裝置之導覽方法，該進入虛擬實境模式步驟執行完畢後，該導覽裝置更從該儲存模組讀取關聯於該虛擬實境場景的一第二虛擬實境物件，並設定於該虛擬實境場景，其後，接續執行一切換虛擬實境場景步驟：該第二虛擬實境物件受該控制指令觸發後，該導覽裝置使該虛擬實境場景切換至一第二虛擬實境場景。
10. 如申請專利範圍第6項所述之結合擴增實境與虛擬實境的導覽裝置之導覽方法，該進入虛擬實境模式步驟執行完畢後，該導覽裝置更從該儲存模組讀取一第二模式切換物件，並設定於該虛擬實境場景，其後，接續執行一返回擴增實境模式步驟：該第二模式切換物件受該控制指令觸發後，該導覽裝置使該虛擬實境模式切換至該擴增實境模式。

Images