TWI579731B - Combined with the reality of the scene and virtual components of the interactive system and methods - Google Patents

Description

結合現場實境與虛擬元件之互動實境系統與方法

本發明是有關於一種互動實境系統與方法，特別是有關於一種結合現場實境與虛擬元件之互動實境系統與方法。

習知的虛擬實境都是由電腦模擬軟體來進行建模繪製與設計，可以對實際場景進行三維建模，並將多種虛擬物件疊合到實際場景之圖標位置。

然而，目前利用實際拍攝風景或建物或室內的影片成為實際場景，尚缺乏可提供使用者具有多重選擇性之虛擬元件，或進一步將對應於實際場景之虛擬元件或遊戲活動的操作置入於實境場景之影像中並與此虛擬元件進行互動之特性，且習知的虛擬實境所花費的時間、人力與費用較多，故疊合實際場景影像與虛擬元件之互動或競賽等都是一種值得開發的技術與產品。

有鑑於上述之問題，本發明係提出一種結合現場實境與虛擬元件之互動實境系統與方法，以解決上述之缺點。

有鑑於上述習知技藝之問題，本發明之目的就是在提供一種結合現場實境與虛擬元件之互動實境系統與方法，其係提供使用者可從中自行選擇虛擬元件，並配合目前實際場景，組合出實景結合虛物的多用途擴增實境，藉此解決傳統虛 擬元件僅能固定疊合到圖標位置且無法選擇虛擬元件與之互動之問題。

根據本發明之目的，提出一種結合現場實境與虛擬元件之互動實境系統，其包含有一攝像模組、一影像辨識模組、一虛擬元件擷取模組、一虛擬元件套疊模組以及一虛擬元件互動模組。攝像模組係擷取實際場景之影像，產生一實景環境影像資訊。影像辨識模組係辨識實景環境影像資訊中之一特定辨識圖像，產生一辨識資訊。虛擬元件擷取模組係自一虛擬元件資料庫伺服器中載入符合實景環境影像資訊及相對辨識資訊之一虛擬元件資訊。虛擬元件套疊模組係根據使用者所選擇的位置，搭配辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據堆疊位置資訊將虛擬元件資訊中之一特定虛擬元件疊合至實境環境影像資訊之對應位置上。虛擬元件互動模組係提供使用者於實景環境影像資訊中操控特定虛擬元件。

本發明所述之結合現場實境與虛擬元件之互動實境系統，更包含一顯像模組，用以顯示實景環境影像資訊、辨識資訊、虛擬元件資訊、堆疊位置資訊及特定虛擬元件

較佳地，虛擬元件資訊可包含一虛擬元件群組及一虛擬元件設定資訊，且虛擬元件設定資訊更可包含設定特定虛擬元件於實境環境影像資訊中之行為互動方式，行為互動方式包括旋轉、翻轉、平移或縮放之資訊。

較佳地，特定辨識圖像可於攝像模組拍攝實際場景之影像前放置於實際場景中，或原先本來就存在於實際場景中，且特定辨識圖像可包含圖標、圖片、線條或號誌。

較佳地，特定虛擬元件可包含二維或三維物件。

根據本發明之目的，再提出一種結合現場實境與虛擬元件之互動實境方法，其包含下列步驟：利用一攝像模組擷取實際場景之影像，產生一實景環境影像資訊；利用一影像辨識模組辨識實景環境影像資訊中之一特定辨識圖像，產生一 辨識資訊；透過一虛擬元件擷取模組自一虛擬元件資料庫伺服器中載入符合實景環境影像資訊及相對辨識資訊之一虛擬元件資訊；利用一虛擬元件套疊模組且根據使用者所選擇的位置，搭配辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據堆疊位置資訊將虛擬元件資訊中之一特定虛擬元件疊合至實境環境影像資訊之對應位置上；以及利用一虛擬元件互動模組提供使用者於實景環境影像資訊中操控該特定虛擬元件。

本發明所述之結合現場實境與虛擬元件之互動實境方法，更包含下列步驟：透過一顯像模組顯示實景環境影像資訊、辨識資訊、虛擬元件資訊、堆疊位置資訊及特定虛擬元件。

較佳地，虛擬元件資訊可包含一虛擬元件群組及一虛擬元件設定資訊，且虛擬元件設定資訊更可包含設定特定虛擬元件於實境環境影像資訊中之行為互動方式，行為互動方式包括旋轉、翻轉、平移或縮放之資訊。

較佳地，特定辨識圖像可於攝像模組拍攝實際場景之影像前放置於實際場景中，或原先本來就存在於實際場景中，且特定辨識圖像可包含圖標、圖片、線條或號誌。

較佳地，特定虛擬元件可包含二維或三維物件。

承上所述，依本發明之結合現場實境與虛擬元件之互動實境系統與方法，其係於智慧型行動裝置中疊套虛擬元件擴增實境內容，將不再單一侷限於圖標內容，讓使用者自行選擇需要疊套的虛擬元件並組合成使用者所預期的擴增實境，藉此提高互動實境系統應用的豐富性。

1‧‧‧智慧型行動裝置

100‧‧‧互動實境系統

110‧‧‧攝像模組

120‧‧‧顯像模組

130‧‧‧影像辨識模組

140‧‧‧虛擬元件擷取模組

150‧‧‧虛擬元件套疊模組

160‧‧‧虛擬元件互動模組

S11~S15、A~H‧‧‧步驟流程

第1圖 係為本發明結合現場實境與虛擬元件之互動實境系統之方塊圖。

第2圖 係為本發明結合現場實境與虛擬元件之互動實境方法之流程圖。

第3圖 係為本發明結合現場實境與虛擬元件之互動實境方法之操作流程圖。

第4圖 係為本發明結合現場實境與虛擬元件之互動實境方法之操作示意圖。

第5圖 係為本發明所述互動實境方法應用於典型室內設計佈置之第一示意圖。

第6圖 係為本發明所述互動實境方法應用於典型室內設計佈置之第二示意圖。

第7圖 係為本發明所述互動實境方法應用於典型室內設計佈置之第三示意圖。

第8圖 係為本發明所述互動實境方法應用於典型室內設計佈置之第四示意圖。

第9圖 係為本發明所述互動實境方法應用於典型室內設計佈置之第五示意圖。

第10圖 係為本發明所述互動實境方法應用於娛樂遊戲之第一示意圖。

第11圖 係為本發明所述互動實境方法應用於娛樂遊戲之第二示意圖。

第12圖 係為本發明所述互動實境方法應用於娛樂遊戲之第三示意圖。

為利 貴審查員瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

以下將參照相關圖式，說明依本發明結合現場實境與虛擬元件之互動實境系統與方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

請參閱第1圖，其係為本發明之結合現場實境與虛擬元件之互動實境系統之方塊圖。所述結合現場實境與虛擬元件之互動實境系統100可安裝於任一款智慧型行動裝置1中。此系統包含有一攝像模組110、一顯像模組120、一影像辨識模組130、一虛擬元件擷取模組140、一虛擬元件套疊模組150以及一虛擬元件互動模組160。攝像模組110係擷取實際場景之影像，產生一實景環境影像資訊。影像辨識模組130係辨識實景環境影像資訊中之一特定辨識圖像，產生一辨識資訊。虛擬元件擷取模組140係自一虛擬元件資料庫伺服器中載入符合實景環境影像資訊及相對辨識資訊之一虛擬元件資訊。虛擬元件套疊模組150係根據使用者所選擇的位置，搭配辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據堆疊位置資訊將虛擬元件資訊中之一特定虛擬元件疊合至實境環境影像資訊之對應位置上。虛擬元件互動模組160係提供使用者於實景環境影像資訊中操控特定虛擬元件。

上述中，攝像模組110係為一可捕捉目前現場實境的拍攝裝置，例如一般常見的相機或攝影機等。顯像模組120可為一種具觸控功能之顯示影像資訊的裝置，其係顯示二維或三維圖像物件於其上，亦可顯示影像資訊並供使用者觀看與互動，如一般常見的手機螢幕。且顯像模組120可用以顯示實景環境影像資訊、辨識資訊、虛擬元件資訊、堆疊位置資訊及特定虛擬元件。影像辨識模組130會對目前實際場景之影像作影像辨識，一旦辨識到特定辨識圖像後，影像辨識模組130便會分析特定辨識圖像在此影像中的三維資訊並取得其存放內容資訊，以產生一辨識資訊。虛擬元件擷取模組140則會根據影像辨識模組130所分析出來的辨識資訊，透過網際網路從雲端 之虛擬元件資料庫伺服器下載所需之虛擬元件資訊。其中，虛擬元件資訊更可包含一虛擬元件群組及一虛擬元件設定資訊，且所述虛擬元件設定資訊更可包含設定特定虛擬元件於實境環境影像資訊中行為互動方式，行為互動方式包括之旋轉、翻轉、平移或縮放之資訊等。

此外，使用者可從虛擬元件群組中選擇所需要的特定虛擬元件，透過虛擬元件套疊模組150將所選定之特定虛擬元件疊合到目前之實景環境影像資訊得相對位置上，且特定虛擬元件疊合的位置可由使用者自行決定，例如在辨識圖像平面上之任意位置均可，再透過顯像模組120呈現擴增實境影像。最後，使用者則再透過虛擬元件互動模組160，即可與合成之擴增實境內容進行互動，其互動之行為可依虛擬元件設定資訊而定。以上僅係為較佳之實施態樣，但不應以此述而有所限制。

值得一提的是，於攝像模組110進行拍攝實際場景之影像前，係將特定辨識圖像放置於實際場景中，或特定辨識圖像本身就存在實境場景中，以提供影像辨識模組130進行圖像辨識，且所述特定辨識圖像可包含圖標、圖片、線條或號誌等，物件模型。舉例而言，若特定辨識圖像經辨識後係為一桌椅圖片，則所產生之辨識資訊可為任一款椅子之特定虛擬元件。特定虛擬元件可包含二維或三維物件等。以上僅係為舉例之實施態樣，但不應以此述為限。

請參閱第2圖，其係為本發明之結合現場實境與虛擬元件之互動實境方法之流程圖。此方法包含下列步驟：步驟S11：利用一攝像模組擷取實際場景之影像，產生一實景環境影像資訊。步驟S12：利用一影像辨識模組辨識實景環境影像資訊中之一特定辨識圖像，產生一辨識資訊。步驟S13：透過一虛擬元件擷取模組自一虛擬元件資料庫伺服器中載入符合實景環境影像資訊及相對辨識資訊之一虛擬元件資訊。步驟 S14：利用一虛擬元件套疊模組且根據使用者所選擇的位置，搭配辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據堆疊位置資訊將虛擬元件資訊中之一特定虛擬元件疊合至實境環境影像資訊之對應位置上。步驟S15：利用一虛擬元件互動模組提供使用者於該實景環境影像資訊中操控該特定虛擬元件。

更進一步地，本發明之較詳細操作流程，請一併參閱第3圖至第4圖。在第3圖之流程步驟中，首先，步驟A：使用者透過智慧型行動裝置之攝像模組拍攝目前實景影像，此實景影像可為一般三維環場實境或其他二維圖像，此影像可由顯像模組顯示出來。接著，步驟B：影像辨識模組針對所拍攝到之三維實景影像或二維圖像內的特定辨識圖像進行辨識，一旦辨識到辨識圖像之圖形特徵，影像辨識模組則會開始分析此特定辨識圖像在攝像中的三維資訊，並解析該圖像所含之辨識資訊。接下來，步驟C：虛擬元件擷取模組檢查虛擬元件資訊是否已經載入到系統內。若否，則執行步驟D：虛擬元件擷取模組將會傳送此辨識資訊至網際網路，再經由步驟E：將網路雲端之虛擬元件資料庫伺服器抓取相關之特定辨識圖像，並回傳包含有虛擬元件群組及虛擬元件設定資訊之相對應的虛擬元件資訊至本系統中。

反之，若虛擬元件擷取模組檢查虛擬元件資訊已經載入到系統內時，則執行步驟F：當虛擬元件資訊已存在系統中後，使用者可藉由虛擬元件互動模組從虛擬元件群組中觸控選擇自己所需的虛擬元件。然後再進入步驟G：透過虛擬元件套疊模組堆疊組合到場景影像之同一平面上，即可擴增實境影像。最後，步驟H：系統將等待使用者與之互動，使用者可再經由虛擬元件互動模組對自己營造出來的擴增實境內容與虛擬元件進行二維或三維之視角變換或其他需求觸控操作，而虛擬元件互動模組也會根據使用者的行為互動，搭配虛擬元件 設定資訊(虛擬元件設定資訊定義虛擬元件的互動行為與方式。舉例來說，虛擬椅子物件可提供縮放、旋轉、折疊等功能或者虛擬籃球運動員可提供運球、抄球、跑步、上籃等動作)，快速作出相應之場景或虛擬元件互動回應譬如翻轉改變視角、平移、縮放、或遊戲等，但不應以此述為限。

請參閱第5圖至第9圖，其係為本發明之第一實施例，將所述互動實境方法應用於典型室內設計佈置之第一至第五示意圖。第5圖為一辦公室內部場景，中央有一已定義之特殊辨識圖標。使用者透過智慧型行動裝置辨識此實際場景後，系統將偵測到此圖標並解析之，如第6圖所示。接著，系統根據此辨識資訊透過雲端虛擬元件伺服器載入相對應的虛擬元件群組供使者用選擇使用，如第7圖所示。使用者觸控選擇需要的虛擬元件，並結合到圖標平面的影像上形成一擴增實境，如第8圖所示。最後，使用者進階對合成的擴增實境內容觸控佈置，例如虛擬元件之平移或放大等操作，且此系統更可完成使用者之互動需求，如第9圖所示。以上僅係為舉例之實施態樣，但不應以此述而有所限制。

此外，第10圖至第12圖係為本發明之第二實例例，將所述互動實境方法應用於娛樂遊戲之第一至第三示意圖。第10圖係為一室外之實際籃球場。使用者對此實境辨識後，系統辨識籃球場場地線條為特別定義的辨識圖像特徵，接著根據此辨識資訊透過雲端虛擬元件伺服器下載相關的虛擬元件群組，如第11圖所示。使用者觸控選擇需求的虛擬元件(如圖中之球員)合成一擴增實境遊戲，如第12圖所示，進而可與此系統開始觸控進行遊戲互動。以上僅係為舉例之實施態樣，但不應以此述為限。

綜合上述，本發明所述之結合現場實境與虛擬元件之互動實境系統與方法，係利用系統中之攝像模組、顯像模組、影像辨識模組、虛擬元件擷取模組、虛擬元件疊合模組及 虛擬元件互動模組進行運作，結合雲端虛擬元件資料庫作虛擬元件資訊選定匹配，以完成在行動裝置上實現一擴增實境互動系統。如此一來，藉由本發明之系統可提供使用者選擇性變動虛擬元件之疊套位置，並與其所創造之擴增實境進行多樣互動，提高系統應用的豐富性。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1‧‧‧智慧型行動裝置

100‧‧‧互動實境系統

110‧‧‧攝像模組

120‧‧‧顯像模組

130‧‧‧影像辨識模組

140‧‧‧虛擬元件擷取模組

150‧‧‧虛擬元件套疊模組

160‧‧‧虛擬元件互動模組

Claims (12)

1. 一種結合現場實境與虛擬元件之互動實境系統，其包含：一攝像模組，係擷取使用者所處之當下現場實際場景之影像，產生一使用者所處之當下現場實景環境影像資訊；一影像辨識模組，係辨識該使用者所處之當下現場實景環境影像資訊中之一特定辨識圖像，產生一辨識資訊；一虛擬元件擷取模組，係自一虛擬元件資料庫伺服器中載入符合該使用者所處之當下現場實景環境影像資訊及相對該辨識資訊之一虛擬元件資訊；一虛擬元件套疊模組，係根據使用者所選擇的位置，搭配該辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據該堆疊位置資訊將該虛擬元件資訊中之一特定虛擬元件疊合至該使用者所處之當下現場實境環境影像資訊之對應位置上；以及一虛擬元件互動模組，係提供使用者於該使用者所處之當下現場實景環境影像資訊中操控該特定虛擬元件。
2. 如申請專利範圍第1項所述之系統，其更包含一顯像模組，用以顯示該實景環境影像資訊、該辨識資訊、該虛擬元件資訊、該堆疊位置資訊及該特定虛擬元件。
3. 如申請專利範圍第1項所述之系統，其中該虛擬元件資訊包含一虛擬元件群組及一虛擬元件設定資訊，且該虛擬元件設定資訊更包含設定該特定虛擬元件於該實境環境影像資訊中之行為互動方式。
4. 如申請專利範圍第3項所述之系統，其中該虛擬元件的互動行為方式可包含旋轉、翻轉、平移、縮放、遊戲互動等方法資訊。
5. 如申請專利範圍第1項所述之系統，其中該特定辨識圖像可於該攝像模組拍攝實際場景之影像前放置於該實際場景中，或原先本來就存在於實際場景中，且該特定辨識圖像包含圖標、圖片、線條或號誌。
6. 如申請專利範圍第1項所述之系統，其中該特定虛擬元件包含二維或三維物件。
7. 一種結合現場實境與虛擬元件之互動實境方法，其包含下列步驟：利用一攝像模組擷取使用者所處之當下現場實際場景之影像，產生一使用者所處之當下現場實景環境影像資訊；利用一影像辨識模組辨識該使用者所處之當下現場實景環境影像資訊中之一特定辨識圖像，產生一辨識資訊；透過一虛擬元件擷取模組自一虛擬元件資料庫伺服器中載入符合該使用者所處之當下現場實景環境影像資訊及相對該辨識資訊之一虛擬元件資訊；利用一虛擬元件套疊模組且根據使用者所選擇的位置，搭配該辨識資訊中之一三維資訊，計算出一堆疊位置資訊，以根據該堆疊位置資訊將該虛擬元件資訊中之一特定虛擬元件疊合至該使用者所處之當下現場實境環境影像資訊之對應位置上；以及 利用一虛擬元件互動模組提供使用者於該使用者所處之當下現場實景環境影像資訊中操控該特定虛擬元件。
8. 如申請專利範圍第7項所述之方法，其更包含下列步驟：透過一顯像模組顯示該實景環境影像資訊、該辨識資訊、該虛擬元件資訊、該堆疊位置資訊及該特定虛擬元件。
9. 如申請專利範圍第7項所述之方法，其中該虛擬元件資訊包含一虛擬元件群組及一虛擬元件設定資訊，且該虛擬元件設定資訊更包含設定該特定虛擬元件於該實境環境影像資訊中之行為互動方式。
10. 如申請專利範圍第9項所述之方法，其該虛擬元件的互動行為方式可包含旋轉、翻轉、平移、縮放、遊戲互動等方法資訊。
11. 如申請專利範圍第7項所述之方法，其中該特定辨識圖像可於該攝像模組拍攝該實際場景之影像前放置於該實際場景中，或原先本來就存在於實際場景中，且該特定辨識圖像包含圖標、圖片、線條或號誌。
12. 如申請專利範圍第7項所述之方法，其中該特定虛擬元件包含二維或三維物件。