TWI830234B

TWI830234B - 將現實物件轉換為虛擬實境之虛擬物件的方法

Info

Publication number: TWI830234B
Application number: TW111119099A
Authority: TW
Inventors: 曹承祥; 黃相瑋; 黃麒瑾; 林群貿; 曾百慶; 田嘉昇; 林保均; 林詠章; 林新庭; 王光瑜
Original assignee: 伊甸數位股份有限公司
Priority date: 2022-05-23
Filing date: 2022-05-23
Publication date: 2024-01-21
Also published as: TW202348024A

Abstract

一種將現實物件轉換為虛擬實境之虛擬物件的方法，該方法包含下列步驟：透過頭戴式裝置的攝影模組取得環境之環境影像；由環境影像中辨識至少一現實物件；選擇該至少一現實物件；依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；在頭戴式裝置的顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中。藉此，將現實物件虛擬化整合至虛擬實境中。

Description

將現實物件轉換為虛擬實境之虛擬物件的方法

本發明係與虛擬實境有關；特別是指一種將現實物件轉換為虛擬實境之虛擬物件的方法。

虛擬實境係藉由一頭戴式裝置實現，該頭戴式裝置供使用者載於眼前且具有一顯示器，顯示器位於使用者眼晴的前方，在顯示器上顯示虛擬實境的畫面。使用者便能沉浸在虛擬實境中，進行遊戲、運動、會議、上課等日活動。

由於使用者沉浸於虛擬實境時，只能看到虛擬實境的畫面，並無法看到周遭環境中的物件。例如使用者在房間內以頭戴式裝置遊玩虛擬實境的遊戲，房間中還有其它的物件，例如桌子、椅子等，但使用者在遊玩虛擬實境的遊戲時，並無法看到該些物件，可能一不小心就會碰撞到該些物件，而導致跌倒受傷的情形。因此，虛擬實境的開發業者，皆會提醒使用者在空矌的環境使用其設備，然而，確限制了虛擬實境的使用條件。

是以，習用的虛擬實境仍未臻完善，尚待改進。

有鑑於此，本發明之目的在於提供一種將現實物件轉換為虛擬實境之虛擬物件的方法，可以將現實物件虛擬化整合至虛擬實境中。

緣以達成上述目的，本發明提供的一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：

A. 透過該至少一攝影模組取得環境之環境影像；

B. 由環境影像中辨識至少一現實物件；

C. 選擇該至少一現實物件；

D. 依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；

E. 在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中。

本發明之效果在於，可以將現實物件轉換為虛擬實境之虛擬物件，不但可以將現實物件虛擬化整合至虛擬實境中，更可以讓使用者沉浸在虛擬實境時，可以對虛擬化的現實物件提高警覺，減少真實環境中碰撞到現實物件的機會。

為能更清楚地說明本發明，茲舉較佳實施例並配合圖式詳細說明如後。請參圖1所示，為本發明第一較佳實施例將現實物件轉換為虛擬實境之虛擬物件的方法所應用的頭戴式裝置10的使用情境，該頭戴式裝置10係供使用者戴於頭上且包括至少一攝影模組14與一顯示模組。

請配合圖2，於本實施例中，該頭戴式裝置10包括一處理模組12、以及電性連接該處理模組12之複數個該攝影模組14、該顯示模組16、一揚聲器18、一動作感測模組20、一儲存模組22與一通訊模組24。

該處理模組12可為一中央處理器，用以執行一虛擬實境程式。該些攝影模組14受該處理模組12控制，以拍攝所處的環境之環境影像，且將所拍攝的環境影像傳送至該處理模組12。複數個攝影模組14可增加整體的取像範圍，該處理模組12將各個環境影像想整合為一個環境影像，實務上，亦可採用一個攝影模組14。

該處理模組12在該顯示模組16上進行對應的畫面之顯示，所顯示的畫面包括左畫面與右畫面，以供使用者兩眼觀看。該處理模組12於該顯示模組16顯示的畫面可為虛擬實境、環境影像、或為前述兩者的結合。

該處理模組12透過揚聲器18播放音效、音樂等聲音。

該動作感測模組20用以偵測使用者的動作並輸出對應的偵測訊號，其可包含加速感測器及/或陀螺儀。該處理模組12依據該動作感測模組20所輸出的偵測訊號對應改變虛擬實境的中的視角方向。

該儲存模組22用以儲存該虛擬實境程式，且該儲存模組22具有本地的一資料庫222，該資料庫222包括虛擬實境的複數個預定場景、及複數個預定虛擬物件，較佳者，可預先設定各該預定場景與其對應的多個預定虛擬物件的對應關係，例如，預定場景為野外，則對應的多個預定虛擬物件可分別為石頭、樹木、花、動物等，但不以此為限，亦可包括其它的虛擬物件例如怪物等。該些預定場景亦可包括海邊、太空、室內、工廠、賭場等，每個預定場景對應的預定虛擬物件可不相同。例如工廠對應的預定虛擬物件可為工具、工作桌、機台等，不同於野外的預定虛擬物件，當亦可有部分的預定虛擬物件在各預定場景皆為通用。

該通訊模組24可為無線通訊模組，該處理模組12可透過該通訊模組24與外部的伺服器通訊，以自該伺服器30的一資料庫302中取得資料，例如，取得新的虛擬實境程式、新的複數個預定場景、新的複數個預定虛擬物件。伺服器30的資料庫302可定義為外部的資料庫。

此外，於本實施例中，該處理模組12可以由攝影模組14偵測使用者的手部，且判斷使用者的手部，作為操作指令的輸入。例如，在顯示模組16中顯示對應的虛擬選項區域，使用者將手部移到攝影模組14的取像範圍內，處理模組12判斷使用者手部與虛擬選項區域的相對位置，以供進行對應的選取操作。

除了以手部作虛擬的操作之外，該通訊模組24亦可訊號連接一或兩個控制器，由使用者持拿控制器進行操作。

藉由上述架構，即可進行本實施例之將現實物件轉換為虛擬實境之虛擬物件的方法，該方法包含圖3所示之下列步驟。

步驟S11：透過至少一攝影模組14取得環境之環境影像。

本實施例中，該處理模組12控制該些攝影模組拍攝環境，以持續取得環境像。該處理模組12同時在顯示模組上顯示環境影像，以供使用者觀看。該處理模組12在顯示模組16上顯示提示訊息，提示使用者環視四周圍，以取供該處理模組12取得四周圍的環境影像

步驟S12：由環境影像中辨識至少一現實物件。

本實施例中，該處理模組12由取得的環境影像以影像辨識的方式辨識現實物件，例如該處理模組12呼叫人工智慧程式模組辨識現實物件的特徵。所辨識的特徵包括現實物件的外型、及寬度與高度的比例等。請參圖4，該處理模組12所辨識的現實物件40為複數個，如花瓶41和桌子42。

在一實施例中，可預先在所要辨識的現實物件40上設置特定的標籤元件，例如二維條碼，並建立二維條碼的與現實物件的資料儲存於本地的資料庫222或外部的資料庫302，當處理模組12由環境影像中識別出二維條碼後，本地的資料庫222或外部的資料庫302取得現實物件的資料。

步驟S13：選擇至少一現實物件40。

本實施例中，請配合圖4，當在環境影像中找出現實物件40時，該處理模組12於顯示模組16中顯示環境影像，且於所顯示的環境影像中標示出該些現實物件40的區域，例如以框線標示。可由使用者進行操作以選擇該些現實物件40中的至少一者，例如選擇的現實物件40為桌子42。此外，亦可由該處理模組12自動依據所辨識的現實物件40進行選擇，例如，自動選擇位置較低的一個現實物件40，即桌子42。

步驟S14：依據選擇的該至少一現實物件40，自資料庫中取得對應之至少一虛擬物件50。

本實施例中，該處理模組12係由儲存模組22之資料庫222的預定虛擬物件中尋找對應的一者作為所要使用的虛擬物件。較佳者，本步驟中包含由該資料庫222中的該些預定場景中選擇一者作為後續所要使用的場景，由於各該預定場景皆具有對應的多個預定虛擬物件，故可由對應的該些預定虛擬物件中選擇至少一者作為至少一虛擬物件。舉例而言，該處理模組12於該顯示模組16中顯示該些預定場景供使用者選擇其中一者。接著，該處理模組12於該顯示模組16中顯示對應所選之場景的多個預定虛擬物件，供使用者選擇其中一者。

除了由使用者選擇之外，該處理模組12亦可依照所辨識的現實物件40的特徵（包括外型、及/或寬度與高度的比例），選擇與前述至少一特徵相近的至少一預定虛擬物件作為欲使用的虛擬物件。

若本地的資料庫222中無法選擇合適的預定虛擬物件，該處理模組12亦可經由通訊模組24連線至該伺服器30，由伺服器30的資料庫302中取得其它的預定虛擬物件，並匯入至本地的資料庫222中，以供選擇。

步驟S15：在該顯示模組16中顯示一虛擬實境之場景，且將至少一虛擬物件附加至該場景中。

該處理模組12依據於步驟S14中選擇的場景及虛擬物件，在顯示模組16中顯示虛擬實境之場景及虛擬物件。如圖5所示，使用者選擇的場景為野外，虛擬物件50為石頭51。

藉由上述步驟，可以將使用者所處之環境中的現實物件40轉換成虛擬實境中的虛擬物件50，並與虛擬實境的場景一同顯示。當使用者沉浸在虛擬實境中，由於可以看到現實物件40對應的虛擬物件50，故在虛擬實境中移動或動作時，便可會注意要避開虛擬物件50，有效改善習用的虛擬實境中使用者易碰撞到現實物件的缺點。

另外，於步驟S13中，使用者亦可選擇多個現實物件40，例如選擇圖4中的兩個現實物件40。之後於步驟S14中，該處理模組12將所選擇的該些現實物件40形成一群組，並自本地的資料庫222中取得對應該群組的至少一虛擬物件50。處理模組12可依據形成群組之後的寬度與高度的比例選擇對應的預定虛擬物件作為所要使用的虛擬物件，例如選擇具有較高形狀的大石頭52。於步驟S15中顯示的虛擬物件50則為大石頭52（圖6參照）。當然，亦可由使用者自行選擇要使用的虛擬物件50。

除了將多個現實物件40以群組選擇之外，使用者亦可分別選擇圖4中的兩個現實物件40。之後於步驟S14中，該處理模組12依據選擇的該些現實物件40分別取得對應的複數個該虛擬物件50，例如由資料庫中的預定虛擬物件選擇兩個，作為所要使用的虛擬物件50，例如選擇花和石頭。於步驟S15中顯示的兩個虛擬物件50則為花53和石頭51（圖7參照），且該處理模組12於該顯示模組16上所顯示的該些虛擬物件50的相對位置是對應該些現實物件40於環境中的相對位置。

為了更減少使用者碰撞現實物件40的機會，本實施例中，更包含下列步驟。

步驟S16，偵測該頭戴式裝置10與至少一現實物件40於環境中的相對距離。

本實施例中，該處理模組12係基於該些攝影模組14持續取得的環境影像判斷該頭戴式裝置10與現實物件40的相對距離，但不以此為限，在其它實施例中，該頭戴式裝置10亦可包括一距離偵測模組，用以偵測相對距離。距離偵測模組可例如是超音波測距模組或雷射測距模組。

步驟S17，在該頭戴式裝置10與現實物件40於環境中的相對距離小於一第一預定距離時，將該顯示模組16中顯示的該場景中的該至少一虛擬物件50更換為另外至少一虛擬物件50。

請配合圖8，當使用者走近現實物件40時，該處理模組12判斷相對距離小於或等於該第一預定距離時，則將原本的虛擬物件50（石頭51）更換為另一個虛擬物件50（怪物54），該第一距離可例如設定為80~120公分之間，例如100公分。藉此，提醒使用者已靠近現實物件。此外，亦可於該頭戴式裝置10發出一警示，例如，該處理模組12控制該揚聲器18發出對應的一警示音效（如怪物54的吼叫聲），或在顯示模組16上顯示警示訊息。

步驟S18，在該頭戴式裝置10與該至少一現實物件40於環境中的相對距離小於一預定距離（即一第二預定距離）時，於該顯示模組16中顯示的該場景中附加至少一攝影模組14取得的環境影像，其中該第二預定距離小於該第一預定距離。

本實施例中，當使用者更靠近現實物件40時，該處理模組12判斷相對距離小於或等於該第二預定距離時，該處理模組12將環境影像中附加至虛擬實境的場景中（圖9參照），該第二距離可例如設定為80公分以內之間，例如60公分。藉此，讓使用者可在虛擬實境的場景中明顯看到現實物件40，減少碰撞的機會。

圖10為本發明第二較佳實施例之將現實物件轉換為虛擬實境之虛擬物件的方法所應用的頭戴式裝置10的使用情境，本實施例中，現實物件40為以杯子為例的容器43，其內容物為液體。本實施例的方法係以第一實施例之步驟S11~S15大致相同，同樣可以將現實物件40虛擬化，形成虛擬物件50，杯子51（圖11參照），讓其存在於虛擬實境中，並可以供使用者在不拿下頭戴式裝置的狀態下，也能於虛擬實境中隨時取用現實物件40。

本實施例中於步驟S15中顯示虛擬物件50後（圖11參照），該處理模組12允許再次更換所要使用的虛擬物件50，使用者可以操作選擇顯示模組16所顯示的場景中的虛擬物件50，處理模組即可供使用者再由資料庫中的預定虛擬物件選擇其它一者作為欲更換的虛擬物件50a（圖12參照）。

另外，於本實施例中，於步驟S15之後包含：

透過攝影模組14取得環境影像；

判斷環境影像中具有使用者的手部，且使用者的手部與現實物件40於環境中的相對距離小於一預定距離時，於該顯示模組16中顯示的場景中附加攝影模組14取得的環境影像。

如圖13所示，當使用者的手部60進行攝影模組14的取像範圍內，該處理模組12由環境影像中判斷手部60與現實物件40於環境中的相對距離小於預定距離，其中預定距離可設定為20公分以內，則於場景中附加環境影像。藉此，讓使用者可在虛擬實境的場景中明顯看到現實物件40及自己的手部60，減少碰撞的機會，並且有利於使用者拿取現實物。

另外，於本實施例中更包含該處理模組12判斷所辨識的該至少一現實物件40對應於一容器時，該處理模組12更偵測該至少一現實物件40中的內容物之頂部的位置，即偵測液體的液面位置。若未偵測到內容物之頂部，則不標示。若偵測到內容物之頂部的位置，則該處理模組12在該顯示模組16中顯示的該場景中的虛擬物件50上對應標示該內容物之頂部的位置，即顯示對應液面位置的一標記62（圖14參照）。藉此，讓虛擬物件50更能反應出現實物件40的狀態，讓使用者可以在虛擬實境中更容易了解容器43中內容物的剩餘量。

據上所述，藉由本發明可以將現實物件轉換為虛擬實境之虛擬物件，不但可以將現實物件虛擬化整合至虛擬實境中，更可以讓使用者沉浸在虛擬實境時，可以對虛擬化的現實物件提高警覺，減少真實環境中碰撞到現實物件的機會。

以上所述僅為本發明較佳可行實施例而已，舉凡應用本發明說明書及申請專利範圍所為之等效變化，理應包含在本發明之專利範圍內。

10:頭戴式裝置 12:處理模組 14:攝影模組 16:顯示模組 18:揚聲器 20:動作感測模組 22:儲存模組 222:資料庫 24:通訊模組 30:伺服器 302:資料庫 40:現實物件 41:花瓶 42:桌子 43:容器 50:虛擬物件 50a:虛擬物件 51:石頭 52:大石頭 53:花 54:怪物 55:杯子 60:手部 62:標記 S11~S15:步驟

圖1為本發明第一較佳實施例之頭戴式裝置的使用情境。圖2為本發明第一較佳實施例之頭戴式裝置的系統方塊圖。圖3為本發明第一較佳實施例之將現實物件轉換為虛擬實境之虛擬物件的方法之流程圖。圖4為一示意圖，揭示於顯示模組標示現實物件。圖5為一示意圖，揭示於顯示模組顯示虛擬實境之場景及虛擬物件。圖6為一示意圖，揭示於顯示模組顯示虛擬實境之場景及虛擬物件。圖7為一示意圖，揭示於顯示模組顯示虛擬實境之場景及二個虛擬物件。圖8為一示意圖，揭示於顯示模組顯示虛擬實境之場景及更換虛擬物件。圖9為一示意圖，揭示於顯示模組顯示虛擬實境之場景、虛擬物件及環境影像。圖10為本發明第二較佳實施例之頭戴式裝置的使用情境。圖11為一示意圖，揭示於顯示模組顯示虛擬實境之場景及虛擬物件。圖12為一示意圖，揭示於顯示模組顯示虛擬實境之場景及虛擬物件。圖13為一示意圖，揭示於顯示模組顯示虛擬實境之場景、虛擬物件及環境影像。圖14為一示意圖，揭示於顯示模組顯示虛擬實境之場景、虛擬物件及標記。

S11~S15:步驟

Claims

一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件；C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，步驟B中所辨識的該至少一現實物件為複數個；步驟C中，包含在該顯示模組中顯示環境影像，且於所顯示的環境影像中標示該些現實物件；步驟C中係由使用者選擇該些現實物件中的至少一者。
如請求項1所述將現實物件轉換為虛擬實境之虛擬物件的方法，其中步驟C中所選擇的現實物件為多個；步驟D中係將所選擇的該些現實物件形成一群組，並自該資料庫取得對應該群組之該至少一虛擬物件。
如請求項1所述將現實物件轉換為虛擬實境之虛擬物件的方法，其中步驟C中所選擇的現實物件為多個；步驟D中係依據選擇的該些現實物件分別取得對應的複數個該虛擬物件；步驟E中係將該些虛擬物件附加至該場景中。
一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件；C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，步驟D中包含由該資料庫中的複數個預定場景中選擇一者作為步驟E中所要顯示的該場景，各該預定場景具有對應的複數個預定虛擬物件；步驟D中係由該些預定虛擬物件中選擇至少一者作為該至少一虛擬物件。
一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件；C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，步驟E之後包含：F.偵測該頭戴式裝置與該至少一現實物件於環境中的相對距離；G.在該頭戴式裝置與該至少一現實物件於環境中的相對距離小於一第一預定距離時，將該顯示模組中顯示的該場景中的該至少一虛擬物件更換為另外至少一虛擬物件。
如請求項5所述將現實物件轉換為虛擬實境之虛擬物件的方法，步驟G中，包含在該頭戴式裝置與該至少一現實物件於環境中的相對距離小於該第一預定距離時，於該頭戴式裝置發出一警示。
如請求項5所述將現實物件轉換為虛擬實境之虛擬物件的方法，步驟G之後包含：H.在該頭戴式裝置與該至少一現實物件於環境中的相對距離小於一第二預定距離時，於該顯示模組中顯示的該場景中附加該至少一攝影模組取得的環境影像，其中該第二預定距離小於該第一預定距離。
一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件；C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，步驟E之後包含：偵測該頭戴式裝置與該至少一現實物件於環境中的相對距離；在該頭戴式裝置與該至少一現實物件於環境中的相對距離小於一預定距離時，於該顯示模組中顯示的該場景中附加該至少一攝影模組取得的環境影像。
一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件；C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，步驟E之後包含：透過該少一攝影模組取得環境影像；判斷環境影像中具有使用者的手部，且使用者的手部與該至少一現實物件於環境中的相對距離小於一預定距離時，於該顯示模組中顯示的該場景中附加該至少一攝影模組取得的環境影像。
一種將現實物件轉換為虛擬實境之虛擬物件的方法，係應用於一頭戴式裝置，該頭戴式裝置包括至少一攝影模組與一顯示模組；該方法包含下列步驟：A.透過該至少一攝影模組取得環境之環境影像；B.由環境影像中辨識至少一現實物件； C.選擇該至少一現實物件；D.依據選擇的該至少一現實物件，自一資料庫中取得對應之至少一虛擬物件；E.在該顯示模組中顯示一虛擬實境之一場景，且將該至少一虛擬物件附加至該場景中；其中，更包含判斷所辨識的該至少一現實物件對應於一容器時，由環境影像中偵測該至少一現實物件中的內容物之頂部的位置，且在該顯示模組中顯示的該場景中的該至少一虛擬物件上對應標示該內容物之頂部的位置。