TWI793931B - 虛擬影像顯示系統及虛擬影像顯示方法 - Google Patents

Abstract

一種虛擬影像顯示系統及其顯示方法被提出。虛擬影像的顯示方法包括：使手持式電子裝置顯示識別圖案，識別圖案對應物件影像；使虛擬影像顯示器拍攝識別圖案，並根據識別圖案以顯示物件影像；以及，當識別圖案消失時，使虛擬影像顯示器擷取手持式電子裝置的慣性量測資訊，並根據慣性量測資訊以調整物件影像的位置及方向的至少其中之一。

Description

虛擬影像顯示系統及虛擬影像顯示方法

本發明是有關於一種虛擬影像顯示系統及其顯示方法，且特別是有關於一種可提升影像顯示效能的虛擬影像顯示系統及其顯示方法。

隨著電子科技的演進，可進行虛擬實境、擴增實境的虛擬影像顯示器日漸成為一種主流。在現今的技術中，為了提升使用者在虛擬影像世界中的體驗感，也可與使用者所配戴的配件進行搭配，以提供使用者與虛擬世界中顯示的物件影像進行互動的機制。

本發明提供一種虛擬影像顯示系統及其顯示方法，可提升虛擬的物件影像的顯示效果。

本發明的虛擬影像的顯示方法包括：使手持式電子裝置顯示識別圖案，識別圖案對應物件影像；使虛擬影像顯示器拍攝識別圖案，並根據識別圖案以顯示物件影像；以及，當識別圖案消失時，使虛擬影像顯示器擷取手持式電子裝置的慣性量測資訊，並根據慣性量測資訊以調整物件影像的位置及方向的至少其中之一。

本發明的虛擬影像顯示系統包括手持式電子裝置以及虛擬影像顯示器。手持式電子裝置用以顯示識別圖案，其中識別圖案對應一物件影像。虛擬影像顯示器電性耦接手持式電子裝置，其中擬影像顯示器用以：拍攝識別圖案，並根據識別圖案以顯示物件影像；當該識別圖案消失時，使虛擬影像顯示器擷取手持式電子裝置的慣性量測資訊，並根據慣性量測資訊以調整物件影像的位置及方向的至少其中之一。

基於上述，本發明的虛擬影像顯示器透過拍攝手持式電子裝置上的識別圖案，並透過解析識別圖案的位置及方向資訊來控制所顯示的物件影像的位置及/或方向。並且，當識別圖案消失時，虛擬影像顯示器可根據手持式電子裝置的慣性量測資訊來控制所顯示的物件影像的位置及/或方向，提升虛擬的物件影像的顯示效果。

請參照圖1，圖1繪示本發明一實施例的虛擬影像的顯示方法的流程圖。其中，在步驟S110中，使手持式電子裝置顯示一識別圖案，此識別圖案可對應一物件影像。在步驟S120中，則使虛擬影像顯示器拍攝手持式電子裝置所顯示的識別圖案，虛擬影像顯示器並可根據識別圖案以顯示對應的物件影像。在本實施例中，物件影像可以是一個三維的物件影像。虛擬影像顯示器可以是一頭戴式顯示器，並可產生虛擬實境或擴增實境的顯示效果。手持式電子裝置則可以是使用者的手機，並具有顯示器來顯示識別圖案。本實施例中，虛擬影像顯示器具有一攝像器（例如照相機），可用來拍攝手持式電子裝置所顯示的識別圖案。透過解析所獲得的識別圖案，虛擬影像顯示器可對應識別圖案以執行三維的虛擬的物件影像的顯示動作。

在此可同步參照圖1、圖2A以及圖2B，其中圖2A以及2B繪示本發明實施例的物件影像的操控方式的示意圖。在圖2A中，手持式電子裝置210可顯示識別圖案211。識別圖案211可以為條碼（bar-code）或也可以是多維度的條碼（例如快速反應碼（Quick Response Code, QR code）），或者也可以是工程人員子行設計的識別圖案，沒有固定的限制。識別圖案211對應至虛擬的物件影像VOBJ。物件影像VOBJ是一三維影像。

另外，虛擬影像顯示器220（例如為頭戴式顯示器），可透過拍攝手持式電子裝置210上的識別圖案211，並透過查找資料庫，以獲得對應至識別圖案211的物件影像VOBJ。進一步，虛擬影像顯示器220可進行物件影像VOBJ的顯示動作。其中，虛擬影像顯示器220中的資料庫可以記錄多種物件影像以及分別對應的識別碼，上述的這些識別碼可以分別應用不同的識別圖案來進行呈現。

在本實施例中，使用者可以透過改變手持式電子裝置的位置以及方向資訊來對虛擬影像顯示器所顯示的物件影像進行操控動作。例如，在圖2B中，在當使用者轉動手持式電子裝置210時，虛擬影像顯示器220拍攝到的手持式電子裝置210上的識別圖案211，可能會因為持式電子裝置210的轉動而產生尺寸上的改變。如此一來，虛擬影像顯示器220可解析識別圖案211的位置及方向資訊，並透過識別圖案211的位置及方向資訊的變化，來進行物件影像VOBJ的位置及方向的至少其中之一的調整動作。

在本實施例中，使用者可透過轉動手持式電子裝置210，以使物件影像VOBJ同步進行轉動的動作。在本發明其他實施例中，使用者也可透過移動手持式電子裝置210，來對物件影像VOBJ的顯示位置及/或方向進行調整動作。

在步驟S130中，當識別圖案211消失而無法被虛擬影像顯示器220所拍攝時，則使虛擬影像顯示器220擷取手持式電子裝置210的慣性量測資訊（Inertial Measurement Information, IMF），並使虛擬影像顯示器220根據手持式電子裝置210的慣性量測資訊來調整物件影像VOBJ的顯示位置及方向的至少其中之一。

在此請同步參照圖2C，其中2C繪示本發明實施例的物件影像的操控方式的示意圖。當識別圖案211消失而無法被虛擬影像顯示器220所拍攝時，例如當手持式電子裝置210轉動到背面而使虛擬影像顯示器220無法順利拍攝到識別圖案211時，虛擬影像顯示器220可接收手持式電子裝置210所發出的慣性量測資訊IMF。虛擬影像顯示器220可根據慣性量測資訊IMF來獲知手持式電子裝置210的位置及方向資訊，並根據手持式電子裝置210的位置及方向資訊來繼續執行物件影像VOBJ的顯示位置及方向的至少其中之一的調整動作。

在細節上，當識別圖案211消失而無法被虛擬影像顯示器220所拍攝時，虛擬影像顯示器220可發送需求信號RQS至手持式電子裝置210，並使手持式電子裝置210根據需求信號RQS來啟動慣性量測資訊IMF的偵測動作。手持式電子裝置210並將偵測到的慣性量測資訊IMF傳送至虛擬影像顯示器220。在此請注意，手持式電子裝置210並不會持續執行慣性量測資訊IMF的傳送動作，而是僅在接收到虛擬影像顯示器220所發送的需求信號RQS後，才執行慣性量測資訊IMF的偵測以及傳送動作，以降低電力的消耗。而在本實施例中，當虛擬影像顯示器220根據手持式電子裝置210的慣性量測資訊IMF以得知手持式電子裝置210的背面朝向虛擬影像顯示器220時，虛擬影像顯示器220可對應顯示物件影像VOBJ的背面。

值得一提的，在當虛擬影像顯示器220發送出需求信號RQS時（在當識別圖案211消失時），虛擬影像顯示器220可同步啟動一計時器，並計算識別圖案211消失的持續時間。當識別圖案消失的持續時間大於一預設時間長度時，若虛擬影像顯示器220沒法重新拍攝到識別圖案211，表示使用者可能不再需要進行物件影像VOBJ的顯示動作。因此，虛擬影像顯示器220可停止顯示物件影像VOBJ，並停止需求信號RQS的傳輸動作。

相對應的，當需求信號RQS消失後，手持式電子裝置210可同步停止慣性量測動作，並停止發送慣性量測資訊IMF。

上述的預設時間長度可由設計者來設定，也可讓使用者透過手持式電子裝置210及/或虛擬影像顯示器220所提供的使用者介面來進行設定，沒有一定的限制。

由上述說明可以得知，本發明實施例的虛擬影像的顯示方法，在當虛擬影像顯示器220無法拍攝到識別圖案211時，虛擬影像顯示器220仍可繼續執行物件影像VOBJ的顯示，及其顯示位置及方向的調整動作。有效提升虛擬影像的顯示效能。

以下請參照圖3，圖3繪示本發明一實施例的虛擬影像顯示系統的示意圖。虛擬影像顯示系統300包括手持式電子裝置310以及虛擬影像顯示器320。手持式電子裝置310包括顯示器311、慣性量測器312以及通信介面313。虛擬影像顯示器320包括攝像器321、控制器322、顯示器323、計時器324以及通信介面325。手持式電子裝置310以及虛擬影像顯示器320相互電性耦接。其中，手持式電子裝置310的顯示器311用以顯示識別圖案。虛擬影像顯示器320的攝像器321拍攝識別圖案，並使控制器322根據識別圖案以獲得對應識別圖案的物件影像。控制器322並可使顯示器323進行物件影像的顯示動作。

在識別圖案未消失，且產生位置及方向資訊的改變時，控制器322可根據識別圖案的位置及方向資訊的改變來調整物件影像的位置及方向的至少其中之一。

相對的，在識別圖案消失時，控制器322可透過通信介面325以傳送需求信號RQS至手持式電子裝置310的通信介面313。手持式電子裝置310並可根據接收到的需求信號RQS以啟動慣性量測器312，並據以獲得手持式電子裝置310的慣性量測資訊IMF。手持式電子裝置310可透過通信介面313回傳慣性量測資訊IMF至虛擬影像顯示器320。虛擬影像顯示器320的控制器322則可根據慣性量測資訊IMF以持續執行物件影像的位置及方向的至少其中之一的調整動作。

在另一方面，在識別圖案消失時，控制器322可同步啟動計時器324的計時動作，並計算識別圖案消失的持續時間。當計時器324的計時結果顯示識別圖案消失的持續時間大於預設時間長度時，控制器322驅使顯示器323停止物件影像的顯示動作，並停止發送需求信號RQS。手持式電子裝置310則對應停止慣性量測器312的動作，且停止回傳慣性量測資訊IMF至虛擬影像顯示器320。

在本實施例中，計時器324可以利用本領域具通常知識者所熟知的計數電路來實施，並設置於控制器322外。在本發明提他實施例中，計時器324也可內建的控制器322中，沒有一定的限制。另外，本實施例的通信介面325、313可以為任意形式，為本領域具通常知識者所熟知的無線或有線的通信介面，同樣沒有固定的限制。此外，控制器322可以為具運算能力的處理器。或者，控制器322可以是透過硬體描述語言（Hardware Description Language, HDL）或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列（Field Programmable Gate Array, FPGA）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）或是特殊應用積體電路（Application-specific Integrated Circuit, ASIC）的方式來實現的硬體電路。

以下請參照圖4，圖4繪示本發明實施例的虛擬影像顯示系統的動作流程圖。在步驟S410中，虛擬影像顯示器可透過執行應用程式來使攝像器讀取手持式電子裝置（手機）上所顯示的條碼（識別圖案）。在步驟S420中，虛擬影像顯示器的應用程式選擇對應條碼的三維的虛擬的物件影像，並根據條碼的位置及方向資訊來顯示虛擬的物件影像。在步驟S430中，當條碼的位置及/或方向改變時，應用程式可根據條碼的位置及方向資訊來調整三維的虛擬的物件影像的位置及/或方向。並且，在步驟S440中，虛擬影像顯示器判斷條碼是否消失，若條碼未消失，可重複執行步驟S430。相對的，若發生條碼消失的現象，則執行步驟S450。

在步驟S450中，虛擬影像顯示器可獲得手機的慣性量測資訊並估測位置及方向角，例如等於(M,N)。並且，虛擬影像顯示器可同步啟動計時器。接著，在步驟S460中，虛擬影像顯示器可根據位置及方向角例如等於(X,Y)來重繪虛擬的物件影像。其中，位置及方向角(X,Y)為物件影像的位置及方向角，並可根據手機的位置及方向角(M,N)來獲得。在本實施例中，設計者可預先針對虛擬影像顯示器的顯示影像的空間座標以及手機的空間座標間建立一轉換關係，並透過這個轉換關係，來換算手機的位置及方向角(M,N)以產生物件影像的位置及方向角(X,Y)。在兩空間中建立座標關係並進行轉換為本領域技術人員熟知的技術，在此恕不多贅述。

在步驟S470中，則繼續執行條碼是否消失的偵測動作，並在當條碼持續為消失的狀態時，停止顯示虛擬的物件影像（步驟S480）。相對的，若在步驟S470中，條碼重新出現，則重新執行步驟S430以持續進行物件影像的顯示及控制動作。

在本實施例中，步驟S440以及步驟S470的被執行的時間間隔可大於或等於前述實施例中提及的預設時間長度。

綜上所述，本發明的虛擬影像顯示器可根據手持式電子裝置上的識別圖案來執行物件影像的顯示動作。並且，在當手持式電子裝置上的識別圖案消失時，虛擬影像顯示器可根據手持式電子裝置的慣性量測資訊來持續進行物件影像的顯示動作，有效提升顯示的效能。

210、310:手持式電子裝置

211:識別圖案

220、320:虛擬影像顯示器

300:虛擬影像顯示系統

311、323:顯示器

312:慣性量測器

313、325:通信介面

321:攝像器

322:控制器

324:計時器

IMF:慣性量測資訊

RQS:需求信號

S110~S130:虛擬影像的顯示步驟

S410~S480:虛擬影像顯示系統的動作步驟

VOBJ:物件影像

圖1繪示本發明一實施例的虛擬影像的顯示方法的流程圖。 圖2A至2C繪示本發明實施例的物件影像的操控方式的示意圖。 圖3繪示本發明一實施例的虛擬影像顯示系統的示意圖。 圖4繪示本發明實施例的虛擬影像顯示系統的動作流程圖。

S110~S130:虛擬影像的顯示步驟

Claims (14)

1. 一種虛擬影像的顯示方法，包括：使一手持式電子裝置顯示一識別圖案；使一虛擬影像顯示器拍攝該識別圖案，並根據該識別圖案以顯示該虛擬影像顯示器的資料庫中對應該識別圖案的一物件影像；以及當該識別圖案消失時，使該虛擬影像顯示器透過一通信介面以擷取該手持式電子裝置的一慣性量測資訊，並根據該慣性量測資訊以決定該物件影像的位置及方向的至少其中之一。
2. 如請求項1所述的虛擬影像的顯示方法，更包括：根據該識別圖案的一位置及方向資訊以調整該物件影像的位置及方向的至少其中之一。
3. 如請求項1所述的虛擬影像的顯示方法，更包括：當該識別圖案消失時，使該虛擬影像顯示器發送一需求信號至該手持式電子裝置；以及使該手持式電子裝置根據該需求信號以啟動一慣性量測動作來產生該慣性量測資訊。
4. 如請求項1所述的虛擬影像的顯示方法，更包括：當該識別圖案消失的持續時間大於一預設時間長度時，使該虛擬影像顯示器停止顯示該物件影像。
5. 如請求項4所述的虛擬影像的顯示方法，當該識別圖案消失的持續時間大於該預設時間長度後，或在當該持續時間小 於該預設時間長度且該識別圖案重新出現後，使該虛擬影像顯示器停止發送需求信號至該手持式電子裝置，並使該手持式電子裝置停止執行該慣性量測動作。
6. 如請求項1所述的虛擬影像的顯示方法，其中該虛擬影像顯示器為一頭戴式顯示器，該識別圖案為條碼圖案。
7. 一種虛擬影像顯示系統，包括：一手持式電子裝置，用以顯示一識別圖案；以及一虛擬影像顯示器，電性耦接該手持式電子裝置，並包括一資料庫，其中該虛擬影像顯示器用以：拍攝該識別圖案，並根據該識別圖案以顯示該資料庫中對應該識別圖案的一物件影像；以及當該識別圖案消失時，使該虛擬影像顯示器擷取該手持式電子裝置的一慣性量測資訊，並根據該慣性量測資訊以決定該物件影像的位置及方向的至少其中之一，其中該手持式電子裝置包括一通信介面，用以與該虛擬影像顯示器進行該慣性量測資訊的傳輸動作。
8. 如請求項7所述的虛擬影像顯示系統，其中該虛擬影像顯示器更根據該識別圖案的一位置及方向資訊以調整該物件影像的位置及方向的至少其中之一。
9. 如請求項7所述的虛擬影像顯示系統，其中該虛擬影像顯示器更包括： 一攝像器，設置在該虛擬影像顯示器上，用以拍攝該識別圖案。
10. 如請求項7所述的虛擬影像顯示系統，其中該虛擬影像顯示器更用以：當該識別圖案消失時，發送一需求信號至該手持式電子裝置，其中，該手持式電子裝置根據該需求信號以啟動一慣性量測動作來產生該慣性量測資訊。
11. 如請求項10所述的虛擬影像顯示系統，其中該手持式電子裝置更包括：一顯示器，用以顯示該識別圖案；一慣性量測器，用以產生該慣性量測資訊；以及該通信介面，用以與該虛擬影像顯示器進行該慣性量測資訊以及該需求信號的傳輸動作。
12. 如請求項7所述的虛擬影像顯示系統，其中該虛擬影像顯示器更包括：一計時器，計數該識別圖案消失的一持續時間；以及一控制器，耦接該計時器，在當該持續時間大於一預設時間長度時，停止顯示該物件影像。
13. 如請求項12所述的虛擬影像顯示系統，其中該控制器在該識別圖案消失的持續時間大於該預設時間長度後，或在當該持續時間小於該預設時間長度且該識別圖案重新出現後，停 止發送需求信號至該手持式電子裝置，並使該手持式電子裝置停止執行該慣性量測動作。
14. 如請求項7所述的虛擬影像顯示系統，其中該虛擬影像顯示器為一頭戴式顯示器，該識別圖案為條碼圖案。

Images