TWI817832B

TWI817832B - 頭戴顯示裝置、其控制方法及非暫態電腦可讀取儲存媒體

Info

Publication number: TWI817832B
Application number: TW111144074A
Authority: TW
Inventors: 陳冠維
Original assignee: 宏達國際電子股份有限公司
Priority date: 2021-11-29
Filing date: 2022-11-18
Publication date: 2023-10-01
Also published as: CN116185170A; US20230168510A1; TW202322622A

Abstract

一種頭戴顯示裝置，包含一相機、一處理器以及一顯示器。該相機用以擷取一環境中的一特定物件的一特定影像。該處理器耦接該相機，用以執行以下運作：取得該特定影像的複數個特徵點，該些特徵點各者包含一世界座標；根據該些特徵點各者之該世界座標產生一視點座標；以及根據該些特徵點各者之該視點座標，產生該環境之一投影座標。該顯示器耦接該處理器，用以顯示包含一轉換後特定影像之一虛擬影像。

Description

頭戴顯示裝置、其控制方法及非暫態電腦可讀取儲存媒體

本揭露有關於一種頭戴顯示裝置（head-mounted display device；HMD device）、其控制方法及非暫態電腦可讀取儲存媒體。具體而言，本發明是有關於一種於虛擬實境（virtual reality；VR）環境中顯示真實世界物件的頭戴顯示裝置、其控制方法及非暫態電腦可讀取儲存媒體。

在虛擬實境產業中，如何在穿戴虛擬實境裝置的同時與真實世界環境互動，係最具挑戰性的課題之一。其中透視（pass-through）技術係一習知之解決方案，其可讓使用者在不須取下頭戴顯示裝置之情況下，仍可看見真實世界的物件。現今市面上幾乎所有虛擬實境廠商皆支援此技術。而如何使真實物件在虛擬環境中看起來和真實世界中具有同樣的尺寸（比例），係開發透視技術的最大挑戰之一。

其困難之處在於環境中的深度資訊是未知的。時至今日，仍未有可利用立體影像進行三維重建（3D reconstruction）之高效能的演算法被提出。被提出的演算法中，部分演算法產生的影像具有肉眼可見的失真偽影（distortion artifacts）。此外，現有的透視技術之另一個缺陷是使用者無法選擇其所想看見的畫面，而透視技術所產生的畫面佔據了整個視野。如此一來，其限制了使用者在虛擬實境中與真實世界互動的方式。

本揭露提供一種頭戴顯示裝置，包含一相機、一處理器以及一顯示器。該相機用以擷取一環境中的一特定物件的一特定影像。該處理器耦接該相機，用以執行以下運作：取得該特定影像的複數個特徵點，該些特徵點各者包含一世界座標；根據該些特徵點各者之該世界座標產生一視點座標；以及根據該視點座標，產生該環境之一投影座標。該顯示器耦接該處理器，用以顯示包含一轉換後特定影像之一虛擬影像，其中該轉換後特定影像係根據該些特徵點各者的該投影座標從該特定影像轉換所得出。

本揭露還提供一種控制方法，用於一頭戴顯示裝置，該頭戴顯示裝置包含一相機、一處理器以及一顯示器。該控制方法包含以下步驟：以該處理器取得在一環境中的一特定物件之一特定影像的複數個特徵點；以該處理器取得該些特徵點的複數個世界座標；以該處理器產生該些特徵點之該些世界座標的複數個視點座標；以及以該處理器產生該環境的該些視點座標的複數個投影座標，以使該顯示器顯示包含一轉換後特定影像的一虛擬影像，其中該轉換後特定影像係根據該些投影座標從該特定影像轉換所得出。

本揭露還提供一種非暫態電腦可讀取儲存媒體，其具有儲存於其上的一電腦程式，該電腦程式用以執行前述之該控制方法。

應該理解的是，前述的一般性描述和下列具體說明僅僅是示例性和解釋性的，並旨在提供所要求的本揭露的進一步說明。

為了使本揭露之敘述更加詳盡與完備，可參照所附之圖式及以下所述各種實施例，圖式中相同之號碼代表相同或相似之元件。

請參照第1圖，其為本揭露部分實施例中使用者U操作一虛擬實境系統之一頭戴顯示裝置之環境E的示意圖。如第1圖所示，使用者U穿戴著頭戴顯示裝置100。環境E為使用者U操作頭戴顯示裝置100之一環境。環境E中包含特定物件S，特定物件S為使用者U欲與其互動之一真實物件。在一實施例中，該頭戴顯示裝置之該系統可為一混合實境（mixed reality；MR）系統或一擴增實境（augmented reality；AR）系統，本揭露對此並未有限制。

在一些實施例中，如第1圖所示，特定物件S為一電腦螢幕，惟本揭露之實施例並不限於此。在一些其他實施例中，特定物件S可為一滑鼠、一控制器、一手機或其他任何使用者U欲與其互動之真實物件。

在一些實施例中，使用者U透過該虛擬實境系統或該控制器（未繪示於圖中）設定欲與其互動之真實物件。

請參考第2圖。第2圖為本揭露部分實施例中頭戴顯示裝置100的示意圖。如第2圖所示，頭戴顯示裝置100包含相機110、處理器130以及顯示器150。其連接關係為相機110耦接處理器130，以及顯示器150耦接處理器130。

請參考第3圖。第3圖為本揭露部分實施例中控制方法300的流程圖。控制方法300可被第2圖所繪示之頭戴顯示裝置100所執行。控制方法300包含步驟S310至S370。

在步驟S310中，以一處理器取得一特定物件之一特定影像的複數個特徵點。在一些實施例中，步驟S310係由第2圖所繪示之處理器130所執行。

請一併參考第4圖。第4圖為本揭露部分實施例中第1圖所繪示之環境E的一特定影像的示意圖。在一些實施例中，係由第2圖所繪示之相機110於第1圖所繪示之環境E中擷取特定物件S的特定影像SP。

如第4圖所示，歸因於第2圖所繪示之相機110與第1圖所繪示之特定物件S之間的方向與角度，特定影像SP呈現一梯形而非一長方形。

在相機110取得第4圖所繪示之特定影像SP後，第2圖所繪示之處理器130取得特定影像SP的該些特徵點。

在一些實施例中，第2圖所繪示之頭戴顯示裝置100進一步包含記憶體170。在連接關係上，記憶體170耦接第2圖所繪示之處理器130。在一些實施例中，記憶體170包含第1圖所繪示之特定物件S的一網格模組（mesh module）。

請參考第5圖。第5圖為本揭露部分實施例中第1圖所繪示之特定物件S之網格模組500的示意圖。如第5圖所示，第1圖所繪示之特定物件S的該網格模組為一電腦螢幕，並且被分為兩個三角形以及四個特徵點A1至A4。

在一些實施例中，記憶體170儲存複數個特定物件之複數個網格模組。舉例而言，該些特定物件像是一滑鼠、一控制器及一手機，記憶體170儲存該些特定物件各者對應之一網格模組。在一些實施例中，該網格模組包含接近該特定物件形狀之複數個三角形。

在一些實施例中，該些網格模組係被預先儲存於記憶體170。在一些實施例中，該些網格模組係由第1圖所繪示之使用者U所設定。

請再一次參考第4圖。如第4圖所示，第2圖所繪示之處理器130根據第5圖所繪示之網格模組500，取得特定影像SP的特徵點a1至a4。

請再一次參考第3圖。在步驟S330中，以該處理器取得該些特徵點的複數個世界座標。在一些實施例中，步驟S330係由第2圖所繪示之處理器130所執行。

在一些實施例中，第4圖所繪示之特徵點a1至a4各者包含該特定物件之一本地座標系統的一本地座標。

在一些實施例中，第1圖所繪示之特定物件S包含一追蹤器（未繪示於圖中），該追蹤器傳送特徵點a1至a4的該些本地座標至第2圖所繪示之頭戴顯示裝置100。

請一併參考第6圖。第6圖為本揭露部分實施例中第1圖所繪示之特定物件S的示意圖。以該本地座標系統中的一原點B為例，原點B通常為特定物件S的一中心點，同時也是該本地座標系統的一原點(0,0,0)。在由X軸、Y軸及Z軸構成的三維空間中，特徵點a1至a4各者包含一本地座標，該些本地座標係根據特徵點a1至a4及原點B之間的一相對位置和一距離得出。舉例而言，特徵點a1的該本地座標為(X1,Y1,Z1)，特徵點a2的該本地座標為(X2,Y2,Z2)，特徵點a3的該本地座標為(X3,Y3,Z3)，以及特徵點a4的該本地座標為(X4,Y4,Z4)。

在一些實施例中，第2圖所繪示之處理器130根據特徵點a1至a4之該些本地座標產生特徵點a1至a4之複數個世界座標。該些世界座標係根據一世界座標系統所產生。該世界座標系統，又稱作世界座標空間或全球座標空間，特徵點a1至a4的該些世界座標用以指示該世界座標空間（未繪示於圖中）中特徵點a1至a4及原點B之間的該相對位置和該距離。

在一些實施例中，第2圖所繪示之處理器130以一模型轉換陣列將該本地座標轉換為該世界座標。在本揭露中，該本地座標和該世界座標之間的轉換陣列亦可以多種不同的轉換陣列實現。

請再次參考第3圖。步驟S350中，該處理器產生該些世界座標的複數個視點座標。在一些實施例中，該些視點座標係根據對應一使用者視點之一使用者座標系統所產生。在一些實施例中，步驟S350係由第2圖所繪示之處理器130所執行。

在一些實施例中，該使用者座標系統對應該使用者視點，亦稱作一視點空間，該使用者座標系統係將該世界座標轉換為第1圖所繪示之使用者U視野前方複數個座標之結果。

在一些實施例中，第2圖所繪示之處理器130以一視點陣列將該世界座標轉換為該視點座標。在本揭露中，該世界座標和該視點座標之間的轉換陣列亦可以多種不同的轉換陣列實現。

請再次參考第3圖。步驟S370中，該處理器產生該些視點座標的複數個投影座標，以使該顯示器顯示包含一轉換後特定影像的一虛擬影像。在一些實施例中，該轉換後特定影像係根據該些投影座標從該特定影像轉換所得出。

在一些實施例中，步驟S370係由第2圖所繪示之處理器130所執行。在一些實施例中，第2圖所繪示之相機110包含一視野參數（field of view parameter），並且該投影座標係根據該些視點座標和該視野參數所產生。在一些實施例中，處理器130以一投影轉換陣列將該些視點座標轉換為該投影座標。

請參考第7圖及第8圖。第7圖為本揭露部分實施例中將該視點座標轉換為該投影座標的示意圖。第8圖為本揭露部分實施例中虛擬影像800的示意圖。如第7圖所示，相機110的該視野參數決定了相機110的一視角。虛擬影像800係由第2圖所繪示之顯示器150所顯示。如第7圖所示，投影座標C1至C4為顯示器150所顯示的一顯示畫面中，自視點座標B1至B4投影至第1圖所繪示之使用者U之一使用者座標（由於使用者U穿戴著包含相機110之頭戴顯示裝置100，因此亦可為相機110之該視點座標）之複數個投影點。需要注意的是，視點座標B1至B4為不存在真實世界中的複數個虛擬座標。

經過投影後，如第7圖所示，視點座標B1被轉換為投影座標C1，視點座標B2被轉換為投影座標C2，視點座標B3被轉換為投影座標C3，以及視點座標B4被轉換為投影座標C4。

在一些實施例中，使用者U的該使用者座標為該使用者座標系統的該原點。在一些實施例中，虛擬影像800係顯示於第2圖所繪示之顯示器150的該顯示畫面。如第8圖所示，轉換後特定影像ST係根據投影座標C1至C4所產生，並且轉換後特定影像ST係轉換第4圖所繪示之特定影像SP得出。圖中的虛線區域為第2圖所繪示之顯示器150顯示之該虛擬影像。即，顯示器150顯示包含轉換後特定影像ST之虛擬影像800。

按前述，該些投影座標係根據下列式一所產生：[式一]c=M _projection×M _view×M _model×v。

其中v為該本地座標，M _model將該本地座標轉換為該世界座標，M _view將該世界座標轉換為該視點座標，M _projection將該視點座標轉換為該投影座標，以及c為該投影座標。

需要注意的是，第2圖所繪示之頭戴顯示裝置100僅作為示例，惟本揭露之實施例並不限於此。在一些其他實施例中，頭戴顯示裝置100包含兩個以上的相機，並且該些相機各者以本揭露之實施例所描述之方法產生其自身的該些投影座標。

在一些實施例中，在產生第8圖所繪示之虛擬影像800之前，第2圖所繪示之處理器130執行一渲染演算法(render algorithm)整合該虛擬影像及轉換後特定影像ST以產生虛擬影像800。

上述用以控制一頭戴顯示裝置並且包含一相機、一處理器以及一顯示器之控制方法300可以儲存於一電腦可讀取儲存媒體之一電腦程式實現。使一電腦讀取該電腦可讀取儲存媒體後，該電腦可執行控制方法300。該電腦可讀取儲存媒體可為一唯讀記憶體、一快閃記憶體、一磁片、一硬碟、一光碟、一通用序列匯流排(USB)隨身碟、一磁碟、一網路資料庫或其他可由所屬技術領域具通常知識者易於思及並達成相同功效之電腦可讀取儲存媒體。上述用以控制一頭戴顯示裝置並且包含一相機、一處理器以及一顯示器之控制方法300亦可由該電腦程式搭配至少一處理器或晶片實現。

在本揭露之實施例中，該特定物件之一表面可以簡化為大量的平面多邊形，並且「多邊形三角化」（polygon triangulation）係用以將該特定物件切割為大量的三角形以取得該特定物件之網格。透過該些網格模組，可取得該些三角形之複數個端點中的複數個特徵點，並且該些三角形之該些端點的該些本地座標被轉換為複數個投影座標。該些投影座標構成該轉換後特定影像的形狀。接著，該處理器在該轉換後特定影像的該網格上映射該特定物件的紋理。

本揭露之實施例提供一種頭戴顯示裝置、其控制方法及非暫態電腦可讀取儲存媒體，透過該些網格模組，可取得複數個特徵點，並且該些特徵點各者的該本地座標被轉換為該投影座標。該些投影座標構成該轉換後特定影像的形狀。在本揭露之實施例中，該使用者可看見其所欲觀看之複數個真實物件，且該些真實物件係以真實尺寸呈現。

在一些實施例中，第2圖所繪示之處理器130包含但不限於一單一處理器或多個微處理器之組合，如：中央處理器（central processing unit；CPU）或圖形處理器（graphics processing unit；GPU）。處理器130電性耦接記憶體170以存取至少一指令。該至少一指令可用以執行上述控制方法。

在一些實施例中，第2圖所繪示之記憶體170可包含一快閃記憶體（flash memory）、一硬碟（hard disk drive；HDD）、一固態硬碟（solid state drive；SSD）、一動態隨機存取記憶體（dynamic random access memory，DRAM）或一靜態隨機存取記憶體（static random access memory，SRAM）。在一些實施例中，記憶體170可為儲存有關一控制方法之至少一指令之一非暫態電腦可讀取儲存媒體。處理器130可存取並執行該至少一指令。

在一些實施例中，第2圖所繪示之相機110可為一影像擷取電路或其他具有相同或相似功能之單元或電路。在一些實施例中，第2圖所繪示之顯示器150可為用以顯示影像之一顯示電路或其他具有相同或相似功能之單元或電路。

雖以數個實施例詳述如上作為示例，然本揭露所提出之頭戴顯示裝置、其控制方法及非暫態電腦可讀取儲存媒體亦得以其他系統、硬體、軟體、儲存媒體或其組合實現。因此，本揭露之保護範圍不應受限於本揭露實施例所描述之特定實現方式，當視後附之申請專利範圍所界定者為準。

對於本揭露所屬技術領域中具有通常知識者顯而易見的是，在不脫離本揭露的範圍或精神的情況下，可以對本揭露的結構進行各種修改和變化。鑑於前述，本揭露之保護範圍亦涵蓋在後附之申請專利範圍內進行之修改和變化。

E:環境

S:特定物件

U:使用者

100:頭戴顯示裝置

110:相機

130:處理器

150:顯示器

170:記憶體

300:控制方法

S310~S370:步驟

SP:特定影像

a1~a4:特徵點

A1~A4:特徵點

B:原點

B1~B4:視點座標

C1~C4:投影座標

800:虛擬影像

ST:轉換後特定影像

為讓本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖為本揭露部分實施例中使用者操作虛擬實境系統之頭戴顯示裝置之環境的示意圖；第2圖為本揭露部分實施例中頭戴顯示裝置的示意圖；第3圖為本揭露部分實施例中控制方法的流程圖；第4圖為本揭露部分實施例中第1圖所繪示之環境的特定影像的示意圖；第5圖為本揭露部分實施例中第1圖所繪示之特定物件之網格模組的示意圖；第6圖為本揭露部分實施例中第1圖所繪示之特定物件的示意圖；第7圖為本揭露部分實施例中轉換視點座標為投影座標的示意圖；以及第8圖為本揭露部分實施例中虛擬影像的示意圖。

100:頭戴顯示裝置

110:相機

130:處理器

150:顯示器

170:記憶體

Claims

一種頭戴顯示裝置，包含：一相機，用以擷取一環境中的一特定物件的一特定影像；一處理器，耦接該相機，用以執行以下運作：取得該特定影像的複數個特徵點，其中該些特徵點各者包含一世界座標；根據該些特徵點各者之該世界座標產生一視點座標；以及根據該些特徵點各者之該視點座標，產生該環境之一投影座標；以及一顯示器，耦接該處理器，用以顯示一虛擬影像，該虛擬影像包含一轉換後特定影像，其中該轉換後特定影像係根據該些特徵點各者的該投影座標從該特定影像轉換所得出。
如請求項1所述之頭戴顯示裝置，其中該些特徵點各者包含該特定物件之一本地座標系統的一本地座標，其中該世界座標係根據該本地座標所產生。
如請求項2所述之頭戴顯示裝置，其中該投影座標係根據下列一算式所產生：其中為該本地座標，將該本地座標轉換為該世界座標，將該世界座標轉換為該視點座標，將該視點座標轉換為該投影座標，以及為該投影座標。
如請求項1所述之頭戴顯示裝置，其中該相機進一步包含一視野參數，以及該處理器進一步用以根據該視點座標和該視野參數產生該投影座標。
如請求項1所述之頭戴顯示裝置，其中該處理器進一步用以根據該特定物件的一網格模組取得該些特徵點。
如請求項1所述之頭戴顯示裝置，其中該處理器進一步用以：以一視點轉換陣列將該世界座標轉換為該視點座標；以及以一投影轉換陣列將該視點座標轉換為該投影座標。
如請求項1所述之頭戴顯示裝置，其中該投影座標為該顯示器所顯示的一顯示畫面中，自該視點座標投影至一使用者之一使用者座標之一投影點。
如請求項1所述之頭戴顯示裝置，其中該世界座標係根據一世界座標系統所產生，以及該視點座標係根據一使用者座標系統所產生。
一種控制方法，用於一頭戴顯示裝置，該頭戴顯示裝置包含一相機、一處理器以及一顯示器，該控制方法包含以下步驟：以該處理器取得在一環境中的一特定物件之一特定影像的複數個特徵點；以該處理器取得該些特徵點的複數個世界座標；以該處理器產生該些世界座標的複數個視點座標；以及以該處理器產生該環境的該些視點座標的複數個投影座標，以使該顯示器顯示包含一轉換後特定影像的一虛擬影像，其中該轉換後特定影像係根據該些投影座標從該特定影像轉換所得出。
一種非暫態電腦可讀取儲存媒體，其具有儲存於其上的一電腦程式，該電腦程式用以執行一控制方法，該控制方法包含以下步驟：以一處理器取得在一環境中的一特定物件之一特定影像的複數個特徵點；以該處理器取得該些特徵點的複數個世界座標；以該處理器產生該些世界座標的複數個視點座標；以及以該處理器產生該環境的該些視點座標的複數個投影座標，以使一顯示器顯示包含一轉換後特定影像的一虛擬影像，其中該轉換後特定影像係根據該些投影座標從該特定影像轉換所得出。