TWI838967B

TWI838967B - 追蹤裝置、頭戴式顯示裝置及虛擬實境系統

Info

Publication number: TWI838967B
Application number: TW111144046A
Authority: TW
Inventors: 陶聖輝
Original assignee: 宏達國際電子股份有限公司
Priority date: 2021-12-06
Filing date: 2022-11-17
Publication date: 2024-04-11

Abstract

一種追蹤裝置被揭示。此追蹤裝置通訊連接至頭戴式顯示裝置。追蹤裝置包含使用者端處理器以及使用者端記憶體。使用者端處理器用以由頭戴式顯示裝置取得初始地圖。使用者端記憶體用以儲存初始地圖。使用者端處理器更用以更新儲存於使用者端記憶體的初始地圖以依據由頭戴式顯示裝置所傳送的主機端光束平差法資料產生使用者端地圖。

Description

追蹤裝置、頭戴式顯示裝置及虛擬實境系統

本揭示之實施例涉及一種追蹤裝置、頭戴式顯示裝置及虛擬實境系統。具體而言，本揭示之實施例涉及一種包含同步定位與地圖建置(SLAM)系統的追蹤裝置、頭戴式顯示裝置及虛擬實境系統。

在SLAM 系統中，當使用者長時間使用SLAM 系統時，會發生飄移。在具有兩個不同裝置的SLAM系統中，例如，包含頭戴式顯示裝置的SLAM系統和追蹤裝置的SLAM系統，頭戴式顯示裝置和追蹤裝置的飄移可能不同，這導致使用者在使用時會發現追蹤裝置的位置不正確。

本揭示之一些實施方式是關於一種追蹤裝置。此追蹤裝置通訊連接至頭戴式顯示裝置。追蹤裝置包含使用者端處理器以及使用者端記憶體。使用者端處理器用以由頭戴式顯示裝置取得初始地圖。使用者端記憶體用以儲存初始地圖。使用者端處理器更用以更新儲存於使用者端記憶體的初始地圖以依據由頭戴式顯示裝置所傳送的主機端光束平差法資料產生使用者端地圖。

本揭示之一些實施方式是關於一種頭戴式顯示裝置，通訊連接於追蹤裝置。頭戴式顯示裝置包含主機端記憶體以及主機端處理器。主機端記憶體用以儲存SLAM模組。主機端處理器用以執行以下步驟：取得包含SLAM模組的初始地圖；傳送初始地圖至追蹤裝置；取得多個主機端關鍵幀；依據多個主機端關鍵幀執行光束平差法程序以產生主機端光束平差法資料；依據主機端光束平差法資料更新初始地圖以產生主機端地圖；以及傳送主機端地圖至追蹤裝置以使追蹤裝置依據主機端光束平差法資料更新初始地圖以產生使用者端地圖。

本揭示之一些實施方式是關於一種虛擬實境系統，包含頭戴式顯示裝置以及追蹤裝置。頭戴式顯示裝置包含主機端記憶體以及主機端處理器。主機端記憶體用以儲存SLAM模組。主機端處理器用以取得包含SLAM模組的初始地圖。追蹤裝置通訊連接至頭戴式顯示裝置。追蹤裝置包含使用者端處理器以及使用者端記憶體。使用者端處理器用以由頭戴式顯示裝置取得初始地圖。使用者端記憶體用以儲存初始地圖。該主機端處理器更用以執行以下步驟：取得多個主機端關鍵幀；依據多個主機端關鍵幀執行光束平差法程序以產生主機端光束平差法資料；更新初始地圖以依據主機端光束平差法資料產生主機端地圖；以及傳送主機端光束平差法資料至使用者端處理器。使用者端處理器更用以執行以下步驟：依據主機端光束平差法資料更新儲存該使用者端記憶體的初始地圖以產生使用者端地圖。

在本文中所使用的用詞『耦接』亦可指『電性耦接』，且用詞『連接』亦可指『電性連接』。『耦接』及『連接』亦可指二個或多個元件相互配合或相互互動。

請參閱第1圖。第1圖為根據本發明一些實施例所繪示的虛擬實境系統100的示意圖。於部分實施例中，虛擬實境系統100係為SLAM系統。

如第1圖所繪示，虛擬實境系統100包含頭戴式顯示(HMD)裝置110和追蹤裝置130。頭戴式顯示裝置110可以放置在虛擬實境(VR)頭盔上，且使用者可配戴VR頭盔。當使用者配戴VR頭盔時，頭戴式顯示裝置110將覆蓋使用者的視線，且頭戴式顯示裝置110用以向使用者提供虛擬實境視覺。於部分實施例中，追蹤裝置130係為自我追蹤裝置，由使用者持有且可由使用者控制。

於部分實施例中，頭戴式顯示裝置110操作為主機端裝置，而追蹤裝置130操作為使用者端裝置。於部分實施例中，頭戴式顯示裝置110與追蹤裝置130彼此通訊連接。

如第1圖所繪示。使用者在環境E中操作虛擬實境系統100。於部分實施例中，虛擬實境系統100建立或更新未知的環境E的地圖，並同時追蹤虛擬實境系統100在環境E中的位置。

請參閱第2圖。第2圖為根據本發明一些實施例所繪示的如第1圖所繪式的虛擬實境系統100的示意圖。如第2圖所繪示，頭戴式顯示裝置110包含主機端處理器112、主機端記憶體114和主機端輸入輸出電路116。主機端處理器112和主機端記憶體114互相耦接，而主機端處理器112和主機端輸入輸出電路116互相耦接。追蹤裝置130包含使用者端處理器132、使用者端記憶體134和使用者端輸入輸出電路136。使用者端處理器132和使用者端記憶體134互相耦接，而使用者端處理器132和使用者端輸入輸出電路136互相耦接。

於部分實施例中，頭戴式顯示裝置110經由主機端輸入輸出電路116傳送或接收資訊、資料或訊號，而追蹤裝置130經由使用者端輸入輸出電路136傳送或接收資訊、資料或訊號。

請參閱第3圖。第3圖為根據本發明一些實施例所繪示的調整方法300的流程圖。調整方法300可由第1圖和第2圖中的虛擬實境系統100執行。調整方法300包含步驟S310至S390。

在步驟S310中，由主機端裝置取得多個主機端關鍵幀。於部分實施例中，步驟S310係由如第2圖所繪示的頭戴式顯示裝置110的主機端處理器112所執行。

請同時參閱第1圖和第2圖。於部分實施例中，於虛擬實境系統100的初始階段，頭戴式顯示裝置110的主機端處理器112建立環境E的初始地圖並取得頭戴式顯示裝置110在初始地圖中的主機端位置。頭戴式顯示裝置110傳送初始地圖至追蹤裝置130。追蹤裝置130的使用者端處理器132取得追蹤裝置130在初始地圖中的使用者端位置。初始地圖係為環境E的3D地圖。

於部分實施例中，頭戴式顯示裝置110儲存初始地圖於主機端記憶體114中，且儲存於頭戴式顯示裝置110的主機端記憶體114的初始地圖係作為頭戴式顯示裝置110的主機端地圖。於部分實施例中，追蹤裝置130儲存初始地圖於使用者端記憶體134中，且儲存於追蹤裝置130的使用者端記憶體134的初始地圖係作為追蹤裝置130的使用者端地圖。

於部分實施例中，在初始地圖被建立之後，頭戴式顯示裝置110持續偵測環境E，且頭戴式顯示裝置110取得環境E的多個主機端關鍵幀。於部分實施例中，主機端關鍵幀包含虛擬實境系統100的環境E的多個特徵。

於部分實施例中，頭戴式顯示裝置110儲存主機端關鍵幀在主機端記憶體114中。

於部分實施例中，在步驟S310中，在頭戴式顯示裝置110取得環境E的主機端關鍵幀之後，頭戴式顯示裝置110的主機端處理器112經由主機端輸入輸出電路116傳送主機端關鍵幀至追蹤裝置130。在頭戴式顯示裝置110接收主機端關鍵幀之後，由追蹤裝置130的使用者端記憶體134儲存主機端關鍵幀。

在步驟S330中，由主機端裝置執行光束平差法程序，並依據主機端關鍵幀產生主機端光束平差法資料。於部分實施例中，步驟S330係由如第2圖所繪示的頭戴式顯示裝置110的主機端處理器112所執行。

光束平差法方法係於基於特徵的3D重構演算法中所使用的方法。在光束平差法方法中，計算了3D結構和查看參數的優化問題，並取得有關觀察到的影像特徵在某些條件下最優的重建。主機端光束平差法資料係用以更新先前建立的3D地圖的資料。光束平差法方法對於本領域之通常知識者而言係為通常知識，在此不詳細介紹。

於部分實施例中，頭戴式顯示裝置110的主機端處理器112依據頭戴式顯示裝置110所取得的主機端關鍵幀以及追蹤裝置130所取得的使用者端關鍵幀執行光束平差法程序，以產生主機端光束平差法資料。詳細而言，於部分實施例中，追蹤裝置130偵測環境E，以取得環境E的多個使用者端關鍵幀，並傳送使用者端關鍵幀至頭戴式顯示裝置110。頭戴式顯示裝置110接著依據頭戴式顯示裝置110所取得的主機端關鍵幀以及追蹤裝置130所取得的使用者端關鍵幀產生主機端光束平差法資料。

在步驟S350中，由主機端裝置傳送主機端光束平差法資料至使用者端裝置。於部分實施例中，步驟S350係由如第2圖所繪示的頭戴式顯示裝置110所執行。也就是說，頭戴式顯示裝置110的主機端處理器112傳送主機端光束平差法資料至追蹤裝置130。

於部分實施例中，在接收主機端光束平差法資料之後，追蹤裝置130儲存主機端光束平差法資料在追蹤裝置130的使用者端記憶體134中。

在步驟S370中，依據主機端光束平差法資料更新儲存於主機端裝置中的主機端地圖和主機端位置。於部分實施例中，步驟S370係由如第2圖所繪示的頭戴式顯示裝置110的主機端處理器112所執行。

於部分實施例中，在步驟S370中，更新的主機端地圖和頭戴式顯示裝置110的主機端位置係儲存於頭戴式顯示裝置110的主機端記憶體114中。

在步驟S390中，依據主機端光束平差法資料更新儲存於使用者端裝置中的使用者端地圖和使用者端位置。於部分實施例中，步驟S390係由如第2圖所繪示的追蹤裝置130的使用者端處理器132所執行。

於部分實施例中，在步驟S390中，更新的使用者端地圖和更新的使用者端位置係儲存於追蹤裝置130的使用者端記憶體134中。

於部分實施例中，追蹤裝置130不修正由頭戴式顯示裝置110所傳送的主機端光束平差法資料，以使主機端地圖和使用者端地圖一致。

於部分實施例中，追蹤裝置130自己依據由追蹤裝置130所取得的使用者端關鍵幀產生追蹤裝置130所需的使用者端光束平差法資料。透過追蹤裝置130所產生的使用者端光束平差法資料，追蹤裝置130在執行自我追蹤步驟時更準確。

若是頭戴式顯示裝置110和追蹤裝置130各自取得關鍵幀並各自執行光束平差法程序，頭戴式顯示裝置110的飄移和追蹤裝置130的飄移會不同。另一方面，透過本揭示的實施方式中的調整方法300，透過主機端裝置所產生的主機端光束平差法資料，儲存於主機端記憶體114中的主機端地圖和儲存於使用者端記憶體134中的使用者端地圖之間的一致性被維持。

詳細而言，主機端處理器112透過主機端光束平差法資料維持主機端地圖和使用者端地圖之間的一致性，而使用者端處理器132亦透過主機端光束平差法資料維持主機端地圖和使用者端地圖之間的一致性。

此外，即使飄移發生在虛擬實境系統100中，由於主機端地圖和使用者端地圖的更新均係依據相同的主機端光束平差法資料被，頭戴式顯示裝置110的飄移和追蹤裝置130的飄移相同，且使用者不會覺得飄移會造成追蹤裝置130的位置的誤差。

請參閱第4圖。第4圖為根據本發明一些實施例所繪示的調整方法400的示意圖。如第4圖所繪示，調整方法400係由包含主機端裝置491、使用者端裝置492以及使用者端裝置493的虛擬實境系統490所執行。虛擬實境系統490的操作和第2圖所繪示的虛擬實境系統100的操作類似，主機端裝置491的操作和第2圖所繪示的頭戴式顯示裝置110的操作類似，使用者端裝置492、493的操作和第2圖所繪示的追蹤裝置130的操作類似。虛擬實境系統490亦可被操作於如第1圖所繪示的環境E中。因此，虛擬實境系統490的細節在此不詳細描述。

在步驟S41中，主機端裝置491依據環境E產生新的關鍵幀KF1。

在步驟S421中，主機端裝置491傳送新的關鍵幀KF1至使用者端裝置492。

在步驟S422中，主機端裝置491傳送新的關鍵幀KF1至使用者端裝置493。

在步驟S431中，使用者端裝置492儲存新的關鍵幀KF1。

在步驟S432中，使用者端裝置493儲存新的關鍵幀KF1。

在步驟S44中，主機端裝置491依據新的關鍵幀KF1執行光束平差法程序以產生新的主機端光束平差法(BA)資料。

在步驟S451中，主機端裝置491傳送新的BA資料至使用者端裝置492。

在步驟S452中，主機端裝置491傳送新的BA資料至使用者端裝置493。

在步驟S461中，使用者端裝置492執行新的BA資料以更新地圖和使用者端裝置492的位置。

在步驟S462中，使用者端裝置493執行新的BA資料以更新地圖和使用者端裝置493的位置。

透過如上所述的調整方法400，透過主機端裝置所產生的新的主機端光束平差法資料，儲存於主機端裝置491的主機端地圖、儲存於使用者端裝置492的使用者端地圖以及儲存於使用者端裝置493的使用者端地圖之間的一致性被維持。此外，即使虛擬實境系統100發生飄移，由於使用者端地圖和主機端地圖係依據相同的主機端光束平差法資料被更新，主機端裝置491的飄移、使用者端裝置492的飄移以及使用者端裝置493的飄移相同，且使用者不會感受到由於飄移而造成的使用者端裝置492和493的位置錯誤。

透過上述實施例的步驟，於本案的實施例中，提供一種追蹤裝置、頭戴式顯示裝置以及虛擬實境系統，透過相同的主機端光束平差法資料更新使用者端地圖以及主機端地圖，主機端裝置的飄移和使用者端裝置的飄移相同，且使用者不會察覺到飄移所造成的使用者端裝置的位置錯誤。

於部分實施例中，主機端處理器112和使用者端處理器132可為但不限於，單個處理器或多個微處理器(如CPU或GPU)的集合。微處理器電性連接於記憶體，並用以存取至少一指令。依據至少一指令，上述調整方法可以被執行。於部分實施例中，記憶體(主機端記憶體114或使用者端記憶體134)可為快閃記憶體、硬碟、固態硬碟、DRAM（動態隨機存取憶體）或SRAM（靜態隨機存取憶體）。於部分實施例中，主機端記憶體114和使用者端記憶體134中的每一者可為儲存有至少一指令的非暫態電腦可讀取媒體，且至少一指令與調整方法相關。至少一指令更與SLAM電路或SLAM模組相關。至少一指令可由主機端處理器112以及使用者端處理器132存取與執行。

各種功能性元件已於此公開。對於本技術領域具通常知識者而言，功能性元件可由電路(不論是專用電路，或是於一或多個處理器及編碼指令控制下操作的通用電路)實現。

雖然本揭示已以實施方式揭露如上，然其並非用以限定本揭示，任何本領域具通常知識者，在不脫離本揭示之精神和範圍內，當可作各種之更動與潤飾，因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。

100:虛擬實境系統 110:頭戴式顯示裝置 130:追蹤裝置 E:環境 112:主機端處理器 114:主機端記憶體 116:主機端輸入輸出電路 132:使用者端處理器 134:使用者端記憶體 136:使用者端輸入輸出電路 300:調整方法 S310,S330,S350,S370,S390:步驟 400:調整方法 490:虛擬實境系統 491:主機端裝置 492,493:使用者端裝置 S41,S44:步驟 S421,S422:步驟 S431,S432:步驟 S451,S452:步驟 S461,S462:步驟

為讓本揭示之上述和其他目的、特徵、優點與實施例能夠更明顯易懂，所附圖式之說明如下：第1圖為根據本發明一些實施例所繪示的虛擬實境系統的示意圖；第2圖為根據本發明一些實施例所繪示的如第1圖所繪式的虛擬實境系統的示意圖；第3圖為根據本發明一些實施例所繪示的調整方法的流程圖；以及第4圖為根據本發明一些實施例所繪示的調整方法的示意圖。

100:虛擬實境系統

110:頭戴式顯示裝置

130:追蹤裝置

112:主機端處理器

114:主機端記憶體

116:主機端輸入輸出電路

132:使用者端處理器

134:使用者端記憶體

136:使用者端輸入輸出電路

Claims

一追蹤裝置，通訊連接至一頭戴式顯示裝置，包含：一使用者端處理器，用以由該頭戴式顯示裝置取得一初始地圖；以及一使用者端記憶體，用以儲存該初始地圖；其中該使用者端處理器更用以更新儲存於該使用者端記憶體的該初始地圖以依據由該頭戴式顯示裝置所傳送的一主機端光束平差法資料(bundle adjustment data)產生一使用者端地圖。
如請求項1所述之追蹤裝置，其中該主機端光束平差法資料係依據該頭戴式顯示裝置的複數個主機端關鍵幀所產生。
如請求項2所述之追蹤裝置，其中該使用者端記憶體更用以儲存該些主機端關鍵幀以及該主機端光束平差法資料。
如請求項1所述之追蹤裝置，其中該使用者端處理器更用以不修正由該頭戴式顯示裝置所傳送的該主機端光束平差法資料。
如請求項1所述之追蹤裝置，其中該使用者端處理器更用以依據該主機端光束平差法資料維持一主機端地圖以及該使用者端地圖之間的一致性；其中該主機端地圖係依據該主機端光束平差法資料更新該初始地圖所產生。
如請求項1所述之追蹤裝置，其中該使用者端處理器更用以取得複數個使用者端關鍵幀，其中該些使用者端關鍵幀係由該使用者端處理器傳送至該頭戴式顯示裝置。
如請求項6所述之追蹤裝置，其中該主機端光束平差法資料係依據由該頭戴式顯示裝置所取得的複數個主機端關鍵幀以及該些使用者端關鍵幀所產生。
一頭戴式顯示裝置，通訊連接於一追蹤裝置，包含：一主機端記憶體，用以儲存一同步定位與地圖建置(SLAM)模組；以及一主機端處理器，用以：執行該SLAM模組並建立一初始地圖；傳送該初始地圖至該追蹤裝置；取得複數個主機端關鍵幀；依據該些主機端關鍵幀執行一光束平差法程序以產生一主機端光束平差法資料；依據該主機端光束平差法資料更新該初始地圖以產生一主機端地圖；以及傳送該主機端地圖至該追蹤裝置以使該追蹤裝置依據該主機端光束平差法資料更新該初始地圖以產生一使用者端地圖。
如請求項8所述之頭戴式顯示裝置，其中該主機端處理器更用以傳送該些主機端關鍵幀至該追蹤裝置。
如請求項8所述之頭戴式顯示裝置，其中該些主機端關鍵幀包含環繞該頭戴式顯示裝置的一環境的複數個特徵。
一虛擬實境系統，包含：一頭戴式顯示裝置，包含：一主機端記憶體，用以儲存一SLAM模組；以及一主機端處理器，用以執行該SLAM模組並建立一初始地圖；以及一追蹤裝置，通訊連接至該頭戴式顯示裝置，包含：一使用者端處理器，用以由該頭戴式顯示裝置取得該初始地圖；以及一使用者端記憶體，用以儲存該初始地圖；其中該主機端處理器更用以：取得複數個主機端關鍵幀；依據該些主機端關鍵幀執行一光束平差法程序以產生一主機端光束平差法資料；更新該初始地圖以依據該主機端光束平差法資料產生一主機端地圖；以及傳送該主機端光束平差法資料至該使用者端處理器；其中該使用者端處理器更用以：依據該主機端光束平差法資料更新儲存於該使用者端記憶體的該初始地圖以產生一使用者端地圖。