TWI834458B

TWI834458B - 頭戴式顯示裝置、跟蹤系統及跟蹤方法

Info

Publication number: TWI834458B
Application number: TW111150826A
Authority: TW
Inventors: 王韻亭
Original assignee: 宏達國際電子股份有限公司
Priority date: 2022-11-17
Filing date: 2022-12-30
Publication date: 2024-03-01

Abstract

本揭露提供一種頭戴式顯示裝置。所述頭戴式顯示裝置包括照相機、控制器及顯示器。照相機被配置成獲得用戶周圍的環境的環境影像。控制器被配置成從環境影像提取多個特徵點且基於所述多個特徵點輸出用戶的用戶姿勢的分析結果。顯示器被配置成基於分析結果顯示環境影像。

Description

頭戴式顯示裝置、跟蹤系統及跟蹤方法

本發明是有關於一種頭戴式顯示（HEAD-MOUNTED DISPLAY，HMD）裝置，且特別是有關於一種頭戴式顯示裝置、一種跟蹤系統及一種跟蹤方法。

為了給用戶帶來沉浸式體驗（immersive experience），正在不斷開發例如增強現實（augmented reality，AR）及虛擬現實（virtual reality，VR）等各種技術。AR技術使用戶能夠將虛擬元素帶到真實世界。VR技術使用戶能夠進入全新的虛擬世界來體驗不同的生活。可穿戴裝置常常用於提供這種沉浸式體驗。然而，有時環境對可穿戴裝置的檢測機制不友好且因此會給用戶帶來不愉快的體驗。

本發明提供一種頭戴式顯示裝置、一種跟蹤系統及一種跟蹤方法，以改善用戶體驗。

在本揭露中，提供一種頭戴式顯示裝置。所述頭戴式顯示裝置包括：照相機，被配置成獲得用戶周圍的環境的環境影像；控制器，被配置成從環境影像提取多個特徵點且基於所述多個特徵點輸出用戶的用戶姿勢的分析結果；以及顯示器，被配置成基於分析結果顯示環境影像。

在本揭露中，提供一種跟蹤系統。所述跟蹤系統包括：第一對象；第二對象；頭戴式顯示裝置，包括：照相機，被配置成獲得用戶周圍的環境的環境影像，其中第一對象及第二對象設置在環境中；處理器，被配置成從環境影像提取多個特徵點且基於所述多個特徵點輸出用戶的用戶姿勢的分析結果，其中所述多個特徵點包括與第一對象對應的多個第一特徵點及與第二對象對應的多個第二特徵點；以及顯示器，被配置成基於分析結果顯示環境影像。

在本揭露中，提供一種跟蹤方法。所述跟蹤方法適用於確定頭戴式顯示裝置的活動區域，且所述跟蹤方法包括：獲得用戶周圍的環境的環境影像；從環境影像提取多個特徵點；基於所述多個特徵點輸出用戶的用戶姿勢的分析結果；以及基於分析結果顯示環境影像。

基於以上內容，能夠分析用戶周圍的環境的特徵點且因此用戶體驗能夠得到改善。

為使上述內容更易於理解，以下將詳細闡述圖式所隨附的若干實施例。

現將詳細參照本揭露的示例性實施例，在附圖中示出所述示例性實施例的實例。只要可能便在圖式及說明中使用相同的參考編號指代相同或相似的組件。

圖1是根據本揭露實施例的頭戴式顯示裝置（head-mounted display device）的示意圖。參照圖1，頭戴式顯示裝置100包括照相機110、控制器120及顯示器130。照相機110被配置成獲得用戶周圍的環境的環境影像。控制器120被配置成從環境影像提取多個特徵點且基於所述多個特徵點輸出用戶的用戶姿勢的分析結果。顯示器130被配置成基於分析結果顯示環境影像。以這種方式，實現了對環境是否適合於頭戴式顯示裝置100的分析並將相關資訊提供到用戶。因此，用戶體驗可得到改善。

在一個實施例中，頭戴式顯示裝置100包括例如可穿戴頭戴式顯示器（head-mounted display，HMD）、可穿戴眼鏡（例如，AR/VR護目鏡）、電子裝置、其他類似裝置或這些裝置的組合。然而，本揭露不限於此。

在一個實施例中，照相機110包括例如互補金屬氧化物半導體（CMOS）照相機或電荷耦合裝置（CCD）照相機，且輔助光單元（auxiliary light unit）包括紅外輻射單元。然而，本揭露不限於此。在一個實施例中，照相機110可設置在可穿戴頭戴式顯示器（HMD）、可穿戴眼鏡（例如，AR/VR護目鏡）、電子裝置、其他類似裝置或這些裝置的組合上。本揭露不限於此。

在一個實施例中，控制器120包括例如微控制器單元（microcontroller unit，MCU）、中央處理器（central processing unit，CPU）、微處理器、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、可程式化邏輯裝置（programmable logic device，PLD）、其他類似裝置或這些裝置的組合。本揭露不限於此。另外，在實施例中，控制器120的功能中的每一者可實現為多個程式碼。程式碼儲存在記憶體中且由控制器120執行。作為另外一種選擇，在實施例中，控制器120的功能中的每一者可實現為一個或多個電路。本揭露不限制使用軟體或硬體來實現控制器120的功能。在一個實施例中，控制器120可設置在可穿戴頭戴式顯示器（HMD）、可穿戴眼鏡（例如，AR/VR護目鏡）、電子裝置、其他類似裝置或這些裝置的組合上。然而，本揭露不限於此。

圖2是根據本揭露實施例的場景的示意圖。參照圖1及圖2，場景200繪示出用戶U穿戴圖1所示的頭戴式顯示裝置100。在場景200中，可在用戶U周圍的環境中設置多個對象。所述多個對象可包括多個第一對象201、202、203、204、205及206。應注意，第一對象201、202、203、204、205及206可為穩定的、固定的或靜止的對象，例如書桌、桌子、沙發、凳子、椅子、長凳、燈、地毯等等。在一個實施例中，第一對象201是書桌，第一對象202是桌子，第一對象203是沙發，第一對象204是凳子，第一對象205是燈且第一對象206是地毯。然而，本揭露不限於此。

在一個實施例中，第一對象201、202、203、204、205及206可被預先儲存在頭戴式顯示裝置100的記憶體中的第一對象資料庫中。也就是說，控制器120被配置成基於第一對象資料庫來區分環境中的對象是否是第一對象201、202、203、204、205及206中的一者。在另一實施例中，控制器120可基於環境中的對象從之前的時間段到當前時間段的對象位移是否小於預定的第一對象位移來確定第一對象201、202、203、204、205及206。也就是說，控制器120被配置成響應於對象從之前的時間段到當前時間段的對象位移小於預定的第一對象位移，確定環境中的對象是第一對象201、202、203、204、205及206中的一者。

此外，環境中的所述多個對象可包括多個第二對象。不同於第一對象201、202、203、204、205及206，第二對象往往不如第一對象201、202、203、204、205及206穩定。換句話說，第二對象的位置、形狀或內容可隨著時間而改變。在一個實施例中，第二對象可為除第一對象201、202、203、204、205及206之外的任何對象。在一個實施例中，第二對象可包括移動對象、顯示器上的圖片或窗外的風景。然而，本揭露不限於此。

在用戶U穿戴頭戴式顯示裝置100之後，頭戴式顯示裝置100的照相機110可獲得用戶U周圍的環境的環境影像。控制器120被配置成從環境影像提取多個特徵點。所述多個特徵點可包括與第一對象201、202、203、204、205及206對應的多個第一特徵點（也被稱為目標特徵點）以及與第二對象對應的多個第二特徵點（也被稱為自然特徵點）。另外，控制器120被配置成基於所述多個特徵點輸出用戶U的用戶姿勢的分析結果。此外，顯示器130被配置成基於分析結果顯示環境影像。

具體來說，控制器120被配置成根據所述多個第一特徵點獲得用戶U的第一姿勢且根據所述多個第二特徵點獲得用戶U的第二姿勢。然後，控制器120被配置成通過判斷第一姿勢是否相同於第二姿勢來產生分析結果。

在一個實施例中，控制器120被配置成基於第一姿勢獲得用戶U的第一位置且基於第二姿勢獲得用戶U的第二位置。用戶U的位置可被定義為用戶U的中心點或用戶U的任何部分且本揭露不限制用戶U的位置的定義。基於第一位置及第二位置，控制器120被配置成通過判斷第一位置與第二位置之間的位置距離是否小於閾值距離來產生分析。響應於位置距離小於閾值距離，控制器120被配置成確定第一姿勢相同於第二姿勢。響應於位置距離不小於閾值距離，控制器120被配置成確定第一姿勢不同於第二姿勢。

在另一實施例中，控制器120被配置成基於第一姿勢獲得用戶U的第一形狀且基於第二姿勢獲得用戶U的第二形狀。舉例來說，用戶U的形狀可為用戶U的身體的輪廓或用戶U的手的輪廓。然而，本揭露不限於此。基於第一形狀及第二形狀，控制器120被配置成通過判斷第一形狀與第二形狀之間的形狀差是否小於閾值形狀差來產生分析。

值得一提的是，控制器120還可被配置成利用第一姿勢及第二姿勢的角度及移動來判斷第一姿勢是否不同於第二姿勢。也就是說，本揭露不限制用於判斷第一姿勢是否不同於第二姿勢的第一姿勢及第二姿勢的參數。

應注意，由於第一姿勢及第二姿勢是基於至少一個第一對象201、202、203、204、205或206（其更穩定）以及至少一個第二對象（其不太穩定）獲得的，因此第一姿勢可被視為用戶姿勢的標準且第二姿勢可被視為環境的檢查機制。換句話說，與所述至少一個第一對象201、202、203、204、205或206對應的第一特徵點更容易識別且是穩定的並且借此能夠提供魯棒（robust）及精確的特徵，而與所述至少一個第二對象對應的第二特徵點往往不太容易識別且是不太穩定的。在這些情況下，如果第二姿勢仍然相同於第一姿勢，則意味著即使所述至少一個第一對象201、202、203、204、205或206被移除，環境也會提供足夠的資訊。另一方面，如果第二姿勢不同於第一姿勢，則意味著環境不會提供足夠的資訊，使得頭戴式顯示裝置100不能正確地識別用戶U的姿勢。

另外，顯示器130可基於分析結果顯示通知。在一個實施例中，當第一姿勢相同於第二姿勢時，分析結果可包括用於通知用戶U從環境移除至少一個第一對象201、202、203、204、205或206的第一通知。也就是說，由於環境已經提供了足夠的資訊，因此可移除所述至少一個第一對象201、202、203、204、205或206以通過增大活動區域PA的面積來提供更好的用戶體驗。在一個實施例中，當第一姿勢不同於第二姿勢時，分析結果可包括用於通知用戶U將至少一個第三對象添加到環境中的第二通知。也就是說，由於環境未提供足夠的資訊，因此可將更多的對象添加到環境中以將更多的特徵提供到頭戴式顯示裝置100用於正確地識別用戶U的姿勢。舉例來說，第三對象可包括貼紙、跟蹤器及特定圖案中的至少一者，但本揭露不限於此。以這種方式，能夠確保用戶U周圍環境的良好狀況且借此改善用戶體驗。

在一個實施例中，頭戴式顯示裝置100可被配置成基於所述多個特徵點來確定活動區域PA的面積。也就是說，頭戴式顯示裝置100可基於與用戶U周圍的環境中的對象對應的特徵點來判斷環境中的哪個區域適合於享受由頭戴式顯示裝置100提供的服務。

在一個實施例中，頭戴式顯示裝置100可包括網路模塊。舉例來說，網路模塊可包括例如有線網路模塊、無線網路模塊、藍牙模塊、紅外模塊、射頻識別（radio frequency identification，RFID）模塊、蜂舞協議（Zigbee）網路模塊或近場通訊（near field communication，NFC）網路模塊，但本揭露不限於此。控制器120被配置成通過網路模塊將分析結果發送到外部伺服器。經授權的人員可訪問外部伺服器以知曉用戶U周圍的環境且借此外部伺服器能夠向用戶U提供服務或幫助。

圖3是根據本揭露實施例的跟蹤系統的示意性流程圖。參照圖1至圖3，圖3繪示出跟蹤系統的操作過程的流程圖。跟蹤系統可包括第一對象、第二對象及頭戴式顯示裝置100。頭戴式顯示裝置100的細節可參照圖1至圖2的說明，而此處不再逐一贅述細節。

在步驟S310中，跟蹤系統可被初始化成通過頭戴式顯示裝置100的照相機獲得環境影像。在步驟S320中，頭戴式顯示裝置100的控制器120可從用戶U周圍的環境提取/檢測多個特徵點。在步驟S330中，控制器120可將檢測到的特徵點分成兩組。

應注意，控制器120在步驟S341中被配置成從特徵點得到一組目標特徵點且在步驟S351中被配置成計算/獲得作為標準的第一姿勢。此外，控制器120在步驟S342中被配置成從特徵點得到一組自然特徵點且在步驟S352中被配置成計算/獲得用於比較的第二姿勢。

在步驟S360中，控制器120被配置成判斷第一姿勢與第二姿勢是否相同。在步驟S361中，如果第一姿勢相同於第二姿勢，則控制器120可通過經由顯示器130顯示通知來通知用戶這個地點（環境）適於跟蹤。在步驟S362中，如果第一姿勢不同於第二姿勢，則控制器120可通過經由顯示器130顯示通知來建議用戶U改變活動區域PA或者將更多特徵添加到環境中。以這種方式，能夠確保用戶U周圍環境的良好狀況且借此改善用戶體驗。

圖4是根據本揭露實施例的跟蹤方法的示意性流程圖。參照圖1至圖4，跟蹤方法包括步驟S410、步驟S420、步驟S430及步驟S440。

在步驟S410中，由頭戴式顯示裝置100的照相機110獲得用戶U周圍的環境的環境影像。在步驟S420中，由頭戴式顯示裝置100的控制器120從環境影像提取多個特徵點。在步驟S430中，由控制器120基於所述多個特徵點輸出用戶U的用戶姿勢的分析結果。在步驟S440中，由頭戴式顯示裝置100的顯示器130基於分析結果顯示環境影像。以這種方式，實現了對環境是否適合於頭戴式顯示裝置100的分析並將相關資訊提供到用戶。因此，用戶體驗可得到改善。

另外，圖4所示的跟蹤方法的實施細節可參照圖1至圖3的說明以獲得足夠的教示內容、建議及實施方式實施例，而此處不再逐一贅述細節。

綜上所述，根據所述頭戴式顯示裝置、所述跟蹤系統及所述跟蹤方法，通過分析用戶周圍的環境中的特徵點，能夠確保用戶周圍環境的良好狀況且借此改善用戶體驗。

對於所屬領域中的技術人員來說顯而易見的是，在不背離本揭露的範圍或精神的條件下，可對所揭露的實施例進行各種修改及變化。鑒於以上內容，本揭露旨在覆蓋落入所附申請專利範圍及其等效內容的範圍內的修改及變化。

100:頭戴式顯示裝置

110:照相機

120:控制器

130:顯示器

200:場景

201、202、203、204、205、206:第一對象

PA:活動區域

S310、S320、S330、S341、S342、S351、S352、S360、S361、S362、S410、S420、S430、S440:步驟

U:用戶

圖1是根據本揭露實施例的頭戴式顯示裝置的示意圖。圖2是根據本揭露實施例的場景的示意圖。圖3是根據本揭露實施例的跟蹤系統的示意性流程圖。圖4是根據本揭露實施例的跟蹤方法的示意性流程圖。

100:頭戴式顯示裝置

110:照相機

120:控制器

130:顯示器

Claims

一種頭戴式顯示裝置，包括：照相機，被配置成獲得用戶周圍環境的環境影像；控制器，被配置成從所述環境影像提取多個特徵點且基於所述多個特徵點輸出所述用戶的用戶姿勢的分析結果；以及顯示器，被配置成基於所述分析結果顯示所述環境影像，其中所述多個特徵點包括多個第一特徵點及多個第二特徵點，所述控制器進一步被配置成根據所述多個第一特徵點獲得所述用戶的第一姿勢且根據所述多個第二特徵點獲得所述用戶的第二姿勢，所述控制器進一步被配置成通過判斷所述第一姿勢是否相同於所述第二姿勢來產生所述分析結果。
如請求項1所述的頭戴式顯示裝置，其中所述控制器進一步被配置成：基於所述第一姿勢獲得所述用戶的第一位置且基於所述第二姿勢獲得所述用戶的第二位置；且通過判斷所述第一位置與所述第二位置之間的位置距離是否小於閾值距離來產生所述分析結果。
如請求項2所述的頭戴式顯示裝置，其中所述控制器進一步被配置成：響應於所述位置距離小於所述閾值距離，確定所述第一姿勢相同於所述第二姿勢。
如請求項3所述的頭戴式顯示裝置，其中所述分析結果包括用於通知所述用戶從所述環境移除與所述多個第一特徵點對應的至少一個第一對象的第一通知。
如請求項2所述的頭戴式顯示裝置，其中所述控制器進一步被配置成：響應於所述位置距離不小於所述閾值距離，確定所述第一姿勢不同於所述第二姿勢。
如請求項5所述的頭戴式顯示裝置，其中所述分析結果包括用於通知所述用戶將至少一個第三對象添加到所述環境中的第二通知，且所述至少一個第三對象不同於與所述多個第一特徵點對應的至少一個第一對象及與所述多個第二特徵點對應的至少一個第二對象。
如請求項6所述的頭戴式顯示裝置，其中所述至少一個第三對象包括貼紙、跟蹤器及特定圖案中的至少一者。
一種跟蹤系統，包括：第一對象；第二對象；頭戴式顯示裝置，包括：照相機，被配置成獲得用戶周圍環境的環境影像，其中所述第一對象及所述第二對象設置在所述環境中；控制器，被配置成從所述環境影像提取多個特徵點且基於所述多個特徵點輸出所述用戶的用戶姿勢的分析結果，其中所述多個特徵點包括與所述第一對象對應的多個第一特徵點及與所述第二對象對應的多個第二特徵點；以及顯示器，被配置成基於所述分析結果顯示所述環境影像，其中所述多個特徵點包括多個第一特徵點及多個第二特徵點，所述控制器進一步被配置成根據所述多個第一特徵點獲得所述用戶的第一姿勢且根據所述多個第二特徵點獲得所述用戶的第二姿勢，所述控制器進一步被配置成通過判斷所述第一姿勢是否相同於所述第二姿勢來產生所述分析結果。