TW202123691A

TW202123691A - 頭戴式顯示系統及其旋轉中心修正方法

Info

Publication number: TW202123691A
Application number: TW108144481A
Authority: TW
Inventors: 黃靖甯; 謝毅剛
Original assignee: 未來市股份有限公司
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2021-06-16

Abstract

本發明提供一種頭戴式顯示系統及其旋轉中心修正方法。頭戴式顯示系統能夠穿戴在使用者的頭上且包括主體、感測器及處理器。感測器設置在主體且取得與使用者的頭的至少一個姿勢對應的感測資料。處理器耦接感測器，且經配置用以基於感測資料產生使用者的頭的姿勢資料，並基於姿勢資料產生使用者的頭的旋轉中心資訊。此旋轉中心資訊與和使用者的頭的旋轉對應的中心相關。因此，可針對不同的使用者調整旋轉的中心。

Description

頭戴式顯示系統及其旋轉中心修正方法

本發明是有關於一種修正機制，且特別是有關於一種頭戴式顯示系統及其旋轉中心修正方法。

為能夠直觀地操作電子設備（例如遊戲機、電腦、智慧型電話、智慧家電等），可偵測使用者的運動以根據使用者的運動直接操作電子設備。

一些電子設備可允許使用者的人體部位（例如手、腿、頭等）控制這些電子設備的操作，且可追蹤人體部位的運動。舉例來說，頭戴式顯示器（head mounted display，HMD）可內嵌有感測器以追蹤使用者的頭的運動。應注意，感測器的感測結果與使用者的頭的旋轉情況相關，且頭的旋轉可影響頭戴式顯示器中的顯示器的影像內容。舉例來說，頭向右旋轉，且影像內容中的場景從中心向右移動。

在傳統方法中，頭戴式顯示器可被預定義成具有中心軸線。設想頭戴式顯示器中顯示器的旋轉對應於所述中心軸線。然而，預定義的中心軸線並不適用於所有的使用者。如果預定義的中心軸線與使用者的實際中心軸線不一致，則影像內容可與使用者期望看到的使用者認知存在分歧，且還可能會導致動暈（motion sickness）。

頭戴式顯示器的預定義的中心軸可能不適用於所有使用者。有鑑於此，本發明實施例提供一種頭戴式顯示系統及其旋轉中心修正方法。

本發明實施例的頭戴式顯示系統能夠穿戴在使用者的頭上且包括但不限於主體、感測器及處理器。感測器設置在主體處且用於取得感測與使用者的頭的姿勢對應的資料。處理器耦接感測器。處理器經配置用以基於感測資料產生使用者的頭的姿勢資料以及基於姿勢資料產生使用者的頭的旋轉中心資訊。旋轉中心資訊與和使用者的頭的旋轉對應的中心相關。

本發明實施例的旋轉中心修正方法適用於能夠穿戴在使用者的頭上的頭戴式顯示系統，且旋轉中心修正方法包括以下步驟：基於感測資料產生使用者的頭的姿勢資料。感測資料對應於使用者的頭的至少一個姿勢。基於姿勢資料產生使用者的頭的旋轉中心資訊。旋轉中心資訊與和所述使用者的頭的旋轉對應的中心相關。

基於上述，根據本發明實施例的頭戴式顯示系統及其旋轉中心修正方法，可追蹤使用者的頭的姿勢，且可基於追蹤結果來更新旋轉中心資訊。藉此，可修改頭戴式顯示系統的旋轉中心，且更新的旋轉中心可適用於當前配戴者，從而減少動暈。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現在將詳細參考本發明的較佳實施例，所述較佳實施例的實例在附圖中加以說明。在圖式及闡述中盡可能使用相同的參考編號來代表相同或相似的部分。

圖1是根據本發明的示例性實施例中的一者的頭戴式顯示系統的方塊圖。參考圖1，頭戴式顯示系統100包括但不限於感測器110、顯示器130、記憶體140及處理器150。頭戴式顯示系統100適用於虛擬實境（virtual reality，VR）、增強現實（Augmented Reality，AR）、混合現實（Mix reality，MR）、擴展現實（Extended Reality，XR）或其他現實相關技術。

感測器110設置在頭戴式顯示系統100的主體。在使用者穿戴頭戴式顯示系統100時，感測器110可位於使用者的眼睛或額頭前方。感測器110用於取得與使用者的頭的一個或多個姿勢對應的感測資料。

在一個實施例中，感測器110可以是相機（例如，單色相機或彩色相機、深度相機）、錄影機或能夠拍攝影像的其他影像感測器。在一些實施例中，感測器110可用於拍攝使用者前方的場景以產生相機影像。

在另一實施例中，感測器110可以是加速度計、陀螺儀、磁力儀、雷射感測器、慣性測量單元（inertial measurement unit，IMU）、紅外線（infrared ray，IR）感測器或前述運動感測器的任何組合。感測器110自身用於感測運動，且與放置所述感測器110的頭戴式顯示系統100的主體一同動作。在使用者穿戴頭戴式顯示系統100之後，感測器110可追蹤使用者的頭的運動，以在時間週期內的多個時間點從感測器110的感測結果（例如，所感測到的強度值等）產生一序列感測資料。舉一個實例，感測資料包括3自由度（3-degree of freedom，3-DoF）資料，且所述3自由度資料與人體部位在三維（three-dimensional，3D）空間中的旋轉資料（例如，搖擺、轉動及俯仰的加速度）相關。又例如，感測資料包括人體部位在二維空間/三維空間中的相對位置及/或位移。

在又一實施例中，感測器110可包括前述影像感測器及運動感測器兩者。

顯示器130設置在頭戴式顯示系統100的主體上。顯示器130可以是液晶顯示器（liquid-crystal display，LCD）、發光二極體（light-emitting diode，LED）顯示器、有機發光二極體（organic light-emitting diode，OLED）顯示器或其他顯示器。在本發明的實施例中，顯示器130用於顯示影像。

記憶體140可以是任何類型的固定或可移動的隨機存取記憶體（Random-Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體、類似裝置或上述裝置的組合。記憶體140記錄程式碼、裝置配置、緩衝資料或永久性資料（例如影像、感測結果、感測資料、姿勢資料、旋轉中心資訊等），且這些資料將在稍後予以介紹。

處理器150耦接感測器110、顯示器130及記憶體140。處理器150經配置用以載入記憶體140中所儲存的程式碼以實行本發明的示例性實施例的過程。

在一些實施例中，可使用例如中央處理單元（central processing unit，CPU）、微處理器、微控制器、數位信號處理（digital signal processing，DSP）晶片、現場可程式設計閘陣列（field programmable gate array，FPGA）等可程式設計單元來實施處理器150的功能。在一個實施例中，也可透過獨立的電子裝置或積體電路（integrated circuit，IC）實施處理器150的功能，且也可透過軟體實施處理器150的操作。

為更好地理解本發明的一個或多個實施例中所提供的操作流程，下文將例示數個實施例來詳述頭戴式顯示系統100的操作流程。以下實施例中應用頭戴式顯示系統100中的裝置及模組來闡釋本文中所提供的旋轉中心修正方法。所述方法的每一步驟可根據實際的實施情況加以調整，並不應僅限於本文中所述的步驟。

圖2是根據本發明的示例性實施例中的一者的旋轉中心修正方法的流程圖。參考圖2，處理器150基於感測資料產生使用者的頭的姿勢資料（步驟S210）。就不同類型的感測器110而言，可取得使用者的頭在二維空間/三維空間中運動的相機影像、加速度、旋轉、磁力、朝向、距離及/或位置（在後文被稱為感測結果），且感測器110的一個或多個感測結果將是人體部位的感測資料。

在一個實施例中，感測器110是影像感測器且取得一個或多個相機影像。處理器150可從所述相機影像取得感測資料。舉例來說，可使用與一個或多個實物（例如牆壁、桌子、地板等）對應的感測強度及像素位置來估計目標實物的深度資訊（即，相對於感測器110或者頭戴式顯示系統100的主體上的任何點的距離），從而估計感測器110在使用者所處空間中的位置及朝向。感測器110的位置資料及旋轉資料（對應於朝向）對應於使用者的頭的姿勢。

在另一實施例中，感測器110是慣性測量單元，且處理器150從所述慣性測量單元取得感測資料。舉例來說，感測器110的感測結果（例如，加速度、旋轉（可包括朝向及角速度）及/或磁場）可以是姿勢資料中的旋轉資料。可透過對感測器110在三條軸線上偵測到的加速度進行二重積分估計使用者的頭的位移，以估計姿勢資料中的位置資料。

又一實施例中，感測器110可包括影像感測器及慣性測量單元兩者。處理器150可根據來自影像感測器的相機影像及來自慣性測量單元的感測結果決定感測資料。舉例來說，處理器150可使用基於慣性測量單元的旋轉資料來修正基於影像感測器的旋轉資料及/或位置資料。又例如，姿勢資料可與基於慣性測量單元及影像感測器的旋轉資料與位置資料的加權組合相關。

在決定感測資料之後，處理器150可基於前述位置資料及/或旋轉資料產生姿勢資料。應注意，所述姿勢資料可對應於使用者的頭的一個或多個姿勢。

處理器150可基於姿勢資料產生使用者的頭的旋轉中心資訊（步驟S230）。具體來說，所述旋轉中心資訊與和使用者的頭的旋轉對應的中心相關。使用者不同，所述旋轉中心資訊可能會有所不同。圖3是根據本發明的示例性實施例中的一者說明頭的旋轉的示意圖。參考圖3，設想使用者的頭H的搖擺（Yaw）對應於軸線A1，且頭H的俯仰（Pitch）對應於軸線A2。可將軸線A1與軸線A2的交點視為頭H的旋轉的中心C。如果參考點RP對應於頭戴式顯示系統100的主體上的感測器110或另一點的位置，則中心C與參考點RP之間的距離可反應於頭的大多數姿勢或所有姿勢而皆相同。在一個實施例中，處理器150可基於頭H的實際旋轉情況決定中心C。

在一個實施例中，在步驟S210中，處理器150可產生與空間中的多個參考點對應的姿勢資料。參考點對應於感測器110在使用者的頭的不同的姿勢所處的多個位置。處理器150可透過顯示器130、揚聲器或發光二極體提供引導指令，且所述引導指令可與如何移動使用者的頭或如何移動到一些特定姿勢相關。處理器150可反應於觸發條件而產生與頭的當前姿勢對應的姿勢資料。所述觸發條件可以是例如一些特定旋轉度、時間週期或使用者的輸入資料（例如，語音命令或手勢）。

在一個實施例中，處理器150可取得與三個或更多個參考點對應的感測資料，且這些參考點在空間的水平面中位於兩個象限。舉例來說，圖4A是根據本發明的示例性實施例中的一者決定參考點的示意圖。參考圖4A，圖的頂部對應於使用者的頭的前方，且圖的右側對應於頭的右側。在水平面中，在軸線A1與軸線A2形成的坐標系中存在四個象限。在此實例中，取得三個參考點RP1、RP2及RP3，以使參考點RP1及參考點RP2分別位於兩個象限Q4及Q1。

在一個實施例中，處理器150可取得與五個或更多個參考點對應的感測資料，且這些參考點在空間中位於四個象限。舉例來說，圖4B是根據本發明的示例性實施例中的一者決定參考點的示意圖。參考圖4B，圖的左上部對應於使用者的頭的前方，圖的右上部對應於頭的右側，且圖的頂部對應於頭的頂部。在3維空間中，在軸線A1、軸線A2及軸線A3形成的坐標系的前半部分中存在四個象限。在此實例中，取得五個參考點RP4到RP8，以使參考點RP6、RP7、RP8及RP5分別位於四個象限Q1、Q2、Q3及Q4。

處理器150可收集所決定的參考點的感測資料，並據以產生與這些參考點對應的姿勢資料。

在一個實施例中，處理器150可決定球形體以使所決定的參考點位於所述球形體的表面上。具體來說，處理器150設想頭戴式顯示系統100的主體處的感測器110或特定點行進的軌跡位於球形體的表面上，以使得與感測器110或頭戴式顯示系統100的主體上的特定點對應的所述參考點也位於所述球形體的表面上。以圖4A為例，設想球形體S是圓球體。參考點RP1到參考點RP3位於球形體S的表面上。處理器150可使用擬合算法（例如，曲線擬合、樣條曲線（spline curve）等）來決定球形體S的形狀，以使得所決定的所有參考點皆可位於所決定的球形體S的表面上。

以圖4A為例，就圓形擬合算法而論，處理器150可決定參考點RP1到參考點RP3在由軸線A1與軸線A2形成的座標平面中的x座標及y座標，且可將所述x座標及y座標饋送到圓形函數中。然後，處理器150計算所述圓形函數的最小二乘解，以取得中心C的x座標及y座標、及距離R，從而決定球形體S的表面。

應注意，參考點的前述數目是基於擬合算法決定且可基於實際需要加以修改。

在一個實施例中，處理器150可基於球形體的中心產生旋轉中心資訊。以圖4A為例，球形體S是圓球體。球形體S的中心C與參考點RP1到參考點RP3中任一參考點之間的距離R將是相同的且等於球形體S的半徑。基於參考點RP1到參考點RP3的圓形形式的交叉處分別是所述圓形的中心，所述交叉處即為中心C。

以圖4B為另一實例，球形體S2也是圓球體。球形體S2的中心C2與參考點RP4到參考點RP8中任一參考點之間的距離R2將是相同的且等於球形體S2的半徑。然後，處理器150可基於球形體S的中心C/球形體S2的中心C2的位置資料產生旋轉中心資訊。

藉此，可更新所述旋轉中心資訊。可反應於使用者輸入、啟動或其他情況在頭戴式顯示系統100上觸發旋轉中心修正方法。每當使用者穿戴頭戴式顯示系統100時，在更新旋轉中心資訊之後所述旋轉中心資訊將適用於當前使用的使用者。

應注意，在一些實施例中，球形體可以是扁平的球形體、扁長的球形體或其他球形體。

另外，可在多種情況下實行旋轉中心資訊的前述更新過程。在一個實施例中，處理器150可在工廠測試、工廠校準、工廠配置時或在運送頭戴式顯示系統100之前的其他階段更新旋轉中心資訊。在另一實施例中，處理器150可在執行時間（run-time）中更新旋轉中心資訊。執行時間或執行時間是處理器150正在運行（執行）本實施例的旋轉中心修正方法的程式期間的時間。舉例來說，在運送頭戴式顯示系統100之後，使用者仍可修改頭戴式顯示系統100的旋轉中心資訊。因此，即便不同使用者的頭可能具有不同的旋轉情況，頭戴式顯示系統100仍可適用於多個使用者。在一些實施例中，在頭戴式顯示系統100的啟動過程或一些特定程式期間，也可更新旋轉中心資訊。

在一個實施例中，處理器150可反應於使用者的頭的旋轉而透過顯示器130基於旋轉中心資訊顯示影像。舉例來說，處理器150可針對頭戴式顯示系統100的主體處的感測器或特定點產生第一坐標系，且基於旋轉中心資訊產生第二坐標系。然後，處理器150可將所述第一坐標系映射到第二坐標系中，且可將感測器110的位置資料及旋轉資料變換成第二坐標系中的位置資料及旋轉資料。最後，處理器150可將第二坐標系變換成與使用者的視野對應的視場（field-of-view，FoV）坐標系。然後，處理器150可產生影像，基於視場坐標系在顯示器130上顯示所述影像。基於這些坐標系之間的變換關係，使用者的實際視野可對應於顯示器130上顯示的影像，以減輕或防止動暈。

綜上所述，在本發明實施例的頭戴式顯示系統及其旋轉中心修正方法中，基於使用者的頭的姿勢更新系統中使用者的旋轉中心。任何使用者在配戴此頭戴式顯示系統後都可改變旋轉中心資訊。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:頭戴式顯示系統 110:感測器 130:顯示器 140:記憶體 150:處理器 A1、A2、A3:軸線 C、C2:中心 H:使用者的頭 Q1、Q2、Q3、Q4:象限 R、R2:距離 RP、RP1、RP2、RP3、RP4、RP5、RP6、RP7、RP8:參考點 S、S2:球形體 S210、S230:步驟

圖1是根據本發明的示例性實施例中的一者的頭戴式顯示系統的方塊圖。圖2是根據本發明的示例性實施例中的一者的旋轉中心修正方法的流程圖。圖3是根據本發明的示例性實施例中的一者說明頭的旋轉的示意圖。圖4A是根據本發明的示例性實施例中的一者決定參考點的示意圖。圖4B是根據本發明的示例性實施例中的一者決定參考點的示意圖。

S210~S230:步驟

Claims

一種頭戴式顯示系統，能夠穿戴在一使用者的頭上，且包括：一主體；一感測器，設置在所述主體，且取得與所述使用者的頭的至少一個姿勢對應的感測資料；以及一處理器，耦接所述感測器，且經配置用以：基於所述感測資料產生所述使用者的頭的姿勢資料；以及基於所述姿勢資料產生所述使用者的頭的旋轉中心資訊，其中所述旋轉中心資訊與和所述使用者的頭的旋轉對應的中心相關。
如申請專利範圍第1項所述的頭戴式顯示系統，其中所述旋轉中心信息是在執行時間（run-time）中進行更新。
如申請專利範圍第1項所述的頭戴式顯示系統，其中所述處理器經配置用以：產生與一空間中的多個參考點對應的所述姿勢資料，其中所述多個參考點對應於所述感測器在所述使用者的頭的不同姿勢所處的多個位置。
如申請專利範圍第3項所述的頭戴式顯示系統，其中所述處理器經配置用以：決定一球形體，以使所述多個參考點位於所述球形體的表面上；以及基於所述球形體的中心產生所述旋轉中心資訊。
如申請專利範圍第3項所述的頭戴式顯示系統，其中所述處理器經配置用以：取得與所述參考點中的至少三個參考點對應的所述感測資料，其中所述參考點中的所述至少三個參考點在所述空間的水平面中位於兩個象限。
如申請專利範圍第3項所述的頭戴式顯示系統，其中所述處理器經配置用以：取得與所述參考點中的至少五個參考點對應的所述感測資料，其中所述參考點中的所述至少五個參考點在所述空間中位於四個象限。
如申請專利範圍第1項所述的頭戴式顯示系統，其中所述感測器取得多個相機影像，且所述處理器經配置用以：從所述相機影像決定所述感測資料。
如申請專利範圍第1項所述的頭戴式顯示系統，其中所述感測器是一慣性測量單元(IMU)，且所述處理器經配置用以：從所述慣性測量單元取得所述感測資料。
如申請專利範圍第1項所述的頭戴式顯示系統，其中所述感測器取得多個相機影像，且所述頭戴式顯示系統還包括：一第二感測器，其中所述第二感測器是一慣性測量單元，且所述處理器經配置用以：根據所述相機影像及來自所述慣性測量單元的感測結果決定所述感測資料。
如申請專利範圍第1項所述的頭戴式顯示系統，還包括：一顯示器，其中所述處理器經配置用以：反應於所述使用者的頭的所述旋轉而透過所述顯示器基於所述旋轉中心資訊顯示影像。
一種旋轉中心修正方法，適用於能夠穿戴在一使用者的頭上的一頭戴式顯示系統，且所述旋轉中心修正方法包括：基於感測資料產生所述使用者的頭的姿勢資料，其中所述感測資料對應於所述使用者的頭的至少一個姿勢；以及基於所述姿勢資料產生所述使用者的頭的旋轉中心資訊，其中所述旋轉中心資訊與和所述使用者的頭的旋轉對應的中心相關。
如申請專利範圍第11項所述的旋轉中心修正方法，還包括：在執行時間中更新所述旋轉中心資訊。
如申請專利範圍第11項所述的旋轉中心修正方法，其中所述基於所述感測資料產生所述使用者的頭的所述姿勢資料的步驟包括：產生與一空間中的多個參考點對應的所述姿勢資料，其中所述多個參考點對應於所述感測器在所述使用者的頭的不同姿勢所處的多個位置。
如申請專利範圍第13項所述的旋轉中心修正方法，其中所述基於所述姿勢資料產生所述使用者的頭的所述旋轉中心資訊的步驟包括：決定一球形體，以使所述多個參考點位於所述球形體的表面上；以及基於所述球形體的中心產生所述旋轉中心資訊。
如申請專利範圍第13項所述的旋轉中心修正方法，其中所述產生與所述空間中的所述多個參考點對應的所述姿勢資料的步驟包括：取得與所述參考點中的至少三個參考點對應的所述感測資料，其中所述參考點中的所述至少三個參考點在所述空間的水平面中位於兩個象限。
如申請專利範圍第13項所述的旋轉中心修正方法，其中所述產生與所述空間中的所述多個參考點對應的所述姿勢資料的步驟包括：取得與所述參考點中的至少五個參考點對應的所述感測資料，其中所述參考點中的所述至少五個參考點在所述空間中位於四個象限。
如申請專利範圍第11項所述的旋轉中心修正方法，其中所述產生與所述空間中的所述多個參考點對應的所述姿勢資料的步驟包括：取得多個相機影像；以及從所述相機影像決定所述感測資料。
如申請專利範圍第11項所述的旋轉中心修正方法，其中所述產生與所述空間中的所述多個參考點對應的所述姿勢資料的步驟包括：從慣性測量單元取得所述感測資料。
如申請專利範圍第11項所述的旋轉中心修正方法，其中所述產生與所述空間中的所述多個參考點對應的所述姿勢資料的步驟包括：取得多個相機影像；以及根據所述相機影像及來自慣性測量單元的感測結果決定所述感測資料。
如申請專利範圍第11項所述的旋轉中心修正方法，還包括：反應於所述使用者的頭的所述旋轉而基於所述旋轉中心資訊顯示影像。