TW201721228A - 反應眼睛凝視的虛擬實境頭戴式組件 - Google Patents

Abstract

一種用於提供影像給一使用者的頭戴式組件被提供。該頭戴式組件被配置成附接到一使用者的頭部，以及包括被設置在一使用者的眼睛附近的顯示器。一顯示器支撐臂被連接至該等顯示器。一馬達被連接至該顯示器支撐臂，以及驅動該顯示器支撐臂於多個位置之間。一攝影機被設置在該使用者的眼睛附近，以及記錄該使用者的眼睛。一處理器從該攝影機接收相關該使用者的眼睛的一位置以及移動的數據。該處理器使用來自該攝影機的數據，來驅動該馬達，以及來相對該使用者的眼睛定位該顯示器支撐臂，使得該等顯示器能維持在一鄰近該使用者的眼睛的位置。

Description

反應眼睛凝視的虛擬實境頭戴式組件

本案發明是有關一種頭戴式顯示器裝置以及一種用於該頭戴式顯示器裝置的控制方法。

本申請案主張2015年10月4日所提申的美國臨時專利申請案62/236,964的權益，該申請案的全部內容如同在本文中所提及般地通過引用方式而予以併入。

現行技術包括一頭戴式顯示器(“HMD”)裝置，該裝置被裝戴在使用者的頭部上，以及包括一或多個顯示器裝置，用於呈現立體影像給一使用者的左眼以及一使用者的右眼，以使該使用者能以三維的方式感知到影像。在該HMD中的該影像可被聯繫到一虛擬或是真實世界的場景，且該影像係聯繫到該使用者的頭部的定向，以使該使用者能感覺到沉浸在由該顯示器所呈現的一場景中。在該HMD裝置中的該等顯示器裝置可為液晶顯示器以及一光源，為了在小的距離有正常的視覺，該光源通過一投影式光學系統以及一光線引導板件，引導該被產生的影像光線給該等眼睛。

在現行技術的HMD中，被呈現給該眼睛的該等影像的解析度，是受限於該等顯示器的容量。一顯示器的較高的解析度，就明晰度和清晰度而言，呈現出一改進的影像。現行技術的系統的觀看的角度是由在 該等眼睛前方的該等顯示器的尺寸所決定。如果在該等眼睛前方的該顯示器被加大，則該觀看的角度亦被加大。現行技術的系統並不允許使用者向左及向右移動他們的眼睛到該觀看圓錐的外部，該觀看圓錐是由該等顯示器的觀看角度所決定的。反倒是，該使用者藉由轉動其頭部，同時保持其眼睛大致筆直地聚焦在該等顯示器上，而改變其在該虛擬或是真實世界中的視點。為緩和在視點中的改變而移動一個人的頭部的需求，可能會給該使用者的頸部及肩膀肌肉加上一不必要的負擔。除了此人體工學上的問題之外，一使用者的自然傾向，是要藉由輕微地調整其眼睛的方向，而改變他們的觀看。因此，藉由改變該整個頭部的角度以改變觀看的方向的該方法，如同以現有的頭戴式組件所需要的，並不自然，且在該使用者上可能是吃力的。

其會想要提供一種虛擬實境的頭戴式組件，該頭戴式組件是能藉由允許一使用者的較小的眼睛移動，來調整在該虛擬世界中的該相應的觀看，而讓該使用者能探索一相應的虛擬世界。

本案發明大致是提供一種用於觀看影像的可穿戴裝置，其具有顯示器，該等顯示器反應一使用者的(穿戴者的)眼睛移動的移動而移動。該使用者的眼睛移動被偵測、感測、量測、或者是被捕捉、及被處理。此些處理的結果被使用來移動該等顯示器，以對應於該眼睛的移動。

一種用於一使用者的頭部的可穿戴裝置被揭示，其呈現出影像給一使用者的左眼以及一使用者的右眼。被呈現給該使用者的該等影像，被聯繫到一虛擬世界、一動畫、數位影像、或是被聯繫到一真實世界 或其他記錄之被記錄影像，且該等影像是立體的，以使被該使用者所感知到的世界如同是三維立體的。在一實施例中，該等影像通過一左顯示器以及一右顯示器，被呈現給該左眼以及該右眼，以各個顯示器為可調整的且可移動的，不是一起地便是獨立開地，且當該等眼睛移動時，該等顯示器被定向於該左眼以及該右眼的方向。

一般而言，該等顯示器反應眼睛的移動而移動以及定向。通過被聚焦在該等眼睛上的一或多個攝影機或是其他的感測器，該系統記錄或是偵測該使用者的眼睛的移動，以及使用被該攝影機所捕捉到的影像，來計算相關該使用者的眼睛的相對位置的數據。該等顯示器被附接至一支撐件，該支撐件經由馬達被移動，該等馬達是受到一控制器所控制。相關該使用者的眼睛的移動的數據，被使用於定位該等顯示器。相關該使用者的眼睛的移動的數據，亦被使用來控制被顯示在該等顯示器上的影像。因此，該頭戴式組件的有效視野被增大，而未劣化被呈現給該使用者的該影像的解析度。如此使該使用者能更自然及舒適地觀看該虛擬世界。一使用者可以使用眼睛移動繞著一虛擬世界凝視，如同在該真實的世界中。

在一實施例中，通過一或多個攝影機、或是其他的感測器或是偵測器，觀看該使用者的眼睛，以及通過偵測該等眼睛的部分(例如是該等眼睛的瞳孔)的移動的軟體，一使用者的凝視被偵測到。本案發明的系統包括在該使用者的眼睛的視野中的顯示器。當該使用者的眼睛移動時，該等顯示器被移動以及被重新定位，以使該等顯示器能被恆定地定位在該使用者的眼睛前面。本案發明的系統亦造成被顯示給該使用者的該影像，依據該使用者的眼睛的移動改變，以使被顯示的影像是聯繫到和該使 用者的眼睛的狀態以及定位相稱的該視野。

1、2‧‧‧顯示器

1’‧‧‧顯示器表面

3‧‧‧顯示器支撐臂

3a‧‧‧橫桿

4‧‧‧俯仰旋轉馬達

5‧‧‧平擺旋轉馬達

6‧‧‧攝影機

7‧‧‧處理器

8、13‧‧‧發送機/接收機單元

9、10‧‧‧眼睛

11‧‧‧頭戴式組件

12‧‧‧加速度計

14‧‧‧中央處理器

15、16‧‧‧透鏡/凸透鏡

17‧‧‧肌電偵測器

20‧‧‧投影器

20’‧‧‧光束

100‧‧‧系統

200‧‧‧系統

當結合隨附圖式被讀取時，上述概述及下述詳細說明被更佳地了解，該等圖式圖示說明本案發明的一較佳實施例。在該等圖式中：

圖1A及1B圖示說明依據在一向上及一向下位置的一頭戴式組件的一第一實施例。

圖2圖示說明該頭戴式組件的該第一實施例。

圖3為一流程圖，其圖示說明一用於依據該使用者的眼睛的追蹤來定位顯示器的處理。

圖4圖示說明包括有透鏡的該頭戴式組件的一替代式實施例。

圖5A及5B圖示說明顯示器顯示依據一使用者的眼睛而在二個不同定向的一影像。

圖6為圖1A、1B、及2的該頭戴式組件的一概略圖式。

圖7為依據另一實施例的一頭戴式組件的一概略圖式。

某些術語僅為方便性被使用在以下的說明，且並無限制性。該等用字"前面的"、"後面的"、"上面的"以及"下面的"指出在該等圖式中做為參考的方向。該等用字"朝內地"以及"朝外地"是指朝向以及遠離在該等圖式中被參考的該等元件的方向。“軸向地”是指沿著一軸件的軸線的一方向。被引用如"a、b、或c的至少一個"(其中，a、b、及c代表被表列的該等品項)的對一系列品項的引用，意指該等品項a、b、或c的任何單獨的一個或是其等的組合。術語包括該等上面被特別註明的用字、其等的衍生以及 近似意義的用字。

如同被顯示在圖1A、1B及2中，一系統100被提供用於顯示影像給一使用者。該系統100包括一頭戴式組件11，該頭戴式組件11可被固緊至一使用者的頭部，或是被附接至一使用者。例如是一條帶、多條帶、或是一頭盔配置可被使用來將該頭戴式組件11附接至該使用者。該系統100包括二個被定位在一使用者的眼睛9、10前面的顯示器1、2。由該等顯示器1、2被提供的該等影像可包括任何類型的影像，例如一視頻遊戲、被記錄影像、實時影像、影片、三維立體虛擬世界、或是其他類型的影像。

該等顯示器1、2被附接至一顯示器支撐臂3。該顯示器支撐臂3於該等圖式中被圖示說明成叉型的桿件。如同被顯示在圖1A及1B中的，一橫桿3a被提供在該顯示器支撐桿件3的個別叉腳之間。在圖2中，該顯示器支撐臂3少了任何此類的橫桿3a。具有相關技術的通常技術者會從本案揭示認知到，該顯示器支撐臂3的替代式構造可被使用。例如，該顯示器支撐臂3可包括多個鉸接式接頭以及多條支臂。在一實施例中，該等顯示器1、2各自被附接至被分別鉸接的一顯示器支撐臂，且該等顯示器1、2係彼此獨立開地被定位。

該顯示器支撐臂3被附接至一俯仰旋轉馬達4，且該顯示器支撐臂3被配置成由該俯仰旋轉馬達4所操控。該俯仰旋轉馬達4以三維方式移動該顯示器支撐臂3，以相對該使用者的眼睛9、10移動該等顯示器1、2。該俯仰旋轉馬達4亦被附接至一平擺旋轉馬達5，以使該俯仰馬達4及該平擺旋轉馬達5能控制在一使用者的眼睛9、10前面的該等顯示器1、2的位置。其他類型的馬達可被使用，只要該等馬達具有足夠充分程度的運 動來移動該顯示器支撐臂3。該俯仰旋轉馬達4及該平擺旋轉馬達5的致動受到在該頭戴式組件11內部的一處理器7所控制。該處理器7將信號送至該等馬達4、5以驅動該等馬達4、5，且以多個方向移動該顯示器支撐臂3。

該系統100亦包括一用於追蹤該使用者的眼睛9、10的攝影機6。該攝影機6被固定在該頭戴式組件11內部，相當地靠近該使用者的眼睛9、10，使得該攝影機6可具有一至該使用者的眼睛9、10的通暢視線。來自該攝影機6的數據被傳送至該處理器7。該攝影機6較佳地包括有一瞳孔追蹤透鏡，該瞳孔追蹤透鏡特定地定位及標記該眼睛的移動。該攝影機6能追蹤該等眼睛的轉動、該瞳孔的位置、或是眼睛的其他特徵。該攝影機6具有一非常高的採樣率，較佳地是至少30Hz，更佳地為介於50至350Hz，以及最佳地為至少1000Hz。雖然僅有一個攝影機6被顯示在該等圖式中，但是具有相關技術的通常技術者會認知到，多個攝影機6可被使用。

在一實施例中，該攝影機6為一被聚焦在該使用者的眼睛9、10上的主動式光線投射紅外線攝影機系統。該攝影機6採集數據，包括一描述該眼睛的瞳孔處於高度收縮的影像序列。序列的影像通過在該處理器7中的軟體被分析以決定一移動向量，該移動向量標記該瞳孔的一中心離一參考點的一偏差。此參考點可為該影像的中心，或可為通過一校準過程被偵測到的一點，該校準過程涉及到該使用者和在該影像中的一參考點的一正交、筆直的凝視。在一實施例中，該使用者可被提示朝前直視且按下一按鍵，亦即在一鍵盤上的一按鍵，以將使用該正交凝視所獲取到的目前影像聯繫在處理器7中運行的軟體。然後該移動向量被使用於提供運動輸入指令給該等馬達4、5，及/或被使用於調整被提供給該等顯示器1、2 的該等影像。

來自該攝影機6的數據由該處理器7被處理，且被使用於驅動該等馬達4、5，以在該使用者移動他們的眼睛9、10時，能使該等顯示器1、2保持在該使用者的眼睛9、10前面。例如，如果一使用者快速地移動他們的眼睛9、10至左邊、右邊、上面、或下面，則該攝影機6便會送出相關該眼睛移動的數據給該處理器7，然後該處理器7會快速地處理此數據，以提供指令給該等馬達4、5來移動該顯示器支撐臂3。會理解到，其他類型的感測器或偵測器可被使用來測量、追蹤或決定一使用者的眼睛的位置，例如是IR(紅外線)感測器、光學感測器、光束感測器、或雷射感測器。

在一實施例中，該頭戴式組件11亦包括一加速度計12或是其他的感測器，其偵測以及產生相關該頭戴式組件11的該定向的數據。該加速度計12可偵測該頭戴式組件11的運動、定向、及/或定位。來自該加速度計12的數據被傳送至該處理器7，且該處理器7通過發送機/接收機單元8、13，傳送(1)相關該使用者的眼睛9、10的移動的數據，以及(2)相關該頭戴式組件11的定向的數據給一中央處理器14。該處理器7亦從該中央處理器14接收相關一虛擬的或是真實的世界的影像數據。該發送機/接收機單元13及該中央處理器14可為一中央處理單元(CPU)的形式。

圖1A及1B顯示該等顯示器1、2從(1)當該使用者的眼睛9、10被向上移動時在圖1A中的一第一位置，被移動至(2)當該使用者的眼睛9、10被向下移動時被顯示在圖1B中的一第二位置。該攝影機6送出相關在該使用者的眼睛9、10的移動期間所收集到的數據的輸入給該處理器7，且該處理器7接著使用此數據來提供輸入給該等馬達4、5。然後該等馬達 4、5依據由該攝影機6所產生的數據，驅動該顯示器支撐臂3至不同的位置。該處理器7亦依據該使用者的眼睛9、10的位置，提供影像給該等顯示器1、2。例如，如果該使用者正朝下觀看，則該處理器7將影像送至該等顯示器1、2用於一朝下的觀看。雖然圖1A及1B顯示一使用者上及下移動他們的眼睛，但具有相關技術的通常技術者從本案揭示會認知到，該等眼睛的其他移動會被該系統100收集到，包括一全方位的運動，以提供反應的以及適當的影像給該等顯示器1、2。

圖5A圖示說明該等顯示器1、2顯示於一第一定向的一影像，且圖5B圖示說明該等顯示器1、2顯示於一第二定向的該影像。如同被顯示在圖5A中，該等顯示器1、2顯示於一第一定向的兩個人物的一影像，其中整體圖形是可被看見的。圖5A對應一第一狀態，其中一使用者正筆直朝前觀看。圖5B對應一第二狀態，其中相較於被圖示說明於圖5A中的該位置，一使用者朝下地移動他們的眼睛。在圖5B中，僅該等圖形的下半部是可被看見的。圖5A及5B圖示說明該概念，即當該使用者移動他們的眼睛時，該影像被調整成對應於該使用者的眼睛的位置。

一種用於控制該系統100的方法300的一流程圖被提供在圖3中。如同在圖3中被顯示的步驟，來自該加速度計的輸入(310)以及來自該攝影機的輸入(320)，被使用在數據處理(330)中，以控制該顯示器支撐臂(340)。依據一使用者的眼睛的移動以及定向，該顯示器支撐臂移動在該使用者的眼睛前面的該等顯示器。來自該加速度計的輸入(310)以及來自該攝影機的輸入(320)，亦被該控制器使用在數據處理(330)中，以產生影像數據(350)，相關頭戴式組件的定向以及相關該使用者的眼睛的定向的影像數據 給該等顯示器，且該等顯示器依據該數據顯示影像(360)。該方法300的該流程圖大致揭示了兩個輸入步驟，該加速度計輸入(310)以及瞳孔/眼睛追蹤步驟(320)兩個。接下來，來自此等步驟310、320的數據皆在數據處理步驟330中被處理。依據此處理步驟330，該顯示器支撐臂以及該等顯示器接著依據在步驟340中輸入的數據被移動。同時，該影像產生步驟350決定出將被提供給該等顯示器的適當類型的觀看。最後，在步驟360中，該等顯示器依據該等先前的步驟310、320、以及330被指示來提供一特定的顯示。

圖4顯示該系統200的一替代式實施例，包括被定位介於該使用者的眼睛9、10以及該等顯示器1、2之間的透鏡15、16。附帶有和在圖4中相同參考符號的所有構件，和先前相關圖1A、1B及2被討論過的構件是相同的。在圖4中，該等透鏡15、16較佳地是凸的，且較佳地是被配置在一被連接至該顯示器支撐臂3的次級支撐件23上。該次級支撐件23被配置介於該使用者的眼睛9、10以及該等顯示器1、2之間。該等凸透鏡15、16聚焦來自該等顯示器1、2的光線，以使在較小的距離觀看該等顯示器1、2成為可能。該系統200的頭戴式顯示器裝置將該等顯示器1、2放置在離使用者的眼睛9、10的一距離處，該距離是小於一人類眼睛能聚焦的一最小值。因此，該系統200基本上是提供為該等凸透鏡15、16形式的非常強大的讀取/放大鏡片，具有例如是屈光度為20或更大的折射率。該等凸透鏡15、16調整由該等顯示器1、2所提供的該影像。該等凸透鏡15、16係被實體地連接至顯示器1、2，以致他們能隨著顯示器1、2移動，使得該等顯示器1、2的影像能被定向以及被定位給該使用者的眼睛9、10。

依據該系統100的架構，該等顯示器1、2有效地提供一被 加大的視野，而被顯示給該使用者的該影像的解析度並未被減低。該系統100亦能有該虛擬世界的一更自然的以及舒適的觀看，因為當該使用者的眼睛被使用來操控該虛擬世界觀看時，該使用者使用其眼睛的自然移動，而非要求該使用者移動他們的整個頭部以及頸部來改變該虛擬世界的觀看。

如同在圖2中被顯示的，其他的實施例可包括多個攝影機來追蹤一使用者的眼睛，且可包括一肌電偵測器17。在另一個實施例中，該等顯示器1、2可以是固定不動的，且當該使用者移動他們的眼睛9、10時，光線折射透鏡而非該等顯示器1、2被移動。在另一個實施例中，該二個顯示器1、2被結合成一個依據該使用者的眼睛9、10的移動而被移動的顯示器。

圖6圖示說明圖1A、1B及2的該系統100的一概略視圖。圖6提供該等顯示器1、2、該顯示器支撐臂3、被配置在一單獨的罩殼中的該等馬達4及5、該處理器7、以及面向該使用者的眼睛9、10的該攝影機6的一種簡化表示。

在被顯示於圖7的另一個實施例中，一或多個投影器20被提供，以傳送影像給大致上被標示為元件符號1’的一顯示器表面。該顯示器表面1’可包括在一類似頭盔的頭戴式組件11的一內部上的一表面、螢幕、鏡面、或是其他的表面。該投影器20傳送一或多條影像的光束20’至該顯示器表面1’。該光束20’可包括一組影像，亦即一用於一左眼的影像以及一用於一右眼的影像，其等一起提供一立體影像給該使用者的眼睛9、10。該投影器20被馬達帶動，且能依據該使用者的頭部的移動及/或該使用者的眼睛9、10的位置，來改變該光束20’的一位置。追蹤眼睛的移 動、處理該等影像、以及依據一使用者的眼睛定位來定位該等影像顯示器，可以一種近似於已被說明過的內容的方式加以完成。

其會理解到，以上的內容僅做為圖示說明而不是做為限制來被呈現。其被預期到，各種不同的替待方案及修改案可被實施在該等已被說明過的實施例中，而不會脫離本案發明的精神及範疇。因此，已被詳細說明的本案發明，對熟悉相關技術者而言是會被理解且是明白的，即許多的物理性改變是可在不改變於其中被實施的具創作性的觀念及原理下被進行，僅有一些該等改變在本案發明的詳細說明中被範例化。亦應被理解到，併合僅該最佳的實施例的部分的多個實施例是可能的，其等不會改變，相關那些部件，於其中被實施的具創作性的觀念及原理。因此，本案實施例以及選擇性的架構在各方面，被認為是範例性的及/或圖示說明性的，而非限制性的，因此，由隨附申請專利範圍而非前述說明被指出的本案發明的範疇，以及落在該等申請專利範圍的意義及等同性範圍內的所有的替代式實施例以及對此實施例的改變，是被包括在其中的。

1、2‧‧‧顯示器

3‧‧‧顯示器支撐臂

4‧‧‧俯仰旋轉馬達

5‧‧‧平擺旋轉馬達

6‧‧‧攝影機

7‧‧‧處理器

8、13‧‧‧發送機/接收機單元

9、10‧‧‧眼睛

11‧‧‧頭戴式組件

12‧‧‧加速度計

14‧‧‧中央處理器

17‧‧‧肌電偵測器

100‧‧‧系統

Claims (10)

1. 一種用於提供影像給使用者的頭戴式組件，其包括：頭戴式組件，其被配置成附接到使用者的頭部；顯示器，其被設置在使用者的眼睛附近；顯示器支撐臂，其被連接至該顯示器；馬達，其被連接至該顯示器支撐臂，以驅動該顯示器支撐臂於多個位置之間；攝影機，其被設置在該使用者的眼睛附近，以記錄該使用者的眼睛；以及處理器，其從該攝影機接收相關該使用者的眼睛的位置及移動的數據，且該處理器使用來自該攝影機的數據來驅動該馬達，及來相對該使用者的眼睛定位該顯示器支撐臂，使得該顯示器維持在鄰近該使用者的眼睛的位置處。
2. 根據申請專利範圍第1項的頭戴式組件，其中，該顯示器包括二個顯示器。
3. 根據申請專利範圍第1項的頭戴式組件，其中，該馬達包括俯仰馬達以及平擺馬達。
4. 根據申請專利範圍第1項的頭戴式組件，其中，該攝影機追蹤使用者的眼睛的移動。
5. 根據申請專利範圍第1項的頭戴式組件，其進一步包括測量該使用者的頭部的移動的加速度計。
6. 根據申請專利範圍第1項的頭戴式組件，其進一步包括被定位在該顯 示器及該使用者的眼睛之間的凸透鏡。
7. 根據申請專利範圍第1項的頭戴式組件，其進一步包括將來自該處理器的數據送到中央處理器的傳送/接收單元。
8. 根據申請專利範圍第1項的頭戴式組件，其中，該顯示器將立體影像投射給該使用者。
9. 根據申請專利範圍第1項的頭戴式組件，其中，該處理器產生相關該使用者的眼睛的位置及移動的影像。
10. 一種用於提供影像給使用者的頭戴式組件，其包括：一種頭戴式組件，其被配置成附接到使用者的頭部；二個顯示器，該二個顯示器的各個被定位在使用者的眼睛的相應一個前面，使得該二個顯示器提供立體影像給該使用者的眼睛；顯示器支撐臂，其被連接至該二個顯示器；俯仰馬達及平擺馬達，該俯仰馬達或是該平擺馬達中的至少一個被連接至該顯示器支撐臂，以驅動該顯示器支撐臂於多個位置之間；攝影機，其被設置在該使用者的眼睛附近，以記錄該使用者的眼睛；加速度計，其測量一使用者的頭部的移動；以及處理器，其接收來自該攝影機的相關該使用者的眼睛的位置及移動的數據，及來自該加速度計的相關該使用者的頭部的移動的數據，且該處理器使用來自該攝影機及該加速度計的數據，來驅動該俯仰馬達及該平擺馬達，且來相對該使用者的眼睛定位該顯示器支撐臂，使得該二個顯示器維持在鄰近該使用者的眼睛的位置處，且被提供給該顯示器的影像依據來自該攝影機及該加速度計的數據加以修改。