TWI826221B - 頭戴式顯示裝置及眼球追蹤動作的控制方法 - Google Patents

Abstract

一種頭戴式顯示裝置及眼球追蹤動作的控制方法被提出。頭戴式顯示裝置包括框架、軌道、感測器以及控制器。軌道設置在框架的周邊區域上。感測器設置在軌道上，用以擷取目標區的目標影像。控制器耦接感測器，根據目標影像以產生控制信號，並根據控制信號以透過移動感測器來調整感測器在周邊區域上的位置。

Description

頭戴式顯示裝置及眼球追蹤動作的控制方法

本發明是有關於一種頭戴式顯示裝置及眼球追蹤動作的控制方法，且特別是有關於一種可動式感測器的頭戴式顯示裝置及眼球追蹤動作的控制方法。

在虛擬實境以及擴增實境的頭戴式顯示裝置的實際應用情境中，因為硬體上感測器（或相機）的擺放位置的限制，不得不將感測器擺放在很靠近使用者頭部的位置。實際限制包含例如為了縮小頭戴式裝置或眼鏡的體積，無法將感測器擺放在距離使用者頭部適當距離之處以得到更佳的偵測使用者眼睛動態的視角及方位。又例如頭戴式顯示裝置須透過光學鏡片成像虛擬場景，為了讓感測器更容易地觀測使用者的眼球動態，需將其置於使用者頭部與光學鏡片之間，而非讓感測器透過光學鏡片觀測眼球，因此縮短了相機或感測器跟使用者頭部之間的距離。在以上兩個限制實例的情況下，不得不縮短使用者頭部與相機或感測器的距離。然而，在近距離下，以下照或側照的觀測方式，極容易導致觀測視角遮擋的問題，因而使得感測器難以觀測使用者真實的眼睛動態。

本發明提供一種頭戴式顯示裝置及眼球追蹤動作的控制方法，透過可動式的感測器，來解決使用者影像被遮住的問題。

本發明的頭戴式顯示裝置包括框架、軌道、感測器以及控制器。軌道設置在框架的周邊區域上。感測器設置在軌道上，用以擷取目標區的目標影像。控制器耦接感測器，根據目標影像以產生控制信號，並透過控制信號以透過移動感測器來調整感測器在周邊區域上的位置。

本發明的眼球追蹤動作的控制方法包括：提供軌道以設置在頭戴式顯示裝置的框架的周邊區域上；設置感測器在軌道上，提供感測器以擷取目標區的目標影像；以及，提供控制器以根據目標影像以產生控制信號，並透過控制信號以透過移動感測器來調整該感測器在周邊區域上的位置。

基於上述，本發明的頭戴式顯示裝置提供可移動式的感測器。並可根據感測器有無擷取到目標區的目標影像，來使感測器在一軌道上進行移動。在當感測器擷取目標影像的路徑受到阻擋時，控制器可使感測器進行移動，並解決感測器擷取目標影像的路徑受到阻擋的狀態，以使感測器可有效擷取到目標影像，確保眼球追蹤動作的正確性。

請參照圖1，圖1繪示本發明一實施例的頭戴式顯示裝置的示意圖。頭戴式顯示裝置100包括框架110、軌道120、感測器130以及控制器140。軌道120設置在框架110的周邊區域上。感測器130則可設置在軌道120上。感測器130可以為一影像擷取器，例如為相機，並用以擷取目標區的目標影像。在本實施例中，目標區可以為頭戴式顯示裝置100的使用者的眼球所在的區域，目標影像則可以為使用者的眼球影像。

此外，控制器140耦接至感測器130。控制器140可根據感測器130所獲得的目標影像來產生控制信號CT。控制器140並可傳送控制信號CT至感測器130，並使感測器130在軌道120進行移動，以調整感測器130在框架110的周邊區域上的所在位置。

在細節上，控制器140可解析感測器130所獲得的目標影像，並透過判斷目標影像是否存在目標物件影像來產生識別資訊，並根據識別資訊來產生控制信號CT。進一步來說明，控制器140可透過識別目標影像中的該目標物件影像是否足夠完整且清晰，並藉以產生控制信號CT。在本發明一實施例中，當目標物件影像不夠完整清晰時，控制器140可產生控制信號CT，並透過控制信號CT來調整感測器130的位置。在另一方面，當目標物件影像足夠完整且清晰時，控制器140可透過使感測器130的位置維持不變，並執行提供目標影像以執行一眼球追蹤動作。在本實施例中，目標物件影像可以為使用者的眼球影像。

值得一提的，在本發明實施例中，基於使用者的眼球可能因視角上的需求，而產生動態的移動。因此，感測器130在所在的位置上，可能無法擷取到完整且清晰（或完全無法擷取到）的使用者的眼球影像。如此一來，這個時候的眼球追蹤動作將無法有效的被完成。在本實施例中，當感測器130所擷取到的眼球影像不完整清晰時，控制器140可產生控制信號CT以使感測器130沿著軌道120來產生移動，並藉以調整感測器130的方位。如此一來，控制器140可透過一次或是多次的感測器130的位置的調整動作，以使感測器130可有效的擷取到完整且清晰的眼球影像，並有效的執行眼球追蹤動作。

在本實施例中，控制器140可以為具運算能力的處理器。或者，控制器140可以是透過硬體描述語言（Hardware Description Language, HDL）或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列（Field Programmable Gate Array, FPGA）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）或是特殊應用積體電路（Application-specific Integrated Circuit, ASIC）的方式來實現的硬體電路。

控制器140可配合頭戴式顯示裝置100的機構設計來配置在任意合適的位置中，沒有特定的限制。

以下請參照圖2，圖2繪示本發明另一實施例的頭戴式顯示裝置的示意圖。頭戴式顯示裝置200包括框架210、軌道220、感測器230、控制器240以及致動器250。軌道220設置在框架210的周邊區域上。致動器250則可設置在軌道220上。致動器250並可用以承載感測器230，並根據所接收的控制信號CT以使感測器230可在軌道220上沿方向D1或是方向D2移動。

關於控制信號CT的產生細節，在圖1的實施例中已有詳細的說明，在此恕不多贅述。

關於本實施例中，軌道220可應用本領域具通常知識者所熟知的滑軌來建構，致動器250則可應用本領域具通常知識者所熟知的驅動馬達以及相關機械結構來實施，沒有固定的限制。

附帶一提的，基於致動器250在軌道220上的移動，可產生位置上的變化以及角度上的變化，在當感測器230在軌道220上移動時，感測器230的位置以及對目標區進行影像擷取的視角都也會對應發生變化。也就是說，在本實施例中，感測器230的位置以及視角可以具有一個固定的關係。這個關係可以預先被建立唯一查找資訊，並提供控制器240進行查找。

特別值得一提的，為了有效執行眼球追蹤動作，頭戴式顯示裝置200必須有效掌握感測器230所在的位置。並透過感測器230所在的位置來得知感測器230的視角。在此請參照圖3，圖3繪示本發明圖2實施例的頭戴式顯示裝置200的部分架構的示意圖。在圖3中，頭戴式顯示裝置200更包括電阻R1。電阻R1可設置在軌道220中，並與軌道220具有相同的延伸趨勢。感測器230則設置在電阻R1上，並與電阻R1電性連接。在本實施例中，感測器230可透過偵測其所在位置與電阻R1上的一參考端REFT間的電阻值，來得知感測器230所在的位置。

在細節上，參考端REFT可設置在電阻R1的一尾端。電阻R1的參考端REFT並用以接收一參考電壓V2。感測器230在進行所在的位置的量測動作時，可在與電阻R1相接觸的端點上提供電壓V1。感測器230並可透過電壓V1的輸出電流來得知其所在位置與電阻R1上的一參考端REFT間的電阻值，並藉此得知感測器230在軌道220上的位置。在本實施方式中，電壓V1、V2不相同，其中電壓V2可以是參考接地電壓。

值得一提的，在本發明其他實施例中，感測器230也可透過提供電流至電阻R1，並藉由量測所在位置上的電壓值來計算出感測器230的所在位置與電阻R1上的一參考端REFT間的電阻值。

以下請參照圖4，圖4繪示本發明一實施例的，在眼球追蹤動作中，感測器的位置調整動作的流程圖。在步驟S410中，頭戴式顯示裝置中的眼球追蹤裝置自動偵測並發現相機（感測器）的拍攝視角或拍攝位置上有被遮擋的問題時，可執行步驟S420。在本實施例中，控制器可解析相機所獲得的目標影像中是否存在足夠面積的眼球影像來得知相機的拍攝視角或拍攝位置上有被遮擋的問題，並通知眼球追蹤裝置。在步驟S420中，眼球追蹤裝置可反饋要針對相機的視角或位置進行調整的需求。接著，在步驟S430中，控制器可接收眼球追蹤裝置所提出的針對相機的視角或位置進行調整的需求，並透過提供控制信號至致動器，來使相機在軌道上移動，進一步調整相機的視角或位置。

在步驟S440中，相機可根據軌道上設置的電阻，來反饋其所在的視角或位置至控制器，並接續後續的相機的視角或位置的調整動作。在步驟S450中，控制器可回饋相機的視角或位置至眼球追蹤裝置，以提供執行眼球追蹤動作的相關資訊。在步驟S460中，眼球追蹤裝置可偵測並判斷有無繼續調整相機視角或位置的需求。其中，若相機拍攝到的目標影像中的眼球影像有被遮擋而無法識別時，眼球追蹤裝置可發出須繼續調整的需求。相對的，若相機拍攝到的目標影像中的眼球影像沒有被遮擋，並可有效進行眼球追蹤動作時，眼球追蹤裝置可決定不須繼續進行調整。

在當相機或視角或位置須要繼續調整時，可重新執行步驟S420至S460。若相機或視角或位置不須要繼續調整時，可執行步驟S470，表示調整動作已完成，眼球追蹤動作可使用最終調整的相機的視角或位置以觀測並還原使用者的眼睛動態。

值得一提的，在本實施例中，控制器可根據一預設調整步階值以產生控制信號，並透過控制信號使相機在每一個調整步驟中，產生一個預設距離的移動。上述的預設距離可以由工程人員來自行設定，沒有固定的限制。

以下請參照圖5，圖5繪示本發明一實施例的眼球追蹤動作的控制方法的流程圖。其中，在步驟S510中，提供軌道以設置在頭戴式顯示裝置的框架的周邊區域上。在步驟S520中，設置感測器在軌道上，提供感測器以擷取目標區的目標影像。在步驟S530中，提供控制器以根據目標影像以產生控制信號，並透過控制信號以透過移動感測器來調整感測器在周邊區域上的位置。

關於步驟S510~S530的動作細節，在前述實施例以及實施方式都已有詳盡的說明，在此恕不多贅述。

綜上所述，本發明的頭戴式顯示裝置透過在框架上周邊區域設置軌道，並使感測器可在軌道上進行移動。在當感測器進行目標取影像的拍攝時，若無法正確的完成目標物件影像的拍攝時，可透過使感測器沿軌道移動，來調整感測器的位置以及拍攝視角，來成功的完成目標物件影像的拍攝動作，維持眼球追蹤動作的正確性。

100、200:頭戴式顯示裝置 110、210:框架 120、220:軌道 130、230:感測器 140、240:控制器 250:致動器 CT:控制信號 D1、D2:方向 R1:電阻 REFT:參考端 S410~S470、S510~S530:步驟 V1、V2:電壓

圖1繪示本發明一實施例的頭戴式顯示裝置的示意圖。 圖2繪示本發明另一實施例的頭戴式顯示裝置的示意圖。 圖3繪示本發明圖2實施例的頭戴式顯示裝置200的部分架構的示意圖。 圖4繪示本發明一實施例的，在眼球追蹤動作中，感測器的位置調整動作的流程圖。 圖5繪示本發明一實施例的眼球追蹤動作的控制方法的流程圖。

100:頭戴式顯示裝置

110:框架

120:軌道

130:感測器

140:控制器

CT:控制信號

Claims (14)

1. 一種頭戴式顯示裝置，包括：一框架；一軌道，設置在該框架的一周邊區域上；一感測器，設置在該軌道上，用以擷取一目標區的一目標影像；以及一控制器，耦接該感測器，根據單一個該目標影像的清晰度以產生一控制信號，並透過該控制信號以透過移動該感測器來調整該感測器在該周邊區域上的位置。
2. 如請求項1所述的頭戴式顯示裝置，其中該控制器識別該目標影像是否存在一目標物件影像來產生一識別資訊，該控制器並根據該識別資訊以產生該控制信號。
3. 如請求項2所述的頭戴式顯示裝置，其中該控制器識別該目標影像中的該目標物件影像是否完整且清晰，當該目標物件影像不夠完整清晰時，該控制器產生該控制信號以調整該感測器的位置。
4. 如請求項3所述的頭戴式顯示裝置，其中當該目標物件影像足夠完整清晰時，該控制器提供該目標影像以執行一眼球追蹤動作，其中該目標物件影像為眼球影像。
5. 如請求項1所述的頭戴式顯示裝置，更包括：一電阻，設置在該軌道上並與該感測器電性連接。
6. 如請求項5所述的頭戴式顯示裝置，其中該控制器或該感測器偵測該電阻的一參考點與該感測器間的電阻值以獲得該感測器的一位置資訊。
7. 如請求項1所述的頭戴式顯示裝置，其中該控制器根據一預設調整步階值以產生該控制信號，並一次或多次的根據該預設調整步階值以調整該感測器的位置移動一預設距離。
8. 如請求項1所述的頭戴式顯示裝置，更包括：一致動器，設置在該軌道上並連接該感測器，該致動器根據該控制信號以使該感測器在該軌道上移動。
9. 一種眼球追蹤動作的控制方法，包括：提供一軌道以設置在一頭戴式顯示裝置的一框架的一周邊區域上；設置一感測器在該軌道上，提供該感測器以擷取一目標區的一目標影像；以及提供一控制器以根據單一個的該目標影像的清晰度以產生一控制信號，並透過該控制信號以透過移動該感測器來調整該感測器在該周邊區域上的位置。
10. 如請求項9所述的控制方法，其中提供該控制器以根據該目標影像以產生該控制信號的步驟包括：使該控制器識別該目標影像是否存在一目標物件影像來產生一識別資訊；以及使該控制器根據該識別資訊以產生該控制信號。
11. 如請求項10所述的控制方法，更包括：使該控制器識別該目標影像中的該目標物件影像是否完整且清晰；以及當該目標物件影像不夠完整清晰時，產生該控制信號以調整該感測器的位置。
12. 如請求項11所述的控制方法，更包括：當該目標物件影像足夠完整清晰時，使該控制器提供該目標影像以執行一眼球追蹤動作，其中該目標影像為眼球影像。
13. 如請求項9所述的控制方法，更包括：設置一電阻在該軌道上，並使該電阻與該感測器電性連接；以及偵測該電阻的一參考點與該感測器間的電阻值以獲得該感測器的一位置資訊。
14. 如請求項9所述的控制方法，更包括：設定一預設調整步階值；以及根據該預設調整步階值一次或多次的根據該預設調整步階值以調整該感測器的位置一預設距離。

Images