TWI725574B

TWI725574B - 頭戴式顯示裝置以及眼球追蹤游標的顯示方法

Info

Publication number: TWI725574B
Application number: TW108136893A
Authority: TW
Inventors: 施堡仁; 范富誠
Original assignee: 宏達國際電子股份有限公司
Priority date: 2019-02-22
Filing date: 2019-10-14
Publication date: 2021-04-21
Also published as: CN111610853B; US20200272302A1; CN111610853A; US10895949B2; TW202036090A

Abstract

一種頭戴式顯示裝置以及眼球追蹤游標的顯示方法被提出。眼球追蹤游標的顯示方法包括：投射顯示畫面，並啟動追蹤游標功能；偵測眼球在顯示畫面上的第一注視點；在第一注視點上設置第一游標；以及，偵測第一注視點與眼球間的第一視覺距離，依據第一視覺距離以調整第一游標的尺寸，以使眼球對第一游標的視角大小等於預設值。

Description

頭戴式顯示裝置以及眼球追蹤游標的顯示方法

本發明是有關於一種頭戴式顯示裝置以及眼球追蹤游標的顯示方法，且特別是有關於一種可提升視覺舒適度的頭戴式顯示裝置以及眼球追蹤游標的顯示方法。

在著重多媒體服務的今天，提高高品質的顯示效果，為電子裝置的一個重要課題。因此，一種所謂的虛擬實際、擴增實境以及混合實境的三維的頭戴式顯示裝置也隨之產生。

為了在三維空間中，提供使用者高品質的互動模式，現今的頭戴式顯示裝置可於立體場景中，跟隨著使用者眼球的注視點來顯示游標。這種眼球追蹤游標的顯示方式，在習知的技術領域中，無論是在使用者注視遠端或是近端的物件時，都是透過名面的顯式方式，來顯示相同大小的游標。這樣的顯式方式，將造成被顯示的游標和所注視的物件的視覺距離不相同的情況，並可能造成使用者視覺上的不舒適，降低頭戴式顯示裝置的表現度。

本發明提供一種頭戴式顯示裝置及其眼球追蹤游標的顯示，可提升使用者的視覺舒適度。

本發明的眼球追蹤游標的顯示方法包括：投射顯示畫面，並啟動追蹤游標功能；偵測眼球在顯示畫面上的第一注視點；在第一注視點上設置第一游標；以及，偵測第一注視點與眼球間的第一視覺距離，依據第一視覺距離以調整第一游標的尺寸，以使眼球對第一游標的視角大小等於預設值。

本發明的頭戴式顯示裝置包括顯示器以及控制器。顯示器用以投射顯示畫面。控制器耦接顯示器，用以啟動追蹤游標功能；偵測眼球在顯示畫面上的第一注視點；使顯示器在第一注視點上設置第一游標；以及，偵測第一游標與眼球間的第一視覺距離，使顯示器依據第一視覺距離以調整第一游標的尺寸，以使眼球對第一游標的視角大小等於預設值。

基於上述，本發明透過依據眼球注視點眼球的視覺距離，來針對游標的尺寸進行調整。並藉由使眼球對不同視覺距離上的游標的視角大小，都可以等於相同的一預設值，並藉以提升使用者視覺上的舒適度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖1，圖1繪示本發明一實施例的眼球追蹤游標的顯示方法的流程圖。本發明實施例的眼球追蹤游標的顯示方法適用於一頭戴式顯示裝置，其中，在步驟S110中，頭戴式顯示裝置可投射一顯示畫面，並啟動追蹤游標功能。在追蹤游標功能被啟動後，使用者可透過眼球的注視點，來進行游標的操控動作。接著，在步驟S120中，頭戴式顯示裝置可偵測使用者眼球在顯示畫面上所產生的第一注視點，並在步驟S130中，在顯示畫面對應第一注視點的位置上設置第一游標。

並且，頭戴式顯示裝置可在步驟S140中，偵測第一注視點與眼球間的第一視覺距離，並依據第一視覺距離來調整所設置的第一游標的尺寸，透過調整游標的尺寸大小，以使眼球對第一游標的視角大小等於一預設值。

在此請注意，在本實施例中，當使用者眼球的注視點被移動到與第一注視點不相同的一第二注視點時，頭戴式顯示裝置並針對第二注視點與眼球間的第二視覺距離進行偵測。在當第二視覺距與的第一視覺距離不相同的條件下，可依據第二視覺距來針對所要設置的第二游標的尺寸大小進行調整。重點在於，調整後的第二游標，在設置在第二注視點的位置上時，眼球對第二游標的視角大小固定等於上述的預設值。

由上述的說明可以得知，無論使用者的眼球注視點，落在顯示畫面上具有不同視覺距離的多個位置，頭戴式顯示裝置在注視點所設置的游標，可眼球對所設置的游標的視角大小固定為相同的預設值，有效增加使用者視覺的舒適程度。

仔細來說明，本發明實施例中，頭戴式顯示裝置所設置的游標的尺寸大小，與眼球注視點所產生的視覺距離是正相關的。也就是說，當視覺距離增加時，頭戴式顯示裝置所設置的游標的尺寸可以被增大，相對的，當視覺距離減低時，頭戴式顯示裝置所設置的游標的尺寸可以被減小。

在本實施例中，游標的尺寸可以依據視角的預設值以及視覺距離，透過三角函數的方式來計算獲得。當然，基於設定好的視角的預設值，多種不同視覺距離與多種不同游標尺寸間的對應關係，也可預先計算獲得，並預先儲存於一查找表中。頭戴式顯示裝置可針對查找表進行查找，並可快速的獲得所要調整的游標的尺寸。

請參照圖2以及圖3，圖2以及圖3繪示本發明實施例的眼球追蹤游標的顯示方法的實施方式的示意圖。其中，在圖2中，使用者的眼球EYE注視點落在顯示畫面210上的一物件OB1時，頭戴式顯示裝置透過偵測注視點以及眼球EYE間的視覺距離，並依據視覺距離來調整游標CUR1的尺寸大小，並使游標CUR1被設置在眼球EYE的注視點上（物件OB1上）。其中，眼球EYE在游標CUR1上所形成的視角等於

。

接著，在圖3中，使用者的眼球EYE的注視點變更為落在有效物件OB2上，頭戴式顯示裝置透過偵測注視點以及眼球EYE間的視覺距離，並依據視覺距離來調整游標CUR2的尺寸大小，並使游標CUR2被設置在眼球EYE此時的注視點上（物件OB1上）。值得注意的，眼球EYE在游標CUR2上所形成的視角等於

，其中，視角

等於視角

，並且，視角

、視角

可等於預先設定的預設值。

值得注意的，基於眼球EYE與游標CUR1間的視覺距離小於眼球EYE與游標CUR2間的視覺距離，因此，游標CUR1的尺寸可小於游標CUR2的尺寸。

由上述的說明可以知道，在本發明實施例中，當眼球EYE的注視點發生移動時，頭戴式顯示裝置可依據注視點與眼球間的視覺距離，來動態調整所設置的游標CUR1、CUR2的尺寸大小，並使眼球EYE在游標CUR1、CUR2上形成相同大小的視角（等於預設值）。如此一來，使用者不會因被顯示的游標和所注視的物件的視覺距離不相同，而產生視覺上不舒服的現象，提升視覺舒適度。

附帶一提的，在本實施例中，物件OB1以及OB2為具有邊界的有效物件。游標CUR1、CUR2可直接分別被設置在物件OB1以及OB2上。

請參照圖4，圖4繪示本發明實施例的眼球追蹤游標的顯示方法的流程圖，適用於頭戴式顯示裝置。步驟S410中，頭戴式顯示裝置啟動追蹤游標功能。頭戴式顯示裝置在步驟S420中偵測眼球產生的注視點，並在步驟S430將游標設置在注視點上。並且，步驟S440中，頭戴式顯示裝置依據注視點與眼球間的視覺距離，來調整並設定游標的尺寸大小。

步驟S450中，頭戴式顯示裝置則判斷追蹤游標功能是否已結束，若判斷結果為是，則結束此流程。相對的，若判斷結果為非，則重新執行步驟S420。

以下請參照圖5以及圖6，圖5以及圖6繪示本發明另一實施例的眼球追蹤游標的顯示方法的實施方式的示意圖。其中，在圖5中，使用者的眼球EYE的注視點先落於顯示畫面510中的物件OB1上，其中物件OB1為具有邊界的有效物件。在此同時，頭戴式顯示裝置可針對眼球EYE與注視點間的視覺距離D11進行偵測，並依據視覺距離D11設定游標CUR1的尺寸大小，並在物件OB1上設置游標CUR1。此外，頭戴式顯示裝置並儲存視覺距離D11以作為參考距離。

接著，使用者眼球EYE的注視方向發生改變，且使用者眼球EYE的注視方向上並不存在有效物件。也就是說，眼球EYE的注視點落在顯示畫面510中的無效物件上，在本實施例中，無效物件為顯示畫面510中不具邊界的物件，例如天空、黑洞等物件。在此同時，頭戴式顯示裝置可依據先前設定的參考距離（等於視覺距離D11），以在眼球EYE的注視方向上，進行游標CUR1’的設置動作。在本實施例中，游標CUR1’與眼球EYE間的視覺距離D12等於游標CUR1與眼球EYE間的視覺距離D11。並且，游標CUR1’與游標CUR1的尺寸大小實質上是相同的。

在圖6中，使用者的眼球EYE的注視點先落於顯示畫面510中的物件OB2上，頭戴式顯示器偵測眼球EYE與注視點間的視覺距離D21，並在物件OB2上對應眼球EYE的注視點的位置設置游標CUR2。其中，游標CUR2的尺寸大小是依據視覺距離D21來進行設定。在本實施例中，基於使眼球EYE在游標CUR2上的視角固定為預設值，與圖5的實施例相比較，在視覺距離D21大於視覺距離D11的前提下，游標CUR2的尺寸可大於游標CUR1的尺寸。此外，頭戴式顯示裝置並儲存視覺距離D21以作為參考距離。

接著，使用者眼球EYE的注視方向發生改變，且使用者眼球EYE的注視方向上並不存在有效物件。也就是說，眼球EYE的注視點落在顯示畫面510中的無效物件上。在此同時，頭戴式顯示裝置可依據先前設定的參考距離（等於視覺距離D21），以在眼球EYE的注視方向上，進行游標CUR2’的設置動作。在本實施例中，游標CUR2’與眼球EYE間的視覺距離D22等於游標CUR2與眼球EYE間的視覺距離D21。並且，游標CUR2’與游標CUR2的尺寸大小實質上是相同的。

請參照圖7，圖7繪示本發明另一實施例的眼球追蹤游標的顯示方法的流程圖。在步驟S710中，頭戴式顯示裝置啟動追蹤游標功能。在步驟S720中，頭戴式顯示裝置可先設定一參考距離。接著，步驟S730中，頭戴式顯示裝置針對眼球注視點有無落於有效物件上進行判斷，在當眼球注視點落於有效物件上時，執行步驟S740。在步驟S740中，頭戴式顯示裝置偵測注視點與眼球間的視覺距離，並依據視覺距離來在注視點上設置游標，接著，在步驟S750中記錄所偵測到的視覺距離以作為參考距離。

回復到步驟S730，當眼球注視點變更為不落於有效物件上時，頭戴式顯示裝置可執行步驟S770，並依據眼球的注視方向以及此時設定的參考距離來設置游標。

此外，在步驟S780判斷出追蹤游標功能被結束時，此流程被結束。相對的，若步驟S780判斷出追蹤游標功能未被結束時，則重新執行步驟S730。

以下請參照圖8，圖8繪示本發明實施例的頭戴式顯示裝置的示意圖。頭戴式顯示裝置800包括顯示器810以及控制器820。控制器820耦接至顯示器810，並透過偵測使用者眼球EYE的眼動狀態來獲知眼球EYE的注視點。在追蹤游標功能被啟動後，控制器820並可依據前述如圖1、4及圖7的方法流程，來使顯示器810在顯示畫面中進行游標的設置動作。值得一提的，顯示器810在顯示畫面上設置的游標，對於眼球EYE所產生的視角實質上都等於預設值。透過固定的視角，使用者在進行游標的追蹤以及觀察時，可有效提高視覺的舒適度。

在本發明實施例中，控制器820可以為具運算能力的處理器。或者，控制器820可以是透過硬體描述語言（Hardware Description Language, HDL）或是其他任意本領域具通常知識者所熟知的數位電路的設計方式來進行設計，並透過現場可程式邏輯門陣列（Field Programmable Gate Array, FPGA）、複雜可程式邏輯裝置（Complex Programmable Logic Device, CPLD）或是特殊應用積體電路（Application-specific Integrated Circuit, ASIC）的方式來實現的硬體電路。此外，控制器820可利用本領域具通常知識者所熟知的眼球追蹤技術來進行眼球EYE注視點、注視方向的偵測動作，並據以進行視覺距離的偵測動作，沒有特定的限制。

綜上所述，本發明透過偵測眼球與游標間的視覺距離，並依據視覺距離來設定及調整游標尺寸的大小。並藉由調整游標尺寸的大小，來使游標對於眼球的視角，可以為固定的預設值。在視角不會因視覺距離長短而發生改變的前提下，使用者的視覺舒適度可以有效的被提升。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

210、510:顯示畫面 800:頭戴式顯示裝置 810:顯示器 820:控制器 CUR1、CUR2、CUR1’、CUR2’:游標 D11、D12、D21、D22:視覺距離 EYE:眼球 OB1、OB2:物件 S110~S140、S410~S450、S710~S760:步驟

:視角等於

圖1繪示本發明一實施例的眼球追蹤游標的顯示方法的流程圖。圖2以及圖3繪示本發明實施例的眼球追蹤游標的顯示方法的實施方式的示意圖。圖4繪示本發明實施例的眼球追蹤游標的顯示方法的流程圖。圖5以及圖6繪示本發明另一實施例的眼球追蹤游標的顯示方法的實施方式的示意圖。圖7繪示本發明另一實施例的眼球追蹤游標的顯示方法的流程圖。圖8繪示本發明實施例的頭戴式顯示裝置的示意圖。

S110~S140:步驟

Claims

一種眼球追蹤游標的顯示方法，包括：投射一顯示畫面，並啟動一追蹤游標功能；偵測該眼球在該顯示畫面上的一第一注視點；在該第一注視點上設置一第一游標；以及偵測該第一注視點與該眼球間的一第一視覺距離，依據該第一視覺距離以調整該第一游標的尺寸，以使該眼球對該第一游標的視角大小等於一預設值。
如申請專利範圍第1項所述的顯示方法，更包括：偵測該眼球的一第二注視點，並在該第二注視點上設置一第二游標；偵測該第二注視點與該眼球間的一第二視覺距離，其中該第一視覺距離與該第二視覺距離不相同；以及依據該第二視覺距離以調整該第二游標的尺寸，以使該眼球對該第二游標的視角大小等於該預設值。
如申請專利範圍第1項所述的顯示方法，其中當該第二視覺距離大於該第一視覺距離時，調整後的該第二游標的尺寸大於調整後的該第一游標的尺寸。
如申請專利範圍第1項所述的顯示方法，其中該第一注視點在該顯示畫面中的一第一有效物件上，其中該第一有效物件為具有邊界的物件。
如申請專利範圍第4項所述的顯示方法，更包括：記錄該第一視覺距離以作為一參考距離；偵測該眼球的一第二注視點，其中該第二注視點在該顯示畫面中的一第一無效物件上，其中該第一無效物件為不具有邊界的物件；以及依據該參考距離在該第二注視點上設置該第一游標。
如申請專利範圍第5項所述的顯示方法，更包括：偵測該眼球的一第三注視點，並在該第三注視點上顯示一第二游標，其中該第三注視點在該顯示畫面中的一第二有效物件上；偵測該第三注視點與該眼球間的一第二視覺距離，依據該第二視覺距離調整該第二游標的尺寸，以使該眼球對該第二游標的視角大小等於該預設值；記錄該第二視覺距離以作為該參考距離；偵測該眼球的一第四注視點，其中該第四注視點在該顯示畫面中的一第二無效物件上，其中該第二無效物件為不具有邊界的物件；以及依據該參考距離在該第四注視點上設置該第二游標。
一種頭戴式顯示裝置，包括：一顯示器，用以投射一顯示畫面；一控制器，耦接該顯示器，用以：啟動一追蹤游標功能；偵測該眼球在該顯示畫面上的一第一注視點；使該顯示器在該第一注視點上設置一第一游標；以及偵測該第一注視點與該眼球間的一第一視覺距離，依據該第一視覺距離，使該顯示器調整該第一游標的尺寸，以使該眼球對該第一游標的視角大小等於一預設值。
如申請專利範圍第7項所述的頭戴式顯示裝置，其中該控制器更用以：偵測該眼球的一第二注視點，並使該顯示器在該第二注視點上設置一第二游標；偵測該第二注視點與該眼球間的一第二視覺距離，其中該第一視覺距離與該第二視覺距離不相同；依據該第二視覺距離以調整該第二游標的尺寸，以使該眼球對該第二游標的視角大小等於該預設值。
如申請專利範圍第7項所述的頭戴式顯示裝置，其中當該第二視覺距離大於該第一視覺距離時，調整後的該第二游標的尺寸大於調整後的該第一游標的尺寸。
如申請專利範圍第7項所述的頭戴式顯示裝置，其中該第一注視點在該顯示畫面中的一第一有效物件上，其中該第一有效物件為具有邊界的物件。
如申請專利範圍第10項所述的頭戴式顯示裝置，其中該控制器更用以：記錄該第一視覺距離以作為一參考距離；偵測該眼球的一第二注視點，其中該第二注視點在該顯示畫面中的一第一無效物件上，其中該第一無效物件為不具有邊界的物件；以及使該顯示器依據該參考距離在該第二注視點上設置該第一游標。
如申請專利範圍第10項所述的頭戴式顯示裝置，其中該控制器更用以：偵測該眼球的一第三注視點，並在該第三注視點上顯示一第二游標，其中該第三注視點在該顯示畫面中的一第二有效物件上；偵測該第三注視點與該眼球間的一第二視覺距離，依據該第二視覺距離調整該第二游標的尺寸，以使該眼球對該第二游標的視角大小等於該預設值；記錄該第二視覺距離以作為該參考距離；偵測該眼球的一第四注視點，其中該第四注視點在該顯示畫面中的一第二無效物件上，其中該第二無效物件為不具有邊界的物件；以及使該顯示器依據該參考距離在該第四注視點上設置該第二游標。