TW202301872A - 提升使用者體驗和注視互動準確度之光學系統和相關方法 - Google Patents

提升使用者體驗和注視互動準確度之光學系統和相關方法 Download PDF

Info

Publication number
TW202301872A
TW202301872A TW111124128A TW111124128A TW202301872A TW 202301872 A TW202301872 A TW 202301872A TW 111124128 A TW111124128 A TW 111124128A TW 111124128 A TW111124128 A TW 111124128A TW 202301872 A TW202301872 A TW 202301872A
Authority
TW
Taiwan
Prior art keywords
user
user interface
estimated
gaze
eye
Prior art date
Application number
TW111124128A
Other languages
English (en)
Other versions
TWI802456B (zh
Inventor
劉冠麟
邱柏榕
吳奕亨
李魁安
簡韶逸
Original Assignee
見臻科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 見臻科技股份有限公司 filed Critical 見臻科技股份有限公司
Publication of TW202301872A publication Critical patent/TW202301872A/zh
Application granted granted Critical
Publication of TWI802456B publication Critical patent/TWI802456B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

光學系統包含眼動追蹤儀和頭戴式顯示器。眼動追蹤儀之感測器模組用來捕捉使用者之一個或多個眼睛影像。頭戴式顯示器之處理器用來依據相關眼睛影像之使用者之一個或多個預估注視點來提供包含一個或多個使用者介面物件之使用者介面，求出使用者之至少一預估注視點和每一使用者介面物件之間的距離，依據使用者之至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數，以及將一個或多個使用者介面物件中分數最高之使用者介面物件設為相關使用者之至少一預估注視點之一目標使用者介面物件。

Description

提升使用者體驗和注視互動準確度之光學系統和相關方法
本發明相關於一種提升使用者體驗和注視互動準確度之光學系統和相關方法，尤指一種能在互動式虛擬環境中提升使用者體驗和注視互動準確度之光學系統和相關方法。
虛擬實境(virtual reality, VR)是利用電腦技術模擬出一個立體且高擬真的三維空間，當使用者穿戴特殊顯示裝置執行VR應用時會產生好像處在現實中的錯覺。擴增實境(augmented reality, AR) 是一種將虛擬資訊擴增到現實空間中的技術，相較於取代現實空間的VR，AR是在現實空間中添加虛擬物件。混合實境(mixed reality, MR)則是把現實世界與虛擬世界合併在一起，從而建立出一個新的環境以及符合一般視覺上所認知的虛擬影像，其中現實世界中的物件能夠與數位世界中的物件共同存在並且即時的產生互動。現有VR/AR/MR的應用多半是透過雙手控制搖桿或是觸控面板來操作，但在不同場所需要隨時攜帶這些控制裝置，在使用上並不便利。若是將眼動追蹤(eye-tracking)的技術應用在VR/AR/MR領域，使用者可輕易地將眼睛變成操作介面，透過眼睛注視點、聚焦點和特定細微動作即可完成選取或點擊物件的動作。
眼動追蹤是一種能透過測量眼睛的注視位置或眼球相對頭部的運動，來追蹤使用者眼球運動的技術。現有電腦會在顯示螢幕上呈現一使用者介面(user interface)，以提供使用者各種視覺資料。使用者介面一般包含複數個使用者介面物件(UI element)，每一使用者介面物件包含一圖像物件(graphic element)和一命中框(hit box)。圖像物件可決定相對應使用者介面物件之外觀，而命中框為使用者看不見的虛擬物件，其連結至相對應事件處理器。當使用者之注視指令觸發時一使用者介面物件之命中框時，會執行對應被觸發使用者介面物件之一預定動作。
在先前技術之光學系統中，會依據預估注視點的絕對位置來提供基於眼動注視技術之人機互動。更詳細地說，使用者需將其視線停留在特定使用者介面物件之命中框內以觸發特定使用者介面物件。此種技術對眼動追蹤儀的準確度要求很高，微小的誤差就會大幅影響使用者體驗。因此，需要一種能提升使用者體驗和注視互動準確度之光學系統和方法。
本發明提供一種在互動式虛擬環境中提供準確眼動追蹤之光學系統，其包含一眼動追蹤儀和一頭戴式顯示器。該眼動追蹤儀包含一感測器模組，用來捕捉一使用者之一個或多個眼睛影像。該頭戴式顯示器中之一處理器用來依據該使用者之一個或多個預估注視點來提供一使用者介面，其中該使用者介面包含一個或多個使用者介面物件，且該使用者之該一個或多個預估注視點係依據該使用者之該一個或多個眼睛影像來計算出；求出該使用者之至少一預估注視點和每一使用者介面物件之間的距離；依據該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數；將該一個或多個使用者介面物件中分數最高之一第一使用者介面物件設為相關該使用者之該至少一預估注視點之一目標使用者介面物件。該頭戴式顯示器中之一顯示螢幕用來呈現該使用者介面。
本發明另提供一種在互動式虛擬環境中提供準確眼動追蹤運作之方法，其包含提供包含一個或多個使用者介面物件之一使用者介面，在執行一眼動追蹤運作的期間捕捉一使用者之一個或多個眼睛影像，依據該使用者之該一個或多個眼睛影像來計算出該使用者之一個或多個預估注視點，求出該使用者之至少一預估注視點和每一使用者介面物件之間的距離，依據該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數，以及將該一個或多個使用者介面物件中分數最高之一第一使用者介面物件設為相關該使用者之該至少一預估注視點之一目標使用者介面物件。
本發明另提供一種在互動式虛擬環境中提供準確眼動追蹤之光學系統，其包含一眼動追蹤儀和一頭戴式顯示器。該眼動追蹤儀包含一感測器模組和一資料庫。該感測器模組用來捕捉一使用者之一個或多個眼睛影像。該資料庫用來儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關一個或多個使用者介面物件之一特定運作連結。該頭戴式顯示器之一處理器用來依據該使用者之一個或多個預估注視點來提供一使用者介面，其中該使用者介面包含該一個或多個使用者介面物件，且該使用者之該一個或多個預估注視點係依據該使用者之該一個或多個眼睛影像來計算出；依據該使用者之該一個或多個預估注視點來求出該使用者之一注視軌跡；以及當該使用者之該注視軌跡符合至少一預設軌跡圖案時，執行相關該至少一預設軌跡圖案之該特定運作連結。該頭戴式顯示器之一顯示螢幕用來呈現該使用者介面。
本發明另提供一種在互動式虛擬環境中提供準確眼動追蹤之方法，其包含提供包含一個或多個使用者介面物件之一使用者介面，儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關該一個或多個使用者介面物件之一特定運作連結，在一眼動追蹤運作的期間捕捉一使用者之一個或多個眼睛影像，依據該使用者之該一個或多個眼睛影像來計算出該使用者之一個或多個預估注視點，依據該使用者之該一個或多個預估注視點來求出該使用者之一注視軌跡，以及當該使用者之該注視軌跡符合至少一預設軌跡圖案時執行相關該至少一預設軌跡圖案之該特定運作連結。
第1圖為本發明實施例中一種可在互動式虛擬環境中提供準確眼動追蹤之光學系統100的功能方塊圖。第2圖為本發明另一實施例中一種可在互動式虛擬環境中提供準確眼動追蹤之光學系統200的功能方塊圖。
在第1圖所示之實施例中，光學系統100包含一頭戴式顯示器(head-mounted display, HMD)10和一眼動追蹤儀20。頭戴式顯示器10包含一處理器12、一顯示螢幕14、一記憶體15、一感測器模組16、一輸入/輸出裝置18，以及一使用者介面19，其中記憶體包含一資料庫155、一第一緩衝器151和一第二緩衝器152。眼動追蹤儀20包含一處理器22、一照明模組24，以及一感測器模組26。處理器12可控制頭戴式顯示器10之運作，而處理器22可控制眼動追蹤儀20之運作。
在第2圖所示之實施例中，光學系統200為一頭戴式顯示器10，其包含一處理器12、一顯示螢幕14、一記憶體15、一感測器模組16、一輸入/輸出裝置18、一使用者介面19，以及一眼動追蹤儀20。記憶體15包含一資料庫155、一第一緩衝器151和一第二緩衝器152。眼動追蹤儀20包含一處理器22、一照明模組24，以及一感測器模組26。處理器12可控制頭戴式顯示器10之運作，而處理器22可控制眼動追蹤儀20之運作。
在本發明其它實施例中，光學系統100和200可省略處理器22。更詳細地說，頭戴式顯示器10和眼動追蹤儀20可共用同一處理器12，並由處理器12來控制頭戴式顯示器10和眼動追蹤儀20之運作。
在光學系統100和200中，照明模組24可包含一個或多個紅外光發光二極體(light-emitting diode, LED)，用來照亮使用者雙眼，以確保不同眼色的使用者在虹膜和瞳孔之間能有足夠對比，尤其是在非常亮或非常暗的背景下，進而提升眼動追蹤儀20捕捉使用者雙眼反射光線時的準確度。然而，照明模組24之實施方式並不限定本發明之範疇。
在光學系統100或200中，輸入/輸出裝置18可接收使用者下達的指令。在一實施例中，輸入/輸出裝置18可包含任何種類的手持式控制器(例如 遊戲手柄或遊戲機)及/或任何形式的觸覺回饋裝置(例如 體感套裝或體感手套)。輸入/輸出裝置18可偵測使用者的動作訊號，並將使用者的動作訊號傳送至光學系統100或200之控制器12。在一實施例中，控制器12可依據輸入/輸出裝置18接收到的使用者指令來控制光學系統100或200之運作。在另一實施例中，控制器12可同時依據輸入/輸出裝置18接收到的使用者指令和使用者介面19之使用者介面物件UIE 1-UIE N接收到的注視指令來控制光學系統100或200之運作。
第3圖為本發明實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動的方法流程圖。第3圖所示之方法流程圖包含下列步驟：
步驟310：     提供包含一個或多個使用者介面物件之使用者介面。
步驟320：     儲存一組預設軌跡圖案，每一預設軌跡圖案對應於相關一個或多個使用者介面物件之一特定運作連結。
步驟330：     捕捉使用者之一個或多個眼睛影像。
步驟340：     依據使用者之一個或多個眼睛影像來計算出使用者之一個或多個預估注視點並加以儲存。
步驟350：     依據使用者之一個或多個預估注視點來求出使用者之注視軌跡並加以儲存。
步驟360：     判斷使用者之注視軌跡是否符合至少一預設軌跡圖案；若是，執行步驟370；若否，執行步驟330。
步驟370：執行相關預設軌跡圖案之特定運作連結。
在步驟310中，包含一個或多個使用者介面物件UIE 1-UIE N之使用者介面19可呈現在顯示螢幕14上，其中N為正整數。在一實施例中，使用者介面物件UIE 1-UIE N可為使用者看不見的抽象物件。如果使用者介面物件UIE 1-UIE N為互動物件，每一使用者介面物件會連結至一事件處理器，其中每一事件處理器相關於光學系統100或200之一特定運作，且由控制器12來掌控。
使用者介面物件UIE 1-UIE N可增加使用者介面19之互動性，並提供使用者下達眼動指令的接觸點。每一使用者介面物件之功能可相關於輸入控制、瀏覽控制和訊息顯示，但不限定本發明之範疇。每一使用者介面物件包含一圖像物件和一命中框。圖像物件可決定相對應使用者介面物件之外觀，且可相關於相對應使用者介面物件之功能。在一實施例中，使用者介面物件之圖像物件可為相關輸入控制之核取方塊(checkbox)、單選鈕(radio button)、下拉式選單(dropdown list)、列表盒 (list box)、開關按鈕(toggle button)或日期/時間選項。在另一實施例中，使用者介面物件之圖像物件可為相關瀏覽控制之頁面路徑(breadcrumb)、滑動選單(slider)、分頁選單(pagination)、圖標 (icon )或圖像輪播(image carousel)。在另一實施例中，使用者介面物件之圖像物件可為相關訊息顯示之工具提示框(tooltip)、進度列 (progress bar)、提示通知(notification)、對話框 (message box)或互動視窗(modal window)。然而，使用者介面物件之圖像物件的外觀並不限定本發明之範疇。
使用者介面物件之命中框為使用者看不見的虛擬物件，其連結至相對應事件處理器。當相關使用者之一個或多個預估注視點之一注視指令觸發一使用者介面物件之命中框時，處理器12會執行對應被觸發使用者介面物件之動作。在滿足一個或多個觸發條件時，本發明會判定使用者介面物件被注視指令觸發。在本發明中，當使用者之注視軌跡符合包含一個或多個區段之一預設軌跡圖案時，會判定滿足上述觸發條件。上述區段可為當使用者的視線從使用者介面19上一第一點移動至一第二點的動作。然而，相關每一使用者介面物件之觸發條件類型並不限定本發明之範疇。
在步驟320中，本發明會將一組預設軌跡圖案儲存在光學系統100或200中記憶體15之資料庫155內，其中該組預設軌跡圖案中每一預設軌跡圖案對應於相關一個或多個使用者介面物件之一特定運作連結。在一實施例中，預設軌跡圖案可為一m區段軌跡圖案(m為正整數)，但不以此為限。舉例來說，二區段軌跡圖案可依序包含一第一區段和一第二區段，其中第一區段相關於使用者將其視線從使用者介面19上一第一點移動至一第二點的動作，而第二區段相關於使用者將其視線從使用者介面19上第二點移動至一第三點的動作。然而，預設軌跡圖案中m之值並不限定本發明之範疇。
在光學系統100中，眼動追蹤儀20中的感測器模組26包含至少一個影像感測器(眼睛感測器)，用來在步驟330中捕捉使用者之一個或多個眼睛影像。眼動追蹤儀20中的處理器22可接收感測器模組26所捕捉之一個或多個眼睛影像，並在步驟340中依據一個或多個眼睛影像來計算出使用者之一個或多個預估注視點。此外，眼動追蹤儀20中的處理器22另可依據一個或多個眼睛影像來計算出其它眼動追蹤相關數據，例如預估注視點的信心度和準確度、在三維空間內的眼球位置和瞳孔相關資訊(例如瞳孔大小)。眼動追蹤運作之演算法可實作成能被眼動追蹤儀20中的處理器22執行之程序/軟體/韌體，但不限定本發明之範疇。此外，使用者之一個或多個預估注視點可在步驟340中儲存在記憶體15中的第一緩衝器151。
在光學系統200中，眼動追蹤儀20中的感測器模組26包含至少一個影像感測器(眼睛感測器)，用來在步驟330中捕捉使用者之一個或多個眼睛影像。處理器12可接收感測器模組26所捕捉之一個或多個眼睛影像，並在步驟340中依據一個或多個眼睛影像來計算出使用者之一個或多個預估注視點。此外，處理器12另可依據一個或多個眼睛影像來計算出其它眼動追蹤相關數據，例如預估注視點的信心度和準確度、在三維空間內的眼球位置和瞳孔相關資訊(例如瞳孔大小)。眼動追蹤運作之演算法可實作成能被處理器12執行之程序/軟體/韌體，但不限定本發明之範疇。此外，使用者之一個或多個預估注視點可在步驟340中儲存在記憶體15中的第一緩衝器151。
在光學系統100和200中，感測器模組16包含至少一場景感測器、至少一聲音感測器(例如麥克風)，及/或至少一動作感測器(例如陀螺儀或加速度計)。場景感測器可捕捉相關於使用者之目前可視範圍(field of view)的一個或多個場景影像，聲音感測器可接收使用者下達的語音指令，而動作感測器可偵測使用者之動作(通常是頭部動作)。
在步驟350中，處理器12可依據使用者之一個或多個預估注視點來求出使用者之注視軌跡。更詳細地說，處理器12會在使用者之一個或多個預估注視點中辨識出兩相鄰預估注視點之間的視線移動(區段)，並透過連接所有區段或連接M個連續區段來提供使用者之注視軌跡，其中M為正整數。此外，辨識出的區段可儲存在記憶體15中的第二緩衝器152內。
在步驟360中，處理器12會判斷使用者之注視軌跡是否符合至少一預設軌跡圖案。更詳細地說，處理器12會將步驟350中辨識出之使用者注視軌跡和資料庫155內存之該組預設軌跡圖案做比較。若使用者之注視軌跡並未符合任何預設軌跡圖案，本發明會再次執行步驟330以繼續進行眼動追蹤運作。若使用者之注視軌跡符合至少一預設軌跡圖案，本發明會執行步驟370以執行相關符合預設軌跡圖案之特定運作連結。特定運作連結可包含一個或多個預定動作。上述預定動作包含內容選擇、往前一頁、往後一頁、設定、關閉頁面、返回、回主頁、顯示通知訊息或螢幕鎖定，但不限定本發明之範疇。
第4A-4C圖為本發明實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動時之示意圖。GZ1-GZ3代表步驟340中計算出之使用者預估注視點。SG1和SG2代表步驟350中所辨識出之使用者注視軌跡內的區段。在第4A圖所示之初始狀態下，假設使用者介面19包含4個使用者介面元件UIE 1-UIE 4。在第4B和4C圖所示之後續人機互動過程中，使用者介面19另會呈現使用者介面元件UIE 5和UIE 6。
首先，使用者將其視線固定在使用者介面19之正中央，目的是要選取使用者介面元件UIE 1，如第4A圖所示。接著，使用者將其視線從使用者介面19之正中央移向使用者介面19之正上方，目的是要選取使用者介面元件UIE 4，如第4B圖所示。最後，使用者將其視線從使用者介面19之正上方移向使用者介面19之左上方，目的是要選取使用者介面元件UIE 5，如第4C圖所示。
依據眼動追蹤儀20之感測器模組26在步驟中330捕捉到的一個或多個眼睛影像，可記錄第4A-4C圖所示的使用者眼睛/頭部運動。依據在步驟中340計算出的使用者預估注視點GZ1-GZ3，處理器12可在步驟350中辨識出使用者注視軌跡中的區段SG1和SG2，其中區段SG1(視線上移區段)相關於使用者將視線從注視點GZ1移動注視點GZ2的動作，而區段SG2(視線左移)相關於使用者將其視線從注視點GZ2移動至注視點GZ3的動作。
若包含的區段SG1和SG2之使用者注視軌跡符合至少一預設軌跡圖案，本發明會執行步驟370以執行相關預設軌跡圖案之特定運作連結。在第4A-4C圖所示之實施例中，特定運作連結包含相關使用者介面元件UIE 4之”展開選單”動作、相關使用者介面元件UIE 5和UIE 6之”內容選擇”動作，以及相關使用者介面元件UIE 5之”返回”動作。更詳細地說，當包含區段SG1和SG2之使用者注視軌跡符合至少一預設軌跡圖案時，使用者介面元件UIE 4和UIE 5會依序被使用者之注視軌跡觸發。
第5A-5C圖為本發明另一實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動時之示意圖。GZ1’-GZ3’代表步驟340中計算出之使用者預估注視點。SG1’和SG2’代表步驟350中所辨識出之使用者注視軌跡內的區段。在第5A圖所示之初始狀態下，假設使用者介面19包含4個使用者介面元件UIE 1-UIE 4。在第5B和5C圖所示之後續人機互動過程中，使用者介面19另會呈現使用者介面元件UIE 5和UIE 6。
依據眼動追蹤儀20之感測器模組26在步驟中330捕捉到的一個或多個眼睛影像，可記錄第5A-5C圖所示的使用者眼睛/頭部運動。依據在步驟中340計算出的使用者之預估注視點GZ1’-GZ3’，處理器12可在步驟350中辨識出使用者注視軌跡中的區段SG1’和SG2’，其中區段SG1’(視線上移區段)相關於使用者將視線從注視點GZ1’移動注視點GZ2’的動作，而區段SG2’(視線左移區段)相關於使用者將其視線從注視點GZ2’移動至注視點GZ3’的動作。
若眼動追蹤儀20的準確度很低，第5A-5C圖所示之預估注視點GZ1’-GZ3’的位置會明顯偏移第4A-4C圖所示之實際注視點GZ1-GZ3的位置。然而，當包含區段SG1’和SG2’之使用者注視軌跡符合至少一預設軌跡圖案時，本發明依舊會執行步驟370以執行相關預設軌跡圖案之特定運作連結。換句話說，即使因為眼動追蹤儀20的低準確度而無法取得使用者注視軌跡的精確座標，本發明依舊能夠執行相關預設軌跡圖案之特定運作連結。
第6圖為本發明實施例中在互動式虛擬環境中提供基於注視分數之人機互動的方法流程圖。第6圖所示之方法流程圖包含下列步驟：
步驟610：     提供包含一個或多個使用者介面物件之使用者介面。
步驟620：     捕捉使用者之一個或多個眼睛影像。
步驟630：     依據使用者之一個或多個眼睛影像來計算出使用者之一預估注視點。
步驟640：     求出預估注視點和每一使用者介面物件之間的距離。
步驟650：     依據使用者之一個或多個眼睛影像來求出眼動追蹤儀20之表現圖(performance map)。
步驟660：     依據眼動追蹤儀20之表現圖來求出眼動追蹤儀20在每一使用者介面物件所在位置之表現水平。
步驟670：     依據眼動追蹤儀20在每一使用者介面物件所在位置之表現水平和預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數。
步驟680：     將一個或多個使用者介面物件中分數最高之一使用者介面物件設為相關使用者之預估注視點之一目標使用者介面物件。
步驟690：     判斷目標使用者介面物件是否被觸發；若是，執行步驟700；若否，執行步驟610。
步驟700：執行相關目標使用者介面物件之一預定動作。
第6圖中步驟610、620和630之實施方式分別和第3圖中步驟310、330和340相同，在此不另加贅述。在步驟640中，處理器12會求出預估注視點和每一使用者介面物件之間的距離。
第7圖為本發明實施例中在互動式虛擬環境中提供基於注視分數之人機互動時之示意圖。為了說明目的，第7圖顯示了N=4時之實施例，其中使用者介面19包含4個使用者介面元件UIE 1-UIE 4。GZ代表步驟630中計算出之使用者預估注視點，d1代表預估注視點GZ和使用者介面物件UIE 1之間的距離，d2代表預估注視點GZ和使用者介面物件UIE 2之間的距離，d3代表預估注視點GZ和使用者介面物件UIE 3之間的距離，而d4代表預估注視點GZ和使用者介面物件UIE 4之間的距離。
在步驟650中，處理器12會依據使用者之一個或多個眼睛影像和使用者之初始可視範圍來求出眼動追蹤儀20之表現圖。使用者之初始可視範圍係指當使用者正視前方時之可視範圍，可依據光學系統100或200之物理規格和使用者之標準人體測量數據來計算出。眼動追蹤儀20之表現圖代表眼動追蹤儀20相關使用者之初始可視範圍之運作表現。由於感測器模組26在眼動追蹤儀20內的設置位置為固定，當使用者穿戴眼動追蹤儀20後，感測器模組26之位置僅會隨著使用者的頭部運動而改變，但不會被使用者的眼球運動所影響。因此，眼動追蹤儀20之表現圖會隨著使用者的頭部運動而變化，但不相關於使用者的眼球運動。
第8圖為本發明實施例在步驟650中所求出眼動追蹤儀20之表現圖的示意圖。縱軸代表使用者之垂直可視範圍(單位為度)，橫軸代表使用者之水平可視範圍(單位為度)，而數字為眼動追蹤儀20在使用者之可視範圍內不同位置的錯誤率。在一般情況下，眼動追蹤儀20之準確率會隨著偏心率(eccentricity)增加而降低。如第8圖所示，在使用者可視範圍的中心區域內眼動追蹤儀20之平均錯誤率約為1.88°，在使用者可視範圍±10°視角內眼動追蹤儀20之平均錯誤率約為1.96°，而在使用者可視範圍±20°視角內眼動追蹤儀20之平均錯誤率約為2°。然而，第8圖所示之數字僅為說明目的，並不限定本發明之範疇。
在步驟660中，處理器12會依據眼動追蹤儀20之表現圖來求出眼動追蹤儀20在每一使用者介面物件所在位置之表現水平。請參閱第7圖和第8圖，為了說明目的假設眼動追蹤儀20在使用者介面物件UIE 1所在位置之錯誤率約為2.92°，在使用者介面物件UIE 2所在位置之錯誤率約為2.13°，在使用者介面物件UIE 3所在位置之錯誤率約為1.61°，而在使用者介面物件UIE 4所在位置之錯誤率約為1.34°。
在步驟670中，處理器12會依據眼動追蹤儀20在每一使用者介面物件所在位置之表現水平和預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數。在一實施例中，使用者介面物件UIE n之分數SCn可依據下列公式(1)來出，其中dn代表預估注視點GZ和使用者介面物件UIE n之間的距離，ERn代表眼動追蹤儀20在使用者介面物件UIE n所在位置之錯誤率，W1代表距離權重，而W2代表準確率權重。
SCn=W1(1/dn)+W2(ERn/dn) …(1)
在步驟680中，處理器120會將一個或多個使用者介面物件中分數最高之一使用者介面物件設為相關使用者之預估注視點GZ之目標使用者介面物件。
在一實施例中，距離可為決定基於眼動注視之人機互動的唯一參數，此時可將距離權重W1設為1，並將準確率權重W2設為0。如第7圖和第8圖所示，使用者介面物件UIE 1之分數SC1為0.8，使用者介面物件UIE 2之分數SC2約為0.67，使用者介面物件UIE 3之分數SC3為1，而使用者介面物件UIE 4之分數SC4約為0.909。在此種狀況下，分數最高之使用者介面物件UIE 3會被設為相關使用者之預估注視點GZ的目標使用者介面物件。
在另一實施例中，距離和準確率可皆為決定基於眼動注視之人機互動的參數，此時可將距離權重W1設為1，並將準確率權重W2設為1。如第7圖和第8圖所示，使用者介面物件UIE 1之分數SC1約為3.136，使用者介面物件UIE 2之分數SC2約為2.087，使用者介面物件UIE 3之分數SC3約為2.61，而使用者介面物件UIE 4之分數SC4約為2.127。在此種狀況下，分數最高之使用者介面物件UIE 1會被設為相關使用者之預估注視點GZ的目標使用者介面物件。
在步驟690，處理器12會判斷目標使用者介面物件是否被觸發。當相關使用者之一個或多個預估注視點之注視指令滿足一個或多個觸發條件時，本發明會判定目標使用者介面物件被注視指令觸發。上述觸發條件包含使用者之注視點位於目標使用者介面物件之命中框內超過相關目標使用者介面物件之凝視時段、使用者按下另一按鍵、使用者下達一語音指令、使用者自主性地眨眼，或偵測到特定注視點軌跡/模式，但不限定本發明之範疇。
在判定目標使用者介面物件已被觸發後，處理器12會在步驟700中執行對應目標使用者介面物件之預定動作。上述預定動作包含內容選擇、往前一頁、往後一頁、設定、關閉頁面、返回、回主頁、顯示通知訊息或螢幕鎖定，但不限定本發明之範疇。
第9圖為本發明實施例中在互動式虛擬環境中提供基於眼動注視之人機互動的方法流程圖。第9圖所示之方法流程圖包含下列步驟：
步驟810：     提供包含一個或多個使用者介面物件之使用者介面。
步驟820：     儲存一組預設軌跡圖案，每一預設軌跡圖案對應於相關一個或多個使用者介面物件之一特定運作連結。
步驟830：     捕捉使用者之一個或多個眼睛影像。
步驟840：     依據使用者之一個或多個眼睛影像來計算出使用者之一個或多個預估注視點。
步驟850：     求出至少一預估注視點和每一使用者介面物件之間的距離。
步驟860：     依據使用者之一個或多個眼睛影像來求出眼動追蹤儀20之表現圖。
步驟870：     依據眼動追蹤儀20之表現圖來求出眼動追蹤儀20在每一使用者介面物件所在位置之表現水平。
步驟880：     依據眼動追蹤儀20在每一使用者介面物件所在位置之表現水平和至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數。
步驟890：     將一個或多個使用者介面物件中分數最高之一使用者介面物件設為相關使用者之至少一預估注視點之一目標使用者介面物件。
步驟900：     依據使用者之一個或多個預估注視點來求出使用者之注視軌跡並加以儲存。
步驟910：     判斷使用者之注視軌跡是否符合至少一預設軌跡圖案；若是，執行步驟920；若否，執行步驟830。
步驟920：     判斷相關目標使用者介面物件之動作是否符合相關至少一預設軌跡圖案之特定運作連結；若是，執行步驟930；若否，執行步驟940。
步驟930：執行相關目標使用者介面物件之動作。
步驟940：     對眼動追蹤儀20執行一自動校正程序；執行步驟830。
在第9圖所示之實施例中，第3圖所示之基於注視軌跡的人機互動和第6圖所示之基於注視分數的人機互動皆被採用以在互動式虛擬環境中提供準確眼動追蹤。在步驟850-890中，本發明會先決定最有可能相關於一預估使用者注視點之目標使用者介面物件，如第7圖所示。接著在步驟900-910中，本發明會求出使用者之注視軌跡，並和一組預設軌跡圖案加以比對。當判定使用者之注視軌跡符合至少一預設軌跡圖案時，接著會在步驟920中確認相關目標使用者介面物件之動作和相關至少一預設軌跡圖案之特定運作連結之間的關聯性。當判定相關目標使用者介面物件之動作符合相關至少一預設軌跡圖案之特定運作連結時，本發明會在步驟930中執行相關目標使用者介面物件之動作。
當判定相關目標使用者介面物件之動作不符合相關至少一預設軌跡圖案之特定運作連結時，本發明在步驟940中會對眼動追蹤儀20執行一自動校正程序。更詳細地說，相關目標使用者介面物件之動作和相關至少一預設軌跡圖案之特定運作連結之間的差異可能代表眼動追蹤儀20的運作有嚴重誤差。在這種情況下，依據眼動追蹤儀20之量測資料求出之預估注視點可能會大大偏移使用者的實際注視點，但相鄰注視點之間的移動關係依舊正確。因此，使用者打算互動的實際使用者介面物件可視為一特定使用者介面物件，其相關動作對應至至少一預設軌跡圖案。在步驟940中，本發明可依據特定使用者介面物件和一個或多個預估注視點之間的幾何關係，來會對眼動追蹤儀20執行自動校正程序。
在本發明中，光學系統可採用基於注視軌跡的人機互動和基於注視分數的人機互動來降低對眼動追蹤運作的精準度要求。因此，本發明可在互動式虛擬環境中提供準確眼動追蹤。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:頭戴式顯示器 12、22:處理器 14:顯示螢幕 15:記憶體 16、26:感測器模組 18:輸入/輸出裝置 19:使用者介面 20:眼動追蹤儀 24:照明模組 30:使用者 100、200:光學系統 151:第一緩衝器 152:第二緩衝器 155:資料庫 310-370、610-700、810-940:步驟 UIE 1-UIE N:使用者介面物件 GZ、GZ1、GZ2、GZ1’、GZ2’:預估注視點 SG1、SG2、SG1’、SG2’:區段 d1-d4:距離
第1圖為本發明實施例中一種可在互動式虛擬環境中提供準確眼動追蹤之光學系統的功能方塊圖。 第2圖為本發明另一實施例中一種可在互動式虛擬環境中提供準確眼動追蹤之光學系統的功能方塊圖。 第3圖為本發明實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動的方法流程圖。 第4A、4B和4C圖為本發明實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動時之示意圖。 第5A、5B和5C圖為本發明另一實施例中在互動式虛擬環境中提供基於注視軌跡之人機互動時之示意圖。 第6圖為本發明實施例中在互動式虛擬環境中提供基於注視分數之人機互動的方法流程圖。 第7圖為本發明實施例中在互動式虛擬環境中提供基於注視分數之人機互動時之示意圖。 第8圖為本發明實施例中所求出眼動追蹤儀之表現圖的示意圖。 第9圖為本發明實施例中在互動式虛擬環境中提供基於眼動注視之人機互動的方法流程圖。
310-370:步驟

Claims (24)

  1. 一種在互動式虛擬環境中提供準確眼動追蹤之光學系統，其包含： 一眼動追蹤儀，其包含： 一感測器模組，用來捕捉一使用者之一個或多個眼睛影像；以及 一頭戴式顯示器，其包含： 一處理器，用來： 依據該使用者之一個或多個預估注視點來提供一使用者介面，其中該使用者介面包含一個或多個使用者介面物件(UI element)，且該使用者之該一個或多個預估注視點係依據該使用者之該一個或多個眼睛影像來計算出； 求出該使用者之至少一預估注視點和每一使用者介面物件之間的距離； 依據該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數； 將該一個或多個使用者介面物件中分數最高之一第一使用者介面物件設為相關該使用者之該至少一預估注視點之一目標使用者介面物件；以及 一顯示螢幕，用來呈現該使用者介面。
  2. 如請求項1所述之光學系統，其中每一使用者介面物件之分數和該使用者之該至少一預估注視點和每一使用者介面物件之間的距離成反比。
  3. 如請求項1所述之光學系統，其中該處理器另用來： 依據該使用者之該一個或多個眼睛影像來求出該眼動追蹤儀之一表現圖；以及 依據該眼動追蹤儀之該表現圖來求出該眼動追蹤儀在每一使用者介面物件所在位置之一表現水平；以及 依據該眼動追蹤儀在每一使用者介面物件所在位置之該表現水平和該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數。
  4. 如請求項3所述之光學系統，其中每一使用者介面物件之分數和該眼動追蹤儀在每一使用者介面物件所在位置之一錯誤率成正比。
  5. 如請求項1所述之光學系統，其另包含一資料庫，用來儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關該一個或多個使用者介面物件之一特定運作連結，其中該處理器另用來： 依據該使用者之該一個或多個注視點來求出該使用者之一注視軌跡； 當該使用者之該注視軌跡符合至少一預設軌跡圖案時，判斷相關該目標使用者介面物件之一動作和相關該至少一預設軌跡圖案之該特定運作連結之間的一關聯性；以及 當相關該目標使用者介面物件之該動作符合相關該至少一預設軌跡圖案之該特定運作連結時，執行相關該目標使用者介面物件之該動作。
  6. 如請求項5所述之光學系統，其中該處理器另用來： 當相關該目標使用者介面物件之該動作不符合相關該至少一預設軌跡圖案之該特定運作連結時，取得該一個或多個使用者介面物件中一第二使用者介面物件和該一個或多個注視點之間的一幾何關係，其中相關該第二使用者介面物件之一動作對應於相關該至少一預設軌跡圖案之該特定運作連結；以及 依據該幾何關係來校正該眼動追蹤儀。
  7. 如請求項5所述之光學系統，其中該處理器另用來： 辨識相關該使用者之該一個或多個預估注視點之一個或多個區段，其中每一區段位於該使用者之該一個或多個預估注視點中兩相鄰預估注視點之間；以及 透過連接該一個或多個區段中M個連續區段來提供該使用者之該注視軌跡，其中M為正整數。
  8. 如請求項7所述之光學系統，其另包含： 一第一緩衝器，用來儲存該使用者之該一個或多個預估注視點；以及 一第二緩衝器，用來儲存辨識出之該一個或多個區段。
  9. 如請求項7所述之光學系統，其中該特定運作連結包含一個或多個預設動作。
  10. 一種在互動式虛擬環境中提供準確眼動追蹤運作之方法，其包含： 提供包含一個或多個使用者介面物件之一使用者介面； 在執行一眼動追蹤運作的期間捕捉一使用者之一個或多個眼睛影像； 依據該使用者之該一個或多個眼睛影像來計算出該使用者之一個或多個預估注視點； 求出該使用者之至少一預估注視點和每一使用者介面物件之間的距離； 依據該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數；以及 將該一個或多個使用者介面物件中分數最高之一第一使用者介面物件設為相關該使用者之該至少一預估注視點之一目標使用者介面物件。
  11. 如請求項10所述之方法，其中每一使用者介面物件之分數和該使用者之該至少一預估注視點和每一使用者介面物件之間的距離成反比。
  12. 如請求項10所述之方法，其另包含： 依據該使用者之該一個或多個眼睛影像來求出該眼動追蹤運作之一表現圖； 依據該眼動追蹤運作之該表現圖來求出該眼動追蹤運作在每一使用者介面物件所在位置之一表現水平；以及 依據該眼動追蹤運作在每一使用者介面物件所在位置之該表現水平和該使用者之該至少一預估注視點和每一使用者介面物件之間的距離來求出每一使用者介面物件之分數。
  13. 如請求項12所述之方法，其中每一使用者介面物件之分數和該眼動追蹤運作在每一使用者介面物件所在位置之一錯誤率成正比。
  14. 如請求項10所述之方法，其另包含： 儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關該一個或多個使用者介面物件之一特定運作連結； 依據該使用者之該一個或多個預估注視點來求出該使用者之一注視軌跡並儲存該使用者之該注視軌跡； 當該使用者之該注視軌跡符合至少一預設軌跡圖案時，判斷相關該目標使用者介面物件之一動作和相關該至少一預設軌跡圖案之該特定運作連結之間的一關聯性；以及 當相關該目標使用者介面物件之該動作符合相關該至少一預設軌跡圖案之該特定運作連結時，執行相關該目標使用者介面物件之該動作。
  15. 如請求項14所述之方法，其另包含： 當相關該目標使用者介面物件之該動作不符合相關該至少一預設軌跡圖案之該特定運作連結時，取得該一個或多個使用者介面物件中一第二使用者介面物件和該一個或多個使用者注視點之間的一幾何關係，其中相關該第二使用者介面物件之一動作對應於相關該至少一預設軌跡圖案之該特定運作連結；以及 依據該幾何關係來校正該眼動追蹤運作。
  16. 如請求項14所述之方法，其另包含： 辨識相關該使用者之該一個或多個注視點之一個或多個區段，其中每一區段位於該使用者之一個或多個預估注視點中兩相鄰預估注視點之間；以及 透過連接該一個或多個區段中M個連續區段來提供該使用者之該注視軌跡，其中M為正整數。
  17. 如請求項16所述之方法，其中該特定運作連結包含一個或多個預設動作。
  18. 一種在互動式虛擬環境中提供準確眼動追蹤之光學系統，其包含： 一眼動追蹤儀，其包含： 一感測器模組，用來捕捉一使用者之一個或多個眼睛影像；以及 一資料庫，用來儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關一個或多個使用者介面物件之一特定運作連結；以及 一頭戴式顯示器，其包含： 一處理器，用來： 依據該使用者之一個或多個預估注視點來提供一使用者介面，其中該使用者介面包含該一個或多個使用者介面物件，且該使用者之該一個或多個預估注視點係依據該使用者之該一個或多個眼睛影像來計算出； 依據該使用者之該一個或多個預估注視點來求出該使用者之一注視軌跡；以及 當該使用者之該注視軌跡符合至少一預設軌跡圖案時，執行相關該至少一預設軌跡圖案之該特定運作連結；以及 一顯示螢幕，用來呈現該使用者介面。
  19. 如請求項18所述之光學系統，其中該處理器另用來： 辨識相關該使用者之該一個或多個預估注視點之一個或多個區段，其中每一區段位於該使用者之該一個或多個預估注視點中兩相鄰預估注視點之間；以及 透過連接該一個或多個區段中M個連續區段來提供該使用者之該注視軌跡，其中M為正整數。
  20. 如請求項19所述之光學系統，其中該特定運作連結包含一個或多個預設動作。
  21. 如請求項19所述之光學系統，其另包含： 一第一緩衝器，用來儲存該使用者之該一個或多個預估注視點；以及 一第二緩衝器，用來儲存辨識出之該一個或多個區段。
  22. 一種在互動式虛擬環境中提供準確眼動追蹤之方法，其包含： 提供包含一個或多個使用者介面物件之一使用者介面； 儲存一組預設軌跡圖案，該組預設軌跡圖案中每一預設軌跡圖案對應於相關該一個或多個使用者介面物件之一特定運作連結； 在一眼動追蹤運作的期間捕捉一使用者之一個或多個眼睛影像； 依據該使用者之該一個或多個眼睛影像來計算出該使用者之一個或多個預估注視點； 依據該使用者之該一個或多個預估注視點來求出該使用者之一注視軌跡；以及 當該使用者之該注視軌跡符合至少一預設軌跡圖案時執行相關該至少一預設軌跡圖案之該特定運作連結。
  23. 如請求項22所述之方法，其另包含： 辨識相關該使用者之該一個或多個預估注視點之一個或多個區段，其中每一區段位於該使用者之一個或多個預估注視點中兩相鄰預估注視點之間；以及 透過連接該一個或多個區段中M個連續區段來提供該使用者之該注視軌跡，其中M為正整數。
  24. 如請求項23所述之方法，其中該特定運作連結包含一個或多個預設動作。
TW111124128A 2021-06-28 2022-06-28 提升使用者體驗和注視互動準確度之光學系統和相關方法 TWI802456B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163215984P 2021-06-28 2021-06-28
US63/215,984 2021-06-28

Publications (2)

Publication Number Publication Date
TW202301872A true TW202301872A (zh) 2023-01-01
TWI802456B TWI802456B (zh) 2023-05-11

Family

ID=84540961

Family Applications (3)

Application Number Title Priority Date Filing Date
TW111123699A TW202301083A (zh) 2021-06-28 2022-06-24 提供精準眼動追蹤之光學系統和相關方法
TW111124049A TWI801276B (zh) 2021-06-28 2022-06-28 提升使用者體驗和注視互動準確度之光學系統和相關方法
TW111124128A TWI802456B (zh) 2021-06-28 2022-06-28 提升使用者體驗和注視互動準確度之光學系統和相關方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW111123699A TW202301083A (zh) 2021-06-28 2022-06-24 提供精準眼動追蹤之光學系統和相關方法
TW111124049A TWI801276B (zh) 2021-06-28 2022-06-28 提升使用者體驗和注視互動準確度之光學系統和相關方法

Country Status (3)

Country Link
US (3) US20220413606A1 (zh)
CN (3) CN115598842A (zh)
TW (3) TW202301083A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720380B1 (en) * 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US12061776B2 (en) * 2022-06-24 2024-08-13 Google Llc List navigation with eye tracking
US20240221038A1 (en) * 2023-01-04 2024-07-04 Microsoft Technology Licensing, Llc Mechanisms for measuring and minimizing the impact of software experiences on human context-switching
TWI846403B (zh) * 2023-03-25 2024-06-21 張朝凱 瞳孔大小之量測系統及其量測方法
CN117632330B (zh) * 2023-10-12 2024-07-16 浙江大学 一种虚拟环境下眼控界面的交互目标布局方法和系统
CN117755076B (zh) * 2023-12-26 2024-05-31 广州车全影电子科技有限公司 汽车仪表盘控制方法、装置、存储介质及电子设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007089198A1 (en) 2006-02-01 2007-08-09 Tobii Technology Ab Generation of graphical feedback in a computer system
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
TWI419077B (zh) 2010-09-10 2013-12-11 Oriental Inst Technology 立體視覺資訊補償系統及方法
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
KR101919010B1 (ko) 2012-03-08 2018-11-16 삼성전자주식회사 안구 동작에 기초한 디바이스의 제어 방법 및 이를 위한 디바이스
US10895909B2 (en) * 2013-03-04 2021-01-19 Tobii Ab Gaze and saccade based graphical manipulation
US11714487B2 (en) * 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US10089786B2 (en) 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
GB201322873D0 (en) 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
JP2015153195A (ja) 2014-02-14 2015-08-24 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10607401B2 (en) 2015-06-03 2020-03-31 Tobii Ab Multi line trace gaze to object mapping for determining gaze focus targets
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
TW201738791A (zh) 2016-04-28 2017-11-01 jian-qiang Fang 一種資訊處理系統及方法
JP6604271B2 (ja) 2016-06-06 2019-11-13 富士通株式会社 注視位置検出装置、注視位置検出方法及び注視位置検出用コンピュータプログラム
US10245507B2 (en) 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10981061B2 (en) 2016-06-13 2021-04-20 Sony Interactive Entertainment LLC Method and system for directing user attention to a location based game play companion application
CN105979224A (zh) 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、系统
US10845595B1 (en) * 2017-12-28 2020-11-24 Facebook Technologies, Llc Display and manipulation of content items in head-mounted display
WO2019202355A1 (en) 2018-04-18 2019-10-24 Flex Ltd. System and method for using gaze control to control electronic switches and machinery
CN111221410B (zh) 2018-11-25 2023-03-31 宏达国际电子股份有限公司 传输眼球追踪信息的方法、头戴式显示器及计算机装置
US11144052B2 (en) 2018-12-07 2021-10-12 Toyota Research Institute, Inc. Readiness and identification by gaze and/or gesture pattern detection
US11042259B2 (en) 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11922581B2 (en) 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11606529B2 (en) 2020-10-16 2023-03-14 Google Llc Channel layering of video content for augmented reality (AR) or control-based separation
US11423569B1 (en) 2021-04-09 2022-08-23 Varjo Technologies Oy Gaze-tracking system and method employing selective glints

Also Published As

Publication number Publication date
US20220413607A1 (en) 2022-12-29
US11726564B2 (en) 2023-08-15
CN115598832A (zh) 2023-01-13
US20220413605A1 (en) 2022-12-29
TWI801276B (zh) 2023-05-01
TWI802456B (zh) 2023-05-11
TW202301083A (zh) 2023-01-01
CN115598831A (zh) 2023-01-13
TW202301871A (zh) 2023-01-01
US20220413606A1 (en) 2022-12-29
CN115598842A (zh) 2023-01-13
US12118139B2 (en) 2024-10-15

Similar Documents

Publication Publication Date Title
TWI802456B (zh) 提升使用者體驗和注視互動準確度之光學系統和相關方法
JP7543466B2 (ja) 眼追跡較正技術
US11900527B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11262840B2 (en) Gaze detection in a 3D mapping environment
US11625103B2 (en) Integration of artificial reality interaction modes
US10234935B2 (en) Mediation of interaction methodologies in immersive environments
TW202101172A (zh) 用於人工實境系統的手臂視線驅動的使用者介面元件閘控
WO2013033842A1 (en) System and method for using eye gaze information to enhance interactions
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
JP4982279B2 (ja) 学習支援装置および学習支援方法
US12130967B2 (en) Integration of artificial reality interaction modes
US20230324986A1 (en) Artificial Reality Input Using Multiple Modalities
US20240281070A1 (en) Simultaneous Controller and Touch Interactions
US20240029329A1 (en) Mitigation of Animation Disruption in Artificial Reality