TWI781404B - 可依據使用情境切換運作模式的眼動追蹤模組 - Google Patents

可依據使用情境切換運作模式的眼動追蹤模組 Download PDF

Info

Publication number
TWI781404B
TWI781404B TW109117317A TW109117317A TWI781404B TW I781404 B TWI781404 B TW I781404B TW 109117317 A TW109117317 A TW 109117317A TW 109117317 A TW109117317 A TW 109117317A TW I781404 B TWI781404 B TW I781404B
Authority
TW
Taiwan
Prior art keywords
eye
processor
tracking module
power
light source
Prior art date
Application number
TW109117317A
Other languages
English (en)
Other versions
TW202101976A (zh
Inventor
邱柏榕
李魁安
劉冠麟
戴銘億
張家銘
簡韶逸
Original Assignee
見臻科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 見臻科技股份有限公司 filed Critical 見臻科技股份有限公司
Publication of TW202101976A publication Critical patent/TW202101976A/zh
Application granted granted Critical
Publication of TWI781404B publication Critical patent/TWI781404B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

眼動追蹤模組包含電源管理模組、感測模組，及處理器。電源管理模組依據一電源控制訊號來供電以使眼動追蹤模組在一相對應模式下運作，並提供相關其供電狀態之一電源狀態訊號。感測模組包含至少一影像感測器，用來以一取樣頻率來擷取使用者的眼睛影像。該處理器依據眼睛影像計算使用者的眼睛特徵、眼動訊息，或包含凝視位置座標之視線資訊，以及依據電源狀態訊號來調整取樣頻率、調整處理器輸出訊息的頻率，及/或切換眼動追蹤模組的運作模式。

Description

可依據使用情境切換運作模式的眼動追蹤模組
本發明相關於一種眼動追蹤模組，尤指一種可依據使用情境切換不同運作模式的眼動追蹤模組。
眼動追蹤(eye-tracking)是一種用以偵測使用者凝視位置的技術，其透過測量眼睛注視點的位置或眼球相對頭部的運動來實現對眼球運動的追蹤。眼動追蹤技術被廣泛地應用在商業、工業、教育或醫療等各領域的心理學研究、使用者行為實驗和教育訓練等用途。
頭戴型眼動追蹤裝置常被用來偵測使用者的疲勞程度、注意力或工作負荷高低等使用者狀態，主要由一頭戴型設備搭配至少一紅外光光源和一影像感測器所組成，其中頭戴型裝置可為虛擬實境(virtual reality,VR)頭戴型顯示器、擴增實境(augmented reality,AR)頭戴型顯示器、混合實境(mixed reality,MR)頭戴型顯示器、智慧眼鏡，或其它任何眼鏡型或安全帽型的設備。透過紅外光光源照射使用者的眼睛，分析影像感測器擷取到的光源反射點和使用者眼睛影像，即可推算出使用者凝視的位置，進而應用在需要與虛擬物件互動的VR/AR/MR 領域。
相較於傳統遠距型眼動追蹤裝置，頭戴型眼動追蹤裝置具有輕便、方便攜帶，以及使用情境更貼近自然環境等優勢，但其電池續航力有限。因此，需要一種可以依據使用情境切換不同運作模式的眼動追蹤模組，進而優化電源使用狀況和延長頭戴型眼動追蹤裝置的電源續航力。
本發明提供一種眼動追蹤模組，其包含一電源管理模組、一感測模組，以及一處理器。該電源管理模組用來依據一電源控制訊號來供電以使該眼動追蹤模組在一相對應模式下運作，並提供相關其供電狀態之一電源狀態訊號。該感測模組包含至少一影像感測器，用來以一取樣頻率來擷取一使用者的一眼睛影像。該處理器用來依據該眼睛影像計算該使用者的一眼睛特徵、一眼動訊息，及/或包含一凝視位置座標之視線資訊，以及依據該電源狀態訊號來調整該取樣頻率、調整該處理器輸出訊息的頻率，及/或切換該眼動追蹤模組的運作模式。
10:電源管理模組
20:感測模組
20L:左眼影像感測器
20R:右眼影像感測器
20C:場景影像感測器
22:聲音感測器
24:接近感測器
26:環境光感測器
30:照明裝置
32:光源驅動器
40:處理器
50:記憶單元
60:鏡片
70:顯示螢幕
100、200:眼動追蹤模組
F1~F3:濾光元件
IR1~IRN:光源
第1圖為本發明實施例中一種眼動追蹤模組之功能方塊圖。
第2圖為本發明另一實施例中一種眼動追蹤模組之功能方塊圖。
第3圖為本發明實施例中眼動追蹤模組實作方式之正視圖。
第4圖為本發明實施例中眼動追蹤模組實作方式之側視圖。
第1圖為本發明實施例中一種眼動追蹤模組100之功能方塊圖。第2圖為本發明另一實施例中一種眼動追蹤模組200之功能方塊圖。眼動追蹤模組100和200各包含一電源管理模組10、一感測模組20、一照明裝置30、一處理器40，以及一記憶單元50。本發明之眼動追蹤模組100和200可安裝在一頭戴型裝置，例如安裝在VR/AR/MR裝置、智慧眼鏡、任一眼鏡型裝置或任一安全帽型態的裝置上。然而，眼動追蹤模組100和200所應用之頭戴型裝置並不限定本發明之範疇。
在本發明之眼動追蹤模組100或200中，電源管理模組10可供應眼動追蹤模組100或200中各元件運作所需之穩定電源。在一實施例中，電源管理模組10包含內建電源，可依據處理器40提供之電源控制訊號S1來調整輸出至各元件的電力以使眼動追蹤模組100或200能在相對應的模式下運作，並能提供相關其供電狀態之電源狀態訊號S2，其中電源狀態訊號S2包含電源管理模組10所輸出的電源總量或電源穩定度等資訊。在另一實施例中，當眼動追蹤模組100或200安裝於包含內建電源之頭戴型裝置時，電源管理模組10可接收並調節頭戴型裝置所供應之電力，再依據處理器40提供之電源控制訊號S1來調整輸出至各元件的電源以使眼動追蹤模組100或200能在相對應的模式下運作，並能提供相關其供電狀態之電源狀態訊號S2，其中電源狀態訊號S2包含電源管理模組10所輸出的電源總量或電源穩定度等資訊。然而，電源管理模組10供電電力的來源並不限定本發明之範疇。
在本發明之眼動追蹤模組100或200中，感測模組20至少包含一影像感測器，用來偵測使用者的眼睛影像，並能依據處理器40提供之影像控制訊號S3來調整其取樣頻率。在第1圖和第2圖所示之實施例中，感測模組20至少包含一左眼影像感測器20L和一右眼影像感測器20R，可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，但感測模組20中影像感測器的數量並不限定本發明之範疇。
在另一實施例中，感測模組20可另包含一場景影像感測器，用來紀錄使用者在其視野範圍內所看見的影像。在另一實施例中，感測模組20可另包含一聲音感測器，用來紀錄相關使用者所在環境的聲音資料。在另一實施例中，感測模組20可另包含一接近感測器(proximity sensor)，用來紀錄使用者所在環境內出現的動作資訊。在另一實施例中，感測模組20可另包含一環境光感測器，用來紀錄使用者所在位置的環境光狀態。在第2圖所示之眼動追蹤模組200中，感測模組20包含一左眼影像感測器20L、一右眼影像感測器20R、一場景影像感測器20C、一聲音感測器22、一接近感測器24，以及一環境光感測器26。然而，除了至少包含一影像感測器之外，本發明之感測模組20可另包含一場景影像感測器、一聲音感測器、一接近感測器和一環境光感測器其中之一或其中至少兩者的任意組合。
在本發明中，感測模組20可另包含至少一濾光元件，用來調整至少一影像感測器對特定波長光線的穿透率。舉例來說，在第1圖所示之眼動追蹤模組100中，感測模組20可另包含兩濾光元件，分別用來改變左眼影像感測器20L或右眼影像感測器20R對特定波長光線的穿透 率；在第2圖所示之眼動追蹤模組200中，感測模組20可另包含一濾光元件，用來改變場景影像感測器20C對特定波長光線的穿透率；在第2圖所示之眼動追蹤模組200中，感測模組20可另包含三濾光元件，分別用來改變左眼影像感測器20L、右眼影像感測器20R和場景影像感測器20C對特定波長光線的穿透率。
在本發明之眼動追蹤模組100或200中，照明裝置30包含光源IR1~IRN和一光源驅動器32，其中N為正整數。光源IR1~IRN用來照亮使用者的眼睛，而光源驅動器32可依據處理器40提供之亮度控制訊號S4來調整每一光源的亮度，進而調整影像感測器所擷取眼睛影像的畫面品質。在一實施例中，光源IR1~IRN可為紅外光光源，設置在眼動追蹤模組100或200中可照射使用者眼部的位置。然而，照明裝置30所包含之光源種類、數量或設置位置並不限定本發明之範疇。
在本發明中，處理器40可控制眼動追蹤模組100或200中各元件的運作，例如提供電源控制訊號S1以調整電源模組10輸出至各元件的電力、提供影像控制訊號S3以調整感測模組20中影像感測器之取樣頻率，以及提供亮度控制訊號S4以調整照明裝置30中光源的亮度，進而切換眼動追蹤模組100或200之運作模式。此外，處理器40可依據感測模組20所紀錄的資訊或電源管理模組10所提供之電源狀態訊號S2來提供上述電源控制訊號S1、影像控制訊號S3，或亮度控制訊號S4。
在本發明中，處理器40可接收並分析感測模組20所紀錄的資訊。在第1圖所示之眼動追蹤模組100或第2圖所示之眼動追蹤模組200 中，處理器40可接收感測模組20之左眼影像感測器20L和右眼影像感測器20R所擷取的使用者眼睛影像，再計算並輸出使用者的眼睛特徵、眼動訊息，及/或包含凝視位置座標之視線資訊。在第2圖所示之眼動追蹤模組200中，處理器40另可依據感測模組20中場景影像感測器20C、聲音感測器22和接近感測器24中至少其中之一所提供之資料來判斷目前是否有執行中的眼動追蹤運作。在第2圖所示之眼動追蹤模組200中，處理器40另可依據感測模組20中環境光感測器26所提供之資料來判斷使用者所在位置是否有足夠強度或分布均勻的環境光源。
在本發明之眼動追蹤模組100或200中，處理器40可為系統單晶片(System on Chip,SoC)、特殊應用積體電路(application specific integrated circuit,ASCI)，或場域可程式化邏輯閘陣列(field programmable gate array,FPGA)。在一實施例中，處理器40可透過一慢速介面直接傳輸眼睛特徵或凝視位置的訊息給頭戴型裝置，以減少訊息傳輸與後續應用所需的運算消耗。在另一實施例中，處理器40可透過一慢速介面和一低功耗介面(例如一USB type C介面)傳輸眼睛特徵或凝視位置的訊息給頭戴型裝置。在另一實施例中，處理器40可透過一慢速介面和一無線通訊界面(例如WiFi或藍芽介面)傳輸眼睛特徵或凝視位置的訊息給頭戴型裝置。然而，眼動追蹤模組100或200所應用之頭戴型裝置或與頭戴型裝置之間資料傳輸方式並不限定本發明之範疇。
在本發明中，眼動追蹤模組100或200可在正常模式和省電模式下運作，其中省電模式包含簡單模式、睡眠模式，或關機模式。在 正常模式下，眼動追蹤模組100或200內所有元件皆處於最佳運作效能之正常狀態，且處理器40會輸出使用者的完整眼睛特徵、完整眼動訊息，及/或包含精確凝視位置座標之完整視線資訊。在省電模式下，眼動追蹤模組100或200內至少一元件會處於較低運作效能之低活動狀態或是被關閉，因此可降低耗能。
在簡單模式下，眼動追蹤模組100或200內所有元件皆處於正常運作狀態，但處理器40僅會依據使用者預先設定之一個或多個預設區域來判定使用者雙眼是否凝視在此一個或多個預設區域，進而提供相對應之部份視線資訊。上述每一預設區域可為一虛擬空間中的特定座標範圍，或是真實空間中以一已特定標記為中心的區域。在真實世界的實施例中，特定標記可為一光源、一特定影像、或一特定的物件特徵。若特定標記為一光源，此標記可依照光源的顏色、波長、閃爍頻率，或亮度來區分不同的預設區域。
在睡眠模式下，眼動追蹤模組100或200中僅有處理器40會維持低電源的活動狀態，其它元件皆會關閉。在關機模式下，眼動追蹤模組100或200中所有元件皆會關閉。值得注意的是，不同廠商或不同應用領域可能會對省電模式有不同的定義或名稱，上述簡單模式、睡眠模式和關機模式之名稱或實作方式並不限定本發明之範疇。
在本發明之眼動追蹤模組100或200中，記憶單元50用來儲存處理器40針對眼動追蹤模組100或200不同運作模式之韌體設定。舉例來說，當眼動追蹤模組100或200從上述省電模式切換回正常模式時， 處理器40可依據記憶單元50之內存資料來迅速地回復相關於正常模式之韌體設定和運作，進而維持眼動追蹤運作的精確度。在一實施例中，記憶單元50可為快閃記憶體，然而記憶單元50之實作方式並不限定本發明之範疇。
為了說明目的，假設當電源管理模組10所輸出的電源總量或電源穩定度高於一預定範圍時，代表此時電力狀況良好；當電源管理模組10所輸出的電源總量或電源穩定度介於預定範圍內時，代表此時電力供應即將不足，進而可能影響輸出的電源穩定度；當電源管理模組10輸出的電源總量或電源穩定度低於預定範圍時，代表此時電力供應已經不足，進而造成輸出電源之值發生大幅波動。
在本發明一實施例中，當電源管理模組10所提供之電源狀態訊號S2表示其輸出的電源總量或電源穩定度介於預定範圍內時，處理器40可調降影像感測模組20中每一影像感測器的取樣頻率，以及調降處理器40輸出訊息的頻率，進而減少耗電量。在本發明另一實施例中，當電源管理模組10所提供之電源狀態訊號S2表示其輸出的電源總量或電源穩定度並低於預定範圍時，處理器40可調降影像感測模組20中每一影像感測器的取樣頻率、調降處理器40輸出訊息的頻率，以及將眼動追蹤模組100或200切換至至省電模式，進而更進一步減少耗電量
在本發明另一實施例中，感測模組20包含左眼影像感測器20L和右眼影像感測器20R，可分別以特定取樣頻率來擷取使用者左眼和右眼的影像。處理器40可另根據左眼影像感測器20L和右眼影像感測 器20R所紀錄的影像資料來調整左眼影像感測器20L和右眼影像感測器20R之取樣頻率、處理器40輸出訊息的頻率，或切換眼動追蹤模組100或200之運作模式。舉例來說，針對左眼影像感測器20L和右眼影像感測器20R所紀錄的影像幀(frame)，處理器40可判斷是否已經超過一預定數量的連續影像幀未包含一預定物件。上述預定物件可為使用者的眼睛、瞳孔或其他臉部資訊，當判定已經超過預定數量的連續影像幀未包含預定物件時，代表此時使用者可能未穿戴眼動追蹤模組100或200所安裝之頭戴式裝置，或是長時間並沒有任何眼部活動，因此不需要執行眼動追蹤的相關運作。在這種情況下，處理器40可調降每一影像感測器之取樣頻率和處理器40輸出訊息的頻率，及/或將眼動追蹤模組100或200切換至睡眠模式或關機模式，進而減少耗電量。
在本發明另一實施例中，感測模組20包含左眼影像感測器20L、右眼影像感測器20R以及場景影像感測器20C，其中左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，而場景影像感測器20C可紀錄使用者視野範圍內的影像資料。除了依據左眼影像感測器20L和右眼影像感測器20R所紀錄的眼部影像資料之外，處理器40另可根據場景影像感測器20C所紀錄的場景影像資料來調整左眼影像感測器20L和右眼影像感測器20R之取樣頻率、處理器40輸出訊息的頻率，或切換眼動追蹤模組100之運作模式。舉例來說，針對場景影像感測器20C所紀錄的影像幀，處理器40可判斷是否已經超過一預定數量的連續影像幀未包含一預定物件。上述預定物件可為相關眼動追蹤運作之特定光源或特定影像，當判定已經超過預定數量的連續影像幀未包含預定物件時，代表此時並沒有執行中的 眼動追蹤運作。在這種情況下，處理器40可調降每一影像感測器之取樣頻率和處理器40輸出訊息的頻率，及/或將眼動追蹤模組切換至睡眠模式或關機模式，進而減少耗電量。
在本發明另一實施例中，感測模組20包含左眼影像感測器20L、右眼影像感測器20R，以及場景影像感測器20C，其中左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，而場景影像感測器20C可紀錄使用者視野範圍內的影像資料。除了依據左眼影像感測器20L和右眼影像感測器20R所紀錄的眼部影像資料之外，處理器40另可根據場景影像感測器所紀錄的場景影像資料來調整左眼影像感測器20L和右眼影像感測器20R之取樣頻率、處理器40輸出訊息的頻率，或切換眼動追蹤模組100之運作模式。舉例來說，處理器40可判斷場景影像感測器20C所紀錄的影像幀中是否包含源自於使用者的預定訊息。上述特定訊息可為相關眼動追蹤運作之使用者手勢，當判定場景影像感測器20C所紀錄的影像幀中並未包含源自於使用者的預定訊息時，代表此時並沒有執行中的眼動追蹤運作。在這種情況下，處理器40可調降每一影像感測器之取樣頻率和處理器40輸出訊息的頻率，及/或將眼動追蹤模組切換至睡眠模式或關機模式，進而減少耗電量。
在本發明另一實施例中，感測模組20包含左眼影像感測器20L、右眼影像感測器20R，以及聲音感測器22，其中左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，而聲音感測器22可紀錄相關使用者所在環境的聲音資 料。除了依據左眼影像感測器20L和右眼影像感測器20R所紀錄的眼部影像資料之外，處理器40另可根據聲音感測器所紀錄之聲音資料來調整左眼影像感測器20L和右眼影像感測器20R之取樣頻率、處理器40輸出訊息的頻率，或切換電源管理模組之運作模式。上述聲音資料可為使用者所在環境中相關眼動追蹤運作之聲音內容、音量大小、音頻，及/或聲音持續時間，當依據上述聲音資料判定目前並沒有執行中的眼動追蹤運作時，處理器40可調降每一影像感測器之取樣頻率和處理器40輸出訊息的頻率，及/或將眼動追蹤模組切換至睡眠模式或關機模式，進而減少耗電量。
在本發明另一實施例中，感測模組20包含左眼影像感測器20L、右眼影像感測器20R，以及接近感測器24，其中左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，而接近感測器24可紀錄使用者所在環境中相關眼動追蹤運作之動作資料。除了依據左眼影像感測器20L和右眼影像感測器20R所紀錄的眼部影像資料之外，處理器40另可根據接近感測器24所紀錄之動作資料來調整左眼影像感測器20L和右眼影像感測器20R之取樣頻率、處理器40輸出訊息的頻率，或切換電源管理模組之運作模式。舉例來說，當依據上述動作資料判定目前並沒有執行中的眼動追蹤運作時，處理器40可調降每一影像感測器之取樣頻率和處理器40輸出訊息的頻率，及/或將眼動追蹤模組切換至睡眠模式或關機模式，進而減少耗電量。
在本發明另一實施例中，感測模組20包含左眼影像感測器 20L和右眼影像感測器20R，而照明裝置30包含單一紅外光光源IR1和光源驅動器32。左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，紅外光光源IR1用來照亮使用者的眼睛，而光源驅動器32可依據處理器40提供之亮度控制訊號S4來控制紅外光光源IR1的運作，進而調整左眼影像感測器20L和右眼影像感測器20R所記錄影像的品質。當判定電源管理模組10的供電狀態(例如輸出的電源總量或電源穩定度)低於預定範圍內時，代表此時電力供應已經不足或輸出電源之值發生大幅波動，此時處理器40會指示光源驅動器32去調降紅外光光源IR1之強度或關閉紅外光光源IR1，進而減少耗電量。當判定左眼影像感測器20L和右眼影像感測器20R所擷取的影像品質低於一預定標準時，處理器40可指示光源驅動器32去調高紅外光光源IR1之強度以提昇影像品質。當處理器40將眼動追蹤模組100或200之運作模式切換至睡眠或關機模式時，其亦會指示光源驅動器32去關閉照明裝置30之紅外光光源IR1。
在本發明另一實施例中，感測模組20包含複數個左眼影像感測器20L和複數個右眼影像感測器20R，而照明裝置30包含複數個紅外光光源IR1~IRN(N為大於1之整數)和光源驅動器32。複數個左眼影像感測器20L和複數個右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，紅外光光源IR1~IRN用來照亮使用者的眼睛，而光源驅動器32可依據處理器40提供之亮度控制訊號S4來分別控制紅外光光源IR1~IRN的運作，進而調整左眼影像感測器20L和右眼影像感測器20R所記錄影像的品質。處理器40另可依據電源管理模組10的供電狀態(例如輸出的電源總量或電源穩定度)、感測模組20中影像感測器所 擷取影像的品質，及/或眼動追蹤模組100的運作狀況(例如是否在進行校正/再校正)，來選擇性地開啟或關閉照明裝置30中特定位置/數目的光源或感測模組20中特定位置/數目的影像感測器，並依據開啟之影像感測器所紀錄的影像資料來輸出使用者的眼睛特徵或凝視位置的訊息。舉例來說，當依據電源狀態訊號S2判定電源管理模組10的供電狀態(例如輸出的電源總量或電源穩定度)低於預定範圍時，處理器40可指示光源驅動器32去調降照明裝置30之亮度，或關閉感測模組20中更多影像感測器以減少耗電量。當左眼影像感測器20L和右眼影像感測器20R所擷取影像的品質低於一預定標準時，處理器40可指示光源驅動器32去開啟照明裝置30中更多紅外光光源或開啟感測模組20中更多影像感測器以提高影像品質。當眼動追蹤模組100或200正在進行校正/再校正運作時，處理器40可指示光源驅動器32去開啟照明裝置30中更多紅外光光源或開啟感測模組20中更多影像感測器，進而提昇校正/再校正的精準度。
在一實施例中，本發明可針對眼動追蹤模組100或200的不同應用場域分別定義對於眼動追蹤運作的精確度最大容許值，以及針對照明裝置30之不同亮度或感測模組20中所採用不同數量影像感測器之訊號分別定義眼動追蹤運作的精確度評估值。針對電源管理模組10的供電狀態(例如輸出的電源總量或電源穩定度)低於一預定範圍、左眼影像感測器20L和右眼影像感測器20R所擷取影像的品質低於一預定標準，和眼動追蹤模組100或200正在進行校正/再校正運作的三種情境，若判定上述三種情境中兩種以上同時發生，處理器40可依據相關當下應用場域之精確度最大容許值和精確度評估值來執行相對應的處理。 若精確度評估值小於當下應用場域對於眼動追蹤運作的精確度最大容許值，處理器40會以電力維持為優先考量，因此在判定上述三種情境中兩種以上同時發生的情況下會關閉更多光源或採用較賞影像感測器。反之，若精確度評估值大於當下應用場域對於眼動追蹤運作的精確度最大容許值，處理器40會以維持或提升眼動追蹤運作的精確度為優先，因此在判定上述三種情境中兩種以上同時發生的情況下會開啟更多光源或採用更多影像感測器所紀錄的影像資料來做眼動追蹤分析。
在另一實施例中，使用者可自行設定是以電力維持為優先，或以維持或提升眼動追蹤運作的精確度為優先。假設電源管理模組10的供電狀態(例如輸出的電源總量或電源穩定度)低於一預定範圍、左眼影像感測器20L和右眼影像感測器20R所擷取影像的品質低於一預定值，和眼動追蹤模組100正在進行校正/再校正運作的上述三種情境中兩種以上同時發生。當使用者設定是以電力維持為優先時，處理器40會關閉特定位置/數量的光源或影像感測器。反之，當使用者設定是以維持或提升眼動追蹤運作的精確度為優先時，處理器40會開啟更多光源或採用更多影像感測器所紀錄的影像資料來做眼動追蹤分析。
在另一實施例中，感測模組20包含一個或複數個左眼影像感測器20L和一個或複數個右眼影像感測器20R，而照明裝置30包含一個或複數個左眼紅外光光源、一個或複數個右眼紅外光光源，以及光源驅動器32。左眼紅外光光源和左眼影像感測器20L可設置在接近使用者左眼的位置，用來照亮左眼並拍攝左眼影像。右眼紅外光光源和右眼 影像感測器20R可設置在接近使用者右眼的位置，用來照亮右眼並拍攝右眼影像。處理器40可依據左眼影像和右眼影像的品質來提供影像控制訊號S3和亮度控制訊號S4，進而分別控制左右眼的紅外光光源與影像感測器。在以電力維持為優先的實施例中，當判定左眼影像的品質低於右眼影像的品質時，處理器40可指示光源驅動器32去關閉照明裝置30中更多數量的左眼紅外光光源、指示光源驅動器32去調低照明裝置30中已開啟左眼紅外光光源的亮度，或指示感測模組20去關閉更多數量的左眼影像感測器，進而減少耗電量。在維持或提升眼動追蹤運作的精確度為優先的實施例中，當判定左眼影像的品質低於右眼影像的品質時，處理器40可指示光源驅動器32去開啟照明裝置30中更多數量的左眼紅外光光源、指示光源驅動器32去調高照明裝置30中已開啟左眼紅外光光源的亮度，或指示感測模組20去開啟更多數量的左眼影像感測器，進而提昇左眼影像的品質。
在本發明另一實施例中，感測模組20包含左眼影像感測器20L、右眼影像感測器20R，和環境光感測器26，而照明裝置30包含一個或複數個紅外光光源IR1~IRN(N為大於1之整數)和光源驅動器32。左眼影像感測器20L和右眼影像感測器20R可分別以特定取樣頻率來擷取使用者左眼和右眼的影像，紅外光光源源IR1~IRN用來照亮使用者的眼睛，而光源驅動器32可依據處理器40提供之亮度控制訊號S4來控制紅外光光源IR1~IRN的運作，進而調整左眼影像感測器20L和右眼影像感測器20R所記錄影像的品質。處理器40可依據環境光感測器26所紀錄環境光源資料來提供亮度控制訊號S4，進而控制紅外光光源IR1~IRN之運作。上述環境光源可為太陽光或日光燈等，當判定環境光源的強度高 且均值分布時，處理器40可指示光源驅動器32去調降照明裝置30中特定位置/數目之紅外光光源之強度，或關閉照明裝置30中特定位置/數目之紅外光光源，進而減少耗電量。當判定環境光源的強度低或分布不均勻時，處理器40可指示光源驅動器32去調升照明裝置30中特定位置/數目之紅外光光源之強度，或開啟照明裝置30中更多數目之紅外光光源，進而提高影像品質。
如前所述，感測模組20可另包含至少一濾光元件，用來調整至少一影像感測器對特定波長光線的穿透率。在一實施例中，上述濾光元件僅對於紅外光具有高穿透性，並設置於感測模組20中至少一影像感測器之前，因此可減少影像感測器接收到的非紅外光成份，進而提高影像感測器所擷取影像的品質。在另一實施例中，當眼動追蹤模組100或200係安裝於一AR裝置、一智慧眼鏡，或任一具有透鏡的眼鏡型裝置上時，上述濾光元件僅會阻擋紅外光通過，並設置於透鏡非面向眼睛之那一側，因此可減少環境中紅外光源的干擾，進而增加影像感測器所擷取影像的品質。
第3圖為本發明實施例中眼動追蹤模組100或200實作方式之正視圖。第4圖為本發明實施例中眼動追蹤模組100或200實作方式之側視圖。為了說明目的，假設眼動追蹤模組100或200是安裝於一AR裝置、一智慧眼鏡，或任一具有透鏡的眼鏡型裝置上，且第3圖和第4圖僅顯示眼動追蹤模組100或200中感測模組20所包含之左眼影像感測器20L、右眼影像感測器20R、場景影像感測器20C和濾光元件F1~F3，照明裝置30中之一左眼光源IRL和一右眼光源IRR，以及顯示眼鏡型裝置所 包含之鏡片60和顯示螢幕70。由於眼動追蹤模組100或200之電源管理模組10、照明裝置30中之光源驅動器32、處理器40和記憶單元50可設置在任何合適位置，因此未顯示於第3圖或第4圖中。
在第3圖和第4圖所示之實施例中，濾光元件F1可設置在左眼影像感測器20L和右眼影像感測器20R面向使用者雙眼的那一側，且僅對於紅外光具有高穿透性。濾光元件F2可設置在場景影像感測器20C非面向使用者雙眼的那一側，且僅對非紅外光具有高穿透性。濾光元件F3可設置在鏡片60非面向使用者雙眼的那一側。在本發明實施例中，濾光元件F1-F3可為光學帶通濾光片、光學鍍膜、或任何對於不同波長光線具有不同穿透性的物質。然而，濾光元件F1-F3的設置位置和種類並不限定本發明之範疇。
在本發明另一實施例中，濾光元件F1-F3為電子控制式的濾光元件。依據左眼影像感測器20L和右眼影像感測器20R所紀錄的影像資料、電源管理模組10所提供之電源狀態訊號S2、及/或環境光感測器26所偵測到的環境光源狀態，處理器40可調整濾光元件F1-F3對於不同波長光線穿透性。舉例來說，當電源管理模組10所提供之電源狀態訊號S2表示其輸出的電源總量或電源穩定度低於預定範圍內時，處理器40除了會調降或關閉照明裝置30之光源以減少耗電量外，另會調整濾光元件F1-F3的穿透性以維持左眼影像感測器20L和右眼影像感測器20R所擷取影像的品質。
綜上所述，本發明提供一種可依據使用情境切換運作模式的 眼動追蹤模組。依據電源管理模組之供電狀況、影像感測器所紀錄的使用者眼睛影像、場景影像感測器所紀錄的場景影像資料、聲音感測器所紀錄使用者所在環境的聲音資料，及/或接近感測器所紀錄使用者所在環境中相關眼動追蹤運作之動作資料，本發明眼動追蹤模組可調整影像感測器之取樣頻率、調整處理器輸出訊息的頻率，調整照明裝置之亮度，或切換眼動追蹤模組之運作模式，進而減少耗電量或提高眼動追蹤的精準度。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:電源管理模組
20:感測模組
20L:左眼影像感測器
20R:右眼影像感測器
20C:場景影像感測器
22:聲音感測器
24:接近感測器
26:環境光感測器
30:照明裝置
32:光源驅動器
40:處理器
50:記憶單元
60:鏡片
70:顯示螢幕
200:眼動追蹤模組

Claims (21)

  1. 一種眼動追蹤模組，其包含：一電源管理模組，用來依據一電源控制訊號來供電以使該眼動追蹤模組在一相對應模式下運作，並提供相關其供電狀態之一電源狀態訊號；一感測模組，其包含：至少一影像感測器，用來以一取樣頻率來擷取一使用者的一眼睛影像；以及一場景影像感測器，用來紀錄該使用者在一視野範圍內所看見的一場景影像，其中該場景影像包含複數個影像幀；以及一處理器，用來：依據該眼睛影像計算該使用者的一眼睛特徵、一眼動訊息，及/或包含一凝視位置座標之視線資訊；判斷該複數個影像幀中是否已經超過一預定數量的連續影像幀未包含相關一眼動追蹤運作之一預定物件；以及依據該電源狀態訊號和該場景影像來調整該取樣頻率、調整該處理器輸出訊息的頻率，及/或切換該眼動追蹤模組的運作模式，其中：當判定該複數個影像幀中已經超過該預定數量的連續影像幀未包含該預定物件時，該處理器調降該取樣頻率、調降該處理器輸出訊息的頻率，及/或和將該眼動追蹤模組從一正常模式切換至一省電模式；且該眼動追蹤模組在該省電模式下運作時的耗電量低於在 該正常模式下運作時的耗電量。
  2. 如請求項1所述之眼動追蹤模組，其中：當依據該電源狀態訊號判定該電源管理模組所供應之一電源總量或一電源穩定度介於一預定範圍內時，該處理器另用來調降該取樣頻率或調降該處理器輸出訊息的頻率；且當依據該電源狀態訊號判定該電源總量或該電源穩定低於該預定範圍時，該處理器另用來調降該取樣頻率、調降該處理器輸出訊息的頻率，以及將該眼動追蹤模組從該正常模式切換至該省電模式。
  3. 如請求項1所述之眼動追蹤模組，其中：該眼睛影像包含複數個影像幀；且該處理器另用來：判斷該眼睛影像之該複數個影像幀中是否已經超過該預定數量的連續影像幀未包含相關該使用者臉部資訊之一預定物件；以及當判定該複數個影像幀中已經超過該預定數量的連續影像幀未包含該預定物件時，調降該取樣頻率、調降該處理器輸出訊息的頻率，及/或將該眼動追蹤模組從該正常模式切換至該省電模式。
  4. 如請求項1所述之眼動追蹤模組，其另包含：一第一濾光元件，設置在該至少一影像感測器面向該使用者之一 側，用來讓一第一預定波長範圍內的光線通過；以及一第二濾光元件，設置在該場景影像感測器前，用來讓一第二預定波長範圍內的光線通過，其中該第一預定波長範圍和該第二預定波長範圍並未重疊。
  5. 如請求項4所述之眼動追蹤模組，其中：該第一濾光元件和該第二濾光元件係電子控制式濾光元件；且該處理器另用來依據該眼睛影像的品質來調整該第一濾光元件和該第二濾光元件之光線穿透率。
  6. 如請求項1所述之眼動追蹤模組，其另包含：一第一濾光元件，設置在該至少一影像感測器面向該使用者之一側，用來讓一第一預定波長範圍內的光線通過。
  7. 如請求項6所述之眼動追蹤模組，其係安裝在包含一鏡片之一頭戴型裝置上，且另包含：一第二濾光元件，設置在該鏡片前，用來讓一第二預定波長範圍內的光線通過，其中該第一預定波長範圍和該第二預定波長範圍並未重疊。
  8. 如請求項6和7中任一項所述之眼動追蹤模組，其中：該第一濾光元件或該第二濾光元件係為一電子控制式濾光元件；且該處理器另用來依據該眼睛影像的品質來調整該第一濾光元件或 該第二濾光元件之光線穿透率。
  9. 如請求項1所述之眼動追蹤模組，其中：該感測模組另包含一聲音感測器，用來紀錄相關該使用者所在環境中的一聲音資料；且該處理器另依據該聲音資料來調整該取樣頻率、該處理器輸出訊息的頻率，及/或切換該眼動追蹤模組的運作模式。
  10. 如請求項1所述之眼動追蹤模組，其中：該感測模組另包含一接近感測器，用來紀錄該使用者所在環境中相關該眼動追蹤運作之一動作資料；且該處理器另依據該動作資料來調整該取樣頻率、該處理器輸出訊息的頻率，及/或切換該眼動追蹤模組的運作模式。
  11. 如請求項9和10中任一項所述之眼動追蹤模組，其中該處理器另用來：依據該聲音資料或該動作資料判斷目前該眼動追蹤運作是否在執行中；以及當依據該聲音資料或該動作資料判定該眼動追蹤運作目前並沒有在執行中時，調降該取樣頻率、調降該處理器輸出訊息的頻率，及/或和將該眼動追蹤模組從該正常模式切換至該省電模式。
  12. 如請求項1所述之眼動追蹤模組，其另包含一照明裝置， 其包含：至少一光源，用來照亮該使用者的眼睛；以及一光源驅動器，用來依據該處理器提供之一亮度控制訊號來調整該至少一光源的亮度。
  13. 如請求項12所述之眼動追蹤模組，其中該處理器另用來：當依據該電源狀態訊號判定該電源管理模組所供應之一電源總量或一電源穩定度低於一預定範圍時，提供該亮度控制訊號以指示該光源驅動器去調降該至少一光源之亮度或關閉該至少一光源。
  14. 如請求項12所述之眼動追蹤模組，其中該處理器另用來：依據該眼睛影像之品質來提供該亮度控制訊號以指示該光源驅動器去調整該至少一光源之亮度。
  15. 如請求項13和14中任一項所述之眼動追蹤模組，其中：當該眼動追蹤模組從該正常模式切換至該省電模式時，該處理器另用來提供該亮度控制訊號以指示該光源驅動器去調降該至少一光源之亮度或關閉該至少一光源。
  16. 如請求項1所述之眼動追蹤模組，其另包含一照明裝置，其包含：複數個光源，分別設置在不同位置以照亮該使用者的眼睛；以及一光源驅動器，用來依據一亮度控制訊號來分別調整該複數個光 源的亮度；其中：該感測模組包含複數個影像感測器；且該處理器另用來依據該電源狀態訊號或該眼睛影像之品質來選擇性地開啟或關閉該複數個光源中位於一個或多個第一特定位置之一個或多個光源，或選擇性地開啟或關閉該複數個影像感測器中位於一個或多個第二特定位置之一個或多個影像感測器。
  17. 如請求項16所述之眼動追蹤模組，其中該處理器另用來：判斷該眼動追蹤模組是否正在進行一校正運作或一再校正運作；以及當判定該眼動追蹤模組正在進行該校正運作或該再校正運作時，選擇性地開啟或關閉該複數個光源中位於該一個或多個第一特定位置之一個或多個光源，或選擇性地開啟或關閉該複數個影像感測器中位於該一個或多個第二特定位置之一個或多個影像感測器。
  18. 如請求項17所述之眼動追蹤模組，其中該處理器另用來：針對目前該眼動追蹤模組之一應用場域，判斷該應用場域對電力維持或眼動追蹤運作精確度的優先程度；依據該電源狀態訊號判斷該電源管理模組所供應之一電源總量或一電源穩定度是否低於一預定範圍；判斷該眼睛影像之品質是否低於一預定值； 針對該電源管理模組所供應之該電源總量或該電源穩定度低於該預定範圍之一第一情境、該眼睛影像之品質低於該預定值之一第二情境，以及該眼動追蹤模組正在進行該校正運作或該再校正運作之一第三情境，判斷該第一至該第三情境中是否有兩種情境同時發生；當判定該第一至該第三情境中至少有兩種情境同時發生，且判定該應用場域是以電力維持為優先之一第一情境時，關閉該複數個光源中位於該一個或多個第一特定位置之一個或多個光源以調低該照明裝置之亮度，或關閉該複數個影像感測器中位於該一個或多個第二特定位置之一個或多個影像感測器以減少被開啟影像感測器之數量；以及當判定該第一至該第三情境中至少有兩種情境同時發生，且判定該應用場域是以眼動追蹤運作精確度為優先時，開啟該複數個光源中位於該一個或多個第一特定位置之一個或多個光源以調高該照明裝置之亮度，或開啟該複數個影像感測器中位於該一個或多個第二特定位置之一個或多個影像感測器以增加被開啟影像感測器之數量。
  19. 如請求項16所述之眼動追蹤模組，其中：該感測模組另包含一環境光感測器，用來紀錄該使用者所在環境中的一環境光源資料；且該處理器另用來：當依據該環境光源資料判定該使用者所在環境中存在足夠亮度且分佈均勻的環境光源時，關閉該複數個光源中位於 該一個或多個第一特定位置之一個或多個光源以調低該照明裝置之亮度；以及當依據該環境光源資料判定該使用者所在環境中並未存在足夠亮度且分佈均勻的環境光源時，開啟該複數個光源中位於該一個或多個第一特定位置之一個或多個光源以調高照明裝置之亮度。
  20. 如請求項1所述之眼動追蹤模組，其中：該感測模組包含：一左眼影像感測器，用來以一左眼取樣頻率來擷取該使用者的一左眼影像；以及一右眼影像感測器，用來以一右眼取樣頻率來擷取該使用者的一右眼影像；該照明裝置包含：一左眼光源，用來照亮該使用者之左眼；一右眼光源，用來照亮該使用者之右眼；一光源驅動器，用來依據一亮度控制訊號來分別調整該左眼光源和該右眼光源的亮度；以及該處理器另用來：接收該左眼影像和該右眼影像，並判斷該左眼影像和該右眼影像之品質；依據該左眼影像之品質來選擇性地調整該左眼影像感測器和該左眼光源之運作；以及依據該右眼影像之品質來選擇性地調整該右眼影像感測器和 該右眼光源之運作。
  21. 如請求項1所述之眼動追蹤模組，其另包含：一記憶單元，用來儲存該處理器針對該眼動追蹤模組不同運作模式之韌體設定。
TW109117317A 2019-05-28 2020-05-25 可依據使用情境切換運作模式的眼動追蹤模組 TWI781404B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962853173P 2019-05-28 2019-05-28
US62/853,173 2019-05-28
US202062957279P 2020-01-05 2020-01-05
US62/957,279 2020-01-05

Publications (2)

Publication Number Publication Date
TW202101976A TW202101976A (zh) 2021-01-01
TWI781404B true TWI781404B (zh) 2022-10-21

Family

ID=73506292

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109117317A TWI781404B (zh) 2019-05-28 2020-05-25 可依據使用情境切換運作模式的眼動追蹤模組

Country Status (3)

Country Link
US (1) US11140319B2 (zh)
CN (1) CN112015265B (zh)
TW (1) TWI781404B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108209857B (zh) * 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
SE545387C2 (en) * 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
CN116107419A (zh) * 2021-11-10 2023-05-12 华为技术有限公司 一种与电子设备进行交互的方法及电子设备
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US11720168B1 (en) 2022-05-25 2023-08-08 Microsoft Technology Licensing, Llc Inferred body movement using wearable RF antennas
US11775057B1 (en) * 2022-05-25 2023-10-03 Microsoft Technology Licensing, Llc Head-mounted display operation based on face tracking
TWI814669B (zh) * 2022-12-28 2023-09-01 華碩電腦股份有限公司 影像感測器的電源穩定度檢測方法與檢測裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268045A1 (en) * 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
US20130106681A1 (en) * 2011-10-27 2013-05-02 Tobii Technology Ab Power management in an eye-tracking system
US20140145914A1 (en) * 2012-11-29 2014-05-29 Stephen Latta Head-mounted display resource management
US20160274659A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active power management
US20190158819A1 (en) * 2016-08-03 2019-05-23 Samsung Electronics Co., Ltd. Electronic device and gaze tracking method of electronic device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043382A (ja) * 1999-07-27 2001-02-16 Fujitsu Ltd 目追跡装置
US8398239B2 (en) * 2009-03-02 2013-03-19 Honeywell International Inc. Wearable eye tracking system
US10073518B2 (en) * 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
JP6171781B2 (ja) * 2013-09-20 2017-08-02 大日本印刷株式会社 視線分析システム
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
WO2017001146A1 (en) * 2015-06-29 2017-01-05 Essilor International (Compagnie Générale d'Optique) A scene image analysis module
KR101790656B1 (ko) * 2015-10-29 2017-10-27 디노플러스 (주) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법
US10627899B2 (en) * 2018-02-09 2020-04-21 Microsoft Technology Licensing, Llc Eye tracking system for use in a visible light display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090268045A1 (en) * 2007-08-02 2009-10-29 Sudipto Sur Apparatus and methods for configuration and optimization of image sensors for gaze tracking applications
US20130106681A1 (en) * 2011-10-27 2013-05-02 Tobii Technology Ab Power management in an eye-tracking system
US20140145914A1 (en) * 2012-11-29 2014-05-29 Stephen Latta Head-mounted display resource management
US20160274659A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active power management
US20190158819A1 (en) * 2016-08-03 2019-05-23 Samsung Electronics Co., Ltd. Electronic device and gaze tracking method of electronic device

Also Published As

Publication number Publication date
CN112015265B (zh) 2024-02-23
CN112015265A (zh) 2020-12-01
US11140319B2 (en) 2021-10-05
US20200382717A1 (en) 2020-12-03
TW202101976A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
TWI781404B (zh) 可依據使用情境切換運作模式的眼動追蹤模組
US9064445B2 (en) Transmission type display device, display method and display program
US11616906B2 (en) Electronic system with eye protection in response to user distance
US9622326B1 (en) Method and device for determining emitted light intensity level
US9171198B1 (en) Image capture technique
CN107111145B (zh) 头戴式显示装置和显示方法
US9507147B2 (en) Wearable display system with detached projector
CN111095077B (zh) 具有自适应显示器的电子设备
US10783835B2 (en) Automatic control of display brightness
US10459223B2 (en) Systems, devices, and methods for variable luminance in wearable heads-up displays
CN104573667A (zh) 一种提高移动终端的虹膜图像质量的虹膜识别装置
TW201737237A (zh) 電子裝置、螢幕調節系統及方法
JP2017113573A (ja) 視力検査装置及び視の検査方法
Ma et al. Automatic brightness control of the handheld device display with low illumination
US11853473B2 (en) Differential illumination for corneal glint detection
WO2018219292A1 (zh) 一种信息终端的背景照明装置
US11071650B2 (en) Visibility enhancing eyewear
JP2016220042A (ja) 視認装置、視認システム及び建造物の点検方法
US20220273171A1 (en) Influencing pupil diameter to improve vision
CN102543033A (zh) Pc机用背景亮度自调控装置
JP2007156968A (ja) 画像読取表示装置
Naugle et al. Two gaze-detection methods for power reduction in near-to eye displays for wearable computing
CN104700785A (zh) 一种阅读器用电子显示单元

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent