TWI722264B - 眼球追蹤裝置及其方法 - Google Patents

眼球追蹤裝置及其方法 Download PDF

Info

Publication number
TWI722264B
TWI722264B TW107100306A TW107100306A TWI722264B TW I722264 B TWI722264 B TW I722264B TW 107100306 A TW107100306 A TW 107100306A TW 107100306 A TW107100306 A TW 107100306A TW I722264 B TWI722264 B TW I722264B
Authority
TW
Taiwan
Prior art keywords
image
eye
area
eye image
iris
Prior art date
Application number
TW107100306A
Other languages
English (en)
Other versions
TW201909834A (zh
Inventor
劉曉薇
藍于瀅
林信成
郭仲倫
葉佳良
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Publication of TW201909834A publication Critical patent/TW201909834A/zh
Application granted granted Critical
Publication of TWI722264B publication Critical patent/TWI722264B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Abstract

本揭露提供眼球追蹤裝置以及用於眼球追蹤裝置的眼球追蹤方法。眼球追蹤裝置包括影像擷取裝置以及運算裝置。影像擷取裝置用於擷取臉部影像。運算裝置耦接影像擷取裝置。運算裝置接收臉部影像以取得眼睛影像，並且識別眼睛影像當中的至少一個虹膜區域。運算裝置從至少一個虹膜區域中選擇最大的虹膜區域以取得最大面積虹膜區域的擬合圖形，並且依據擬合圖形取得眼睛影像的凝視點。

Description

眼球追蹤裝置及其方法
本揭露是有關於一種眼球追蹤裝置及其方法。
隨著互動式裝置的普及，在接觸式或非接觸式互動方式中，眼球追蹤技術是技術重點之一，其主要的原理是透過影像擷取裝置擷取眼睛影像，利用識別眼睛影像的凝視點來做為基本的互動輸入資訊。
然而，當一般影像擷取裝置擷取到的眼睛影像時，可能會因為擷取到外部光源投射到眼睛區域上所造成的眩光，或可能因為透光介質，例如是眼鏡、護目鏡、防護面罩、角膜放大片眼鏡或隱形眼鏡等，存在於影像擷取裝置與眼睛之間而造成眼球的影像對比度不足或者是造成眼球識別特徵上的遮蔽。亦也可能因為不同人種的虹膜眼色變異，造成眼球的影像對比度不足等原因。因此眩光、眼球的影像對比度不足或者是眼球識別特徵上的遮蔽，都會造成眼球追蹤裝置誤判眼睛影像的凝視點，進而產生錯誤的互動輸入資訊。
本揭露提供一種眼球追蹤裝置以及眼球追蹤方法，用以排除因眩光、眼球的影像對比度不足或者是眼球識別特徵上的遮蔽所造成的凝視點誤判，以取得高精確性的凝視點。
依據一示範實施例，一種眼球追蹤裝置包括影像擷取裝置以及運算裝置。影像擷取裝置用於擷取臉部影像。運算裝置耦接影像擷取裝置。運算裝置接收臉部影像以取得眼睛影像，並且識別眼睛影像當中的至少一個虹膜區域。運算裝置從至少一個虹膜區域中選擇最大的虹膜區域並取得最大面積虹膜區域的擬合圖形，從而依據擬合圖形取得眼睛影像的凝視點。
依據一示範實施例，一種眼球追蹤方法包括：擷取臉部影像；取得臉部影像的眼睛影像；識別眼睛影像當中的至少一個虹膜區域；自至少一個虹膜區域選擇最大面積虹膜區域以取得最大面積虹膜區域的擬合圖形；以及依據擬合圖形取得眼睛影像的凝視點。
基於上述，本揭露的眼球追蹤裝置以及眼球追蹤方法透過選擇最大的虹膜區域，並且取得最大面積虹膜區域的擬合圖形，從而依據擬合圖形取得眼睛影像的凝視點，藉以提高識別凝視點的精確度。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、700、900:眼球追蹤裝置
110:影像擷取裝置
120:運算裝置
S210~S250:步驟
A1~A5:虹膜區域
D1~D5:最大顯著方向性主軸
C1~C5:擬合圓
IA:最大面積虹膜區域
SA1、SA2:鞏膜區域
Pg:凝視點
Cmin:最小包覆圓形
S610~S660:步驟
730:訓練裝置
740:儲存裝置
CP、CP1、CP2:分類參數
S810~S870:步驟
950:顯示裝置
圖1是依照本揭露一實施例而繪示的眼球追蹤裝置示意圖。
圖2是依照本揭露一實施例而繪示的眼球追蹤方法流程圖。
圖3A~3C是依據本揭露的一實施例而繪示的識別虹膜區域示意圖。
圖4是依據本揭露的一實施例而繪示的虹膜區域與非虹膜區域示意圖。
圖5是依據本揭露的一實施例而繪示的擬視點示意圖。
圖6是依照本揭露另一實施例而繪示的眼球追蹤方法流程圖。
圖7是依照本揭露另一實施例而繪示的眼球追蹤裝置示意圖。
圖8是依據圖7的實施例而繪示的眼球追蹤方法流程圖。
圖9是依照本揭露再一實施例而繪示的眼球追蹤裝置示意圖。
請參考圖1及圖2，圖1是依照本揭露一實施例而繪示的眼球追蹤裝置示意圖。圖2是依照本揭露一實施例而繪示的眼球追蹤方法流程圖。在圖1及圖2的實施例中，眼球追蹤裝置100包括影像擷取裝置110以及運算裝置120。在步驟S210中，影像擷取裝置110擷取至少一張臉部影像。在一實施例中，臉部影像可以是被包括於或不包括於串流影像之中。臉部影像可以不需要是全臉影像，抑或是包括眼睛影像的局部臉部影像。且，影像擷 取裝置110可以是網路攝像機，工業用攝像機、紅外線攝像機、彩色攝像機等攝像裝置。影像擷取裝置110可以是包括至少一個攝像機的攝像裝置。在本實施例中，臉部影像可以是彩色臉部影像或灰階臉部影像，本揭露中並不以臉部影像的色彩組合為限。
運算裝置120耦接影像擷取裝置110。運算裝置120可以是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，其可載入並執行電腦程式，以完成對應的操作功能。在一實施例中，運算裝置120也可以硬體電路方式來實現各種操作功能，其詳細步驟及實施方式可以由所屬技術領域的通常知識獲致足夠的教示、建議與實施說明。
接下來，運算裝置120可透過有線或無線的通訊方式，接收來自於影像擷取裝置110所擷取的臉部影像。無線通訊方式可以是全球行動通信(global system for mobile communication，GSM)、個人手持式電話系統(personal handy-phone system，PHS)、碼多重擷取(code division multiple access，CDMA)系統、寬頻碼分多址(wideband code division multiple access,WCDMA)系統、長期演進(long term evolution，LTE)系統、全球互通微波存取(worldwide interoperability for microwave access，WiMAX) 系統、無線保真(wireless fidelity,Wi-Fi)系統或藍牙的信號傳輸。
並且在步驟S220中，運算裝置120從臉部影像中取得眼睛影像。在步驟S230中，運算裝置120識別眼睛影像當中的至少一個虹膜區域。在至少一個虹膜區域中，只有一個虹膜區域實際存在著虹膜。眼睛影像當中的其他虹膜區域可能是因為眩光、眼球的影像對比度不足或者是眼球識別特徵上的遮蔽，所造成的誤判結果。因此本實施例的至少一個虹膜區域可被視為候選虹膜區域。運算裝置120可以依據已內建的權重值以及閥值等分類參數，對眼睛影像的顏色及灰階值進行分類，以分類出至少一個候選虹膜區域。
應注意的是，眩光、眼球的影像對比度不足或者是眼球識別特徵上的遮蔽，都有可能造成候選虹膜區域的結構呈現非圓形或非橢圓形的不規則形狀。舉例來說，請參考圖3A~3C，圖3A~3C是依據本揭露的一實施例而繪示的識別虹膜區域示意圖。在圖3A中，由於眩光、眼球的影像對比度不足或者是眼球識別特徵上的遮蔽，而產生5個不規則形狀的候選虹膜區域A1~A5。
接下來，在圖3B中，運算裝置可透過連通元件(connected-component)標記演算法，定義出各個候選的虹膜區域A1~A5的最大顯著方向性主軸D1~D5。連通元件標記演算法可以是四連通(4-connected)演算法或者是八連通(8-connected)演算法。在圖3C中，運算裝置定義出各個候選虹膜區域A1~A5的最大顯著方向性主軸D1~D5後，並計算出各個候選虹膜區域 A1~A5的擬合圖形C1~C5。接下來，運算裝置可藉由各個候選虹膜區域A1~A5的擬合圖形C1~C5的半徑，以從擬合圖形C1~C5中判斷出最大的擬合圖形，並將最大的擬合圖形視為虹膜區域。以本實施例為例，運算裝置可判斷出擬合圖形C3是最大的擬合圖形，並且將對應於擬合圖形C3的虹膜區域視為最大面積虹膜區域。
再回到圖1與圖2的實施例。在步驟S240中，運算裝置120從至少一個虹膜區域中選擇最大的虹膜區域。最大面積虹膜區域即是實際存在著虹膜的虹膜區域。運算裝置120在最大面積虹膜區域上定義出最大面積虹膜區域的擬合圖形。
請參考圖4，圖4是依據本揭露的一實施例而繪示的虹膜區域與非虹膜區域示意圖。在本實施例的分類結果中，運算裝置120可將眼睛影像區分為最大面積虹膜區域IA的擬合圖形，還可以將眼睛影像中的最大面積虹膜區域IA的擬合圖形以外的區域，判斷為非虹膜區域。而在本實施例的非虹膜區域中又可區分為鞏膜區域SA1、SA2。在此應注意的是，鞏膜區域SA1、SA2大致上是包圍著最大面積虹膜區域IA。也就是說，鞏膜區域SA1、SA2間接提供了最大面積虹膜區域IA的輪廓。因此鞏膜區域SA1、SA2的形狀或面積的變化，可有效地輔助判斷最大面積虹膜區域IA的移動狀況。本揭露並不以鞏膜區域的數量為限。
再回到圖1與圖2的實施例。並且在步驟S250中，運算裝置120依據擬合圖形取得眼睛影像的凝視點。
請參考圖5，圖5是依據本揭露的一實施例而繪示的擬視點示意圖。在圖5的實施例中，最大面積虹膜區域的擬合圖形是可包覆最大面積虹膜區域的最小包覆圓形Cmin，凝視點Pg可以是最大面積虹膜區域的最小包覆圓形Cmin的圓心。在其他實施例中，最大面積虹膜區域的擬合圖形可能是可包覆最大面積虹膜區域的最小包覆橢圓形，凝視點Pg則會是最小包覆橢圓形中心的區域的多個參考點，而不是單一參考點。在一實施例中，最大面積虹膜區域的擬合圖形可能是可包覆最大面積虹膜區域的最小包覆橢圓形，凝視點Pg則會是最小包覆橢圓形中心的區域的長軸的中心點。
在一些實施例中，運算裝置120還可以在取得眼睛影像後，對眼睛影像外的區域進行遮罩，使運算裝置120不需要對眼睛影像外的區域進行識別，以降低運算裝置的運算負荷。
請同時參考圖1及圖6，圖6是依照本揭露另一實施例而繪示的眼球追蹤方法流程圖，可適用於眼球追蹤裝置100。與圖1及圖3的實施例差別在於，在圖1及圖6的實施例中，運算裝置120在步驟S620取得眼睛影像之後，在步驟S630中還可對眼睛影像執行圖像強化操作。圖像強化操作可包括影像亮度調整操作、影像對比度增加操作及/或維克特(Weickert)圖像增強操作。運算裝置藉由圖像強化操作以強化該眼睛影像，並且產生經強化後的該眼睛影像，從而定義經強化後的眼睛影像的至少一個虹膜區域。
在圖1及圖6的實施例中，影像亮度調整是用以調高眼睛影像中灰階過小的位置的亮度。在一些實施例中，影像亮度調整是用以調低眼睛影像中灰階過大的位置的亮度。在另一實施例中，影像亮度調整是用以調高眼睛影像中灰階過小的位置的亮度，並且調低眼睛影像中灰階過大的位置的亮度。又在另一實施例中，除了亮度以外，如果影像的解析度太低，也就是眼睛影像相對模糊，則可以增強眼睛圖像以改善邊緣信息。
接下來，運算裝置120可將經影像亮度調整後的眼睛影像，進行維克特圖像增強操作，藉以對經影像亮度調整後的眼睛影像依序進行平均曲率流、一致性增強擴散以及高斯平滑化等影像處理。如此一來，經強化後的眼睛影像中的影像較為平滑且清楚，提升影像品質並降低眩光與虹膜噪訊比，藉以更容易識別眼睛影像當中的至少一個虹膜區域。
在一些實施例中，運算裝置120還可以在步驟S630之後對眼睛影像外的區域進行遮罩，也就是對經強化後的眼睛影像外的區域進行遮罩。在一些實施例中，運算裝置120還可以在步驟S630之前對眼睛影像外的區域進行遮罩，再對眼睛影像執行圖像強化操作。本揭露並不以圖6的實施例為限。
在圖1及圖6的實施例中，步驟S640~S660的作業流程與圖1及圖2的實施例的步驟S230~S250相同，因此不再贅述。
請同時參考圖7及圖8，圖7是依照本揭露另一實施例而繪示的眼球追蹤裝置示意圖。圖8是依據圖7的實施例而繪示的 眼球追蹤方法流程圖。與圖1不同的是，圖7中的眼球追蹤裝置700還包括訓練裝置730以及儲存裝置740。與圖2不同的是，圖8具有步驟S860、S870。
在圖7及圖8的實施例中，運算裝置120可針對經強化後的眼睛影像執行分類操作。在本實施例中，分類操作可以是透過多層類神經網路來執行分類。運算裝置120可依據內建的分類參數CP，對眼睛影像中的顏色與灰階值進行分類，以分類出至少一個候選虹膜區域。在分類出至少一個候選虹膜區域之後，運算裝置120會由至少一個候選虹膜區域中，選出一個最大的候選虹膜區域為虹膜區域。在多層類神經網路方式的模型訓練中，並不限於眼睛影像是否經過強化處理，或者是眼睛影像外的區域是否已進行遮罩。
在本實施例中，訓練裝置730用以在步驟S860中對收集到的眼睛影像樣本進行訓練操作以產生分類參數CP。儲存裝置740耦接於該訓練裝置730以及運算裝置120，用以在步驟S870中儲存該分類參數CP，並且使該運算裝置120在步驟S830中依據分類參數CP以識別眼睛影像當中的至少一個虹膜區域。在本實施例中，眼睛影像可依據不同的訓練情境或虹膜色調等條件，來執行對應的訓練類別。
舉例來說，訓練類別可包括虹膜顏色、配戴眼鏡、虹膜眩光、眼鏡眩光、配戴角膜放大片、裸視以及環境光源的至少其中之一或其中的任意組合。
在本實施例中，不同的訓練類別所進行的訓練操作會產生對應的分類參數CP。舉例來說，訓練裝置730使用具有虹膜眩光的眼睛影像樣本進行訓練操作，可產生對於虹膜眩光具有最大信賴度的分類參數CP1。另舉例來說，使用具有配戴角膜放大片而造成虹膜被遮蔽，並且角膜放大片上具有眩光的眼睛影像樣本，進行訓練操作，可產生對於對應於配戴角膜放大片以及在角膜放大片上具有眩光具有最大信賴度的分類參數CP2。
在本實施例中，訓練裝置730可以是中央處理裝置(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置或這些裝置的組合，其可載入並執行電腦程式，以完成對應的操作功能。在一實施例中，訓練裝置730也可以硬體電路方式來實現各種操作功能，其詳細步驟及實施方式可以由所屬技術領域的通常知識獲致足夠的教示、建議與實施說明。儲存裝置可以是任何型態的固定或可移動隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。
在一些實施例中，臉部影像的眼睛影像可以作為眼睛影像樣本。
在一些實施例中，訓練裝置730可以對單一個眼睛影像樣本進行固定訓練類別的訓練操作以產生分類參數CP。在一些實施例中，訓練裝置730可以對多個眼睛影像樣本進行固定訓練類別的訓練操作以產生一組或多組分類參數CP。在一些實施例中，訓練裝置730更可以對多個眼睛影像樣本進行多個訓練類別的訓練操作以產生多組分類參數CP。本揭露並不以訓練類別、眼睛影像樣本以及分類參數CP的數量為限。
在一些實施例中，眼球追蹤裝置700更可以包括多個訓練裝置，藉以取得多組分類參數CP。在步驟S870中，儲存裝置740可透過有線或無線通訊方式，接收來自於訓練裝置730所產生的分類參數CP。在一些實施例中，儲存裝置740可配置於運算裝置120的內部。
在圖7及圖8的實施例中，運算裝置在步驟S820後可選擇是否進行強化眼睛影像的作業。隨後，則進入步驟S830。
在步驟S830中，運算裝置120可從至少一組分類參數中，依據眼睛影像的類別自儲存裝置740選取出具有最大信賴度的分類參數，以識別眼睛影像當中的虹膜區域。眼睛影像的類別可包括虹膜顏色、配戴眼鏡、虹膜眩光、眼鏡眩光、配戴角膜放大片、裸視以及環境光源的至少其中之一或其中的任意組合。在本實施例中，眼睛影像的類別大致上可以與訓練類別相似。舉例來說，當運算裝置120判斷眼睛影像具有虹膜眩光。則運算裝置120可從儲存裝置740選取出對於虹膜眩光具有最大信賴度的分 類參數CP1。另舉例來說，當運算裝置120判斷眼睛影像具有配戴角膜放大片而造成虹膜被遮蔽，並且角膜放大片上具有眩光。則運算裝置120可從儲存裝置740選取出對應於配戴角膜放大片以及在角膜放大片上具有眩光的情境下，具有最大信賴度的分類參數CP2。如此一來，可明顯改善虹膜區域識別的精確度。
在步驟S830中，運算裝置120依據單一組分類參數CP或最大信賴度的分類參數CP識別眼睛影像當中的至少一個虹膜區域後，進而產生至少一個候選虹膜區域。
在圖7及圖8的實施例中，步驟S840、S850的作業流程，已經在圖1及圖2的實施例中清楚說明，因此不再行贅述。
請參照圖9，圖9是依照本揭露再一實施例而繪示的眼球追蹤裝置示意圖。與圖1不同的是，圖9的眼球追蹤裝置900還包括顯示裝置950。顯示裝置950耦接於運算裝置120並且依據眼睛影像的凝視點顯示輸出響應。在本實施例中，顯示裝置950可透過有線或無線方式接收眼睛影像的凝視點，並且顯示對應於眼睛影像的凝視點變化的輸出響應可例如是游標、畫面捲動方向或者是物件移動方向。顯示裝置950可為液晶顯示器(liquid crystal display，LCD)、發光二極體(light-emitting diode，LED)、場發射顯示器(field emission display，FED)、有機發光二極體(Organic Light-Emitting Diode，OLED)、主動矩陣有機發光二極體(Active-Matrix Organic Light-Emitting Diode，AMOLED)、軟性顯示器(Flexible display)、透明發光二極體顯示器(Transparent light emitted diode display)等提供顯示功能的顯示裝置。
綜上所述，本揭露的眼球追蹤裝置以及眼球追蹤方法透過影像擷取裝置擷取臉部影像。運算裝置接收該臉部影像以取得眼睛影像，由眼睛影像中選擇最大的虹膜區域，並且取得最大面積虹膜區域的擬合圖形，從而依據擬合圖形取得眼睛影像的凝視點，藉以提高識別凝視點的精確度。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧眼球追蹤裝置
110‧‧‧影像擷取裝置
120‧‧‧運算裝置

Claims (26)

  1. 一種眼球追蹤裝置，包括：一影像擷取裝置，用於擷取至少一臉部影像；以及一運算裝置，耦接該影像擷取裝置，該運算裝置接收該至少一臉部影像以取得一眼睛影像，識別該眼睛影像當中的至少一個虹膜區域，自該至少一個虹膜區域選擇一最大面積虹膜區域並取得該最大面積虹膜區域的一擬合圖形，以及依據該擬合圖形取得該眼睛影像的一凝視點；一訓練裝置，耦接該運算裝置，用以對一眼睛影像樣本進行一訓練操作以產生一分類參數；以及一儲存裝置，耦接於該訓練裝置以及該運算裝置，用以儲存該分類參數並且使該運算裝置依據該分類參數以識別該眼睛影像當中的該至少一個虹膜區域。
  2. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該擬合圖形為一最小包覆圓形或一最小包覆橢圓形。
  3. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該運算裝置執行一圖像強化操作以強化該眼睛影像以產生經強化後的該眼睛影像，以及定義經強化後的該眼睛影像的該至少一個虹膜區域。
  4. 如申請專利範圍第3項所述的眼球追蹤裝置，其中該圖像強化操作包括一影像亮度調整操作、一影像對比度增加操作及/或一維克特(Weickert)圖像增強操作。
  5. 如申請專利範圍第4項所述的眼球追蹤裝置，其中該影像亮度調整為調高該眼睛影像中灰階過小的位置的亮度。
  6. 如申請專利範圍第4項所述的眼球追蹤裝置，其中該影像亮度調整為調低該眼睛影像中灰階過大的位置的亮度。
  7. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該訓練操作包括使用多層類神經網路的模型訓練。
  8. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該運算裝置依據該分類參數定義經強化後的該眼睛影像的該至少一個虹膜區域。
  9. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該運算裝置遮罩經強化後的該眼睛影像。
  10. 如申請專利範圍第1項所述的眼球追蹤裝置，其中該運算裝置將該眼睛影像區分為該最大面積虹膜區域以及一非虹膜區域。
  11. 如申請專利範圍第10項所述的眼球追蹤裝置，其中該非虹膜區域包括用以輔助定位最大面積虹膜區域的第一鞏膜區域以及第二鞏膜區域。
  12. 如申請專利範圍第2項所述的眼球追蹤裝置，其中該凝視點是該擬合圖形的圓心。
  13. 如申請專利範圍第1項所述的眼球追蹤裝置，更包括：一顯示裝置，耦接該運算裝置，用以依據該凝視點顯示一輸出響應。
  14. 一種眼球追蹤方法，包括：擷取至少一臉部影像；取得該至少一臉部影像的一眼睛影像；識別該眼睛影像當中的至少一個虹膜區域，其中識別該眼睛影像當中的該至少一個虹膜區域的步驟包括：對一眼睛影像樣本進行一訓練操作以產生一分類參數；儲存該分類參數；以及依據該分類參數以識別該眼睛影像當中的該至少一個虹膜區域；自該至少一個虹膜區域選擇一最大面積虹膜區域並取得該最大面積虹膜區域的一擬合圖形；以及依據該擬合圖形取得該眼睛影像的一凝視點。
  15. 如申請專利範圍第14項所述的眼球追蹤方法，其中該擬合圖形為一最小包覆圓形或一最小包覆橢圓形。
  16. 如申請專利範圍第14項所述的眼球追蹤方法，其中識別該眼睛影像的該至少一個虹膜區域的步驟，更包括：強化該眼睛影像以產生經強化後的該眼睛影像；以及識別經強化後的該眼睛影像的該至少一個虹膜區域。
  17. 如申請專利範圍第16項所述的眼球追蹤方法，其中強化該眼睛影像以產生經強化後的該眼睛影像的步驟，包括調整一影像亮度、增加一影像對比度及/或執行一維克特(Weickert)圖像增強操作。
  18. 如申請專利範圍第17項所述的眼球追蹤方法，其中該影像亮度調整為調高該眼睛影像中灰階過小的位置的亮度。
  19. 如申請專利範圍第17項所述的眼球追蹤方法，其中該影像亮度調整為調低該眼睛影像中灰階過大的位置的亮度。
  20. 如申請專利範圍第14項所述的眼球追蹤方法，其中該訓練操作包括使用多層類神經網路的模型訓練。
  21. 如申請專利範圍第14項所述的眼球追蹤方法，其中識別該眼睛影像當中的該至少一個虹膜區域的步驟，包括：依據該分類參數識別經強化後的該眼睛影像的該至少一個虹膜區域。
  22. 如申請專利範圍第14項所述的眼球追蹤方法，其中識別該眼睛影像當中的該至少一個虹膜區域的步驟，更包括：遮罩經強化後的該個眼睛影像。
  23. 如申請專利範圍第14項所述的眼球追蹤方法，其中自該至少一個虹膜區域選擇一最大面積虹膜區域並取得該最大面積虹膜區域的一擬合圖形的步驟，包括將眼睛影像區分為該最大面積虹膜區域以及一非虹膜區域。
  24. 如申請專利範圍第23項所述的眼球追蹤方法，其中該非虹膜區域包括用以輔助定位最大面積虹膜區域的第一鞏膜區域以及第二鞏膜區域。
  25. 如申請專利範圍第14項所述的眼球追蹤方法，其中該凝視點是該擬合圖形的圓心。
  26. 如申請專利範圍第14項所述的眼球追蹤方法，更包括： 依據該凝視點顯示一輸出響應。
TW107100306A 2017-08-16 2018-01-04 眼球追蹤裝置及其方法 TWI722264B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762546010P 2017-08-16 2017-08-16
US62/546,010 2017-08-16
US15/846,209 2017-12-19
US15/846,209 US10474231B2 (en) 2017-08-16 2017-12-19 Eye tracking apparatus and method thereof

Publications (2)

Publication Number Publication Date
TW201909834A TW201909834A (zh) 2019-03-16
TWI722264B true TWI722264B (zh) 2021-03-21

Family

ID=65361187

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100306A TWI722264B (zh) 2017-08-16 2018-01-04 眼球追蹤裝置及其方法

Country Status (2)

Country Link
US (1) US10474231B2 (zh)
TW (1) TWI722264B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740446B2 (en) * 2017-08-24 2020-08-11 International Business Machines Corporation Methods and systems for remote sensing device control based on facial information
KR102591555B1 (ko) * 2018-05-04 2023-10-23 구글 엘엘씨 자동 어시스턴트를 위한 시각적 단서들의 선택적 검출
TWI751704B (zh) * 2020-09-16 2022-01-01 宏碁股份有限公司 影像顯示裝置與其清晰度調整方法
CN114327216B (zh) * 2020-09-25 2023-08-22 宏碁股份有限公司 影像显示装置与其清晰度调整方法
US20230168735A1 (en) * 2021-11-29 2023-06-01 Soumil Chugh Methods and devices for gaze estimation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188032A1 (en) * 2003-03-21 2013-07-25 Roel Vertegaal Method and Apparatus for Communication Between Humans and Devices
US20130293467A1 (en) * 2012-05-04 2013-11-07 Chris Norden User input processing with eye tracking
US20160196465A1 (en) * 2015-01-07 2016-07-07 Microsoft Technology Licensing, Llc Eye tracking
US20160274659A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active power management

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1691670B1 (en) * 2003-11-14 2014-07-16 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7336806B2 (en) * 2004-03-22 2008-02-26 Microsoft Corporation Iris-based biometric identification
WO2013111140A2 (en) 2012-01-26 2013-08-01 Umoove Services Ltd. Eye tracking
US9468373B2 (en) * 2013-09-24 2016-10-18 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
US9355315B2 (en) * 2014-07-24 2016-05-31 Microsoft Technology Licensing, Llc Pupil detection
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
CN106708251A (zh) 2015-08-12 2017-05-24 天津电眼科技有限公司 一种基于眼球追踪技术的智能眼镜控制方法
TWI557601B (zh) 2015-10-30 2016-11-11 由田新技股份有限公司 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188032A1 (en) * 2003-03-21 2013-07-25 Roel Vertegaal Method and Apparatus for Communication Between Humans and Devices
US20130293467A1 (en) * 2012-05-04 2013-11-07 Chris Norden User input processing with eye tracking
US20160274659A1 (en) * 2013-12-09 2016-09-22 Sensomotoric Instruments Gesellschaft Fur Innovati Ve Sensorik Mbh Method for operating an eye tracking device and eye tracking device for providing an active power management
US20160196465A1 (en) * 2015-01-07 2016-07-07 Microsoft Technology Licensing, Llc Eye tracking

Also Published As

Publication number Publication date
US20190056781A1 (en) 2019-02-21
TW201909834A (zh) 2019-03-16
US10474231B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
TWI722264B (zh) 眼球追蹤裝置及其方法
TWI746674B (zh) 識別圖像中物件的類型預測方法、裝置及電子設備
CN112115818B (zh) 口罩佩戴识别方法
US10692210B2 (en) Recording medium storing computer program for pupil detection, information processing apparatus, and pupil detecting method
US20200090008A1 (en) Image processing apparatus and method based on deep learning and neural network learning
KR102459221B1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US9262690B2 (en) Method and device for detecting glare pixels of image
WO2019137038A1 (zh) 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
JP2021502627A (ja) 深層ニューラルネットワークを用いた画像処理システム及び処理方法
US8396252B2 (en) Systems and related methods for three dimensional gesture recognition in vehicles
WO2021004138A1 (zh) 一种屏幕显示方法、终端设备及存储介质
US8810642B2 (en) Pupil detection device and pupil detection method
KR102393298B1 (ko) 홍채 인식 방법 및 장치
CN110751043B (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
US10820796B2 (en) Pupil radius compensation
US20180018516A1 (en) Method and apparatus for iris recognition
JP2018005639A (ja) 画像分類装置、画像検査装置、及び、プログラム
WO2020140387A1 (en) Method, apparatus, display device and storage medium for positioning gaze point
US11681365B2 (en) Power management for display systems
KR101601541B1 (ko) 시선추적기 및 그의 동공 검출 방법
KR102305404B1 (ko) 적외선 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 적외선 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
CN109978962A (zh) 一种面向暗室照度计检定的低对比度示值图像智能识别方法
JP6721169B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
US11156831B2 (en) Eye-tracking system and method for pupil detection, associated systems and computer programs
TWI729338B (zh) 皮膚檢測方法及影像處理裝置