TWI611353B - 一種眼球追蹤的方法及裝置 - Google Patents

一種眼球追蹤的方法及裝置 Download PDF

Info

Publication number
TWI611353B
TWI611353B TW105140169A TW105140169A TWI611353B TW I611353 B TWI611353 B TW I611353B TW 105140169 A TW105140169 A TW 105140169A TW 105140169 A TW105140169 A TW 105140169A TW I611353 B TWI611353 B TW I611353B
Authority
TW
Taiwan
Prior art keywords
eyeball
grayscale
nth
map
facial
Prior art date
Application number
TW105140169A
Other languages
English (en)
Other versions
TW201721516A (zh
Inventor
Zihao Cai
Liang Feng
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Publication of TW201721516A publication Critical patent/TW201721516A/zh
Application granted granted Critical
Publication of TWI611353B publication Critical patent/TWI611353B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Description

一種眼球追蹤的方法及裝置
本發明屬於視覺追蹤技術領域，尤其是關於一種眼球追蹤的方法及裝置。
眼球追蹤是追蹤眼球運動的一種方法，該方法可以對視頻錄影中的每一張圖片進行眼球虹膜輪廓檢測和定位，然後在使用最佳的框去擬合和標記出來，並且可以計算出瞳孔中心的位置。
本發明實施例提供一種眼球追蹤的方法及裝置，用以實現自動檢測眼球的起始點，在眼球輪廓識別錯誤時自動進行調整。
本發明實施例提供的一種眼球追蹤的方法，包括：獲取待檢測的面部灰階圖集合，該面部灰階圖集合中包括多張面部灰階圖；判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓；N為正整數；若否，則對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置；在該第N張面部灰階圖中，以該眼球瞳孔的中心位置為中 心，確定眼球視窗對應的灰階圖區域；根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓。
較佳地，若該待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置；在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
較佳地，該對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置，包括：將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線；根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標；將該眼球位於該第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取該第N張面部灰階圖的垂直投影曲線；根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標；根據該眼球位於該第N張面部灰階圖的垂直方向上的座標 和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置。
較佳地，該將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線，包括：去除該第N張面部灰階圖中灰階值大於第一閾值的圖元，將該去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。
較佳地，該根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標，包括：對該第N張面部灰階圖的水平投影曲線進行預處理，將該預處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標；其中，對該第N張面部灰階圖的水平投影曲線進行預處理為選取該第N張面部灰階圖的水平投影曲線中波谷到波峰的距離大於第二閾值的峰值。
較佳地，該根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標，包括：對該第N張面部灰階圖的垂直投影曲線進行預處理，將該預處理後的第N張面部灰階圖的垂直投影曲線中以該第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的水平方向上的座 標；其中，對該第N張面部灰階圖的垂直投影曲線進行預處理為選取該第N張面部灰階圖的垂直投影曲線中波谷到波峰的距離大於第二閾值的峰值。
較佳地，根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置，包括：從該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將該灰階值小於第三閾值的圖元的座標組成該眼球瞳孔的位置集合；將該眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。
較佳地，該以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域，包括：以該眼球瞳孔的中心位置為中心，在第N張或第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張或第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離；將以該眼球瞳孔的中心位置為中心，在該第N張或第N+1張面部灰階圖上擴展的灰階圖區域，確定為該眼球窗口對應的灰階圖區域。
較佳地，該根據該眼球視窗對應的灰階圖區域，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓，包括： 以該眼球瞳孔的中心位置為出發點，根據預設條件，在該眼球視窗對應的灰階圖區域內移動，將每次移動後對應位置的灰階值作為比較灰階值；若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點；M為正整數；根據該眼球虹膜邊緣處的點，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓。
較佳地，該預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值；當該移動角度大於等於a2時，停止在該眼球視窗的灰階圖區域內移動；其中，該a2為第三角度閾值，a2大於a1，a2大於λ。
相應地，本發明實施例提供了一種眼球追蹤的裝置，包括：獲取單元，用於獲取待檢測的面部灰階圖集合，該面部灰階圖集合中包括多張面部灰階圖；判斷單元，用於判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓；N為正整數；中心位置確定單元，用於在該待檢測的面部灰階圖集合中的第N張面部灰階圖未確定出眼球虹膜的輪廓時，對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置；眼球視窗確定單元，用於在該第N張面部灰階圖中，以該眼 球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元，用於根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓。
較佳地，若該待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則中心位置確定單元還用於將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置；眼球視窗確定單元還用於在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元還用於根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
較佳地，該中心位置確定單元具體用於：將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線；根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標；將該眼球位於該第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取該第N張面部灰階圖的垂直投影曲線；根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標；根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中 心位置。
較佳地，該中心位置確定單元具體用於：去除該第N張面部灰階圖中灰階值大於第一閾值的圖元，將該去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。
較佳地，該中心位置確定單元具體用於：對該第N張面部灰階圖的水平投影曲線進行預處理，將該預處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標；其中，對該第N張面部灰階圖的水平投影曲線進行預處理為選取該該第N張面部灰階圖的水平投影曲線中波谷到波峰的距離大於第二閾值的峰值。
較佳地，該中心位置確定單元具體用於：對該第N張面部灰階圖的垂直投影曲線進行預處理，將該預處理後的第N張面部灰階圖的垂直投影曲線中以該第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的水平方向上的座標；其中，對該第N張面部灰階圖的垂直投影曲線進行預處理為選取該該第N張面部灰階圖的垂直投影曲線中波谷到波峰的距離大於第二閾值的峰值。
較佳地，該中心位置確定單元具體用於：從該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將該灰階值小於第三閾值的圖元的座標組成該眼球瞳孔的位置集合；將該眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。
較佳地，該眼球視窗確定單元具體用於：以該眼球瞳孔的中心位置為中心，在第N張或第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張或第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離；將以該眼球瞳孔的中心位置為中心，在該第N張或第N+1張面部灰階圖上擴展的灰階圖區域，確定為該眼球窗口對應的灰階圖區域。
較佳地，該眼球輪廓確定單元具體用於：以該眼球瞳孔的中心位置為出發點，根據預設條件，在該眼球視窗對應的灰階圖區域內移動，將每次移動後對應位置的灰階值作為比較灰階值；若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點；M為正整數；根據該眼球虹膜邊緣處的點，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓。
較佳地，該預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值；該眼球輪廓確定單元還用於當該移動角度大於等於a2時，停止在該眼球視窗的灰階圖區域內移動；其中，該a2為第三角度閾值，a2大於a1，a2大於λ。
本發明實施例表明，通過獲取待檢測的面部灰階圖集合，判斷待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓，若否，則對第N張面部灰階圖進行眼球瞳孔檢測，確定第N張面部灰階圖中眼球瞳孔的中心位置，在第N張面部灰階圖中，以眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域，根據眼球視窗對應的灰階圖區域，確定第N張面部灰階圖中的眼球虹膜的輪廓。通過判斷面部灰階圖未確定出眼球虹膜的輪廓，可以進行自動調整眼球虹膜的輪廓的追蹤，重新進行眼球瞳孔的定位，避免了出現眼球虹膜的輪廓的追蹤錯誤無法進行自動調整的情況。提高了眼球追蹤的準確率，並且可以自動標識眼球檢測眼球瞳孔的中心位置。
101-108‧‧‧步驟
401‧‧‧獲取單元
402‧‧‧判斷單元
403‧‧‧中心位置確定單元
404‧‧‧眼球視窗確定單元
405‧‧‧眼球輪廓確定單元
為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例提供的一種眼球追蹤的方法的流程示意圖； 圖2為本發明實施例提供的一種預處理前的水平投影曲線示意圖；圖3為本發明實施例提供的一種預處理後的水平投影曲線示意圖；圖4為本發明實施例提供的一種眼球追蹤的裝置的結構示意圖。
為了使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發明一部份實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬於本發明保護的範圍。
圖1示出了本發明實施例提供的一種眼球追蹤的流程，該流程可以由眼球追蹤的裝置執行。
如圖1所述，該流程的具體步驟包括：
步驟101，獲取待檢測的面部灰階圖集合。
步驟102，判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓：若未確定出眼球虹膜的輪廓，則進入步驟103；否則，進入步驟106。
步驟103，對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置。
步驟104，在該第N張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域。
步驟105，根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓。
步驟106，將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置。
步驟107，在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域。
步驟108，根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
在步驟101中，該待檢測的面部灰階圖集合中包括多張面部灰階圖。將視頻切分為一張張的圖片，將這些一張張的圖片組成集合，如果該一張張的圖片都是彩色的，則需要將一張張的彩色圖片轉換為灰階圖，即可以獲得待檢測的面部灰階圖。
在步驟102中，判斷步驟101中獲取的待檢測的面部灰階圖集合中的第N張面部灰階圖是否可以確定出眼球虹膜的輪廓來，如果可以確定出眼球虹膜的輪廓，說明該第N張面部灰階圖的眼球追蹤沒有出現錯誤，可以進行第N+1張面部灰階圖的眼球追蹤。如果不能確定出眼球虹膜的輪廓，則可能是該第N張面部灰階圖的眼球追蹤出現錯誤，需要重新確定該第N張面部灰階圖的眼球瞳孔的中心位置。該第N張面部灰階圖可能是第1張面部灰階圖，對於第1張面部灰階圖需要確定該第1張面部灰階圖的眼球瞳孔的中心位置。其中，N為正整數。
在步驟103中，若步驟102中判斷出該待檢測的面部灰階圖集合中的第N張面部灰階圖未確定出眼球虹膜的輪廓，則需要對該第N張面部灰階圖進行眼球瞳孔檢測，確定出該第N張面部灰階圖中眼球瞳孔的中心位 置。
具體的，將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。在進行水平積分投影之前，需要去除第N張面部灰階圖中灰階值大於第一閾值的圖元，然後再將去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，即可以獲取該第N張面部灰階圖的水平投影曲線。該第一閾值可以根據經驗進行設置，如可以設置為100的灰階值。去除灰階值大於第一閾值的第N張面部灰階圖表示對該第N張面部灰階圖進行雜訊消除。可以得到一個平滑的曲線。
在獲取水平投影曲線之後，根據該第N張面部灰階圖的水平投影曲線，可以確定眼球位於該第N張面部灰階圖的垂直方向上的座標。對該第N張面部灰階圖的水平投影曲線進行預處理，將該預處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標。其中，對第N張面部灰階圖的水平投影曲線進行預處理為選取第N張面部灰階圖的水平投影曲線中波谷到波峰的距離大於第二閾值的峰值。該第二閾值可以根據經驗進行設定，只有確定波谷到波峰的距離大於該第二閾值的峰值才可以保留。如圖2和圖3所示，圖2為預處理前的水平投影曲線，圖3為預處理後的水平投影曲線，圖中的“+”表示峰值所在的位置，經過預處理之後，圖3中的“+”去除了一部分。
舉例來說，圖3示出了一種水平投影曲線，橫坐標表示灰階值，縱坐標表示面部灰階圖的垂直方向的座標，峰值在左側的是波谷，峰值在右側的是波峰。如圖3所示，第一個波谷表示頭髮所在的位置，第二個 波谷表示眉毛所在的位置，第二個波谷和第三個波谷之間的位置表示眼球，即可以確定出該眼球位於第N張面部灰階圖的垂直方向上的座標。
將眼球位於第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取第N張面部灰階圖的垂直投影曲線。垂直投影曲線的橫坐標表示面部灰階圖的水平方向上的座標，縱坐標表示灰階值。
根據第N張面部灰階圖的垂直投影曲線，確定眼球位於第N張面部灰階圖的水平方向上的座標。對第N張面部灰階圖的垂直投影曲線進行預處理，將預處理後的第N張面部灰階圖的垂直投影曲線中以第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷相對應的第N張面部灰階圖中的座標，確定為眼球位於第N張面部灰階圖的水平方向上的座標。該中軸線為該第N張面部灰階圖的垂直投影曲線的中軸線，在該中軸線兩側，相互對稱的兩個波谷所在的座標，即是左右兩個眼睛所在的水平座標，即可以確定出眼球位於該第N張面部灰階圖的水平方向上的座標。其中，對第N張面部灰階圖的垂直投影曲線進行預處理為選取第N張面部灰階圖的垂直投影曲線中波谷到波峰的距離大於第二閾值的峰值。
上述水平積分投影和垂直積分投影的過程中，由於眼球是黑色，灰階值較低，因此，可以通過查找投影曲線中波谷的方式，探測到眼睛的大概位置。但是，在實際觀測中，由於背景和人臉的干擾，曲線波動一般比較大，在一個大的波谷中，實際上由很多干擾的小波谷，不利於獲取眼睛的真實位置，因此，需要對上述水平積分投影曲線和垂直積分投影曲線進行預處理。
根據眼球位於該第N張面部灰階圖的垂直方向上的座標和 眼球位於第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置。從眼球位於第N張面部灰階圖的垂直方向上的座標和眼球位於第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將灰階值小於第三閾值的圖元的座標組成眼球瞳孔的位置集合。將眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。該第三閾值可以根據經驗進行設定。灰階值小於第三閾值的圖元表示黑色虹膜所在的位置，可以選取每一行中灰階值小於第三閾值的圖元最長的長條，然後組成集合，該集合的質心就是眼球瞳孔的中心位置。
在步驟104中，在步驟103中確定出眼球瞳孔的中心位置之後，可以以眼球瞳孔的中心位置為中心，在第N張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張面部灰階圖的垂直方向上向上下擴展第二預設距離。將以眼球瞳孔的中心位置為中心，在第N張面部灰階圖上擴展的灰階圖區域，確定為眼球視窗對應的灰階圖區域。該第一預設距離和該第二預設距離可以根據經驗進行設置。
以眼球瞳孔的中心位置為中心，在該第N張的水平方向上分別向左和向右擴展第一預設距離，在垂直方向上分別向下和向上擴展第二預設距離，經過兩次擴展後確定出的一個灰階圖區域可以確定為眼球視窗對應的灰階圖。
在步驟105中，在步驟104中確定出眼球視窗對應的灰階圖之後，可以以該眼球瞳孔的中心位置為出發點，根據預設條件，在眼球視窗對應的灰階圖區域內移動，將每次移動後對應的灰階值作為比較灰階值。若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大 於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點。其中，M為正整數，該第四閾值可以根據經驗進行設定。由於在眼球虹膜與眼球眼白的灰階值不同，因此，通過比較兩次相鄰移動的點的灰階值的差值變化比較大，說明處於眼球虹膜邊緣位置。根據眼球虹膜邊緣處的點，確定第N張面部灰階圖中的眼球虹膜的輪廓。
上述預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值。當移動角度大於等於a2時，停止在眼球視窗的灰階圖區域內移動。其中，a2為第三角度閾值，a2大於a1，a2大於λ。上述第一角度閾值、第二角度閾值、第三角度閾值和每次移動距離可以依據經驗進行設定。
在步驟106中，在步驟102中判斷出待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則可以進行第N+1張面部灰階圖的眼球追蹤。然後將根據第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為第N+1張面部灰階圖中眼球瞳孔的中心位置。
在步驟107中，在步驟106中確定出第N+1張面部灰階圖中眼球瞳孔的中心位置之後，以眼球瞳孔的中心位置為中心，在第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離。將以該眼球瞳孔的中心位置為中心，在第N+1張面部灰階圖上擴展的灰階圖區域，確定為眼球視窗對應的灰階圖區域。
以眼球瞳孔的中心位置為中心，在該第N+1張的水平方向上分別向左和向右擴展第一預設距離，在垂直方向上分別向下和向上擴展第 二預設距離，經過兩次擴展後確定出的一個灰階圖區域可以確定為眼球視窗對應的灰階圖。
在步驟108中，在步驟107中確定出眼球視窗對應的灰階圖之後，可以以該眼球瞳孔的中心位置為出發點，根據預設條件，在眼球視窗對應的灰階圖區域內移動，將每次移動後對應的灰階值作為比較灰階值。若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點。其中，M為正整數，該第四閾值可以根據經驗進行設定。由於在眼球虹膜與眼球眼白的灰階值不同，因此，通過比較兩次相鄰移動的點的灰階值的差值變化比較大，說明處於眼球虹膜邊緣位置。根據眼球虹膜邊緣處的點，確定第N+1張面部灰階圖中的眼球虹膜的輪廓。
上述預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值。當移動角度大於等於a2時，停止在眼球視窗的灰階圖區域內移動。其中，a2為第三角度閾值，a2大於a1，a2大於λ。上述第一角度閾值、第二角度閾值、第三角度閾值和每次移動距離可以依據經驗進行設定。
上述實施例表明，通過獲取待檢測的面部灰階圖集合，判斷待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓，若否，則對第N張面部灰階圖進行眼球瞳孔檢測，確定第N張面部灰階圖中眼球瞳孔的中心位置，在第N張面部灰階圖中，以眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域，根據眼球視窗對應的灰階圖區域，確定第N張面部灰階圖中的眼球虹膜的輪廓。通過判斷面部灰階圖未確 定出眼球虹膜的輪廓，可以進行自動調整眼球虹膜的輪廓的追蹤，重新進行眼球瞳孔的定位，避免了出現眼球虹膜的輪廓的追蹤錯誤無法進行自動調整的情況。提高了眼球追蹤的準確率，並且可以自動標識眼球檢測眼球瞳孔的中心位置。
基於相同的技術構思，圖4示出了本發明實施例提供的一種眼球追蹤的裝置的結構，該裝置可以執行眼睛追蹤的流程。
如圖4所示，該裝置具體包括：獲取單元401，用於獲取待檢測的面部灰階圖集合，該面部灰階圖集合中包括多張面部灰階圖；判斷單元402，用於判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓；N為正整數；中心位置確定單元403，用於在該待檢測的面部灰階圖集合中的第N張面部灰階圖未確定出眼球虹膜的輪廓時，對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置；眼球視窗確定單元404，用於在該第N張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元405，用於根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓。
優選地，若該待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則中心位置確定單元403還用於將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置； 眼球視窗確定單元404還用於在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元405還用於根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
優選地，該中心位置確定單元403具體用於：將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線；根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標；將該眼球位於該第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取該第N張面部灰階圖的垂直投影曲線；根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標；根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置。
優選地，該中心位置確定單元403具體用於：去除該第N張面部灰階圖中灰階值大於第一閾值的圖元，將該去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。
優選地，該中心位置確定單元403具體用於：對該第N張面部灰階圖的水平投影曲線進行預處理，將該預 處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標；其中，對該第N張面部灰階圖的水平投影曲線進行預處理為選取該第N張面部灰階圖的水平投影曲線中波谷到波峰的距離大於第二閾值的峰值。
優選地，該中心位置確定單元403具體用於：對該第N張面部灰階圖的垂直投影曲線進行預處理，將該預處理後的第N張面部灰階圖的垂直投影曲線中以該第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的水平方向上的座標；其中，對該第N張面部灰階圖的垂直投影曲線進行預處理為選取該第N張面部灰階圖的垂直投影曲線中波谷到波峰的距離大於第二閾值的峰值。
優選地，該中心位置確定單元403具體用於：從該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將該灰階值小於第三閾值的圖元的座標組成該眼球瞳孔的位置集合；將該眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。
優選地，該眼球視窗確定單元404具體用於：以該眼球瞳孔的中心位置為中心，在第N張或第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張或第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離；將以該眼球瞳孔的中心位置為中心，在該第N張或第N+1張面部灰階圖上擴展的灰階圖區域，確定為該眼球窗口對應的灰階圖區域。
優選地，該眼球輪廓確定單元405具體用於：以該眼球瞳孔的中心位置為出發點，根據預設條件，在該眼球視窗對應的灰階圖區域內移動，將每次移動後對應位置的灰階值作為比較灰階值；若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點；M為正整數；根據該眼球虹膜邊緣處的點，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓。
優選地，該預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值；該眼球輪廓確定單元405還用於當該移動角度大於等於a2時，停止在該眼球視窗的灰階圖區域內移動；其中，該a2為第三角度閾值，a2大於a1，a2大於λ。
本發明是參照根據本發明實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令 實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
儘管已描述了本發明的優選實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附發明專利範圍意欲解釋為包括優選實施例以及落入本發明範圍的所有變更和修改。
顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明申請專利範圍及其等同技術的範圍之內，則本發明也意圖包含這些 改動和變型在內。
101-108‧‧‧步驟

Claims (16)

  1. 一種眼球追蹤的方法，其特徵在於，包括：獲取待檢測的面部灰階圖集合，該面部灰階圖集合中包括多張面部灰階圖；判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓；N為正整數；若否，則對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置；在該第N張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓；其中，該根據該眼球視窗對應的灰階圖區域，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓，包括：以該眼球瞳孔的中心位置為出發點，根據預設條件，在該眼球視窗對應的灰階圖區域內移動，將每次移動後對應位置的灰階值作為比較灰階值；若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點；M為正整數；根據該眼球虹膜邊緣處的點，確定該第N張或第N+1張面部灰階圖中的眼球虹膜的輪廓； 其中，該預設條件為a1+(x-1)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值；當該移動角度大於等於a2時，停止在該眼球視窗的灰階圖區域內移動；其中，該a2為第三角度閾值，a2大於a1，a2大於λ。
  2. 如請求項1所述的眼球追蹤的方法，其中，若該待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置；在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
  3. 如請求項1所述的眼球追蹤的方法，其中，該對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置，包括：將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線；根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標；將該眼球位於該第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取該第N張面部灰階圖的垂直投影曲線； 根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標；根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置。
  4. 如請求項3所述的眼球追蹤的方法，其中，該將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線，包括：去除該第N張面部灰階圖中灰階值大於第一閾值的圖元，將該去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。
  5. 如請求項3所述的眼球追蹤的方法，其中於，該根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標，包括：對該第N張面部灰階圖的水平投影曲線進行預處理，將該預處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間的位置相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標；其中，對該第N張面部灰階圖的水平投影曲線進行預處理為選取該第N張面部灰階圖的水平投影曲線中波谷到波峰的垂直距離大於第二閾值的峰值。
  6. 如請求項3所述的眼球追蹤的方法，其中，該根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向 上的座標，包括：對該第N張面部灰階圖的垂直投影曲線進行預處理，將該預處理後的第N張面部灰階圖的垂直投影曲線中以該第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷的位置相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的水平方向上的座標；其中，對該第N張面部灰階圖的垂直投影曲線進行預處理為選取該第N張面部灰階圖的垂直投影曲線中波谷到波峰的垂直距離大於第二閾值的峰值。
  7. 如請求項3所述的眼球追蹤的方法，其中，根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置，包括：從該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將該灰階值小於第三閾值的圖元的座標組成該眼球瞳孔的位置集合；將該眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。
  8. 如請求項1或2所述的眼球追蹤的方法，其中，該以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域，包括：以該眼球瞳孔的中心位置為中心，在第N張或第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張或第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離； 將以該眼球瞳孔的中心位置為中心，在該第N張或第N+1張面部灰階圖上擴展的灰階圖區域，確定為該眼球窗口對應的灰階圖區域。
  9. 一種眼球追蹤的裝置，其特徵在於，包括：獲取單元，用於獲取待檢測的面部灰階圖集合，該面部灰階圖集合中包括多張面部灰階圖；判斷單元，用於判斷該待檢測的面部灰階圖集合中的第N張面部灰階圖是否確定出眼球虹膜的輪廓；N為正整數；中心位置確定單元，用於在該待檢測的面部灰階圖集合中的第N張面部灰階圖未確定出眼球虹膜的輪廓時，對該第N張面部灰階圖進行眼球瞳孔檢測，確定該第N張面部灰階圖中眼球瞳孔的中心位置；眼球視窗確定單元，用於在該第N張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元，用於根據該眼球視窗對應的灰階圖區域，確定該第N張面部灰階圖中的眼球虹膜的輪廓；其中，該眼球輪廓確定單元具體用於：以該眼球瞳孔的中心位置為出發點，根據預設條件，在該眼球視窗對應的灰階圖區域內移動，將每次移動後對應位置的灰階值作為比較灰階值；若第M次移動的比較灰階值與第M-1次移動的比較灰階值的灰階值差值大於第四閾值，則將該第M次移動的點確定為眼球虹膜邊緣處的點；M為正整數；根據該眼球虹膜邊緣處的點，確定該第N張或第N+1張面部灰階圖中 的眼球虹膜的輪廓。 其中，該預設條件為a1+(x-l)λ，每次移動距離為d，其中，a1為第一角度閾值，x為移動的次數，λ為第二角度閾值；該眼球輪廓確定單元還用於當該移動角度大於等於a2時，停止在該眼球視窗的灰階圖區域內移動；其中，該a2為第三角度閾值，a2大於a1，a2大於λ。
  10. 如請求項9所述的眼球追蹤的裝置，其中，若該待檢測的面部灰階圖集合中的第N張面部灰階圖確定出眼球虹膜的輪廓，則中心位置確定單元還用於將根據該第N張面部灰階圖的眼球虹膜的輪廓確定的眼球瞳孔的中心位置作為該第N+1張面部灰階圖中眼球瞳孔的中心位置；眼球視窗確定單元還用於在該第N+1張面部灰階圖中，以該眼球瞳孔的中心位置為中心，確定眼球視窗對應的灰階圖區域；眼球輪廓確定單元還用於根據該眼球視窗對應的灰階圖區域和預設條件，確定該第N+1張面部灰階圖中的眼球虹膜的輪廓。
  11. 如請求項9所述的眼球追蹤的裝置，其中，該中心位置確定單元具體用於：將該第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線；根據該第N張面部灰階圖的水平投影曲線，確定眼球位於該第N張面部灰階圖的垂直方向上的座標；將該眼球位於該第N張面部灰階圖的垂直方向上的灰階圖區域進行垂直積分投影，獲取該第N張面部灰階圖的垂直投影曲線； 根據該第N張面部灰階圖的垂直投影曲線，確定該眼球位於該第N張面部灰階圖的水平方向上的座標；根據該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標，確定眼球瞳孔的中心位置。
  12. 如請求項11所述的眼球追蹤的裝置，其中，該中心位置確定單元具體用於：去除該第N張面部灰階圖中灰階值大於第一閾值的圖元，將該去除灰階值大於第一閾值的第N張面部灰階圖進行水平積分投影，獲取該第N張面部灰階圖的水平投影曲線。
  13. 如請求項11所述的眼球追蹤的裝置，其中，該中心位置確定單元具體用於：對該第N張面部灰階圖的水平投影曲線進行預處理，將該預處理後的第N張面部灰階圖的水平投影曲線中第二個波谷與第三個波谷之間相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的垂直方向上的座標；其中，對該第N張面部灰階圖的水平投影曲線進行預處理為選取該該第N張面部灰階圖的水平投影曲線中波谷到波峰的距離大於第二閾值的峰值。
  14. 如請求項11所述的眼球追蹤的裝置，其中，該中心位置確定單元具體用於：對該第N張面部灰階圖的垂直投影曲線進行預處理，將該預處理後的 第N張面部灰階圖的垂直投影曲線中以該第N面部灰階圖的垂直投影曲線的中軸線為對稱軸的兩個相互對稱的波谷相對應的該第N張面部灰階圖中的座標，確定為該眼球位於該第N張面部灰階圖的水平方向上的座標；其中，對該第N張面部灰階圖的垂直投影曲線進行預處理為選取該該第N張面部灰階圖的垂直投影曲線中波谷到波峰的距離大於第二閾值的峰值。
  15. 如請求項11所述的眼球追蹤的裝置，其中，該中心位置確定單元具體用於：從該眼球位於該第N張面部灰階圖的垂直方向上的座標和該眼球位於該第N張面部灰階圖的水平方向上的座標圍成的區域中選取灰階值小於第三閾值的圖元，將該灰階值小於第三閾值的圖元的座標組成該眼球瞳孔的位置集合；將該眼球瞳孔的位置集合的質心，確定為眼球瞳孔的中心位置。
  16. 如請求項9或10所述的眼球追蹤的裝置，其中，該眼球視窗確定單元具體用於：以該眼球瞳孔的中心位置為中心，在第N張或第N+1張面部灰階圖的水平方向上向左右擴展第一預設距離，在第N張或第N+1張面部灰階圖的垂直方向上向上下擴展第二預設距離；將以該眼球瞳孔的中心位置為中心，在該第N張或第N+1張面部灰階圖上擴展的灰階圖區域，確定為該眼球窗口對應的灰階圖區域。
TW105140169A 2015-12-02 2016-12-02 一種眼球追蹤的方法及裝置 TWI611353B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510875607.9A CN105930762A (zh) 2015-12-02 2015-12-02 一种眼球跟踪的方法及装置

Publications (2)

Publication Number Publication Date
TW201721516A TW201721516A (zh) 2017-06-16
TWI611353B true TWI611353B (zh) 2018-01-11

Family

ID=56839969

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105140169A TWI611353B (zh) 2015-12-02 2016-12-02 一種眼球追蹤的方法及裝置

Country Status (6)

Country Link
US (1) US10699420B2 (zh)
EP (1) EP3385885A4 (zh)
CN (1) CN105930762A (zh)
CA (1) CA3025964C (zh)
TW (1) TWI611353B (zh)
WO (1) WO2017092679A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105930762A (zh) 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
CN106778713B (zh) * 2017-03-01 2023-09-22 武汉虹识技术有限公司 一种动态人眼跟踪的虹膜识别装置及方法
CN107145224B (zh) * 2017-04-07 2019-10-29 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
JP6930223B2 (ja) * 2017-05-31 2021-09-01 富士通株式会社 瞳孔検出用コンピュータプログラム、瞳孔検出装置及び瞳孔検出方法
EP3430973A1 (en) * 2017-07-19 2019-01-23 Sony Corporation Mobile system and method
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108498064B (zh) * 2018-03-19 2021-06-18 中国人民解放军空军特色医学中心 数字化亮点闪烁检测系统
CN108513074B (zh) * 2018-04-13 2020-08-04 京东方科技集团股份有限公司 自拍控制方法及装置、电子设备
TWI676821B (zh) * 2018-12-11 2019-11-11 國立臺灣大學 適應性視線追蹤的校正方法
CN110119457B (zh) * 2019-05-17 2021-08-10 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111209881A (zh) * 2020-01-13 2020-05-29 深圳市雄帝科技股份有限公司 一种在图像中检测眼睛状态的方法及其系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN113011393B (zh) * 2021-04-25 2022-06-03 中国民用航空飞行学院 基于改进混合投影函数的人眼定位方法
CN115565224A (zh) * 2022-09-29 2023-01-03 珠海视熙科技有限公司 一种实时连续定位瞳孔中心的方法、装置、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100452081C (zh) * 2007-06-01 2009-01-14 华南理工大学 一种人眼定位及人眼状态识别方法
TW200905577A (en) * 2007-07-31 2009-02-01 Univ Nat Taiwan Science Tech Iris recognition system
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
TW201405434A (zh) * 2012-07-20 2014-02-01 Pixart Imaging Inc 瞳孔偵測裝置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
CN100382751C (zh) 2005-05-08 2008-04-23 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法
GB0603411D0 (en) * 2006-02-21 2006-03-29 Xvista Ltd Method of processing an image of an eye
WO2008091401A2 (en) * 2006-09-15 2008-07-31 Retica Systems, Inc Multimodal ocular biometric system and methods
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
CN101201893A (zh) 2006-09-30 2008-06-18 电子科技大学中山学院 一种基于灰度信息的虹膜识别预处理方法
US8023699B2 (en) * 2007-03-09 2011-09-20 Jiris Co., Ltd. Iris recognition system, a method thereof, and an encryption system using the same
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
JP2010033305A (ja) * 2008-07-29 2010-02-12 Hitachi Ltd 画像情報処理方法、及び装置
US8317325B2 (en) * 2008-10-31 2012-11-27 Cross Match Technologies, Inc. Apparatus and method for two eye imaging for iris identification
CN101615292B (zh) * 2009-07-24 2011-11-16 云南大学 基于灰度信息的人眼精确定位方法
CN101964111B (zh) * 2010-09-27 2011-11-30 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102456137B (zh) * 2010-10-20 2013-11-13 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
CN104050448B (zh) * 2014-06-11 2017-10-17 青岛海信电器股份有限公司 一种人眼定位、人眼区域定位方法及装置
CN104793741A (zh) * 2015-04-03 2015-07-22 深圳市虚拟现实科技有限公司 带眼球跟踪虚拟现实成像系统和方法
CN105930762A (zh) 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
WO2018016837A1 (en) * 2016-07-18 2018-01-25 Samsung Electronics Co., Ltd. Method and apparatus for iris recognition
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US10521661B2 (en) * 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7682026B2 (en) * 2006-08-22 2010-03-23 Southwest Research Institute Eye location and gaze detection system and method
CN100452081C (zh) * 2007-06-01 2009-01-14 华南理工大学 一种人眼定位及人眼状态识别方法
TW200905577A (en) * 2007-07-31 2009-02-01 Univ Nat Taiwan Science Tech Iris recognition system
TW201405434A (zh) * 2012-07-20 2014-02-01 Pixart Imaging Inc 瞳孔偵測裝置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dongshi Xia et al., IR Image Based Eye Gaze Estimation, © 2007 IEEE *
陶 丹、馮驍宇,「一種基於積分投影與色度匹配相結合的快速人眼嘴定位演算法」,電腦應用研究第26卷第4期2009年4月 *

Also Published As

Publication number Publication date
EP3385885A1 (en) 2018-10-10
US20180365844A1 (en) 2018-12-20
TW201721516A (zh) 2017-06-16
EP3385885A4 (en) 2018-12-19
CA3025964C (en) 2021-09-14
CN105930762A (zh) 2016-09-07
WO2017092679A1 (zh) 2017-06-08
US10699420B2 (en) 2020-06-30
CA3025964A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
TWI611353B (zh) 一種眼球追蹤的方法及裝置
US11699293B2 (en) Neural network image processing apparatus
US20210012127A1 (en) Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
CN105138965B (zh) 一种近眼式视线跟踪方法及其系统
CN104063700B (zh) 自然光照正面人脸图像中的眼睛中心点定位的方法
WO2020134478A1 (zh) 一种人脸识别方法、特征提取模型的训练方法及其装置
JP2022095879A (ja) 眼の特徴を用いる眼ポーズ識別
JP4655235B2 (ja) 情報処理装置および方法、並びにプログラム
JP2018523878A5 (zh)
CN104463159B (zh) 一种定位虹膜的图像处理方法和装置
US20100027890A1 (en) Image information processing method and apparatus
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
US20140313308A1 (en) Apparatus and method for tracking gaze based on camera array
JP2001101429A (ja) 顔面の観測方法および顔観測装置ならびに顔観測処理用の記録媒体
KR102460665B1 (ko) 응시 거리를 결정하는 방법 및 디바이스
JP6351243B2 (ja) 画像処理装置、画像処理方法
CN111079625A (zh) 一种摄像头自动跟随人脸转动的控制方法
Bei et al. Sitting posture detection using adaptively fused 3D features
Pires et al. Unwrapping the eye for visible-spectrum gaze tracking on wearable devices
WO2020222785A1 (en) Facial action unit detection
CN107153806B (zh) 一种人脸检测方法及装置
WO2022110917A1 (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN105809085B (zh) 人眼定位方法及装置