TWI603293B - 眨眼偵測方法及裝置 - Google Patents

Description

眨眼偵測方法及裝置

本發明是有關於一種眼動追蹤技術，且特別是有關於一種眨眼偵測方法及裝置。

目前眼動追蹤技術主要可區分為與侵入性(invasive)與非侵入性(non-invasive)兩種。侵入性的眼動追蹤技術主要是在眼睛中設置搜尋線圈法(search Coil)或使用眼動電波圖(electrooculogram)。而非侵入性的眼動追蹤技術則可區分為免頭戴式(free-head)或頭戴式(head-mount)人眼追蹤技術。而隨著科技的發展，眼動追蹤技術大幅應用於各種領域，例如神經科學、心理學、工業工程、人因工程、行銷廣告、電腦科學等。

而在眼動追蹤技術中，外在環境容易影響到偵測率。例如，倘若使用者配戴眼鏡，則外在光源在鏡片上所造成的反光，容易影響到偵測過程。此外，倘若使用者處於移動的狀態中，反光位置還會隨著移動而有所改變。此時，以傳統針對單張影像進行偵測的技術來搜尋眼睛，偵測率將會大幅降低。

本發明提供一種眨眼偵測方法及裝置，以連續影像為基礎藉以獲得兩張影像之間的光影變化，進而來判斷使用者的眨眼狀態。

本發明的眨眼偵測方法，包括：獲得使用者的眼部影像序列；自眼部影像序列中取出目前分析影像與先前擷取影像，其中目前分析影像與先前擷取影像所被擷取的時間不同；濾除目前分析影像與先前擷取影像中各自的反光區域，其中反光區域的像素之亮度值高於亮度門檻值；計算目前分析影像與先前擷取影像之間的差異像素數量；以及根據差異像素數量，判斷使用者是否眨眼。

在本發明的一實施例中，上述計算目前分析影像與先前擷取影像之間的差異像素數量的步驟包括：計算目前分析影像的每一像素與先前擷取影像的每一像素之間的像素差值；判斷像素差值是否大於第一門檻值；以及累計像素差值大於第一門檻值的差異像素數量，藉以根據差異像素數量，判斷使用者是否眨眼。

在本發明的一實施例中，上述基於根據差異像素數量，判斷使用者是否眨眼的步驟包括：判斷是否超過連續N個的眼部影像的差異像素數量大於第二門檻值；以及倘若連續N個的眼部影像的差異像素數量皆大於第二門檻值，判定在擷取超過連續N個的眼部影像的時間區段內使用者眨眼。

在本發明的一實施例中，上述眨眼偵測方法更包括：擷 取影像序列，其中影像序列包括連續多個原始影像；對這些原始影像分別執行人臉偵測程序，以獲得多個人臉影像；偵測每一人臉影像中的鼻孔區域；以及基於鼻孔區域而自人臉影像中獲得眼部影像。

在本發明的一實施例中，上述眼部影像分別為灰階影像，且先前擷取影像為目前分析影像的前M張，而M大於或等於1，上述眨眼偵測方法更包括：倘若所取出的目前分析影像為上述眼部影像中擷取時間最早的M個，則不對目前分析影像計算差異像素數量。

本發明的眨眼偵測裝置，包括：取像單元、儲存單元以及處理單元。取像單元用以獲得使用者的眼部影像序列。儲存單元包括多個模組。處理單元耦接至取像單元與儲存單元，且用以執行上述模組。上述模組包括光影分析模組以及眨眼判定模組。光影分析模組自眼部影像序列中取出目前分析影像與先前擷取影像，其中目前分析影像與先前擷取影像所被擷取的時間不同，並且光影分析模組濾除目前分析影像與先前擷取影像中各自的反光區域，其中反光區域的像素之亮度值高於亮度門檻值，以及計算目前分析影像與先前擷取影像之間的差異像素數量。眨眼判定模組根據差異像素數量，判斷使用者是否眨眼。

在本發明的一實施例中，上述光影分析模組計算目前分析影像的每一像素與先前擷取影像的每一像素之間的像素差值，並且判斷像素差值是否大於第一門檻值，以及累計像素差值大於 第一門檻值的差異像素數量，使得眨眼判定模組根據差異像素數量，判斷使用者是否眨眼。

在本發明的一實施例中，上述眨眼判定模組判斷是否超過連續N個的眼部影像的差異像素數量大於第二門檻值，倘若超過連續N個的眼部影像的差異像素數量大於第二門檻值，眨眼判定模組判定在擷取超過連續N個的眼部影像的時間區段內使用者眨眼。

在本發明的一實施例中，上述取像單元擷取一影像序列，其中上述影像序列包括連續多個原始影像。上述儲存單元還包括人臉偵測模組、鼻孔搜尋模組以及眼部搜尋模組。人臉偵測模組用以對上述原始影像分別執行人臉偵測程序，以獲得多個人臉影像。鼻孔搜尋模組用以偵測每一人臉影像中的鼻孔區域。眼部搜尋模組用以基於鼻孔區域而自每一人臉影像中獲得每一眼部影像。

在本發明的一實施例中，上述眼部影像為灰階影像，且先前擷取影像為目前分析影像的前M張，而M大於或等於1。而倘若所取出的目前分析影像為眼部影像中擷取時間最早的M個，則光影分析模組不對目前分析影像計算差異像素數量。

基於上述，本發明以連續影像為基礎而獲得兩張影像之間的光影變化(即，差異像素數量)，取代原本單張影像處理的方式，藉此可在不受外在環境影像來判斷使用者的眨眼狀態。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉 實施例，並配合所附圖式作詳細說明如下。

100‧‧‧眨眼偵測裝置

110‧‧‧取像單元

120‧‧‧處理單元

130‧‧‧儲存單元

131‧‧‧光影分析模組

132‧‧‧眨眼判定模組

133‧‧‧人臉偵測模組

134‧‧‧鼻孔搜尋模組

135‧‧‧眼部搜尋模組

510、610‧‧‧目前分析影像

520、620‧‧‧先前擷取影像

540、640‧‧‧第一區域

S205~S225‧‧‧眨眼偵測方法各步驟

S305~S330‧‧‧光影分析程序各步驟

S405~S415‧‧‧判斷眨眼狀態程序各步驟

圖1是依照本發明一實施例的眨眼偵測裝置的方塊圖。

圖2是依照本發明一實施例的眨眼偵測方法的流程圖。

圖3是依照本發明一實施例的亮度變化分析程序的流程圖。

圖4是依照本發明一實施例的判斷使用者是否眨眼的流程圖。

圖5A及圖5B是依照本發明一實施例的睜眼狀態的示意圖。

圖6A及圖6B是依照本發明一實施例的眨眼狀態的示意圖。

圖7是依照本發明一實施例的眼部影像序列的第一區域的差異像素數量之間關係的示意圖。

圖1是依照本發明一實施例的眨眼偵測裝置的方塊圖。請參照圖1，眨眼偵測裝置100包括取像單元110、處理單元120以及儲存單元130。處理單元120耦接至取像單元110以及儲存單元130。透過取像單元110來獲得使用者的眼部影像序列(包括連續多張眼部影像)。在此，取像單元110例如是採用電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS) 鏡頭、或紅外線鏡頭的攝影機、照相機。

處理單元120例如為中央處理單元(Central Processing Unit，CPU)或微處理器(microprocessor)等。儲存單元130例如為非揮發性記憶體(Non-volatile memory)、隨機存取記憶體(Random Access Memory，RAM)或硬碟等。而本實施例是以程式碼來實現。例如，儲存單元130中儲存有多個程式碼片段，上述程式碼片段在被安裝後，會由處理單元120來執行。例如，儲存單元130中包括多個模組，藉由這些模組來分別執行多個功能，而各模組是由一或多個程式碼片段所組成。這些模組包括光影分析模組131及眨眼判定模組132。

光影分析模組131用以對各眼部影像執行光影分析程序，以判斷各眼部影像的光影變化。而眨眼判定模組132則基於光影變化，來判斷使用者的眨眼狀態。具體而言，光影分析模組131自眼部影像序列中取出目前分析影像與先前擷取影像，並且計算目前分析影像與先前擷取影像之間的差異像素數量。在此，目前分析影像與先前擷取影像所被擷取的時間不同。並且，光影分析模組131會濾除目前分析影像與先前擷取影像中各自的反光區域。上述反光區域的像素之亮度值高於一亮度門檻值，於較佳實施例，該亮度門檻值的範圍為90-200之間，於本實施例可為100。

另外，儲存單元130還選擇性地包括人臉偵測模組133、鼻孔搜尋模組134以及眼部搜尋模組135。例如，取像單元110擷取了包括多個原始影像的影像序列。而處理單元120透過人臉偵 測模組133、鼻孔搜尋模組134以及眼部搜尋模組135而自原始影像來取得眼部影像。在此，人臉偵測模組133用以對原始影像分別執行人臉辨識程序，以獲得多個人臉影像。鼻孔搜尋模組134用以偵測每一人臉影像中的鼻孔區域。眼部搜尋模組135用以基於鼻孔區域而自每一人臉影像中獲得每一眼部影像。

圖2是依照本發明一實施例的眨眼偵測方法的流程圖。請參照圖1及圖2，在步驟S205中，透過取像單元110來獲得使用者的眼部影像序列。例如，在本實施例中，利用取像單元110來擷取使用者的連續多張原始影像(包括整個頭像或包括整個人像)，再自這些原始影像來獲得連續多張眼部影像。例如，利用人臉偵測模組133分別對多張原始影像執行人臉偵測程序，以獲得多個人臉影像。再透過鼻孔搜尋模組134偵測這些人臉影像中的鼻孔區域。並且，由眼部搜尋模組135基於鼻孔區域而自各人臉影像中獲得各眼部影像。

在此，人臉偵測模組133例如是利用AdaBoost演算法或其他現有的人臉偵測演算法(如，利用Haar-like特徵來進行人臉偵測動作)來自各原始影像獲得人臉影像。在獲得到人臉影像之後，處理單元120透過鼻孔搜尋模組134在人臉影像中搜尋鼻孔區域，即，兩個鼻孔的所在位置。鼻孔位置資訊例如為兩個鼻孔的第一中心點與第二中心點。接著，在利用眼部搜尋模組135基於鼻孔位置資訊來獲得眼部影像。例如，往兩個鼻孔的第一中心點與第二中心點往上取一預定範圍作為眼部影像。

另外，在其他實施例中，直接利用取像單元110對準使用者的眼睛來獲得連續多張眼部影像。上述僅為舉例說明，在此並不限定眼部影像的獲得方式。

接著，在步驟S210中，透過光影分析模組131自眼部影像序列中取出目前分析影像與先前擷取影像，而目前分析影像與先前擷取影像所被擷取的時間不同。

之後，在步驟S215中，光影分析模組131濾除目前分析影像與先前擷取影像中各自的反光區域，其中反光區域的像素之亮度值高於亮度門檻值。並且，在步驟S220中，光影分析模組131計算目前分析影像與先前擷取影像之間的差異像素數量。

例如，光影分析模組131自眼部影像序列中逐一取出其中一眼部影像作為目前分析影像，並對目前分析影像與先前擷取影像執行光影分析程序，以判斷目前分析影像與先前擷取影像之間的光影變化。光影變化例如是兩張眼部影像之間的亮度變化，透過光影分析模組131來找出目前分析影像與先前擷取影像之間亮度變化量高的差異像素數量。

在此，先前擷取影像的擷取時間早於目前分析影像的擷取時間。例如，假設目前分析影像為第X張眼部影像，則取第X-4張眼部影像作為先前擷取影像來進行光影分析程序。這是因為，倘若取前後相鄰兩張眼部影像，有可能因為時間過於相近而使得前後相鄰兩張眼部影像的亮度分布過於相似，導致光影變化不明顯。故，例如取前四張眼部影像來作為先前擷取影像。

由於閉眼時的眼部影像與開眼時的眼部影像之間光影變化，其相對高於一直處於開眼的眼部影像之間的光影變化，因此，在步驟S220中計算出目前分析影像與先前擷取影像之間亮度變化量高的差異像素數量，可以此作為眨眼的判斷依據。

最後，在步驟S225中，眨眼判定模組132根據差異像素數量，判斷使用者是否眨眼。

底下舉一例來詳細說明目前分析影像與先前擷取影像之間的亮度變化分析程序。圖3是依照本發明一實施例的亮度變化分析程序的流程圖。請參照圖1及圖3，在步驟S305中，光影分析模組131取出第i張眼部影像作為目前分析影像。並且，取出目前分析影像的前M張眼部影像(即，第i-M張眼部影像)作為先前擷取影像。其中M大於或等於1。在此，取M=4。即，取第i-4張眼部影像作為先前擷取影像。並且，眼部影像為灰階影像，即，每個像素的像素值為0~255中的其中一個亮度值。倘若取像單元110所擷取的原始影像為彩色影像，在進行亮度變化分析程序之前，還包括將彩色影像轉換為灰階影像的步驟。

另外，倘若所取出的目前分析影像為眼部影像中擷取時間最早的M個，則不對目前分析影像執行光影分析程序。例如，以M=4而言，表示不對第1~4張的眼部影像執行光影分析程序。

接著，在步驟S310中，光影分析模組131取出目前分析影像的第j個像素與先前擷取影像的第j個像素兩者的像素值。在此，以j=1開始取出目前分析影像與先前擷取影像兩者的第j個像 素的像素值。

之後，在步驟S315中，光影分析模組131計算上述兩個像素值的像素差值。然後，在步驟S320中，光影分析模組131判斷像素差值是否大於第一門檻值。若像素差值大於第一門檻值，表示亮度變化大，故，如步驟S325所示，累計差異像素數量。之後，在步驟S330中，光影分析模組131判斷是否已計算所有像素。

若像素差值未大於第一門檻值，表示亮度變化不大，因此不累計特定像素值，而直接前往步驟S330，由光影分析模組131判斷是否已計算所有像素。若否，將j加1之後，往下計算下一個像素，光影分析模組131重複執行步驟S310~S325直到所有的像素皆已計算完畢。倘若所有像素皆已計算完畢，將i加1以取出下一張眼部影像來作為目前分析影像，而光影分析模組131重複執行上述步驟S305~S330。以此類推，可獲得每一張眼部影像所對應的差異像素數量。

另外，在其他實施例中，光影分析模組131可直接將目前分析影像與先前擷取影像相減，而獲得一差值影像，之後，計算差值影像中的每一像素的值超過第一門檻值的差異像素數量。

在獲得每一眼部影像的差異像素數量之後，便可由眨眼判定模組132來判斷使用者是否眨眼。舉例來說，圖4是依照本發明一實施例的判斷使用者是否眨眼的流程圖。請參照圖1及圖4，在步驟S405中，眨眼判定模組132判斷是否超過連續N個眼部影像的差異像素數量皆大於第二門檻值。在此，設定超過連續N 個的步驟是為了降低眨眼狀態的誤判率。

倘若超過連續N個的眼部影像的差異像素數量大於第二門檻值，在步驟S410中，眨眼判定模組132判定在擷取上述超過連續N個眼部影像的時間區段內使用者眨眼。倘若未超過連續N個的眼部影像的差異像素數量大於第二門檻值，在步驟S415中，眨眼判定模組132判定使用者未眨眼。

底下舉例說明睜眼狀態與眨眼狀態之間的光影變化。

圖5A及圖5B是依照本發明一實施例的睜眼狀態的示意圖。在此，圖5A為目前分析影像510，圖5B為先前擷取影像520。在此，斜線區域代表影像中的反光區域530，而其餘的部份為第一區域540。在圖5A及圖5B中，在使用者為睜眼狀態的情況下，由於目前分析影像與先前擷取影像皆為睜眼，因此兩者間的亮度差異不大，而兩者反光區域的分布亦大致相同。也就是說，目前分析影像與先前擷取影像之間光影分布的情況為大致相同。據此，目前分析影像與先前擷取影像之間各像素的像素差值將不會太高。

圖6A及圖6B是依照本發明一實施例的眨眼狀態的示意圖。在此，圖6A為目前分析影像610，圖6B為先前擷取影像620。在此，斜線區域代表影像中的反光區域630，而其餘部份為第一區域640。在圖6A及圖6B中，在使用者處於眨眼狀態下，為閉眼的目前分析影像與開眼的先前擷取影像之間在眼睛處的亮度差異會明顯地較大。故，在眨眼狀態下的前後(未必為相鄰兩張)兩 張眼部影像中會存在像素差值較大的地方。

由於反光區域630會影響影像分析，故將達到亮度門檻值的反光區域630濾除掉，只考慮分析影像610與先前擷取影像620中的第一區域640。在睜眼狀態下，目前分析影像510與先前擷取影像520之間的第一區域540，其差異像素數量相對地小；反之，在眨眼狀態下，目前分析影像610與先前擷取影像620之間的第一區域640，其差異像素數量相對地大。

圖7是依照本發明一實施例的眼部影像序列的第一區域的差異像素數量之間關係的示意圖。橫軸所示為眼部影像序列，縱軸為眼部影像序列中對應的第一區域內的差異像素數量。

在本實施例中，假設第二門檻值為100，並且N為5。然，此僅為舉例說明，並不以此為限。在圖7中，於第11張至第17張的眼部影像的差異像素數量皆大於100，並且在第43張至第44張的眼部影像的差異像素數量亦大於100。在此，由於第11張至第17張的眼部影像已超過5張，故，表示使用者在擷取上述連續第11張至第17張的眼部影像的時間區段D內處於眨眼狀態。而由於第43張至第44張的眼部影像並未超過5張，故，使用者在此並未處於眨眼狀態。

綜上所述，本發明以連續影像為基礎而獲得兩張影像之間的光影變化，取代原本單張影像處理的方式，藉此可在不受外在環境影像(例如使用者配戴眼鏡，鏡片上的反光所造成的影響)來判斷使用者的眨眼狀態。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S205~S225‧‧‧眨眼偵測方法各步驟

Claims (10)

1. 一種眨眼偵測方法，包括：獲得一使用者的一眼部影像序列，其中該眼部影像序列為對應於該使用者於一段時間內的連續多個眼部影像；自該眼部影像序列中取出一目前分析影像與一先前擷取影像，該先前擷取影像為該目前分析影像的前M張，而M大於或等於1；濾除該目前分析影像與該先前擷取影像中各自的一反光區域，其中該反光區域的像素之亮度值高於一亮度門檻值；計算該目前分析影像與該先前擷取影像之間的一差異像素數量；以及根據該差異像素數量，判斷該使用者是否眨眼。
2. 如申請專利範圍第1項所述的眨眼偵測方法，其中計算該目前分析影像與該先前擷取影像之間的該差異像素數量的步驟包括：計算該目前分析影像的每一像素與該先前擷取影像的每一像素之間的一像素差值；判斷該像素差值是否大於一第一門檻值；以及累計該像素差值大於該第一門檻值的該差異像素數量，藉以根據該差異像素數量，判斷該使用者是否眨眼。
3. 如申請專利範圍第2項所述的眨眼偵測方法，其中根據該差異像素數量，判斷該使用者是否眨眼的步驟包括： 判斷是否超過連續N個的每一該些眼部影像的該差異像素數量大於一第二門檻值；以及倘若超過連續N個的每一該些眼部影像的該差異像素數量大於該第二門檻值，判定在擷取超過連續N個的該些眼部影像的一時間區段內該使用者眨眼。
4. 如申請專利範圍第1項所述的眨眼偵測方法，更包括：擷取一影像序列，其中該影像序列包括連續多個原始影像；對該些原始影像分別執行一人臉偵測程序，以獲得多個人臉影像；偵測每一該些人臉影像中的鼻孔區域；以及基於該鼻孔區域而自每一該些人臉影像中獲得每一該些眼部影像。
5. 如申請專利範圍第1項所述的眨眼偵測方法，其中該些眼部影像分別為灰階影像，上述眨眼偵測方法更包括：倘若所取出的該目前分析影像為該些眼部影像中擷取時間最早的M個，則不對該目前分析影像計算該差異像素數量。
6. 一種眨眼偵測裝置，包括：一取像單元，獲得一使用者的一眼部影像序列，其中該眼部影像序列為對應於該使用者於一段時間內的連續多個眼部影像；一儲存單元，包括多個模組；以及一處理單元，耦接至該取像單元與該儲存單元，且執行該些模組，其中該些模組包括： 一光影分析模組，自該眼部影像序列中取出一目前分析影像與一先前擷取影像，其中該目前分析影像與該先前擷取影像所被擷取的時間不同，該先前擷取影像為該目前分析影像的前M張，而M大於或等於1，並且該光影分析模組濾除該目前分析影像與該先前擷取影像中各自的一反光區域，其中該反光區域的像素之亮度值高於一亮度門檻值，以及計算該目前分析影像與該先前擷取影像之間的一差異像素數量；以及一眨眼判定模組，根據該差異像素數量，判斷該使用者是否眨眼。
7. 如申請專利範圍第6項所述的眨眼偵測裝置，其中該光影分析模組計算該目前分析影像的每一像素與該先前擷取影像的每一像素之間的一像素差值，並且判斷該像素差值是否大於一第一門檻值，以及累計該像素差值大於該第一門檻值的該差異像素數量，使得該眨眼判定模組根據該差異像素數量，判斷該使用者是否眨眼。
8. 如申請專利範圍第7項所述的眨眼偵測裝置，其中該眨眼判定模組判斷是否超過連續N個的每一該些眼部影像的該差異像素數量大於一第二門檻值，倘若超過連續N個的每一該些眼部影像的該差異像素數量大於該第二門檻值，該眨眼判定模組判定在擷取超過連續N個的該些眼部影像的一時間區段內該使用者眨眼。
9. 如申請專利範圍第6項所述的眨眼偵測裝置，其中該取像 單元擷取一影像序列，其中該影像序列包括連續多個原始影像；其中，該儲存單元更包括：一人臉偵測模組，對該些原始影像分別執行一人臉偵測程序，以獲得多個人臉影像；一鼻孔搜尋模組，偵測每一該些人臉影像中的鼻孔區域；以及一眼部搜尋模組，基於該鼻孔區域而自每一該些人臉影像中獲得每一該些眼部影像。
10. 如申請專利範圍第6項所述的眨眼偵測裝置，其中該些眼部影像分別為灰階影像，而倘若所取出的該目前分析影像為該些眼部影像中擷取時間最早的M個，則該光影分析模組不對該目前分析影像計算該差異像素數量。