TWI697847B - 閉眼偵測方法、電子裝置與電腦程式產品 - Google Patents

Abstract

本發明一種閉眼偵測方法，包括：對數位影像執行眼睛偵測演算法以取得眼睛部位；對眼睛部位執行邊緣偵測以取得二值化影像；將二值化影像中的數值分群以得到多個群組；判斷每一個群組是否向下彎曲且左右對稱以將其中一個群組當作上眼瞼；以及根據上眼瞼判斷是否發生閉眼睛現象。

Description

閉眼偵測方法、電子裝置與電腦程式產 品

本發明是有關於一種數位影像的閉眼偵測方法。

近年來，市場上出現了各式各樣的輔助駕駛系統，可以提供前方碰撞偵測、道路偏移偵測、駕駛疲勞偵測等功能。以駕駛疲勞為例，常見的系統包括一影像感測器，用以擷取駕駛的臉部影像，並根據一些影像處理演算法來判斷駕駛是否因為疲勞而閉上眼睛或者因為分心而沒有專注在前方。如何提出準確的演算法來判斷駕駛的眼睛是否閉上，為此領域技術人員所關心的議題。

本發明的實施例提出一種閉眼偵測方法，適用於電子裝置，此閉眼偵測方法包括：取得數位影像並對數位影像執行眼睛偵測演算法以取得眼睛部位；對眼睛部位執行 邊緣偵測以取得二值化影像；將二值化影像中的數值分群以得到多個群組；判斷每一個群組是否向下彎曲且左右對稱以將其中一個群組作為上眼瞼；以及根據上眼瞼判斷是否發生閉眼睛現象。

在一些實施例中，上述判斷群組是否向下彎曲且左右對稱的步驟包括：對於每一個群組，實施第一濾波器並將濾波結果大於第一臨界值的點連在一起以形成第一連線，其中第一濾波器用以偵測左下至右上的邊緣；對於每一個群組，實施第二濾波器並將濾波結果大於第一臨界值的點連在一起以形成第二連線，其中第二濾波器用以偵測右下至左上的邊緣；以及若第一連線與第二連線的長度都大於第二臨界值，且第一連線中所有濾波結果的和與第二連線中所有濾波結果的和之間的絕對差小於第三臨界值，則判斷對應的群組向下彎曲且左右對稱。

在一些實施例中，上述的閉眼偵測方法更包括；若有兩個以上的群組向下彎曲且左右對稱，則設定長度較長的群組以作為上眼瞼。

在一些實施例中，上述根據上眼瞼判斷是否發生閉眼睛現象的步驟包括：將第一連線最高的點與第二連線最高的點相連以取得第一線段；將第一連線最低的點與第二連線最低的點相連以取得第二線段；以及判斷第一線段與第二線段之間的距離是否小於第四臨界值，則是則判斷發生閉眼睛現象。

在一些實施例中，判斷第一線段與第二線段之 間的距離是否小於第四臨界值的步驟包括：判斷第一線段的中點與第二線段的中點之間的距離是否小於第四臨界值。

在一些實施例中，上述的閉眼偵測方法更包括：對二值化影像作水平投影以取得多個水平投影數值；判斷水平投影數值是否大於第五臨界值以取得多個波峰；以及若波峰的個數等於3或是4，判斷最上與對下兩個波峰是否較長且對稱，若是則過濾最上與對下的兩個波峰。

在一些實施例中，上述的閉眼偵測方法更包括：對二值化影像作水平投影以取得多個水平投影數值；以及根據水平投影數值取得在一預設位置範圍內的兩個波谷，並判斷兩個波谷之間是否只有一波峰的長度大於第五臨界值且波峰與其他波谷之間的長度差距大於第六臨界值，若是則判斷發生閉眼睛現象。

在一些實施例中，上述的閉眼偵測方法更包括：取得數位影片，並對數位影片中的每一張數位影像都執行臉部偵測演算法並判斷是否發生閉眼睛現象；對於每一張數位影像，若判斷發生閉眼睛現象則減少第一計數值，若沒有發生閉眼睛現象則增加第一計數值，若沒有偵測到臉部則重置第一計數值，若第一計數值大於第七臨界值則開始更新第二計數值；以及若判斷發生閉眼睛現象則增加第二計數值，若沒有發生閉眼睛現象則減少第二計數值，若第二計數值大於第七臨界值則發出警告。

以另一個角度來說，本發明的實施例提出一種電子裝置，包括一處理器以執行上述的閉眼偵測方法。

以另一個角度來說，本發明的實施例提出一種電腦程式產品，由電子裝置執行以完成上述的閉眼偵測方法。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧電子裝置

110‧‧‧處理器

120‧‧‧影像擷取模組

130‧‧‧記憶體

201、202‧‧‧眼睛部位

203、204‧‧‧二值化影像

210~214‧‧‧步驟

221~223‧‧‧群組

301‧‧‧第一濾波器

302‧‧‧第二濾波器

311‧‧‧第一連線

312‧‧‧第二連線

321‧‧‧第一線段

322‧‧‧第二線段

401~403‧‧‧群組

410‧‧‧二值化影像

420‧‧‧水平投影圖

421~423‧‧‧波峰

424‧‧‧預設位置範圍

425、426‧‧‧波谷

430‧‧‧影像

510‧‧‧二值化影像

511‧‧‧群組

520‧‧‧水平投影圖

521‧‧‧波峰

522‧‧‧波谷

610‧‧‧二值化影像

620‧‧‧水平投影圖

[圖1]是根據一實施例繪示電子裝置的示意圖。

[圖2]是根據一實施例繪示閉眼偵測方法的示意圖。

[圖3]是根據一實施例繪示根據二值化影像判斷是否閉眼睛的示意圖。

[圖4]是根據一實施例繪示將二值化影像做水平投影的示意圖。

[圖5]是根據一實施例繪示閉眼睛的二值化影像與水平投影圖。

[圖6]是根據一實施例繪示沒有閉眼睛的二值化影像與水平投影圖。

關於本文中所使用之『第一』、『第二』、...等，並非特別指次序或順位的意思，其僅為了區別以相同技術用語描述的元件或操作。

圖1是根據一實施例繪示電子裝置的示意圖。請 參照圖1，電子裝置100包括了處理器110、影像擷取模組120與記憶體130。電子裝置100可以裝設在任意的交通工具(例如汽車、船、或飛機等等)上，用以偵測駕駛的眼睛是否閉上。處理器110可以是中央處理器、微處理器、微控制器、影像處理晶片、特殊應用積體電路等。影像擷取模組120可包括感光耦合元件(Charge-coupled Device，CCD)感測器、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor)感測器或其他合適的感光元件，用以感測至少一數位影像。記憶體130中儲存有多個指令，處理器110執行這些指令以對上述數位影像完成閉眼偵測方法。在一些實施例中，記憶體130也可以省略，而閉眼偵測方法是以硬體的方式實作為處理器110。

圖2是根據一實施例繪示閉眼偵測方法的示意圖。請參照圖2，在步驟210中，對數位影像執行眼睛偵測演算法以取得眼睛部位201、202。在一些實施例中，可以先對數位影像執行臉部偵測方法以取得人臉部位，此臉部偵測方法可以偵測正面以及稍微側面的人臉，然後對人臉部位執行眼睛偵測演算法以取得眼睛部位201、202。上述的眼睛偵測演算法以及/或者臉部偵測方法可以採用Haar特徵與適應性增強(Adaboost)演算法，但在其他實施例中也可以採用其他演算法，例如支持向量機、卷積神經網路等等，本發明並不在此限。在圖2的實施例中，眼睛部位201代表左眼，眼睛部位202代表右眼。

在步驟211中，對這些眼睛部位201、202執行 中值濾波器(median filter)。在一些實施例中，步驟211也可以省略或替換為其他影像處理程序，本發明並不在此限。

在步驟212中，對眼睛部位201、202執行邊緣偵測以分別取得二值化影像203、204。一般來說二值化影像中的數值是繪示為黑色與白色，但為了清楚看見符號，在此繪示為灰色與白色。在一些實施例中，上述的邊緣偵測是採用索伯邊緣偵測器(sobel edge detector)，判斷邊緣偵測器的結果是否大於一臨界值便可以得到二值化影像。在其他實施例中，也可以採用肯尼邊緣偵測器(canny edge detector)或其他合適的邊緣偵測器，本發明並不在此限。在二值化影像203、204中具有多個數值，表示對應的位置是否為邊緣，例如數值“1”代表邊緣，而數值“0”代表不是邊緣。在二值化影像203、204中，白色的部分代表是邊緣，灰色的部分代表不是邊緣，從圖中可以大致看到眼睛、眉毛等輪廓。

在步驟213中，將二值化影像中的數值分群以得到多個群組。例如，可以將所有相鄰的數值“1”分為同一個群組，進而產生群組221~223等，為簡化起見，在此並未標示出所有的群組。在一些實施例中，在執行步驟213之前也可以對二值化影像203、204執行侵蝕(erosion)以及/或者膨脹(dilation)等處理，用以消除較小的群組或將相鄰破碎的群組合併在一起，本發明並不在此限。從圖2可以看出，群組222是對應至上眼瞼的部分。

在步驟214中，取得上眼瞼(即群組222)並根據上眼瞼判斷是否發生閉眼睛現象。具體作法請參照圖3，圖3是根據一實施例繪示根據二值化影像判斷是否閉眼睛的示意圖。在此僅以二值化影像203為例說明，首先判斷二值化影像203中的每個群組是否向下彎曲且左右對稱。具體來說，對於每一個群組可先實施第一濾波器301，此第一濾波器用以偵測左下至右上的邊緣。例如，濾波器301的大小為3乘3，而係數為[0,0,1；0,1,0；1,0,0]，如圖3所示。在此，二值化影像203中的數值“1”代表邊緣，因此如果第一濾波器301的結果大於第一臨界值(例如2)，表示對應的位置上有從左下至右上的邊緣。將濾波結果大於第一臨界值的點連在一起便是一條左下至右上的邊緣，例如第一連線311。

此外，對於每一個群組也會實施第二濾波器302，此第二濾波器302用以偵測右下至左上的邊緣。例如，濾波器302的大小為3乘3，而係數為[1,0,0；0,1,0；0,0,1]，如圖3所示。因此如果第二濾波器302的結果大於第一臨界值(例如2)，表示對應的位置上有從右下至左上的邊緣。將濾波結果大於第一臨界值的點連在一起便是一條右下至左上的邊緣，例如第二連線312。

上述的第一濾波器301與第二濾波器302僅是範例，本發明並不限制第一濾波器301與第二濾波器302的大小與係數。例如，第一濾波器301的大小可為5乘5，其中的係數可為[1,0,0,0,0；0,1,0,0,0；0,0,1,0,0；0,0,0,1,0；0,0,0,0,1]，以此類推。

接下來，判斷第一連線311與第二連線312的長度是否都大於第二臨界值(可依據實驗數據來設定)，若是則表示對應的群組中有較長的左下至右上邊緣以及右下至左上邊緣，因此表示此群組可能向下彎曲。此外，判斷第一連線311中所有濾波結果的和與第二連線312中所有濾波結果的和之間的絕對差是否小於第三臨界值(可依據實驗數據來設定，例如5)，若是則表示左右對稱。例如，如果第一連線311包含了3個點，這3個點的濾波結果都是3，則第一連線311中所有濾波結果的和便是9；如果第二連線312包含了4個點，這4個點的濾波結果都是3，則第二連線312中所有濾波結果的和便是12，上述的絕對差便是|9-12|=3，這表示左右對稱。當某一個群組符合向下彎曲與左右對稱這兩個條件，則表示此群組是上眼瞼。舉例來說，群組222符合這兩個條件，但群組221中並沒有足夠長的右下至左上邊緣因此並沒有符合上述兩個條件。在一些實施例中，如果二值化影像203中有兩個以上的群組符合上述兩個條件，則設定長度較長的群組作為上眼瞼。

接下來，根據上眼瞼判斷是否發生閉眼睛現象，大致上來說，如果上眼瞼比較平緩(而不是打開)，則有可能眼睛是閉上的。舉例來說，可以將第一連線311最高的點與第二連線312最高的點相連以取得第一線段321，並將第一連線311最低的點與第二連線312最低的點相連以取得第二線段322。接下來，判斷第一線段321與第二線段322之間的距離是否小於第四臨界值，則是則判斷發生閉眼睛現 象。在此有多種方式來計算第一線段321與第二線段322之間的距離，例如可以計算第一線段321的中點與第二線段322的中點之間的距離，或者可以計算第一線段321的中點往下垂直延伸至第二線段322的距離，或者計算第一線段321中任何一點與第二線段322中任何一點之間的距離，本領域具有通常知識者當可根據上述揭露內容而設計出其他的距離。

在一些實施例中，上述“根據上眼瞼判斷是否發生閉眼睛現象”的做法並沒有畫出第一線段321與第二線段322，而是將所有第一濾波器301的結果累加起來並判斷是否大於一臨界值，另外也將第二濾波器302的結果累加起來並判斷是否大於一臨界值，若上述兩個判斷的其中之一為是，則表示上眼瞼中具有很長的左下至右上邊緣或右下至左上邊緣，因此可以判斷為沒有發生閉眼睛現象。相反的，如果上述兩個判斷都不符合，則可以判斷有發生閉眼睛現象。

在一些實施例中，也可以將二值化影像203做水平投影以判斷是否發生閉眼睛現象。舉例來說，圖4是根據一實施例繪示將二值化影像做水平投影的示意圖。請參照圖4，在此實施例中駕駛還配戴有眼鏡，二值化影像410中群組401、402分別代表鏡框的上下兩邊框，而群組403代表上眼瞼。根據圖3的做法，有可能會將群組401誤判為上眼瞼，使得偵測結果始終顯示眼睛沒有閉上。在此實施例中，可以先將二值化影像做水平投影以得到多個水平投影數值，也就是說將二值化影像410同一行中的所有數值都累加 起來以得到一個水平投影數值。為了方便說明，在此將這些水平投影數值繪示為水平投影圖420，縱軸代表水平投影數值的位置，橫軸代表水平投影數值的大小，其中波峰421是對應至群組401，波峰422是對應至群組403，而波峰423是對應至群組402。由於在水平投影圖420中眼睛的部位通常位於中間，因此可以在預設位置範圍424內尋找兩個波谷425、426(例如，小於某一臨界值的水平投影數值)，然後過濾掉波谷425以上的波峰421，並過濾掉波谷426以下的波峰423，最後得到影像430，如此一來便可以過濾掉鏡框的部分。

在一些實施例中，在做完水平投影之後，上鏡框、上眼瞼、下眼瞼、下鏡框會分別對應至四個波峰(即大於某一臨界值的水平投影數值)。為了過濾掉上鏡框與下鏡框，可以判斷最上與最下兩個波峰是否比中間兩個波峰較長(水平投影數值的差距大於某一臨界值)且對稱(最上與最下兩個波峰的寬度與長度都在一範圍內)，若是則可以判斷最上與最下兩個波峰分別是上鏡框與下鏡框，因而過濾掉這兩個波峰。在一些情境中，下眼瞼並不明顯，因此在做完水平投影之後，上鏡框、上眼瞼、下鏡框會分別對應至三個波峰，同樣的為了過濾掉上鏡框與下鏡框，可以判斷最上與最下兩個波峰是否比中間的波峰較長且對稱，若是則過濾掉最上與最下兩個波峰。

在過濾掉鏡框以後，可以判斷剩餘的影像中是否只有一個波峰的長度大於一臨界值(亦稱第五臨界值，可 經由實驗計算出)且此波峰與其他波谷之間的長度差距大於另一臨界值(亦稱第六臨界值，可經由實驗計算出)，若是則表示只看得到一個眼瞼，因此可以判斷發生閉眼睛現象。舉例來說，請參照圖5，圖5是根據一實施例繪示閉眼睛的二值化影像與水平投影圖。在二值化影像510中，群組511代表閉上眼睛之後的眼瞼，而其他鏡框等部分已經被過濾掉。此外，水平投影圖520中只有波峰521的長度大於第五臨界值且波峰521與波谷522的長度差距大於第六臨界值，因此這表示發生閉眼睛現象。請參照圖6，在圖6的例子中，從二值化影像610可以看出駕駛的眼睛並沒有閉上，在水平投影圖620中並沒有一個波峰的長度大於第五臨界值，且此波峰與其他波谷之間的長度差距也沒有大於第六臨界值，因此可以判斷並沒有發生閉眼睛現象。

在一些實施例中，影像擷取模組120是持續的在感測數位影像(或稱取得一數位影片)，上述的偵測方法可以適用於數位影片中的任何一張數位影像。在一些實施例中，對於每一張數位影像都會執行臉部偵測演算法並判斷是否發生閉眼睛現象。在此會利用兩個計數值來建立穩定機制，進而判斷是否要發出警告。具體來說，對於每一張數位影像，若判斷發生閉眼睛現象則減少第一計數值，若沒有發生閉眼睛現象則增加第一計數值，若沒有偵測到臉部則重置第一計數值，若計數值大於一臨界值(亦稱第七臨界值，例如為30)，則表示目前已經穩定地偵測到人臉且目前眼睛是睜開的，接下來可以開始更新第二計數值。開始更新第二計 數值以後，若判斷發生閉眼睛現象則增加第二計數值，若沒有發生閉眼睛現象則減少第二計數值，若第二計數值大於第七臨界值，則表示駕駛已經閉上眼睛，此時會發出警告，此警告的形式可以是顯示文字、符號在一螢幕上，或者是發出一聲音，本發明並不在此限。

以另外一個角度來說，本發明也提出了一電腦程式產品，此產品可由任意的程式語言及/或平台所撰寫，當此電腦程式產品被載入至電腦系統並執行時，可執行上述的閉眼偵測方法。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

201、202‧‧‧眼睛部位

203、204‧‧‧二值化影像

210~214‧‧‧步驟

221~223‧‧‧群組

Claims (8)

1. 一種閉眼偵測方法，適用於一電子裝置，該閉眼偵測方法包括：取得一數位影像並對該數位影像執行一眼睛偵測演算法以取得一眼睛部位；對該眼睛部位執行邊緣偵測以取得一二值化影像；將該二值化影像中的數值分群以得到多個群組；對於每一該些群組，實施一第一濾波器並將濾波結果大於一第一臨界值的點連在一起以形成第一連線，其中該第一濾波器用以偵測左下至右上的邊緣；對於每一該些群組，實施一第二濾波器並將濾波結果大於該第一臨界值的點連在一起以形成第二連線，其中該第二濾波器用以偵測右下至左上的邊緣；若該第一連線與該第二連線的長度都大於一第二臨界值，且該第一連線中所有濾波結果的和與該第二連線中所有濾波結果的和之間的絕對差小於一第三臨界值，則判斷對應的該群組向下彎曲且左右對稱以作為上眼瞼；將該第一連線最高的點與該第二連線最高的點相連以取得一第一線段；將該第一連線最低的點與該第二連線最低的點相連以取得一第二線段；以及判斷該第一線段與該第二線段之間的距離是否小於一第四臨界值，則是則判斷發生一閉眼睛現象。
2. 如申請專利範圍第1項所述之閉眼偵測方 法，更包括；若該些群組中有兩個以上的群組向下彎曲且左右對稱，則設定長度較長的群組以作為該上眼瞼。
3. 如申請專利範圍第1項所述之閉眼偵測方法，其中判斷該第一線段與該第二線段之間的距離是否小於該第四臨界值的步驟包括：判斷該第一線段的中點與該第二線段的中點之間的距離是否小於該第四臨界值。
4. 如申請專利範圍第3項所述之閉眼偵測方法，更包括：對該二值化影像作水平投影以取得多個水平投影數值；判斷該些水平投影數值是否大於一第五臨界值以取得多個波峰；以及若該些波峰的個數等於3或是4，判斷最上與對下兩個波峰是否較長且對稱，若是則過濾最上與對下的該兩個波峰。
5. 如申請專利範圍第3項所述之閉眼偵測方法，更包括：對該二值化影像作水平投影以取得多個水平投影數值；以及 根據該些水平投影數值取得在一預設位置範圍內的兩個波谷，並判斷該些兩個波谷之間是否只有一波峰的長度大於一第五臨界值且該波峰與其他波谷之間的長度差距大於一第六臨界值，若是則判斷發生該閉眼睛現象。
6. 如申請專利範圍第1項所述之閉眼偵測方法，更包括：取得一數位影片，並對該數位影片中的每一多個數位影像都執行臉部偵測演算法並判斷是否發生該閉眼睛現象；對於該數位影片中的每一該些數位影像，若判斷發生該閉眼睛現象則減少一第一計數值，若沒有發生該閉眼睛現象則增加該第一計數值，若沒有偵測到臉部則重置該第一計數值，若該第一計數值大於一第七臨界值則開始更新第二計數值；以及若判斷發生該閉眼睛現象則增加一第二計數值，若沒有發生該閉眼睛現象則減少該第二計數值，若該第二計數值大於該第七臨界值則發出一警告。
7. 一種電子裝置，包括一處理器，用以執行申請專利範圍第1項所述之閉眼偵測方法。
8. 一種電腦程式產品，由一電子裝置執行以完成申請專利範圍第1項所述之閉眼偵測方法。

Images