TW201411564A - 瞌睡提醒裝置 - Google Patents

Abstract

本發明提供一種瞌睡提醒裝置，其包括一攝影單元、一處理單元、一輸出單元及儲存一瞌睡提醒程式的一儲存單元。當該處理單元載入並執行該瞌睡提醒程式時，該瞌睡提醒程式係使該處理單元執行以下步驟：接收該攝影單元所產生的多張連續影像；對每一張影像執行一影像分析步驟；根據分析結果執行一判斷步驟，以判斷該駕駛員是否睡著；及於判斷結果為是時，驅使該輸出單元產生一提醒訊息。其中，該影像分析步驟係在分析每一張影像中的上眼瞼的彎曲程度。

Description

瞌睡提醒裝置

本發明係關於一種運用影像處理技術的瞌睡提醒裝置，尤其涉及分析一連續影像中的上眼瞼彎曲程度來判斷眼睛開閉狀態的技術。

基於行車上的安全，目前已有多種瞌睡提醒裝置問世，這種裝置能夠偵測一駕駛員的眼睛狀態以判斷其是否打瞌睡，並在判斷出該駕駛員正在打瞌睡時發出警報，以喚醒該駕駛員。習知的瞌睡提醒裝置所採取的技術方案繁多，例如台灣436436、M416161、I349214、201140511等專利案及CN101196993等專利案。這些專利案提到偵測一駕駛員的眨眼頻率或閉眼時間是否超過一門檻值，一旦超過，就判定該駕駛員正在打瞌睡，並發出警報。為了要偵測出該駕駛員的眼睛狀態，通常是以一攝機模組來拍攝該駕駛員的臉部，並以一處理單元(CPU)來處理所拍攝到的影像，處理的重點在於快速且正確地找出影像中眼睛所在的區域，並檢測位於該區域中的眼睛 ，以判斷其是閉眼或開眼。

在CN101196993號案中所揭露的習知眼部檢測裝置，係能從一臉部影像中找到鼻孔位置，並根據鼻孔位置設定一眼睛搜尋區域，然後於該眼睛搜尋區域中找到上、下眼瞼。接著，根據該上、下眼瞼所夾持的部份的像素數，來判斷是開眼或閉眼。這種做法的問題在於，需要找出上、下眼瞼才能進行開眼或閉眼之判斷，這會花費掉不少處理時間，導致其提醒駕駛員的速度變慢。

本發明提供一種瞌睡提醒裝置，其只需要從一影像中找出上眼瞼就能據以作出開眼或閉眼之判斷，從而能夠於一駕駛員正在打瞌睡時快速給予提醒。

更詳而言之，本發明之瞌睡提醒裝置係包括一儲存單元、一攝影單元、一處理單元及一輸出單元。該儲存單元儲存一瞌睡提醒程式。該攝影單元用於拍攝一駕駛員的臉部以產生多張連續影像。該處理單元係電性連接該攝影單元、該儲存單元與該輸出單元，且當該處理單元載入並執行該瞌睡提醒程式時，該瞌睡提醒程式係使該處理單元執行以下步驟：接收該攝影單元所產生的該些影像；對每一張影像執行一影像分析步驟，其包括從被分析的該影像中取出一眼部影像，處理該眼部影像以得到一上眼瞼圖，檢測該上眼臉圖的彎曲程度，以及根據檢測結果對應產生一眼睛狀態數據；根據分析該些影像所得到的該些眼睛狀態數據，執行用於判斷該駕駛員是否睡著之一判斷步驟；及於判斷結果為是時，驅使該輸出單元產生一提醒訊息。

較佳地，在本發明中，該處理單元係藉由執行以下步驟而從被分析的該影像中取出該眼部影像：從該影像取出一臉部影像；找出該臉部影像中的兩個鼻孔中心點；計算出該兩鼻孔中心點之間的間距D及決定一起算點座標A（x1,y1），該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點；根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2），其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8；根據該基準點座標B（x2,y2）在該臉部影像中定義出一矩形框，該基準點座標B（x2,y2）所代表的位置點係為該矩形框的中心點，該矩形框的水平方向寬度w1=30~50 pixel，該矩形框的垂直方向寬度w2，=15~29 pixel，且w1>w2;及從該矩形框所圍繞的範圍內取出該眼部影像。其中，更佳是k1=k2。

較佳地，在本發明中，該處理單元亦可藉由執行以下步驟而從被分析的該影像中取出該眼部影像：從該影像取出一臉部影像；從該臉部影像中找出兩個鼻孔中心點；計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8；在該臉部影像中定義出一矩形框，該矩形框的中心點係為該基準點，且該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度；及從該矩形框所圍繞的範圍內取出該眼部影像，該眼部影像中含有該臉部影像中的眼睛。其中更佳是k1=k2。

較佳地，在本發明中，該處理單元還可藉由執行以下步驟而從被分析的該影像中取出該眼部影像：從該影像取出一臉部影像；從該臉部影像中找出兩個鼻孔中心點；計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；根據該間距D及該中間點決定一基準點；根據該基準點在該臉部影像中定義出一矩形框，該矩形框的中心點係為該基準點；及從該矩形框所圍繞的範圍內取出該眼部影像，該眼部影像中含有該臉部影像中的眼睛。

相對於先前技術，通過本發明而獲得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比先前技術中提及的眼部搜索區還要小。此外，本發明只需要分析影像中之上眼瞼而不需要花時間去分析影像中之下眼瞼。

至於本發明的其它發明內容與更詳細的技術及功能說明，將揭露於隨後的說明。

第一圖之方塊圖係顯示本發明之瞌睡提醒裝置的一個較佳實施例，其包括一儲存單元1、一攝影單元2、一處理單元3、電性連接該處理單元3之一輸出單元4與一輸入單元5(可由多個按鍵所構成)。該儲存單元1由一或多個可存取之非揮發性記憶器所構成，且儲存有一瞌睡提醒程式10。該攝影單元2係用於拍攝一駕駛員的臉部，以產生多張連續的影像並將之暫存於該儲存單元1。

該攝影單元2較佳是具備可轉動地調整方向及角度的鏡頭(圖中未示)，以便將該鏡頭調整成仰望該駕駛員臉部的狀態，例如使該鏡頭以仰角45度的角度朝向該駕駛員臉部。如此，該攝影單元2所拍攝到的每一張影像中的鼻孔都會被清楚地顯示出來，這意味著每一張臉部影像的鼻孔辨識度將被大幅提昇而有助於隨後所述之鼻孔搜尋程序的執行。通常，該攝影單元2還具有一照明元件，用以在光線不足時適時補光，以確保其所拍攝到之該些臉部影像的清晰度。

該處理單元3係電性連接該攝影單元2、該儲存單元1及該輸出單元4，且至少包含一中央處理器(CPU，圖中未示)及一隨機存取記憶體(RAM，圖中未示)。當該處理單元3載入並執行該瞌睡提醒程式10時，該瞌睡提醒程式10係使該處理單元3執行以下a至d步驟，如第二圖所示：

a)接收該攝影單元2於拍攝一駕駛員的臉部時所對應產生的連續影像；

b)對每一張影像執行一影像分析步驟；

c)根據分析結果，執行一判斷步驟，用於判斷該駕駛員是否睡著；及

d)於判斷結果為是時，驅使該輸出單元4產生一提醒訊息。例如，當該輸出單元4具有一揚聲器時，該提醒訊息即是由該揚聲器所發出的警示聲。該輸出單元4通常還具有一顯示器(例如觸控螢幕)，用以顯示該提醒訊息或其它相關資訊(例如用以供設定操作之用的人機操作介面)。

在本發明中，該b步驟中所述的影像分析步驟係如第三圖所示，其包括:

b1)從被分析的影像中取出一眼部影像；

b2)處理該眼部影像以得到一上眼瞼圖；

b3)檢測該上眼臉圖的彎曲程度；及

b4)根據檢測結果，對應產生一眼睛狀態數據。

於該b1步驟中，該眼部影像經以一影像處理技術處理(例如水平線化處理)之後所得到的上眼瞼圖可使用第四圖所示的示意圖來表示。其中：第四圖(A)顯示該眼部影像是一呈現張眼狀態的眼部影像61，並顯示根據該眼部影像61所處理出來的上眼瞼圖61a，且沿著該上眼瞼圖61a可大致繪出一抛物線圖形610a，以抛線公式可計算出該拋物線圖形610a的焦距(頂點V與焦點F之間的距離)。第四圖(B)顯示該眼部影像是一呈現半張眼狀態的眼部影像61，並顯示根據它所處理出來的上眼瞼圖61b，且沿著該上眼瞼圖61b可大致繪出另一抛物線圖形610b，以抛物線公式所計算出來的該另一拋物線圖形610b的焦距係大於該拋物線圖形610a的焦距。第四圖(C)顯示該眼部影像是一呈現閉眼狀態的眼部影像61，並顯示根據它所處理出來的上眼瞼圖61c，且沿著該上眼瞼圖61c可大致繪出一直線圖形，以抛物線公式所計算出來的該直線圖形的焦距是無限大。

從第四圖所顯示的上眼瞼圖可知，人類的眼睛的上眼瞼的彎曲程度，會根據其眼睛的張閉程度而有所不同。根據歸納統計結果，人類的眼睛在張開時，其上眼瞼的彎曲程度會較大而類似一抛物線圖形，而人類的眼睛在閉上時，其上眼瞼的彎曲程度會明顯很小而類似一直線圖形。根據這個現象，該處理單元3即能根據抛物線公式來計算出每一張眼部影像61中的上眼瞼圖的焦距。不同的焦距代表不同彎曲程度的上眼瞼，不同彎曲程度的上眼瞼則代表眼睛不同的張閉狀態。當該處理單元3檢查發現其處理多張連續影像所對應得到的焦距，是從某數值逐步遞增到無限大時，即判斷被攝入該些影像中的該駕駛者的眼睛是閉上的，並因此而產生代表閉眼的眼睛狀態數據「1」。而當該處理單元3檢查發現其處理多張連續影像所對應得到的焦距，是從無限大逐步遞減到某數值時，即判斷被攝入該些影像中的駕駛者的眼睛是張開的，並因此而產生代表張眼的眼睛狀態數據「0」。

從上述說明知，該攝影單元2拍攝該駕駛員的臉部一段預設時間而對應產生的連續影像，其每一張影像在經過上述的影像分析步驟之後所得到分析結果就是用於代表張、閉眼狀態的眼睛狀態數據，也就是說，每一張影像中所顯示的眼睛狀態都會被分析出來，接著，就可以根據每一張影像的分析結果來執行用於判斷該駕駛員是否睡著的判斷步驟。例如，在預定張數的影像中，有連續超過n張的影像被分析出來的結果都是「1」（其對應表示該駕駛員閉眼超過一段時間），或是「1」的出現頻率超過一門檻值（其對應表示該駕駛員張眼又閉眼的頻率過高），此時該處理單元3即可判定該駕駛員已進入瞌睡狀態，並因而驅使該輸出單元4產生該提醒訊息。

相對於先前技術需要分析影像中的上、下眼瞼才能判斷一駕駛員是否打瞌睡的做法，本發明只需要從影像中分析出相對應的上眼瞼，就可以據以判斷一駕駛員是否在打瞌睡，從而使得本發明具有快速提醒正在打瞌睡之駕駛員的優點。

請配合參閱第五、六圖，在本發明中，關於上述從一影像中取出一眼部影像之b1步驟較佳是包括以下b11~b16之步驟：

b11) 從該影像6取出一臉部影像600。該影像6的內容不僅包含該駕駛員的臉部，還包括一待去除部份，該待去除部份包括該駕駛員的頭髮、頸部及該駕駛員的背後景像。於此步驟中，可藉由Adaboost演算法及一些既有的影像處理技術來達到取出該臉部影像的目的。理想上，所取出的臉部影像600中應該已經大部份地或完全地去除掉上述的待去除部份。

b12)找出該臉部影像600中的兩個鼻孔中心點601。關於在一臉部影像中找出該兩鼻孔的作法，於先前技術中已有論及，容不贅述。由於在該臉部影像600中的每一鼻孔所佔據的區域（即鼻孔區域）相對於其它區域會明顯較黑，可大致取每一鼻孔區域的最長橫軸及最長縱軸的交叉點，作為每一鼻孔的中心點。

b13)計算出該兩鼻孔中心點601之間的間距D及決定一起算點座標A（x1,y1）。該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點。

b14)根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2）。其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8，且較佳是k1=k2。根據實際驗證的結果，經由前述所計算出來的該基準點座標B（x2,y2）所代表的點，會剛好落在或很接近該臉部影像中的一隻眼睛的中心點。如果需要，於此步驟中，還可以根據該間距D及該起算點座標A（x1,y1），計算出另一基準點座標C（x3,y3），其中，x3=x1-k1×D，y3=y1+k2×D。

b15)根據該基準點座標B（x2,y2）在該臉部影像600中定義出一矩形框R1。該基準點座標B（x2,y2）所代表的位置點係為該矩形框R1的中心點，該矩形框R1的水平方向寬度w1=30~50 pixel，該矩形框R1的垂直方向寬度w2=15~29 pixel，且w1>w2。較佳是w1=40 pixel、w2=25 pixel。如果需要，還可以於此步驟中，根據該基準點座標C（x3,y3）在該臉部影像600中定義出大小相同於該矩形框R1的另一矩形框R2。該基準點座標C（x3,y3）所代表的位置點係為該矩形框R2的中心點。

b16)從該矩形框R1所圍繞的範圍中取出上述的眼部影像61，請參閱第四圖。如果需要，還可以於此步驟中，根據從另一矩形框R2從該臉部影像600取出另一眼部影像61。

根據實際驗證的結果，經由f步驟所定義出來的矩形框R1，會剛好圍繞在該臉部影像600中的一隻眼睛的週圍，位於該隻眼睛正上方的眉毛不會位於該矩形框內(或是只有少部份會位於該矩形框內)，而位於該隻眼睛正下方的顴骨也不會位於該矩形框內(或是只有少部份會位於該矩形框內)，另一個矩形框R2也是如此。這意味著，於g步驟中所得的任一眼部影像的內容都會包含眼睛，且該任一眼部影像都比先前技術中提及的眼部搜索區小。

根據上述a至ｆ步驟的說明可知，該處理單元3實際上是在執行一眼睛搜尋方法，該方法包括：

從一臉部影像中找出兩個鼻孔中心點；

計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；

決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8，較佳是k1=k2；及

以該基準點為中心在該臉部影像中定義出一矩形框，該矩形框的水平方向寬度w1=30~50 pixel，該矩形框的垂直方向寬度w2=15~29 pixel，且w1>w2。較佳是w1=40 pixel、w2=25 pixel。該矩形框會剛好包圍該臉部影像中的眼睛，這表示藉由本發明上述方法確實能使該處理單元3從一臉部影像中找到眼睛。

需附帶一提的是，該處理單元3於執行上述步驟的過程中所需要的資料或所產生的資料(例如該臉部影像、眼部影像)，係儲存於該儲存單元1中，該些資料是暫存性的儲存或永久性的儲存，則視實際執行需求而決定。

相對於先前技術，通過本發明而獲得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比先前技術中提及的眼部搜索區還要小，使得該處理單元3的搜尋範圍相對變小而比較容易且快速地找到眼睛的某一部位，例如上述的上眼瞼。

1．．．儲存單元

2．．．攝影單元

10．．．瞌睡提醒程式

3．．．處理單元

4．．．輸出單元

5．．．輸入單元

6．．．影像

60．．．基準點

600．．．臉部影像

601．．．鼻孔中心點

61．．．眼部影像

第一圖，顯示本發明之瞌睡提醒裝置的一個較佳實施例的系統方塊圖。

第二至三圖，顯示該較佳實施例中的處理單元的執行流程。

第四圖之示意圖係顯示經由該較佳實施例中的處理單元所處理得到的上眼瞼圖。

第五圖，顯示該較佳實施例中的處理單元的細部執行流程。

第六圖，顯示該較佳實施例中的攝影單元所拍攝到的影像6的示意圖。

1．．．儲存單元

2．．．攝影單元

10．．．瞌睡提醒程式

3．．．處理單元

4．．．輸出單元

5．．．輸入單元

Claims (6)

1. 一種瞌睡提醒裝置，包括一儲存單元、一攝影單元、一處理單元及一輸出單元，該儲存單元儲存一瞌睡提醒程式，該攝影單元用於拍攝一駕駛員的臉部以產生多張連續影像，該處理單元係電性連接該攝影單元、該儲存單元與該輸出單元，且當該處理單元載入並執行該瞌睡提醒程式時，該瞌睡提醒程式係使該處理單元執行以下步驟：
   接收該攝影單元所產生的該些影像；
   對每一張影像執行一影像分析步驟，其包括從被分析的影像中取出一眼部影像，處理該眼部影像以得到一上眼瞼圖，檢測該上眼臉圖的彎曲程度，以及根據檢測結果產生一眼睛狀態數據；
   根據分析該些影像所得到的該些眼睛狀態數據，執行一判斷步驟，判斷該駕駛員是否睡著；及
   於判斷結果為是時，驅使該輸出單元產生一提醒訊息。
2. 如申請專利範圍第1項所述的瞌睡提醒裝置，其中，該處理單元係藉由執行以下步驟而從被分析的該影像中取出該眼部影像：
   從該影像取出一臉部影像；
   找出該臉部影像中的兩個鼻孔中心點；
   計算出該兩鼻孔中心點之間的間距D及決定一起算點座標A（x1,y1），該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點；
   根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2），其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8；
   根據該基準點座標B（x2,y2）在該臉部影像中定義出一矩形框，該基準點座標B（x2,y2）所代表的位置點係為該矩形框的中心點，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度;及
   從該矩形框所圍繞的範圍取出該眼部影像，該眼部影像中含有該臉部影像中的眼睛。
3. 如申請專利範圍第2項所述的瞌睡提醒裝置，其中，k1=k2。
4. 如申請專利範圍第1項所述的瞌睡提醒裝置，其中，該處理單元係藉由執行以下步驟而從被分析的該影像中取出該眼部影像：
   從該影像取出一臉部影像；
   從該臉部影像中找出兩個鼻孔中心點；
   計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；
   決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8；
   以該基準點為中心在該臉部影像中定義出一矩形框，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度；及
   從該矩形框所圍繞的範圍內取出該眼部影像，該眼部影像中含有該臉部影像中的眼睛。
5. 如申請專利範圍第4項所述的方法，其中，k1=k2。
6. 如申請專利範圍第1項所述的瞌睡提醒裝置，其中，該處理單元係藉由執行以下步驟而從被分析的該影像中取出該眼部影像：
   從該影像取出一臉部影像；
   從該臉部影像中找出兩個鼻孔中心點；
   計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；
   根據該間距D及該中間點決定一基準點；
   根據該基準點在該臉部影像中定義出一矩形框，該矩形框的中心點係為該基準點；及
   從該矩形框所圍繞的範圍取出該眼部影像，該眼部影像中含有該臉部影像中的眼睛。