TW201411565A

TW201411565A - 眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置

Info

Publication number: TW201411565A
Application number: TW101133736A
Authority: TW
Inventors: Chia-Chun Tsou; Chih-Heng Fang; Po-Tsung Lin
Original assignee: Utechzone Co Ltd
Priority date: 2012-09-14
Filing date: 2012-09-14
Publication date: 2014-03-16
Also published as: US9378409B2; US20140078284A1; JP5694471B2; TWI466070B; JP2014059869A

Abstract

本發明提供一種眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置。該方法包括以下步驟：從一臉部影像中找出兩個鼻孔中心點；計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，k1=1.6~1.8，k2=1.6~1.8；及以該基準點為中心決定一矩形框，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度，且該矩形框係圍繞該臉部影像中的眼睛。藉由前述方法，本發明可快速且正確地從一攝影單元所拍攝的臉部影像中找到眼睛的某一部位。

Description

眼睛搜尋方法及使用該方法的眼睛狀態檢測裝置與眼睛搜尋裝置

本發明涉及影像處理技術，尤其關於如何從一臉部影像快速且正確地找出眼睛以供後續應用的技術。

在一些需要辨識眼睛狀態的應用中，例如偵測一駕駛員的眼睛狀態以判斷其是否打磕睡、偵測一漸凍症病人的眼睛狀態以判斷其目前所下達的指令，已有多項技術問世。其中，關於藉由影像處理方式來辨識眼睛狀態的技術，在台灣436436、I349214、M416161、201140511等專利案，US8,094,883、US8,184,008及CN101196993等專利案中均有提及。此類技術主要是先以一攝影裝置拍攝一使用者的臉部，以產生該使用者的臉部影像，再以一眼睛辦識裝置來處理該些臉部影像，並根據處理結果判斷該使用者的眼睛狀態。其中，該眼部辦識裝置在處理每一張臉部影像時，是先找出臉部區域，再根據所找到的臉部區域來找出眼睛區域，接著在該所找到的眼睛區域中找出眼睛的某一部位(例如上眼瞼、下眼瞼、瞳孔)，然後根據該某一部份的變化情形來判斷該使用者的眼睛狀態，例如張眼狀態或閉眼狀態。這些技術中尤受關切的議題之一是如何讓裝置快速且正確地從一臉部影像中找到眼睛區域。

在CN101196993號案中所揭露的習知眼部檢測裝置，係能從一臉部影像中找到鼻孔位置，並根據鼻孔位置設定一眼睛搜尋區域，然後於該眼睛搜尋區域中找到上、下眼瞼。相對於在一臉部影像中直接找眼睛的做法，該習知眼部檢測裝置能較快速且正確地找到眼睛，這是因為在一臉部影像中的鼻孔是呈現黑色而易於被正確地辨識出來。

然而，該習知眼部檢測裝置所設定出來的眼睛搜尋區域係為一水平方向寬度較小而垂直方向較大的矩形區域，其涵蓋範圍頗大（已涵蓋到眉毛及顴骨），導致該習知眼部檢測裝置需要花費許多時間才能從該眼睛搜尋區域中找到上、下眼瞼。

有鑑於該習知眼部檢測裝置所設定出來的眼睛搜尋區域太大而導致需要花費較多時間才能從該眼睛搜尋區域中找到眼睛的某一部份，例如上、下眼瞼或瞳孔。本發明提供一種能解決前述問題的方法及裝置。

更詳而言之，本發提供一種眼睛狀態檢測裝置，其包括一儲存單元、一攝影單元及一處理單元，該儲存單元儲存一程式，該攝影單元用於拍攝一使用者的臉部。當該處理單元載入並執行該程式時，該程式係使該處理單元執行以下步驟：接收該攝影單元所拍攝的一原始影像；從該原始影像取出一臉部影像；找出該臉部影像中的兩個鼻孔中心點；計算出該兩鼻孔中心點之間的間距D及決定一起算點座標A（x1,y1）；根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2）；根據該基準點座標B（x2,y2）在該臉部影像中定義出一矩形框；及從該矩形框所圍繞的範圍取出一眼部影像。其中，該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點，且x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8，較佳地，k1=k2。而該基準點座標B（x2,y2）所代表的位置點係為該矩形框的中心點，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度，以及該矩形框係圍繞該臉部影像中的眼睛，使得該眼部影像中包含該使用者的眼睛。

較佳地，該程式係使該處理單元於取出該眼部影像之後繼續執行一眼睛狀態判斷步驟，用以在該眼部影像中搜索出眼睛的上眼瞼，並檢測該上眼瞼的彎曲程度及根據檢測結果產生用以表示張眼或閉眼的一眼睛狀態數據。

本發明更提供一種眼睛搜尋裝置，其具有一處理單元及一程式，當該處理單元執行該程式時，該程式係使該處理單元執行上述的眼睛搜尋方法，及使該處理單元在從該臉部影像找到眼睛之後繼續執行一眼睛狀態判斷步驟，該眼睛狀態判斷步驟係用以找出眼睛的上眼瞼，並檢測該上眼瞼的彎曲程度及根據檢測結果產生用以表示張眼或閉眼的一眼睛狀態數據。

相對於先前技術，通過本發明方法及裝置而獲得的眼部影像或矩形框中，不但含有眼睛，且都比先前技術中提及的眼部搜索區域還要小而比較容易且快速地找到眼睛的某一部位。

至於本發明的其它發明內容與更詳細的技術及功能說明，將揭露於隨後的說明。

第一圖之方塊圖係顯示本發明之眼睛狀態檢測裝置的一個較佳實施例，其包括一儲存單元1、一攝影單元2、一處理單元3、電性連接該處理單元3之一輸出單元4與一輸入單元5(可由多個按鍵所構成)。該儲存單元1由一個或多個可存取之非揮發性記憶器所構成，且儲存有一程式，該程式包括一組眼睛搜索程式碼10，較佳還包括一組眼睛狀態判斷程式碼11。該攝影單元1係用於拍攝一使用者的臉部，以產生多張連續的影像並將之暫存於該儲存單元1。

該攝影單元2較佳是具備可轉動地調整方向及角度的鏡頭(圖中未示)，以便將該鏡頭調整成仰望該使用者臉部的狀態，例如使該鏡頭以仰角45度的角度朝向該使用者臉部。如此，該攝影單元2所拍攝到的每一張影像中的鼻孔都會被清楚地顯示出來，這意味著每一張臉部影像的鼻孔辨識度將被大幅提昇而有助於隨後所述之鼻孔搜尋程序的執行。通常，該攝影單元2還具有一照明元件，用以在光線不足時適時進行補光，以確保其所拍攝到之該些臉部影像的清晰度。

該處理單元3係電性連接該攝影單元2及該儲存單元1，且至少包含一中央處理器(CPU，圖中未示)及一隨機存取記憶體(RAM，圖中未示)。當該處理單元3載入並執行該眼睛搜索程式碼10時，該眼睛搜索程式碼10係使該處理單元3執行以下a至g步驟，如第二、三圖所示：

a)接收一原始影像6。該原始影像6係由該攝影單元2拍攝一使用者的臉部而產生的，其內容不僅包含該使用者的臉部，還包括一待去除部份，該待去除部份包括該使用者的頭髮、頸部及該使用者的背後景像。

b)從該原始影像6取出一臉部影像61。這可藉由Adaboost演算法及一些既有的影像處理技術來達到取出該臉部影像的目的。理想上，所取出的臉部影像61中應該已經大部份地或完全地去除掉上述的待去除部份。

c)找出該臉部影像61中的兩個鼻孔中心點62。關於在一臉部影像中找出該兩鼻孔的作法，於先前技術中已有論及，容不贅述。由於在該臉部影像61中的每一鼻孔所佔據的區域（即鼻孔區域）相對於其它區域會明顯較黑，可大致取每一鼻孔區域的最長橫軸及最長縱軸的交叉點，作為每一鼻孔的中心點。

d)計算出該兩鼻孔中心點62之間的間距D及決定一起算點座標A（x1,y1）。該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點。

ｅ)根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2）。其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8，且較佳是k1=k2。根據實際驗證的結果，經由前述所計算出來的該基準點座標B（x2,y2）所代表的點，會剛好落在或很接近該臉部影像61中的一隻眼睛的中心點。如果需要，於此步驟中，還可以根據該間距D及該起算點座標A（x1,y1），計算出另一基準點座標C（x3,y3），其中，x3=x1-k1×D，y3=y1+k2×D，該基準點座標C（x3,y3）代表的點會剛好落在或很接近該臉部影像61中的另一隻眼睛的中心點。

f)根據該基準點座標B（x2,y2）在該臉部影像61中定義出一矩形框R1。該基準點座標B（x2,y2）所代表的位置點係為該矩形框R1的中心點，該矩形框R1的水平方向寬度w1=30~50 pixel，該矩形框R1的垂直方向寬度w2=15~29 pixel，且w1>w2。較佳是w1=40 pixel、w2=25 pixel。如果需要，還可以於此步驟中，根據該基準點座標C（x3,y3）在該臉部影像61中定義出大小相同於該矩形框R1的另一矩形框R2。該基準點座標C（x3,y3）所代表的位置點係為該矩形框R2的中心點。

g)從該矩形框R1所圍繞的範圍內取出一眼部影像63，一如第四圖所示。如果需要，還可以於此步驟中，從該矩形框R2所圍繞的範圍內取出另一眼部影像。

根據實際驗證的結果，經由f步驟所定義出來的矩形框R1，會剛好圍繞在該臉部影像61中的一隻眼睛的週圍，位於該隻眼睛正上方的眉毛不會位於該矩形框內(或是只有少部份會位於該矩形框內)，而位於該隻眼睛正下方的顴骨也不會位於該矩形框內(或是只有少部份會位於該矩形框內)，另一個矩形框R2也是如此。這意味著，於g步驟中所得的任一眼部影像的內容都會包含眼睛，且該任一眼部影像都比先前技術中提及的眼部搜索區域小。

當該處理單元3依據上述步驟而從該原始影像6取得該眼部影像63或該兩眼部影像63之後，會繼續載入並執行該眼睛狀態判斷程式碼11。該眼睛狀態判斷程式碼11係使該處理單元3執行一眼睛狀態判斷步驟，用以在該眼部影像63或該兩眼部影像63中搜索出眼睛的某一部位，例如上、下眼瞼或瞳孔，並根據對該某一部位的檢測結果產生一眼睛狀態數據，例如以「0」代表張眼狀態、以「1」代表閉眼狀態。在本發明中，主要是利用檢測上眼瞼的彎曲程度來產生該眼睛狀態數據，其原理是在張眼狀態下，眼睛的上眼瞼是呈現沿水平方向延伸的弧線，而在閉眼狀態下，眼睛的上眼瞼大致是呈現沿水平方向延伸的直線。當該處理單元3藉由一影像技術處理該眼部影像63之後，就可得到沿著該眼部影像63中的上眼瞼而繪製出來的一上眼瞼圖。如果該眼部影像63中的眼睛是在張眼狀態下，則該上眼瞼圖會像是拋物線圖形，此時，該處理單元3可根據抛物線公式可計算出該拋物線圖形的焦距。然而，如果該眼部影像63中的眼睛是在閉眼狀態下，則該上眼瞼圖會像是直線圖形，此時，該處理單元3根據抛物線公式所計算出來的焦距是無限大。簡言之，該處理單元3係能從該張眼部影像63處理得到一焦距，不同的焦距代表不同彎曲程度的上眼瞼，不同彎曲程度的上眼瞼代表不同的眼睛狀態。當該處理單元3檢查發現其處理多張連續影像所對應得到的焦距，是從某數值逐步遞增到無限大時，即判斷被攝入該些影像中的人的眼睛是閉上的，並因此而產生代表閉眼的眼睛狀態數據「1」。而當該處理單元3檢查發現其處理多張連續影像所對應得到的焦距，是從無限大逐步遞減到某數值時，即判斷被攝入該些影像中的人的眼睛是張開的，並因此而產生代表張眼的眼睛狀態數據「0」。

該處理單元3於執行上述步驟的過程中所需要的資料或所產生的資料(例如該臉部影像、眼部影像)，係儲存於該儲存單元1中，該些資料是暫存性的儲存或永久性的儲存，則視實際執行需求而決定。

從上述說明可知，本發明之眼睛狀態檢測裝置係能藉其該攝影單元2拍攝一使用者的臉部，並能藉其處理單元3處理該攝影單元2所拍攝到的每一張影像，及根據每一張影像的處理結果對應產生一眼睛狀態數據供諸運用。例如，當該處理單元3對預定張數的連續影像進行處理時，若所得到眼睛狀態數據都是代表閉眼狀態的「1」，或是「1」的出現頻率超過一門檻值時，就判斷該使用者目前正在打瞌睡，此時，就驅使該輸出單元4產生一提醒訊息，例如，當該輸出單元4具有一揚聲器時，該提醒訊息即是由該揚聲器所發出的警示聲。該輸出單元4通常還具有一顯示器(例如觸控螢幕)，用以顯示該提醒訊息或其它相關資訊(例如用以供設定操作之用的人機操作介面)。

根據上述a至ｆ步驟的說明可知，該處理單元3實際上是在執行一眼睛搜尋方法，該方法包括：

從一臉部影像中找出兩個鼻孔中心點；

計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；

決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8，較佳是k1=k2；及

以該基準點為中心決定一矩形框，該矩形框的水平方向寬度w1=30~50 pixel，該矩形框的垂直方向寬度w2=15~29 pixel，且w1>w2。較佳是w1=40 pixel、w2=25 pixel。

相對於先前技術，通過本發明而獲得的上述眼部影像或上述矩形框中，不但含有眼睛，且都比先前技術中提及的眼部搜索區域還要小，使得該處理單元3的搜尋範圍相對變小而比較容易且快速地找到眼睛的某一部位。

1．．．儲存單元

2．．．攝影單元

10．．．眼睛搜索程式碼

11．．．眼睛狀態判斷程式碼

3．．．處理單元

4．．．輸出單元

5．．．輸入單元

6．．．原始影像

60．．．基準點

61．．．臉部影像

62．．．鼻孔中心點

63．．．眼部影像

第一圖，顯示本發明之眼睛狀態檢測裝置的一個較佳實施例的系統方塊圖。

第二圖，顯示該較佳實施例中的處理單元的執行流程。

第三圖，顯示該較佳實施例中的攝影單元所拍攝到的影像的示意圖。

第四圖，顯示從該影像所取出的一眼部影像的示意圖。

6．．．原始影像

60．．．基準點

61．．．臉部影像

62．．．鼻孔中心點

63．．．眼部影像

Claims

一種眼睛狀態檢測裝置，包括一儲存單元、一攝影單元及一處理單元，該儲存單元儲存一程式，該攝影單元用於拍攝一使用者的臉部，該處理單元係電性連接該攝影單元及該儲存單元，且當該處理單元載入並執行該程式時，該程式係使該處理單元執行以下步驟：
接收該攝影單元所拍攝的一原始影像；
從該原始影像取出一臉部影像；
找出該臉部影像中的兩個鼻孔中心點；
計算出該兩鼻孔中心點之間的間距D及決定一起算點座標A（x1,y1），該起算點座標A（x1,y1）所代表的位置點係位在該兩鼻孔中心點之間的中間點；
根據該間距D及該起算點座標A（x1,y1），計算出一基準點座標B（x2,y2），其中，x2=x1+k1×D，y2=y1+k2×D，k1=1.6~1.8，k2=1.6~1.8；
根據該基準點座標B（x2,y2）在該臉部影像中定義出一矩形框，該基準點座標B（x2,y2）所代表的位置點係為該矩形框的中心點，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度;及
從該矩形框所圍繞的範圍內取出一眼部影像，該眼部影像中包含該使用者的眼睛。
如申請專利範圍第1項所述的眼睛狀態檢測裝置，其中，k1=k2。
如申請專利範圍第1項所述的眼睛狀態檢測裝置，其中，該程式係使該處理單元於取出該眼部影像之後繼續執行一眼睛狀態判斷步驟，用以在該眼部影像中找出眼睛的上眼瞼，並檢測該上眼瞼的彎曲程度及根據檢測結果產生用以表示張眼或閉眼的一眼睛狀態數據。
一種眼睛搜尋方法，包括：
從一臉部影像中找出兩個鼻孔中心點；
計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；
決定一基準點，該基準點與該中間點的水平距離與垂直距離分別是k1×D，k2×D，且k1=1.6~1.8，k2=1.6~1.8；及
以該基準點為中心決定一矩形框，該矩形框的水平方向寬度係大於該矩形框的垂直方向寬度，且該矩形框係圍繞該臉部影像中的眼睛。
如申請專利範圍第4項所述的方法，其中，k1=k2。
一種眼睛搜尋方法，包括：
從一臉部影像中找出兩個鼻孔中心點；
計算出該兩鼻孔中心點之間的間距D及位在該兩鼻孔中心點之間的一中間點；及
根據該間距D及該中間點找出該臉部影像中的眼睛。
一種眼睛搜尋裝置，具有一處理單元及一程式，當該處理單元執行該程式時，該程式係使該處理單元執行申請專利範圍第4~6項任一項中所述的方法。