TWI579173B - 基於耳朵影像角度變化的駕駛疲勞監控與偵測方法 - Google Patents

Description

基於耳朵影像角度變化的駕駛疲勞監控與偵測方法

一種駕駛疲勞監控與偵測方法，尤其是一種基於耳朵影像角度變化的駕駛疲勞監控與偵測方法

長時間駕駛的汽車司機，容易因疲勞而導致發生意外事故，疲勞也將使駕駛的警惕降低及反應變慢，當駕駛沒有適當的休息時，發生車禍的風險將升高，於先前技術中也已有多種利用駕駛人影響作為監測疲勞駕駛的方法，例如以駕駛人的臉部或頭部的影像辨識作為監測的依據，然而，不論是人臉或是頭部都容易因為外在物體的影響而導致影像判斷的誤差，例如，髮型的變化或是配戴眼鏡等外部因素都容易影響影像辨識的結果，而導致系統無法有效的進行駕駛疲勞的監控及偵測。此外，常見的頭部或臉部辨識裝置必須於頭部或臉部正面設置辨識裝置，然而於實際使用上，駕駛人的視線前方並不適合設置過多的裝置，以免造成駕駛人視線的阻礙。

為解決先前技術出現的缺點，本發明提出一種基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，其包含下列步驟：擷取一耳朵影像，該耳朵影像由一影像處理運算出該耳朵影像的一耳朵特徵，該耳朵特徵為耳朵輪廓形成的影像特徵；該耳朵影像以一標準耳朵影像為基準進行一疲勞判斷，該疲勞判斷比較該耳朵影像相對於該標準耳朵影像的一偏移角度，該疲勞判斷的結果判斷駕駛人的一疲勞狀態，該疲勞狀態為駕駛人因疲倦產生的頭部晃動狀態，因此產生該耳朵影像與該標準耳朵影像間的該偏移角度；及依據該疲勞狀態輸出一警示訊號，由該警示訊號警示駕駛人。

進一步的，該疲勞判斷包含下列步驟：判斷該偏移角度是否超過一預設角度，該偏移角度每超過該預設角度一次，則累進計數一偏移角度次數一次；累進的該偏移角度次數除以一頻率門檻時間，計算出一偏移頻率，判斷該偏移頻率是否超過一預設頻率，每超過該預設頻率一次，則累進計數一偏移頻率次數一次；及判斷該偏移頻率次數在一次數門檻時間內累進計數次數是否超過一預設次數，該偏移頻率次數在該次數門檻時間內超過該預設次數則判定駕駛人為該疲勞狀態。

進一步的，其基於耳朵影像角度變化的駕駛疲勞監控與偵測方法包含一判斷範圍設定方法，該判斷範圍設定方法調整該標準耳朵影像在駕駛人身體或頭部移動或轉動的情況下，該耳朵影像可被辨識的容許範圍，該判斷範圍設定方法包含一面積判斷範圍設定方法及一角度判斷範圍設定方法，其中：該面積判斷範圍設定方法設定一面積判斷範圍數值，該面積判斷範圍數值設定該耳朵影像中的耳朵面積對比該標準耳朵影像中的耳朵面積的可容許面積差異；及該角度判斷範圍設定方法設定一角度判斷範圍數值，該角度判斷範圍數值設定該耳朵影像與該標準耳朵影像間的該偏移角度的可容許角度範圍。

該影像處理包含下列步驟：擷取該耳朵影像，以一二值化函數將每一禎該耳朵影像內所包含的複數個像素進行分類，判斷該像素的一灰度值大於或小於該二值化函數中的一二值化臨界值，依據其判斷結果將該耳朵影像中的複數個該像素進行分類；經該二值化函數處理後的該耳朵影像，以該耳朵影像進行一影像侵蝕處理及一影像膨脹處理，其中：該影像膨脹處理判斷該耳朵影像主體的邊緣出現的該灰度值255，該影像膨脹處理將該耳朵影像的邊緣以同一灰度值255填滿；及該影像侵蝕處理判斷該耳朵影像主體的邊緣出現的該灰度值0，該影像侵蝕處理將該耳朵影像邊緣的像素，以與背景相同的灰度值0取代；經該影像侵蝕處理及該影像膨脹處理的該耳朵影像，以對該耳朵影像進行一影像邊緣偵測，該影像邊緣偵測以一邊緣偵測臨界值作為判斷基礎，判斷該像素的該灰階值；及對該耳朵影像進行一特徵追蹤，該特徵追蹤針對該耳朵影像中的該耳朵特徵進行辨識，以該標準耳朵影像所運算出的該耳朵特徵作為判斷基準，判斷即時捕捉的該耳朵影像中是否有該耳朵特徵。

由上述說明可知發明具有下列優點：

1. 該攝影模組可設置於駕駛人的左、右兩側，避免設於視線前方，造成視線的阻礙。

2. 駕駛疲勞監控與偵測方法以耳朵作為影像辨識的標的，有效的避免在先前技術中以駕駛人臉部作為辨識標的出現的辨識困難，例如：配戴的物件導致辨識不易（例如：眼鏡）、髮型變化造成的辨識不易等。

3. 相較於先前技術中常見的臉部辨識，以耳朵作為辨識標的辨識面積較小，且具有明顯的特徵（例如耳骨的凹凸），不但可減少需處理的資訊量也可降低辨識的難度。

請參考圖1及2，本發明創作為一種基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，其該駕駛疲勞監控與偵測方法判斷駕駛人耳朵的一偏移角度，透過一攝影裝置10拍攝駕駛人的一耳朵影像並監控該偏移角度，該偏移角度在一處理模組20的運算下以該偏移角度作為監控駕駛人的一疲勞狀態的監控標準，其中該攝影裝置10與該處理模組20可為無線或有線的連結，例如有線的電路連接，或者以無線的藍牙、紅外線、無線網路訊號等無線訊號傳遞連接。該疲勞狀態為駕駛人因身體因素所造成的頭部擺動（例如，疲倦），頭部擺動產生駕駛人耳朵的該偏移角度，在該偏移角度之頻率或次數大於一預設值後，該疲勞監控與偵測方法輸出一警示訊號至一警示裝置30，由該警示裝置30提醒駕駛人，而該警示裝置30可為車輛內的一警示聲響、駕駛人坐墊內的一警示震動或車輛儀表板上的一警示燈號等，其中該預設值可為預設角度或預設頻率。

該駕駛疲勞監控與偵測方法包含下列駕駛疲勞監控與偵測步驟：

駕駛疲勞監控與偵測步驟一、建立標準影像

該攝影模組擷取該耳朵影像，其中，該攝影模組設置於駕駛人的側面，例如駕駛人左、右兩側的擋風玻璃，使該攝影模組可於駕駛人的其中一側擷取該耳朵影像，藉此可避免該攝影模組設置於駕駛人的視線前方而導致視線的阻擋，而該處理模組20以該耳朵影像建立一標準耳朵影像，於本發明實施例中，該標準耳朵影像以駕駛人的一正常駕駛狀態的耳朵影像作為標準，以該標準耳朵影像與即時擷取的該耳朵影像進行比較。

進一步的，該標準耳朵影像以一判斷範圍設定方法調整該標準耳朵影像在駕駛人身體或頭部移動或轉動的情況下，該耳朵影像可被辨識的容許範圍，其中該判斷範圍設定方法包含一面積判斷範圍設定方法及一角度判斷範圍設定方法，例如耳朵與該攝影裝置10的距離會影響該耳朵影像的大小，由該面積判斷範圍設定方法，設定該耳朵距離該攝影裝置10的最近、最遠距離。駕駛人於車輛行進時觀察交通狀況的頭部轉動會影響該耳朵影像的可辨識角度，由該角度判斷範圍設定方法設定可辨識角度的最大及最小範圍。依據該判斷範圍方法的設定，使駕駛人在一定的攝影範圍內皆可由該處理模組20辨識出該耳朵影像。例如，於本發明實施例中，若該面積判斷範圍設定方法設定一面積判斷範圍數值為1，則表示該耳朵影像中的耳朵面積必須百分之一百與該標準耳朵影像中的耳朵面積相同，該耳朵影像方可被判定有擷取到駕駛人的耳朵。若該面積判斷範圍數值為0.8，則表示該耳朵影像中的耳朵面積可與該標準耳朵影像的耳朵面積有百分之二十的差異。若該角度判斷範圍設定一角度判斷範圍數值的上限為45度，而下限為負45度，則在該耳朵影像與該標準耳朵影像的該偏移角度小於45度及大於負45度內，該耳朵影像方可被判定有擷取到駕駛人的耳朵。

擷取該耳朵影像後進行一影像處理，透過該影像處理找出該耳朵影像中的一耳朵特徵，該耳朵特徵為耳朵輪廓形成的影像特徵。其中，該影像處理包含下列影像處理步驟：

影像處理步驟一、二值化

請參考圖3，該攝影模組擷取該耳朵影像，該處理模組20以一二值化函數將每一禎該耳朵影像內所包含的複數個像素進行分類，簡化該耳朵影像的數據量。每一該像素皆有一灰度值表示其所顯示的顏色，例如該灰度值的範圍為0到255，判斷該灰度值大於或小於該二值化函數中的一二值化臨界值，並依據其判斷結果將該耳朵影像中的複數個該像素進行分類。例如於本發明實施例中，該二值化函數的判斷式如下：

其中，m(x, y )為該耳朵影像分別在X方向及Y方向的像素的方向函數；

f(X, Y)為該二值化函數；

T為該二值化臨界值；及

該二值化函數的函數值為0時，該像素顯示為白色，反之該二值化函數的函數值為1時，該像素顯示為黑色。

在該像素大於該二值化臨界值時，該二值化函數值為0，該像素呈現為黑色，反之在該二值化函數值為1時，該像素呈現為白色。

影像處理步驟二、影像侵蝕處理及影像膨脹處理

經該二值化函數處理後的該耳朵影像，該處理模組20對該耳朵影像進行一影像侵蝕處理及一影像膨脹處理，透過該影像侵蝕處理及該影像膨脹處理去除該耳朵影像中之雜訊及影像中的破碎圖形或邊界。

請參考圖4，該影像膨脹處理判斷該耳朵影像主體的邊緣出現有一個以上該像素的該灰度值為255時，該影像膨脹處理將該耳朵影像的邊緣以同一灰度值255填滿，使該耳朵影像的邊緣較為平滑。透過該影像膨脹處理，連結原本應與該耳朵影像主體連結，卻因該二值化函數的分類而與該耳朵影像主體分離的像素。

請參考圖5，該影像侵蝕處理判斷該耳朵影像主體的邊緣出現有一個以上該像素的該灰度值為255時，該影像侵蝕處理將該耳朵影像邊緣的像素，以與背景相同的灰度值0取代，使該耳朵影像的邊緣較為平滑。透過該影像侵蝕處理，消除在該二值化函數分類時所產生的一雜訊像素，該雜訊像素為與該辨識目標無關的物體，例如擷取耳朵圖片時背景中的亮點或背景中的其他物體。

影像處理步驟三、影像邊緣偵測

請參考圖6，經該影像侵蝕處理及該影像膨脹處理的該耳朵影像，該處理模組20對該耳朵影像進行一影像邊緣偵測，透過該影像邊緣偵測減少該耳朵影像的數據量，並保留該耳朵影像中重要的該耳朵特徵，該耳朵特徵為耳朵的邊緣輪廓或耳骨形成的凹凸。

該影像邊緣偵測係為偵測該耳朵影像像素的函數值m(x, y)在X、Y方向上該像素的一梯度變化量，於本發明實施例中，該影像邊緣偵測的運算式如下所示：

該影像邊緣偵測以一邊緣偵測臨界值作為判斷基礎，在該像素的該梯度變化量大於該邊緣偵測臨界值時，則設該像素的該灰階值為0，顯示為黑色；在該像素的該梯度變化量小於該邊緣偵測臨界值時，則設該像素的該灰階值為255，顯示為白色。

影像處理步驟四、耳朵特徵追蹤

請參考圖7，經該影像邊緣偵測的該耳朵影像，該處理模組20對該耳朵影像進行一特徵追蹤，該特徵追蹤針對該耳朵影像中的該耳朵特徵進行辨識，以該標準耳朵影像所運算出的該耳朵特徵作為判斷基準，判斷即時捕捉的該耳朵影像中是否有該耳朵特徵。該特徵追蹤可為先前技術中Omachi, S及Omachi, M所提出的一樣板比對方法（Omachi, S.; Omachi, M.;”Fast Template Matching With Polynomials” , IEEE Transactions Image Processing, Vol.16,Aug 2007.），該樣板比對方法採用該標準耳朵影像直接於該耳朵影像上以逐點方式計算該標準耳朵影像與該耳朵影像的相似度，取最大相關係數值為其比對結果。或為先前技術中Yingjie, S.所提出的幾何特徵比對方法（Yingjie, S.; Qixin, C. ; Lee, J.; “Robust mobile robot on-the-fly localization: using geometrical feature matching method” , WCICA . Fifth World Congress on Intelligent Control and Automation, Vol.6,June 2004.），該幾何特徵比對方法採用影像邊界為資訊，而影像邊界多採用梯度方式來描述，其中包括梯度大小與方向。

進一步的，該特徵追蹤包含一相似度運算，該相似度運算為先前技術中S. L. Tanimoto所提出的一相似度計算方法（S. L. Tanimoto. Template matching in pyramids.Computer Graphics and Image Processing. Vol. 16, pp. 356-369.）。

駕駛疲勞監控與偵測步驟二、即時耳朵影像擷取

該攝影模組擷取該耳朵影像，該處理模組20在進行該影像處理後，該耳朵影像與駕駛疲勞監控與偵測步驟一的該標準耳朵影像進行該特徵追蹤，以辨識駕駛人的耳朵是否存在於該耳朵影像中。

駕駛疲勞監控與偵測步驟三、耳朵角度判斷

請參考圖8，於駕駛疲勞監控與偵測步驟二中辨識到該耳朵影像中存在有駕駛人的耳朵後，該處理模組20以該標準耳朵影像為基準，運算該耳朵影像中的耳朵相對該標準耳朵影像的一偏移角度。請參考圖9，以該標準耳朵影像為該偏移角度判斷的基準，設該標準耳朵影像的偏移角度為零度，即時擷取的該耳朵影像與該標準耳朵影像的一虛擬零度線進行比較，當駕駛人頭部前傾時，產生負的該偏移角度；當駕駛人頭部後仰時，產生正的偏移角度。

駕駛疲勞監控與偵測步驟四、耳朵角度記錄及頻率分析

該運算模組執行一疲勞判斷方法，該疲勞判斷方法依據駕駛疲勞監控與偵測步驟一的該特徵追蹤的結果及駕駛疲勞監控與偵測步驟三的該偏移角度運算該疲勞判斷方法，請參考圖8該疲勞判斷方法有下列疲勞判斷步驟：

疲勞判斷步驟一、該偏移角度記錄

該處理模組20判斷該偏移角度之絕對值是否超過該預設角度，每超過該預設角度一次，該處理模組20累進計數一次該偏移角度次數。該預設角度可依照不同的使用需求或使用環境而有所不同，在該預設角度設定值較小時，該偏移角度次數的認定較為敏感，駕駛人頭部的輕微移動即會造成該偏移角度次數的判定；反之則在該預設角度設定值較大時，該偏移角度次數的認定較為遲鈍，而於本發明實施例中，該預設角度設定為20度。

疲勞判斷步驟二、該偏移角度次數的頻率判斷

請參考圖10，該處理模組20以累進的該偏移角度次數除以一頻率門檻時間，計算出該偏移角度超過該預設角度的一偏移頻率，並判斷該偏移頻率是否大於該預設頻率，在該偏移頻率大於該預設頻率時該處理模組20則計數一偏移頻率次數一次。其中，該頻率門檻時間或該預設頻率可依使用場所或使用需求而有所調整。本發明實施例中，該頻率門檻時間為1秒，其中該攝影模組每0.2秒擷取一次該耳朵影像，而該處理模組20每0.2秒進行一次該偏移角度的判斷，而該預設頻率為1秒發生連續5次的該偏移角度次數，因此，在1秒內若產生連續的該偏移角度次數為5次，則該處理模組20計數一次該偏移頻率次數。

疲勞判斷步驟三、該偏移次數的頻率判斷

請參考圖11，該處理模組20依據該偏移頻率次數是否在一次數門檻時間內，累進大於一預設次數，進而判定駕駛人是否處於該疲勞狀態。該預設次數為在一次數門檻時間內的該偏移頻率次數上限，而該預設次數或該次數門檻時間可依使用場所或使用需求而有所調整。本發明實施例中，該預設次數為5次的該偏移頻率次數，而該次數時間門檻為1分鐘，因此在1分鐘內若發有5次以上的該偏移頻率次數，則該處理模組20判定駕駛人處於該疲勞狀態，並發出該警示訊號之該警示裝置30。若該偏移次數未大於該預設次數或該次數門檻時間，則該處理模組20判定駕駛人未處於該疲勞狀態。

由上述說明可知發明具有下列優點：

1.該攝影模組可設置於駕駛人的左、右兩側，避免設於視線前方，造成視線的阻礙。

2駕駛疲勞監控與偵測方法以耳朵作為影像辨識的標的，有效的避免在先前技術中以駕駛人臉部作為辨識標的出現的辨識困難，例如：配戴的物件導致辨識不易（例如：眼鏡）、髮型變化造成的辨識不易等。

3.相較於先前技術中常見的臉部辨識，以耳朵作為辨識標的辨識面積較小，且具有明顯的特徵（例如耳骨的凹凸），不但可減少需處理的資訊量也可降低辨識的難度。

10‧‧‧攝影裝置
20‧‧‧處理模組
30‧‧‧警示裝置

圖1為本發明較佳實施例之駕駛疲勞監控與偵測步驟圖。 圖2為本發明較佳實施例之裝置方塊圖。 圖3為本發明較佳實施例之二值化影像處理示意圖。 圖4為本發明較佳實施例之影像膨脹處理示意圖。 圖5為本發明較佳實施例之影像侵蝕處理示意圖。 圖6為本發明較佳實施例之邊緣偵測影像處理示意圖。 圖7為本發明較佳實施例之耳朵特徵追蹤示意圖。 圖8為本發明較佳實施例之疲勞判定流程圖。 圖9為本發明較佳實施例之偏移角度示意圖。 圖10為本發明較佳實施例之偏移頻率示意圖。 圖11為本發明較佳實施例之偏移次數示意圖。

Claims (4)

1. 一種基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，其包含下列步驟： 擷取一耳朵影像，該耳朵影像由一影像處理運算出該耳朵影像的一耳朵特徵，該耳朵特徵為耳朵輪廓形成的影像特徵； 該耳朵影像以一標準耳朵影像為基準進行一疲勞判斷，該疲勞判斷比較該耳朵影像相對於該標準耳朵影像的一偏移角度，該疲勞判斷的結果判斷駕駛人的一疲勞狀態，該疲勞狀態為駕駛人因疲倦產生的頭部晃動狀態，因此產生該耳朵影像與該標準耳朵影像間的該偏移角度；及 依據該疲勞狀態輸出一警示訊號，由該警示訊號警示駕駛人。
2. 如申請專利範圍第1項的基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，該疲勞判斷包含下列步驟： 判斷該偏移角度是否超過一預設角度，該偏移角度每超過該預設角度一次，則累進計數一偏移角度次數一次； 累進的該偏移角度次數除以一頻率門檻時間，計算出一偏移頻率，判斷該偏移頻率是否超過一預設頻率，每超過該預設頻率一次，則累進計數一偏移頻率次數一次；及 判斷該偏移頻率次數在一次數門檻時間內累進計數次數是否超過一預設次數，該偏移頻率次數在該次數門檻時間內超過該預設次數則判定駕駛人為該疲勞狀態。
3. 如申請專利範圍第2項的基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，其包含一判斷範圍設定方法，該判斷範圍設定方法調整該標準耳朵影像在駕駛人身體或頭部移動或轉動的情況下，該耳朵影像可被辨識的容許範圍，該判斷範圍設定方法包含一面積判斷範圍設定方法及一角度判斷範圍設定方法，其中： 該面積判斷範圍設定方法設定一面積判斷範圍數值，該面積判斷範圍數值設定該耳朵影像中的耳朵面積對比該標準耳朵影像中的耳朵面積的可容許面積差異；及 該角度判斷範圍設定方法設定一角度判斷範圍數值，該角度判斷範圍數值設定該耳朵影像與該標準耳朵影像間的該偏移角度的可容許角度範圍。
4. 如申請專利範圍第1、2或3項的基於耳朵影像角度變化的駕駛疲勞監控與偵測方法，該影像處理包含下列步驟： 擷取該耳朵影像，以一二值化函數將每一禎該耳朵影像內所包含的複數個像素進行分類，判斷該像素的一灰度值大於或小於該二值化函數中的一二值化臨界值，依據其判斷結果將該耳朵影像中的複數個該像素進行分類； 經該二值化函數處理後的該耳朵影像，以該耳朵影像進行一影像侵蝕處理及一影像膨脹處理，其中： 該影像膨脹處理判斷該耳朵影像主體的邊緣出現的該灰度值255，該影像膨脹處理將該耳朵影像的邊緣以同一灰度值255填滿；及 該影像侵蝕處理判斷該耳朵影像主體的邊緣出現的該灰度值0，該影像侵蝕處理將該耳朵影像邊緣的像素，以與背景相同的灰度值0取代； 經該影像侵蝕處理及該影像膨脹處理的該耳朵影像，以對該耳朵影像進行一影像邊緣偵測，該影像邊緣偵測以一邊緣偵測臨界值作為判斷基礎，判斷該像素的該灰階值；及 對該耳朵影像進行一特徵追蹤，該特徵追蹤針對該耳朵影像中的該耳朵特徵進行辨識，以該標準耳朵影像所運算出的該耳朵特徵作為判斷基準，判斷即時捕捉的該耳朵影像中是否有該耳朵特徵。