TWI511095B - 結合眼球影像與腦波之疲勞偵測方法 - Google Patents

Description

結合眼球影像與腦波之疲勞偵測方法

本發明是有關於一種疲勞偵測方法，特別是一種結合眼球影像與腦波之疲勞偵測方法。

近年來，車禍的問題在全世界不斷的發生，不外乎是駕駛本身沒注意到車子，不然就是有疲勞或是酒駕的情形發生，尤其是疲勞和酒駕，車禍發生時沒有任何反應的時間，根據台灣內政部警政署所統計的道路交通事故來看，在民國101年車禍發生為23萬9519件，24小時內死亡人數為2040，受傷也有862人，其中酒駕死亡的部分就占了369件，死亡人數380人，平均每一件就會有一人死亡。因此在開車前給予駕駛進行疲勞偵測對避免車禍的發生是一項相當重要的工作項目。

仍續前述，隨著大腦的研究之成果越來越成熟，其相關討論也越來越熱門，在傳統的腦波量測時，受試者需要戴上專屬的頭套，以蒐集訊號，頭套內有多個電極片接觸頭皮，並且頭皮上需塗上濕黏的導電膠，以增進訊號蒐集效果，同時上述施測地點也必須在特定、無干擾的環境下施測，而近年來，這項新的儀器改良了傳統測量時須塗導電膠，在 特殊環境下測量的限制，受測者只要戴上一款造型如同耳機的腦波儀，便能透過此裝置測量到人們的腦波狀態，但以目前技術上在偵測到較準確的大腦活動訊號主要是專注力、放鬆度的狀態，故在科技的進步下，腦波儀器的縮小，電腦的功能與運算速度的進步可以將腦波結合到許多方面之應用。

再者，駕駛者在車上可能出現疲勞的行為有眼睛閉合的百分比、眼睛閉眼持續時間、眨眼的頻率、點頭的頻率、臉部的相關位置及發呆等，以便當駕駛者專心度降低系統便會提出警告，而在國外的相關研究中，有相當多的應用是利用影像辨識方法，以便協助駕駛在行車其間能夠保持清醒狀態，而現行技術內容中，主要都是以偵測眼睛瞳孔受到眼皮的覆蓋率進行判斷，使用者是否於睜眼或閉眼之狀態，如此以瞳孔偵測之模式，所需要的攝影儀器需較為高階與精密，將造成設備成本的增加外，同時，利用影像辨識的時候，很容易因為外在光源快速的變化或頭部移動造成偵測之誤判，實需改善。

因此，本發明之目的，是在提供一種結合眼球影像與腦波之疲勞偵測方法，以同時透過眼睛狀態及該腦波狀態雙重辨識下，有效達到準確辨識出使用者之生、心理與疲勞狀態。

於是，本新型結合眼球影像與腦波之疲勞偵測方 法，其包含有一眼球偵測步驟、一腦波偵測步驟，以及一將該眼睛、腦波偵測步驟所得之資料進行辨識之辨識步驟；是以，透過該眼球偵測步驟可得到眼睛內所存在之眼球大小數據，而該腦波偵測步驟中可得到出使用者之腦波狀態後分別取得專注、放鬆腦波數據，至於，該辨識步驟則具備有一處理器，其可預設有一該眼球大小數據、專注腦波數據與放鬆腦波數據等各狀態級距之基準值，以便該辨識步驟從前述該眼球偵測步驟所得之眼球大小數據，以及該腦波偵測步驟所得之專注腦波數據、放鬆腦波數據，可分別與該辨識步驟所存之基準值相互比對，以便同時透過該眼球大小數據與專注腦波數據、放鬆腦波數據之多重辨識下，將可精準判斷出該使用者處於何種精神狀態(例如正常、精神不佳、打瞌睡、心情不佳、酒駕等)，有效提高辨識之精準度。

3‧‧‧疲勞偵測方法

31‧‧‧眼球偵測步驟

32‧‧‧眼波偵測步驟

33‧‧‧辨識步驟

圖1是本發明第一較佳實施例之方塊圖。

圖2是本發明第一較佳實施例之眼睛影像偵測情況表。

圖3是本發明第一較佳實施例之腦波數據偵測情況表。

圖4是本發明第二較佳實施例之方塊圖；及

圖5是本發明第二較佳實施例之辨識步驟。

【附件簡單說明】

附件1是本發明第一較佳實施例之眼睛偵測步驟之資料。

附件2是本發明第一較佳實施例之偵測所得腦波資料。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之較佳實施例的詳細說明中，將可清楚的明白。

參閱圖1，本發明第一較佳實施例，本實施例結合眼球影像與腦波之疲勞偵測方法3包含有眼球偵測步驟31、腦波偵測步驟32以及辨識步驟33；其中，該眼球偵測步驟31包括有一可照射受測者而取得臉部影像之攝影單元，以及一與該攝影單元連接之辨認單元，其中，該辨認單元可將該攝影單元所得之臉部影像進行二值化處理，使得該臉部影像呈現出黑、白兩色，同時該辨認單元則是將抓取該臉部影像，進行判別以抓取出該臉部影像之眼睛位置並將該眼睛位置部分轉換成一數值座標，進而使該辨認單元並轉換、計算出該眼睛內所存在之眼球大小數據。

仍續前述，該腦波偵測步驟32包括有一腦波偵測單元，以及一腦波偵測單元連接之腦波辦別單元，其中，該腦波偵測單元則具備有一腦波頻測器以供使用者配戴，以將使用者腦波狀態轉換成一腦波參數，且利用該腦波參數在該腦波判別單元中予以轉換成專注腦波數據與放鬆腦波數據。

最後，該辨識步驟33則預設有一該眼球大小數 據、專注腦波數據與放鬆腦波數據等各狀態之級距的基準值，以便該辨識步驟33從前述該眼球偵測步驟31與該腦波偵測步驟32所得之眼球大小數據、專注腦波數據與放鬆腦波數據分別與該辨識步驟所存之基準值相互比較，同時該眼球大小數據與該專注、放鬆腦波數據同時符合該基準值時，將判斷出該使用者處於何種精神狀態。

以下將說明本發眼睛偵測步驟31與腦波測步驟32及辨識步驟33之實驗流程如下：

一、眼睛偵測步驟31：

由於該辨認單元之設計，該攝影機可使用一般PC攝影機，而不需使用高解析度之攝影機來進行處理，能有效降低設備所需成本外，故當攝影機抓取臉部影像後，可參閱附件一，可將RGB空間轉換成HSV(Hue,Saturation,Value)空間，接者滿足HSV空間上的膚色範圍製成紅色，其他區域則移除，就可以成功擷取人臉部分，同時由於每個像素點都有它的灰階值存在，二值化是先設定一個閥值H，將原始臉部影像中對每個像素點做檢測：如大於等於閥值，即變成白色；小於閥值，則變成黑色；讓臉部影像變成黑白兩色來顯現眼睛，以便進行判別抓取出該臉部影像之眼睛位置，即可抓取大致上為眼睛的部分並二值化，二值化函數如下列之公式：

接著將眼睛部分利用掃描的方式將黑色區域的所有座標記錄下來，計算眼睛高度就可以得到眼球大小數據，而眼睛的大小數值單位則是以每一格像素點做計算，每一個像素點大小為1，計算範圍則是由上眼皮至下眼皮直線範圍為主，並找出最長距離，記錄下來的座標用紅色表示所紀錄的範圍，如附件中所示之長度為78。

二、腦波偵測步驟32：

本實施例中該腦波偵測單元可利用NeuroSky所開發的USB腦波頻測系統之腦波耳機，將截取到的腦波參數傳遞到腦波判別單元上，而該腦波判別單元於本實施例為使用LABVIEW所開發出來的介面，來擷取專注與放鬆腦波數據(如附件2所示)。

三、辨識步驟33：

可先建立該眼球大小數具、專注腦波數據與放鬆腦波數據等級距之基準值，亦可針對個人情況進行設定，或者經過多人實驗後以範圍值進行設定，例如眼睛長度多少為閉眼狀態，專注腦波數據多少以下為心情不佳，或者放鬆腦波數據多少以上為打瞌睡..等等之情況，例如本實施例中，使用6人來建立該辨識步驟中等各狀態級距之基準值，其結果如圖2、圖3。

仍續前述，故可以範圍值作為基準值，該基準值中之眼球大小數據即可設定例如範圍為60以上為睜眼狀態，範圍為45以下為閉眼狀態，範圍為46~59則為瞇眼狀態，當然可適時給予一寬限值；另外，該腦波之基準值則可設定有幾個狀況，如打瞌睡狀態(放鬆腦波數據為80以上)、恍神狀態(放鬆腦波數據為60~79)，心情不佳(集中腦波50~20以下)等等，以此類推；故與比對判別過程中，偵測所得眼球大小數據將與該基準值進行比對，以判斷出眼睛狀態(如閉眼、睜眼、謎眼等)，專注、放鬆腦波數據亦與該基準值進行比對，以判斷出腦波狀態(例如以正常、精神不佳、打瞌睡、心情不佳、酒駕等)，因此可設定下列幾個情況：

1.眼睛狀態為閉眼時，且腦波狀態為打瞌睡時，將判定駕駛者為打瞌睡，將予以作為後緊急處置動作。

2.眼睛狀態為迷眼時，且腦波狀態為恍神時，則判定為精神不佳，予以做提醒動作等等。

3.眼睛狀態為正常時，且腦波狀態為心情不佳，則判定為心情不佳，予以給予關心等動作。

以作為駕駛者之提醒動作，或車輛管理站了解駕駛者之駕駛情形，避免駕駛過程因上述情況而造成危險事故發生；是以，本發明透過偵測眼球狀況，以及同時配合偵測腦波中的專注腦波數據與放鬆腦波數據，促使該眼睛與腦波等進行多重辨識下，達到眼睛狀態與腦波狀態多重辨識與互 補彼此缺點，故在不須高精密監測設備情況下，即可高準確的辨識出使用者生理及心理狀態進而作為判定是否為疲勞狀態。

參閱圖4，本發明第二較佳實施例，本實施例仍包含有眼睛偵測步驟31，腦波偵測步驟32及辨識步驟33等，皆與第一實施例相同，特別在於該辨識步驟33可透過一可拓理論程序來處理，即將預設之眼球大小數據與專注腦波數值及放鬆腦波數值之基準值製作成一物元模型與建立節域後，以便後續讀取該眼球偵測步驟、腦波偵測步驟等辨識所需之資料時，可依序計算可拓關聯度，找出最大關聯度，合格度正規化等程序，進而判斷出該使用者處於何種精神狀態。

仍續前述，其詳細步驟與處理方法如下，而欲進入辨識階段之前，首先要建立好物元模型，先設定好可拓經典域，將事物R分i(i=1,2,3)個等級的數值集合，稱為各集合之可拓經典域，其中Nt(t=1,2,...,5)示為化分5個等級之各自的物元名稱，該物元名稱的所有特徵為c_i (i=1,2,3)，特徵的範圍則以X_ti 表示，特徵值大小以x^U 表示為該物元特徵值的上限，x^L 則稱為該物元特徵值的下限，物元的上下限總稱為經典域。

當建立好物元模型以後，就可以進行辨識階段，可拓理論之演算法的辨識步驟如下：

1.讀取建立好的物元模型。

2.建立節域：節域為在所有物元集合中，整個特徵集合的總範圍，先找出所有類別最大的經典域上下限，再利用最大的經典域來找節域的上限和下限，如下列式子：

3.讀取待測資料：如下式：

其中Ns示為待測者物元名稱，而Ns之特徵的C₁ ~C₃ 特徵值數據為X_S1 ~X_S3 。

4.計算各物元關聯函數及關聯度：可拓理論中，經典域X_o =<x^L ,x^U >與節域X_P =<x^M ,x^N >為實數域<-∞,∞>上的兩個區間，區間X_o 是屬於區間X_P ，假設x_si 為實數域上之一點，則關聯函數的定義如下式：

依各種關聯函數對特徵之重要性設定，而本發明中因放鬆的腦波相對於疲勞偵測上較為重要，因此設置依序由至之權重為分別設為0.3；0.4；0.3。

有了關聯函數並接著計算各類別之關聯度，W代表權重值；如下式：

5.正規化為了偵測方便，將關聯度正規化。正規化各類別使關聯度值在(1,-1)之間，如下式：

6.最後判斷：駕駛者精神是否正常。

故本實施例中，更透過可拓理論來分析眼球大小數據與專注腦波數據及放鬆腦波數據等，經實驗測試後，本文所提之方法其平均準確率為88%以上，因本實驗中僅以六人作為眼球大小數據與專注腦波數值、放鬆腦波數據之基準值製作，以四人作為測試之範本，若製作人數及測量人數更多時，將可使準確率更佳的提升。

歸納前述，本發明結合眼球影像與腦波之疲勞偵測方法透過該眼球偵測步驟與該腦波偵測步驟所得之眼球大小數據、專注腦波數據與放鬆腦波數據分別與基準值進行比對，當該基準值與偵測所得之眼睛、專注腦波及放鬆腦波數據同時符合時之多重辨識下，不須借重精密儀器即可正確的判斷出精準判斷出該使用者處於何種精神狀態(例如正常、精神不佳、打瞌睡、心情不佳、酒駕等)，有效提高辨識之精準度。

惟以上所述者，僅為說明本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明書內容所作之簡單的等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

3‧‧‧疲勞偵測方法

31‧‧‧眼球偵測步驟

32‧‧‧眼波偵測步驟

33‧‧‧辨識步驟

Claims (3)

1. 一種結合眼球影像與腦波之疲勞偵測方法，其包含有：一眼球偵測步驟，其包括有一可照射受測者而取得臉部影像之攝影單元，以及一與該攝影單元連接之辨認單元，其中，該辨認單元可將該攝影單元所得之臉部影像進行二值化處理，使得該臉部影像呈現出黑、白兩色，同時該辨認單元則是將抓取該臉部影像，進行判別以抓取出該臉部影像之眼睛位置並將該眼睛位置部分轉換成一數值座標，進而使該辨認單元並轉換、計算出該眼睛內所存在之眼球大小數據；一腦波偵測步驟，其包括有一腦波偵測單元，以及一腦波偵測單元連接之腦波判別單元，其中，該腦波偵測單元具有一腦波頻測器以供使用者配戴，以將使用者腦波狀態予以轉換成一腦波參數，且利用該腦波參數在該腦波判別單元中予以轉換成專注腦波數據與放鬆腦波數據；一辨識步驟，其可預設有一該眼球大小數據、專注腦波數據與放鬆腦波數據等級距之基準值，以便該辨識步驟從前述該眼球偵測步驟所得之眼球大小數據，以及該腦波偵測步驟所得之專注腦波數據、放鬆腦波數據，可分別與該辨識步驟所存之基準值相互比對，進而判斷出該使用者是否呈現出疲勞精神狀態。
2. 根據申請專利範圍第1項所述結合眼球影像與腦波之疲勞偵測方法，其中，該眼球大小數據之計算範圍係由上眼皮至下眼皮直線範圍為主，並找出最長距離。
3. 根據申請專利範圍第1項或第2項所述結合眼球影像與腦波之疲勞偵測方法，其中，該辨識步驟可透過先將預設之基準值製作成一物元模型與建立節域後，以便之後讀取該眼球偵測步驟、腦波偵測步驟等辨識所需之資料時，可依序計算可拓關聯度，找出最大關聯度，合格度正規化等程序，進而判斷出該使用者處於何種精神狀態。