TWI598258B - Driving behavior detection method and system thereof - Google Patents

Description

駕駛行為偵測方法及其系統

本發明係有關一種行為偵測技術，特別是指一種能在駕駛產生分心行為之前提醒駕駛專注之駕駛行為偵測方法及其系統。

隨著科技日益進步，汽車逐漸已成為普遍家庭中必備的交通工具，但卻因汽車的數量逐漸增加，使每年的交通事故也居高不下，據統計報告顯示，車禍肇事的主因絕大部分來自於駕駛者，其原因可能為駕駛者的不良駕駛行為、疲勞或疾病造成無法駕駛車輛等情形，其中不良駕駛行為，例如，使用手機、拿東西、拿食物等，且上述之動作均為行駛中駕駛者手部離開方向盤之分心行為，因此目前道路交通條例規定，使用手持式行動裝置或手持、吸食香菸致影響他人行車安全之行為者，均予以罰鍰，藉此來減少因駕駛者不良行為而產生的交通事故。

然而目前產生了一種可偵測駕駛不良行為之監測裝置，在駕駛者產生分心行為時，提醒駕駛者專心開車，但目前的監測裝置多著重於使用攝影機拍攝臉部，來進行臉部特徵之警示判斷，以判斷眼睛視線或臉部是否偏轉等。或者使用其他感測器來辨識駕駛異常行為判斷是否分心，如使用煙霧探測裝置判斷駕駛者是否分心抽菸，或利用手機訊號檢測器來判斷駕駛者是否使用手機。但由於這些監測平台設置成本較為昂貴，且目前技術僅能在駕駛者已經進行分心動作時才能偵測得到，因此監測裝置只能在駕駛者已經進行分心動作後才能提醒駕駛者，但由於駕駛者的分心動作已經產生，即使經由監測裝置提醒駕駛者，駕駛者仍已經影響到本身以及其餘用路人的交通行車安全。

再者，近年來更興起物聯網系統，透過物聯網系統可應用蒐集各種車輛狀態資訊以落實車隊管理，後台所蒐集到的資訊可包括駕駛者車輛上的監測器所偵測到駕駛行為狀態，當監測器監測到駕駛者分心後，將此資訊傳遞至後台，後台可將駕駛行為狀態的資訊儲存，以提供後台管理人員進行監控，或者作為商用車隊駕駛者績效管理之用，但亦具有與上述監測裝置相同的缺點，只能在駕駛者已經進行分心動作後才傳遞分心的資訊給後台，即使後台人員發現後立刻通知駕駛者，但駕駛者分心動作仍已經產生，駕駛者仍已經影響到本身以及其餘用路人的交通行車安全。

有鑑於此，本發明遂針對上述習知技術之缺失，提出一種能有效偵測駕駛者產生異常行為之前端動作，以在駕駛者可能有不專心行為的現象發生之前，提醒駕駛者專心駕車之行為偵測方法及其系統，以有效克服上述之該等問題。

本發明之主要目的在提供一種駕駛行為偵測方法及其系統，其能有效偵測駕駛者產生異常行為之前端動作，在駕駛者可能產生不專心行為現象之前，提醒駕駛者專心駕車，以有效提高行車安全。

本發明之另一目的在提供一種駕駛行為偵測方法及其系統，其係可將駕駛者目前行為傳遞至遠端伺服器，提供後台管理人員進行監控，並作為商用車隊駕駛者績效管理之用，可有效降低不專心駕駛之問題，對行車安全有明顯的助益。

為達上述之目的，本發明提供一種駕駛行為偵測方法，其步驟包括，首先取得使用者影像，其包括手臂影像以及頭部行為影像；接著對手臂影像以及資料庫中的複數手臂樣本影像進行比對，以判斷手臂影像是否符合至少一手臂樣本影像，若是，手臂影像符合手臂樣本影像，表示駕駛行為正常，但若否，手臂影像不符合手臂樣本影像，表示駕駛行為可能異常，則進入下一步驟；產生一第一級警示訊號，並將第一級警示訊號傳遞出去；比對頭部行為影像與資料庫中的複數頭部違規樣本影像，並判斷頭部行為影像是否符合至少一頭部違規樣本影像，若否，頭部行為影像不符合頭部違規樣本影像，表示駕駛行為正常；若是，頭部行為影像符合頭部違規樣本影像，表示駕駛行為異常，並發出一第二級警示訊號，以將第二級警示訊號傳遞出去。

另外，本發明亦提供一種駕駛行為偵測系統，包括一攝影裝置擷取至少一使用者影像，其包括一手臂影像以及一頭部行為影像，一資料庫儲存複數手臂樣本影像以及複數頭部違規樣本影像，一處理器電性連接攝影裝置以及資料庫，處理器擷取手臂影像與資料庫中的複數手臂樣本影像進行比對，當手臂影像符合至少一手臂樣本影像時，表示駕駛行為正常；當手臂影像不符合至少一手臂樣本影像時，表示駕駛行為可能異常，即產生一第一級警示訊號，並將第一級警示訊號傳遞出去，處理器再擷取頭部行為影像與資料庫中的複數頭部違規樣本影像進行比對，當頭部行為影像不符合至少一頭部違規樣本影像表示駕駛行為正常；當頭部行為影像符合至少一頭部違規樣本影像表示駕駛行為異常，並發出一第二級警示訊號；一傳輸裝置電性連接處理器，以接收處理器的控制將第一級警示訊號或第二級警示訊號傳遞出去。

當處理器擷取手臂影像不符合至少一手臂樣本影像時，表示駕駛行為可能異常，係在駕駛異常行為持續一預定時間後，產生第一級警示訊號。

處理器更可利用一頭部偏擺演算法判斷頭部行為影像中使用者的頭部是否偏擺，若是，使用者的頭部偏擺，則發出第二級警示訊號，以提醒駕駛行為異常；若否，使用者的頭部未產生偏擺，則表示駕駛行為正常。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

首先請參照第一圖，以說明本發明駕駛行為偵測系統1之結構，駕駛行為偵測系統1包括有一攝影裝置10，攝影裝置10可裝設在駕駛座前方，使攝影裝置10的鏡頭對準駕駛座上駕駛者，以取得駕駛者正面的使用者影像，使用者影像包括有手臂影像以及頭部行為影像；一資料庫12用以儲存複數手臂樣本影像以及頭部違規樣本影像，其中手臂樣本影像係為駕駛者雙手握住方向盤之影像，影像包含一般駕駛者雙手握方向盤之各種姿勢、角度等狀態影像，如雙手平行握方向盤、雙手交叉右手在上、雙手交叉左手在上等各種一般常見駕駛者握方向盤之狀態影像等。而頭部違規樣本影像則為駕駛者打手機或駕駛者吸菸、飲食等違規的影像；一處理器14電性連接攝影裝置10以及資料庫12，處理器14可由攝影裝置10取得使用者影像，並由資料庫12中取得手臂樣本影像與頭部違規樣本影像，以進行比對使用者影像的手臂影像與手臂樣本影像，以及頭部行為影像與頭部違規樣本影像，藉此判斷駕駛行為是否正常並產生判斷結果；一傳輸裝置16電性連接處理器14，以將處理器14所產生判斷結果傳遞至一電腦主機20中，其中電腦主機20可為車上使用的電腦主機或遠端的後台等，本實施例舉例具有二電腦主機20係分別為車用主機22與遠端伺服器24，車用主機22可儲存接收到的判斷結果，並顯示出判斷結果，遠端伺服器24可儲存接收到的判斷結果，並顯示出判斷結果給遠端伺服器的監控人員，提供監控人員判斷是否該發出警示提醒駕駛者注意。

在解釋完本發明系統架構中的各個角色後，本發明接續針對駕駛行為偵測方法流程圖搭配系統裝置，以更加詳盡的說明本發明之技術內容，請一併參閱第一圖與第二圖，首先在進行駕駛行為偵測方法之前，必須在資料庫12中建立複數手臂樣本影像以及複數頭部違規樣本影像，以利處理器14能使用資料庫12中的資料進行比對。接下來說明本發明駕駛行為偵測方法之步驟，首先進入步驟S10，透過攝影裝置10取得至少一使用者影像，使用者影像中包括了手臂影像以及頭部行為影像。接著請參照步驟S12，處理器14擷取手臂影像以及資料庫12中的複數手臂樣本影像開始進行比對，比對的過程中會先利用一高斯混合模型方程式（Gaussian mixture model，GMM）將手臂影像轉換為能與複數手臂樣本影像對比的影像，以利處理器14進行比對，高斯混合模型方程式如下所示： 其中 是高斯分布密度函數； 為手臂影像中的手臂位置連續幀所形成的矩陣； 為 的平均向量； 為 連續幀的轉置共軛矩陣； 、 與 為權重。手臂影像經高斯混合模型方程式轉換後與資料庫12中的複數手臂樣本進行比對，藉此判斷手臂影像是否符合至少一手臂樣本影像，若處理器14判斷手臂影像符合至少一手臂樣本影像，則進入步驟S14，表示駕駛行為正常，同時處理器14可產生一駕駛行為正常訊號，並透過傳輸裝置16將駕駛行為正常訊號傳遞遠端伺服器24，以儲存駕駛行為正常訊號，並可告知後台監控人員目前駕駛行為正常；但若處理器14判斷手臂影像不符合至少一手臂樣本影像，則表示駕駛行為可能異常，此時則進入下一步驟S16。如步驟S16所示，處理器14更可判斷駕駛行為異常是否持續產生一預定時間，若否則進入步驟S14表示駕駛行為正常，同時處理器14可產生駕駛行為正常訊號，並透過傳輸裝置16將駕駛行為正常訊號傳遞至遠端伺服器24中，以告知監控人員目前駕駛行為正常；但若是，處理器14判斷駕駛行為異常持續產生一預定時間，本實施例舉例預定時間為5秒，因此當駕駛行為異常持續5秒，則進入步驟S18，產生一第一級警示訊號，並透過傳輸裝置16將第一級警示訊號傳遞至遠端伺服器24中，以儲存第一級警示訊號並告知後台監控人員，提供監控人員作為監控之判斷，同時並進入下一步驟S19。當然第一級警示訊號亦可直接傳遞至車用主機22中，以直接提醒駕駛者專心開車，並不以傳遞至遠端伺服器24為限制。

請參照步驟S19，處理器14再進行判斷頭部行為影像是否符合至少一頭部違規樣本影像，在判斷頭部行為影像時亦可使用高斯混合模型方程式將頭部行為影像轉換成能與頭部違規樣本影像比對的影像，再進行比對是否符合頭部違規樣本影像，但本實施例之比對頭部行為影像係透過特徵點的方式進行比對，處理器14會擷取頭部行為影像中的影像特徵，來比對複數頭部違規樣本影像中的對比特徵進行比對，其中對比特徵係為手機、香菸或其他物品等，處理器14判斷頭部行為影像是否具有手機、香菸或其他物品等影像特徵，若頭部行為影像中沒有符合頭部違規樣本影像的對比特徵點，則進入步驟S14表示駕駛行為正常；但若是頭部行為影像中具有符合頭部違規樣本影像的對比特徵點，表示駕駛行為異常，駕駛者可能有抽菸或打手機等動作，此時進入步驟S20，處理器14產生第二級警示訊號並透過傳輸裝置16將第二級警示訊號傳遞至遠端伺服器24中，以提醒後台監控人員目前駕駛者已產生分心的動作，監控人員可發出警訊提醒駕駛者，並記錄駕駛者當下異常行為，同時處理器14產生第二級警示訊號後，亦可直接傳遞至駕駛者車上的車用主機22，使車用主機22根據第二級警示訊號發出聲音或影像警訊提醒駕駛行為異常，必須專心開車。

上述之頭部行為影像除了能用以提供處理器14比對資料庫12中的頭部違規樣本影像來判斷駕駛者是否處於正常駕駛行為之情形之外，處理器14更可在步驟S18之前或之後，利用一頭部偏擺演算法判斷頭部行為影像中駕駛者的頭部是否偏擺，當處理器14判斷頭部產生偏移則發出第二級警示訊息，並透過傳輸裝置16將第二級警示訊號傳遞至遠端伺服器24中，以提醒後台監控人員，或者處理器14亦可控制傳輸裝置16直接將第二級警示訊號傳遞至車上的車用主機22中，以直接提醒駕駛者專心開車；但若頭部未產生偏移則表示駕駛行為正常，同時處理器14可產生一駕駛行為正常訊號，並透過傳輸裝置16將駕駛行為正常訊號傳遞至遠端伺服器24中，以告知後台監控人員目前駕駛行為正常。

然而如何判斷頭部是否偏擺係透過一頭部偏擺演算法進行判斷，在此請配合參照第三圖以及第四圖，以對頭部偏擺演算法進行說明，如第四圖所示，在判斷頭部偏擺時必須先預設區域為合理人臉區域，並視合理人臉區域為正視人臉區域，且正視人臉區域之鼻子座標會座落在畫面中間之位置。接下來請參步驟S22，處理器14對當下使用者影像進行駕駛者之鼻子偵測，以偵測使用者影像中駕駛者的鼻子。接著進入步驟S24，取得鼻子之位置座標，約為X軸50%處，經估算結果，其X軸座標值約為140。接著進入步驟S26，比較鼻子之位置座標與一合理人臉區域後，取得駕駛者之頭擺角度，由於駕駛者頭部些微偏擺-15～-30度時，鼻子的位置會偏移到畫面X軸的35%處，故鼻子將出現在X座標值100～130之間。反之，若鼻子偵測之X軸結果，落在100～130之間，可反推駕駛者頭擺角度係介於-30～-15度之間，因此可藉由鼻子偏移的方式判斷出駕駛者頭擺角度。最後進入步驟S28，當頭擺角度高於一預設閥值，如當預設閥值高於15度表示頭部產生偏擺，除此之外更可增設另一嚴重偏擺預設閥值，當頭擺角度高30度，超過嚴重偏擺預設閥值時係屬嚴重偏擺。

除了上述方法實施例之外，請參照第五圖，本發明在判斷手臂影像不符合至少一手臂樣本影像表示駕駛行為可能異常後，處理器14可不需判斷駕駛行為異常是否持續產生一預設時間。詳細來說，如第五圖所示，其中步驟S30-步驟S34與步驟S10-步驟S14相同故不重複敘述，不同的地方在於，當判斷手臂影像不符合至少一手臂樣本影像之後，係直接進入步驟S36產生第一級警示訊號，不需如上述實施例步驟S16相同，必須再進行駕駛行為異常是否持續產生一預設時間之判斷，本實施例可直接產生第一級警示訊號後透過傳輸裝置16將第一級警示訊號傳遞至遠端伺服器24中，使遠端伺服器24儲存第一級警示訊號並告知後台監控人員，以提供監控人員作為監控之判斷。接下來步驟S38-步驟S40皆與步驟S19-步驟S20相同，故不重複敘述。

綜上所述，由於複數手臂樣本影像係為駕駛者雙手握住方向盤之影像，因此若手臂影像沒有對應手臂樣本影像時，表示駕駛者可能手臂離開方向盤，離開方向盤的原因可能為拿手機、香菸等，因此當駕駛者手部離開方向盤時，多半為不專心駕車的前端動作，因此本發明能有效偵測駕駛者產生異常行為之前端動作，以在駕駛者可能有不專心行為現象發生之前提醒駕駛者注意，能有效提高行車安全，且將駕駛者目前行為傳遞至遠端伺服器，提供後台管理人員進行監控，可作為商用車隊駕駛者績效管理之用，對行車安全有明顯的助益。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

1‧‧‧駕駛行為偵測系統

10‧‧‧攝影裝置

12‧‧‧資料庫

14‧‧‧處理器

16‧‧‧傳輸裝置

20‧‧‧電腦主機

22‧‧‧車用主機

24‧‧‧遠端伺服器

第一圖係為本發明之偵測系統方塊圖。 第二圖係為本發明之偵測方法步驟流程圖。 第三圖係為本發明使用之頭部偏擺演算法步驟流程圖。 第四圖係為本發明於判斷頭部偏擺的影像示意圖。 第五圖係為本發明另一實施例之偵測方法步驟流程圖。

Claims (18)

1. 一種駕駛行為偵測方法，包括下列步驟：取得至少一使用者影像，其包括一手臂影像以及一頭部行為影像；比對該手臂影像與一資料庫中的複數手臂樣本影像，以判斷該手臂影像是否符合至少一該手臂樣本影像：若是，表示駕駛行為正常；及若否，表示駕駛行為異常，並進入下一步驟；產生一第一級警示訊號，並將該第一級警示訊號傳遞出去；比對該頭部行為影像與該資料庫中的複數頭部違規樣本影像，並判斷該頭部行為影像是否符合至少一該頭部違規樣本影像：若否，表示駕駛行為正常；及若是，表示駕駛行為異常，並發出一第二級警示訊號，以將該第二級警示訊號傳遞出去；以及其中在比對該頭部行為影像與該等頭部違規樣本影像之步驟後更包括，利用該頭部偏擺演算法判斷該頭部行為影像中使用者的頭部是否偏擺：若是，發出該第二級警示訊號，以提醒駕駛行為異常；及若否，表示該駕駛行為正常；其中該頭部偏擺演算法之步驟包括：對當下之該使用者影像進行該使用者之鼻子偵測；取得該鼻子之位置座標；比較該鼻子之位置座標與一合理人臉區域後，取得該駕駛者之頭擺角度；及當該頭擺角度高於一預設閥值，表示該頭部產生偏擺。
2. 如請求項1所述之駕駛行為偵測方法，其中在產生該第一級警示訊號之步驟前，係當駕駛行為異常持續產生一預定時間後，產生該第一級警示訊號，該預定時間可為5秒。
3. 如請求項1所述之駕駛行為偵測方法，其中在比對該手臂影像與該等手臂樣本影像之步驟時，係利用一高斯混合模型方程式(Gaussian mixture model，GMM)將該手臂影像轉換為能與該等手臂樣本影像對比的影像，以利進行比對。
4. 如請求項1所述之駕駛行為偵測方法，其中在比對該頭部行為影像與該等頭部違規樣本影像之步驟，係擷取該頭部行為影像中的影像特徵，來比對該等頭部違規樣本影像中的對比特徵。
5. 如請求項1所述之駕駛行為偵測方法，其中該頭部偏擺演算法之該預設閥值可為15度。
6. 如請求項1所述之駕駛行為偵測方法，其中該合理人臉區域係為預設區域或正視人臉區域。
7. 如請求項1所述之駕駛行為偵測方法，其中該資料庫中的該等手臂樣本影像以及該等頭部違規樣本影像，係在擷取該使用者影像之步驟前建立。
8. 如請求項1所述之駕駛行為偵測方法，其中該第一級警示訊號與該第二級警示訊號係傳遞到至少一電腦主機中，該電腦主機可為車用主機或遠端伺服器。
9. 一種駕駛行為偵測系統，包括；一攝影裝置，擷取至少一使用者影像，其包括一手臂影像以及一頭部行為影像；一資料庫，儲存複數手臂樣本影像以及複數頭部違規樣本影像；以 及一處理器，電性連接該攝影裝置以及該資料庫，該處理器擷取該手臂影像與該資料庫中的該等手臂樣本影像進行比對，當該手臂影像符合至少一該手臂樣本影像時，表示駕駛行為正常；當該手臂影像不符合至少一該手臂樣本影像時，表示駕駛行為異常，即產生一第一級警示訊號，並將該第一級警示訊號傳遞出去，該處理器再擷取該頭部行為影像與該資料庫中的該等頭部違規樣本影像進行比對，當該頭部行為影像不符合至少一該頭部違規樣本影像表示駕駛行為正常；當該頭部行為影像符合至少一該頭部違規樣本影像表示駕駛行為異常，並發出一第二級警示訊號，以將該第二級警示訊號傳遞出去；其中該處理器更可利用一頭部偏擺演算法判斷該頭部行為影像，其中該頭部偏擺演算法係對當下該使用者影像進行該使用者之鼻子偵測後，取得該鼻子之位置座標，再比較該鼻子之位置座標與一合理人臉區域後，取得該駕駛者之頭擺角度，當該頭擺角度高於一預設閥值，則表示該頭部偏擺。
10. 如請求項9所述之駕駛行為偵測系統，其中當該處理器係在駕駛異常行為持續一預定時間後，產生該第一級警示訊號，該預定時間可為5秒。
11. 如請求項9所述之駕駛行為偵測系統，更包括一傳輸裝置電性連接該處理器，接收該處理器的控制將該第一級警示訊號或該第二級警示訊號傳遞出去。
12. 如請求項11所述之駕駛行為偵測系統，更包括至少一電腦主機接收該傳輸裝置傳遞的該第一級警示訊號以及該第二級警示訊號，以根據該第一級警示訊號或該第二級警示訊號發出一聲音警示訊號或影 像警示訊號。
13. 如請求項12所述之駕駛行為偵測系統，其中該電腦主機係為車用主機或遠端伺服器。
14. 如請求項9所述之駕駛行為偵測系統，其中該處理器係利用一高斯混合模型方程式(Gaussian mixture model，GMM)將該手臂影像轉換為能與該等手臂樣本影像對比的影像，以進行該手臂影像與該等手臂樣本影像的比對。
15. 如請求項9所述之駕駛行為偵測系統，其中該處理器透過擷取該頭部行為影像中的影像特徵，比對該等頭部違規樣本影像中的對比特徵，以比對該頭部行為影像與該等頭部違規樣本影像。
16. 如請求項10所述之駕駛行為偵測系統，其中該處理器更可利用該頭部偏擺演算法判斷該頭部行為影像中使用者的頭部是否偏擺：若是，該處理器則發出該第二級警示訊號，以提醒駕駛行為異常；及若否，表示該駕駛行為正常。
17. 如請求項16所述之駕駛行為偵測系統，其中該頭部偏擺演算法之該預設閥值可為15度。
18. 如請求項17所述之駕駛行為偵測系統，其中該合理人臉區域係為預設區域或正視人臉區域。