TWI545041B - 車用監測暨警示系統 - Google Patents

Description

車用監測暨警示系統

本發明係關於一種車輛中央控制系統，特別是關於一種車用監測暨警示系統，其可用以監測交通號誌以及使用者精神狀態，並可於必要時提出警示。

智慧型車輛控制系統的目的係用以增加駕車舒適度及行車安全，例如調整座椅位置、空調強度及偵測路人等。為了進一步增加行車安全性，更希望能即時提醒駕駛人前方交通狀況或駕駛精神狀況。

習知睡眠偵測裝置係透過偵測駕駛人的眨眼速度來據以判定駕駛人是否有睡意，然而要判定眨眼速度，則必須使用高圖框率(image frame)的影像感測器，故佔用較高的系統資源及具有較高的耗能。

目前基於事前訓練(training)所得到的特徵值資料，可根據一影像感測器所擷取之單張影像圖框來進行人臉辨識，如此可大幅降低該影像感測器之圖框率，若是進一步將人臉區分為多個區塊，並分析各區塊的特徵值，即可進行表情辨識。例如，美國專利公開第2012169895揭示一種採用Hierarchical Temporal Memory(HTM)架構的辨識器的人臉影像擷取方法與裝置，其辨識一目標影像以得到一表情狀態並可應用於數位相機、視訊攝影機(Web Cam)、 網路攝影機(IP Cam)或監視攝影機等影像擷取裝置。

本發明據以提出一種車用監測暨警示系統，其利用物件辨識技術進行交通號誌辨識以及表情辨識，並於必要時提醒駕駛人，藉以提高行車安全性。

本發明之一目的在提供一種車用監測暨警示系統，其可監測一交通號誌，當辨識出該交通號誌產生停止燈號時，則提醒駕駛人減速或自動進行減速。

本發明另一目的在提供一種車用監測暨警示系統，其可監測一使用者表情，當偵測出瞌睡表情時即提醒駕駛人集中注意力。

本發明另一目的在提供一種車用監測暨警示系統，其可同時監測一交通號誌及一使用者表情，並於必要時提出警示，以增加行車安全性。

本發明提供一種車用監測暨警示系統，包含一影像感測器、一警示單元以及一號誌辨識單元。該影像感測器用以擷取一前進方向之一影像圖框。該警示單元用以發出一警示。該號誌辨識單元用以根據該影像圖框辨識一停止燈號並據以控制該警示單元發出該警示。

本發明另提供一種車用監測暨警示系統，包含一影像感測器、一警示單元以及一表情辨識單元。 該影像感測器用以擷取一駕駛座方向之一影像圖框。該警示單元用以發出一警示。該表情辨識單元用以根據該影像圖框辨視一瞌睡表情並據以控制該警示單元發出該警示。

本發明另提供一種車用監測暨警示系統，包含一第一影像感測器、一第二影像感測器、一警示單元、一表情辨識單元以及一號誌辨識單元。該第一影像感測器用以擷取一駕駛座方向之一第一影像圖框。該第二影像感測器用以擷取一前進方向之一第二影像圖框。該警示單元用以發出一第一警示及一第二警示。該表情辨識單元用以根據該第一影像圖框辨視一瞌睡表情並據以控制該警示單元發出該第一警示。該號誌辨識單元用以根據該第二影像圖框辨識一停止燈號並據以控制該警示單元發出該第二警示。

一實施例中，該警示單元透過燈號、畫面、聲音、震動及/或電流刺激發出該第一警示，並透過燈號、畫面及/或聲音發出該第二警示。

一實施例中，該號誌辨識單元另可偵測一動力系統之一動力輸出；當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出正持續降低時，不控制該警示單元發出該第二警示；當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，控制該 警示單元發出該第二警示。

一實施例中，該號誌辨識單元另可偵測一動力系統之一動力輸出；當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，主動控制該動力系統降低該動力輸出或抑制該動力輸出的增加。

一實施例中，該號誌辨識單元另可根據一儲存單元儲存的交通號誌資訊辨識複數交通號誌中一欲辨識交通號誌；該表情辨識單元另可判斷一影像圖框中是否存在一駕駛人。

本發明之車用監測暨警示系統中，當該號誌辨識單元辨識出一停止燈號，可先偵測一動力輸出是否已持續降低再決定是否警示駕駛人或者直接控制一警示單元發出警示；當該表情辨識單元判斷一影像圖框中包含一駕駛人時，立即或經過一預設時間後開始辨識該駕駛人之瞌睡表情。

為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同的構件係以相同的符號表示，於此合先敘明。

請參照第1圖所示，其顯示本發明實施例之車用監測暨警示系統之應用示意圖。本發明實施例之車用監測暨警示系統可耦接或內建於一車輛9之中 央控制系統，並可耦接於其動力系統。本發明之車用監測暨警示系統可內建有號誌辨識演算法以及號誌資訊，因而可根據交通號誌的停止燈號對駕駛人發出警示、強制降低動力輸出或抑制增加動力輸出；例如一實施例中，可持續以一預設比例逐漸降低動力輸出直到駕駛人察覺或煞車被觸發，以避免緊急煞車而導致意外發生；另一實施例中，可抑制動力輸出而導致無法加速以引起駕駛人的注意。本發明之車用監測暨警示系統可內建有表情辨識演算法以及表情資訊，因而可根據駕駛人的瞌睡表情對駕駛人發出警示。藉此，可建立智慧型中控系統以增加行車安全性。此外，第1圖僅顯示了該車輛9的部分構件，例如一後照鏡91、一中央控制面板92及一駕駛座93而省略了其他構件。一實施例中，該號誌辨識演算法及該表情辨識演算法可採用同一套演算法，但搭配不同的特徵資訊來進行不同物件的辨識；其他實施例中，亦可採用不同的演算法。

請參照第2圖所示，其顯示本發明第一實施例之車用監測暨警示系統之方塊示意圖。本發明第一實施例之車用監測暨警示系統1包含一影像感測器11、一儲存單元12、一號誌辨識單元13及一警示單元14，並可耦接至一車輛9之一動力系統94。

請同時參照第1及2圖所示，接著說明本發明 第一實施例之車用監測暨警示系統1。

該影像感測器11例如可為一CCD影像感測器、一CMOS影像感測器或其他用以感測影像之感測裝置，用以擷取該車輛9之一前進方向Fd之一影像圖框F1，因此該影像感測器11較佳係設置於一後照鏡91上，例如第1圖之影像感測器11。然而該影像感測器11並不限定設置於該後照鏡91，其亦可設置於車體的其他位置，只要能夠擷取該車輛9前方的交通號誌5的影像即可，並無特定限制。

該儲存單元12事先儲存有交通號誌及停止燈號相關的號誌資訊，由於本實施例之車用監測暨警示系統1主要係用以偵測停止號誌，因此儲存於該儲存單元12的資訊例如為交通號誌5的外型特徵及停止燈號位於交通號誌5的位置資訊，例如停止燈號(如紅燈)可位於交通號誌5的最左方或最上方。

該號誌辨識單元13用以根據該影像圖框F1辨識一交通號誌5，並根據一停止燈號控制該警示單元14發出警示。該號誌辨識單元13例如可利用一數位處理器(DSP)或其他可處理數位影像資料的處理器來實現，當接收到該影像圖框F1後，則利用內建演算法計算出該影像圖框F1中的物件特徵值並與該儲存單元12內所預存的號誌特徵值進行比對，以辨識出交通號誌5。接者再根據該交通號誌5 的亮燈位置(例如最左或最上)來認定停止燈號。此外，該號誌辨識單元13另可辨識複數交通號誌中一欲辨識交通號誌(traffic signal of interest)；例如，當該號誌辨識單元13根據物件特徵值與號誌特徵值的比對結果辨識出複數交通號誌時，可先將該等交通號誌中距離最近的交通號誌作為該欲辨識交通號誌；其中，所述距離最近例如可根據交通號誌的尺寸、對比及/或清晰度等數值來認定。

該警示單元14則受到該號誌辨識單元13的控制發出一警示；其中，該警示單元14可透過燈號141、畫面142及/或聲音143發出該警示。該燈號141例如可設置於該車輛9內駕駛人8的視野範圍內的任意位置；該畫面142例如可為一液晶顯示器或其他影像顯示器的畫面，其例如可結合於該中央控制面板92；該聲音143例如可透過車用音響或另外設置的揚聲器(speaker)來產生。可以了解的是，上述該燈號141、畫面142及聲音143的設置及產生方式僅為例示性，並非用以限定本發明。

本發明中，該號誌辨識單元13另可偵測車輛9之一動力系統94之一動力輸出。一實施例中，當該號誌辨識單元13辨識出停止燈號且偵測該動力輸出正持續降低時(例如於每一預設時間持續降低一預設比例)，則不控制該警示單元14發出該警示； 當該號誌辨識單元13辨識出停止燈號且偵測該動力輸出未降低時，則控制該警示單元14發出該警示，以提醒駕駛人8煞車或放鬆油門。另一實施例中，當該號誌辨識單元13辨識出停止燈號且偵測該動力輸出未持續降低時，則主動控制該動力系統94降低該動力輸出或抑制該動力輸出的增加，以增加行車安全性。再一實施例中，當該號誌辨識單元13辨識出停止燈號時，不論目前的車行狀況為何，則立即控制該警示單元14發出該警示以提醒駕駛人8煞車或放鬆油門。

請參照第3圖所示，其顯示本發明第二實施例之車用監測暨警示系統之方塊示意圖。本發明第二實施例之車用監測暨警示系統2包含一影像感測器21、一儲存單元22、一表情辨識單元23及一警示單元24。

請同時參照第1及3圖所示，接著說明本發明第二實施例之車用監測暨警示系統2。

影像感測器21例如同樣可為一CCD影像感測器、一CMOS影像感測器或其他用以感測影像之感測裝置，用以擷取一駕駛座93之一駕駛座方向之一影像圖框F2，因此該影像感測器21較佳係設置於一後照鏡91上，例如第1圖之影像感測器21。該影像感測器21並不限定設置於該後照鏡91，其亦 可設置於車內的其他位置，只要能擷取駕駛人8臉部的影像即可，並無特定限制。

該儲存單元22事先儲存有瞌睡表情相關的表情資訊。例如一表情辨識演算法可將人臉區分為複數區域並計算出相對該瞌睡表情的各區域的特徵值並事先儲存。其他實施例中，若該表情辨識單元23另可用以辨識其他表情或進行身份辨識，該儲存單元22亦可儲存有相關的表情或臉部資訊。

該表情辨識單元23用以根據該影像圖框F2辨視一瞌睡表情並據以控制該警示單元22發出警示。該號表情識單元23例如可利用一數位處理器或其他可處理數位影像資料的處理器來實現，當接收到該影像圖框F2後，則利用內建演算法計算出表情特徵值並與該儲存單元12內所預存的表情特徵值進行比對，以辨識出該瞌睡表情。此外，該表情辨識單元23另可判斷該影像圖框F2中是否存在一駕駛人8。一種實施例中，當該表情辨識單元23判斷該影像圖框F2中包含一駕駛人8時，立即或經過一預設時間後開始辨識該駕駛人8之瞌睡表情；其中，該預設時間例如，但不限於，可預設為30分鐘或一小時，或可由使用者自行設定。

該警示單元14則受到該表情辨識單元23的控制發出一警示；其中，該警示單元14可透過燈號 241、畫面242、聲音243、震動244及/或電流刺激245發出該警示。該燈號241例如可設置於該車輛9內駕駛人8的視野範圍內的任意位置；該畫面142例如可為一液晶顯示器或其他影像顯示器的畫面，其例如可結合於該中央控制面板92；該聲音143例如可透過車用音響或另外設置的揚聲器來產生；該震動244及該電流刺激245例如可透過駕駛座93來傳達至駕駛人8。可以了解的是，上述該燈號241、畫面242、聲音243、震動244及電流刺激245的設置及產生方式僅為例示性，並非用以限定本發明。

請參照第4圖所示，其顯示本發明第三實施例之車用監測暨警示系統之方塊示意圖。本發明第三實施例之車用監測暨警示系統3可同時用以辨識一交通號誌、一停止燈號以及一瞌睡表情，其包含一第一影像感測器31、一第二影像感測器31'、一儲存單元32、一表情辨識單元33、一號誌辨識單元33'及一警示單元34，並可耦接至車輛9之一動力系統94。本實施例中，該第一影像感測器31及該表情辨識單元33可分別相對應第二實施例中該影像感測器21及該表情辨識單元23；該第二影像感測器31'及該號誌辨識單元33'可分別相對應第一實施例中該影像感測器11及該號誌辨識單元13；該儲存單元32則同時儲存有該瞌睡表情相關的表情資訊以及該交通號誌及該停止燈號相關的號誌資訊。 因此，該第一影像感測器31較佳係設置於一後照鏡91，例如位於位置21；該第二影像感測器31'較佳亦設置於該後照鏡91，例如位於位置11，但並不以此為限。

類似於第二實施例，本實施例中該第一影像感測器31用以擷取駕駛座93之一駕駛座方向之一第一影像圖框F，該表情辨識單元33則用以根據該第一影像圖框F辨視一瞌睡表情並據以控制該警示單元34發出一第一警示；同理，該警示單元34可透過燈號、畫面、聲音、震動及/或電流刺激發出該第一警示。此外，該表情辨識單元33另可判斷該第一影像圖框F中是否存在一駕駛人8。此外，根據該第一影像感測器31所擷取之第一影像圖框F辨識一瞌睡表情並控制該警示單元34發出該第一警示則的方式類似於上述第二實施例，故於此不再贅述。

類似於第一實施例，本實施例中該第二影像感測器31'用以擷取車輛9之一前進方向Fd之一第二影像圖框F'，該號誌辨識單元33'用以根據該第二影像圖框F'辨識一交通號誌5，並根據該交通號誌5之一停止燈號控制該警示單元34發出一第二警示；同理，該警示單元34可透過燈號、畫面及/或聲音發出該第二警示。此外，該號誌辨識單元33'另可辨識複數交通號誌中一欲辨識交通號誌，進而 辨識該欲辨識交通號誌產生之停止燈號(如紅燈)。

此外，該號誌辨識單元33'另可偵測車輛9之一動力系統94之一動力輸出。一實施例中，當該號誌辨識單元33'辨識出停止燈號且偵測該動力輸出正持續降低時，不控制該警示單元34發出該第二警示；當該號誌辨識單元33'辨識出該停止燈號且偵測該動力輸出未降低時，控制該警示單元34發出該第二警示，以提醒駕駛人8煞車或放鬆油門。另一實施例中，當該號誌辨識單元33'辨識出該停止燈號且偵測該動力輸出未降低時，則主動控制該動力系統94降低該動力輸出或抑制該動力輸出的增加，以增加行車安全性。再一實施例中，當該號誌辨識單元33'辨識出該停止燈號時，不論目前的車行狀況為何，則立即控制該警示單元34發出該第二警示以提醒駕駛人8煞車或放鬆油門。

此外，根據該第二影像感測器31'所擷取之第二影像圖框F'辨識一停止燈號並控制該警示單元34發出該第二警示及/或改變動力輸出的方式則類似於上述第一實施例，故於此不再贅述。

一種實施例中，該表情辨識單元33及該號誌辨識單元33'可由單一數位處理器來實現；亦即，該表情辨識單元33及該號誌辨識單元33'可由單一元件或兩個元件來實現。

可以了解的是，上述說明中的交通號誌5僅為一種實施例，該交通號誌5亦可為其他型式，例如排列成一行，不同種類的號誌資訊均可預先儲存於該儲存單元12及32中。

此外，第2~4圖中的FOV及FOV'表示影像感測器之視野範圍(field of view)。

此外，本發明實施例之車用監測暨警示系統1~3亦可搭配身份辨識系統，例如該表情辨識單元23及33可用以辨識一使用者身份，以進一步增加實用性。

綜上所述，習知睡眠偵測裝置主要用以偵測眨眼速度而需要使用較高的圖框率擷取影像。本發明另提出一種車用監測暨警示系統(第2~4圖)，可同時用以偵測一停止燈號及一瞌睡表情，並據以提醒駕駛人降低動力輸出或集中注意力，以增加車用中央控制系統的應用，且由於可根據單張影像進行瞌睡表情辨識，因而可降低影像感測器之圖框率。

雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

1、2、3‧‧‧車用監測暨警示系統

11、21‧‧‧影像感測器

12、22、32‧‧‧儲存單元

13、33'‧‧‧號誌辨識單元

14、24、34‧‧‧警示單元

141、241‧‧‧燈號

142、242‧‧‧畫面

143、243‧‧‧聲音

23、33‧‧‧表情辨識單元

244‧‧‧震動

31‧‧‧第一影像感測器

245‧‧‧電流刺激

31'‧‧‧第二影像感測器

5‧‧‧交通號誌

8‧‧‧駕駛人

9‧‧‧車輛

91‧‧‧後照鏡

92‧‧‧中央控制面板

93‧‧‧駕駛座

94‧‧‧動力系統

F1、F2‧‧‧影像圖框

F‧‧‧第一影像圖框

F'‧‧‧第二影像圖框

Fd‧‧‧前進方向

FOV、FOV'‧‧‧視野

第1圖顯示本發明實施例之車用監測暨警示系統之應用示意圖。

第2圖顯示本發明第一實施例之車用監測暨警示系統之方塊示意圖。

第3圖顯示本發明第二實施例之車用監測暨警示系統之方塊示意圖。

第4圖顯示本發明第三實施例之車用監測暨警示系統之方塊示意圖。

11‧‧‧影像感測器

21‧‧‧影像感測器

8‧‧‧駕駛人

9‧‧‧車輛

91‧‧‧後照鏡

92‧‧‧中央控制面板

93‧‧‧駕駛座

Fd‧‧‧前進方向

Claims (14)

1. 一種車用監測暨警示系統，包含：一影像感測器，用以擷取一前進方向之一影像圖框；一警示單元，用以發出一警示；以及一號誌辨識單元，用以根據該影像圖框辨識一停止燈號並偵測一動力系統之一動力輸出，當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，控制該警示單元發出該警示。
2. 依申請專利範圍第1項之車用監測暨警示系統，其中該警示單元透過燈號、畫面及/或聲音發出該警示。
3. 依申請專利範圍第1項之車用監測暨警示系統，其中當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出持續降低時，不控制該警示單元發出該警示。
4. 依申請專利範圍第1項之車用監測暨警示系統，其中當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，另控制該動力系統降低該動力輸出或抑制增加該動力輸出。
5. 依申請專利範圍第1項之車用監測暨警示系統，另包含一儲存單元儲存有交通號誌及該停止燈號相關的號誌資訊。
6. 依申請專利範圍第5項之車用監測暨警示系統，其中該號誌辨識單元另根據該號誌資訊辨識複數交通號誌中一欲辨識交通號誌。
7. 一種車用監測暨警示系統，包含：一第一影像感測器，用以擷取一駕駛座方向之一第一影像圖框；一第二影像感測器，用以擷取一前進方向之一第二影像圖框；一警示單元，用以發出一第一警示及一第二警示；一表情辨識單元，用以根據該第一影像圖框辨視一瞌睡表情並據以控制該警示單元發出該第一警示；以及一號誌辨識單元，用以根據該第二影像圖框辨識一停止燈號並偵測一動力系統之一動力輸出，當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，控制該警示單元發出該第二警示。
8. 依申請專利範圍第7項之車用監測暨警示系統，其中該警示單元透過燈號、畫面、聲音、震動及/或電流刺激發出該第一警示，並透過燈號、畫面及/或聲音發出該第二警示。
9. 依申請專利範圍第7項之車用監測暨警示系統，其中當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出持續降低時，不控制該警示單元發出該第二警示。
10. 依申請專利範圍第7項之車用監測暨警示系統，其中當該號誌辨識單元辨識出該停止燈號且偵測該動力輸出未降低時，另控制該動力系統降低該動力輸出或抑制增加該動力輸出。
11. 依申請專利範圍第7項之車用監測暨警示系統，另包含一儲存單元儲存有該瞌睡表情相關的表情資訊以及交通號誌及該停止燈號相關的號誌資訊。
12. 依申請專利範圍第11項之車用監測暨警示系統，其中該號誌辨識單元另根據該號誌資訊辨識複數交通號誌中一欲辨識交通號誌。
13. 依申請專利範圍第7項之車用監測暨警示系統，其中該表情辨識單元另判斷該第一影像圖框中是否存在一駕駛人。
14. 依申請專利範圍第7項之車用監測暨警示系統，其中該第一影像感測器及該第二影像感測器設置於一後照鏡。