TWI474264B - 行車警示方法及車用電子裝置 - Google Patents

Description

行車警示方法及車用電子裝置

本發明是有關於一種警示機制，且特別是有關於一種基於影像辨識技術的行車警示方法及車用電子裝置。

隨著交通運輸的發達，促進了地方的發展，但是人為操縱運輸工具不當所造成之交通事故，儼然成為危害社會安全的主要因素。例如，由於行動電話已經成為現代人所不可或缺的電子產品，因此越來越多汽車駕駛會在開車期間使用行動電話。由於駕駛者必須一邊手持電話一邊開車，導致注意力分散，因而使得肇事率上升。因此，有效且即時地監控駕駛行為，以及透過安全系統對於不當的駕駛行為提出警訊，仍為此項領域中極需解決之問題。

本發明提供一種行車警示方法及車用電子裝置，利用影像辨識技術來判斷駕駛者是否正在使用行動裝置。

本發明的行車警示方法，用於車用電子裝置，本方法包括：利用影像擷取單元連續擷取駕駛者的影像序列；於影像序列的各影像中偵測臉部物件的耳側位置區域；於影像序列的各影像中偵測目標物件；根據影像序列，計算目標物件的移動軌跡；以及當移動軌跡朝向耳側位置區域移動時，發出提示訊號。

在本發明的一實施例中，上述於影像序列的各影像中偵測臉部物件的耳側位置區域的步驟包括：藉由人臉辨識演算法獲得臉部物件；於臉部物件中搜尋鼻孔物件；以及基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。

在本發明的一實施例中，上述根據影像序列，計算目標物件的移動軌跡的步驟包括：計算目標物件的垂直投影量與水平投影量，以獲得目標物件的尺寸範圍；於尺寸範圍內取一基準點；藉由各影像的基準點的位置，獲得移動軌跡。

在本發明的一實施例中，上述在目標物件朝向耳側位置區域移動時，還可判斷目標物件停留於耳側位置區域的停留時間是否超過預設時間；以及在停留時間超過預設時間時，發出提示訊號。

在本發明的一實施例中，上述偵測目標物件的步驟包括：依據耳測位置區域獲得興趣區域(Region of Interest，ROI)；將該影像序列中的當前影像與參考影像兩者各自的興趣區域執行影像相減演算法，以獲得目標區域影像；以及藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物件。

在本發明的一實施例中，上述藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物件的步驟包括：對參考影像的興趣區域執行邊緣偵測演算法與膨脹演算法，而獲得濾除區域影像；以及將濾除區域影像與目標區域影像執行影像相減演算法，以獲得目標物件。

本發明的車用電子裝置包括：影像擷取單元，連續擷取駕駛者的影像序列；儲存單元，儲存上述影像序列；以及處理單元，耦接至儲存單元以取得上述影像序列，並且執行影像處理模組。影像處理模組於上述影像序列的各影像中偵測臉部物件的耳側位置區域，並且，於上述影像序列的各影像中偵測目標物件，計算目標物件的移動軌跡，其中，基於移動軌跡判斷目標物件是否朝向耳側位置區域移動，而在目標物件朝向耳側位置區域移動時，發出提示訊號。

在本發明的一實施例中，上述該影像處理模組包括：耳朵偵測模組，於上述影像序列的各影像中偵測臉部物件的耳側位置區域；目標偵測模組，偵測上述影像序列的各影像中的目標物件；軌跡計算模組，計算目標物件的移動軌跡；判斷模組，基於移動軌跡判斷目標物件是否朝向耳側位置區域移動；以及提示模組，在目標物件朝向耳側位置區域移動時，發出提示訊號。

在本發明的一實施例中，上述影像處理模組更包括：臉部識別模組，藉由人臉辨識演算法獲得臉部物件，並於臉部物件中搜尋鼻孔物件。另外，上述耳朵偵測模組可進一步基於鼻孔物 件的位置，往水平方向搜尋耳側位置區域。

在本發明的一實施例中，上述軌跡計算模組計算目標物件的垂直投影量與水平投影量，以獲得目標物件的尺寸範圍，並且於尺寸範圍內取一基準點，以藉由上述影像序列的各影像的基準點的位置，獲得移動軌跡。

在本發明的一實施例中，上述目標偵測模組依據耳測位置區域獲得興趣區域，並且將上述影像序列的當前影像與參考影像兩者各自的興趣區域執行影像相減演算法，以獲得目標區域影像，而藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物件。

在本發明的一實施例中，上述目標偵測模組對參考影像的興趣區域執行邊緣偵測演算法與膨脹(dilate)演算法，而獲得濾除區域影像，並且，將濾除區域影像與目標區域影像執行影像相減演算法，以獲得目標物件。

在本發明的一實施例中，上述判斷模組判斷目標物件停留於耳側位置區域的停留時間是否超過預設時間，而在停留時間超過預設時間時，通知提示模組發出提示訊號。

基於上述，利用影像辨識技術可判別駕駛者是否於車內使用行動電話，並在確定駕駛者在使用行動電話時，發出提示訊息，以避免駕駛者因分心而造成事故。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧車用電子裝置

110‧‧‧影像擷取單元

120‧‧‧處理單元

130‧‧‧儲存單元

140‧‧‧影像處理模組

400‧‧‧影像

410‧‧‧臉部物件

420‧‧‧鼻孔物件

510‧‧‧參考影像

520‧‧‧當前影像

530‧‧‧目標區域影像

540‧‧‧濾除區域影像

550‧‧‧區域影像

511、521、R‧‧‧興趣區域

551‧‧‧尺寸範圍

601‧‧‧臉部識別模組

603‧‧‧耳朵偵測模組

605‧‧‧目標偵測模組

607‧‧‧軌跡計算模組

609‧‧‧判斷模組

611‧‧‧提示模組

B‧‧‧左上方頂點

C1、C2‧‧‧臉頰的邊界

E‧‧‧耳側位置區域

O‧‧‧目標物件

S205~S225‧‧‧行車警示方法的各步驟

S305~S355‧‧‧另一種行車警示方法的各步驟

圖1是依照本發明一實施例的車用電子裝置的示意圖。

圖2是依照本發明一實施例的一種行車警示方法的流程圖。

圖3是依照本發明一實施例的另一種行車警示方法的流程圖。

圖4是依照本發明一實施例的影像的示意圖。

圖5A~圖5E是依照本發明一實施例的偵測目標物件的示意圖。

圖6是依照本發明一實施例的影像處理模組的示意圖。

圖1是依照本發明一實施例的車用電子裝置的示意圖。請參照圖1，車用電子裝置100包括影像擷取單元110、處理單元120、儲存單元130以及影像處理模組140。在本實施例中，車用電子裝置100為獨立裝置，其擺設於車輛駕駛座前方，以拍攝駕駛者的影像。而在其他實施例中，車用電子裝置100亦可為整合於車輛中。例如，上述車用電子裝置100為嵌入式系統的架構，而可內嵌於任一電子裝置中。

影像擷取單元110擷取駕駛者的影像序列(包括一或多張影像)，並將影像序列存放儲存單元130。影像擷取單元110例 如為具有電荷耦合元件(Charge coupled device，CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors，CMOS)鏡頭、或紅外線鏡頭的攝影機、照相機，但不限於此。

處理單元120例如為中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphics Processing Unit，GPU)，或是其他可程式化之微處理器(Microprocessor)、數位處理器(Digital Signal Processor，DSP)等裝置。處理單元120耦接至儲存單元130，以取得影像擷取單元110所擷取的影像序列。並且，處理單元120執行影像處理模組140來對上述影像序列進行一辨識處理。例如，影像擷取單元110拍攝到影像後，會通過其輸入輸出(Input/Output，I/O)單元將影像儲存至儲存單元130裡，而處理單元120再自儲存單元130取得影像來執行影像處理程序。

儲存單元130例如為隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)或磁碟儲存裝置(Magnetic disk storage device)等。

在本實施例中，影像處理模組140例如是由電腦程式語言算撰寫的程式碼片段，上述程式碼片段例如可儲存於儲存單元130(或者另一儲存單元)中並且包括多個指令，藉由處理單元120來執行上述程式碼片段。另外，在其他實施例中，上述影像處理模組140亦可以是由一或多個電路所組成的硬體組件，其耦接至 處理單元120，並且由處理單元120來驅動。

另，在其他實施例中，影像擷取單元110還具有一照明元件，用以在光線不足時適時進行補光，以確保其所拍攝到的影像的清晰度。

底下即搭配上述車用電子裝置100來詳細說明行車警示方法各步驟。圖2是依照本發明一實施例的一種行車警示方法的流程圖。請同時參照圖1及圖2，由影像擷取單元110連續擷取駕駛者的影像序列(步驟S205)。接著，由影像處理模組140開始對上述影像序列的各張影像進行影像處理程序。

影像處理模組140於影像序列的各影像中偵測臉部物件的耳側位置區域(步驟S210)。而為了更精準地獲得耳側位置區域，在本實施例中，影像處理模組140還可在獲得臉部物件之後，於臉部物件中搜尋鼻孔物件，進而基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。例如，往鼻孔物件的左右兩側搜尋左右臉頰的邊界，之後，依據人臉與耳朵的相對位置，以搜尋到的邊界為基準來獲得左右兩邊的耳側位置區域。

接著，影像處理模組140於影像序列的各影像中，偵測目標物件(步驟S215)。在此，目標物件例如為行動電話。也就是說，影像處理模組140在各影像中偵測行動電話。而在獲得目標物件之後，影像處理模組140根據影像序列計算目標物件的移動軌跡(步驟S220)。例如，以目標物件的其中一點作為基準點，對每張影像中基準點的位置進行統計，進而獲得目標物件的移動軌 跡。當影像處理模組140偵測到移動軌跡朝向耳側位置區域移動時，影像處理模組140會發出提示訊號(步驟S225)。

在此，影像處理模組140還可進一步判斷目標物件停留於耳側位置區域的停留時間是否超過預設時間(例如3秒)，並且在停留時間超過預設時間時，發出提示訊號。也就是說，倘若目標物件留於耳側位置區域的停留時間是否超過預設時間，表示駕駛者可能在一邊開車一邊使用行動電話。

底下再舉另一實施例來說明。

圖3是依照本發明一實施例的另一種行車警示方法的流程圖。請同時參照圖1及圖3，首先，利用影像擷取模處連續擷取駕駛者的多個影像(步驟S305)。接著，影像處理模組140先執行一背景濾除動作(步驟S310)。例如，將第N張影像與第N+1張影像進行差分處理。之後，可將濾除背影的影像轉為灰階影像，藉此進行後續動作。

之後，影像處理模組140在上述影像中偵測臉部特徵，而獲得臉部物件(步驟S315)。例如，儲存單元130儲存有一特徵資料庫。此特徵資料庫包括了臉部特徵樣本(pattern)。而影像處理模組140藉由與特徵資料庫中的樣本進行比對來獲得臉部物件。於較佳實施例中，可利用AdaBoost演算法或其他現有的人臉辨識演算法(如，利用Haar-like特徵來進行人臉辨識動作)來獲得各影像中的臉部，然在此僅為舉例，並不以此為限。

然後，影像處理模組140於各影像中偵測臉部物件的耳 側位置區域(步驟S320)。例如，影像處理模組140可於臉部物件中搜尋鼻孔物件，進而往鼻孔物件的左右兩側搜尋左右臉頰的邊界，之後，依據人臉與耳朵的相對位置，以搜尋到的邊界為基準來獲得左右兩邊的耳側位置區域。之後，影像處理模組140可依據耳測位置區域獲得興趣區域(Region of Interest，ROI)(步驟S325)。

舉例來說，圖4是依照本發明一實施例的影像的示意圖。影像處理模組140在偵測到影像400的臉部物件410之後，便可獲得鼻孔物件420，再由鼻孔物件420來找到左右兩邊的邊界C1、C2，並以邊界C1、C2為基準而獲得耳側位置區域。在此為方便說明，僅舉其中一側臉頰的邊界C1來進行說明，然，可以此類推至另一側臉頰的邊界C2。以邊界C1的座標為基準，以預先設定好的尺寸範圍而獲得耳側位置區域E。然後，根據耳側位置區域E，再以另一預設尺寸範圍而獲得興趣區域R。

接著，影像處理模組140將一當前影像與一參考影像(可以是先前影像，例如此當前影像的前一幅影像或前N幅影像，亦或是預先設定的任一幅影像)兩者各自的興趣區域執行影像相減演算法，以獲得目標區域影像(步驟S330)，並藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物件(步驟S335)。

舉例來說，圖5A~圖5E是依照本發明一實施例的偵測目標物件的示意圖。在此，為求方便起見，將圖5A~圖5E的灰階度省略，而僅描示出灰階的邊緣來進行說明。圖5A所示為參考影像 510，其繪示有興趣區域511；圖5B所示為目前影像擷取單元110所擷取的當前影像520，其繪示有興趣區域521與耳側位置區域E；圖5C所示為目標區域影像530；圖5D所示為濾除區域影像540，圖5E所示為具有目標物件O的區域影像550。

具體來說，將參考影像510的興趣區域511與當前影像520的興趣區域521執行影像相減演算法後，便能夠獲得兩張影像中具有差異的目標區域影像530。也就是說，目標區域影像530為興趣區域511與興趣區域521進行影像相減演算法後所獲得的結果。在目標區域影像530中，以虛線來表示非目標物件的其他雜訊。而為了濾除雜訊以獲得目標物件，對參考影像510的興趣區域511的執行邊緣偵測演算法及膨脹(dilate)演算法等，而獲得濾除區域影像540。然後，將目標區域影像530與濾除區域影像540進行影像相減演算法後，便可獲得如圖5E所示具有目標物件O的區域影像550。

返回圖3，在獲得目標物件後，影像處理模組140計算目標物件的垂直投影量與水平投影量，以獲得目標物件的尺寸範圍(步驟S340)。具體而言，影像處理模組140計算目標物件的垂直投影量而獲得目標物件於垂直軸上的長度，並且計算目標物件的水平投影量而獲得目標物件位於水平軸上的寬度。藉由上述長度與寬度，進而獲得目標物件的尺寸範圍。

而後，影像處理模組140於尺寸範圍內取一點作為基準點(步驟S345)，並且，在後續各影像的目標物件以相同的點作為 基準點，便可藉由各影像的基準點的位置來獲得移動軌跡(步驟S350)。

以圖5E為例，計算出目標物件O的長度與寬度而獲得尺寸範圍551，並且，以尺寸範圍551的左上方頂點B作為基準點。而後續其他張影像的目標物件亦以其尺寸範圍的左上方頂點作為基準點。據此，由多張影像的基準點便可得知目標物件的移動軌跡。上述以尺寸範圍的左上方頂點作為基準點僅為舉例說明，並不以此為限。之後，影像處理模組140在偵測到移動軌跡移動至耳側位置區域時，發出提示訊息(步驟S355)。另外，影像處理模組140還可偵測移動軌跡是否逐步正往耳側位置區域前進等，藉以更明確判斷目標物(本實施例為手機)。

下述舉一例來說明影像處理模組140之架構。圖6是依照本發明一實施例的影像處理模組的示意圖。請參照圖4，影像處理模組140包括臉部識別模組601、耳朵偵測模組603、目標偵測模組605、軌跡計算模組607、判斷模組609以及提示模組611。

臉部識別模組601藉由人臉辨識演算法獲得臉部物件，並於臉部物件中搜尋鼻孔物件。例如，臉部識別模組601利用AdaBoost演算法或其他現有的人臉辨識演算法(如，利用Haar-like特徵來進行人臉辨識動作)來偵測影像中的臉部物件。

耳朵偵測模組603於影像中偵測臉部物件的耳側位置區域。例如，耳朵偵測模組603可以去比對自影像中所獲得的耳朵特徵與事先儲存於特徵資料庫的耳朵特徵樣本，而獲得左右兩邊 的耳側位置區域。另外，倘若由於耳朵被頭髮或其他物品遮蔽，而導致無法獲得耳朵特徵時，耳朵偵測模組603還可事先依據樣本訓練來獲得耳側位置區域是相對於人臉中的哪個位置，因而直接以預設的資料來獲得左右兩邊的耳側位置區域。此外，耳朵偵測模組603還可基於鼻孔物件的位置，往水平方向搜尋耳側位置區域。例如，基於鼻孔物件的位置，往水平方向獲得臉頰左右的邊界，之後以預設的資料來獲得左右兩邊的耳側位置區域。

目標偵測模組605偵測影像中的目標物件。目標偵測模組605依據耳測位置區域獲得興趣區域，並將當前影像與參考影像兩者各自的興趣區域執行影像相減演算法，以獲得目標區域影像，據此藉由參考影像的興趣區域，濾除目標區域影像的雜訊，以獲得目標物件。詳細說明可參照圖5A~圖5E，在此省略不提。

軌跡計算模組607計算目標物件的移動軌跡。例如，軌跡計算模組607以目標物件的其中一點作為基準點，對每張影像中基準點的位置進行統計，進而獲得目標物件的移動軌跡。舉例來說，軌跡計算模組607計算目標物件的垂直投影量與水平投影量，以獲得目標物件的尺寸範圍，並且於尺寸範圍內取基準點，以藉由各影像的基準點的位置，獲得移動軌跡。

判斷模組609基於移動軌跡判斷目標物件是否移動至耳側位置區域。例如，判斷模組609會根據軌跡計算模組607所獲得的基準點的位置，判斷該位置是否位於耳側位置區域。另外，判斷模組609亦可依據移動軌跡來預測上述目標物件是否會移動 至耳側位置區域。上述僅為舉例說明，並不以此為限。

而提示模組611在目標物件移動至耳側位置區域時，發出提示訊號。例如，提示模組611在接收到判斷模組609發出的指令或命令時，發出語音或振動等提示訊號。

上述車用電子裝置100利用影像辨識方法來偵測駕駛者是否在使用行動電話，此外，上述車用電子裝置100還可具有睡眠偵測機制，藉以偵測駕駛者是否有疲勞駕駛的情況產生。

綜上所述，本發明利用影像辨識技術來找出影像中的目標物件，並且在連續的多張影像中計算目標物件的移動軌跡，藉此可判別駕駛者是否於車內使用行動電話。並且，在確定駕駛者在使用行動電話時，發出提示訊息，以避免駕駛者因分心而造成事故。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S205~S225‧‧‧行車警示方法的各步驟

Claims (13)

1. 一種行車警示方法，用於一車用電子裝置，該方法包括：利用一影像擷取單元連續擷取一駕駛者之一影像序列；於該影像序列之每一影像中，偵測一臉部物件的一耳側位置區域；於該影像序列之每一影像中，偵測一目標物件；根據該影像序列，計算該目標物件的一移動軌跡；以及當該移動軌跡朝向該耳側位置區域移動時，發出一提示訊號。
2. 如申請專利範圍第1項所述的方法，其中於該影像序列之每一個影像中偵測該臉部物件的該耳側位置區域的步驟包括：藉由一人臉辨識演算法獲得該臉部物件；於該臉部物件中搜尋一鼻孔物件；以及基於該鼻孔物件的位置，往一水平方向搜尋該耳側位置區域。
3. 如申請專利範圍第1項所述的方法，其中計算該目標物件的該移動軌跡的步驟包括：計算該目標物件的一垂直投影量與一水平投影量，以獲得該目標物件的一尺寸範圍；於該尺寸範圍內取一基準點；以及藉由於該影像序列之每一影像的該基準點的位置，獲得該移動軌跡。
4. 如申請專利範圍第1項所述的方法，其中在該移動軌跡朝向該耳側位置區域移動時，更包括： 判斷該目標物件停留於該耳側位置區域的一停留時間是否超過一預設時間；以及在該停留時間超過該預設時間時，發出該提示訊號。
5. 如申請專利範圍第1項所述的方法，其中偵測該目標物件的步驟包括：依據該耳測位置區域獲得一興趣區域；將該影像序列中之一當前影像與一參考影像兩者各自的該興趣區域，執行一影像相減演算法，以獲得一目標區域影像；以及藉由該參考影像的該興趣區域，濾除該目標區域影像的雜訊，以獲得該目標物件。
6. 如申請專利範圍第5項所述的方法，其中藉由該參考影像的該興趣區域，濾除該目標區域影像的雜訊，以獲得該目標物件的步驟包括：對該參考影像的該興趣區域執行一邊緣偵測演算法與一膨脹演算法，而獲得一濾除區域影像；以及將該濾除區域影像與該目標區域影像執行該影像相減演算法，以獲得該目標物件。
7. 一種車用電子裝置，包括：一影像擷取單元，連續擷取一駕駛者之一影像序列；一儲存單元，儲存該影像序列；一處理單元，耦接至該儲存單元以取得該影像序列，並且執行一影像處理模組，其中該影像處理模組於該影像序列之每一影 像中偵測一臉部物件的一耳側位置區域；其中偵測該影像序列之每一影像中的一目標物件，計算該目標物件的一移動軌跡；其中基於該移動軌跡判斷該目標物件是否朝向該耳側位置區域移動，而在該目標物件朝向該耳側位置區域移動時，發出一提示訊號。
8. 如申請專利範圍第7項所述的車用電子裝置，其中該影像處理模組包括：一耳朵偵測模組，於該影像序列之每一影像中偵測該臉部物件的該耳側位置區域；一目標偵測模組，偵測該影像序列之每一影像中的該目標物件；一軌跡計算模組，計算該目標物件的該移動軌跡；一判斷模組，基於該移動軌跡判斷該目標物件是否朝向耳側位置區域移動；以及一提示模組，在該目標物件朝向該耳側位置區域移動時，發出一提示訊號。
9. 如申請專利範圍第8項所述的車用電子裝置，其中該影像處理模組更包括：一臉部識別模組，藉由一人臉辨識演算法獲得該臉部物件，並於該臉部物件中搜尋該鼻孔物件；其中，該耳朵偵測模組基於該鼻孔物件的位置，往一水平方向搜尋該耳側位置區域。
10. 如申請專利範圍第8項所述的車用電子裝置，其中該軌 跡計算模組計算該目標物件的一垂直投影量與一水平投影量，以獲得該目標物件的一尺寸範圍，並且於該尺寸範圍內取一基準點，以藉由該影像序列之每一影像的該基準點的位置，獲得該移動軌跡。
11. 如申請專利範圍第8項所述的車用電子裝置，其中該目標偵測模組依據該耳測位置區域獲得一興趣區域，並且將於該影像序列之一當前影像與一參考影像兩者各自的該興趣區域，執行一影像相減演算法，以獲得一目標區域影像；以及藉由該參考影像的該興趣區域，濾除該目標區域影像的雜訊，以獲得該目標物件。
12. 如申請專利範圍第11項所述的車用電子裝置，其中該目標偵測模組對該參考影像的該興趣區域執行一邊緣偵測演算法與一膨脹演算法，而獲得一濾除區域影像，；以及將該濾除區域影像與該目標區域影像執行該影像相減演算法，以獲得該目標物件。
13. 如申請專利範圍第8項所述的車用電子裝置，其中該判斷模組判斷該目標物件停留於該耳側位置區域的一停留時間是否超過一預設時間，而在該停留時間超過該預設時間時，通知該提示模組發出該提示訊號。