TWI628623B

TWI628623B - 全天候熱影像式行人偵測方法

Info

Publication number: TWI628623B
Application number: TW105138846A
Authority: TW
Inventors: 黃世勳; 簡士哲; 張峰嘉; 蕭簡浩; 蕭有崧
Original assignee: 國家中山科學研究院
Priority date: 2016-11-25
Filing date: 2016-11-25
Publication date: 2018-07-01
Also published as: TW201820260A

Abstract

一種全天候熱影像式行人偵測方法，包含下列步驟：(a)擷取同一行人及非行人於一同一定義區塊中之日間熱影像及夜間熱影像，以建立熱影像的一樣本資料庫，其中該樣本資料庫包括複數個行人及複數個非行人樣本；(b)對於該樣本資料庫中的該等行人及該等非行人樣本，於該同一定義區塊中進行LBP編碼，其中將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼；(c)將該同一定義區塊中之LBP編碼以梯度方向直方圖(HOG)作為特徵表示，以得到該等行人樣本及該等非行人樣本之特徵訓練樣本；(d)利用SVM及Adaboost進行分類器訓練；(e)基於滑動視窗法對於熱影像進行搜索檢測並判定是否為行人。

Description

全天候熱影像式行人偵測方法

本發明係關於一種熱影像之行人偵測技術，更特別的是關於一種適用於全天候且基於區塊LBP編碼技術之全天候熱影像式行人偵測方法。

先前基於熱影像之行人偵測技術主要基於熱影像中人形為高亮度區域假設前提下，應用門檻值演算法(Thresholding)對熱影像進行切割，以獲得數個高亮度之可能行人區域，接著透過人形樣本或特徵比對方式達到熱影像行人偵測之目的。然而，此類演算法其效能取決於門檻值之選定，因此其並不適用於多種環境場景與天候狀況。為避免門檻值選定之問題，目前熱影像行人偵測改以紋理特徵描述人形外觀，再給定一個訓練資料庫條件下，其中包含大量人形及非人形樣本，透過機器學習方式，訓練一個能夠有效分辨人形與非人形之分類器，利用此分類器直接對熱影像進行掃描，以避免門檻值選定所產生之錯誤切割問題。

透過機器學習方式之技術雖可避免切割問題，並處理熱影像中衣物明亮度不同(Cloth Distortion)與行人外觀差異(Appearance Variation)等問題外，但其無法有效克服熱感測器所產生之未校正亮度兩極化現象(Un-Calibrated White-Black Polarity Change)，未校正亮度兩極化為熱影像中人形區域之亮度產生，為與環境溫度之對比結果，當環境溫度較低(例如，黃昏與夜晚)，熱影像人形區域為高亮度區域；反之，當環境溫度較低(例如，中午與下午)，熱影像人形區域為低亮度區域。因此，先前技術可有效應用於單一狀況，並無法有效運用於全天候(包含：日間與夜晚)的狀況。

本發明係針對現有技術之不足，提出一種基於LBP索引之多層級(Multi-Level)機器學習演算法，以達到熱影像行人偵測之目的。主要提出之演算法分為訓練(Training)及測試(Testing)兩個階段，首先，給定一組熱影像行人資料庫，其中包含行人樣本與非行人樣本，對所有定義之矩形區塊(Rectangular Block)，透過LBP對所有樣本於此區塊之熱影像進行紋理編碼(Texture Encoding)，並將該訓練區塊熱影像依LBP編碼歸類，接著對相同矩形區塊之相同LBP編碼之訓練影像，以梯度方向直方圖(Histogram of Oriented Gradient, HOG)作為特徵表示，並透過學習所獲得之支援向量機(Support Vector Machine, SVM)作為該區塊與編碼之行人與非行人分類器(Pedestrian/Non-Pedestrian Classifier)，然後將所有屬於相同區塊之SVM作為弱分類器(Weak Classifier)，並透過自適應增強(Adaptive Boosting, Adaboost)選取出具鑑別能力之矩形區塊(對應至一弱分類器)，以形成行人分類器，稱為強分類器(Strong Classifier)，最為後續行人偵測使用。其次，於測試階段，使用傳統之滑動視窗(Sliding Window)方法，將行人偵測問題轉換成二元分類問題(Binary Classification)，針對每一個滑動視窗，透過上述所學習之行人分類器，判斷其是否有行人存在，以達到行人偵測之目的。

為達上述目的及其他目的，本發明提出一種全天候熱影像式行人偵測方法，包含下列步驟：(a)擷取同一行人及非行人於一同一定義區塊中之日間熱影像及夜間熱影像，以建立熱影像的一樣本資料庫，其中該樣本資料庫包括複數個行人及複數個非行人樣本；(b)對於該樣本資料庫中的該等行人及該等非行人樣本，於該同一定義區塊中進行LBP編碼，其中將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼；(c)將該同一定義區塊中之LBP編碼以梯度方向直方圖(HOG)作為特徵表示，以得到該等行人樣本及該等非行人樣本之特徵訓練樣本；(d) 將該等特徵訓練樣本輸入至SVM並以Adaboost進行訓練，形成一強分類器；(e) 進行行人偵測，基於滑動視窗法對於熱影像中的強分類器進行搜索檢測並判定是否為行人。

於本發明之一實施例中，其中該步驟(b)包含下列步驟：(b1) 將該等行人及該等非行人樣本之日間熱影像及夜間熱影像進行LBP編碼；(b2) 將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼。

於本發明之一實施例中，其中該步驟(c)包含下列步驟：(c1) 將該同一定義區塊劃分成複數個區塊區域；(c2) 將各該區塊區域劃分成複數個單元區域，各該單元區域具有複數個LBP編碼；(c3) 對於各該區塊區域中所有的LBP編碼進行梯度強度與梯度方向計算；(c4) 對於各該單元區域中所有的LBP編碼，依照其梯度強度與梯度方向進行投票統計而得到各該單元區域的特徵向量，其中各該單元區域的特徵向量組成各該區塊區域的HOG特徵，及各該區塊區域的HOG特徵組成該同一定義區塊的HOG特徵，從而得到該等行人樣本及該等非行人樣本之特徵訓練樣本。

於本發明之一實施例中，其中該步驟(d)包含下列步驟：(d1) 掃描整張影像上之複數個不同大小的定義區域；(d2) 各該定義區塊透過步驟(a)~(c)得到複數個行人樣本及非行人樣本之特徵訓練樣本；(d3) 將該等特徵訓練樣本輸入至SVM進行訓練以得到複數個弱分類器；(d4) 透過Adaboost 運算，於該等弱分類器中找出具有行人之關鍵位置之至少一強分類器。

於本發明之一實施例中，其中該步驟(e)包含下列步驟：(e1) 基於滑動視窗法對於熱影像中的強分類器進行掃描；(e2) 將該強分類器的區塊作LBP編碼；(e3) 將該LBP編碼以HOG作為特徵表示；(e4) 將該HOG特徵輸入SVM分類器進行行人之判定。

藉此，本發明之基於區塊LBP編碼之多層級人形分類器之全天候熱影像式行人偵測方法係透過上述所提出之LBP紋理編碼與歸類方式，可避免因未校正亮度兩極化現象，導致特徵過於混亂以至於影響辨識結果；以及利用Adaboost訓練分類器可有效選取與整合具鑑別度之區塊，以克服因行人外觀姿態變異與遮蔽所產生之錯誤辨識。

為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：

如圖1所示，本發明之全天候熱影像式行人偵測方法，其具體包含步驟(a)~ 步驟(e)，其中步驟(a)~步驟(d)為訓練階段，步驟(e)為測試階段：

步驟(a)、擷取同一行人及非行人於一同一定義區塊中之日間熱影像及夜間熱影像，並重複擷取複數個行人及非行人熱影像，以建立熱影像的一樣本資料庫，因此該樣本資料庫包括複數個行人及複數個非行人之日間熱影像及夜間熱影像樣本。

步驟(b)、對於該樣本資料庫中的該等行人及該等非行人樣本，於該同一定義區塊中進行LBP編碼，其中將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼，以克服熱影像日夜間特性相反問題。其中，(b1) 將該等行人及該等非行人樣本之日間熱影像及夜間熱影像進行LBP編碼；(b2) 將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼。如圖2所示，一行人的身體部分之日間LBP編碼 =124 與夜間LBP編碼 =131為互補，而將其設定為互補特徵。

步驟(c)、將該同一定義區塊中之LBP編碼以HOG作為特徵表示，以得到該等行人樣本及該等非行人樣本之特徵訓練樣本。其中，(c1) 將該同一定義區塊(windows)劃分成複數個區塊區域(block)；(c2) 將各該區塊區域劃分成複數個單元區域(cell)，各該單元區域具有複數個LBP編碼；(c3) 對於各該區塊區域中所有的LBP編碼進行梯度強度與梯度方向計算；(c4) 對於各該單元區域中所有的LBP編碼，依照其梯度強度與梯度方向進行投票統計而得到各該單元區域的特徵向量，其中各該單元區域的特徵向量組成各該區塊區域的HOG特徵，及各該區塊區域的HOG特徵組成該同一定義區塊的HOG特徵，從而得到該等行人樣本及該等非行人樣本之特徵訓練樣本。上述之HOG主要基於權重式HOG以描述人形局部影像紋理之特徵表示式(Feature Descriptor)，目前已被證實為有效之人形表示方式，而HOG特徵表示主要包含以下三個步驟：(1)區塊定義，(2)梯度強度與方向計算及(3)直方圖統計。以下將針對此三個步驟進行說明：

(1)區塊定義：HOG演算法會先將影像畫面劃分為多種不同大小及數量的視窗區域，例如，圖3係說明HOG演算法劃分之視窗區域、區塊區域、單元區域及像素(pixel)之示意圖。視窗區域100是由固定大小及數量的區塊區域(例如區塊區域110~區塊區域140)所組成的區域，區塊區域是由固定大小及數量的單元區域(例如，單元區域111~單元區域114)所組成的區域，各區塊區域之間可以重疊(例如，區塊區域110與區塊區域120)，單元區域是由固定大小及數量的像素(例如，像素1111及像素1112)所組成的區域，各單元區域之間不重疊。以圖3所示之區塊區域110為例，區塊區域110劃分為四個單元區域111~114，即其單元維度大小為4×4 pixel。

(2)梯度強度與方向計算：對區塊中所有像素點，透過水平遮罩與垂直遮罩分別計算出其水平分量與垂直分量，其中表示像素點之亮度。而之梯度強度與梯度方向計算如(式一)及(式二)：

…………………………….(式一)

……………………………………...(式二)

(3)直方圖統計：經過上述計算後，針對每一個單元區域中所有的像素點，依其在梯度強度大小對梯度方向進行投票統計，一般而言，將方向以為一個區間(Bin)，因此共可區分為9個區間(Bin)，像素點所對應之區間索引值為，投票統計權重為該像素之梯度強度，因此對各細胞可獲得一9維特徵向量(Feature vector) ，該9維特徵向量用以描述各該單元區域之紋理特性，最後將4個單元區域之特徵向量以串接方式(Concatenation)結合而成一個36維(9x4=36)HOG特徵向量(Feature vector) 。進一步言，本發明係將上述之HOG特徵表示中的像素點取代為步驟(b)得到之LBP編碼，因此本發明係利用區塊LBP編碼的方式來提取熱影像之特徵。

步驟(d)、將該等特徵訓練樣本輸入至SVM並以Adaboost進行訓練，形成一強分類器。其中，(d1) 掃描整張影像上之複數個不同大小的定義區域；(d2) 各該定義區塊透過步驟(a)~(c)得到複數個行人樣本及非行人樣本之特徵訓練樣本；(d3) 將該等特徵訓練樣本輸入至SVM進行訓練以得到複數個弱分類器；(d4) 透過Adaboost 運算，於該等弱分類器中找出具有行人之關鍵位置之至少一強分類器。

步驟(e)、進行行人偵測，基於滑動視窗法對於熱影像中的強分類器進行搜索檢測並判定是否為行人。其中，(e1) 基於滑動視窗法對於熱影像中的強分類器進行掃描；(e2) 將該強分類器的區塊作LBP編碼；(e3) 將該LBP編碼以HOG作為特徵表示；(e4) 將該HOG特徵輸入SVM分類器進行行人之判定。如此，本發明之全天候熱影像式行人偵測方法於測試階段時，不須對熱影像中的每一個區塊區域皆進行行人辨識，而是只要對於步驟(d)中藉由Adaboost訓練得到的強分類器(即一行人分類器)進行掃描即可，從而讓使用本發明之全天候熱影像式行人偵測方法之系統能減少運算量。

需說明的是，上述之LBP編碼、SVM及Adaboost分類器訓練皆為圖像辨識技術領域中已相當成熟之技術，因此於本說明書中便不再對其操作步驟進行說明。

基於上述，本發明透過自行建構之熱像人形資料庫，其中主要包含兩天中四個時段(日間、中午、黃昏與夜間)之影像，對上述所提之全天候熱影像式行人偵測方法進行四個實驗分析，此四個實驗設計分別為，實驗1 (訓練：第一天四個時段所有影像；測試：第二天四個時段所有影像)；實驗2 (訓練：第二天四個時段所有影像；測試：第一天四個時段所有影像)；實驗3 (訓練：兩天中日間與中午時段所有影像；測試：兩天中黃昏與夜間時段所有影像)；實驗4 (訓練：兩天中黃昏與夜間時段所有影像；測試：兩天中日間與中午時段所有影像)，所獲得之實驗數據如下表一所示，其中本發明使用之效能評估之準則分別為準確性(Precision)、召回(Recall)及F-Measure，由下表一可明顯發現本發明所提出之全天候熱影像式行人偵測方法的準確度高達98%以上，召回(Recall)率亦高於80%，此可說明本發明所提出之全天候熱影像式行人偵測方法可有效應用於全天候之場景；另外，由圖示4中所示之熱像式行人檢測結果圖亦顯示出本發明之全天候熱影像式行人偵測方法能精確的檢測出熱像式人形。

表一、本發明之全天候熱影像式行人偵測方法之效能評估 <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> </td><td>實驗1</td><td>實驗2</td><td>實驗3</td><td>實驗4</td></tr><tr><td>準確性</td><td> 99.31% </td><td> 97.35% </td><td> 98.33% </td><td> 98.02% </td></tr><tr><td>召回</td><td> 92.98% </td><td> 82.40% </td><td> 82.40% </td><td> 65.47% </td></tr><tr><td>F-Measure</td><td> 96.04% </td><td> 89.67% </td><td> 89.67% </td><td> 78.50% </td></tr></TBODY></TABLE>

藉此，本發明之基於區塊LBP編碼之多層級人形分類器之全天候熱影像式行人偵測方法係透過所提出之LBP紋理編碼與歸類方式，可避免因未校正亮度兩極化現象，導致特徵過於混亂以至於影響辨識結果；以及利用Adaboost訓練分類器可有效選取與整合具鑑別度之區塊，以克服因行人外觀姿態變異與遮蔽所產生之錯誤辨識。

本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。

(a)~(e) 步驟 100 視窗區域 110~140 區塊區域 111~114 單元區域 1111~1112 像素

［圖1］係為本發明一實施例中之全天候熱影像式行人偵測方法之偵測流程圖。［圖2］係為本發明一實施例中之LBP編碼之互補特性改進圖。［圖3］係為本發明一實施例中之HOG特徵提取之區塊定義示意圖。［圖4］係為本發明一實施例中之利用全天候熱影像式行人偵測方法之熱像式行人檢測結果圖。

Claims

一種全天候熱影像式行人偵測方法，包含下列步驟：(a)擷取同一行人及非行人於一同一定義區塊中之日間熱影像及夜間熱影像，以建立熱影像的一樣本資料庫，其中該樣本資料庫包括複數個行人及複數個非行人樣本；(b)對於該樣本資料庫中的該等行人及該等非行人樣本，於該同一定義區塊中進行LBP編碼，其中將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼；(c)將該同一定義區塊中之LBP編碼以梯度方向直方圖(HOG)作為特徵表示，以得到該等行人樣本及該等非行人樣本之特徵訓練樣本；(d)將該等特徵訓練樣本輸入至SVM並以Adaboost進行訓練，形成一強分類器；(e)進行行人偵測，基於滑動視窗法對於熱影像中的強分類器進行搜索檢測並判定是否為行人；其中該步驟(c)包含下列步驟：(c1)將該同一定義區塊劃分成複數個區塊區域；(c2)將各該區塊區域劃分成複數個單元區域，各該單元區域具有複數個LBP編碼；(c3)對於各該區塊區域中所有的LBP編碼進行梯度強度與梯度方向計算；(c4)對於各該單元區域中所有的LBP編碼，依照其梯度強度與梯度方向進行投票統計而得到各該單元區域的特徵向量，其中各該單元區域的特徵向量組成各該區塊區域的HOG特徵，及各該區塊區域的HOG特徵組成該同一定義區塊的HOG特徵，從而得到該等行人樣本及該等非行人樣本之特徵訓練樣本。
如請求項1所述之全天候熱影像式行人偵測方法，其中該步驟(b)包含下列步驟：(b1)將該等行人及該等非行人樣本之日間熱影像及夜間熱影像進行LBP編碼；(b2)將該同一定義區塊中具有互補性之LBP編碼作為相同之LBP編碼。
如請求項1所述之全天候熱影像式行人偵測方法，其中該步驟(d)包含下列步驟：(d1)將該等特徵訓練樣本輸入至SVM，依據該等特徵訓練樣本計算複數個模組參數；(d2)依據該等模組參數建立一分類器模組，透過該分類器模組將該等特徵訓練樣本分類成該行人樣本及該非行人樣本；(d3)將屬於同一區塊區域的SVM作為一弱分類器；(d4)利用Adaboost選取出具鑑別能力之至少一區塊區域，該區塊區域係對應至一弱分類器以形成一強分類器，以作為後續行人之偵測。
如請求項3所述之全天候熱影像式行人偵測方法，其中該步驟(e)包含下列步驟：(e1)基於滑動視窗法對於熱影像中的強分類器進行掃描；(e2)將該強分類器的區塊作LBP編碼；(e3)將該LBP編碼以HOG作為特徵表示；(e4)將該HOG特徵輸入SVM分類器進行行人之判定。