TWI401473B - 影像式夜間行人偵測系統及方法 - Google Patents

Description

影像式夜間行人偵測系統及方法

本發明乃關於一種影像式夜間行人偵測系統及方法，並且特別地，本發明為關於一種車用影像式夜間行人偵測系統及方法。

在夜間行車時，駕駛人須依靠路燈以及車輛頭燈的照明來辨識前方路況，以確保行車安全。然而，當大雨、濃霧等外在因素，或疲勞駕駛、視力不佳等內在因素存在時，駕駛人容易疏忽前方的行人、障礙物等而造成意外。

因此，透過影像分析進行夜間行人偵測的方法及系統已經被提出。先前技術中的夜間行人偵測方法主要可分為兩大類：外觀式(Appearance-based)；以及運動式(Motion-based)方法。

外觀式夜間行人偵測法使用多個行人外觀影像來訓練分類器(Classifier)，讓分類器能從眾多行人外觀影像中歸納出若干影像特徵。接著，當紅外線影像擷取裝置擷取到紅外線影像時，便可應用受訓練後之分類器以標準的模式辨識(Pattern Recognition)方法比對紅外線影像中是否有與所歸納的影像特徵相符處，若有的話，則判斷為可能的行人。

常見的用於行人偵測法之影像特徵方向梯度直方圖(Histogram of Oriented Gradients,HOG)、影像小波 (Wavelet)、外型強度(Shape Intensity)等，而常見的分類器有適應型強化(adaptive boosting)分類器AdaBoost、支持向量機(Support vector machine,SVM)分類器、類神經網路(Neural Network,NN)分類器等。

另外，運動式夜間行人偵測法主要是學習行人運動所造成之影像圖形(Pattern)，例如，用立體攝影機(Stereo Camera)持續偵測影像中移動的物體，並確立同一時間兩個攝影機所取得之影像的相似處，再確立與下一時間所取得之影像的相似處，最後判斷哪個物體是獨立移動的物體。

然而，目前的夜間行人偵測系統所採用之遠紅外線攝影機價格較高、體積大且耗電，較難被廣為採用。另外，現有的夜間行人偵測系統多採用雙眼視覺(Stereo Vision)作為設計依據，也因此面臨無法壓低價格、安裝困難，以及演算複雜等問題。

因此，本發明之一範疇在於提供一種影像式夜間行人偵測系統，以解決先前技術中的問題。

根據一具體實施例，本發明之影像式夜間行人偵測系統包含一發射器、一影像擷取裝置以及一處理模組。該發射器可朝一第一方向發射一紅外線，而該影像擷取裝置則可擷取該紅外線於該第一方向之反射，形成之紅外線影像。

此外，該處理模組連接該影像擷取裝置，用以接收該紅外線影像，將該紅外線影像劃分成複數個影像區塊，根據各影像區塊與相鄰影像區塊的對比度判斷該紅外線影像上的 至少一候選區域，並根據各該候選區域之一擴增方向梯度直方圖確認該至少一候選區塊是否包含一行人影像。

本發明之另一範疇在於提供一種影像式夜間行人偵測方法，以解決先前技術中的問題。

根據一具體實施例，本發明之影像式夜間行人偵測方法包含下列步驟：(a)朝一第一方向發射一紅外線；(b)擷取該紅外線於該第一方向受到反射所形成之一紅外線影像；(c)接收該紅外線影像，將該紅外線影像劃分成複數個影像區塊，根據各影像區塊與相鄰影像區塊的對比度判斷該紅外線影像上的至少一候選區域；(d)產生各該候選區域之一擴增方向梯度直方圖特徵；以及(e)藉由階段式AdaBoost分類器確認該至少一候選區塊是否包含一行人影像。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

本發明提供一種影像式夜間行人偵測系統及方法，根據本發明的若干具體實施例描述如下。

請一併參見圖一、圖二、圖三A以及圖三B，圖一繪示根據本發明之一具體實施例的影像式夜間行人偵測系統設置於汽車上的示意圖；圖二繪示根據本發明之一具體實施例的影像式夜間行人偵測方法的流程圖；圖三A以及圖三B則繪示根據本發明之一具體實施例的紅外線影像示意圖。本發明之影像式夜間行人偵測系統1包含發射器10、影像擷取裝置12、處理模組14以及顯示器16。

進一步，發射器10可朝第一方向D1發射紅外線100(步驟S50)，於本具體實施例中，紅外線100為近紅外線。影像擷取裝置12則擷取紅外線100於第一方向D1受到反射所形成之紅外線影像2(步驟S52)。如圖一所示，發射器10以及影像擷取裝置12可設置於汽車9前端。

此外，處理模組14連接該影像擷取裝置12，用以接收該紅外線影像2，將該紅外線影像2劃分成複數個影像區塊(例如，但不受限於像素(pixel))，根據各影像區塊與相鄰影像區塊的對比度判斷該紅外線影像2上的至少一候選區塊20(步驟S54)。並且，處理模組14可根據各該候選區塊20之一擴增方向梯度直方圖(Augmented Histograms of Orientation Gradient,AHOG)特徵，並藉由階段式AdaBoost 分類器確認該至少一候選區塊20是否包含一行人影像200(步驟S54)。

進一步，顯示器16連接處理模組14，其可顯示該紅外線影像2以及包含該行人影像200之該候選區塊20的位置。於實務中，顯示器16可被設置於駕駛座前方或週邊區域。

請一併參見圖三A、圖三B、圖四以及圖五，圖四繪示根據本發明之一具體實施例之處理模組的功能方塊圖；圖五則繪示圖二中的步驟S54之詳細流程圖。於本具體實施例中，前述處理模組14進一步包含候選區塊產生單元140、選取單元142、特徵單元144以及分類單元146。

於實務中，候選區塊產生單元140、選取單元142、特徵單元144以及分類單元146可單獨設置於電路板上，或者 該些單元也可被整合於一積體電路晶片中。

候選區塊產生單元140將該紅外線影像2劃分成複數個影像區塊，並以多重適應閥切割(multi-adaptive threshold segmentation)方式，利用相鄰影像資訊，用以取得可能前景位置及大小，產生可能包含行人影像的候選區塊20(步驟S540)。

於實際應用中，我們假設夜間行人在近紅外線會出現在高對比區域附近。候選區塊產生單元140會透過多個亮度的門檻值，來決定各影像區塊是屬於前景或是背景。吾人參考Dong氏之論文(請參見，Jianfei Dong,Junfeng Ge and Yupin Luo,"Nighttime Pedestrian Detection with Near Infrared using Cascaded Classifiers,"IEEE International Conference on Image Processing ,p.p.185-188,2007)，並修改該方法之鄰近區域之範圍定義，由原本之單一掃描線改成多個掃描線，定義如[公式1]，並進一步採用Dong氏之[公式2]定義兩個門檻，T_low 和T_high 。

>>>>>>T _low (i,j )=T _high (i,j )-θ [公式2]

其中，k 係影像區塊之尺寸，單位為像素；θ 係一常數。

並且，前景及背景的判斷規則如Dong氏論文所定義之[公式3]

其中，F 代表前景；B 代表背景。前述之文獻係以全文引用方式納入本文中。

最後，將判斷屬於前景的各影像區塊結合起來，形成可能包含行人影像的候選區塊20(如圖三B中白色虛線框處)。

此外，選取單元142連接該候選區塊產生單元140，用以根據各候選區塊20之區塊特性進行進一步篩選(步驟S542)。

因行人通常有固定出現的位置，且大小在某一範圍中，選取單元142可根據候選區塊20之大小、位置、長寬比例等特性將太大或太小、位置在天空中以及長寬比例不對的候選區塊20濾除，只留下可能的候選區塊20。

於實際應用中，基於演算法速度上的考量，候選區塊20濾除的順序可設定為：(1)先濾除太大或太小的區塊，例如，大於影像十分之一與小於影像一千分之一之區域皆不考慮：由於這類型的區塊幾乎都不包含欲偵測的目標物(即行人)，且只需一次整數的大小比較即可計算出結果，故將其判斷放在第一順位；(2)濾除位置不合理的區域，例如，只留下消失線以下之區域：此運算也只需一次的整數大小比較，但通常出現在不合理位置的候選區塊較少，故先濾除大小不合 理的區塊可以降低此步驟所要比對的候選區塊數量，進而提升演算的速度；以及(3)濾除長寬比較不合理的區塊，例如，只留下長寬比二比一之區域：此步驟需要一次浮點數的除法運算及一次的浮點數大小比較，故在系統執行上需花最多的時間，所以將其放置在最後一個步驟執行。當然，於實務中，本發明的選取單元142也可透過其他區塊特性來進行篩選，並且篩選順序可視情況進行調整，並不限於這裡所舉例的順序。

請參見圖六，圖六係繪示圖三B中的紅外線影像經由前述步驟處理後之示意圖。如圖所示，經由前述步驟，紅外線影像2上僅剩兩個候選區塊，其他的候選區塊都已經被排除了。

進一步，特徵單元144連接選取單元142，用以根據剩下的候選區塊之擴增方向梯度直方圖進行篩選(步驟S544)。

請參見圖七，圖七繪示根據本發明之一具體實施例的擴增方向梯度直方圖之建構流程示意圖。其中，對稱性權重視窗的計算過程如下：假設偵測視窗的中間有一條垂直的對稱軸，其對稱性之值為計算兩個相對應的區域中，相對像素之相似程度，為了減少影像中目標物位移及轉動所帶來之影響，吾人不採用單一像素之相似程度，而選擇考慮此像素與其鄰近區域之相似度之平均值。

請參見圖八，圖八繪示前述相似度之建構流程示意圖。此外，相似度之值可由以下[公式4]所獲得。

其中f’(x,y) 表示原始區塊翻轉後的區塊，而m(x,y) 表示原始區塊鏡射後之區塊。所以對稱性權重值可由以下[公式5]得出。

其中N _k (x,y )表示(x,y )所有的鄰近區域之像素，k 表示此區域之大小而#(N _k (x,y ))則是此區域中所有像素數目之總合。第二個加強的部分為梯度強度之密度，對於某一個特徵區塊，其值可由以下[公式6]得出。

最後一個加強的部分為人形輪廓距離，對於一個特徵區塊，其值可由以下[公式7]以及[公式8]得出。

其中Edist (x,y )表示歐幾里德空間中，(x,y )與其人形中心(,)之距離，此距離會與此像素之梯度強度相乘，最後所得之值會透過一常數L常態化至0與1之間。

關於擴增方向梯度直方圖的建構流程已被揭露於文獻中(請參見，莊振勛所發表之「利用單眼視覺之增強性方向梯度直方圖於多人偵測」，2008年7月30日)，該文獻係以全文引用方式納入本文中。

於實務中，吾人採用結合機器學習(Machine Learning)與知識為基礎(Knowledge-based)之分類單元146。利用大量行人影像與非行人影像，透過Adaboost方法學得一強分類器(Strong Classifier)。特別地，具有鑑別力之擴增方向梯度直方圖特徵會在學習過程中被挑出來，並被結合形成強分類器。擴增方向梯度直方圖特徵為在原本的方向梯度直方圖中，加強了人體對稱性、輪廓距離以及梯度強度之密度等人體幾何特性，所發展出之一特別適合用以表現行人之特徵點。

通過特徵單元144計算後的候選區塊特徵資訊被傳送至分類單元146。藉由機器學習法之AdaBoost強分類器及候選區塊特徵資訊，可判斷該特徵資訊是否屬於行人，因此分類單元146分類該候選區塊是否有行人存在，若是的話，則確認該候選區塊包含行人影像(步驟S546)。

請參見圖九，圖九係繪示圖六中的紅外線影像經由前述步驟處理後之示意圖。如圖所示，經由前述步驟，紅外線影像2上僅剩一個候選區塊，並且該候選區塊包含行人影像。

於實務中，本發明之影像式夜間行人偵測系統除了可設置於車輛之外，也可被固定設置於如建築物、交通號誌支架 或其他適當的位置。此外，本發明之影像式夜間行人偵測系統除了用於夜間行人辨識之外，也可用於動物、障礙物、交通工具的辨識。

相較於先前技術，本發明之影像式夜間行人偵測系統及方法只需要單台近紅外線攝影機，系統需求較低，且具有成本低、容易取得以及架設等優點。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。因此，本發明所申請之專利範圍的範疇應該根據上述的說明作最寬廣的解釋，以致使其涵蓋所有可能的改變以及具相等性的安排。

1‧‧‧影像式夜間行人偵測系統

10‧‧‧發射器

100‧‧‧紅外線

12‧‧‧影像擷取裝置

14‧‧‧處理模組

140‧‧‧候選區塊產生單元

142‧‧‧選取單元

144‧‧‧特徵單元

146‧‧‧分類單元

16‧‧‧顯示器

2‧‧‧紅外線影像

20‧‧‧候選區塊

200‧‧‧行人影像

9‧‧‧汽車

S50~S54、S540~S546‧‧‧流程步驟

圖一繪示根據本發明之一具體實施例的影像式夜間行人偵測系統設置於汽車上的示意圖。

圖二繪示根據本發明之一具體實施例的影像式夜間行人偵測方法的流程圖。

圖三A以及圖三B則繪示根據本發明之一具體實施例的紅外線影像示意圖。

圖四繪示根據本發明之一具體實施例之處理模組的功能方塊圖。

圖五則繪示圖二中的步驟S54之詳細流程圖。

圖六係繪示圖三B中的紅外線影像經由圖五之步驟處理後之示意圖。

圖七繪示根據本發明之一具體實施例的擴增方向梯度直方圖之建構流程示意圖。

圖八繪示前述相似度之建構流程示意圖。

圖九係繪示圖六中的紅外線影像經由圖七之步驟處理後之示意圖。

S50~S54‧‧‧流程步驟

Claims (12)

1. 一種影像式夜間行人偵測系統，包含：一發射器，用以朝一第一方向發射一紅外線；一影像擷取裝置，用以擷取該紅外線於該第一方向受到反射所形成之一紅外線影像；以及一處理模組，連接該影像擷取裝置，用以接收該紅外線影像，將該紅外線影像劃分成複數個影像區塊，根據各影像區塊與相鄰影像區塊的對比度判斷該紅外線影像上的至少一候選區塊，並根據各該候選區塊之一擴增方向梯度直方圖(Augmented Histograms of Orientation Gradient,AHOG)特徵，藉由階段式AdaBoost強分類器確認該至少一候選區塊是否包含一行人影像；其中該處理模組進一步包含：一候選區塊產生單元，將該紅外線影像劃分成複數個影像區塊，並以多重適應閥切割(multi-adaptive threshold segmentation)方式，產生至少一第一候選區塊；一選取單元，連接該候選區塊產生單元，用以根據各第一候選區塊之至少一區塊特性篩選出至少一第二候選區塊；一特徵單元，連接該選取單元，根據各該第二候選區塊計算出擴增方向梯度直方圖特徵資訊輸出一第二候選區塊之特徵資訊；以及一分類單元，連接該特徵單元，該分類單元係採用結合機器學習(Machine Learning)與知識為基礎(Knowledge-based)，利用大量行人影像與非行人影像，透過AdaBoost方法學得可將具有鑑別力之擴增方向梯度直方圖特徵於學習過程中挑出，並被結合形成之一強分類器(Strong Classifier)，藉此，以階段 式AdaBoost強分類器及該第二候選區塊之特徵資訊，判斷該特徵資訊是否屬於行人，藉此分類該第二候選區塊之特徵資訊是否有行人存在，若是的話，則確認該第二候選區塊包含該行人影像。
2. 如申請專利範圍第1項所述之影像式夜間行人偵測系統，其中該至少一區塊特性包含該區塊的尺寸、長寬比以及其在該紅外線影像上的位置。
3. 如申請專利範圍第1項所述之影像式夜間行人偵測系統，其中該候選區塊產生單元、該選取單元以及該分類單元係整合於一積體電路晶片中。
4. 如申請專利範圍第1項所述之影像式夜間行人偵測系統，其中該擴增方向梯度直方圖係以一方向梯度直方圖為基礎，並加強人體對稱性、輪廓距離以及梯度強度之密度之人體幾何特性而成，且該人體對稱性、該梯度強度之密度以及該輪廓距離，其值係可由以下公式得出： ；以及> 其中，該f’(x,y) 表示原始區塊翻轉後的區塊；該m (x,y )表 示原始區塊鏡射後之區塊；該N _k (x,y )表示(x,y )所有的鄰近區域之像素；該k 表示此區域之大小；該#(N _k (x,y ))則是此區域中所有像素數目之總合；及該Edist (x,y )表示歐幾里德空間中，(x,y )與其人形中心(,)之距離，此距離會與此像素之梯度強度相乘，最後所得之值會常態化至0與1之間。
5. 如申請專利範圍第1項所述之影像式夜間行人偵測系統，進一步包含：一顯示器，連接該處理模組，用以顯示該紅外線影像以及包含該行人影像之該候選區塊的位置。
6. 如申請專利範圍第1項所述之影像式夜間行人偵測系統，其中該紅外線係一近紅外線。
7. 一種影像式夜間行人偵測方法，包含下列步驟：(a)朝一第一方向發射一紅外線；(b)擷取該紅外線於該第一方向受到反射所形成之一紅外線影像；以及(c)接收該紅外線影像，將該紅外線影像劃分成複數個影像區塊，根據各影像區塊與相鄰影像區塊的對比度判斷該紅外線影像上的至少一候選區塊，並且，根據各該候選區塊之一擴增方向梯度直方圖(Augmented Histograms of Orientation Gradient,AHOG)特徵，藉由階段式AdaBoost分類器確認該至少一候選區塊是否包含一行人影像。
8. 如申請專利範圍第7項所述之影像式夜間行人偵測方法，其中步驟(c)進一步包含下列步驟：(c1)將該紅外線影像劃分成複數個影像區塊，並以多重適應閥切割(multi-adaptive threshold segmentation)方式，產 生至少一第一候選區塊；(c2)根據各第一候選區塊之至少一區塊特性篩選出至少一第二候選區塊；(c3)根據各該第二候選區塊計算出擴增方向梯度直方圖特徵資訊輸出一第二候選區塊之特徵資訊；以及(c4)以階段式AdaBoost強分類器分類該第二候選區塊之特徵資訊是否屬於行人，若是的話，則確認該第二候選區塊包含該行人影像。
9. 如申請專利範圍第8項所述之影像式夜間行人偵測方法，其中該至少一區塊特性包含該區塊的尺寸、長寬比以及其在該紅外線影像上的位置。
10. 如申請專利範圍第7項所述之影像式夜間行人偵測方法，其中該擴增方向梯度直方圖係以一方向梯度直方圖為基礎，並加強人體對稱性、輪廓距離以及梯度強度之密度之人體幾何特性而成，且該人體對稱性、該梯度強度之密度以及該輪廓距離，其值係可由以下公式得出： ；以及> 其中，該f’(x,y) 表示原始區塊翻轉後的區塊；該m (x,y )表示原始區塊鏡射後之區塊；該N _k (x,y )表示(x,y )所有的鄰近區域之像素；該k 表示此區域之大小；該#(N _k (x,y ))則是此區域中所有像素數目之總合；及該Edist (x,y )表示歐幾里德空間中，(x,y )與其人形中心(,)之距離，此距離會與此像素之梯度強度相乘，最後所得之值會透過一常數L常態化至0與1之間。
11. 如申請專利範圍第7項所述之影像式夜間行人偵測方法，進一步包含下列步驟：(d)顯示該紅外線影像以及包含該行人影像之該候選區塊的位置。
12. 如申請專利範圍第7項所述之影像式夜間行人偵測方法，其中該紅外線係一近紅外線。