TWI621075B - Adaptive object classification device with parallel architecture and method thereof - Google Patents

Abstract

本發明提供一種具平行架構之適應性物體分類裝置及其方法，其包含儲存複數筆場景參數及複數筆分類器參數，先擷取至少一影像資料後，框選出影像資料中的複數個障礙物影像，可根據每一障礙物影像範圍選定適當之框選範圍。再利用複數個影像處理單元以一對一的平行處理方式分別對應計算出此些障礙物影像的複數筆障礙物特徵資料，並根據此些障礙物特徵資料選取對應之場景參數及對應之此些分類器參數並進行運算，以取得複數筆分類資料，若判定分類資料為所預設之障礙物種類，則輸出所框選障礙物影像之位置，如此可達到即時偵測障礙物之效率。

Description

具平行架構之適應性物體分類裝置及其方法

本發明係有關一種適應性物體分類裝置及其方法，特別是指一種具平行架構之適應性物體分類裝置及其方法。

由於近年行車安全的議題上越來越被重視，隨著影像設備成本大量降低，以及影像辨識技術日漸成熟，在影像辨識系統應用在車輛安全上越來越廣泛，並且在安全系統中，使用影像辨識是降低整個系統成本的一個重要的方法。根據統計資料顯示，駕駛員只要在發生碰撞的0.5秒前得到預警，即可以避免至少60%的追尾撞車事故、30%的迎面撞車事故和50%的路面相關事故，而若有1秒鐘的預警時間，則可避免90%的事故。但在影像辨識系統中，計算量龐大是一個主要的困難點，對於即時運算要求嚴苛的車輛安全系統中更加的需要被重視。

以防撞系統而言，使用行人偵測系統通常都是非常非常昂貴的設備，譬如用紅外線偵測、雷射雷達偵測等，因在道路場景的複雜，如在同一場景有多個行人，車輛，以及貓狗等，因此更需要更強健的特徵參數將行人與其他背景資訊分離出來。此外，行人偵測系統偵測過程中，常受到拍攝現場各種環境變因的干擾而使得偵測結果之準確率下降，例如在光照不均的環境中造成行人部份過亮或過暗，或是在行人之驅體被部分遮蔽的情況之下，常常無法準確的判斷場景中是否有行人存在。另一種行人偵測的方法係利用背景擷取方法以得到前景資訊以作為近一步的影像處理方法，然而利用此方法擷取影像會得到較為破碎的前景，會造成後端辨識的困難，並且因需要長時間擷取會增加系統的負擔。因此，如何提升障礙物的偵測效率以及達到即時偵測需求是亟待解決的問題。

有鑑於此，本發明遂針對上述先前技術之缺失，提出一種具平行架構之適應性物體分類裝置及其方法，以有效克服上述之該等問題。

本發明之主要目的在提供一種具平行架構之適應性物體分類裝置及其方法，係利用平行處理數個障礙物影像，能夠加速影像處理效率，進而簡化影像處理的複雜度及耗時問題。

本發明之另一目的在提供一種具平行架構之適應性物體分類裝置及其方法，其可根據所擷取之影像判斷出對應之場景，可因應各種不同場景來彈性調整分類器參數，能夠運算出準確度更高的障礙物影像及其種類，以解決習知偵測系統誤判的問題。

本發明之又一目的在提供一種具平行架構之適應性物體分類裝置及其方法，其可根據所擷取的影像的遠深及障礙物影像的尺寸，進行框選出適當的障礙物影像範圍再進行影像處理，能夠提升影像處理效率。

本發明之再一目的在提供一種具平行架構之適應性物體分類裝置及其方法，其可嵌入於車輛的防撞系統中，來達到即時偵測之功效。

為達上述之目的，本發明提供一種具平行架構之適應性物體分類方法，係包含儲存複數筆場景參數及複數筆分類器參數，適應性物體分類方法包括下列步驟：擷取至少一影像資料；框選出影像資料中的複數個障礙物影像，且根據每一障礙物影像範圍選定適當之框選範圍。再利用複數個影像處理單元分別對應計算出此些障礙物影像的複數筆障礙物特徵資料，並根據此些障礙物特徵資料選取對應之場景參數及對應之此些分類器參數並進行運算，以取得複數筆分類資料。其中，此些分類器參數係包括不同障礙物種類之複數筆方向梯度特徵參數，每一分類資料係由每一障礙物特徵資料乘上相對應之分類器參數，並加總而取得。比對分類資料是否大於一浮動閥值，浮動閥值係對應一障礙物種類，若是，則判定分類資料為障礙物種類，並輸出所框選障礙物影像之位置，若否，則非為障礙物種類。由於本發明不僅可以平行處理數個障礙物影像，有效縮短運算時間而達到即時偵測的功效，又可根據影像資料判斷出對應的場景，不僅能夠根據場景參數適應性調整分類器參數，並搭配障礙物特徵資料進行運算以取得更可靠的分類資料，因此可讓整體偵測準確度大幅提升，極具市場競爭優勢。

其中，框選此些障礙物影像之步驟前，更包括從影像資料中選定一有興趣區域，再自有興趣區域中框選出影像資料中的此些障礙物影像。並考量到影像資料中的複數個障礙物影像具遠深及影像大小問題，故框選此些障礙物影像步驟之後，更包括調整每一障礙物影像之框選範圍大小。

其中，方向梯度演算法更包括先計算每一障礙物影像的邊緣值，方向梯度演算法（HOG）將每一障礙物影像劃分為複數個小區塊，再計算每一小區塊中的每一像素的方向及邊緣參數值並加總，以取得九個特徵向量，並統計每一小區塊內的九個特徵向量，獲得障礙物影像之障礙物特徵資料。

本發明提供另一種具平行架構之適應性物體分類裝置，係儲存複數筆場景參數及複數筆分類器參數，適應性物體分類裝置包括至少一影像擷取器及一影像處理器。影像擷取器係擷取至少一影像資料，並框選出影像資料中的複數個障礙物影像，且根據每一障礙物影像範圍選定適當之框選範圍。影像處理器包括複數個影像處理單元，分別對應計算出此些障礙物影像的複數筆障礙物特徵資料，根據此些障礙物特徵資料選取對應之場景資料及對應之此些模擬障礙物參數並進行運算，以取得複數筆分類資料，再將分類資料與一浮動閥值比對，浮動閥值係對應一障礙物種類，並輸出相對應浮動閥值之所框選障礙物影像之位置。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

為因應防撞系統（AEB）須能快速判斷煞車時間，因此本發明具備平行化架構與管線式運算技術的適應性物體分類裝置及其方法，來解決先前技術無法達到即時偵測的缺點。

請參閱第1圖，為本發明之方塊示意圖。適應性物體分類裝置係內建於一防撞系統中，適應性物體分類裝置包括一儲存器10、至少一影像擷取器12及一影像處理器14，影像處理器14電性連接儲存器10及影像擷取器12。其中，儲存器10可為同步動態隨機存取儲存器（Synchronous Dynamic Random Access Memory，SDRAM），係儲存複數筆場景參數102及複數筆分類器參數104，影像處理器14包含複數個影像處理單元142及複數個調整尺寸單元（resize unit）144，該些影像處理單元142電性連接該些調整尺寸單元144。影像擷取器12擷取一影像資料122之後，並框選出影像資料122中的複數個障礙物影像124，且根據每一障礙物影像124範圍選定適當之框選範圍。由於影像擷取器12具有遠近擷取影像能力，障礙物影像124範圍亦隨之不同，故利用該些調整尺寸單元144將所框選的每一障礙物影像124範圍調整為適當之框選範圍，如此可以減少後續影像處理的資料量。為能加速影像處理效率，其中框選有幾個障礙物影像124就對應有幾個影像處理單元142進行平行處理，亦即影像處理單元142與障礙物影像124為一對一的平行處理方式，故此些影像處理單元142係對應計算出此些障礙物影像的複數筆障礙物特徵資料。再根據此些障礙物特徵資料選取對應之場景參數102及對應之此些分類器參數104並進行運算，以取得複數筆分類資料，再將分類資料與一浮動閥值比對，浮動閥值係對應一障礙物種類，並輸出相對應浮動閥值之所框選障礙物影像124之位置於一顯示器16中。藉由利用平行處理數個障礙物影像124方法，能夠加速影像處理效率，進而簡化影像處理的複雜度及耗時問題。

為能更進一步瞭解本發明如何以平行架構及管線式運算方式來達到即時偵測功效，請同時參閱第1圖、第2圖及第3圖，第2圖為本發明之步驟流程圖，第3圖為本發明之平行化多重框選障礙物影像示意圖。首先，如步驟S10，擷取至少一影像資料122，在此以一張影像資料為例說明。可根據目前行車動態之興趣區間，動態調整掃瞄之區域，避免掃瞄不需要運算的影像區域以減少運算量負擔，如步驟S12，從影像資料中選定一有興趣區域（ROI），再自有興趣區域中框選出影像資料122中的此些障礙物影像，此些障礙物影像係為車輛、行人、動物、電線桿、路樹、路障或以上之組合，如第3圖所示，此些障礙物影像包含有障礙物影像124a、障礙物影像124b、障礙物影像124c及障礙物影像124d，如步驟S14，利用複數個調整尺寸單元144分別對應來調整每一障礙物影像124a、124b、124c、124d之框選範圍大小，使每一障礙物影像124範圍選定為適當之框選範圍，由於障礙物種類的不同，其長、寬、高以及考量到拍攝焦距遠近所呈現的影像大小差異，利用調整尺寸單元144針對不同障礙物影像來調整框選範圍大小，能夠提升影像處理速率。如步驟S16，利用複數個影像處理單元分別對應計算出此些障礙物影像的複數筆障礙物特徵資料，如影像處理單元142a計算出障礙物影像124a的障礙物特徵資料，影像處理單元142b計算出障礙物影像124b的障礙物特徵資料，影像處理單元142c計算出障礙物影像124c的障礙物特徵資料，影像處理單元142d計算出障礙物影像124d的障礙物特徵資料，其中，影像處理單元142a、142b、142c、142d是平行處理所對應的障礙物影像124a、124b、124c、124d，並根據此些障礙物特徵資料選取對應之場景參數102及對應之此些分類器參數104並進行運算，以取得複數筆分類資料。其中，場景參數102係為過曝場景、夜間場景、向陽場景或黃昏場景，並可依據不同場景而彈性調整，而分類器參數104係包括不同障礙物種類之複數筆方向梯度特徵參數，並可依據障礙物種類而及時調整。最後如步驟S18，比對分類資料是否大於一浮動閥值，浮動閥值係對應一障礙物種類，若是，則執行步驟S20，判定分類資料為障礙物種類，並輸出所框選障礙物影像之位置；若否，則執行步驟22，非為障礙物種類，其中障礙物種類係為車體、行人或路障。由於本發明可根據所擷取之影像判斷出對應之場景，可因應各種不同場景來彈性調整分類器參數104，能夠運算出準確度更高的障礙物影像124及其種類，以解決習知偵測系統誤判的問題，且此些影像處理單元142係內建於車輛的防撞系統中。

為能進一步說明本發明的影像處理單元142如何計算出障礙物影像的障礙物特徵資料，以及如何根據障礙物特徵資料選取對應之場景參數及對應之分類器參數並進行運算，以取得分類資料，在此障礙物影像係以行人偵測影像為例說明。請同時參閱第1圖及第4A圖至第4D圖，第4A圖至第4D圖為本發明偵測影像資料中障礙物的流程示意圖。在此，本發明是使用方向梯度演算法（Histogram of Oriented Gradient,HOG）計算障礙物特徵值，主要為統計整張影像之梯度強度以及方向資訊作為後續分類的依據，使用方向梯度演算法對於障礙物的邊緣增加強度以及對障礙物變形能力有較高容忍度。另，本發明儲存的複數筆分類器參數係來自於支持向量機分類器（Support Vector Machine ,SVM），其係為利用向量內積將障礙物的特徵參數對應到一超平面，將障礙物特徵值的分離度為最大。詳言之，支持向量機分類器係使用數百張或數千張的行人樣本作為行人影像資料庫，經由方向梯度演算法計算出障礙物特徵值後，再輸入至支持向量機分類器做離線訓練，最後將訓練結果之複數筆分類器參數作為後續障礙物種類之分類依據。

如第4A圖，係擷取一影像資料122，並框選出影像資料122中的複數個障礙物影像124a、障礙物影像124b、障礙物影像124c，再如第4B圖所示，每一影像處理單元142係利用方向梯度演算法先計算每一該障礙物影像的邊緣值，將框選後的每一障礙物影像124劃分為複數個小區塊（block），再計算每一該小區塊中的每一像素的方向及邊緣參數值並加總，以取得每一小區塊內的九個特徵向量。舉例來說，偵測障礙物影像124為行人時，障礙物影像124大小為64(n)×128(m)，將障礙物影像124中的每一個像素進行邊緣偵測（Edge Detection），可得到每一個像素的邊緣方向與邊緣強度，接下來將障礙物影像124分成大小為16×16且部分重疊的單元（cell）進行方向梯度演算法的運算，且每次位移8格，在此為減少運算時間，會利用管線式設計方法，將資料流預先儲存於一小塊記憶體中（SRAM），以減少資料搬移時間，加速運算速度，其中記憶體係電性連接影像處理器14。由於邊緣方向相差180度可視為同一方向，因此將每個單元依邊緣方向在0~180度分成九個特徵向量，也就是每個16×16個區塊會對應到九個方向，如第4C圖所示，此階段的總資料量為公式9×(n/8)×(m/8)個障礙物特徵資料。其中每一單元內所有像素分別對其所屬的方向特徵向量做投票統計，所投的票數為像素的邊緣強度，這九個方向的資訊可用九維的向量來代表，也就是九個特徵向量。將四個相鄰單元視為一個區塊，不同區塊間可相互重疊，區塊用其內4個單元的特徵向量來描述障礙物影像124位置的局部邊緣資訊。在此利用平行運算，將四個單元同時間進行計算，並且將之放入記憶體以做為統計，以加速整體運算速度。最後以36維向量來代表，36維向量經正規化（Normalize）使向量長度為1，將所有7x15個區塊的36維向量組合起來可得到3780維的向量，此向量包含了行人整體與局部的資訊，也就是障礙物影像124之障礙物特徵資料。

接續，將每筆障礙物特徵資料乘上相對應之分類器參數，例如障礙物特徵資料9×(n/8)×(m/8)乘上分類器參數9×(n/8)×(m/8)，並加總而取得一結果值，此結果值為此框選區域之分數，如此分數大於一浮動閥值，就代表此框選區域具有所偵測之障礙物，反之則無障礙物，如圖第4D圖所示，在此係以偵測行人為例，因此，框選區域之分數大於一浮動閥值即表示框選區域具有所偵測之障礙物為行人，並顯示框選區域的行人影像，如顯示障礙物影像124b、障礙物影像124c；反之，框選區域之分數小於一浮動閥值，則框選區域具有所偵測之障礙物非行人，例如有可能是車輛、路障或其他障礙物或無任何障礙物。由於障礙物種類不同，分類器參數與浮動閥值也會隨之變動，因此可即時調整分類器參數設計而達到更準確的偵測效率，不再侷限於習知因無法適應性調整場景參數及分類參數而產生偵測錯誤的問題。也就是說，影像處理單元142可根據障礙物特徵資料選取對應之場景參數及對應之分類器參數並進行運算，以取得分類資料，加強此裝置之辨識精準度。綜上所述，由於習知技術偵測障礙物及分類出障礙物種類必須於影像中逐一搜尋偵測出障礙物，再依序偵測運算處理並分類出障礙物種類，此影像運算量相當大且耗時，不易達到即時判斷的效率。而本發明為因應防撞系統能快速精確判斷煞車時機，因此設計了具平行架構及管線式運算架構的適應性物體分類裝置，使用一對一的影像處理平行運算複數個障礙物影像，能夠加速統計向量的處理效率，提供準確度更高的障礙物資料予防撞系統，能避免交通事故發生，進而簡化影像處理的複雜度及耗時問題。

再者，由於習知所使用的分類器參數是事先訓練好的參數，並嵌入防撞系統中，當車輛在室外行駛中遇到不同場景時，如黃昏、向陽、夜間或過曝等場景，因無法調整適當的場景參數，也無法因為場景不同而調整分類器參數，因此容易造成誤判及偵測率下降等缺點。而本發明可根據所擷取之影像判斷出對應之場景，可因應各種不同場景來彈性調整分類器參數，因具備可適應性之場景判斷能力，能夠運算出準確度更高的障礙物影像及其種類，以解決習知偵測系統誤判的問題。更進一步而言，本發明可根據所擷取的影像的遠深及障礙物影像的尺寸，進行框選出適當的障礙物影像範圍再進行影像處理，能夠提升影像處理效率，進而解決習知影像範圍大而造成運算量龐大的問題。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10‧‧‧儲存器
102‧‧‧場景參數
104‧‧‧分類器參數
12‧‧‧影像擷取器
122‧‧‧影像資料
124、124a、124b、124c、124d‧‧‧障礙物影像
14‧‧‧影像處理器
142、142a、142b、142c、142d‧‧‧影像處理單元
144‧‧‧調整尺寸單元
16‧‧‧顯示器

第1圖為本發明之方塊示意圖。 第2圖為本發明之步驟流程圖。 第3圖為本發明之平行化多重框選障礙物影像示意圖。 第4A圖至第4D圖為本發明偵測影像資料中障礙物的流程示意圖。

Claims (12)

1. 一種具平行架構之適應性物體分類方法，係包含儲存複數筆場景參數及複數筆分類器參數，該適應性物體分類方法包括下列步驟：擷取至少一影像資料；框選出該影像資料中的複數個障礙物影像，且根據每一該障礙物影像範圍選定適當之框選範圍；利用複數個影像處理單元分別利用一方向梯度演算法將每一該障礙物影像劃分為複數個小區塊，並統計每一該小區塊內的九個特徵向量，對應計算出該些障礙物影像的複數筆障礙物特徵資料，並根據該些障礙物特徵資料選取對應之該場景參數及對應之該些分類器參數並進行運算，以取得複數筆分類資料；以及比對該些分類資料是否大於一浮動閥值，該浮動閥值係對應一障礙物種類，若是，則判定該分類資料為該障礙物種類，並輸出所框選該障礙物影像之位置，若否，則非為該障礙物種類。
2. 如請求項1所述之具平行架構之適應性物體分類方法，其中於框選該些障礙物影像之步驟前，更包括從該影像資料中選定一有興趣區域，再自該有興趣區域中框選出該影像資料中的該些障礙物影像。
3. 如請求項2所述之具平行架構之適應性物體分類方法，其中於框選該些障礙物影像步驟之後，更包括調整每一該障礙物影像之該框選範圍大小。
4. 如請求項1所述之具平行架構之適應性物體分類方法，其中該方向梯度演算法更包括先計算每一該障礙物影像的邊緣值，再計算每一該小區塊中的每一像素的方向及邊緣參數值並加總，以取得該九個特徵向量。
5. 如請求項1所述之具平行架構之適應性物體分類方法，其中該些場景參數係包含過曝場景、夜間場景、向陽場景或黃昏場景；該些分類器參數係包括不同障礙物種類之複數筆方向梯度特徵參數。
6. 如請求項1所述之具平行架構之適應性物體分類方法，其中每一該分類資料係由每一該障礙物特徵資料乘上相對應之該分類器參數，並加總而取得。
7. 如請求項1所述之具平行架構之適應性物體分類方法，其中該浮動閥值係根據該障礙物種類及該些場景參數不同而對應之閥值。
8. 一種具平行架構之適應性物體分類裝置，係儲存複數筆場景參數及複數筆分類器參數，該適應性物體分類裝置包括：至少一影像擷取器，係擷取至少一影像資料，該影像擷取器從該影像資料中選定一有興趣區域，並自該有興趣區域中框選出該影像資料中的複數個障礙物影像，且根據每一該障礙物影像範圍選定適當之框選範圍；以及一影像處理器，電性連接該影像擷取器，該影像處理器包含複數個影像處理單元及複數個調整尺寸單元，該些尺寸調整單元分別電性連接該些影像處理單元，該些尺寸調整單元根據該影像擷取器擷取該影像資料的遠近，利用每一該調整尺寸單元對應調整每一該障礙物影像之該框選範圍大小，該些影像處理單元分別對應計算出該些障礙物影像的複數筆障礙物特徵資料，根據該些障礙物特徵資料選取對應之場景資料及對應之模擬障礙物參數並進行運算，以取得複數筆分類資料，再將該些分類資料與一浮動閥值比對，該浮動閥值係對應一障礙物種類，並輸出相對應該浮動閥值之所框選該障礙物影像之位置。
9. 如請求項8所述之具平行架構之適應性物體分類裝置，其中每一該影像處理單元係利用一方向梯度演算法將每一該障礙物影像劃分為複數個小區塊，並統計每一該小區塊內的九個特徵向量，獲得該障礙物影像之該障礙物特徵資料。
10. 如請求項8所述之具平行架構之適應性物體分類裝置，其中該些場景參數係包含過曝場景、夜間場景、向陽場景或黃昏場景；該些分類器參數係包括不同該障礙物種類之複數筆方向梯度特徵參數。
11. 如請求項8所述之具平行架構之適應性物體分類裝置，其中該浮動閥值係根據該障礙物種類及該些場景參數不同而對應之閥值。
12. 如請求項8所述之具平行架構之適應性物體分類裝置，其中該影像擷取器及該影像處理器係內建於一車輛的防撞系統中。