TWI493508B - Method and device for detecting object image with improved classification efficiency - Google Patents

Description

可提高分類效能的物體影像偵測方法與裝置

本發明係一種物體影像偵測方法，尤指一種可提高分類效能的物體影像偵測方法。

現今用於辨識各種影像格式的動態物體偵測與辨識法，只能先圈選該影像中之障礙物的某些部分，並將該部分分割後，利用圖形比對的方式與多數已知圖形比對，才能判斷該障礙物為何種物體，因此，其比對判斷能力的準確度會受到分割之完整性的影響，意即，當圈選區域太小時，各部分易產生不連續區塊而不易組成完整的障礙物輪廓，造成誤判情形大為增加與搜尋時間過長的問題。

前述動態物體偵測與影像辨識法，若是透過計算分割影像中各影像的特徵值，並建立一套邏輯機制以判斷影像中為何種物體時，其技術不易與現有嵌入式系統(Embedded system)結合，同時亦有處理耗時的問題。

當前述物體偵測與影像辨識法用於辨識車輛周遭的障礙物時(如倒車影像或前方碰撞警示)，因其影像處理耗時、誤判機率大且不易與現有車輛系統結合，故有不適用於車輛上的問題。再者，已知框選障礙物技術運用在 車輛上有毫米波雷達，毫米波雷達具有：測量距離遠、運作穩定性高、較不受外在天候影響、可測量車輛間的距離及相對速度等優點。但其缺點是價格昂貴，運用成本過高。

關於車輛框選障礙物的另一種策略是：不固定框框選。此一策略的優點在於不須利用其他輔助器具，但缺點是計算量龐大，處理時間長。

如前揭所述，現有動態物體偵測與影像辨識法因影像處理耗時、誤判機率大且不易與現有車輛系統結合，故有不適用於車輛上的問題；雖毫米波雷達運用在車輛障礙物的辨識具有測量距離遠、穩定性高且可測量相對車距與車速等優點，但因價格昂貴而不可行。為此本發明主要目的即提供一可提高分類效能的物體影像偵測方法與裝置，主要是由一嵌入式系統執行特定演算方法，以提高動態物體的完整圈選而提高辨識準確率，又該嵌入式系統具運算速度快與易於系統整合的優點，藉此解決前述問題。

為達成前述目的所採取的主要技術手段係令前述可提高分類效能的物體影像偵測方法，係由一嵌入式系統執行下列步驟：取得一影像資訊；確認障礙物的位置：係偵測該影像資訊以產生一個以 上之障礙物的圈選範圍，該圈選範圍係作為為障礙物之起始輪廓；辨識障礙物輪廓：針對該圈選範圍中之障礙物以一Poisson向量主動變形輪廓演算法與多重網格演算法使用可變動大小網格方式產生障礙物之正確輪廓；以及辨識障礙物類型：根據障礙物之正確輪廓圈選最大邊界以供一分類器辨識障礙物類型。

為達成前述目的所採取的主要技術手段係令前述可提高分類效能的物體影像偵測裝置，其係整合為一嵌入式系統並包含有：一影像輸入單元，其用以輸出一個以上的影像；一影像處理單元，其與影像輸入單元電連接，該影像處理單元內建有一影像處理程序，該影像處理程序係以一Poisson向量主動變形輪廓演算法與一多重網格演算法之可變動大小網格方式辨識前述影像中的障礙物；以及一輸出單元，其與影像處理單元電連接，該輸出單元用以在辨識出障礙物時輸出障礙物的警示訊號。

利用前述元件組成的可提高分類效能的物體影像偵測裝置，係由嵌入式系統執行影像偵測方法，以Poisson向量主動變形輪廓演算法將影像資訊轉換為流場分佈，並利用變分學圈選障礙物的輪廓，該多重網格演算法係透過非固定式之可變動大小網格快速找出數值解以提高 運算速度，藉此當該嵌入式系統設置於車輛上時，可針對不同車輛視野，設定其路面偵測範圍後，無需針對特定道路情境進行條件判斷，且無需額外使用其他感測器，即可由影像輸入單元或一攝影機對任意場景或任意視野進行影像擷取，再由該嵌入式系統進行動態物體辨識、偵測與警示，具有提高動態物體的完整圈選及提高辨識準確率的優點，解決現有動態物體偵測與影像辨識法之誤判機率大、耗時以及不易與現有車輛系統結合的問題。

10‧‧‧嵌入式系統

11‧‧‧影像輸入單元

12‧‧‧影像處理單元

121‧‧‧影像處理程序

13‧‧‧輸出單元

圖1是本發明較佳實施例的電路方塊圖。

圖2是本發明較佳實施例的流程圖。

圖3是障礙物原圖及起始輪廓的示意圖。

圖4是未採用Poisson向量流主動變形輪廓演算法所產生的障礙物輪廓示意圖。

圖5是採用Poisson向量流主動變形輪廓演算法所產生的障礙物輪廓示意圖(一)。

圖6是採用Poisson向量流主動變形輪廓演算法的障礙物輪廓示意圖(二)。

關於本發明的較佳實施例，請參閱圖1所示，係於車輛上設有一嵌入式系統10，該嵌入式系統10包含 有依序連接的一影像輸入單元11、一影像處理單元12與一輸出單元13，藉此，該嵌入式系統10可由影像輸入單元11取得外部影像，並經影像處理單元12辨識該影像中的障礙物輪廓及所屬類型，再由輸出單元13發出警示，而達到可辨識該車輛周圍障礙物的目的。

該影像輸入單元11係為一個以上的CCD攝影機或一個以上的CMOS攝影機，該影像輸入單元11可設置於車輛的前方、車輛的後方、車輛的左側或車輛的右側以拍攝車輛周圍之一個以上的影像，或是同時設置多數個攝影機以拍攝車輛週遭的環景影像，並輸出該影像至影像處理單元12。

該影像處理單元12係為一數位訊號處理器(DSP：Digital Signal Processor)、一現場可程式化閘陣列(FPGA：Field-Programmable Gate Array)或一微控制器(MCU)，該影像處理單元12內建有一影像處理程序121，該影像處理程序121係辨識影像輸入單元11之輸出影像中的障礙物。

該輸出單元13係為一LCD螢幕、一LED螢幕、一喇叭或一蜂鳴器，該輸出單元13係用以輸出該影像處理單元12辨識影像後產生的障礙物警示訊號。

請配合參閱圖2所示，該影像處理單元12內建的影像處理程序121係執行下列步驟： 取得輸入影像(101)：係取得影像輸入單元11拍攝的影像資訊。

確認障礙物的位置(102)：係偵測該影像資訊以產生一個以上之障礙物的圈選範圍，該圈選範圍係作為障礙物之起始輪廓。

辨識障礙物輪廓(103)：針對該圈選範圍中之障礙物以一Poisson向量主動變形輪廓演算法產生障礙物之正確輪廓，並以一多重網格演算法使用可變動大小網格方式提高運算速度，其中，該主動變形輪廓係一種給定起始輪廓便會主動變形的圈選障礙物方法。

最大邊界圈選(104)：依據圈選的正確輪廓形成該障礙物的最大邊界。

辨識障礙物類型(105)：根據障礙物之最大邊界供一分類器辨識該障礙物類型。

前述Poisson向量主動變形輪廓演算法的方程式係如下所示：

其中，該α為張力參數，該β為剛性參數，該E_ext 為外部力場。

當前述方程式收斂時相當於等價求取E之最小化問題，當要求取該泛涵方程式時，需透過變分法求取，變分過 後的結果為：

當外部力場(E_ext )遇到障礙物輪廓的曲率過大時便難以進入，請參閱圖3所示，其中，粗實線表示障礙物原圖，細實線表示圈選範圍的起始輪廓。請參閱圖4所示，當未採用Poisson向量流主動變形輪廓演算法時，該圈選範圍遇到障礙物曲率過大時，即難以進入該區域(如圖中內凹處)。

因此利用Poisson方程式的解來當作外部力場，亦即若令：

其中，該f_edge 是利用canny edge所得的二元影像。當計算完後，將-▽當作E_ext 帶入前述公式(1)，以Poisson向量流當作力場，當Poisson向量流遇到障礙物輪廓的曲率過大時，仍可依照該曲率進入該內凹處。請參閱圖5與6所示，係以Poisson向量流作為力場以對圖3的障礙物進行圈選，該圈選範圍的起始輪廓遇到障礙物曲率過大時，仍可依照該障礙物的曲率進入該內凹處。

該Poisson向量主動變形輪廓演算法利用Poisson方程式所得的解取代現有利用影像力或是褶積當作影像外部力場的方法，可有效增加分割效能，且適用於各種視野的影像系統。

欲求解上述公式(1)可透過有限差分法或多重網格演算法，其中多重網格演算法的計算速度較有限差分法快。所謂多重網格演算法係利用一可變動大小的網格求得數值解，由於固定網格演算法係以固定的網格數(如3×3、5×5、9×9、17×17或33×33)進行計算，如此需每次以一種固定網格計算，計算完畢後再以另一固定網格計算一次，使得整體計算速度緩慢，而本發明使用之多重網格演算法則是利用非固定尺寸網格或可變動大小的網格進行計算，取代現有有限差分或有限元素法等固定尺寸網格數值法求取數值解時之速度上的侷限，因此多重網格演算法會較現有固定網格演算法的處理速度快。

透過前述Poisson向量主動變形輪廓演算法與多重網格演算法完成最大邊界圈選後，即可由分類器辨識或確認該障礙物的類型。

由上述可知，本發明係利用嵌入式系統偵測影像中的障礙物，以Poisson向量主動變形輪廓演算法將影像資訊轉換為流場分佈，利用變分學圈選障礙物的輪廓，多重網格演算法快速找出數值解以提高運算速度，藉此當該嵌入式系統設置於車輛上時，可針對不同車輛視野，設定其路面偵測範圍後，無需針對特定道路情境進行條件判斷，且無需額外使用其他感測器，即可進行動態物體辨識、偵測與警示並提高分類器的辨識準確率，解決現有動態 物體偵測與影像辨識法之誤判機率大、耗時以及不易與現有車輛系統結合的問題。

10‧‧‧嵌入式系統

11‧‧‧影像輸入單元

12‧‧‧影像處理單元

121‧‧‧影像處理程序

13‧‧‧輸出單元

Claims (10)

1. 一種可提高分類效能的物體影像偵測方法，係由一嵌入式系統執行下列步驟：取得一影像資訊；確認障礙物的位置：係偵測該影像資訊以產生一個以上之障礙物的圈選範圍，該圈選範圍係作為為障礙物之起始輪廓；辨識障礙物輪廓：針對該圈選範圍中之障礙物以一Poisson向量主動變形輪廓演算法與多重網格演算法使用可變動大小網格方式產生障礙物之正確輪廓；以及辨識障礙物類型：根據障礙物之正確輪廓圈選最大邊界以供一分類器辨識障礙物類型。
2. 如請求項1所述之可提高分類效能的物體影像偵測方法，在辨識障礙物輪廓的步驟中，該Poisson向量主動變形輪廓演算法係給定起始輪廓而主動變形以圈選障礙物。
3. 如請求項2所述之可提高分類效能的物體影像偵測方法，在辨識障礙物輪廓的步驟中，該Poisson向量主動變形輪廓演算法將影像資訊轉換為流場分佈，並以變分學圈選障礙物的輪廓，再以多重網格演算法快速找出數值解。
4. 如請求項3所述之可提高分類效能的物體影像偵測方法，該多重網格演算法係以可變動大小網格方式辨識影像中的障礙物。
5. 如請求項1至4中任一項所述之可提高分類效能的 物體影像偵測方法，該Poisson向量主動變形輪廓演算法包括下式： 其中，該α為張力參數，該β為剛性參數，該 為外部力場。
6. 一種可提高分類效能的物體影像偵測裝置，其係整合為一嵌入式系統並包含有：一影像輸入單元，其用以輸出一個以上的影像；一影像處理單元，其與影像輸入單元電連接，該影像處理單元內建有一影像處理程序，該影像處理程序係以一Poisson向量主動變形輪廓演算法與一多重網格演算法之可變動大小網格方式辨識前述影像中的障礙物；以及一輸出單元，其與影像處理單元電連接，該輸出單元用以在辨識出障礙物時輸出障礙物的警示訊號。
7. 如請求項6所述之可提高分類效能的物體影像偵測裝置，該影像處理程序係執行下列步驟：取得一影像資訊；確認障礙物的位置：係偵測該影像資訊以產生一個以上之障礙物的圈選範圍，該圈選範圍係作為為障礙物之起始輪廓；辨識障礙物輪廓：針對該圈選範圍中之障礙物以該Poisson向量主動變形輪廓演算法與該多重網格演算法之可變動大小網格方式產生障礙物之正確輪廓；最大邊界圈選：依據圈選的正確輪廓形成該障礙物的 最大邊界；以及辨識障礙物類型：根據障礙物之最大邊界供一分類器辨識該障礙物類型。
8. 如請求項6所述之可提高分類效能的物體影像偵測裝置，該輸出單元為一LCD螢幕、一LED螢幕、一喇叭或一蜂鳴器。
9. 如請求項6所述之可提高分類效能的物體影像偵測裝置，該影像輸入單元為一個以上的CCD攝影機或一個以上的CMOS攝影機。
10. 如請求項6所述之可提高分類效能的物體影像偵測裝置，該影像處理單元為數位訊號處理器(DSP)、現場可程式化閘陣列(FPGA)或微控制器(MCU)。