TW201405486A - 利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法 - Google Patents

Abstract

一種利用電腦視覺進行即時偵測與追蹤物體之裝置，具有一影像擷取模組(110)、一影像前處理模組(120)、一影像金字塔產生模組(130)、一偵測模組(150)、一追蹤模組(160)與一運動模組(170)。其中，影像擷取模組(110)係自環境擷取一待判定影像。影像前處理模組(120)係用以去除待判定影像之不必要資訊，以產生一處理後影像。影像金字塔產生模組(130)係依據處理後影像產生一影像金字塔。偵測模組(150)係利用一物體特徵資訊，掃描影像金字塔之各影像層進行一分類判斷，以在待判定影像中定位一待偵測物體。追蹤模組(160)係依據偵測模組(150)提供之物體資訊，產生一追蹤資訊。運動模組(170)係依據此追蹤資訊追蹤或迴避待偵測物體。

Description

利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法

本發明係與一種即時偵測與追蹤物體之裝置及其方法有關，尤其是一種利用電腦視覺進行即時偵測與追蹤物體之裝置及其方法。

雖然行人偵測是電腦視覺中的一個關鍵問題，不過在目前所開發出來的電腦視覺監控系統，大多是採固定位置攝影機，且其之背景畫面往往維持不變。同時，此種監控系統雖能判斷是否出現行人或車輛，而未能跟隨待測物自動進行即時追蹤，因而無法應用於例如掃地機器人行動機器人，或是其他需要對於環境物體進行即時偵測與追蹤的行動裝置。

其次，雖然利用雷達波或紅外線等方式也可以達到偵測週遭環境的目的，不過，此種偵測方式需耗費相當時間來進行運算與建構環境，因此將不利於即時偵測追蹤之應用，而往往只能應用於靜態環境之建構。

另一方面，利用全球定位系統(GPS)搭配適當的演算法，雖可以評估預測例如車輛等等之物體的移動狀態，但是此方法必須搭配全球定位系統之使用，而無法應用於居家環境或是行人偵測。

有鑑於此，本發明之主要目的係為提供一種可利用電腦視覺以對一特定物體進行即時偵測與追蹤之裝置及其方法，以利於迴避或追蹤此物體。

本發明係要提供一種利用電腦視覺進行即時偵測與追蹤之裝置，以即時偵測與追蹤一物體。此裝置具有一影像擷取模組、一影像前處理模組、一影像金字塔產生模組、一偵測模組與一追蹤模組。其中，影像擷取模組會自環境擷取一待判定影像。影像前處理模組係用以去除待判定影像之不必要資訊，以產生一處理後影像。影像金字塔產生模組係依據處理後影像產生一影像金字塔。偵測模組係利用一物體特徵資訊，掃描影像金字塔之各影像層進行一分類判斷，以產生一即時物體資訊。追蹤模組係依據此即時物體資訊，產生一追蹤資訊。

依據前揭裝置，本發明提供一種利用電腦視覺進行即時偵測與追蹤之系統，其係用以即時偵測與追蹤一物體。此系統具有一影像擷取模組、一影像前處理模組、一影像金字塔產生模組、一訓練模組、一偵測模組與一追蹤模組。其中，影像擷取模組係用於自環境擷取一待判定影像。影像前處理模組則係用以去除待判定影像之不必要資訊，進而產生一處理後影像。影像金字塔產生模組係依據處理後影像來產生一影像金字塔。訓練模組會依據多個訓練樣本來產生一物體特徵資訊。偵測模組將會利用此一物體特徵資訊，來掃描影像金字塔之各影像層並進行一分類判斷，以產生一即時物體資訊。追蹤模組即係依據此即時物體資訊，產生一追蹤資訊。

本發明並提供一種利用電腦視覺來進行即時偵測與追蹤之方法，其係用以即時偵測與追蹤一物體。此方法包括下列步驟：(a)擷取一待判定影像；(b)去除待判定影像之不必要資訊，以產生一處理後影像；(c)依據處理後之影像，來產生一影像金字塔；(d)利用一物體特徵資訊，來掃描影像金字塔之各影像層並進行一分類判斷，以產生一即時物體資訊；以及(e)若是待判定影像中存在有該物體，則依據此即時物體資訊，來產生一追蹤資訊。

本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。

本技術可應用在較矮的自動化行動機器人，例如：撿球機器人、寵物機器人、掃地機器人…等等。其等之詳細說明如下：當撿球機器人在進行撿球時，可以同時偵測運動員所在的區域，就可以避開此區域，讓運動員與機器人同時動作；而就寵物機器人而言，其可以偵測到人類的位置，並且進行追蹤人類，並與人類進行互動；另外，掃地機器人在進行掃地的同時，也可以與撿球機器人相似的偵測到行人的存在，進而選擇避開。因此，本發明之技術可以允許自動化行動機器人，對於環境物體進行即時偵測與追蹤，並進而採取對應的動作(例如閃避或追蹤)。

第一圖係為本發明利用電腦視覺，進行即時偵測與追蹤物體之系統的一較佳實施例之方塊示意圖。如圖一中所示，此系統具有一影像擷取模組110、一影像前處理模組120、一影像金字塔產生模組130、一訓練模組140、一偵測模組150、一追蹤模組160與一運動模組170。

影像擷取模組110係用於自環境擷取連續的待判定影像，以供判斷是否存在待偵測物體。舉例來說，此影像擷取模組可以是一攝影機，以提供連續影像。本實施例不需使用高解析度之攝影機，一般常見之解析度為320X240的攝影機即可適用於本實施例。又，本實施例只需使用單一支攝影機擷取的二維影像，而不需使用多支攝影機來建立三維的影像資訊。

就影像擷取模組110所擷取之一個待判定影像而言，影像 前處理模組120係用來去除待判定影像內之不必要資訊，以產生一處理後影像。就一較佳實施例而言，影像前處理模組120係係對待判定影像進行一影像灰階化操作與一Haar小波轉換操作。影像灰階化操作係去除影像之色彩資訊，而小波轉換操作則係係降低影像的解析度。第二A與二B圖係顯示影像前處理模組對灰階化影像進行小波轉換之示意圖，第二A圖係為轉換前的影像，第二B圖是轉換後的影像。此兩種影像處理之操作的目的在於縮小影像整體資訊量，而前述影像前處理操作需兼顧物體特性。舉例來說，若是物體弱係以特定色彩為其特徵，則宜保留其之色彩資訊，而不宜進行灰階化操作；若是物體具有相當的尺寸且可透過其輪廓來加以認定，即可進行適度的小波轉換操作。亦即，進行影像前處理操作時，須在影像中保留充分資訊供判斷物體之用。以行人的腿部為例，由於影像中行人腿部的顏色取決於穿著搭配的褲子與鞋子而有不同的呈現，並不存在特定的色彩，而著重於行人腿部的外觀輪廓。因此，對於待判定影像進行影像進行灰階化操作以及適度的小波轉換操作，並不會對偵測結果有不利的影響，反而可以減少所需處理的資訊量，並提升處理速度與準確度，而達到即時偵測的目的。此外，本實施例係透過對於待偵測對象(行人)之特徵部分(腿部)進行偵測，以判斷其所在位置，此特徵亦有助於大幅節省定位待偵測對像所需耗費的運算時間。

影像金字塔產生模組130係依據處理後影像來產生一影像金字塔。如第三圖所示，影像金字塔係依據處理後影像，而連續建立多個解析度漸減的影像層。在本實施例中，影像金字塔產生模組130係將影像前處理模組120所產生之解析度為80X60的影像，分解為四個解析度漸減的影像層。前揭處理後影像的解析度與影像金字塔之影像層的數量，可視待偵測物體的特徵複雜度、系統運算能力、即時性偵測等等需求而進行調整。

偵測模組150係依據一物體特徵資訊，來掃描影像金字塔之各影像層並進行分類判斷，以產生一即時物體資訊。舉例來說，此一即時物體資訊可包含待判定影像中之一定位資訊與一物體影像模型。進一步來說，如第四圖所示，偵測模組150係以一預設視窗尺寸，例如解析度為26X20的偵測視窗，來對於影像金字塔之各個影像層進行掃描。雖然偵測視窗之大小固定，而物體在待判定影像中的尺寸大小不盡相同，不過，透過影像金字塔的建立，可以將待判定影像的物體調整至符合偵測視窗的大小，因而有助於對待判定影像中不同尺寸之物體進行偵測。又，就一較佳實施例而言，處理後影像的解析度需大於偵測視窗之解析度。

其次，本實施例之影像金字塔模組130可視需求，而對於影像金字塔之各個影像層進行影像強化處理，例如：可以高斯濾波來去除其之雜訊，並且使用長條圖等化來增加其對比度，以利於偵測模組150進行分類判斷。不過，本發明並不侷限於此，本發明亦可在偵測模組150由影像金字塔擷取出預設視窗大小之影像後，再針對這些擷取出來的影像進行影像強化處理。

物體特徵資訊係用以供偵測模組150判定影像金字塔之各個影像層中，是否存在待偵測物體。舉例來說，如第四圖所示，此一物體特徵資訊係包含由訓練模組140所訓練之類神經網路的參數，如類神經網路中之隱藏層的神經元數量與權重值等等，以供偵測模組150進行分類判斷。進一步來說，偵測視窗所擷取的影像係被輸入至一類神經網路以進行分類判斷，輸出值1與0分別表示此擷取影像係為物體影像或非為物體影像。若是此類神經網路之輸出值較接近1，代表偵測視窗的影像較可能是物體影像，若輸出值較接近0，則較可能不是物體 影像。

訓練模組140係依據多個物體訓練樣本與非物體訓練樣本，來產生前述物體特徵資訊。就一實施例而言，這些訓練樣本可以是由前述影像擷取模組110來進行擷取，再透過影像前處理模組120與影像金字塔產生模組130，來進行正規化調整後輸入至訓練模組140。不過，本發明並不侷限於此，這些訓練樣本可以是透過其他方式取得。

就一實施例而言，如第五圖所示，本實施例之訓練模組140係使用倒傳遞類神經網路，來進行物體分類的訓練。在此分類訓練程序中，首先會將所收集的大量物體訓練樣本與非物體訓練樣本，進行正規化以調整成一預設解析度大小，如前揭之偵測視窗的大小；然後再將這些訓練樣本交由一類神經網路供進行分類訓練，並設定網路輸出值1為物體、0為非物體。在進行分類訓練時，如第五圖所示，使用者係將一目標影像(即前揭訓練樣本)輸入此類神經網路，再依據網路輸出值與目標輸出值的差距，來調整此類神經網路之隱藏層的神經元數量以及其權重值，以達到最小的誤差函數。就一實施例而言，此類神經網路之相關參數，如隱藏層的神經元數量、權重值等，即可作為偵測模組150進行分類判斷所需之物體特徵資訊。

追蹤模組160係於偵測模組150確定偵測到物體後，再依據待判定影像內之物體的定位資訊與偵測模組150所建立的物體影像模型，產生一追蹤資訊。就一較佳實施例而言，此追蹤模組160可包括一粒子濾除器(Particle filter)，以動態地追蹤物體位置。進一步來說，追蹤模組160可利用定位資訊，以在後續的待判定影像中，找出可能出現之待偵測物體的區域(即定位位置的周圍)，然後再利用物體影像模型進行相似性比對，來找出其中最為相似者，以確認物體的移動方向。

在物體追蹤過程中，可利用物體之運動、邊緣及顏色等資訊作為相似性比對的特徵。又，就一較佳實施例而言，可直接使用影像擷取模組110所擷取之影像，而非經過影像前處理後的影像，以獲取額外資訊來加速追蹤進行，並降低背景影像對於追蹤過程所可能產生的誤判。又，就一較佳實施例而言，追蹤模組可使用Bhattacharyya Coefficient相似度度量方法，來進行目標物(即待偵測物體)和候選物(即下一個待判定影像中該待偵測物體的週遭影像)之間的相似度比較。

追蹤模組160在運算後所產生之追蹤資訊，可單純用來追蹤物體的移動方位，以避免裝置(例如一行動機器人)與物體相撞，亦可在物體朝向裝置前進而可能發生碰撞時產生警示。當然，前述應用僅為例示，而非用於侷限定本發明之應用範圍。

運動模組170係依據追蹤模組160所產生之追蹤資訊，而視需求來追蹤物體或迴避物體。舉例來說，就掃地機器人的應用而言，運動模組170需要迴避物體(即行人的腿部)以避免碰撞；就部分娛樂用之行動機器人而言，運動模組170則需追蹤物體(例如：球)。另外，影像擷取模組110亦需設置於運動模組170上，隨同運動模組170進行運動，以即時擷取周圍環境影像。就一實施例而言，前揭系統中的各個模組可視需要裝設於運動模組170上，整體構成一例如行動機器人之可運動之即時偵測與追蹤裝置，以簡化各模組間以有線或無線方式進行資訊傳遞的困難度。

本實施例之訓練模組140與偵測模組150可一併設置於運動模組170上。又，就一較佳實施例而言，訓練模組140與偵測模組150可使用同一個類神經網路，其等之差異僅在於前者可依據類神經網路之輸出值對類神經網路之參數進行調整，後 者則是單純依據類神經網路之輸出值進行分類判斷。不過，本發明並不侷限於此。訓練模組140亦可與偵測模組150分開設置。訓練模組140所產生之物體特徵資訊係提供給偵測模組150使用，所提供給偵測模組150之物體特徵資訊可維持固定不變，或是也可以動態地由偵測模組150予以進一步優化。

第六圖係為第一圖之系統進行即時偵測與追蹤之方法的一較佳實施例之流程圖。如圖中所示，首先，如步驟S510所示，自周圍環境擷取待處理之影像。隨後，如步驟S511與S512所示，對此待處理影像依序進行影像灰階化與Harr小波轉換，以產生一處理後影像。然後，如步驟S514所示，依據此一處理後影像來產生多個解析度遞減的影像層(即影像金字塔)。接下來，如步驟S516與S518所示，以高斯濾波去除影像層的雜訊，並以長條圖等化來強化其之影像對比度，以利於後續分類判斷。然後，如步驟S520所示，對於處理後之影像金字塔的各個影像層進行掃描，並利用一物體特徵資訊對掃描到的影像進行分類判斷(即判斷是否為物體影像)。如第四圖所示，就一較佳實施例而言，此一物體特徵資訊係來自於一經訓練後之類神經網路(尤其是其中之隱藏層的神經元與權重值)。依據類神經網路的輸出值係較接近0或者1，即可判斷掃描到的影像是否為物體影像。

如第六圖所示，如步驟S530所示，在倒傳遞類神經網路的訓練程序中，先將物體訓練樣本與非物體訓練樣本調整成預設解析度大小。然後，如步驟S532所示，將這些樣本係依序提供至一類神經網路以進行倒傳遞類神經網路訓練，並逐步調整類神經網路之參數，縮減網路輸出值與目標輸出值的差異，以提升物體影像判斷的準確度。完成此一訓練步驟後，此類神經網路之相關參數即可作為進行分類判斷所需之物體特徵資訊並供步驟S520使用。

如步驟S521與S522所示，分類判斷之結果若是存在物體影像，便隨即產生一定位資訊，並建立一物體影像模型，以供後續的物體追蹤之用。反之，如步驟S524所示，若未偵測到物體影像，此偵測流程隨即終止。

如步驟S540所示，在確認偵測到物體影像後，隨即確認是否對物體進行追蹤。若需對物體進行追蹤，則如步驟S542所示，本實施例係採用粒子濾除器之技術，依據步驟S522所取得的定位資訊與物體影像模型(目標物)，而在後續之待判定影像中擷取適當的視窗影像(候選物)中，進行相似度比較以產生追蹤資訊，以達到動態追蹤物體的目的。又，就一較佳實施例而言，追蹤模組可使用Bhattacharyya Coefficient相似度度量方法，來進行目標物和候選物間的相似度比較。若不需對物體進行追蹤，此流程即告終止。

在前揭第六圖之實施例係針對偵測到單一物體的情形來說明。第七圖則顯示偵測到多個物體後所採行的追蹤方法。如第七圖所示，承接第六圖之步驟S540，如步驟S544所示，在確定需要對物體進行追蹤後，先判斷待判定影像中是否存在多個物體。若僅存在單一個物體，則如步驟S542所示，即可利用如粒子濾除器等方式，將步驟S522所建立的目標物與候選物間之相似度比較，以產生追蹤資訊。若是待判定影像中偵測到多個物體，如步驟S546所示，需先判斷各個物體間是否存在遮蔽的情形。若否，如步驟S542所示，則採取如同單一物體的處理方式，對於各個物體分別進行追蹤，即可利用如粒子濾除器等方式將步驟S522所建立的各個目標物與下個待判定影像中的各個候選物之相似度比較，以產生各個被追蹤物體的追蹤資訊。若是發生遮蔽的情形，則是如步驟S548所示，進行遮蔽處理，並加入一移動方向特徵，再進行追蹤，即可利用 如粒子濾除器等方式將步驟S522所建立的一目標物特徵加上S548所建立的移動方向特徵來與下個待判定影像中的各個候選物之相似度比較，以產生各個物體的追蹤資訊。最後承接回S540以判斷是否繼續追蹤。

本發明之實施例所提供之技術可快速偵測到物體，尤其是例如行人的腿部之具有特定外形輪廓的物體，並且進行追蹤。以行人腿部的偵測為例，透過行人腿部的偵測，即可判定行人的位置，而不需對於行人整體較複雜的外形進行偵測。此外，由於目前市面存在的行動機器人的高度通常低於一般人的高度，其所取得之影像內容也會受限於行動機器人的高度。因此，本發明尤其適用於此類行之行動機器人，諸如掃地機器人或其他需要對於環境物體進行即時偵測與追蹤的行動裝置中。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。

110‧‧‧影像擷取模組

120‧‧‧影像前處理模組

130‧‧‧影像金字塔產生模組

140‧‧‧訓練模組

150‧‧‧偵測模組

160‧‧‧追蹤模組

170‧‧‧運動模組

第一圖係本發明利用電腦視覺進行即時偵測與追蹤物體之系統一較佳實施例之方塊示意圖。

第二A與二B圖顯示第一圖之系統對待判定影像進行小波轉換之示意圖。

第三圖顯示第一圖之系統依據處理後影像產生影像金字塔之一較佳實施例。

第四圖顯示第一圖之系統對於影像金字塔之各個影像層進行 掃描分類之一較佳實施例。

第五圖係第一圖之系統進行分類訓練以產生物體特徵資訊之一較佳實施例。

第六圖係以第一圖之系統進行即時偵測與追蹤物體之一較佳實施例的流程圖。

第七圖係以第一圖之系統在偵測到多個物體時，進行即時追蹤之一較佳實施例的流程圖。

110‧‧‧影像擷取模組

120‧‧‧影像前處理模組

130‧‧‧影像金字塔產生模組

140‧‧‧訓練模組

150‧‧‧偵測模組

160‧‧‧追蹤模組

170‧‧‧運動模組

Claims (10)

1. 一種利用電腦視覺進行即時偵測與追蹤物體之裝置，該裝置包括：一影像擷取模組，其係用於擷取一待判定影像；一影像前處理模組，其係用以去除該待判定影像之不必要資訊，以產生一處理後影像；一影像金字塔(Image Pyramids)產生模組，其會依據該處理後影像，來產生一影像金字塔；一偵測模組，其係利用一物體特徵資訊，掃描該影像金字塔之各影像層並進行一分類判斷，以產生一即時物體資訊；以及一追蹤模組，其係依據該即時物體資訊，來產生一追蹤資訊。
2. 如申請專利範圍第1項之利用電腦視覺進行即時偵測與追蹤物體之裝置，其進一步包含一訓練模組，該訓練模組適用於依據多個訓練樣本，而由一倒傳遞類神經網路(BPN)，來產生一物體特徵資訊。
3. 如申請專利範圍第1項之利用電腦視覺進行即時偵測與追蹤物體之裝置，其更包括一用於依據該追蹤資訊，而追蹤或迴避該物體的運動模組。
4. 如申請專利範圍第1項之利用電腦視覺進行即時偵測與追蹤物體之裝置，其中該追蹤模組包括一粒子濾除器，其係依據該即時物體資訊而在後續之至少一待判定影像中，進行相似度比較以產生該追蹤資訊，並且該即時物體資訊包含有一定位資訊與一物體影像模型。
5. 如申請專利範圍第1項之利用電腦視覺進行即時偵測與追蹤物體之裝置，其中該偵測模組係以一預設視窗尺寸，來掃描該影像金字塔之各影像層以進行該分類判斷，進而在該待判定影 像中定位該物體。
6. 一種利用電腦視覺進行即時偵測與追蹤物體之方法，用以即時偵測與追蹤一物體，該方法包括：擷取一待判定影像；去除該待判定影像中之不必要資訊，以產生一處理後影像；依據該處理後影像，來產生一影像金字塔；利用一物體特徵資訊，來掃描該影像金字塔之各影像層並進行一分類判斷，以產生一即時物體資訊；以及若是該待判定影像中存在該物體，即依據該即時物體資訊，來產生一追蹤資訊。
7. 如申請專利範圍第6項之利用電腦視覺進行即時偵測與追蹤物體之方法，其中該物體特徵資訊係利用一倒傳遞類神經網路(BPN)與多個訓練樣本所產生。
8. 如申請專利範圍第6項之利用電腦視覺進行即時偵測與追蹤物體之方法，其進一步包括依據該追蹤資訊來控制一運動模組，以追蹤或迴避該物體的步驟。
9. 如申請專利範圍第6項之利用電腦視覺進行即時偵測與追蹤物體之方法，其中產生該追蹤資訊之步驟係依據該即時物體資訊，而在後續之至少一待判定影像中進行相似度比較，並且，該即時物體資訊係包含有一定位資訊與一物體影像模型。
10. 如申請專利範圍第6項之利用電腦視覺進行即時偵測與追蹤物體之方法，其中掃描該影像金字塔之各影像層並進行該分類判斷之步驟，係以一預設視窗尺寸來掃描該影像金字塔之各影像層。