TWI503790B - 多重目標影像辨識與追蹤方法 - Google Patents

Description

多重目標影像辨識與追蹤方法

本發明是一種在影像中找出標的的方法，尤其是關於一種可以標示並即時追蹤影像中之標的的方法。

一般的錄影機,目前在追蹤多個目標的監視領域上，大多數可靠的技術是使用了其他的輔助硬體，像紅外線發射和感測器、立體影像感測器、多個影像感測器來獲得的其他資訊(例如,景深資訊)去把物體從背景分割出來。雖然也有很多研究是在單一影像資料上,但是他們大多數都不能在複雜的背景中準確地把物體從背景分割出來，也無法追蹤重疊時的物體，且現有的技術通常使用複雜的演算法，讓硬體之負擔相當大，無實用性。

為了解決現有技術難以利用分析單一影像而標定影像中之物件標的且不具備即時追蹤能力之技術問題，本發明提出一種新的方法在影像中相對精確且有效率找出物件標的，並標定物件標的，而可即時追蹤標的，不僅解決現有技術的諸多問題，更達到有效率的演算與精確標定的技術效果。

本發明提出一種多重目標影像辨識與追蹤方法，其步驟包含：

多重目標影像辨識步驟：

選取一基礎背景：選擇輸入之一數位影像未包含待辨識標的之該基礎背景；

差異計算：將該數位影像之每一禎畫面與該基礎背景以一相減演算法運算後產生一差異禎畫面；

二值化：將差異禎畫面之每個像素予以一二值演算處理，產生一二值禎畫面；

消除孤立像素：將該二值禎畫面中，設定孤立或相鄰同時具有高準位像素之數量低於一預設數量之像素為低準位；

降低解析度：取複數個像素形成一顯示塊，於選定的複數個像素中有超過一比例之像素為高準位，則設定所有像素為高準位而形成具有高準位之該顯示塊；

填洞演算：如判斷之該顯示塊為低準位，且鄰近之8個顯示塊有4個顯示塊為高準位者，將判斷中之該顯示塊改為高準位；

標籤：將二值禎畫面之每個相連的高準位顯示塊判斷為一標的，並設定每個標的一標籤。

追蹤標的步驟：

依據所辨識的標的，估計每個標的的一標的資訊、標的重心及一預測移動向量，並判斷該預測移動向量之終點是否在每一二值禎畫面對應特定的該標的；

依據比較預測移動向量之一預測重心與判斷中之該二值禎畫面之該標的之範圍是否對應，其中：

無預測重心與判斷中之標的範圍對應時，預測失敗而進行一擴充檢索演算，尋找鄰近的該預測重心；及

複數個預測重心於判斷中之標的範圍內，則依據判斷預測重心與判斷中之各標的之重心之間的距離或距離與顏色特徵之接近度，重新判定前一個二值禎畫面與判斷中二值禎畫面之關連性。

其中，該追蹤標的步驟進一步包含鎖定標的範圍，係將每個二值禎畫面中的標的涵蓋範圍標示鎖定，其中：

對無重疊之標的鎖定並標示其涵蓋範圍以一方框標示；及

對有重疊之標的之方框範圍係利用標的之前一二值禎畫面標的之範圍角落座標加上前一預測向量。

其中，發生預測錯誤時，則「判斷前一二值禎畫面(n-1frame)所產生的錯誤預測標的」與「判斷中之第n二值禎畫面(n frame)之中不包含預測重心的標的」之間的距離，找出最小與次小的最短距離，若次小距離大於等於最小距離的1.5倍，則決定具有最小距離的標的為相同標的，設定相同的標籤；若次小距離小於最小距離的1.5倍，則擁有次小距離與最小距離的標的均為一潛在候選標的，並執行一顏色比較判斷。

其中，該顏色比較判斷係如果次小距離小於最小距離的1.5倍，代表最小與次小距離標的均為潛在候選標的，則執行顏色比較判斷，係使用一總和絕對差異（SAD, Sum Absolute Difference）演算，係比較每種顏色之差異與所有顏色總和的差異，在前一、判斷中之二值禎畫面之標的找出具有顏色差異最小者，設定相同的標籤。

其中，顏色差異比較係比較各標的之色相特徵。

1. 經過本實施例所提出的演算步驟，可以有效、快速地找出連續畫面中的待判定標的，並與以標籤；如此，可非常便利於追蹤辨識的標的，解決現有技術難以在單一影像中持續判斷標的物件的技術問題。

2. 本實施例可以在找出標的之後，精確持續追蹤禎畫面中的標的動向，並持續追蹤標的的移動。

本發明影像之多重目標追蹤方法，係連續取得一影像後，包含一多重目標辨識演算與一多重目標追蹤演算，其中，請參考圖1，該多重目標辨識演算之步驟包含：

step1 選取基礎背景：

選擇輸入之一數位影像之該基礎背景時，較佳選擇未包含待辨識標的之該基礎背景。

step2 取樣：

以一取樣率間隔選出由該數位影像中選出複數禎畫面（frames）， 本實施例係由每秒包含30禎畫面之該數位影像以15frames/sec的取樣率，選出待運算之禎畫面。

step3 差異計算difference：

將選出之禎畫面與基礎背景以一相減演算法subtract algorithm，取得一差異禎畫面。傳統的禎畫面以Y值相減為主，其係利用YUV色標系統之禎畫面相減，取得兩兩禎畫面之間的差異，只是YUV色標系統的Y值相減演算常會因為像素之間顏色不同但具有相同Y值而造成誤判之差異，且因為需要相對較大的計算量（需先執行色度座標之轉換）而影響處理演算速度。較佳地，本實施例使用所選出的禎畫面與基礎背景使用三原色相減演算(RGB difference)，其使用計算方法係將每禎畫面與基礎背景之每個像素相減，並將相減後的RBG數值予以平均，如下公式：

其中，

Rc,Gc, Bc為計算中每個像素RGB數值，Rb,Gb, Bb則為基礎背景每個像素的RGB數值，D 為每個像素經過演算之後的RBG差異平均值。

基於前述演算方法，可以大幅降低演算，而相減演算後的前後可如圖2、3所示。

step4 二值化：

二值化係讓每個相減後產生的該差異禎畫面之每個像素施以二值演算處理，如下列公式，如此可大幅降低每個像素所需的記憶體，例如該差異禎畫面於二值化之前需求24位元之記憶體降低為2位元，如此不僅可以降低記憶體使用量，更可降低計算量。

經過二值化演算後的差異禎畫面形成一二值禎畫面，該二值禎畫面可如圖4所示。

其中，前述二值演算需決定一臨界值(threshold)進行演算，該臨界值決定二值演算後所產生之二值禎畫面中的雜訊量，本實施例選擇10為該臨界值之數值，可獲得相對較為清楚的該二值禎畫面。

進一步地，為了避免使用相同該基礎影像持續追蹤處理影像中之各標的，因為環境亮度改變而與持續與具有不同環境亮度之該基礎影像執行相減、二值化等演算步驟，導致可能衍生的錯誤狀況，本實施例使用一基礎影像檢查與更新演算，其係持續對所篩選出的禎畫面進行檢查與判斷，而更新選出與處理中之該禎畫面具有近似亮度的該基礎背景予以更新，藉此減少誤判，其中，該基礎影像檢查與更新演算之判斷條件包含：

1. 所判斷之禎畫面之前一個禎畫面所包含之標的等於零（無辨識標的）

2. 判斷差異禎畫面之複數個檢查區之RBG差異平均值（RBG difference）是否均大於零。

當前述兩個條件均滿足時，則將演算中之前一禎畫面替代為新的基礎影像，作為後續的比較演算處理之基礎。其中，本實施例選擇左上、右上、左下、右下、中間之像素或區塊作為前述檢查區域，如圖5所示。

step5消除孤立像素(isolated pixels elimination)：為了去除小的雜訊，可以消除該二值禎畫面之孤立像素，經過消除孤立像素演算處理後的禎畫面處理前、後之比較如圖6所示。

其中，消除孤立像素之演算係對每個二值禎畫面之每個像素比較鄰近八個像素為高準位（255，二值化演算後每個像素之數值為255或0）之數量是否大於一預設數值，本實施例於每個具有高準位像素具有4個以上鄰近像素均具有高準位時，判斷處理之像素為非雜點而持續為高準位255，反之則判斷該像素為雜點而使其數值為0，如圖7。

本實施例所選的判斷方法與傳統的侵蝕演算（Erosion）更具有精確性，因為傳統的侵蝕演算經常造成更多的問題，例如將標的物件較細的部份予以刪除，或造成物件標的分裂，不利於後續之物件標的之標示，如圖8。

step6降低解析度block-based down-resolution：

為了更進一步提供後續影像處理的速度，讓處理速度更快且更有效率，以及進一步減少後續計算處理所需的計算或硬體資源，加快處理速度，以及去除非本實施例前些雜訊去除步驟無法消除的問題，本實施例可進一步加入降低解析度演算，其係將複數個相鄰之該像素形成一顯示塊（block），使二值禎畫面之解析度大幅降低，如圖9、10所示。所選的像素數量對解析度降低幅度與最後產生的圖像有直接的影響，請參考圖11，選擇(a)2x2 像素 (b)4x4像素(c)5x5 像素形成一新的顯示塊後，最後形成的標的可辨識度或完整性有相當大的差異，本實施例選擇4x4個像素，作為新的該顯示塊。其中，該降低解析度的判斷演算方法如下：判斷選定的像素區域中包含30％以上的像素具有高準位（255）數值時，則將整個選定的像素區域之各項素均變更為高準位後形成一個具有高準位區塊。

該降低解析度影像為可選擇，如不考慮影體處理速度，或硬體處理速度足以處理解析度相對較高的影像，則可省略此一演算步驟，或可取相對較少的像素作為一顯示塊。

step7填洞演算：

為待辨識標的之部分顏色與背景近似，使經過前些演算步驟後讓標的之局部產生斷裂情形。為了解決斷裂情形，本實施例進一步使用本填洞演算，係基於判斷：

（1）如判斷中之該顯示塊為低準位（B=0）

（2）當鄰近之8個顯示塊有4個以上顯示塊為高準位者，則將判斷中之該顯示塊之數值均改為高準位255。本實施例之填洞演算後，使二值禎畫面中之標的更趨於完整，如圖12所示。

本實施例所使用的填洞演算與現有常見的膨脹演算（Dilation）可產生相當大的差距，傳統的的填洞演算法經常造成雜點放大、辨識標的之間的錯誤連結，甚至造成辨識標的外型變更而產生不可辨識性，如圖13所示。

step8孤立顯示塊消除演算:

為了進一步刪除每個二值禎畫面中與待辨識標的之外的分離物件，可進一步以孤立顯示塊消除演算讓無關的分離物件予以削去，其係判斷顯示塊為高準位時，於鄰近8個顯示塊為高準位者大於3個以上，設定8個鄰近區塊均為高準位；此一步驟可有效消除面積範圍較大的雜訊或斷裂的部分，演算後之結果如圖14所示。

step9標籤：

經過前述演算處理步驟後，將二值禎畫面之每個相連的高準位顯示塊判斷為一標的，並設定每個標的一標籤，給定標籤後，可如圖15所示。給定每個具有高準位且連續顯示塊之特有的標籤時，可以利用逐一掃描每個二值禎畫面之顯示塊，如圖16所示，其給定標籤之演算方式如下：

（1）如果判斷之顯示塊之前4個鄰近之顯示塊（如圖15）為低準位（0），則設定判斷具有高準位之顯示塊之標籤為前一個標籤數值＋1；

（2）如果只有其中一個鄰近的顯示塊(n)為高準位，則給定判斷之顯示塊之標籤為鄰近之顯示塊(n)；

（3）如果鄰近前4個區塊有複數個高準位之顯示塊，則給定判斷之顯示塊為高準位；

（4）記錄相鄰但具有不同標籤號之顯示塊之標籤號為一等效標籤（equivalent labels）；

（5）將相鄰顯示塊之所有等效標籤以數值最低的等效標籤取代，使相鄰的顯示塊，具有相同的標籤，如圖17所示。

step10雜訊消除：

當完成標籤設定後，即可得知每個設定標籤的標的物件之涵蓋範圍，如此，可依據標的之涵蓋範圍尺寸（一預設之臨界範圍）予以進一步刪除相對較小的區塊，去除雜訊。例如，將少於23個顯示塊的標的視為雜訊而予以刪除（標示顯示塊為低準位）；以及，將大於1000個顯示塊的區域刪除（設為低準位），如圖18。

step11 計算一標的資訊：

請參考圖19，為了辨識後的持續追蹤標的，統計每個辨識後標的的下列資訊：

（1）標的物件數目(Count)：連續數目的標的物件，數值代表在畫面中的標的物件數目。

（2）每個顯示塊的標籤(ID)

（3）標的範圍(AREA)：計算標的之顯示塊數量。

step12 計算標的重心座標(Gravity center coordinate):

請參考圖20，計算每個標的物件之重心（Xc,Yc），係依據下列公式：

其中，Xj、Yj為標的物件之每個顯示塊座標；Wj為每個顯示塊的權重(power weight of each block)，本實施例設定該權重均為1。

計算每個辨識之標的之重心後，可標示如圖21所示。

step13轉換標的之色座標系統並計算每個標的的標的色座標：

可將畫面的每個像素由RGB色座標系統轉換為HSV座標系統，轉換的目的係為了加快演算速度以及降低背景的亮度改變所可能造成的誤判，因為相對而言色相（H）對於亮度相對不敏感。座標系統轉換後，記錄每個辨識後的標的之一標的色相座標數據，如圖22所示。

請參考圖23、24，完成標的辨識之後，則進行影像中之標的物件之追蹤，其步驟可包含：

step101 重心移動預測演算(Gravity-Motion Prediction with Multiple Frames):

為了避免因為前述降低解析度等步驟所可產生在每禎畫面之切換所造成的錯誤判斷問題，本實施例提出之重心移動預測演算，係依據複數個先前禎畫面之一移動向量計算產生目前禎畫面（計算中之禎畫面）之一預測移動向量（predict_MV），該預測移動向量之公式可為：

predict_MV＝(W1xMV1+W2xMV2+W3xMV3)/6，其中，該移動向量Motion vector (MV) = 目前標的重心（current gravity center）–前一禎畫面重心（previous gravity center）；如圖25所示，本實施例計算預測移動向量使用前三個禎畫面之移動向量MV1~3進行預測移動向量之估算，其中MV1~3分別代表辨識標的在各禎畫面之重心座標與下一個禎畫面之重心座標之相減，如下列：

MV1 = Gravity center in n frame – Gravity center in (n-1) frame

MV2 = Gravity center in (n-1) frame – Gravity center in (n-2) frame

MV3 = Gravity center in (n-2) frame – Gravity center in (n-3) frame\

為了確認計算之該預測移動向量所屬的標的物件，如圖26所示，本實施例提出標籤陣列（label Matrix）方法，係將每個辨識之標的標示物件對應的顯示塊標示其標籤，形成以標籤號標示的標籤陣列，並比較該預測移動向量於判斷中的禎畫面之顯示塊標籤是否為0，當判斷結果為0，代表預測失敗。

step102擴充檢索演算(Expanded Search):

為了提昇前一步驟之預測成功率，可進一步加入擴充檢索演算，其基於預測失敗的狀況經常與標的物件的位置相去不遠之前提，如圖27，本步驟之擴充檢索演算步驟包含：

（1）重心移動預測演算所預測之一預測重心(P)對應已辨識之標的標籤陣列內，預測成功，終止擴張演算，如圖28，其中，該預測重心P為預測移動向量之終點位置。

（2）預測失敗時，判斷預測重心P之第1階鄰近像素或顯示塊是否落在已辨識標的之標籤陣列內，所謂的第1階鄰近像素或顯示塊係指最靠近預測重心區P之左上、上、右上、中左、中右、左下、右下8個像素或顯示塊，如8個像素或顯示塊之一對應已辨識標的之標籤陣列，則終止檢索後修正預測重心P為對應之顯示塊或像素，如圖28所示。

（3）預測失敗時，判斷預測重心P之第2～4階鄰近像素或顯示塊是否落在已辨識標的之標籤陣列內，所謂的第2～4階鄰近像素或顯示塊係指第2～4靠近預測重心區(p)之左上、上、右上、中左、中右、左下、右下8個像素或顯示塊，如8個像素或顯示塊之一對應已辨識標的之標籤陣列，則終止檢索後修正預測重心P為對應之顯示塊或像素。透過擴張演算可以補償預測錯誤狀況，將預測錯誤的預測重心P修正為擴張演算後的預測重心P’，如圖28、29所示。

step103重疊判斷演算：

請參考圖30，前述的預測方法可能產生下列各種不同的預測結果：

(1)預測結果之預測重心P坐落於標的陣列範圍內；

(2)複數個預測重心P坐落於同一個標的陣列範圍內，產生一重疊結果；及

(3)坐落範圍內無預測重心P點，可能原因是預測錯誤或產生新的標的物件。

重疊結果可能的狀況之一為一假重疊(Dummy Overlap)，如圖31所示，假重疊為判斷中禎畫面標的1（object 1）、標的2（object 2）未重疊，但預測重心P1, P2卻同時落入於標的1或2之範圍內，是否發生假重疊可判斷下列條件是否同時發生，如圖31：

a. 標的範圍包含兩個以上的預測重心

b. 在沒有擴張演算下產生預測失敗

c. 上一禎畫面標的產生重疊

d. 1.1x(標的涵蓋面積)＜物件在前一禎畫面之面積。

當假重疊發生，則推定預測重心P2失效，並重新計算每個標的之預測重心之數值(re-calculate the number of prediction points each object owns)。

以下說明各種可能發生的錯誤預測之狀況：

[狀況1]

請參考圖32，若前一判斷中之禎畫面之間標的只有一個預測重心，則為成功的預測，在此一條件下，演算方式包含:

(1)讓前一禎畫面與判斷中禎畫面之標的物件之標籤一致；

(2)記錄物件之標的物件數目之間的關係；及

(3)記錄一狀態為未重疊。

基於前述，本實施例所提出的預測演算方式並不會因為預測結果與下一禎畫面物件之重心距離較遠而產生累積的錯誤，因為每次的預測係基於判斷中之重心預測該預測移動向量，如圖33所示。

[狀況2]

請參考圖34～36，當禎畫面n（n frame）之標的對應超過兩個預測重心，代表發生重疊狀況，辨識前述的重疊狀況，以圖34～36為範例，可依據下列演算步驟：

(1.1)標的7之標籤＝標的1之標籤；

(1.2)標的7的座標＝由標的1推估的預測重心之座標

(1.3)標的7之H色座標＝標的1之H色座標

(1.4)記錄標的7與標的1之物件數目(count)之關連

(1.5)記錄標的7為重疊。

(2.1)增加新的標的物件數目於禎畫面n

(2.2)新的標的物件數目＝前一禎畫面(n-1 frame)之最大物件數目＋1

(2.3)新的標的標籤＝標的5之標籤

(2.4)新標的之座標=標的5於之預測重心座標

(2.5)新標的的H色座標=標的5的H色座標

(2.6)記錄新標的與標的5之關係

(2.7)記錄新標的為重疊狀態

重複上述(2.1)~（2.7）使標的3對應另一個新的標的。如果有超過3個以上的標的重疊，依據上述步驟定義新的標的。

step104預測結果邊緣修正演算：

當預測的座標正巧落於標的的邊緣，則自動將該預測座標更朝向該標的之重心方向移動；此一演算係基於標的之重心通常不會出現在邊緣，執行此一邊緣修正演算可增加預測準確度。

[狀況3]

標的中不包含預測重心，則代表預測錯誤，如圖37。

step105 建立預測錯誤群組(prediction failure groups):建立處理中禎畫面與前一禎畫面之前述各種可能產生的狀況對照表，如圖37a,b所示。實務上，前述的預測錯誤群組的狀況不多，一般基本上以一簡單狀況(simple conditions)較為常見，下表列出各種可能的簡單狀況： 【表1】

其中P為前一禎畫面之標的產生預測錯誤的數量；判斷中的禎畫面中包含0個預測重心的標的之數量。若預測錯誤群組並非簡單狀況，則「判斷前一禎畫面(n-1frame)所產生的錯誤預測標的」與「判斷中之第n禎畫面(n frame)之中不包含預測重心的標的」之間的距離，找出最小與次小的最短距離，並執行下列比較：

若次小距離大於等於最小距離的1.5倍，則決定具有最小距離的標的為相同標的，設定相同的標籤；若次小距離小於最小距離的1.5倍，則擁有次小距離與最小距離的標的均為一潛在候選標的，並執行一顏色比較判斷，其中，最小距離的計算如下公式：

上列公式不包含開根號計算係為了減少計算量。

前述的距離比較判斷方式，可以下列的順序執行：

當P＞=C，判斷中的禎畫面(n frame)之每個標的與前一禎畫面（n-1 frame）必須相互執行距離比較，如圖37a所示；

當P＜C，第n-1禎畫面之每個標的必須與第n禎畫面比較，如圖37b。

其中P為第n-1禎畫面中產預測失敗的標的數量；C為第n禎畫面對應0預測重心的的標的數量。

舉例說明之：

P＞=C狀況：請參考圖38，標的7比較標的3,6,9之後發現與標的3有最小距離，與標的6有次小距離，且滿足「次小距離大於等於最小距離的1.5倍」，第n禎標的7與第n-1禎之標的3為相同標的，設定兩個標的相同的標籤；及

P＜C狀況：請參考圖39，標的1與標的2,5,9距離比較，發現標的1與標的2、5分別有最小、次小距離，且滿足「次小距離大於等於最小距離的1.5倍」，第n禎畫面之標的2與第n-1禎畫面之標的1為相同標的，設定相同的標籤。

step106 顏色比較判斷：如果次小距離小於最小距離的1.5倍，代表最小與次小距離標的均為潛在候選標的；則需執行顏色比較判斷。

請參考圖40，「次小距離小於最小距離的1.5倍」，因此標的3,6都是標的7的潛在候選標的，比較最接近的H色座標，並比較後設定具有最接近顏色特徵的標的與標的7相同標籤。本實施例之顏色比較判斷係使用一總和絕對差異（SAD, Sum Absolute Difference）演算，係比較每種顏色之差異與所有顏色總和的差異，如圖41所示。其中：

使用前述顏色比較方式的好處是只需要相加與相減演算，可減少計算量。最小的的SAD係對應於具有最小H色座標差異者，代表兩個標的具有最相似的顏色特徵。因此，當距離比較判斷無法直接選出標的，則使用顏色比較判斷執行。如圖42，因為標的6與標的7之間比標的3與標的7之間的顏色特徵差異較小，設定標的7與標的6有相同標籤。

step107 鎖定標的範圍(Lock Object’s Range)

本步驟係為了持續圈選禎畫面中之標的，執行時，必須依據是否有重疊狀況而有所不同：

[無重疊狀況]

(1) 找出每個標的在禎畫面之Max X, Max Y, Min X, Min Y，係比較所有具有相同編號之顯示塊之座標；

(2) 以Max X, Max Y, Min X, Min Y座標繪製一方框；及

(3)對應方框於原始的禎畫面並標示特定的標籤，如圖43所示。

[重疊狀況]

請參考圖44，當發生重疊，無法找出標的之Max X, Max Y, Min X, Min Y，可以下列演算方式計算所需座標：

Max X=前一禎畫面標的之Max X＋前一預測向量(previous Predict_MV)；

Max Y=前一禎畫面標的之Max Y＋前一預測向量(previous Predict_MV)；

Min X=前一禎畫面標的之Min X＋前一預測向量(previous Predict_MV)；及

Min Y=前一禎畫面標的之Min Y＋前一預測向量(previous Predict_MV)。

透過前述演算，請參考圖45a~d，可在原始的禎畫面中，即時追蹤複數個且可能重疊的標的。

經實際驗證，本發明可以在數百～一萬奈米秒(ns)處理完成每禎畫面，判斷並追蹤畫面中的標的。

基於前述說明，可知本發明具備下列特點：

1. 經過本實施例所提出的演算步驟，可以有效、快速地找出連續畫面中的待判定標的，並與以標籤；如此，可非常便利於追蹤辨識的標的，解決現有技術難以在單一影像中持續判斷標的物件的技術問題。

2. 本實施例可以在找出標的之後，精確持續追蹤禎畫面中的標的動向，並持續追蹤標的的移動。

圖1為本發明較佳實施例之示意步驟流程圖。 圖2為本發明較佳實施例之禎畫面相減演算之示意圖。 圖3為本發明較佳實施例之相減演算之禎畫面前後比較示意圖。 圖4為本發明較佳實施例之二值化示意圖。 圖5為本發明較佳實施例之背景替換檢查區示意圖。 圖6為本發明較佳實施例之分離雜點刪除示意圖。 圖7為本發明較佳實施例之孤立像素消除演算示意圖。 圖8為本發明較佳實施例之孤立像素消除演算與侵蝕演算示意圖。 圖9為本發明較佳實施例之顯示塊示意圖。 圖10為本發明較佳實施例之顯示塊示意圖。 圖11為本發明較佳實施例之像素數量選擇對解析度影響之示意圖。 圖12為本發明較佳實施例之填洞演算示意圖。 圖13為本發明較佳實施例之傳統填洞演算所產生不可辨識性之示意圖。 圖14為本發明較佳實施例之孤立顯示塊消除演算結果示意圖。 圖15為本發明較佳實施例之給定標籤示意圖。 圖16為本發明較佳實施例之二值禎畫面掃描設定編號之示意圖。 圖17為本發明較佳實施例之相鄰顯示塊之等效編號取代示意圖。 圖18為本發明較佳實施例之一涵蓋尺寸範圍刪除該顯示塊之示意圖。 圖19為本發明較佳實施例之統計辨識後標的資訊之示意圖。 圖20為本發明較佳實施例之標的物件之重心示意圖。 圖21為本發明較佳實施例之複數標的物件及重心示意圖。 圖22為本發明較佳實施例之色相座標數據示意圖。 圖23為本發明較佳實施例之標的物件追蹤流程示意圖。 圖24為本發明較佳實施例之標的物件追蹤步驟示意圖。 圖25為本發明較佳實施例之計算預測移動向量示意圖。 圖26為本發明較佳實施例之標籤陣列（label Matrix）方法示意圖。 圖27為本發明較佳實施例之重心移動預測演算預測失敗示意圖。 圖28為本發明較佳實施例之擴充檢索演算步驟示意圖。 圖29為本發明較佳實施例之重心移動預測修正步驟示意圖。 圖30為本發明較佳實施例之重心移動預測演算預測結果種類示意圖。 圖31為本發明較佳實施例之假重疊狀況示意圖。 圖32為本發明較佳實施例之成功預測之演算方式示意圖。 圖33為本發明較佳實施例之重心預測該預測移動向量之示意圖。 圖34為本發明較佳實施例之重疊狀況範例示意圖。 圖35為本發明較佳實施例之重疊狀況與標的物件重新設定相關資訊之範例示意圖。 圖36為本發明較佳實施例之重疊狀況與標的物件重新設定相關資訊之範例示意圖。 圖37為本發明較佳實施例之預測錯誤示意圖。 圖37a為本發明較佳實施例之狀況對照示意圖。 圖37b為本發明較佳實施例之狀況對照示意圖。 圖38為本發明較佳實施例之距離比較判斷方式(P＞=C)示意圖。 圖39為本發明較佳實施例之距離比較判斷方式(P＜C)示意圖。 圖40為本發明較佳實施例之距離比較判斷方式(「次小距離小於最小距離的1.5倍」)之狀況示意圖。 圖41為本發明較佳實施例之總和絕對差異（SAD, Sum Absolute Difference）演算示意圖。 圖42為本發明較佳實施例之顏色比較判斷示意圖。 圖43為本發明較佳實施例之應方框於原始的禎畫面並標示特定的標籤之示意圖。 圖44為本發明較佳實施例之重疊發生示意圖。 圖45a~d為本發明較佳實施例之即時追蹤複數標的之連續動作示意圖。

Claims (10)

1. 一種多重目標影像辨識與追蹤方法，其步驟包含：多重目標影像辨識步驟：選取一基礎背景：選擇輸入之一數位影像未包含待辨識標的之該基礎背景；差異計算：將該數位影像之每一禎畫面與該基礎背景以一相減演算法運算後產生一差異禎畫面；二值化：將差異禎畫面之每個像素予以一二值演算處理，產生一二值禎畫面；消除孤立像素：將該二值禎畫面中，設定孤立或相鄰同時具有高準位像素之數量低於一預設數量之像素為低準位；降低解析度：取複數個像素形成一顯示塊，於選定的複數個像素中有超過一比例之像素為高準位，則設定所有像素為高準位而形成具有高準位之該顯示塊；填洞演算：如判斷之該顯示塊為低準位，且鄰近之8個顯示塊有4個顯示塊為高準位者，將判斷中之該顯示塊改為高準位；標籤：將二值禎畫面之每個相連的高準位顯示塊判斷為一標的，並設定每個標的一標籤追蹤標的步驟：依據所辨識的標的，估計每個標的的一標的資訊、標的重心及複數個先前禎畫面之一移動向量，且依據該複數個先前禎畫面之移動向量計算產生目前禎畫面之一預測移動向量，並判斷該預測移動向量之終點是否在每一二值禎畫面對應特定的該標的；依據比較預測移動向量之一預測重心與判斷中之該二值禎畫面之該標的之範圍是否對應，其中： 無預測重心與判斷中之標的範圍對應時，預測失敗而進行一擴充檢索演算，尋找鄰近的該預測重心；及複數個預測重心於判斷中之標的範圍內，則依據判斷預測重心與判斷中之各標的之重心之間的距離或距離與顏色特徵之接近度，重新判定前一個二值禎畫面與判斷中二值禎畫面之關連性。
2. 如申請專利範圍第1項多重目標影像辨識與追蹤方法，該追蹤標的步驟進一步包含鎖定標的範圍，係將每個二值禎畫面中的標的涵蓋範圍標示鎖定，其中：對無重疊之標的鎖定並標示其涵蓋範圍以一方框標示；及對有重疊之標的之方框範圍係利用標的之前一二值禎畫面標的之範圍角落座標加上前一預測向量。
3. 如申請專利範圍第1或2項多重目標影像辨識與追蹤方法，發生預測錯誤時，則「判斷前一二值禎畫面(n-1 frame)所產生的錯誤預測標的」與「判斷中之第n二值禎畫面(n frame)之中不包含預測重心的標的」之間的距離，找出最小與次小的最短距離，若次小距離大於等於最小距離的1.5倍，則決定具有最小距離的標的為相同標的，設定相同的標籤；若次小距離小於最小距離的1.5倍，則擁有次小距離與最小距離的標的均為一潛在候選標的，並執行一顏色比較判斷。
4. 如申請專利範圍第3項多重目標影像辨識與追蹤方法，該顏色比較判斷係如果次小距離小於最小距離的1.5倍，代表最小與次小距離標的均為潛在候選標的，則執行顏色比較判斷，係使用一總和絕對差異(SAD,Sum Absolute Difference)演算，係比較每種顏色之差異與所有顏色總和的差異，在前一、判斷中之二值禎畫面之標的找出具有顏色差異最小者，設定相同的標籤。
5. 如申請專利範圍第4項多重目標影像辨識與追蹤方法，執行差異計算之前先執行一取樣，係以一取樣率間隔選出由該數位影像中選出複數禎畫面；標籤設定後，執行一雜訊消除步驟，係將在一臨界範圍外且具有相同標籤的顯示塊刪除；及降低解析度係選擇4x4之像素形成一個該顯示塊，且判斷4x4範圍的像素包含30%以上的比例為高準位時，將該顯示塊之每個像素變更為高準位。
6. 如申請專利範圍第5項多重目標影像辨識與追蹤方法，填洞演算後執行一孤立顯示塊消除演算，係於判斷之該顯示塊為高準位時，於鄰近8個顯示塊為高準位者大於3個以上，設定8個鄰近顯示塊均為高準位。
7. 如申請專利範圍第6項多重目標影像辨識與追蹤方法，進一步包含執行一基礎影像檢查與更新演算，係持續判斷不包含辨識標的之該禎畫面，判斷該禎畫面中複數個檢查區之RBG差異平均值均大於零時，取判斷中之該禎畫面更換為該基礎背景。
8. 如申請專利範圍第7項多重目標影像辨識與追蹤方法，該差異禎畫面之每個像素之一RGB數值係將該基礎背景與判斷之該禎畫面之三原色相減後予以平均。
9. 如申請專利範圍第8項多重目標影像辨識與追蹤方法，給定標籤之演算方式步驟包含：(1)如果判斷之該顯示塊之前4個鄰近之顯示塊為低準位，則設定判斷具有高準位之顯示塊之標籤為前一個標籤數值+1；(2)如果只有其中一個鄰近的顯示塊(n)為高準位，則給定判斷之顯示塊之標籤為鄰近之顯示塊(n)； (3)如果鄰近前4個區塊有複數個高準位之顯示塊，則給定判斷之顯示塊為高準位；(4)記錄相鄰但具有不同標籤號之顯示塊之標籤號為一等效標籤；(5)將相鄰顯示塊之所有等效標籤以數值最低的等效標籤取代，使相鄰的顯示塊，具有相同的標籤。
10. 如申請專利範圍第9項多重目標影像辨識與追蹤方法，顏色差異比較係比較各標的之色相特徵。