TWI419082B - 偵測視訊序列中的移動物體影像的方法以及影像處理系統 - Google Patents

Description

偵測視訊序列中的移動物體影像的方法以及影像處理系統

本揭露係有關於一種影像處理系統，特別有關於一種偵測視訊序列中的移動物體的技術。

在智慧型影像監控系統應用中，移動物體影像偵測是一個關係系統效能的核心重要技術。例如，在安全監控領域，移動物體偵測機制使監控人員無須全天候盯著眾多的攝影機畫面即可掌握是否有人員入侵狀況。或者，在醫療應用中，具有移動物體偵測機制的監控系統得以自動偵測病患是否有異常動作，以即時提醒遠端照護人員做必要的處置。

在以影像相減為基礎的移動物偵測技術中，決定圖素是否為前景物的差值臨界標準扮演著影響效能的關鍵角色。該差值臨界標準可在系統裝設時由人工依現場條件設定成一固定值。然而，人工設定除了成本較高之外，且不具有適應環境照明變化的能力，使得可應用的場合受到限制。

為可隨環境條件改變而自動設定該差值臨界標準，目前已有文獻提出利用影像切割估算臨界標準的方法，以應用於移動物偵測的像素差值畫面切割。然而，由於一般影像圖素特徵分佈和移動物偵測的圖素特徵之差值分佈有著明顯差異，運用一般影像切割的臨界標準運算方法通常會降低移動物體偵測正確率。

如何使系統可自動設定臨界標準但不損及移動物體的偵測正確率，為此技術領域亟待解決的問題。

本揭露提供一種偵測視訊序列中的移動物體的方法以及採用該方法之影像處理系統。

所述之方法包括對處理中畫面以及參考畫面之間的一差值畫面作圖素差值分佈分析，以計算圖素差值分佈的熵值，並觀察該圖素差值分佈的峰值的水平座標位置；將熵值以及峰值的水平座標位置代入對應式轉換規則，以得到差值臨界標準；並且依照差值臨界標準將圖素差值畫面每一圖素區分為前景或背景屬性，以得到處理中畫面的移動物體影像位置。

本揭露提供一種影像處理系統，包括：圖素差值分佈產生模組、熵值計算模組、峰值辨識模組、臨界值轉換模組，以及前景/背景判斷模組。圖素差值分佈產生模組對處理中畫面以及參考畫面的圖素差值畫面作圖素差值分佈分析，以得圖素差值分佈。熵值計算模組計算圖素差值分佈的熵值。峰值辨識模組辨識圖素差值分佈的峰值的水平座標位置。臨界值轉換模組將熵值以及峰值的水平座標位置代入對應式轉換規則，以得到差值臨界標準。前景/背景判斷模組依照差值臨界標準將圖素差值畫面每一圖素劃分為前景或背景屬性，以得到處理中畫面的移動物體影像位置。

為使本發明之上述目的、特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式，詳細說明如下：

所揭露技術可用於處理一視訊序列，區別該視訊序列內各畫面的前景與背景部分，以辨識該視訊序列內的移動物體影像。

第1圖圖解所揭露之前景/背景辨識技術，其中，自一視訊序列中取得兩畫面，一為處理中畫面I_t(t代表其時序)，另一為參考畫面Iref。該參考畫面Iref可為該處理中畫面I_t的上一張畫面(例如，畫面時序為t-1)。或者，在視訊背景畫面為已知的應用場合，也可取已知背景畫面作為該參考畫面Iref。

該處理中畫面I_t以及該參考畫面Iref可為攝影機感光裝置所接收且尚未經處理的資料(raw data)；兩畫面I_t與Iref可經由圖素特徵萃取(pixel feature extraction)102分別形成畫面I’_t以及畫面Iref’。圖素特徵萃取102有多種實施方式；例如，可以萃取三原色(RGB)資訊為目的、或以萃取顏色空間(YUV)資訊為目的、或以萃取亮度(gray level)資訊為目的、或萃取紋理特徵(texture)為目的。本發明並不限定以何種圖素特徵來形成畫面I’_t與Iref’。畫面I’_t與Iref’可能為三原色格式、顏色空間格式、亮度格式或紋理特徵格式…等影像處理領域已知的格式。

該處理中畫面I_t經圖素特徵萃取後所產生的畫面I’_t會與該參考畫面Iref經圖素特徵萃取後所產生的畫面Iref’進行一圖素差值運算104，以產生一圖素差值畫面Id_t。圖素差值運算104有多種實施方式。

以三原色格式之畫面I’_t與Iref’為例，畫面中座標(x,y)之圖素的圖素差值d_t(x,y)需同時考慮三個特徵值分量紅色(R)、綠色(G)與藍色(B)資料，可為：

d_t(x,y)=|I’_t(x,y,R)-Iref’(x,y,R)|+|I’_t(x,y,G)-Iref’(x,y,G)|+|I’_t(x,y,B)-Iref’(x,y,B)|。

或者，在另一種實施方式中，可更將各顏色分量之差值取平方值後再相加：

d_t(x,y)=|I’_t(x,y,R)-Iref’(x,y,R)|² +|I’_t(x,y,G)-Iref’(x,y,G)|² +|I’_t(x,y,B)-Iref’(x,y,B)|² 。

所計算出的圖素差值d_t(x,y)將用來組成該圖素差值畫面Id_t。

至於亮度格式之畫面I’_t與Iref’，由於僅有「亮度」一個特徵值分量的資訊，故畫面中座標(x,y)之圖素的圖素差值d_t(x,y)可為：

d_t(x,y)=|I’_t(x,y)-Iref’(x,y)|。

或者，在另一種實施方式中，可更將亮度差值取平方：

d_t(x,y)=|I’_t(x,y)-Iref’(x,y)|² 。

所計算出的圖素差值d_t(x,y)將用來組成該圖素差值畫面Id_t。

至於採紋理特徵之畫面I’_t與Iref’，則分別有垂直v與水平h兩個方向維度的特徵值分量，故座標(x,y)之圖素的圖素差值d_t(x,y)可為：

d_t(x,y)=|I’_t_v(x,y)-Iref’_v(x,y)|+|I’_t_h(x,y)-Iref’_h(x,y)|。

或者，在另一種實施方式中，可更將各紋理方向維度之差值取平方值後再相加：

d_t(x,y)=|I’_t_v(x,y)-Iref’_v(x,y)|² +|I’_t_h(x,y)-Iref’_h(x,y)|² 。

所計算出的圖素差值d_t(x,y)將用來組成該圖素差值畫面Id_t。

必須聲明的是，本發明並不限定以何種圖素差值運算產生該圖素差值畫面Id_t。任何本技術領域已知的圖素差值運算都可以用來形成該圖素差值畫面Id_t。

上述圖素差值畫面Id_t接下來會被施以一圖素差值分佈分析106，以得到一圖素差值分佈Hd_t。第2圖將該圖素差值分佈Hd_t以一統計圖方式表示。橫軸代表不同大小的圖素差值d，圖中實施例為0~255。縱軸代表各種圖素差值的的發生機率p(d)。

程序108將對該圖素差值分佈Hd_t進行一熵值(entropy)計算、以及一峰值位置觀察，以得知該圖素差值分佈Hd_t的一熵值En_t以及一峰值的一水平座標位置Bpeak_t。以第2圖之圖素差值分佈Hd_t為例，熵值En_t可由方程式運算而得，至於峰值的水平座標位置Bpeak_t則為32。

根據圖素差值分佈Hd_t之熵值En_t以及峰值的水平座標位置Bpeak_t，程序110提供一前景/背景的臨界值轉換，以得到一差值臨界標準Th_t。

程序112提供一前景/背景判斷，其中，根據該臨界值轉換110所得到的差值臨界標準Th_t，將圖素差值畫面Id_t區分為兩部分：差值小於該差值臨界標準Th_t的該些圖素組成一第一部分，為背景圖素Pixel_BG_t，具有背景屬性；且差值大於或等於該差值臨界標準Th_t的該些圖素組成一第二部分，為前景圖素Pixel_FG_t，具有前景屬性。對應到處理中畫面I_t，背景圖素Pixel_BG_t所顯示的是背景資訊(background)，而前景圖素Pixel_FG_t所顯示的是前景資訊(foreground)。前景資訊即有可能就是視訊中的移動物體。第1圖所揭露之前景/背景辨識技術將應用於辨識視訊序列中的移動物體影像。

關於臨界值轉換110，有多種實施方式。

在一種實施方式中，可藉由一對應規則將差值畫面的統計分析數值轉換得到一臨界標準。臨界值轉換110即是將程序108所求出的熵值En_t以及峰值之水平座標位置Bpeak_t代入該對應式轉換規則，繼而求得該差值臨界標準Th_t。

上述對應式轉換規則可在產品出廠前由產品開發人員採取資料庫訓練步驟得到，所得的對應式轉換規則是觀察自複數個訓練視訊。該等訓練視訊可涵蓋多種環境亮度狀況、甚至不同複雜度的影像內容。

第3圖圖解一種資料庫訓練方式。如圖所示，此資料庫訓練需要從複數個訓練視訊中選擇複數個訓練畫面I_1…I_N以及對應的複數個參考畫面Iref_1…Iref_N，經前述圖素特徵萃取成畫面I’_1...I’_N與畫面Iref’_1…Iref’_N後，再藉前述圖素差值運算求得複數個訓練用差值畫面Id_1…Id_N。該等訓練用差值畫面Id_1…Id_N經由前述圖素差值分佈分析處理後，可得到複數個訓練用差值分佈Hd_1…Hd_N。從差值分佈Hd_i(i=1…N)，可分別計算得到相關的熵值En_i和峰值之水平座標位置Bpeak_i。此外，以人工尋出最佳差值臨界標準Th_i，將訓練畫面I_i做最佳的移動物影像分離。

在一種實施方式中，會以以下式子求出各個訓練用差值分佈Hd_i的未偏移差值臨界標準UBTh_i：

UBTh_i=Th_i-Bpeak_i。

將未偏移差值臨界標準UBTh_1…UBTh_N與熵值En_1…En_N作一階線性回歸分析，可得到一斜率K，得以用來設定上述對應式轉換規則。所述一階線性回歸分析可由以下方程式實現：

且所述之對應式轉換規則可為：

Th_t=K‧En_t+Bpeak_t　方程式(1)

參考圖1，臨界值轉換110可將程序108所求得的熵值En_t與峰值之水平座標位置Bpeak_t代入方程式(1)，即可求得差值臨界標準Th_t供後續前景/背景判斷112使用。

關於資料庫訓練，尚有其他實施方式。例如，第3圖之訓練用差值分佈Hd_i，i=1~N可能如第4圖所示，依照其熵值En_i與未偏移差值臨界標準UBTh_i歸類為多個群組G_1…G_j…G_M，且同一群組的訓練用差值分佈Hd_i|_i ，其最佳差值臨界標準可能極為近似。本揭露之一種實施方式將上述訓練用差值分佈Hd_i的熵值En_i和未偏移差值臨界標準UBTh_i製作成一表格(look-up table)，以作為上述對應式轉換規則。參考第1圖，臨界值轉換110可依照程序108所求得的熵值En_t查閱該表格，即可求得相應的未偏移差值臨界標準UBTh_t，再與上述圖素差值分佈的該峰值的該水平座標位置Bpeak_t相加，即求得差值臨界標準Th_t，供後續前景/背景判斷程序112使用。

上述移動物體偵測方法可實現在一影像處理系統中。參閱第1圖，方塊120所包括的程序可由一圖素差值分佈產生模組實現，對處理中畫面I_t以及參考畫面Iref的一差值畫面Id_t作圖素差值分佈分析，以得一圖素差值分佈Hd_t。程序108所揭露的熵值計算可以一熵值計算模組實現，計算該圖素差值分佈Hd_t的一熵值En_t。至於程序108所揭露的峰值位置觀察則可由一峰值辨識模組實現，觀察該差值分佈Hd_t的一峰值之水平座標位置Bpeak_t。臨界值轉換110則可由一臨界值轉換模組實現，用以根據上述熵值En_t以及峰值之水平座標位置Bpeak_t得到一差值臨界標準Th_t。前景/背景判斷程序112可由一前景/背景判斷模組實現，依照該差值臨界標準Th_t將該圖素差值畫面Id_t劃分為兩部分，以分別尋得前景圖素Pixel_FG_t以及背景圖素Pixel_BG_t，供辨識移動物體使用。

上述各模組可以軟體、硬體、或軟硬體共同設計方式實現。在某些實施方式中，上述各模組由一嵌入式系統(embedded system)實現。該嵌入式系統可內建於一攝影器材中，使該攝影器材擁有偵測視訊中移動物體的能力。或者，在醫療或安全監控應用中，上述各模組可由監控設備中的一中控機台實現，使該監控設備具有自動偵測移動物體的能力。

此外，第5圖更圖解本案影像處理系統的一種實施方式，其中，除了實現上述各模組的方塊502，更揭露一規則記憶單元504。該規則記憶單元504專門用於儲存上述資料庫訓練所得的結果─例如前述斜率K、或表格。方塊502內的臨界值轉換模組可根據該規則記憶單元504的內容估算出上述差值臨界標準Th_t，供前景/背景判斷模組使用。規則記憶單元504可與方塊502所示各模組實現在一嵌入式系統上，以內建於一攝影器材中。或者，規則記憶單元504可與方塊502所示各模組實現於一中控機台上，以實現一監控設備。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

102．．．圖素特徵萃取

104．．．圖素差值運算

106．．．圖素差值分佈分析

108．．．熵值計算以及峰值位置觀察

110．．．臨界值轉換

112．．．前景/背景判斷

120．．．方塊，蓋括一圖素差值分佈產生模組的相關程序

502．．．方塊，蓋括圖素差值分佈產生模組、熵值計算模組、峰值辨識模組、臨界值轉換模組、以及前景/背景判斷模組

504．．．規則記憶單元

Bpeak_t．．．峰值的水平座標位置

Bpeak_1…Bpeak_N．．．訓練用差值分佈Hd_1…Hd_N的峰值水平座標位置

En_t．．．熵值

En_1…En_N．．．訓練用差值分佈Hd_1…Hd_N的熵值

Hd_t．．．圖素差值分佈

Hd_1…Hd_N．．．訓練用差值分佈

Id_t．．．圖素差值畫面

Id_1…Id_N．．．訓練用差值畫面

Iref．．．參考畫面

Iref_1…Iref_N．．．參考畫面

Iref’．．．參考畫面Iref經圖素特徵萃取後的結果

Iref’_1…Iref’_N．．．參考畫面Iref_1…Iref_N．．．經圖素特徵萃取後的結果

I_t．．．處理中畫面

I_1…I_N．．．訓練畫面

I’_t．．．處理中畫面I_t經圖素特徵萃取後的結果

I’_1…I’_N．．．訓練畫面I_1…I_N經圖素特徵萃取後的結果

Pixel_FG_t．．．前景圖素

Pixel_BG_t．．．背景圖素

Th_t．．．差值臨界標準

以及

Th_1…Th_N．．．最佳差值臨界標準

第1圖圖解本案所揭露之移動物體偵測的一前景/背景辨識技術；

第2圖舉例說明一圖素差值分佈(Hd_t)；

第3圖圖解資料庫訓練的一種資料收集方式；

第4圖舉例說明資料庫訓練的一種資料分類方式；

第5圖圖解本案影像處理系統的一種實施方式。

102．．．圖素特徵萃取

104．．．圖素差值運算

106．．．圖素差值分佈分析

108．．．熵值計算以及峰值位置觀察

110．．．臨界值轉換

112．．．前景/背景判斷

120．．．方塊，蓋括一圖素差值分佈產生模組的相關程序

Bpeak_t．．．峰值的水平座標位置

En_t．．．熵值

Hd_t．．．圖素差值分佈

Id_t．．．圖素差值畫面

Iref．．．參考畫面

Iref’．．．參考畫面Iref經圖素特徵萃取後的結果

I_t．．．處理中畫面

I’_t．．．處理中畫面I_t經圖素特徵萃取後的結果

Pixel_FG_t前景圖素

Pixel_BG_t．．．背景圖素

以及

Th_t．．．差值臨界標準

Claims (13)

1. 一種偵測視訊序列中的移動物體影像的方法，包括：對一處理中畫面以及一參考畫面之間的一圖素差值畫面作圖素差值分佈分析，以計算一圖素差值分佈的一熵值，並觀察該圖素差值分佈的一峰值的一水平座標位置；基於該熵值以及該峰值的該水平座標位置估算得一差值臨界標準；以及依照該差值臨界標準將該圖素差值畫面每一圖素區分為前景或背景屬性，以得到該處理中畫面的移動物體影像位置。
2. 如申請專利範圍第1項所述之方法，其中上述圖素差值畫面中各個圖素差值的產生步驟包括：對該處理中畫面的一圖素和該參考畫面相應位置圖素的至少一個特徵值分量分別做減法運算並取絕對值或平方值後累加之，以得到上述圖素差值。
3. 如申請專利範圍第1項所述之方法，其中是以該熵值和該峰值之上述水平座標為兩輸入變數，以函數關係轉換得該差值臨界標準。
4. 如申請專利範圍第3項所述之方法，其中估算得該差值臨界標準的步驟包括：以一預設之斜率常數值乘以該熵值、再與上述圖素差值分佈的該峰值的該水平座標位置相加，即求得上述差值臨界標準。
5. 如申請專利範圍第1項所述之方法，包括以一預設表 格代表熵值和未偏移差值臨界標準之對應關係。
6. 如申請專利範圍第5項所述之方法，其中估算得該差值臨界標準的步驟包括：根據上述圖素差值分佈的上述熵值查閱該表格，得到對應之未偏移差值臨界標準，再與上述圖素差值分佈的該峰值的該水平座標位置相加，即求得上述差值臨界標準。
7. 一種影像處理系統，用以偵測視訊序列中的移動物體，其中包括：一圖素差值分佈產生模組，對一處理中畫面以及一參考畫面的一圖素差值畫面作圖素差值分佈分析，以得一圖素差值分佈；一熵值計算模組，計算該圖素差值分佈的一熵值；一峰值辨識模組，辨識該圖素差值分佈的一峰值的一水平座標位置；一臨界值轉換模組，基於該熵值以及該峰值的該水平座標位置估算得一差值臨界標準；以及一前景/背景判斷模組，依照該差值臨界標準將該圖素差值畫面每一圖素劃分為前景或背景屬性，以得到該處理中畫面的移動物體影像位置。
8. 如申請專利範圍第7項所述之影像處理系統，其中包括一嵌入式系統，用以實現上述差值分佈產生模組、熵值計算模組、峰值辨識模組、臨界值轉換模組、以及前景/背景判斷模組。
9. 如申請專利範圍第8項所述之影像處理系統，更包括 一攝影器材，該攝影器材具有上述嵌入式系統。
10. 如申請專利範圍第7項所述之影像處理系統，其中包括一中控機台，用以實現上述差值分佈產生模組、熵值計算模組、峰值辨識模組、臨界值轉換模組、以及前景/背景判斷模組。
11. 如申請專利範圍第10項所述之影像處理系統，其中包括一監控設備，該監控設備包括上述中控機台。
12. 如申請專利範圍第7項所述之影像處理系統，更包括：一規則記憶單元，儲存一斜率；其中，該臨界值轉換模組會自該規則記憶單元讀取該斜率，並將該熵值乘以該斜率後加上該峰值的該水平座標位置，即求得上述差值臨界標準。
13. 如申請專利範圍第7項所述之影像處理系統，更包括：一規則記憶單元，儲存一表格；其中，該臨界值轉換模組會根據該熵值查詢該規則記憶單元所儲存的該表格，所得到之輸出值與該峰值的該水平座標位置相加，即求得上述差值臨界標準。