TWI421796B - 影像處理裝置、影像處理方法及程式 - Google Patents

Description

影像處理裝置、影像處理方法及程式

本發明係有關於一種影像處理裝置、影像處理方法及程式。

當一可疑的人或類似者是透過使用諸如監視攝影機之類的成像裝置來力以監看時，盯著一監視器來找尋可疑人會對觀視者造成很重的負擔。因此，在利用監視攝影機或類似者進行監看時，會使用一種能在螢幕影像中偵測一移動物體(下文中亦稱為一移動體)的動作偵測技術，其係一種影像處理技術。

在動作偵測處理中，必須要能減少因干擾而造成的偽誤偵測，並確實地偵測出一有意物體的通過。物體偵測相關的技術可參見例如說日本專利JP-A-2004-13615、JP-A-2000-322581、以及JP-A-2006-A-260049。在日本專利JP-A-2004-13615中係利用光流來去除掉干擾。在日本專利JP-A-2000-322581中會偵測一有動作發生的影像區域，以便區別搖動與移動物體，並且會在被偵測的影像區域內進行追蹤。在日本專利JP-A-2006-260049中是使用動作向量的失序情形來對移動物體做高精度的偵測。

在相關的技藝中，有一種技術是依據已經被偵測到之移動體的資訊來確認該移動物體是否已經通過一預先設定之區域。另外，在使用像素之亮度變化進行的動作偵測作業中，有一種方法是利用有關於先前統計上的亮度變化的資訊來控制不要偵測其內有干擾發生的一干擾區域，以供去除掉干擾。但是，諸如樹搖動或類似者之類的干擾並不會固定發生，因此能可能造成偽誤偵測結果。另外亦有一種實際去偵測物體動作的方法，可以減少某種程度的偽誤偵測結果。但是，有一項問題是偽誤偵測通常是局部性地發生的，導致偽誤偵測減低的成效不足。

日本專利JP-A-2004-13615中的技術僅能應用於短時間內的資訊上，因此無法對諸如樹搖動或類似者之類的干擾做充份地測量。另外，在日本專利JP-A-2000-322581及JP-A-2006-260049中，對於一通過之物體的偵測是針對單一像素進行的，因此小的物體也會被偵測到，導致偽誤偵測發生的問題。另外，當一移動物體在整個螢幕內被穩定的偵測到時，會產生動作偵測處理的輸出量會爆發性成長的問題。

基於前面所述，其需要提供一種新穎且改良的影像處理裝置、影像處理方法及程式，且其等能減少因干擾而造成的偽誤偵測，且僅能以高準確度來偵測一有意物體，而同時能減少輸出量。

根據本發明之一實施例，其提供一種影像處理裝置，包含一光流計算單元，其參照一先前影像來計算一影像內的光流，一光流偵測單元，其在該影像的一部分區域內設定多個參考點，並偵測該等參考點上是否產生光流，一特徵點資料儲存單元，其在該等參考點上產生光流時，將產生該光流的一組多段像素資料加以儲存做為一特徵點，一特徵點追蹤單元，其追蹤該特徵點的運動位置，一特徵點刪除單元，其依據該特徵點運動位置上的變化來刪除被追蹤的特徵點，以及一通過確認單元，其基於多個留存未被刪除之特徵點來確認該影像中是否偵測到有一物體通過。

該通過確認單元基於該光流產生時同時生成的多個特徵點中多個留存未被刪除之特徵點的數目來確認該影像中是否偵測到有一物體通過。

該通過確認單元可基於該等多個留存未被刪除之特徵點間的距離及該等多個留存未被刪除之特徵點的運動方向來確認該影像中是否偵測到有一物體通過。

該特徵點刪除單元可基於該特徵點的運動方向而刪除被追蹤的特徵點。

該特徵點刪除單元可基於該特徵點的運動速度而刪除被追蹤的特徵點。

該特徵點刪除單元可基於一特徵點與另一特徵點間的關係而刪除被追蹤的特徵點。

該特徵點刪除單元可基於該特徵點的追蹤經過時間而刪除被追蹤的特徵點。

根據本發明之另一實施例，其提供一種影像處理方法，包含以下步驟：由一光流計算單元參照一先前影像來計算一影像內的光流，由一光流偵測單元在該影像的一部分區域內設定多個參考點，並偵測該等參考點上是否產生光流，在該等參考點上產生光流時，由一特徵點資料儲存單元將生成該光流的一組多段像素資料加以儲存做為一特徵點，由一特徵點追蹤單元來追蹤該特徵點的運動位置，由一特徵點刪除單元依據該特徵點運動位置上的變化來刪除被追蹤的特徵點，以及由一通過確認單元基於多個留存未被刪除之特徵點來確認該影像中是否偵測到有一物體通過。

根據本發明的另一實施例，其提供一種程式，可使一電腦執行下列步驟：參照一先前影像來計算一影像內的光流，在該影像的一部分區域內設定多個參考點，並偵測該等參考點上是否產生光流，在該等參考點上產生光流時，將生成該光流的一組多段像素資料加以儲存做為一特徵點，追蹤該特徵點的運動位置，依據該特徵點運動位置上的變化來刪除被追蹤的特徵點，以及基於多個留存未被刪除之特徵點來確認該影像中是否偵測到有一物體通過。

根據前述的本發明實施例，其可以減少因干擾所致的偽誤偵測，並且能以高準確度來僅對有意物體加以偵測，同時減少輸出量。

下文中將配合於所附的圖式來詳細說明本發明的較佳實施例。應注意，在本說明書及所附圖式中，具有實質上相同功能及結構的結構性元件將以相同的參考編號來加以標示，且這些結構性元件的重覆贅述將予以略去。

現在將依照以下的順序來加以說明：

一、根據一實施例的架構

二、根據一實施例的作業

[一、根據一實施例的架構]

首先將配合第1圖來說明根據本發明一實施例的成像裝置100的架構。第1圖是一方塊圖，顯示出根據本實施例的成像裝置100。成像裝置100是例如說一監視攝影機，其係固定在一地點上，用以拍攝諸如人或車輛之類通過一成像範圍的監視物體。成像裝置100會將該成像作業所獲取的影像資料傳送至具有監視器的監控板或類似者上。根據本實施例，其能以高準確度來偵測一監視物體，不需要觀視著固定地盯著監視器看。

成像裝置100包含一成像單元102、一成像信號處理單元104、一成像資料處理單元106、傳送單元108、以及一影像處理單元110。

成像單元102包含例如說一諸如透鏡之類的光學系統及一諸如CCD影像感測器或CMOS影像感測器之類的成像元件。成像單元102接收來自一物體的光線，並將該光線轉換成一電信號。成像單元102將所產生的該電信號傳送至成像信號處理單元104。

成像信號處理單元104將自成像單元102接收到的該信號改變成一彩色影像或類似者的視頻信號，或是在該視頻信號上進行去雜訊處理或類似者。成像信號處理單元104將該處理過的視頻信號傳送至成像資料處理單元106及影像處理單元110。

成像資料處理單元106會在由成像信號處理單元104處理過的該視頻信號上進行壓縮處理及類似者，以將視頻信號的格式變更成一種可以讓該視頻信號能自傳送單元108傳送出去的格式。

傳送單元108在將自成像信號處理單元106接收到的視頻信號聯結至自影像處理單元110接收到的中介資料(Metadata)後，將該視頻信號及該中介資料傳送至外界。來自傳送單元108的該視頻信號或中介資料會被輸出至例如說一網路或一連接至該網路上的監控板。

影像處理單元110接收由成像信號處理單元104處理過的該視頻信號，並透過對該視頻信號進行影像處理而生成中介資料。在本實施例中，中介資料是例如說一監視物體通過一成像範圍或一影像之部分區域的資訊，係用來做為一警示信號或類似者。

此外，在本實施例中，傳送單元108會將視頻信號及中介資料二者傳送至外界，但本發明並不侷限於此一範例。例如說，其可以讓傳送單元108不輸出視頻信號，而僅輸出諸如警示信號之類的中介資料的外界。

另外，在前面的說明中是針對於具有成像單元102之諸監視攝影機之類的成像裝置100來加以解釋說明。但是，在本發明中也可以使用不具有成像單元102的信號轉換裝置。該信號轉換裝置可以設置一輸入單元，連接至能輸出類比視頻信號之攝影機，以取代成像單元102。該信號轉換單元可根據該類比視頻信號來產生中介資料，並將該中介資料輸出至外界。

另外，在前述的說明中是針對具有成像資料處理單元106的成像裝置100來加以解釋說明。但是，在本發明中也可以使用專供影像處理用的專屬裝置。該影像處理用專屬裝置可以是例如說一個人電腦或一伺服器或類似者。該影像處理用的專屬裝置具有一影像處理單元110，其可接收視頻信號並產生中介資料。所產生的中介資料可輸出至外界，或者其可以輸出至連接至該影像處理用專屬裝置上的一監視器、一警示燈或類似者。

[影像處理單元110]

接著將配合第2圖來說明根據本實施例的影像處理單元110。第2圖是一方塊圖，顯示出根據本實施例的影像處理單元110。影像處理單元110包含例如說一新流產生單元112、一特徵點資料儲存單元114、一特徵點追蹤單元116、一特徵點刪除單元118、一通過確認單元122、以及類似者。

在本實施例中，其係藉由追蹤多個每一者均係由螢幕上一特定位置處產生之以光流為基礎(Optical Flow-Based)的特徵點來確認螢幕內是否存在著一通過物體。更具體地說，其係將一異常特徵點加以擷取出來，而該異常特徵點是會進行做為一監視物體的一般入侵物體，例如人或車輛，所不會進行的動作者，例如樹或波浪等自然界的搖動等如同擺動般的動作，或是速度在一視框(Frame)後突然改變的動作。接著即將異常特徵點自被追蹤的物體中刪除，並確認以多個留存未被刪除之特徵點是否成群地沿著相同方向移動。當有超過預定數量的留存特徵點成群地移動，即偵測到有可被視為諸如人或車輛之類被監視之入侵物體的通過物體。由於可以確實地去除掉干擾，根據本實施例的通過物體偵測作業是一種抗干擾偵測作業。

新流產生單元112包含例如說一光流計算單元及一光流偵測單元。光流計算單元可參照一先前影像來計算一影像內的光流。一光流偵測單元可在一影像130的一部分區域134內設定多個參考點132，如第4圖所示，並偵測參考點132上是否產生光流。第4圖是解說性圖式，顯示出設有參考點132的影像130之一例。所設定的參考點132是例如說九個點。另外，參考點132係局部地存在於影像130內。此外，參考點132所存在的區域134可以位在影像130的中心或是影像130的邊緣。另外，區域134的數量並不僅限於一個，也可以是兩個或更多個。

在計算光流時會參照一先前影像，其係一預定之先前時間的影像，例如說，前一視框的影像。光流計算單元會持續不斷地計算光流。如此，每一次在參考點132上偵測到光流產生時，該光流計算單元即將一組多段產生該光流的像素資料做為一欲追蹤之特徵點記錄於一特徵點資料儲存單元114內。因此，即便光流是參考點132處在時間延滯下才新產生的，該時間的該特徵點也會被新記錄於特徵點資料儲存單元114內。因此，即便二個人在有時間延滯的情形下進入一影像內，也可以個別確認每個人的通過。

至於光流的計算，可以採用相關技藝中的技術，有多種的光流技術可用。例如說，有一種計算光流的方法是透過一含有多個像素的圖塊來進行模板比對。另外，光流也可以採用梯度法計算之，其係基於一圖塊內之亮度分佈對於時間的變化。

當參考點132產生光流時，特徵點資料儲存單元114即會將一組多段產生該光流的像素資料加以儲存做為一特徵點。特徵點資料儲存單元114會將該特徵點資料輸出至特徵點追蹤單元116，以供該特徵點自下一視框開始用於追蹤之用。此外，當光流非常小時，極有可能是一不移動物體、背景或類似者。因此，相關的特徵點不會儲存至特徵點資料儲存單元114內。

特徵點追蹤單元116會在例如說每一視框內追蹤儲存於特徵點資料儲存單元114內的特徵點。追蹤處理是用來決定該特徵點在目前視框影像內要移動至的位置的處理作業。追蹤處理可以類似於新流產生單元112內的光流計算一樣，採用模板比對或梯度法。

第5圖及第6圖是解說性圖式，顯示出追蹤處理的概念。第5圖顯示出第4圖所示之影像130的九個參考點132中的五個參考點P1-P5上因為有一個人通過而產生光流的情形。另外，第6圖顯示出第4圖所示之影像130的九個參考點132中的二個參考點P1、P2上因為有一樹葉的通過而產生光流的情形。在時間t-2所偵測及儲存的特徵點會在每一視框內加以追蹤，亦即時間t-1及時間t。

特徵點刪除單元118會基於代表一被追蹤之特徵點位置的座標資訊來計算該特徵點的運動位置、運動速度或類似者，並將符合於下列條件的特徵點自被追蹤的物體中加以刪除。至於刪除的條件，例如說如第7A圖中所示，可以是一特徵點的運動方向隨著視框而突然地改變的情形。其理由在於該種運動方向的變化不會因為諸如人或車輛之類的監視物體的動作而產生。第7A圖至第7D圖是解說性圖式，顯示出特徵點的動作。

此外，如第8A圖中所示，當二個連續之視框內的向量所構成的角A等於或大於一預定的角度時，即可確認要將移動而形成該角A的特徵點加以刪除掉。或者如第8B圖中所示，當多個視框內之向量所形成的角A是等於或大於一預定角度時，其可以確認要將動而形成該角A的特徵點加以刪除掉。第8A圖及第8B圖是解說性圖式，顯示出特徵點的動作。

另外，在刪除條件上，可以是一特徵點的運動速度隨著視框而突然地改變的情形，如第7B圖中所示。至於運動速度的變化，諸如人或車輛之類之監視物體的動作所不會產生的速度均可設定為剛除條件。如第7C圖中所示，當有多個特徵點存在於某一範圍內，並沿著相同方向移動時，極有可能其非干擾，而是一通過物體。另一方面，如第7D圖中所示，當一特徵點係在某一範圍內沒有任何其他特徵點沿著相同方向移動的情形下，單獨沿著一方向移動時，極有可能其係一干擾。因此，在某一範圍內沒有任何其他特徵點沿著相同方向移動時，該特徵點會被自被追蹤的特徵物體中刪除掉。

另外，在沒有必要做長時期追蹤時，已經被追蹤很長一段時間的特徵點也可以刪除掉。可以設定一演算法來追蹤例如說高達20個視框。

在進行過刪除處理後，通過確認單元122會參照多段存留末刪除特徵點資料來確認在一影像內是否偵測到有一物體通過。例如說，在如第5圖中所示之有一個人或類似者通過的情形中，其並非是干擾或類似者，因此多個特徵點會互相靠近在一起，且會沿著相同的方向移動。在此，為能確實地確認其並非是干擾而是一個人或類似者，可以設定一種條件，其中多個特徵點的數量是等於或超過一預定的數目。

因此，要確認在光流產生之同時所產生的多個特徵點中的多個留存未被刪除之特徵點的數目是等於或超過一預定數目。另外，如第9圖中之流程圖所示，要認確多個留存特徵點間的距離及多個留存特徵點的運動方向(步驟S111、S112)。第9圖是一流程圖，顯示出根據本實施例之通過確認單元122的運作。當有超過某一數量的特徵點存留下來，且沿著相同方向移動，在某一距離範圍內係聚集在一起，則通過確認單元122即可確認有一物體通過(步驟S113)。

例如說，其可以設定成，在九個點上有光流產生，且例如說九個點中至少有四個點存留下來且該至少四個點係沿著相同方向移動且在某一距離範圍是聚集在一起，則確認有一物體通過。

另一方面，在沒有超過某一數量的特徵點存留下來，或是當特徵點並未在某一距離範圍內聚集在一起時，或是當特徵點並非沿著相同方向移動時，可以確認沒有物體通過(步驟S114)。例如說，如第6圖中所示，在其是一種不是人或車輛的干擾(例如說，樹葉或類似者)時，其會被視為無監視物體通過。

[二、根據一實施例的作業]

如前所述，根據本實施例，一影像處理單元110的運作是如第3圖中所示。第3圖是一流程圖，顯示出根據本實施例的影像處理單元110的作業。首先，其確認在某一區域內是否有新光流產生(步驟S101)。接著，對於在包含於例如說該某一區域內的參考點上產生光流的一組多段像素資料做為特徵點來加以追蹤(步驟S102)。

在被追蹤的特徵點中，將顯然是進行異常動作的特徵點加以刪除(步驟S103)。最後，當有超過某一數量的特徵點是沿著相同方向一起移動時，可以認為是有一物體通過(步驟S104)。如前所述，在本實施例中，特徵點是沿著相同方向一起移動。因此，藉由將特徵點組成群組，並刪除無法組在一起的特徵點，其可以確實地偵測超出某一尺寸以上的移動物體，並且相對地去除掉會變成干擾的小物體。另一方面，在相關技藝中，特徵點並非被組合成群組，且亦未計算特徵點的數量。

另外，在本實施例中，光流的產生區域是限制於某一區域及多個區域化參考點。因此，僅需要在一給定的區域內確認是否有多個特徵點沿著相同方向做相同的動作，或是是否有多個特徵點在定性上進行不同於一干擾的動作。因此，不同於相關技藝中是就整個螢幕上的光流做均一計算的情形，追蹤所需的計算量可以減低。因此，本實施例可以減少因干擾而致之偽誤偵測，且能以高準確度來偵測有意物體，同時能減少輸出量。

熟知此技藝者當可理解，依設計需求及其他因素，在下附申請專利範圍及等效者的範圍內，可以有著多種的改變、組合、次組合、以及變化。

例如說，在前述的實施例中，在一影像中設有九個參考點，但本發明並不僅限於此範例。參考點的數量可依監視物體或裝置而變。且可以設定成讓通過確認單元在有幾乎是參考點一半以上之特徵點留存下來時確認有一物體通過。例如說，在二十個參考點的情形中，可以設定成讓通過確認單元在有至少十個特徵點留存下來時確認有一物體通過。

用來確認是否有一物體通過之留存下來之特徵點數量的設定，係有關於對於干擾的抗性。例如說，當對於干擾的抗性設定成較強時，特徵點的數量就要設定成較大。另一方面，當特徵點的數量減少時，其可能也會對於干擾輕易地產生不利地反應，但能夠輕易地偵測到諸如人或類似者之類的通過物體。

本發明包含有與西元2009年12月8日向日本專利局提出申請之日本優先權專利申請案JP 2009-278787內所揭露之內容相關的主題，該案的全部內容係引述於此，做為參考。

100．．．成像裝置

102．．．成像單元

104．．．成像信號處理單元

106．．．成像資料處理單元

108．．．傳送單元

110．．．影像處理單元

112．．．新流產生單元

114．．．特徵點資料儲存單元

116．．．特徵點追蹤單元

118．．．特徵點刪除單元

122．．．通過確認單元

130．．．影像

132．．．參考點

134．．．區域

P1．．．參考點

P2．．．參考點

P3．．．參考點

P4．．．參考點

P5．．．參考點

S101．．．步驟

S102．．．步驟

S103．．．步驟

S104．．．步驟

S111．．．步驟

S112．．．步驟

S113．．．步驟

S114．．．步驟

第1圖是一方塊圖，顯示出根據本發明一實施例的一成像裝置100。

第2圖是一方塊圖，顯示出根據該實施例的一影像處理單元110。

第3圖是一流程圖，顯示出根據該實施例的影像處理單元110的作業。

第4圖是一解說性圖式，顯示出設有參考點132的影像130之一例。

第5圖是一解說性圖式，顯示出追蹤處理的概念。

第6圖是一解說性圖式，顯示出追蹤處理的概念。

第7A圖至第7D圖是解說性圖式，顯示出特徵點的動作。

第8A圖及第8B圖是解說性圖式，顯示出特徵點的動作。

第9圖是一流程圖，顯示出根據該實施例的通過確認單元122的作業。

110．．．影像處理單元

112．．．新流產生單元

114．．．特徵點資料儲存單元

116．．．特徵點追蹤單元

118．．．特徵點刪除單元

122．．．通過確認單元

Claims (9)

1. 一種影像處理裝置，包含：一光流計算單元，其參照一先前影像來計算只在一影像部分區域內的光流，該光流係用於該部分區域內的多個參考點；一光流偵測單元，其偵測在該部分區域內部的該等參考點上是否產生光流；一特徵點資料儲存單元，其在該部分區域內部的該等參考點上產生光流時，將用於在該部分區域內的產生該光流的該參考點的像素資料的一組像素加以儲存做為一特徵點；一特徵點追蹤單元，其追蹤在該部分區域內的每一視框的該特徵點的運動位置；一特徵點刪除單元，其依據視框上的該特徵點運動位置上的突然變化來刪除在該部分區域內的被追蹤的特徵點，該特徵點係相對於在該部分區域內沿著相同方向移動的特徵點群組，其中當該特徵點無法被放進在該部分區域內沿著相同方向移動的該特徵點群組時，該特徵點被刪除；以及一通過確認單元，其基於預定數量的多個留存未被刪除之在該部分區域內沿著相同方向並在同一該群組內一起移動的特徵點來確認該影像中是否偵測到有一物體通過。
2. 如申請專利範圍第1項之影像處理裝置，其中該通過確認單元是基於該光流產生時所同時生成 的多個特徵點中多個留存未被刪除之特徵點的數目來確認該影像中是否偵測到有一物體通過。
3. 如申請專利範圍第1項之影像處理裝置，其中該通過確認單元是基於該等多個留存未被刪除之特徵點間的距離及該等多個留存未被刪除之特徵點的運動方向來確認該影像中是否偵測到有一物體通過。
4. 如申請專利範圍第1項之影像處理裝置，其中該特徵點刪除單元是基於該特徵點的運動方向而刪除被追蹤的特徵點。
5. 如申請專利範圍第1項之影像處理裝置，其中該特徵點刪除單元是基於該特徵點的運動速度而刪除被追蹤的特徵點。
6. 如申請專利範圍第1項之影像處理裝置，其中該特徵點刪除單元是基於一特徵點與另一特徵點間的關係而刪除被追蹤的特徵點。
7. 如申請專利範圍第1項之影像處理裝置，其中該特徵點刪除單元是基於該特徵點的追蹤經過時間而刪除被追蹤的特徵點。
8. 一種影像處理方法，包含下列步驟：由一光流計算單元參照一先前影像來計算只在一影像部分區域內的光流，該光流係用於該部分區域內的多個參考點；由一光流偵測單元偵測在該部分區域內部的該等參考點上是否產生光流； 在該部分區域內部的該等參考點上產生光流時，由一特徵點資料儲存單元將用於在該部分區域內的產生該光流的該參考點的像素資料的一組像素加以儲存做為一特徵點；由一特徵點追蹤單元來追蹤在該部分區域內的每一視框的該特徵點的運動位置；由一特徵點刪除單元依據視框上的該特徵點運動位置上的突然變化來刪除在該部分區域內的被追蹤的特徵點，該特徵點係相對於在該部分區域內沿著相同方向移動的特徵點群組，其中當該特徵點無法被放進在該部分區域內沿著相同方向移動的該特徵點群組時，該特徵點被刪除；以及由一通過確認單元基於預定數量的多個留存未被刪除之在該部分區域內沿著相同方向並在同一該群組內一起移動的特徵點來確認該影像中是否偵測到有一物體通過。
9. 一種內含於非暫態電腦可讀取媒體的程式，可使一電腦執行下列步驟：參照一先前影像來計算只在一影像部分區域內的光流，該光流係用於該部分區域內的多個參考點；偵測在該部分區域內部的該等參考點上是否產生光流；在該部分區域內部的該等參考點上產生光流時，將用於用於在該部分區域內的產生該光流的該參考點的像素資料的一組像素加以儲存做為一特徵點； 追蹤在該部分區域內的每一視框的該特徵點的運動位置；依據視框上的該特徵點運動位置上的突然變化來刪除在該部分區域內的被追蹤的特徵點，該特徵點係相對於在該部分區域內沿著相同方向移動的特徵點群組，其中當該特徵點無法被放進在該部分區域內沿著相同方向移動的該特徵點群組時，該特徵點被刪除；以及基於預定數量的多個留存未被刪除之在該部分區域內沿著相同方向並在同一該群組內一起移動的特徵點來確認該影像中是否偵測到有一物體通過。