TWI716049B - 前景及背景影像判斷方法 - Google Patents

前景及背景影像判斷方法 Download PDF

Info

Publication number
TWI716049B
TWI716049B TW108126871A TW108126871A TWI716049B TW I716049 B TWI716049 B TW I716049B TW 108126871 A TW108126871 A TW 108126871A TW 108126871 A TW108126871 A TW 108126871A TW I716049 B TWI716049 B TW I716049B
Authority
TW
Taiwan
Prior art keywords
image
images
sub
region
image group
Prior art date
Application number
TW108126871A
Other languages
English (en)
Other versions
TW202044197A (zh
Inventor
魏谷竹
方弘吉
Original Assignee
多方科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 多方科技股份有限公司 filed Critical 多方科技股份有限公司
Publication of TW202044197A publication Critical patent/TW202044197A/zh
Application granted granted Critical
Publication of TWI716049B publication Critical patent/TWI716049B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一種前景及背景影像判斷方法包含產生N個母影像中關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組，其中M以及N皆表示正整數。利用本發明所提供的方法，即使有前景物件停止移動並停留在影像裝置的視野範圍，仍可正確地判斷出前景影像及背景影像，帶給使用者更大的方便。

Description

前景及背景影像判斷方法
本發明有關於一種前景及背景影像判斷方法，尤其是有關於一種可於前景物件停止移動時，仍可正確判斷出影像是前景影像的方法。
在影像裝置所產生的一影像序列中，移動進入至影像裝置的視野範圍內的物件被視為前景物件。當影像存在有前景物件時，影像屬於前景影像；當影像中沒有前景物件時，影像屬於背景影像。
在先前技術中，前景及背景影像判斷方法可分為註冊背景的判斷方法，以及自適應背景的判斷方法。註冊背景的判斷方法包含預先選擇特定影像為註冊背景、以及根據一影像與註冊背景的特徵數據之間的差距，判斷該影像屬於前景影像或背景影像。然而，需要預先選擇影像作為註冊背景對使用者較為不便，舉例而言，當影像裝置監控室外環境時，由於室外場景經常有光影變化或是場景內的物件可能會改變，而造成使用者難以選出適當的影像作為註冊背景，或者是使用者需要經常更新註冊背景。當影像裝置監控室內環境時，室內場景也會有燈源開關造成註冊背景影像不適用的情形。
自適應背景的判斷方法是根據影像序列中的影像的特徵數據，將各 影像分類於各數據區段、當一數據區段內具有最多的影像數量時，判斷分類於該數據區段的影像屬於背景影像。以下用亮度值作為特徵數據來舉例，以更進一步地說明自適應背景的判斷方法。請參照圖1，圖1為當一黑色物件從右至左移動進入白底背景時，影像裝置所擷取的影像VF1~VF30的示意圖。在影像VF1~VF10中，影像皆為白底背景，屬於背景影像。在影像VF11~VF15，黑色物件移動進入影像。在影像VF16中，黑色物件已經完全進入至影像裝置的視野範圍中。在影像VF17~VF30中，黑色物件停止移動。請參照圖2，圖2為影像VF1~VF30的特徵數據的統計表，以及將影像VF1~VF30分類至各數據區段後，各數據區段的影像數量的統計表。在圖2中，設定特定數據為亮度值且亮度值的範圍為0~255，0代表最暗，255代表最亮，並且依據亮度值的大小來等分數據區段SEC1~SEC8。因此，數據區段SEC1對應於亮度值0~31的範圍，數據區段SEC2對應於亮度值32~63的範圍，依此類推，可得到數據區段SEC8對應於亮度值224~255的範圍。影像VF1~VF10皆為白底背景，其亮度值為255，因此影像VF1~VF10分類至數據區段SEC8。在影像VF11~VF15中，黑色物件正在移動進入影像裝置的視野範圍中，影像VF11、VF12、VF13、VF14、VF15的亮度值分別為213、191、170、149、128，因此，影像VF11、VF12、VF13、VF14、VF15分別分類到數據區段SEC7、SEC6、SEC6、SEC5、SEC5。在影像VF16中，黑色物件已經完全進入影像裝置的視野範圍內，其亮度值為120，因此分類到數據區段SEC4。在影像VF17~VF30中，黑色物件停止移動。因此，影像VF16~VF30亮度值皆為120，且對應的數據區段為SEC4。由上述說明可知，分類至數據區段SEC4~SEC8的影像的數量分別為15、2、2、1、10。利用先前技術的自適應背景的判斷方法，由於分類至數據區段SEC4的影像的數量最多，因此會判斷屬於數據區段SEC4的影像是背景影像。然而，屬於數據區段SEC4的影像VF16~VF30中具有前景物件，因此影像VF16~VF30其實是前景影像。換句話說，當前景物件 停止移動並停留在影像裝置的視野範圍時，先前技術的自適應背景的判斷方法會誤判，造成使用者極大的不便。
本發明提供一種前景及背景影像判斷方法。該方法包含產生N個母影像中一關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組，其中M以及N皆表示正整數。
300:方法
310~340:步驟
400、1000:影像裝置
410、1010:影像處理器
420、1020:影像感測器
430、1030:影像壓縮電路
GP1~GP8:影像群組
IMG1~IMGN:後處理影像
SFB:前景及背景訊號
SOUT:輸出訊號
SMV:移動向量訊號
SEC1~SEC8:數據區段
VF1~VF30、VFN、VFX:母影像
VF1_A~VF31_A、VFN_A、VFX_A、VFX_B、VFX_C、VF1_C~VF30_C、VF1_D~VF30_D:子區域影像
圖1為當一黑色物件從右至左移動進入白底背景時，影像裝置所擷取的影像的示意圖。
圖2為影像的特徵數據的統計表，以及將影像分類至各數據區段後各數據區段的影像數量的統計表。
圖3為本發明的前景及背景影像判斷方法的一實施例的流程圖。
圖4為可應用本發明的前景及背景影像判斷方法的影像裝置的一實施例的結構示意圖。
圖5為母影像以及關注區域內的子區域影像的示意圖。
圖6為說明關注區域內的子區域影像的示意圖。
圖7為各影像群組的影像的數量以及移動程度值的統計表。
圖8為子區域影像的移動區域的示意圖。
圖9為子區域影像的移動區塊數量以及影像群組的影像的數量以及移動程度值的統計表。
圖10為可應用本發明的前景及背景影像判斷方法的影像裝置的另一實施例的結構示意圖。
圖11及圖12為用來說明影像處理器根據移動向量訊號，得到物件資訊的示意圖。
圖13為影像處理器所偵測的物件的示意圖。
圖14為影像群組的影像數量以及移動程度值的統計表。
圖15為假設一關注區域中有一靜止的人形立牌時的子區域影像。
圖16為圖15的子區域影像分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。
圖17為假設一關注區域中有一行人移動進入白底背景時的子區域影像。
圖18為圖17的子區域影像分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。
請參照圖3以及圖4，圖3為本發明的前景及背景影像判斷方法300的一實施例的流程圖，圖4為可應用本發明的方法300的影像裝置400的結構示意圖。影像裝置400包含影像感測器420、影像處理器410，以及影像壓縮電路430。影像感測器420收光以於時段T1~TN分別產生母影像VF1~VFN。在母影像VF1~VFN中，部分的區域範圍被選擇作為關注區域(ROI,Region of Interest)ROI1~ROIB，其中N以及B皆代表正整數。請參照圖5，圖5為母影像以及關注區域內的子區域影像的示意圖。在圖5中，以母影像VFx為例，關注區域ROI1內的影像為子區域影像VFX_1，關注區域ROIA內的影像為子區域影像VFX_A，關注區域ROIB內的影像為子區域影像VFX_B，其他可依此類推。關注區 域ROI1~ROIB的範圍沒有特別限制，可以交錯或重疊，甚至是一關注區域也可以是囊括整個母影像的範圍。影像處理器410利用方法300判斷母影像VF1~VFN中的關注區域內的子區域影像為前景影像或背景影像，並據以產生前景背景訊號SFB。此外，影像處理器410後處理母影像VF1~VFN，以產生後處理影像IMG1~IMGN。影像壓縮電路430根據前景背景訊號SFB調整各關注區域的碼率後，壓縮後處理影像IMG1~IMGN，以產生輸出訊號SOUT。其中輸出訊號SOUT舉例而言可以是H.264、H.265或MJPEG格式壓縮的視訊，或是以JPEG格式壓縮的照片。當前景背景訊號SFB表示後處理影像中的關注區域ROIA內的影像為背景影像時，影像壓縮處理電路430可用更低的碼率來壓縮關注區域ROIA的範圍內的影像。以下以關注區域ROIA作為舉例來說明，方法300的步驟說明如下：步驟310：產生母影像VF1~VFN中關注區域ROIA內的子區域影像VF1_A~VFN_A的特徵數據；步驟320：根據子區域影像VF1_A~VFN_A的特徵數據，將子區域影像VF1_A~VFN_A分類至影像群組GP1~GPM中的的影像群組；步驟330：根據子區域影像VF1_A~VFN_A內移動區域，得到影像群組GP1~GPM的移動程度值；步驟340：根據影像群組GP1~GPM的移動程度值以及各影像群組內的影像的數量，分類各影像群組屬於背景影像群組或前景影像群組。
在步驟310中，母影像VF1~VFN中的關注區域ROIA內的影像為分別為子區域影像VF1_A~VFN_A。影像處理器410根據子區域影像VF1_A~VFN_A的像素數據，產生子區域影像VF1_A~VFN_A對應的特徵數據。特徵數據可為亮度平均值、色座標平均值，或是亮度分佈數據，但不以此為限。以下以N等於30且特徵數據為亮度平均值作為舉例來更進一步地說明。請參照圖6，圖6為關注區域 ROIA的子區域影像VF1_A~VFN_A的示意圖。圖6類似於圖1，在關注區域ROIA所對應的視野範圍內有一黑色物件從右至左移動進入白底背景，因此圖6中子區域影像VF1_A~VF30_A類似於圖1中的影像VF1~VF30。影像處理器410根據關注區域ROIA的子區域影像VF1_A~VF30_A的像素數據，產生對應於關注區域ROIA的子區域影像VF1_A~VF30_A的亮度平均值。其中亮度平均值範圍為0~255，0代表最暗，255代表最亮。子區域影像VF1_A~VF10_A皆為白底背景，因此子區域影像VF1_A~VF10~A的亮度平均值為255。在子區域影像VF11_A~VF15_A中，黑色物件逐漸移動進入關注區域ROIA內，因此子區域影像VF11_A~VF15_A的亮度平均值分別為213、191、170、149、128。在子區域影像VF16_A~VF30_A中，由於黑色物件已經完全進入關注區域ROIA的範圍之內，因此子區域影像VF16_A~VF30_A的亮度平均值皆為120。
請參照圖7，圖7為子區域影像VF1_A~VF30_A的亮度平均值的統計表，以及子區域影像VF1_A~VF30_A分類至影像群組GP1~GPM後，各影像群組GP1~GPM的影像數量以及移動程度值的統計表。設定M等於8，將亮度平均值0~255切分為8個數據區段SEC1~SEC8，且影像群組GP1~GP8分別對應於數據區段SEC1~SEC8。數據區段SEC1對應於亮度值0~31的範圍，數據區段SEC2對應於亮度值32~63的範圍，依此類推，可得到數據區段SEC3~SEC8對應的亮度值的範圍。在步驟320中，影像處理器410根據子區域影像VF1_A~VF30_A的特徵數據，分別將子區域影像VF1_A~VF30_A分類至影像群組GP1~GP8中的其各自對應的影像群組。更明確地說，子區域影像VF1_A~VF10~A的亮度平均值為255，在數據區段SEC8所對應的亮度值範圍內，因此子區域影像VF1_A~VF10_A被分類至影像群組GP8。依此類推，子區域影像VF11_A、VF12_A、VF13_A、VF14_A VF15_A被分類至影像群組GP7、GP6、GP6、GP5、GP5，且子區域影像VF16_A~VF30_A被分類至影像 群組GP4。
在步驟320中，假設特徵數據是Lab色座標，則影像處理器410可根據子區域影像VF1_A~VF30_A的特徵數據分別與數據區段GP1~GP8的代表性特徵數據之間的歐式距離，將子區域影像VF1_A~VF30_A分類至影像群組GP1~GP8中的影像群組。舉例而言，可選擇8個特定色座標點分別為數據區段SEC1~SEC8的代表性特徵數據。如此，影像處理器410即可計算子區域影像VF1_A~VF30_A的色座標平均值和數據區段SEC1~SEC8的代表性特徵數據之間的歐式距離。當一子區域影像和一數據區段的代表性特徵數據之間的歐式距離最短時，分類該子區域影像至對應於該數據區段的影像群組。
在步驟330中，影像處理器410根據子區域影像VF1_A~VF30_A內移動區域，更新影像群組GP1~GP8的移動程度值。更詳細地說，影像處理器410比較母影像VF1以及母影像VF2，得到子區域影像VF2_A的移動區域；影像處理器410比較母影像VF2以及母影像VF3，以得到子區域影像VF3_A的移動區域，其他可依此類推，故不再贅述。請參照圖8及圖9，圖8為子區域影像VF1_A~VF30_A的移動區域的示意圖，圖9為子區域影像VF1_A~VF30_A的移動區塊數量以及影像群組GP1~GP8的影像數量以及移動程度值的統計表。在圖8中，以虛線將子區域影像VF1_A~VF30_A等分為12個區塊，且斜線區域表示子區域影像VF2_A~VF30_A中的移動區域。影像處理器410根據圖8中子區域影像VF1_A~VF30_A中有被移動區域覆蓋的區塊，得到圖9中對應於子區域影像VF1_A~VF30_A內的移動區塊的數量的統計表。各子區域影像中移動區塊的數量可作為子區域影像的移動程度值。更詳細地說，當影像處理器410接收子區域影像VF1_A~VF10_A時，由於子區域影像VF1_A~VF10_A屬於影像群組GP8，且子區域影像VF1_A~VF10_A的移動區塊的數量 為0，因此影像處理器410將影像群組GP8的移動程度值加上子區域影像VF1_A~VF10_A的移動程度值，以更新影像群組GP8的移動程度值為0。當影像處理器410接收子區域影像VF11_A時，將影像群組GP7的移動程度值加上子區域影像VF11_A的移動程度值，以更新影像群組GP7的移動程度值為3。當影像處理器410接收子區域影像VF12_A時，將影像群組GP6的移動程度值加上子區域影像VF12_A的移動程度值，以更新影像群組GP6的移動程度值為6。當影像處理器410接收子區域影像VF13_A時，將影像群組GP6的移動程度值加上子區域影像VF13_A的移動程度值，以更新影像群組GP6的移動程度值為12。其他可依此類推而得到圖9中影像群組GP1~GP8的移動程度值的統計表。
針對子區域影像的移動程度值，除了上述說明的計算方式外，本發明提供其他實施例如下。請參考圖10，圖10為本發明的影像裝置的另一實施例1000的結構示意圖。影像裝置1000包含影像感測器1020、影像處理器1010，以及影像壓縮電路1030。影像裝置1000與影像裝置400的差異在於影像壓縮電路1030比較母影像VF1~VF30中的相鄰的母影像，以產生移動向量訊號SMV。移動向量訊號SMV包含母影像中各區塊的移動向量的資訊，其中區塊可為H.264的宏區塊或者是H.265的最大編碼單元(Largest coding unit,LCU)。在本實施例中，影像處理器1010根據移動向量訊號SMV，可得到子區域影像V1_A~V30_A的複數個區塊的非靜止移動向量個數，而子區域影像V1_A~V30_A的複數個區塊的非靜止移動向量個數可作為子區域影像V1_A~V30_A的移動程度值。
在另一實施例中，子區域影像的移動程度值則是根據影像處理器1010偵測的物件的資訊所得到。更進一步地說，影像處理器1010根據移動向量訊號SMV，偵測母影像中的物件，以得到母影像中的物件資訊。舉例而言，請 參照圖11及圖12，圖11及圖12為用來說明影像處理器1010根據移動向量訊號SMV，得到物件資訊的示意圖。影像處理器1010比較圖11中的母影像VF11以及VF10，以得到如圖12中以箭頭表示的移動向量。在圖12中，母影像VF11被虛線切分為複數個區塊，而母影像VF11中的區塊中箭頭指向母影像VF10中鄰近範圍內最相似的區塊。請參照圖13，圖13為影像處理器1010所偵測的物件的示意圖。影像處理器1010根據移動向量訊號SMV得到圖12中各區塊的移動向量的資訊。影像處理器1010將母影像VF11中具有足夠大的移動向量的區塊群組化之後，可偵測出圖13中斜線區域所表示的物件。更進一步地說，當群組化的移動區塊所佔的區域大小大於一移動閥值時，影像處理器1010判斷該群組化的區塊是物件；當群組化的移動區塊所佔的區域大小小於該移動閥值時，影像處理器1010判斷該群組化的區塊是雜訊，而不是移動物件。由上述說明可知，影像處理器1010比較母影像VF1~VF30中的相鄰的母影像中各區塊的移動向量並且將具有足夠大的移動向量的區塊群組化之後，即可偵測得到母影像VF1~VF30中物件的大小以及移動的資訊。如此一來，影像處理器1010根據母影像VF11於關注區域ROIA內的物件的大小以及移動的資訊，即可得到關注區域ROIA於時段T11內屬於有物件移動的區塊的數量，以作為子區域影像VF11_A的移動程度值。
在步驟340中，影像處理器410根據影像群組GP1~GPM的移動程度值以及各影像群組內的影像的數量，分類各影像群組屬於背景影像群組或前景影像群組。請參照圖9，圖9為影像群組GP1~GP8的影像數量以及移動程度值的統計表。當一影像群組為背景影像群組時，該影像群組有較多的影像數量，且其移動程度值會較小。當一影像群組不是背景影像群組時，即可判斷該影像群組為前景影像群組。更進一步地說，影像處理器410比較影像群組GP1~GP8的影像數量與一數量閥值，以及比較影像群組GP1~GP8的移動程度值與一移動閥值， 當一影像群組的影像數量大於該數量閥值時，且該影像群組的移動程度值小於該移動閥值時，影像處理器410判斷該影像群組為背景影像群組。舉例而言，在圖9中，設定數量閥值為8以及移動閥值等於5，可得到影像群組GP8為背景影像群組，其他影像群組GP1~GP7則為前景影像群組。此外，當一影像屬於背景影像群組時，該影像為背景影像；當該影像屬於前景影像群組時，該影像為前景影像。因此子區域影像VF1_A~VF10_A為背景影像，其他子區域影像VF11_A~VF30_A則為前景影像。由上述說明可知，即使有前景物件停止移動並停留在影像裝置的視野範圍，藉由本發明所提供的方法300仍可正確地判斷出子區域影像VF1_A~VF10_A為背景影像，以及子區域影像VF11_A~VF30_A為前景影像及，帶給使用者更大的方便。
此外，在方法300中，影像處理器410可選擇是以最新接收到連續的N個母影像，來判斷最新的子區域影像為前景影像或背景影像。舉例而言，當影像處理器410接收母影像VN時，影像處理器410是以最新接收到連續的N個母影像VF1~VFN，來判斷最新的子區域影像VFN_A為前景影像或背景影像。當影像處理器410接收母影像V(N+1)時，影像處理器410是以最新接收到連續的N個母影像VF2~V(N+1)，來判斷最新的子區域影像V(N+1)_A為前景影像或背景影像。舉例而言，請參照圖14，圖14為假設黑色物件沒有移動且母影像V(N+1)的畫面與母影像VN相同的情況下，影像群組GP1~GP8的影像數量以及移動程度值的統計表。在圖14中，以N等於30為例，當影像處理器410接收母影像V31時，影像處理器410產生子區域影像V31_A的特徵數據。影像處理器410根據子區域影像V31_A的特徵數據，將子區域影像V31_A分類至影像群組GP1~GP8中的對應的影像群組。由於子區域影像V31_A的亮度值等於子區域影像V30_A的亮度值，因此影像處理器410將子區域影像V31_A分類至影像群組GP4，且將影像群組GP4的移動程度值加 上子區域影像V31_A的移動程度值0。此外，由於影像處理器410是以最新接收到連續的N個母影像來判斷前景影像或背景影像，因此影像處理器410將子區域影像VF1_A從影像群組中移除。如此，影像處理器410將子區域影像VF1_A所屬的影像群組GP8的移動程度值減去子區域影像VF1_A的移動程度值，並且將影像群組GP8的影像數量減1。此時，由於影像群組GP4屬於前景影像群組，因此子區域影像V31_A為前景影像。在一實施例中，當子區域影像V31_A屬於前景影像群組時，影像壓縮電路430壓縮根據子區域影像V31_A所產生的已處理過的影像IMG31_A，以產生輸出訊號SOUT2。其中輸出訊號SOUT2為包含有前景物件的照片或視訊，可通知使用者確認前景物件。在另一實施例中，影像壓縮電路430根據各關注區域ROI1~ROIB內的子區域影像屬於背景影像群組或前景影像群組的資訊，產生輸出訊號SOUT2，如此，當一顯示裝置接收到輸出訊號SOUT以及SOUT2時，該顯示裝置解壓縮輸出訊號SOUT以得到後處理影像，並且可根據輸出訊號SOUT2中的各子區域影像屬於背景影像群組或前景影像群組的資訊，以決定顯示後處理影像的方式。舉例而言，顯示裝置局部放大顯示具有最多前景影像的範圍，或者是在顯示的影像上標示具有前景影像的區域。在另一實施例中，影像壓縮電路430根據母影像VF31於關注區域ROIA內的子區域影像VF31_A屬於背景影像群組或前景影像群組，調整壓縮母影像VF31時，於關注區域ROIA的碼率，並據以產生輸出訊號SOUT。更進一步地說，當影像壓縮電路430壓縮母影像時，影像壓縮電路430可根據各關注區域ROI1~ROIB內的子區域影像屬於背景影像群組或前景影像群組，以調整各關注區域ROI1~ROIB內的碼率，並據以產生輸出訊號SOUT。
此外，為了避免將環境的光影變化、燈源開關誤判為前景物件，在方法300中，當影像處理器410接收母影像VF(N+1)時，影像處理器410可根據母影 像VFN以及VF(N+1)之間的差異大於一影像差異閥值，決定忽略母影像VF(N+1)及其子區域影像VF(N+1)_1~VF(N+1)_B，以維持影像群組GP1~GP8的移動程度值以影像的數量不變。舉例而言，影像處理器410計算母影像VF31以及VF30各像素數據之間的絕對差值，當累加各像素的絕對差值大於該影像差異閥值時，影像處理器410決定忽略母影像VF31以及其中的子區域影像VF31_1~VF31_B，以維持影像群組GP1~GP8的移動程度值以及影像數量不變。另外，由於當物件正在移動進入至關注區域ROIA時，子區域影像的特徵數據以及移動程度值會比較不穩定，較容易造成誤判，因此當影像處理器410接收母影像VF(N+1)且偵測到母影像VF(N+1)於關注區域ROIA的邊界有移動的區塊時，影像處理器410可忽略子區域影像VF(N+1)_A，以維持影像群組GP1~GP8的移動程度值以影像的數量不變。如此可更進一步地降低誤判率。
此外，本發明也可與目標物件偵測方法整合，藉由本發明的方法可提高各種目標前景物件偵測的正確率。舉例而言，影像處理器410或1010藉由不同的目標物件偵測方法可偵測關注區域的子區域影像中不同的物件類別，如行人偵測、車輛偵測等，以得到各子區域影像的目標物件特徵值。以下以目標物件為行人的實施例作更進一步地說明。
請參照圖15以及圖16，圖15為假設關注區域ROIC於時段T1~T30中有一靜止的人形立牌時的子區域影像VF1_C~VF30_C，圖16為子區域影像VF1_C~VF30_C分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。假設行人偵測方法針對每張子區域影像中的人形立牌所計算得到的行人特徵值是1，因此影像群組GP6累計子區域影像VF1_C~VF30_C的行人特徵值是30。傳統的行人偵測方法比較行人特徵值30以及一目標物件閥值，以判斷關注 區域ROIC是否有前景行人，假設目標物件閥值為5，則此時傳統的行人偵測方法會因靜止的人形立牌誤判關注區域ROIC中分類於影像群組GP4的子區域影像VF1_C~VF30_C皆有行人，也就是說，傳統的行人偵測方法會誤判子區域影像VF1_C~VF30_C皆有目標前景物件。相較於傳統的行人偵測方法，本發明所提供的方法除了一影像群組的行人特徵值之外，會同時比較該影像群組的移動程度值與移動閥值。當該影像群組的行人特徵值大於目標物件閥值且該影像群組的移動程度值大於移動閥值時，本發明所提供的方法判斷分類至該影像群組的子區域影像中有目標前景物件；當該影像群組的行人特徵值大於目標物件閥值且該影像群組的移動程度值小於或等於移動閥值時，本發明所提供的方法判斷分類至該影像群組的子區域影像中無目標前景物件。由於人形立牌於時段T1~T30中皆靜止不動，因此影像群組GP6的移動程度值是0。設定移動閥值等於5，由於影像群組G6的移動程度值0小於移動閥值5，因此本發明所提供的方法判斷所有的影像群組皆沒有行人。由上述說明可知，傳統的行人偵測方法對於畫面中靜止的人形立牌容易產生誤判，然而，由於本發明的方法考慮了移動程度值的資訊，因此本發明的方法可以真正分出在影像中行走的行人。
此外，請參照圖17以及圖18，圖17為假設關注區域ROID於時段T1~T30中有一行人移動進入白底背景時的子區域影像VF1_D~VF30_D，圖18為子區域影像VF1_D~VF30_D分類至各影像群組的影像數量、移動程度值以及行人特徵值的統計表。由圖17可看出，在時段T1~T10所對應的子區域影像VF1_D~VF10_D中，行人在關注區域ROID的範圍之外，此時，子區域影像VF1_D~VF10_D皆為白底背景，因此影像群組GP8的移動程度值以及行人特徵值皆為0。在時段T11~T12所對應的子區域影像VF11_D~VF12_D中，行人正在移動中，且有少部分開始進入關注區域ROID的範圍，但是不具備足夠的行人特徵，因此影像群組GP7的移動 程度值為3且的行人特徵值為0。在時段T13~T16所對應的子區域影像VF13_D~VF15_D中，行人已完全關注區域ROID的範圍之內，但行人仍在移動，在時段T16~T30所對應的子區域影像VF16_D~VF30_D中，行人完全在關注區域ROID的範圍之內且停止不動，因此影像群組GP6的移動程度值為12且行人特徵值為18。設定移動閥值等於5，由於影像群組G6的移動程度值12大於移動閥值5，且行人特徵值18大於目標物件閥值5，因此本發明所提供的方法判斷影像群組G6為具有目標前景物件的影像群組。也就是說，即使目標前景物件移動進入關注範圍後靜止不動，本發明所提供的方法可正確地判斷關注區域ROID的各子區域影像是否有前景行人。
值得注意的是，當本發明所提供的方法正確地判斷各關注區域內的子區域影像是否有前景物件時，可根據此資訊作更進一步地利用。舉例而言，因為使用者往往更關注畫面中動的人，因此影像壓縮電路430的碼率也可以根據關注區域內是否有前景行人調整，當一關注區域內的子區域影像分類至具有前景行人的影像群組時，針對母影像的壓縮處理，會增加該關注區域的碼率；當該關注區域內的子區域影像分類至不具有前景行人的影像群組時，會減少該關注區域的碼率。此外，上面實施例中的物件偵測並不限於一種，本發明的方法可同時運行多種目標物件偵測，只要把目標物件偵測的種類擴充即可。同時運行多種的目標物件偵測可以讓使用者對於母影像中各個關注區域可以有不同的關注的目標物件種類，或者使用者可以在串流中動態切換關注的目標物件種類而使此系統會自適應調整分配串流的碼率至使用所關注的目標物件種類的部分，帶給使用者極大的便利。
綜上所述，本發明提供一種前景及背景影像判斷方法。該方法包含 產生N個母影像中一關注區域內的N個子區域影像的特徵數據、根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組、根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值，以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組。藉由本發明所提供的方法，即使有前景物件停止移動並停留在影像裝置的視野範圍，仍可正確地判斷出前景影像及背景影像，帶給使用者更大的方便。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
300:方法
310~340:步驟

Claims (18)

  1. 一種判斷前景及背景影像的方法，包含：產生N個母影像中一關注區域內的N個子區域影像的特徵數據；根據該N個母影像中的一第一母影像的複數個區塊的移動向量以及一第二母影像的複數個區塊的移動向量，產生該第一母影像中的物件資訊；根據該第一母影像於該關注區域內的物件的大小以及所佔的移動的區塊的數量，得到該關注區域於一第一時段內屬於有物件移動的區塊的數量，以作為該N個子區域影像中的一第一子區域影像的移動程度值；根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組；根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值；以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組；其中M以及N皆表示正整數。
  2. 如申請專利範圍第1項所述的方法，其中分類至背景影像群組的子區域影像為背景影像，且分類至前景影像群組的子區域影像為前景影像。
  3. 如申請專利範圍第1項所述的方法，其中該M個影像群組分別對應於M個數據區段。
  4. 如申請專利範圍第3項所述的方法，其中根據該N個子區域影像的特 徵數據，將該N個子區域影像分類至該M個影像群組中的影像群組包含：根據該N個子區域影像的特徵數據分別與該M個數據區段的代表性特徵數據之間的歐式距離，將該N個子區域影像分類至該M個影像群組中的影像群組。
  5. 如申請專利範圍第1項所述的方法，其中產生該N個母影像中該關注區域內的該N個子區域影像的特徵數據包含：根據該N個子區域影像的複數個像素數據，產生該N個子區域影像的亮度平均值、色座標平均值，或是亮度分佈數據。
  6. 如申請專利範圍第1項所述的方法，另包含：根據該N個子區域影像的複數個區塊的移動向量，得到該N個子區域影像中移動的區塊的數量，以作為該N個子區域影像的移動程度值。
  7. 如申請專利範圍第6項所述的方法，另包含：比較該N個母影像中的相鄰的母影像，以得到該N個子區域影像的該複數個區塊的移動向量。
  8. 如申請專利範圍第1項所述的方法，另包含：當接收一第(N+1)母影像時，產生該第(N+1)母影像的該關注區域內的一第(N+1)子區域影像的特徵數據；根據該第(N+1)子區域影像的特徵數據，將該第(N+1)子區域影像分類至該M個影像群組中的一第一影像群組；以及將該第一影像群組的移動程度值加上該第(N+1)子區域影像的移動程度值。
  9. 如申請專利範圍第8項所述的方法，另包含：將該N個子區域影像中的該第一子區域影像所屬的影像群組的移動程度值減去該第一子區域影像的移動程度值。
  10. 如申請專利範圍第1項所述的方法，其中根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組包含：比較該M個影像群組的影像數量與一數量閥值，以及比較該M個影像群組的移動程度值與一移動閥值，以判斷各影像群組屬於背景影像群組或前景影像群組。
  11. 一種判斷前景及背景影像的方法，包含：產生N個母影像中一關注區域內的N個子區域影像的特徵數據；根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組；根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值；當接收一第(N+1)母影像時，根據該N個母影像中的一第N母影像以及該第(N+1)母影像的差異，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變；以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組；其中M以及N皆表示正整數。
  12. 如申請專利範圍第11項所述的方法，其中當接收該第(N+1)母影像 時，根據該N個母影像中的該第N母影像以及該第(N+1)母影像的差異，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變包含：當該N個母影像中的該第N母影像以及該第(N+1)母影像的特徵數據的差異大於一影像差異閥值，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變。
  13. 一種判斷前景及背景影像的方法，包含：產生N個母影像中一關注區域內的N個子區域影像的特徵數據；根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組；根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值；當接收一第(N+1)母影像且該第(N+1)母影像的該關注區域的邊緣有移動的區塊時，決定維持該M個影像群組的移動程度值以及各影像群組內的影像的數量不變；以及根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組；其中M以及N皆表示正整數。
  14. 如申請專利範圍第13項所述的方法，另包含：當接收該第(N+1)母影像時，根據該第(N+1)母影像於該關注區域內的子區域影像屬於背景影像群組或前景影像群組，調整壓縮該第(N+1)母影像時的一碼率；以及根據該碼率，壓縮該第(N+1)母影像，以產生一第一輸出訊號。
  15. 如申請專利範圍第13項所述的方法，另包含：當該第(N+1)母影像於該關注區域內的子區域影像屬於前景影像群組時，壓縮該第(N+1)母影像於該關注區域內的子區域影像，產生一第二輸出訊號。
  16. 如申請專利範圍第13項所述的方法，另包含：根據該第(N+1)母影像於該關注區域內的子區域影像屬於前景影像群組的資訊，產生一第二輸出訊號。
  17. 一種判斷前景及背景影像的方法，包含：產生N個母影像中一關注區域內的N個子區域影像的特徵數據；根據該N個子區域影像的特徵數據，將該N個子區域影像分類至M個影像群組中的影像群組；根據該N個子區域影像內的移動區域，得到該M個影像群組的移動程度值；根據該M個影像群組的移動程度值以及各影像群組內的影像的數量，判斷各影像群組屬於背景影像群組或前景影像群組；在該N個母影像的該關注區域的子區域影像中，偵測目標物件，以得到各子區域影像的目標物件特徵值；根據各子區域影像的目標物件特徵值，得到各影像群組的目標物件特徵值；以及根據各影像群組的移動程度值以及目標物件特徵值，得到各影像群組中屬於具有目標前景物件的影像群組，其中當該M個影像群組中的一第一影像群組的目標物件特徵值大於一目標物件閥值，且該第一影像群組的移動程度值大於移動閥值時，判斷該第一影像群組為屬於具有目標前景物件的影像群組。
  18. 如申請專利範圍第17項所述的方法，另包含：當該關注區域內子區域影像分類至具有目標前景物件的影像群組時，增加壓縮該關注區域的碼率。
TW108126871A 2019-05-29 2019-07-30 前景及背景影像判斷方法 TWI716049B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910455514.9A CN112017214B (zh) 2019-05-29 2019-05-29 前景及背景影像判断方法
CN201910455514.9 2019-05-29

Publications (2)

Publication Number Publication Date
TW202044197A TW202044197A (zh) 2020-12-01
TWI716049B true TWI716049B (zh) 2021-01-11

Family

ID=73500910

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126871A TWI716049B (zh) 2019-05-29 2019-07-30 前景及背景影像判斷方法

Country Status (3)

Country Link
US (1) US11328431B2 (zh)
CN (1) CN112017214B (zh)
TW (1) TWI716049B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190311B (zh) * 2022-09-08 2022-11-15 湖北工业大学 一种安防监控视频压缩存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201028964A (en) * 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
TW201320715A (zh) * 2011-11-01 2013-05-16 Acer Inc 影像產生裝置及影像調整方法
US9917988B2 (en) * 2014-04-09 2018-03-13 Mediatek Inc. Method for detecting occlusion areas
US10091386B2 (en) * 2016-11-16 2018-10-02 Mstar Semiconductor, Inc. Circuits for determining parameters for controlling an image sensor of an image capturing device and associated method

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US7865015B2 (en) * 2006-02-22 2011-01-04 Huper Laboratories Co. Ltd. Method for video object segmentation
JP2008102589A (ja) * 2006-10-17 2008-05-01 Toa Corp 動画像処理装置および動画像処理方法ならびに動画像処理プログラム
CN101930610B (zh) * 2009-06-26 2012-05-02 思创影像科技股份有限公司 使用适应性背景模型的移动物体侦测方法
TWI475882B (zh) * 2009-12-30 2015-03-01 Altek Corp Motion detection method using the adjusted digital camera of the shooting conditions
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
US9681125B2 (en) * 2011-12-29 2017-06-13 Pelco, Inc Method and system for video coding with noise filtering
JP5962297B2 (ja) * 2012-07-25 2016-08-03 大日本印刷株式会社 カメラの撮影視野変動検知装置
US10462365B1 (en) * 2013-03-14 2019-10-29 Hrl Laboratories, Llc Low power surveillance system
US9158985B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Method and apparatus for processing image of scene of interest
US9286690B2 (en) * 2014-03-14 2016-03-15 National Taipei University Of Technology Method and apparatus for moving object detection using fisher's linear discriminant based radial basis function network
US9123133B1 (en) * 2014-03-26 2015-09-01 National Taipei University Of Technology Method and apparatus for moving object detection based on cerebellar model articulation controller network
US9349193B2 (en) * 2014-03-31 2016-05-24 National Taipei University Of Technology Method and apparatus for moving object detection using principal component analysis based radial basis function network
JP6638723B2 (ja) * 2015-03-04 2020-01-29 ノーリツプレシジョン株式会社 画像解析装置、画像解析方法、及び、画像解析プログラム
SG11201802247XA (en) * 2016-12-09 2018-07-30 Hitachi Int Electric Inc Marine intrusion detection system and method
US10210392B2 (en) * 2017-01-20 2019-02-19 Conduent Business Services, Llc System and method for detecting potential drive-up drug deal activity via trajectory-based analysis
US10839520B2 (en) * 2017-03-03 2020-11-17 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Eye tracking applications in computer aided diagnosis and image processing in radiology
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data
US10552962B2 (en) * 2017-04-27 2020-02-04 Intel Corporation Fast motion based and color assisted segmentation of video into region layers
KR20190004010A (ko) * 2017-07-03 2019-01-11 삼성에스디에스 주식회사 전경 추출 방법 및 장치
US10860836B1 (en) * 2018-11-15 2020-12-08 Amazon Technologies, Inc. Generation of synthetic image data for computer vision models
KR102008482B1 (ko) * 2018-11-21 2019-08-07 제주대학교 산학협력단 Cctv 영상 스마트 감시 시스템 및 그 방법
CN113228101B (zh) * 2018-12-25 2024-05-10 浙江大华技术股份有限公司 用于图像分割的系统和方法
KR102597518B1 (ko) * 2019-02-20 2023-11-03 삼성전자주식회사 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법
US10909349B1 (en) * 2019-06-24 2021-02-02 Amazon Technologies, Inc. Generation of synthetic image data using three-dimensional models
US11109586B2 (en) * 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
US11354940B2 (en) * 2020-03-31 2022-06-07 Konica Minolta Business Solutions U.S.A., Inc. Method and apparatus for foreground geometry and topology based face anti-spoofing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201028964A (en) * 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
TW201320715A (zh) * 2011-11-01 2013-05-16 Acer Inc 影像產生裝置及影像調整方法
US9917988B2 (en) * 2014-04-09 2018-03-13 Mediatek Inc. Method for detecting occlusion areas
US10091386B2 (en) * 2016-11-16 2018-10-02 Mstar Semiconductor, Inc. Circuits for determining parameters for controlling an image sensor of an image capturing device and associated method

Also Published As

Publication number Publication date
CN112017214B (zh) 2024-08-02
US11328431B2 (en) 2022-05-10
CN112017214A (zh) 2020-12-01
US20200380698A1 (en) 2020-12-03
TW202044197A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
US10491895B2 (en) Fast and robust human skin tone region detection for improved video coding
US9179071B2 (en) Electronic device and image selection method thereof
JP2633694B2 (ja) 人数検出装置
Karaman et al. Comparison of static background segmentation methods
CN109478329B (zh) 图像处理方法和装置
CN115298638A (zh) 用于基于手势控制设备的方法和系统
JPH08241414A (ja) 動物体検出・追跡装置と閾値決定装置
JP2001229390A (ja) ピクセル化されたイメージをセグメント化する方法および装置
KR20170088227A (ko) 영상에서의 전경 검출 장치 및 방법
JP2011053959A (ja) 画像処理装置、被写体判別方法、プログラム及び記憶媒体
US20070274402A1 (en) Application of short term and long term background scene dynamics in motion detection
Yu et al. A robust method for detecting and counting people
Surkutlawar et al. Shadow suppression using rgb and hsv color space in moving object detection
US8311269B2 (en) Blocker image identification apparatus and method
TWI716049B (zh) 前景及背景影像判斷方法
JP7096175B2 (ja) オブジェクト抽出方法および装置
JP2016095701A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2020141588A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6591349B2 (ja) 動体検知システム及び動体検知方法
CN108711164B (zh) 一种基于LBP和Color特征的运动检测方法
JP3573895B2 (ja) 動物体抽出装置
JP2012226403A (ja) 画像領域追跡装置、画像領域追跡方法、および、コンピュータ・プログラム
CN114567794B (zh) 一种直播视频背景替换方法
US20240312208A1 (en) Action detection system for dark videos using spatio-temporal features and bidirectional encoder representations from transformers
JP2020160992A (ja) 領域抽出装置及びプログラム