TWI390465B - 用於背景去除之影像處理方法 - Google Patents

Description

用於背景去除之影像處理方法

本發明係有關於一種用以去除背景之影像處理技術，尤指一種可去除背景與前景陰影的影像處理方法。同時此一技術亦包含陰影去除方式，可得到較佳的背景去除之影像。

在用以去除背景之影像處理技術中，背景移除常用於監視器的影像處理或是有著高度保密性的視訊會議中，然而，現今常見的背景移除技術僅能提供視覺品質不佳的影像，尤其在前景物體的陰影與前景影像邊緣的解析度方面都未能提供良好的視訊影像，如何克服上述的問題仍是這個領域的一大課題。

依據本發明之一實施例，其提供了一種影像處理方法。該影像處理方法包含有：接收一輸入影像；參照一第一門檻值，比較一參考背景與該輸入影像以決定出位於該輸入影像中之一第一前景影像；依據該第一前景影像來決定出位於該輸入影像中不同於該第一前景影像之一第二前景影像；以及參照不同於該第一門檻值之一第二門檻值，比較該參考背景與該第二前景影像以決定出該輸入影像中之一第三前景影像。

依據本發明之另一實施例，其提供了一種影像處理方法。該影像處理方法包含有：接收對應一輸入影像之一前景影像；依據對應該輸入影像之一參考背景，偵測該前景影像中至少一前景物件的陰影部分以產生一偵測結果；以及依據該偵測結果來決定該輸入影像中之一第一前景影像。

依據本發明之再另一實施例，其提供了一種影像處理方法。該影像處理方法包含有：接收對應一輸入影像之一前景影像；偵測該前景影像中至少一前景物件的邊緣以產生一偵測結果；以及依據該偵測結果來決定該輸入影像中之一第一前景影像。

依據上述實施例，本發明提供了一種影像處理方法，其可移除背景影像與前景陰影，並能在取得之前景上成功地作出邊緣處理以得到一個較佳的前景影像。

本發明揭露了一種可成功自一輸入影像取出前景的機制。首先，請參照第1圖，第1圖為應用本發明自輸入影像取出前景之方法的前景產生模組100的示意圖。前景產生模組100包含有一前景擷取單元101、一參考背景產生單元102、一亮度產生單元104、一前景擴張單元103、一前景偵測單元105、一擴張侵蝕單元107以及一對照表110，其中前景產生模組100以及各內部元件皆可以實體電路(硬體)抑或程式碼(軟體)的方式來實現，亦即任何採用本發明自輸入影像取出前景之演算法的影像處理架構均屬本發明的範疇。參考背景產生單元102係用以依據一預設影像IMG_PRE　或輸入影像IMG_IN來產生一參考背景BG_REF，其中參考背景BG_REF包含有複數個處理單位分別對應至輸入影像IMG_IN所包含之複數個處理單位，且每一處理單位包含有複數個像素。前景擷取單元101係耦接於參考背景產生單元102與亮度產生單元104，用以依據輸入影像IMG_IN與參考背景BG_REF來產生一第一前景影像FG_1。亮度產生單元104係耦接於參考背景產生單元102與前景擷取單元101，用以產生複數個關於輸入影像IMG_IN與參考背景BG_REF的亮度值，分別對應到輸入影像IMG_IN中複數個處理單位與參考背景BG_REF中複數個處理單位。前景擴張單元103係耦接於前景擷取單元101，用以接收第一前景影像FG_1並調整其為一第二前景影像FG_2。前景偵測單元105係耦接於前景擴張單元103，用以接收第二前景影像FG_2，並依據第二前景影像FG_2與參考背景BG_REF來產生一第三前景影像FG_3。擴張侵蝕單元107包含有一擴張單元1071以及一侵蝕單元1072，用以接收第三前景影像FG_3並決定是否輸出侵蝕單元1072的處理結果以作為一第四前景影像FG_4，其中擴張單元1071耦接於前景偵測單元105，用以接收一前景影像並調整其為一擴張前景影像，而侵蝕單元1072則耦接於擴張單元1071，用以接收該擴張前景影像並調整其為一侵蝕前景影像。對照表110包含有複數個儲存單元，分別對應至輸入影像IMG_IN的複數個處理單位(亦對應到參考背景BG_REF的複數個處理單位)，且每一儲存單元係用來儲存代表前景之一第一代碼或代表背景之一第二代碼。

請配合第1圖來參照第2圖，第2圖為本發明自輸入影像取出前景影像之方法的流程簡圖。倘若大體上可達到相同的結果，並不需要一定遵照第2圖所示之流程中的步驟順序來進行，且第2圖所示之步驟不一定要連續進行，亦即，其他步驟亦可插入其中。本發明取出前景的步驟概述如下：S201：分別比較一輸入影像內IMG_IN之所有處理單位之亮度值與一參考背景BG_REF內之所有相對應處理單位之亮度值，並將所有比較結果儲存到一對照表110中所有相對應儲存單元中；S203：依照對照表110中該些比較結果，來決定出一第一前景影像FG_1；S205：依照對照表中110該些比較結果，執行一前景擴張程序以更新對照表110；S207：依據更新後之對照表110來決定一第二前景影像FG_2；S209：分別比較第二前景影像FG_2內之所有處理單位之亮度值與參考背景內BG_REF之所有相對應處理單位之亮度值，並依據所有比較結果來更新對照表110；S211：依據更新後之對照表110來決定一第三前景影像FG_3；S213：依照對照表110中該些比較結果，執行一前景擴張程序以更新對照表110；S215：依照對照表110中該些比較結果，執行一前景侵蝕程序以更新對照表110；S217：判斷該前景擴張程序與該前景侵蝕程序是否已達到一預定循環次數?若已達到該預定循環次數，則進行步驟S219；若尚未達到該預定循環次數，則回到步驟S213；S219：依據更新後之對照表110來決定一第四前景影像FG_4。

由於當一前景物體在參考背景BG_REF中出現時，該前景物體所占用的像素通常會與該前景物體尚未出現時的像素不同，尤其是在亮度上會有極大的差異，是故前景產生模組100在接收到輸入影像IMG_IN後，會應用亮度產生單元104來分別處理輸入影像IMG_IN以及背景影像BG_REF，為了節省處理時間，通常會以複數個像素所組成的處理單位為基準來得到對應輸入影像IMG_IN以及背景影像BG_REF內每一處理單位的亮度值(舉例來說，該亮度值可為該處理單位內所有像素亮度的總和或是平均)，然後前景擷取單元101會分別比較輸入影像IMG_IN內之所有處理單位之亮度值與參考背景BG_REF內之所有相對應處理單位之亮度值；若輸入影像IMG_IN內之一處理單位之亮度值較參考背景BG_REF內之一相對應處理單位之亮度值的差量大於或等於一第一門檻值，則指定第一代碼給對照表110中一相對應儲存單元；反之，若輸入影像IMG_IN內之該處理單位之亮度值較參考背景BG_REF內之該相對應處理單位之亮度值的差量小於該第一門檻值，則指定第二代碼給該照表110中該相對應儲存單元(步驟S201)。之後，前景擷取單元101便依據對照表110內具有第一代碼之每一儲存單元來決定出第一前景影像FG_1，意即，前景擷取單元101僅輸出輸入影像IMG_IN中，對應第一代碼之所有處理單位以作為第一前景影像FG_1來當作一個初步的結果(步驟S203)。請參照第3圖，第3圖為所得到的第一前景影像FG_1以及相對應的一參考背景BG_REF與一輸入影像IMG_IN之一實施例的示意圖，由圖可知，上述步驟可確實得到一個粗略的前景處理結果。

為了得到更進一步的前景處理結果，本實施例另應用了前景擴張單元103，其在接收到第一前景影像FG_1後，依據對照表110對每一儲存單元執行前景擴張程序：若第一前景影像FG_1中對應一特定儲存單元之一特定處理單位的水平方向上具有對應第一代碼之鄰近處理單位於該特定處理單位左方與右方一水平距離內的數量均超過一水平門檻值，則指定第一代碼給該特定儲存單元來取代原本的第二代碼；接著，在對每一儲存單元進行完水平擴張程序後，若該第一前景影像FG_1對應一特定儲存單元之一特定處理單位的垂直方向上，對應第一代碼之鄰近處理單位於該特定處理單位上方與下方一垂直距離內的數量均超過一垂直門檻值，則指定第一代碼給該特定儲存單元來取代原本的第二代碼(步驟S205)。之後，前景擴張單元103依據對照表110內具有第一代碼之每一儲存單元來決定出第二前景影像FG_2(步驟S207)。請注意，在此並不限定須先進行水平方向的擴張再進行垂直方向的擴張，而先進行垂直方向的擴張再進行水平方向的擴張的設計變化亦落在本發明的範疇之內。

舉例來說，第4圖繪示了本實施例中的對照表110依序進行水平擴張與垂直擴張程序以得到對應一較佳前景影像的對照表110。在此範例中，內有標號1之方格為具有第一代碼之儲存單元，在此先稱之為前景方格，而內有標號2之方格為具有第二代碼之儲存單元，在此先稱之為背景方格。當一背景方格的水平方向上，與該背景方格左方與右方一水平距離內相鄰之前景方格(該水平距離等於一處理單位)的數量均大於1時(水平門檻值等於1)，則將該背景方格改為內含有標號1的前景方格；同理，在處理完所有背景方格的水平擴張程序後，當一背景方格的垂直方向上，與該背景方格上方與下方一垂直距離內相鄰之前景方格(該垂直距離等於一處理單位)的數量均大於1時(垂直門檻值等於1)，則將該背景方格改為內含有標號1的前景方格，由此一來，原本在步驟S201中未能正確判定的前景影像也能確實地呈現出來(如第4圖之最後結果所示)。請注意，上述的水平距離、垂直距離、水平門檻值與垂直門檻值可依設計上的考量而加以修改，比方說採用一較寬鬆的擴張程序時，水平距離與垂直距離可設定為三個處理單位，而水平門檻值與垂直門檻值可設定為1，如此一來，便可得到一擴張程度較高的一前景影像。再請參照第5圖，第5圖為依據一實施例所得到的一第二前景影像FG_2以及相對應的一輸入影像IMG_IN的示意圖。與第3圖所示之第一前景影像FG_1比較，可知上述擴張程序可確實得到一較佳的前景影像。

然而，擴張程序有時會導致錯誤的前景影像結果，請參照第6圖，第6圖為依據另一實施例所得到的第二前景影像FG_2以及相對應的輸入影像IMG_IN與參考背景影像BG_REF的示意圖。第6圖中的第二前景影像FG_2會經由前景擴張程序，將被前景影像環繞的一背景影像誤判為一前景影像而擷取出來，因而得到一個錯誤的前景影像結果。為避免發生這一類的誤判，前景偵測模組105在接收到第二前景影像FG-2後，會再次分別比較第二前景影像FG_2內之所有處理單位之亮度值與參考背景BG_REF內之所有相對應處理單位之亮度值，若第二前景影像內FG_2之一處理單位之亮度值較參考背景BG_REF內之一相對應處理單位之亮度值的差量大於或等於一第二門檻值，則指定第一代碼給對照表110中一相對應儲存單元；反之若第二前景影像FG_2內之該處理單位之亮度值較參考背景BG_REF內之該相對應處理單位之亮度值的差量小於該第二門檻值，則指定第二代碼給對照表110中該相對應儲存單元(步驟S209)。之後，前景偵測模組105便依據對照表110內具有第一代碼之每一儲存單元來決定出第三前景影像FG_3(步驟S211)。在本實施例中，該第二門檻值較該第一門檻值來得小，其用意在於讓前景擷取單元101得以較嚴格的條件，擷取出初步的第一前景影像FG_1，再經由前景擴張單元103找出無法通過嚴格條件的前景影像來決定第二前景影像FG_2，而後前景偵測單元105則以較寬鬆的條件去除前景擴張單元103誤判的影像，並同時保留已正確找出的前景影像。再請參照第7圖，第7圖為依據一實施例所得到的一第三前景影像以及相對應的一輸入影像的示意圖，與第6圖所示之第二前景影像FG_2比較，可知上述程序可確實得到一較佳的前景影像。

然而，本發明更進一步地應用擴張侵蝕單元107來進行一擴張侵蝕程序以得到一較佳之前景影像。擴張侵蝕單元107中的擴張單元1071首先依照對照表110執行一前景擴張程序以更新對照表110來得到一前景擴張影像，相關程序與步驟S205相似，故於此不再贅述(步驟S213)。接著，擴張侵蝕單元107中的侵蝕單元10721再依照擴張單元1071所更新過的對照表110來對每一儲存單元執行一前景侵蝕程序：以該前景擴張影像中對應一特定儲存單元之一特定處理單位來說，若對應第一代碼且相距一預定距離內之鄰近處理單位的數量小於一侵蝕門檻值，則指定第二代碼給該特定儲存單元來取代原本的第一代碼(步驟S215)。舉例來說，第8圖繪示了本實施例中一對照表110進行侵蝕程序以得到對應一較佳的前景影像之對照表110。在此範例中，內含有標號1之方格為具有第一代碼之儲存單元，在此先稱之為前景方格，而內含有標號2之方格為具有第二代碼之儲存單元，在此先稱之為背景方格；對一特定前景方格來說，當與其相距一處理單位(即預定距離為一處理單位)內之鄰近前景方格的數量小於8時(即侵蝕門檻值等於8)，則將該前景方格改為內含有標號2的背景方格，由此一來，原本在步驟S215中未能正確判定的背景影像也能確實地呈現出來(如第9圖之結果所示)。

此外，在本發明中，為了得到一較佳的前景影像，擴張侵蝕單元107會不斷地依序進行步驟S213、S215中的擴張、侵蝕程序，直到完成一預定擴張侵蝕循環次數為止(步驟S217)。接著，擴張侵蝕單元107再依據更新後之對照表110來決定出一第四前景影像FG_4(步驟S219)。

此外，本發明另提供了一種在一輸入影像中移除至少一前景物體之陰影部分的機制。請參照第10圖，第10圖為應用本發明在輸入影像中移除前景物體之陰影部分的方法的陰影移除模組200的示意圖。陰影移除模組200包含有一陰影偵測單元201、一陰影擴張單元202、一陰影擴張蝕侵單元203以及一對照表210，其中陰影移除模組200以及各內部元件皆可以實體電路(硬體)抑或程式碼(軟體)來實現，亦即任何採用本發明在輸入影像中移除前景物體之陰影部分的演算法的影像處理架構均屬本發明的範疇。陰影偵測單元201用以接收對應該輸入影像之一前景影像FG，依據對應該輸入影像之一參考背景BG_REF，偵測前景影像FG中至少一前景物件的陰影部分以產生一偵測結果並依據該偵測結果來決定該輸入影像中之一第一前景影像FG_1。陰影擴張單元202係耦接於陰影偵測單元201，用以接收第一前景影像FG_1並調整其為一第二前景影像FG_2。擴張侵蝕單元203包含有一陰影擴張單元2031以及一陰影侵蝕單元2032，用以接收第二前景影像FG_2並決定是否輸出陰影侵蝕單元2032的處理結果來作為一第三前景影像FG_3；其中陰影擴張單元2031耦接於陰影偵測單元201，用以接收一前景影像並調整其為一陰影擴張影像；而陰影侵蝕單元2032耦接於陰影擴張單元2031，用以接收該陰影擴張影像並調整其為一陰影侵蝕影像。對照表210包含有複數個儲存單元，分別對應至該輸入影像之複數個處理單位(亦對應到參考背景BG_REF之複數個處理單位)，且每一儲存單元係用來儲存代表前景之一第一代碼或代表非前景之一第二代碼。

請配合第10圖來一併參照第11圖，第11圖為本發明自一輸入影像之一前景影像中移除陰影之方法的流程簡圖。倘若大體上可達到相同的結果，並不需要一定遵照第11圖所示之流程中的步驟順序來進行，且第11圖所示之步驟不一定要連續進行，亦即，其他步驟亦可插入其中。本發明移除陰影的步驟概述如下：S301：分別比較一前景影像FG內之所有處理單位之亮度值與一參考背景BG_REF內之所有相對應處理單位之亮度值以產生一亮度比較結果；S303：分別比較前景影像FG內之所有處理單位之色度值與參考背景BG_REF內之所有相對應處理單位之色度值以產生一色度比較結果；S305：分別比較前景影像FG內之所有處理單位之亮度自相關值(autocorrelation)與參考背景BG_REF內之所有相對應處理單位之亮度自相關值以產生一亮度自相關值比較結果；S307：依據該亮度比較結果、該色度比較結果以及該亮度自相關值比較結果來更新對照表210；S309：依據更新後之對照表210來決定一第一前景影像FG_1；S311：依照對照表210來執行一陰影內部擴張程序以更新對照表210；S313：依據更新後之對照表210來決定一第二前景影像FG_2；S315：依照對照表210來執行一陰影擴張程序以更新對照表210；S317：依照對照表210來執行一陰影侵蝕程序以更新對照表210；S319：判斷該陰影擴張程序與該陰影前景侵蝕程序是否已達到一預定循環次數?若已達到一預定循環次數，則進行步驟S219；若未達到一預定循環次數，回到步驟S313；S321：依據更新後之對照表210來決定一第三前景影像FG_3。

當一前景物體的一陰影落在一部分背景影像時，該部分背景影像會與該陰影未出現時的影像(也就是在參考背景BG_REF中的該部分背景影像)在亮度、色度以及紋路(亮度自相關性)上會有相當程度的相似。因此，陰影偵測單元201會在接收到前景影像FG後，以上述的亮度、色度以及亮度自相關性來決定前景影像FG中的陰影部分。為了節省處理時間，通常會以複數個像素所組成的處理單位為基準來進行上述步驟。首先，陰影偵測單元201會針對前景影像FG中每一處理單位(即於對照表210中具有代表非前景之第二代碼之儲存單位所對應的處理單位)，比較前景影像FG之該處理單位的亮度值與參考背景BG_REF內之一相對應處理單位的亮度值，以判斷當前景影像FG中該處理單位的亮度值是否皆低於參考背景BG_REF內之該相對應處理單位之亮度值(步驟S301)。接下來，陰影偵測單元201會比較前景影像FG中該處理單位中每一像素的色度值與位於參考背景BG_REF內該相對應處理單位中相對應像素的色度值，以判斷該處理單位與參考背景BG_REF中色度值的差距小於一色度門檻值的像素的數量是否超過一陰影門檻值(步驟S303)。再來，陰影偵測單元201會依據該處理單位以及其鄰近處理單位之所有像素的亮度值來產生複數個第一亮度自相關值，並依據參考背景BG_REF內之一相對應處理單位以及其鄰近處理單位之所有像素的亮度值來產生複數個第二亮度自相關值，而後，陰影偵測單元201會判斷該複數個第一亮度自相關值與該複數個第二亮度自相關值中，亮度自相關值相同的個數是否超過一陰影門檻值(步驟S305)。在完成上述三項比較之後，陰影偵測單元201便依據該亮度比較結果、該色度比較結果以及該亮度自相關值比較結果來更新對照表210(步驟S307)。

請參照第12圖以及第13圖來進一步了解步驟S305中得到亮度自相關值比較結果的運作。為了求得較詳盡的亮度自相關值(紋路)，本發明之一實施例中係以一處理單位為中心，並將該處理單位相距一處理單位內的鄰近處理單位皆加入計算，假設所採用的每一處理單位內包含有4個像素，則在此對該處理單位的計算會包含有36個像素之亮度值。第12圖為依據本發明一實施例以一處理單位與其鄰近處理單位之所有像素的亮度值來產生複數個亮度自相關值的示意圖，而第13圖為依據12圖中所有像素的亮度值所產生之亮度自相關值的示意圖。於第12圖中，每個方格代表一個處理單位，每個圓圈代表一個像素，而每個像素都具有一亮度Pn與一亮度自相關值An，其中n等於0~35。在第13圖的範例中，亮度自相關值An係定義為代表一像素之亮度Pn是否高於相鄰像素亮度值Pn+1的數值，當，An=1；反之，若Pn+1<Pn，An=-1，而最後一個像素之亮度自相關值A35，則是由P35與P0決定，當，A35=1；反之，若P0<P35，A35=-1。最後，經由上述之運算可得到一亮度自相關值An的矩陣，如第13圖所示。請注意，上述第12圖所示之亮度自相關值An的計算程序僅為一可能之實現方式，只要能使結果具有代表相鄰像素亮度差距之關係，亮度自相關值An亦可由其他運算方式來求得，如第14圖即為依據本發明另一實施例以一處理單位與其鄰近處理單位之所有像素的亮度值來產生複數個亮度自相關值的示意圖。

在步驟S305中，陰影偵測單元201在運用上述亮度自相關值之計算後，可分別針對前景影像FG中一處理單位與參考背景BG_REF中一相對應處理單位，得到一第一亮度自相關值(例如Bn)與一第二亮度自相關值(例如Cn)的兩個矩陣，由於這兩個矩陣皆由1與-1所組成，當第一亮度自相關值Bn與相對應之第二亮度自相關值Cn同號時，Bn*Cn=1；反之，當第一亮度自相關值Bn與相對應之第二亮度自相關值Cn異號時，Bn*Cn=-1。而Bn與Cn同號的數目愈多，代表前景影像FG中的該處理單位與參考背景BG_REF中該相對應處理單位的紋路愈相近，是故在實作上，陰影偵測單元201會以ΣBn*Cn大於一陰影門檻值來判定該處理單位是否應隸屬於陰影部分。

在完成亮度、色度以及亮度自相關值比較之後，陰影偵測單元201會依據該些比較結果來決定前景影像FG中每一處理單位是否屬於陰影部分，若陰影偵測單元201判斷該處理單位屬於陰影部分，則指定代表非前景之第二代碼給該特定儲存單元來取代原本代表前景的第一代碼，以更新對照表210(步驟S307)。之後，陰影偵測單元201依據對照表210內具有第一代碼之每一儲存單元來決定出第一前景影像FG_1(步驟S309)。

接下來，陰影內部擴張單元202依據對照表210對每一儲存單元執行一陰影內部擴張程序：若第一前景影像FG_1中對應一特定儲存單元之一特定處理單位的水平方向上具有對應第二代碼之鄰近處理單位於該特定處理單位左方與右方一水平距離內的數量均超過一陰影水平門檻值，則指定第二代碼給該特定儲存單元來取代原本的第一代碼；接著，在對每一儲存單元進行完陰影水平擴張程序後，若第一前景影像FG_1中對應一特定儲存單元之一特定處理單位的垂直方向上，對應第二代碼之鄰近處理單位於該特定處理單位上方與下方一垂直距離內的數量均超過一陰影垂直門檻值，則指定第二代碼給該特定儲存單元來取代原本的第一代碼(步驟S311)。之後，陰影內部擴張單元202便依據更新後的對照表210內具有代表前景之第一代碼的每一儲存單元來決定出第二前景影像FG_2(步驟S313)。請注意，在此並不限定須先進行水平方向的擴張再進行垂直方向的擴張，亦即，先進行垂直方向的擴張再進行水平方向的擴張的設計變化亦落在本發明的範疇之內。

然而，本發明更進一步地應用陰影擴張侵蝕單元203來進行一擴張侵蝕程序以得到一較佳之前景影像。擴張侵蝕單元203中的陰影擴張單元2031首先依照對照表210執行一陰影擴張程序以更新對照表210來得到一陰影擴張影像，相關程序與步驟S311相似，故於此不再贅述(步驟S315)。接著，陰影擴張侵蝕單元203中的陰影侵蝕單元2032再依照陰影擴張單元2031所更新過的對照表110來對每一儲存單元執行一陰影侵蝕程序：以該陰影擴張影像中對應一特定儲存單元之一特定處理單位來說，若對應代表非前景之第二代碼且相距一預定距離內之鄰近處理單位的數量小於一陰影侵蝕門檻值，則指定代表前景之第一代碼給該特定儲存單元來取代原本的第二代碼(步驟S317)。陰影擴張侵蝕單元203會不斷地依序進行步驟S315、S317中的陰影擴張、陰影侵蝕程序，直到完成一預定擴張侵蝕循環次數為止(步驟S319)。接著，陰影擴張侵蝕單元203再依據更新後之對照表210來決定出一第三前景影像FG_3(步驟S321)。

請參照第15圖，第15圖為一實施例所得到的一第一前景影像FG_1以及相對應的一參考背景BG_REF與一前景影像FG的示意圖。由圖可知，上述步驟確實可在一前景影像FG中移除一前景物體之陰影部分。

再者，本發明另提供了一種對一前景影像進行邊緣塑形的機制。請參照第16圖，第16圖為應用本發明對前景影像進行邊緣塑形之方法的邊緣塑形模組300的示意圖。邊緣塑形模組300包含有一邊緣偵測單元301、一邊緣像素偵測單元302、一邊緣塑形單元303以及一對照表310，其中邊緣塑形模組300以及各內部元件皆可以實體電路(硬體)抑或程式碼(軟體)來實現，亦即任何採用本發明對前景影像進行邊緣塑形之演算法的影像處理架構均屬本發明的範疇。邊緣偵測單元301用以接收對應一輸入影像之一前景影像FG，並偵測前景影像FG中至少一前景物件的邊緣以產生一第一偵測結果(其對應第一前景影像FG_1)。邊緣像素偵測單元302耦接於邊緣偵測單元301，用以依據該第一偵測結果來偵測該前景影像中至少一前景物件的邊緣以產生一第二偵測結果(其對應第二前景影像FG_2)。邊緣塑形單元303耦接於邊緣像素偵測單元302，用以依據該第二偵測結果來對第二前景影像FG_2進行一邊緣塑形程序，並輸出一第三前景影像FG_3。此外，請注意，邊緣塑形模組300可依據需求而直接輸出邊緣像素偵測單元302所產生的第二前景影像FG_2，或者輸出邊緣像素偵測單元302所產生的第二前景影像FG_2經由邊緣塑形單元303處理過的第三前景影像FG_3。對照表310則包含有複數個儲存單元，分別對應至該輸入影像之複數個處理單位，每一處理單位包含有複數個像素，且每一儲存單元係用來儲存代表前景之一第一代碼、代表非邊緣前景之一第二代碼或代表背景邊緣之一第三代碼。

請配合第16圖來一併參照第17圖，第17圖為本發明自一輸入影像取出前景的方法的流程簡圖。倘若大體上可達到相同的結果，並不需要一定遵照第17圖所示之流程中的步驟順序來進行，且第17圖所示之步驟不一定要連續進行，亦即，其他步驟亦可插入其中。本發明邊緣塑形的步驟概述如下_： S401：針對一輸入影像中屬於一前景影像的每一處理單位，若該處理單位的鄰近處理單位中屬於前景影像的數量沒有超過一內景門檻值，則將該處理單位歸類為前景非邊緣影像；S403：去除屬於非邊緣前景影像的處理單位，將其他前景影像歸類為前景邊緣影像；S405：針對屬於該前景邊緣影像的每一處理單位，若與該儲存單元的距離小於一特定距離內有一特定處理單位不屬於前景邊緣影像或前景非邊緣影像，將該特定處理單位歸類為背景邊緣影像；S407：針對屬於該背景邊緣影像的每一處理單位，找出該處理單位中所有像素與該處理單位之複數個鄰近像素中具有最高亮度之一像素來作為一參考像素；S409：針對屬於該背景邊緣影像的每一處理單位內每一像素，當該處理單位中像素與該參考像素之亮度差超過一預設門檻值時，將該像素歸類為邊緣像素；反之，將該像素歸類為非邊緣像素；S411：依據該些前景非邊緣影像、該些前景邊緣影像以及該些邊緣像素以輸出一第二前景影像FG_2；S413：針對屬於該背景邊緣影像的每一處理單位，依據該處理單位之鄰近處理單位是否屬於前景邊緣影像來決定是否將該處理單位內的像素歸類為背景像素；S415：依據該些前景非邊緣影像、該些前景邊緣影像以及該些邊緣像素以輸出一第三前景影像FG_3。

邊緣偵測單元301在接收到對應一輸入影像之前景影像FG後，便會進行一侵蝕程序以找出前景影像FG中不屬於邊緣的部分：針對一輸入影像中屬於一前景影像FG(也就是對應具有第一代碼的儲存單元)的每一處理單位，若該處理單位的鄰近處理單位中屬於前景影像的數量沒有超過一內景門檻值，則將該處理單位歸類為前景非邊緣影像，並指定一代表非邊緣前景的第二代碼給該處理單位所對應的儲存單元以取代原本的第一代碼(步驟S401)。如此一來，邊緣偵測單元301在去除屬於非邊緣前景影像的處理單位後，便可求得其他餘下的前景影像即為前景邊緣影像，此時，所有屬於前景邊緣影像的處理單位對應的儲存單元皆具有第一代碼，而屬於前景非邊緣影像的處理單位對應的儲存單元則具有第二代碼(步驟S403)。

為了進一步說明上述的侵蝕程序，請配合第18圖來參照下列之方程式：

β(A )=A -(A Erosed by B)　(1)

在第18圖中，在一輸入影像中，斜線部分即為一前景影像A，而B則是一侵蝕用的遮罩，侵蝕程序首先會將遮罩B應用在輸入影像的每一個處理單位(即每一個方格)，當遮罩B內有任一個處理單位不是屬於前景影像時，該侵蝕程序便將此時遮罩B中心的處理單位歸類為非前景單位(即圖中所示的空白方格)，之後可得到一侵蝕後的前景AθB(即步驟S401的動作)。接下來，在前景影像A中去除侵蝕後的前景AθB便可得到前景影像A的邊緣影像β(A)(即步驟S403的動作)。

接下來，邊緣偵測單元301針對屬於該前景邊緣影像的每一處理單位來進行處理，若以該處理單位為中心，當周遭一特定距離內(例如緊鄰該處理單位的其它處理單位)有一特定處理單位不屬於前景邊緣影像或前景非邊緣影像，則將該特定處理單位歸類為背景邊緣影像，並指定一代表背景邊緣的第三代碼給該特定處理單位所對應之儲存單元(步驟S405)。步驟S405的主要用意在於找出前景邊緣外恰好一個處理單位的背景以利接下來像素等級的處理。接著，邊緣像素偵測單元302會針對屬於該背景邊緣影像(也就是對應具有第三代碼的儲存單元)的每一像素，找出與其距離一個像素的鄰近像素中具有最高亮度之一像素來作為一對應參考像素(步驟S407)。下一步，邊緣像素偵測單元302會在屬於該背景邊緣影像的每一處理單位中，分別比較每一個像素與該對應參考像素的亮度，當其中一個像素與該對應參考像素之亮度差超過一預設門檻值時，邊緣像素偵測單元302便將該像素歸類為邊緣像素並指定一邊緣代碼給該像素；反之，當該像素與該對應參考像素之亮度差未超過一預設門檻值時，則將該像素歸類為非邊緣像素並指定一非邊緣代碼給該像素(步驟S409)。邊緣像素偵測單元302接著依據該些前景非邊緣影像、該些前景邊緣影像以及該些邊緣像素以輸出一第二前景影像FG_2(步驟S411)。

其中，步驟S407、S409的用意在於找出背景影像中屬於前景物體之邊緣的像素。由於屬於邊緣的像素在亮度上通常會較一般像素低，是故步驟S407會在包含一處理單位本身像素與該處理單位鄰近的像素(亦即不屬於該處理單位而位於該處理單位周遭一特定距離內的像素，例如環繞該處理單位之邊界的像素)之中找出最亮的像素(也就是其中最接近屬於非背景像素的一像素)來與其他像素作比較，當該處理單位中一個特定像素與該參考像素之亮度差過大時，即代表該特定像素屬於非背景像素可能性很小；另一方面來說，當該處理單位中一個特定像素與該參考像素之亮度差不大時，即代表該特定像素屬於非背景像素可能性很高。

在得到一初步的第二前景影像FG_2後，邊緣塑形單元303會針對屬於該背景邊緣影像的每一處理單位(也就是對應具有第三代碼的儲存單元)，依據該處理單位之鄰近處理單位是否屬於前景邊緣影像來決定是否將該處理單位內的各個像素歸類為一背景像素(步驟S413)。最後，邊緣塑形單元303依據該些前景非邊緣影像、該些前景邊緣影像以及該些邊緣像素以輸出一第三前景影像FG_3(步驟S415)。舉例來說，請參照第19圖，第19圖係依據本發明邊緣塑形程序之一實施例的示意圖，其中，黑色的圓圈代表背景像素，畫有斜線的圓圈代表邊緣像素或是非邊緣像素，而空白的圓圈則代表屬於前景邊緣影像之一處理單位內的像素，由圖可知，邊緣塑形單元303會於背景邊緣影像的處理單位中，將離屬於前景邊緣影像的處理單位較遠之像素歸類為背景像素而在最後輸出影像時忽略該些背景像素，其他離屬於前景邊緣影像的處理單位較近的像素則保持不變，如此一來，可使最後輸出的影像變得較為平滑。再請參照第20圖，第20圖為依據一實施例所得到的一第二前景影像FG_2、一第三前景影像FG_3以及相對應的一輸入影像IMG_IN的示意圖，比較第二前景影像FG_2與第三前景影像FG_3，可知上述邊緣塑形程序可確實得到一較佳的前景影像。

請注意，上述三種影像處理方法可依據應用上的需求而各自獨立運作或互相搭配應用，比方說，在期望得到一最佳視覺效果的前景時，可同時採用上述的三種方法來實現前景影像的擷取，來獲得一去除陰影並在邊緣有較平滑視覺效果的前景影像，換言之，第1圖所示之前景產生模組100基於第2竹所示之流程所產生之第四前景影像係作為第10圖所示之陰影移除產生模組200與第11圖所示之流程所欲處理的前景影像FG，而第10圖所示之陰影移除產生模組200基於第11圖所示之流程所產生之第三前景影像FG_3則作為第16圖所示之邊緣塑形模組300與第17圖所示之流程所欲處理的前景影像FG，而第16圖所示之邊緣塑形模組300基於第17圖所示之流程所產生之第三前景影像FG_3即為具有最佳視覺效果的前景。

背景去除之影像處理方法例中，更進一步地對一影像(例如上述之移除前景物體之陰影部分後的影像)使用邊緣塑形來得到一較佳的前景影像。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100．．．前景產生模組

101．．．前景擷取單元

102．．．參考背景產生單元

103．．．前景擴張單元

105．．．前景偵測單元

107．．．擴張侵蝕單元

1071．．．擴張單元

1072．．．侵蝕單元

110．．．對照表

S201~S219、S301~S321、S401~S413．．．步驟

200．．．陰影移除模組

201．．．陰影偵測單元

202．．．陰景內部擴張單元

203．．．陰景擴張侵蝕單元

2031．．．陰影擴張單元

2032．．．陰影侵蝕單元

210．．．對照表

300．．．邊緣塑形模組

301．．．邊緣偵測單元

302．．．邊緣像素偵測單元

303．．．邊緣塑形單元

310．．．對照表

第1圖為應用本發明自輸入影像取出前景之方法的前景產生模組的示意圖。

第2圖為本發明自輸入影像取出前景影像之方法的流程簡圖。

第3圖為依據本發明之一實施例所得到的第一前景影像以及相對應的參考背景與輸入影像的示意圖。

第4圖為依據本發明之一實施例對一對照表依序進行水平擴張、垂直擴張程序以得到對應較佳前景影像之對照表的示意圖。

第5圖為依據本發明之一實施例所得到的第二前景影像以及相對應的輸入影像的示意圖。

第6圖為依據本發明之另一實施例所得到的第二前景影像以及相對應的輸入影像與背景影像的示意圖。

第7圖為依據本發明之一實施例所得到的第三前景影像以及相對應的輸入影像的示意圖。

第8圖為依據本發明之一實施例來對一對照表進行一侵蝕程序以得到對應較佳前景影像之對照表的示意圖。

第9圖為依據本發明之一實施例所得到的擴張前景影像、侵蝕前景影像以及相對應的輸入影像的示意圖。

第10圖為應用本發明在輸入影像中移除前景物體之陰影部分的方法的陰影移除模組的示意圖。

第11圖為依據本發明之一實施例自輸入影像之前景影像中移除陰影之方法的流程簡圖。

第12圖為依據本發明之一實施例而以一處理單位與其鄰近處理單位之所有像素的亮度值來產生複數個亮度自相關值的示意圖。

第13圖為經由第12圖中的亮度值所求得之亮度自相關值之矩陣的示意圖。

第14圖即為依據本發明之另一實施例而以一處理單位與其鄰近處理單位之所有像素的亮度值來產生複數個亮度自相關值的示意圖。

第15圖為依據本發明之一實施例上所得到的第一前景影像以及相對應的參考背景與前景影像的示意圖。

第16圖為應用本發明對前景影像進行邊緣塑形之方法的邊緣塑形模組的示意圖。

第17圖為依據本發明之一實施例而自輸入影像取出前景的方法的流程簡圖。

第18圖為影像侵蝕程序的示意圖。

第19圖為本發明邊緣塑形程序之一實施例的示意圖。

第20圖為依據本發明之一實施例所得到的第二前景影像、第三前景影像以及相對應的輸入影像的示意圖。

100．．．前景產生模組

101．．．前景擷取模組

102．．．參考背景產生模組

103．．．前景擴張單元

105．．．前景偵測單元

107．．．擴張侵蝕單元

110．．．對照表

1071．．．擴張單元

1072．．．侵蝕單元

Claims (13)

1. 一種用於背景去除之影像處理方法，包含有：接收一輸入影像，該輸入影像包含有複數個處理單位，且每一處理單位包含複數像素；參照一第一門檻值，比較一參考背景與該輸入影像以決定出位於該輸入影像中之一第一前景影像，其中該參考背景包含複數處理單位分別對應於該輸入影像之該複數處理單位，且藉由比較該參考背景與該輸入影像而獲得複數代表該第一前景之處理單位以及複數代表非前景影像之處理單位；依據該第一前景影像來決定出位於該輸入影像中不同於該第一前景影像之一第二前景影像，包含：針對每一該代表非前景影像之處理單位，依據該非前景影像處理單位之一左方與一右方水平距離及一上方與一下方垂直距離內所包含之該第一前景影像之處理單位的數量而判斷是否將該非前景影像處理單位改變為一第二前景影像處理單位；以及參照不同於該第一門檻值之一第二門檻值，比較該參考背景與該第二前景影像以決定出該輸入影像中之一第三前景影像。
2. 如申請專利範圍第1項所述之用於背景去除之影像處理方法，該影像處理方法另包含有：建立一對照表，用來記錄比較該參考背景與該輸入影像之結果以及比較該參考背景與該第二前景影像之結果，其中該對照表包含有複數個儲存單元，分別對應至該輸入影像之該複數個處理單位，且每一儲存單元係用來儲存代表前景之一第一代碼或代表背景之一第二代碼。
3. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，其中比較該參考背景與該輸入影像以自該輸入影像中決定出該第一前景影像的步驟包含有：比較該輸入影像內之所有處理單位之亮度值與該參考背景內之所有相對應處理單位之亮度值；針對該輸入影像內之每一處理單位：若該輸入影像內之該處理單位之亮度值較該參考背景內之一相對應處理單位之亮度值的差量大於或等於該第一門檻值，指定該第一代碼給該對照表中一相對應儲存單元；以及若該輸入影像內之該處理單位之亮度值較該參考背景內之該相對應處理單位之亮度值的差量小於該第一門檻值，指定該第二代碼給該對照表中該相對應儲存單元；以及依據該對照表內具有該第一代碼之每一儲存單元來決定出該第一前景影像。
4. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，其中依據該第一前景影像來決定出位於該輸入影像中不同於該第一前景影像之該第二前景影像的步驟包含有：針對該對照表內具有該第二代碼之每一儲存單元：若該第一前景影像中對應該儲存單元之一處理單位的水平方向上具有對應該第一代碼之鄰近處理單位於該處理單位左方與右方一水平距離內的數量均超過一水平門檻值，則指定該第一代碼給該儲存單元來取代該第二代碼；以及依據該對照表內具有該第一代碼之每一儲存單元來決定出該第二前景影像。
5. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，其中依據該第一前景影像來決定出位於該輸入影像中不同於該第一前景影像之該第二前景影像的步驟包含有：針對該對照表內具有該第二代碼之每一儲存單元：若該第一前景影像中對應該儲存單元之一處理單位的垂直方向上，對應該第一代碼之鄰近處理單位於該處理單位上方與下方一垂直距離內的數量的數量均超過一垂直門檻值，則指定該第一代碼給該儲存單元來取代該第二代碼；以及依據該對照表內具有該第一代碼之每一儲存單元來決定出該第二前景影像。
6. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，其中比較該參考背景與該第二前景影像以決定出該輸入影像中之該第三前景影像的步驟包含有：比較該第二前景影像內之所有處理單位之亮度值與該參考背景內之所有相對應處理單位之亮度值；針對該第二前景影像內之每一處理單位：若該第二前景影像內之該處理單位之亮度值較該參考背景內之一相對應處理單位之亮度值的差量大於或等於該第二門檻值，維持該對照表中一相對應儲存單元所儲存之該第一代碼；以及若該第二前景影像內之該處理單位之亮度值較該參考背景內之該相對應處理單位之亮度值的差量小於該第二門檻值，指定該第二代碼給該對照表中該相對應儲存單元以取代該第一代碼；以及該對照表內具有該第一代碼之每一儲存單元來決定出該第三前景影像。
7. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，另包含有： 依據該第三前景影像來決定出位於該輸入影像之一第四前景影像，包含有：執行一水平擴張處理程序，包含有：針對該對照表內具有該第二代碼之每一儲存單元：若該第三前景影像中對應該儲存單元之一處理單位的水平方向上，具有對應該第一代碼之鄰近處理單位於該處理單位左方與右方一水平距離內的數量均超過一水平門檻值，則指定該第一代碼給該儲存單元來取代該第二代碼；以及依據該對照表內具有該第一代碼之每一儲存單元來決定出該第四前景影像。
8. 如申請專利範圍第7項所述之用於背景去除之影像處理方法，其中依據該第三前景影像來決定出位於該輸入影像之該第四前景影像的步驟另包含有：執行一侵蝕處理程序，包含有：針對該對照表內具有該第一代碼之每一儲存單元：以該第三前景影像中對應該儲存單元之一處理單位來說，若對應該第一代碼且相距一預定距離內之鄰近處理單位的數量小於一侵蝕門檻值，則指定該第二代碼給該儲存單元來取代該第一代碼。
9. 如申請專利範圍第8項所述之用於背景去除之影像處理方法，其中該水平擴張處理程序與該侵蝕處理程序係會重覆執行一預定循環次數。
10. 如申請專利範圍第2項所述之用於背景去除之影像處理方法，另包含有：依據該第三前景影像來決定出位於該輸入影像之一第四前景影像，包含 有：執行一垂直擴張處理程序，包含有：針對該對照表內具有該第二代碼之每一儲存單元：若該第三前景影像中對應該儲存單元之一處理單位的垂直方向上，對應該第一代碼之鄰近處理單位於該處理單位左方與右方一水平距離內的數量均超過一垂直門檻值，則指定該第一代碼給該儲存單元來取代該第二代碼；以及依據該對照表內具有該第一代碼之每一儲存單元來決定出該第四前景影像。
11. 如申請專利範圍第10項所述之用於背景去除之影像處理方法，其中依據該第三前景影像來決定出位於該輸入影像之該第四前景影像的步驟另包含有：執行一侵蝕處理程序，包含有：針對該對照表內具有該第一代碼之每一儲存單元：以該第三前景影像中對應該儲存單元之一處理單位來說，若對應該第一代碼且相距一預定距離內之鄰近處理單位的數量小於一侵蝕門檻值，則指定該第二代碼給該儲存單元來取代該第一代碼。
12. 如申請專利範圍第11項所述之用於背景去除之影像處理方法，其中該垂直擴張處理程序與該侵蝕處理程序係會重覆執行一預定循環次數。
13. 如申請專利範圍第1項所述之用於背景去除之影像處理方法，其中該參考背景可為一預設之影像或是一動態更新之影像。