TWI674557B - 影像處理裝置及其方法 - Google Patents

影像處理裝置及其方法 Download PDF

Info

Publication number
TWI674557B
TWI674557B TW107126589A TW107126589A TWI674557B TW I674557 B TWI674557 B TW I674557B TW 107126589 A TW107126589 A TW 107126589A TW 107126589 A TW107126589 A TW 107126589A TW I674557 B TWI674557 B TW I674557B
Authority
TW
Taiwan
Prior art keywords
pixels
boundary
image frame
values
dynamic parameter
Prior art date
Application number
TW107126589A
Other languages
English (en)
Other versions
TW202008303A (zh
Inventor
林銘達
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW107126589A priority Critical patent/TWI674557B/zh
Priority to US16/282,979 priority patent/US10922791B2/en
Application granted granted Critical
Publication of TWI674557B publication Critical patent/TWI674557B/zh
Publication of TW202008303A publication Critical patent/TW202008303A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一種影像處理方法包含接收當前輸入影像框與先前輸出影像框、比對該當前輸入影像框與先前輸出影像框座標相對應的多個第一像素與多個第二像素，並獲得對應的多個差異值；依據該些差異值及一動態參數表，獲得多個動態參數值、依據該些動態參數值及一邊界運算子，獲得多個邊界保留值、以及依據該些第一像素、該些第二像素、及該些邊界保留值，獲得多個當前輸出像素。影像處理裝置執行上述影像處理方法，藉此提升辨識鄰接移動區域與非移動區域的邊界的準確度與去除該邊界的殘影。

Description

影像處理裝置及其方法
本案描述一種關於去除雜訊的影像處理裝置及其方法。
位於影像框(Frame)中的雜訊(Noise)會影響影像框中的細節或資訊。舉例來說，當行車紀錄器擷取的車牌影像框具有雜訊時，中央處理器不易找出車牌在影像框中的的位置以及不易辨識該車牌的號碼。目前去除雜訊的方法係有空間雜訊去除法(Spatial Noise Reduction)、時序雜訊去除法(Temporal Noise Reduction)與三維雜訊去除法(3D Noise Reduction)。
空間雜訊法是以空間濾波器，如平均濾波器、中間值濾波器、高斯濾波器、雙邊濾波器、西格瑪濾波器等，將影像框中的雜訊平滑化(Smoothing)。但是，空間雜訊法會導致影像框中的邊界及資訊模糊化(Blurring)。
時序雜訊去除法是以時間遞迴濾波器比對當前影像框與先前影像框中的多個像素，並依據比對的結果，將當前影像框的像素區分為移動區域(Motion Region)與非移動區域(Non-Motion Region)。在移動區域中，時間遞迴濾波器停止運作以避免移動區域模糊化(Blurring)。在非移動區域中，時間遞迴濾波器依時間軸比對當前影像框與先前影像框，藉此去除位於非移動區域的雜訊。
三維雜訊去除法是組合空間雜訊法與時序雜訊去除法。
然而，時序雜訊去除法卻存在一技術問題，即無法準確地判斷在當前影像框中鄰接移動區域與非移動區域的邊界。時序雜訊去除法是以一遮罩或一取樣窗比對當前影像框與先前影像框之間的像素差，藉此判斷鄰接移動區域與非移動區域的邊界。如果該像素差大於一預設值時，則判斷當前影像框中的一部分是移動區域。如果該像素差等於零時，則判斷當前影像框中的一部分是非移動區域。但是，當該像素差介於該預設值與零之間的間距時，則無法辨識當前影像框中的一部分是移動區域還是非移動區域，導致鄰接移動區域與非移動區域的邊界具有殘影(artifact)。
鑒於上述問題，依據一實施例，一種影像處理方法包含：接收當前輸入影像框與先前輸出影像框，當前輸入影像框包含多個第一像素，先前輸出影像框包含多個第二像素；比對座標相對應的該些第一像素與該些第二像素，並獲得對應的多個差異值；依據該些差異值及一動態參數表，獲得多個動態參數值；依據該些動態參數值及一邊界運算子，獲得多個邊界保留值；以及依據該些第一像素、該些第二像素、及該些邊界保留值，獲得多個當前輸出像素。因此，本案可增加鄰接移動區域與非移動區域的邊界的亮度值(Luma)或色度值(Chroma)，藉此提升辨識鄰接移動區域與非移動區域的邊界的準確度，以及去除該邊界的殘影。
依據一實施例，該動態參數表包括多個差異數值及多個與該些差異數值對應之動態參數值；該獲得該些動態參數值之步驟係為依據該些差異值查找對應的該些差異數值，獲得對應的該些動態參數值。
依據一實施例，該邊界運算子包含一橫向運算子與一縱向運算子，該獲得該邊界保留框之步驟係為依據該些被查找的動態參數值、該橫向運算子與該縱向運算子，產生該些邊界保留值。
依據一實施例，依據一實施例，在該獲得該當前輸出像素之步驟中，依據下述公式(1)運算該些第一像素、該些第二像素、及該些邊界保留值，獲得該些當前輸出像素： O i(x,y)=(1- K (x,y))×O i-1(x,y)+ K (x,y)×I i(x,y)………………………… (1)； 其中 O i(x,y)是座標(x,y)的當前輸出像素； O i-1(x,y)是座標 (x,y)的第二像素； K (x,y)是座標(x,y)的邊界保留值；以及 I i(x,y)是座標(x,y)的第一像素。
依據一實施例，一種影像處理裝置包含：攝像模組、儲存模組、及處理模組。攝像模組擷取當前輸入影像框，該當前輸入影像框包含多個第一像素。儲存模組儲存先前輸出影像框，該先前輸出影像框包含多個第二像素。處理模組比對座標系相對應的該些第一像素與該些第二像素，並獲得對應的多個差異值；依據該些差異值及一動態參數表，獲得多個動態參數值；依據該些動態參數值與一邊界運算子，獲得多個邊界保留值；以及依據該些第一像素、該些第二像素、及該些邊界保留值，獲得多個當前輸出像素。因此，本實施例可增加鄰接移動區域與非移動區域的邊界的亮度值或色度值，藉此提升辨識鄰接移動區域與非移動區域的邊界的準確度，以及去除該邊界的殘影。
依據一實施例，影像處理裝置還包含一濾波電路，用以去除該當前輸入影像框的雜訊，並產生一當前去雜訊影像框；該處理模組在該比對之前，接收該當前去雜訊影像框與該先前輸出影像框，該當前去雜訊影像框包含該些第一像素。因此，本實施例可增加鄰接移動區域與非移動區域的邊界的亮度值或色度值，藉此提升辨識鄰接移動區域與非移動區域的邊界的準確度，以及去除該邊界的殘影。
為了清楚表現各元件，以下述及之「第一」及「第二」等術語，其係用以區別所指之元件，而非用以排序或限定所指元件之差異性，且亦非用以限制本發明之範圍。
參閱圖1，圖1繪示本案影像處理裝置一實施例之電路方塊示意圖，影像處理裝置包含攝像模組11、儲存模組12、處理模組13及顯示模組14。
影像處理裝置10可以是手持裝置，亦可為非手持裝置。手持裝置可例如智慧型手機（smart phone）、導航機（PND）、電子書（e-book）、筆記型電腦（notebook）、或平版電腦（Tablet or Pad）等。非手持裝置可例如智慧型家電、數位看板、或多媒體機台（MMK）等。
攝像模組11接收影像光學訊號並轉換為影像框(image frames)，每個影像框均包括多個像素，該些像素例如但不限於二維陣列排列之像素。依時間順序，每個影像框可稱做先前輸入影像框及當前輸入影像框Ii(容後詳述)。攝像模組11可以是行車紀錄器、照相機、攝影機、感光耦合元件(CCD, Charged Coupled Device)等。
處理模組13電性連接攝像模組11、顯示模組14及儲存模組12，用以執行一特定的電腦程式產品，而能執行本案一實施例提供的影像處理方法。處理模組13可以是中央處理器、微處理機、特定應用積體電路（ASIC）等可執行程式並控制周邊裝置或能與周邊裝置通訊的運算裝置。周邊裝置可以是攝像機、行車紀錄器、顯示器、鍵盤、滑鼠、隨身硬碟、行動Wi-Fi等。處理模組13係處理攝像模組11產生的先前輸入影像框Oi-1及當前輸入影像框Ii，並產生輸出影像框Oi。該些輸出影像框Oi，依時間順序命名，稱做先前輸出影像框Oi-1及當前輸出影像框Oi (容後詳述)。儲存模組12電性連接攝像模組11及顯示模組14，在一些實施例中，儲存模組12用以儲存前述先前輸入影像框、當前輸入影像框Ii、先前輸出影像框Oi-1、及當前輸出影像框Oi。儲存模組12可為非揮發式記憶體或硬碟等儲存元件。本案所述之電性連接係指元件與元件之間的連接方式，可以是有線連接(或導線連接)或無線連接(或通訊連接)。有線連接係指以導線連接元件，致使元件與元件之間可經由導線相互傳送或接收電訊號。無線連接係指以網路連接元件，致使元件與元件之間可經由網路相互傳送或接收電訊號。
顯示模組14電性連接處理模組13與儲存模組12，用以依據處理模組13的控制而顯示當前輸出影像框Oi。顯示模組14可以是顯示器，如LCD與OLED顯示面板、觸控面板、可撓式面板。
參閱圖2，圖2繪示影像處理方法一實施例之流程示意圖。影像處理方法包含步驟S11至步驟S15。前述步驟S11至S15可由一電腦程式產品實現。此電腦程式產品可為一可讀取記錄媒體，並且可被影像處理裝置10執行，其中可讀取記錄媒體儲存複數程式碼構成之程式，但不以此為限。在一些實施例中，此程式可經由有線或無線的方式傳輸至影像處理裝置10，再被影像處理裝置10執行。
參閱圖1及圖2，步驟S11是接收當前輸入影像框Ii與先前輸出影像框Oi-1，當前輸入影像框Ii包含多個第一像素，先前輸出影像框Oi-1包含多個第二像素。依據一些實施例，請合併參閱圖2、圖3A至圖3C，圖3A至圖3C為本案一實施例之當前輸入影像框Ii、先前輸出影像框Oi-1及對應的差異框WD示意圖。處理模組13可以自儲存模組12接收先前輸出影像框Oi-1以及自攝像模組11接收當前輸入影像框Ii。在一些實施例中，在攝像模組11擷取當前輸入影像框Ii後，儲存模組12儲存當前輸入影像框Ii，處理模組13可以自儲存模組12接收當前輸入影像框Ii與先前輸出影像框Oi-1。
當前輸入影像框Ii與先前輸出影像框Oi-1的尺寸相同，並在座標上相對應，當前輸入影像框Ii與先前輸出影像框Oi-1分別具有一移動區域A(如黑色圓形影像)與一非移動區域(如白色背景影像)，從圖中可以看見，移動區域A分別位於先前輸出影像框Oi-1的左側，以及位於當前輸入影像框Ii的右側。以直角坐標系為例，當前輸入影像框Ii包含多個第一像素，且每一第一像素對應於直角坐標系上的一座標，如(0,0)、(63,0)、(0, 63)等。先前輸入影像框Oi-1包含多個第二像素，且每一第二像素對應於直角坐標系上的一座標。更進一步來說，位於一座標上的一第二像素對應於位於相同座標的一第一像素。
復參圖3A至圖3C，當前輸入影像框Ii與先前輸出影像框Oi相互疊合。相互疊合係指當前輸入影像框Ii的尺寸與先前輸出影像框Oi-1的尺寸相同，而且當前輸入影像框Ii與先前輸出影像框Oi-1以左上角為座標(0,0)原點，並依該原點相互疊合。
步驟S12：比對座標相對應的該些第一像素與該些第二像素，並獲得對應的多個差異值。座標相對應的該些第一像素與該些第二像素指的是位於相同座標的第一像素與第二像素。依據一些實施例，請合併參閱圖3A至圖3C、圖4，差異框WD與當前輸入影像框Ii及先前輸出影像框Oi-1的尺寸相同，並在座標上相對應，且處理模組13計算座標相對應的第一像素與第二像素的差異值，並將此差異值做為差異框WD中每一相對應座標的像素值。
復參圖3C，差異值係為「座標相對應的第一像素值減去第二像素值」的絕對值。舉例來說，先前輸出影像框Oi-1與當前輸入影像框Ii交集的區域(即葉片狀區域)。假設在先前輸出影像框Oi-1及當前輸入影像框Ii的移動區域A的像素值為255，當位於先前輸出影像框Oi-1的移動區域A與位於當前輸入影像框Ii的移動區域A部分交集時，位於該交集區域的當前輸入影像框Ii及先前輸出影像框Oi-1的像素值相減而獲得差異值0。在差異框WD中的其餘差異值以此類推，藉此獲得在差異框WD中各像素當前像素值與先前像素值的差異值。
合併參閱圖3C及圖4，圖4為圖3C中M視窗的差異值示意圖。取樣視窗M (以下稱之為「M視窗」) 是圖3C中差異框WD右上角的一個小區域視窗。M視窗涵蓋在差異框WD中移動區域A的部分邊界，在圖4中M視窗每一個格子內的數字即該格子對應的差異值，該M視窗包括5x5像素，每個像素各別具有一差異值。此實施例中，若每像素以8位元為例，差異值可以是介於0至255之間。當差異值為0時，表示對應該差異值的第一像素與第二像素的值相同，即第一像素與第二像素很可能同為移動區域A或同為非移動區域。當差異值為255時，表示該差異值對應的第一像素的像素值變化很大。以圖4為例，其為圖3C差異框WD中在移動區域A右上角M視窗中各像素對應的差異值，圖中可以看出，在M視窗右上角座標(59, 8)的差異值為0，表示此座標的第一、二像素值相同，而M視窗左下角座標(55, 12)的差異值為255，表示此座標的第一、二像素值差異很大，而兩者之間，即為移動區域的邊界部分，此區域愈寬，影像通常愈不清晰。
需特別說明的是，圖4中將差異框WD的像素值(亦即差異值)以灰階表示，詳言之，即將差異框WD的像素值為0者表示為白色，將差異框WD的像素值為255者表示為黑色，像素值越大，灰階程度越深，這樣表示只是為了方便區別數值的大小，與實施例的範圍無關。
步驟S13是依據該些差異值及一動態參數表，獲得多個動態參數值。請合併參閱圖5、圖6A至圖6B，圖5為動態參數值與差異數值的關係示意圖，橫軸為差異數值，縱軸為動態參數值，在此實施例中，動態參數表中的曲線為階梯曲線，而且在階梯曲線上的每一點對應一差異數值以及一動態參數值。處理模組13依據差異框WD內每一像素的差異值，從動態參數表中查找出對應的差異數值及該差異數值對應的動態參數值，並將差異框WD轉換成尺寸相同的動態參數框MF(圖6右側之M視窗對應的動態參數值)，其中動態參數框MF包含多個被查找的動態參數值，該些被查找的動態參數值對應於差異框WD內每一差異值。舉例來說，圖6A為差異框WD中對應M視窗的差異值，而圖6B為M視窗中各像素轉換成的動態參數值。在對應該M視窗的當前輸入影像框Ii中，座標(55,8)的差異值為10，經查找圖5的動態參數表後，對應該M視窗的動態參數框MF中，座標(55,8)的動態參數值為0.25。同樣的，對應該M視窗的當前輸入影像框Ii中，座標(55,12)的差異值為255，對應該M視窗的動態參數框MF中，座標(55,12)的動態參數值為1。其餘在相同座標上的差異值與動態參數值以此類推，不再贅述。
在一些實施例中，在動態參數表中分布的曲線除了可以為階梯曲線之外，亦可以為拋物線、斜線、折線、直線或其他任意形狀的曲線。
步驟S14是依據該些動態參數值及一邊界運算子，獲得多個邊界保留值。以正規化邊界保留值為例，邊界運算子是以索貝爾運算子(Sobel Operator)邊界運算子包含橫向運算子Mx與縱向運算子My，說明如下：
在一些實施例中，橫向運算子Mx= ；縱向運算子My= 。
以索貝爾運算子為例：假設動態參數框MF的尺寸與差異框、先前輸出影像框Oi-1及當前輸入影像框Ii的尺寸相同。圖6B動態參數框MF中的該些像素分別與橫向運算子Mx、縱向運算子My摺積計算，用以獲得每一像素在該座標的水平梯度值Gx與垂直梯度值Gy，說明如下：
水平梯度值Gx= ×MF；垂直梯度值Gy= ×MF。
為了說明水平梯度值Gx、垂直梯度值Gy、總合梯度值G之獲得方法，請參考圖7A至圖9C，圖7A至圖7B為圖6B中遮罩W在動態參數框MF中的示意圖，圖8為圖6B中遮罩W超出動態參數框MF邊界外側一像素之動態參數值的示意圖，依上述水平梯度值Gx及垂直梯度值Gy之運算方式，運算後獲得圖9A至圖9C所示之圖6B在M視窗中動態參數值所獲得對應該M視窗的水平梯度值Gx、垂直梯度值Gy及總合梯度值G。
參閱圖7A及圖7B，設定一與邊界運算子Mx,My的尺寸相同的遮罩W，如遮罩W的尺寸為3×3，意即遮罩W中每一格子內的數字對應於動態參數框MF中的動態參數值。接著，該遮罩W位於動態參數框MF，其中該遮罩W中心格子的數值對應欲獲得水平梯度值Gx或垂直梯度值Gy的動態參數值，即位於遮罩W中心格子的動態參數值為目標像素，位於與中心格相鄰的其餘格子為鄰接像素。例如：圖7A中，遮罩W中心格子位於座標(57,10)的0.38，經由與邊界運算子摺積Mx,My後，可獲得位於相同座標的水平梯度值Gx或垂直梯度值Gy；圖7B中，遮罩W中心格子位於座標(55,8)的0.25，可獲得對應該座標的水平梯度值Gx或垂直梯度值Gy。其餘座標的水平梯度值Gx或垂直梯度值Gy以此類推，不再贅述。
依據一些實施例，參閱圖8，圖8是圖3C座標範圍在(59, 25)到63, 59)之間的動態參數框，當計算座標(63,27)像素的水平梯度值Gx及/或垂直梯度值Gy時，遮罩W中心位置位於座標(63, 27)，遮罩W右縱行將落於圖3C的動態參數框MF外，意即超出動態參數框MF的邊界，該遮罩W右縱列將對應一個或多個空格子，該些空格子可以有下列幾種實施方式：設定該些空格子為0、不計算該些空格子、鏡射(mirror)遮罩W中鄰接該些空格子的動態參數值至該些空格子(在此例中，是將位於遮罩W中鄰接右縱行的該些空格子所對應的動態參數值(0, 0, 0)複製至右縱行的該些空格子中)、線性內插等。
之後，參閱圖9A至圖9C，將該遮罩W對應的動態參數值分別與橫向運算子Mx及縱向梯度值My摺積，以獲得動態參數框MF中每一目標像素的水平梯度值Gx及垂直梯度值Gy。接著，將水平梯度值Gx與垂直梯度值Gy合併計算以獲得動態參數框MF中對應於每一目標像素的總合梯度值G，即總合梯度值G= 。也就是說，在對應該M視窗的動態參數框MF中，每一座標的動態參數值(或稱為目標像素)各自具有總合梯度值G，如圖9C所示。例如，圖9C中，座標(55,8)的總合梯度值G是1.09、座標(55,12)的總合梯度值G是0.17、座標(59,8)的總合梯度值G是0。其餘座標的總合梯度值G以此類推，不再贅述。
為了說明將每一像素的總合梯度值G加上其動態參數值，並將所得到的值正規化，以獲得多個介於0至1之間的正規化邊界保留值K，其對應M視窗的邊界保留值，請參閱圖10A及圖10B，圖10A及圖10B為依據圖9C總合梯度值G所獲得對應該M視窗的邊界保留框MC及正規化邊界保留框MC’之示意圖。
前述正規化是將每一像素位置的總合梯度值G與動態參數值的和(以下簡稱邊界保留和Si)進行正規化，使其介於0至1之間。此正規化有幾種不同實施方式，在一些實施例中，動態參數框MF各像素所對應的邊界保留和的最大值(Smax)及最小值(Smin)的範圍對1至0範圍做正規化。在一些實施例中，動態參數框MF各像素所對應的邊界保留和的最大值(Smax)至0的範圍對1至0範圍做正規化，意即，某像素的正規化邊界保留值K等於該像數的邊界保留和Si除以該最大值(K=Si/Smax)。
請再參閱圖10A，在對應該M視窗的動態參數框MF中，將每一像素的動態參數值(或稱為目標像素)與對應的總合梯度值G相加，以獲得多個邊界保留和Si。邊界保留框MC包含該些邊界保留和Si，且該邊界保留框MC的尺寸與動態參數框MF、差異框WD、先前輸出影像框Oi-1及當前輸入影像框Ii的尺寸相同。舉例來說，在圖10A中，座標(55,8)、(55,12)及(59,8)的邊界保留和Si是1.34、1.17、及0。其餘座標的邊界保留和Si以此類推，不再贅述。
合併參閱圖10A及圖10B，假設圖10A中邊界保留和Si的最大值(Smax)是座標(56,11)的3.17，且邊界保留和Si的最小值(Smin)為座標(59,8)的0。接著，圖10A邊界保留框MC中每一邊界保留和Si分別除以座標(56,11)的3.17，以獲得圖10B正規化邊界保留框MC’中每一個位於相同座標的正規化邊界保留K。
請再參閱圖10B，其係為圖10A的邊界保留框MC正規化，可獲得正規化邊界保留框MC’。圖10A座標(55,8)的邊界保留和Si是1.34；對應圖10B相同座標的正規化邊界保留值K是0.42；圖10A座標(55,12)的邊界保留和Si是1.17，對應圖10B相同座標的正規化邊界保留值K是0.37；圖10A座標(59,8)的邊界保留和Si是0，對應圖10B相同座標的正規化邊界保留值K是0。其餘座標上的正規化邊界保留值K以此類推，不再贅述。
正規化邊界保留值K係將每一座標上的邊界保留和Si正規化，用以增強移動區域A的邊界的辨識度。也就是說，當以動態參數框MF辨識移動區域A的邊界時，該邊界不容易被辨識，致使該邊界具有殘影(或該邊界不清楚)。然而，在正規化邊界保留框MC’中每一座標上的正規化邊界保留值K包含位於相同座標上的總合梯度值G，致使移動區域A的邊界殘影情形大幅降低(或該邊界更容易清楚地被辨識)。比較圖10B與圖6B，移動區域A的邊界對應的正規化邊界保留值均大於或等於對應的動態參數值，故可以增強移動區域A的邊界的辨識度。
復參圖10B，在正規化邊界保留框MC’的每一縱行、每一橫列或者每一對角線中，某一座標的正規化保留值K越接近最大值，越容易被辨識為移動區域A的邊界，且與該座標相鄰的其餘座標的正規化保留值K越接近最小值，越容易被辨識成非為移動區域A的邊界。舉例來說，就圖10B上的邊界保留值K來看，大於0.5的邊界保留值大致呈左上角(55,8)至右下角(59,12)之對角線排列，而右上角(59,8)及左下角(55,12)則距離邊界較遠。如此即可得知，本案方法能更佳地判斷出邊界所在。
在一些實施例中，邊界運算子也可以是普利維特運算子(Prewitt Operator)、羅伯茲交叉運算子(Roberts Cross Operator)。
步驟S15是依據多個第一像素、多個第二像素、及多個邊界保留值，獲得多個當前輸出像素。以正規化邊界保留值K為例，當前輸入影像框Ii搭配先前輸出影像框Oi-1與正規化邊界保留值K，處理模組13可獲得當前輸出影像框Oi。該當前輸出影像框Oi包含多個當前輸出像素，且每一個當前輸出像素位於座標系上的座標(x,y)。該當前輸出影像框Oi的尺寸與邊界保留框MC、動態參數框MF、差異框WD、先前輸出影像框Oi-1、當前輸入影像框Ii的尺寸相同。舉例來說，處理模組13計算當前輸出影像框Oi的公式為： O i(x,y)=(1- K (x,y))×O i-1(x,y)+ K (x,y)×I i(x,y)………………………… (1)； 其中 O i(x,y)是座標(x,y)的當前輸出像素； O i-1(x,y)是座標 (x,y)的第二像素； K (x,y)是座標(x,y)的邊界保留值；以及 I i(x,y)是座標(x,y)的第一像素。
從上面的演算法可以得知，當座標(x,y)的正規化邊界保留值K (x,y)越接近1時，當前輸入影像框Ii的第一像素的像素值即被保留得更多，意即對應移動物體輪廓(移動區域A的邊界)時，會保留較多的當前輸入影像框Ii的像素值。反之，座標(x,y)的正規化邊界保留值K (x,y)越接近0時，即表示當前輸入影像框Ii與先前輸出影像框Oi-1像素值接近，則會保留多一點先前輸出影像框Oi-1的像素值。
其次，請搭配圖1說明前述影像處理裝置10實現該影像處理方法之實施例。在一些實施例中，攝像模組11擷取當前輸入影像框Ii之後，儲存模組12儲存當前輸入影像框Ii。在影像處理一開始，意即攝像模組11擷取第一張當前輸入影像框Ii時，由於並無先前的影像框，因此，處理模組13即將該當前輸入影像框Ii做為當前輸出影像框Oi，並直接控制顯示模組14顯示該當前輸出影像框Oi。儲存模組12亦儲存該當前輸出影像框Oi。
在下一個時間點，前述的輸入影像框Ii及輸出影像框Oi即變為先前輸入影像框Ii-1及先前輸出影像框Oi-1，攝像模組11擷取第二張輸入影像框，即稱為當前輸入影像框Ii。該先前輸出影像框Oi-1及當前輸入影像框Ii均儲存於儲存模組12中。
處理模組13即依據前述影像處理方法依據先前輸出影像框Oi-1、當前輸入影像框Ii，產生當前輸出影像框Oi，將該當前輸出影像框Oi儲存於該儲存模組12並控制該顯示模組14顯示該當前輸出影像框Oi。
在一些實施例中，當儲存模組12沒有儲存先前輸出影像框Oi-1時，處理模組13可以自攝像模組11接收當前輸入影像框Ii，而且在不執行步驟S11至步驟S15之下，輸出當前輸入影像框Ii。儲存模組12儲存當前輸入影像框Ii。
在一些實施例中，攝像模組11包含記憶單元(未圖示)，該記憶單元儲存當前輸入影像框Ii。處理模組13可以自記憶單元接收當前輸入影像框Ii以及自儲存模組12接收先前輸出影像框Oi-1。記憶單元可以是前述儲存模組12，不再贅述。
在一些實施例中，儲存模組12以支援攝像模組11的通訊方式耦接攝像模組11，即以有線通訊或無線通訊方式傳送攝像內容至處理模組13。有線通訊方式可例如為乙太網路、通用序列匯流排（USB）、高畫質多媒體介面（HDMI）、行動高畫質連結（MHL）等，無線通訊方式可例如為無線網路、行動通訊技術等。
參閱圖11，依據一些實施例，影像處理裝置10’包含攝像模組11、儲存模組12、處理模組13、一濾波電路20及顯示模組，濾波電路20電性連接攝像模組11與處理模組13。
濾波電路20可以是低通濾波器、空間濾波器等，用以執行一演算法-空間雜訊去除法，將當前輸入影像框Ii的雜訊平滑化之後，輸出一去雜訊的當前影像框Îi(以下稱之為「當前去雜訊影像框Îi」)。
參閱圖12，為本案另一實施例之影像處理方法，影像處理方法包括步驟S111, S12, S13, S14, S15。處理模組13執行步驟S111時，係接收當前去雜訊影像框Îi與先前輸入影像框Oi-1，其中當前去雜訊影像框Îi包含多個第一像素，先前輸入影像框Oi-1包含多個第二像素，如步驟S111所示。接著，執行上述影像處理方法中的步驟S12至步驟S15。
在步驟S15中，處理模組13是依據第一像素、第二像素、及正規化邊界保留值K運算下述公式(2)，產生當前輸出影像框Oi。
O i(x,y)=(1- K (x,y))× O i-1(x,y)+ K (x,y)×Î i(x,y)…………… (2)，其中Î i(x,y)是座標(x,y)的第一像素(當前去雜訊影像框Îi)。其餘符號以見於第一實施例描述的當前輸出影像框Oi的公式，不再贅述。
綜上所述，本案多個實施例經由執行影像處理方法後，可增加鄰接移動區域與非移動區域的邊界的亮度值(Luma)或色度值(Chroma)，藉此提升辨識鄰接移動區域A與非移動區域的邊界的準確度，以及去除該邊界的殘影。
10、10’‧‧‧影像處理裝置
11‧‧‧攝像模組
12‧‧‧儲存模組
13‧‧‧處理模組
14‧‧‧顯示模組
20‧‧‧濾波電路
Ii‧‧‧當前輸入影像框
Îi‧‧‧去雜訊的當前輸入影像框(當前去雜訊影像框)
Oi‧‧‧當前輸出影像框
Oi-1‧‧‧先前輸出影像框
A‧‧‧移動區域
W‧‧‧遮罩
M‧‧‧取樣視窗
WD‧‧‧差異框
MF‧‧‧動態參數框
Gx‧‧‧水平梯度值
Gy‧‧‧垂直梯度值
G‧‧‧總合梯度值
MC‧‧‧邊界保留框
Si‧‧‧邊界保留和
MC’‧‧‧正規化邊界保留框
K‧‧‧正規化邊界保留值 步驟S11~S15、S111
[圖1]為本案影像處理裝置一實施例之電路方塊示意圖。 [圖2]為本案影像處理方法一實施例之流程示意圖。 [圖3A至圖3C]為本案一實施例之當前輸入影像框、先前輸出影像框及對應的差異框示意圖。 [圖4]為圖3C中M視窗的差異值示意圖。 [圖5]為本案一實施例之動態參數值與差異數值的關係示意圖。 [圖6A至圖6B]為依據圖4在M視窗中的差異值及所獲得對應的動態參數值之動態參數框之示意圖。 [圖7A至圖7B]為圖6B中遮罩在動態參數框MF中的示意圖。 [圖8]為圖6B中遮罩超出動態參數框MF邊界的示意圖。 [圖9A至圖9C]為圖6B在M視窗中動態參數值所獲得對應該M視窗的水平梯度值、垂直梯度值及總合梯度值。 [圖10A至10B]為依據圖9C該M視窗的總合梯度值所獲得對應該M視窗的邊界保留框及正規化邊界保留框之示意圖。 [圖11]為本案影像處理裝置另一實施例之結構示意圖。 [圖12]為本案影像處理方法另一實施例之流程示意圖。

Claims (10)

  1. 一種影像處理方法，包含： 接收一當前輸入影像框與一先前輸出影像框，該當前輸入影像框包含多個第一像素，該先前輸出影像框包含多個第二像素； 比對與座標系相對應的該些第一像素與該些第二像素，並獲得對應的多個差異值； 依據該些差異值及一動態參數表，獲得多個動態參數值； 依據該些動態參數值及一邊界運算子，獲得多個邊界保留值；以及 依據該些第一像素、該些第二像素、及該些邊界保留值，獲得多個當前輸出像素。
  2. 如請求項1所述之影像處理方法，其中該動態參數表包括多個差異數值及多個與該些差異數值對應之動態參數值；該獲得該些動態參數值之步驟係為依據該些差異值查找對應的該些差異數值，獲得對應的該些動態參數值。
  3. 如請求項2所述之影像處理方法，其中該邊界運算子包含一橫向運算子與一縱向運算子，該獲得該邊界保留框之步驟係為依據該些被查找的動態參數值、該橫向運算子與該縱向運算子，產生該些邊界保留值。
  4. 如請求項3所述之影像處理方法，其中在該獲得該當前輸出像素之步驟中，依據下述公式(1)運算，獲得該些當前輸出像素： O i(x,y)=(1- K (x,y))× O i-1(x,y)+ K (x,y)×I i(x,y)………………………… (1)； 其中 O i(x,y)是座標(x,y)的當前輸出像素； O i-1(x,y)是座標 (x,y)的第二像素； K (x,y)是座標(x,y)的邊界保留值；以及 I i(x,y)是座標(x,y)的第一像素。
  5. 一種影像處理裝置，包含： 一儲存模組，儲存一先前輸出影像框，該先前輸出影像框包含多個第二像素； 一攝像模組，擷取一當前輸入影像框，該當前輸入影像框包含多個第一像素；以及 一處理模組，比對與座標系相對應的該些第一像素與該些第二像素，並獲得對應於該些第一像素與該些第二像素的多個差異值；依據該些差異值及一動態參數表，獲得多個動態參數值；依據該些動態參數值與一邊界運算子，獲得多個邊界保留值；以及依據該些第一像素、該些第二像素、及該些邊界保留值，獲得多個當前輸出像素。
  6. 如請求項5所述之影像處理裝置，其中該處理模組包含依據下述公式(1)運算該些第一像素、該些第二像素、及該些邊界保留值，產生該些當前輸出像素： O i(x,y)=(1- K (x,y))× O i-1(x,y)+ K (x,y)×I i(x,y)………………………… (1)； 其中 O i(x,y)是座標(x,y)的當前輸出像素； O i-1(x,y)是座標(x,y)的第二像素； K (x,y)是座標(x,y)的邊界保留值；以及 I i(x,y)是座標(x,y)的第一像素。
  7. 如請求項5所述之影像處理裝置，其中： 該動態參數表包括多個差異數值及多個與該些差異數值對應之動態參數值；以及 該處理模組依據該些差異值查找對應的該些差異數值，獲得對應的該些動態參數值。
  8. 如請求項7所述之影像處理裝置，其中： 該邊界運算子包含一橫向運算子與一縱向運算子；以及 該處理模組依據該些被查找的動態參數值、該橫向運算子與該縱向運算子，產生該些邊界保留值。
  9. 如請求項5所述之影像處理裝置，還包含一濾波電路，用以去除該當前輸入影像框的雜訊，並產生一當前去雜訊影像框；該處理模組在該比對之前，接收該當前去雜訊影像框與該先前輸出影像框，該當前去雜訊影像框包含該些第一像素。
  10. 如請求項9所述之影像處理裝置，其中該處理模組包含依據下述公式(2)運算該些第一像素、該些第二像素、及該些邊界保留值，產生該些當前輸出像素： O i(x,y)=(1- K (x,y))× O i-1(x,y)+ K (x,y)×Î i(x,y)………………………… (2)； 其中 O i(x,y)是座標(x,y)的當前輸出像素； O i-1(x,y)是座標(x,y)的第二像素； K (x,y)是座標(x,y)的邊界保留值；以及 Î i(x,y)是座標(x,y)的第一像素。
TW107126589A 2018-07-31 2018-07-31 影像處理裝置及其方法 TWI674557B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW107126589A TWI674557B (zh) 2018-07-31 2018-07-31 影像處理裝置及其方法
US16/282,979 US10922791B2 (en) 2018-07-31 2019-02-22 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107126589A TWI674557B (zh) 2018-07-31 2018-07-31 影像處理裝置及其方法

Publications (2)

Publication Number Publication Date
TWI674557B true TWI674557B (zh) 2019-10-11
TW202008303A TW202008303A (zh) 2020-02-16

Family

ID=69023494

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107126589A TWI674557B (zh) 2018-07-31 2018-07-31 影像處理裝置及其方法

Country Status (2)

Country Link
US (1) US10922791B2 (zh)
TW (1) TWI674557B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11696049B2 (en) 2021-05-28 2023-07-04 Microsoft Technology Licensing, Llc Systems and methods for dark current compensation in single photon avalanche diode imagery
US11711628B2 (en) * 2021-05-28 2023-07-25 Microsoft Technology Licensing, Llc Systems and methods for obtaining color imagery using single photon avalanche diodes

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201025189A (en) * 2008-12-25 2010-07-01 Huper Lab Co Ltd Method of video object segmentation in rainy situations
TW201105115A (en) * 2009-07-20 2011-02-01 Pixel Technologies Inc U Method and apparatus for feature-based dynamic contrast enhancement
TW201416062A (zh) * 2012-10-19 2014-05-01 Univ Nat Taiwan Science Tech 影像辨識方法及影像辨識系統
TW201601119A (zh) * 2014-06-18 2016-01-01 台達電子工業股份有限公司 物件辨識與定位方法
TW201712580A (zh) * 2015-09-11 2017-04-01 眼驗股份有限公司 影像及特徵品質，用於眼部血管及面部識別之影像增強及特徵擷取，及針對生物識別系統融合眼部血管與面部及／或子面部資訊

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
US20060139494A1 (en) * 2004-12-29 2006-06-29 Samsung Electronics Co., Ltd. Method of temporal noise reduction in video sequences
US9215355B2 (en) * 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
KR101306242B1 (ko) * 2012-03-26 2013-09-09 엠텍비젼 주식회사 영상의 시간적 잡음 제거 방법 및 장치
US9374506B2 (en) * 2013-01-04 2016-06-21 Qualcomm Incorporated Method and apparatus of reducing random noise in digital video streams

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201025189A (en) * 2008-12-25 2010-07-01 Huper Lab Co Ltd Method of video object segmentation in rainy situations
TW201105115A (en) * 2009-07-20 2011-02-01 Pixel Technologies Inc U Method and apparatus for feature-based dynamic contrast enhancement
TW201416062A (zh) * 2012-10-19 2014-05-01 Univ Nat Taiwan Science Tech 影像辨識方法及影像辨識系統
TW201601119A (zh) * 2014-06-18 2016-01-01 台達電子工業股份有限公司 物件辨識與定位方法
TW201712580A (zh) * 2015-09-11 2017-04-01 眼驗股份有限公司 影像及特徵品質，用於眼部血管及面部識別之影像增強及特徵擷取，及針對生物識別系統融合眼部血管與面部及／或子面部資訊

Also Published As

Publication number Publication date
US20200043141A1 (en) 2020-02-06
US10922791B2 (en) 2021-02-16
TW202008303A (zh) 2020-02-16

Similar Documents

Publication Publication Date Title
US8019120B2 (en) Image processing apparatus, image processing method, image processing program, recording medium recording the image processing program, and moving object detection system
US20190197735A1 (en) Method and apparatus for image processing, and robot using the same
US9995578B2 (en) Image depth perception device
JP6230751B1 (ja) 物体検出装置および物体検出方法
US9536321B2 (en) Apparatus and method for foreground object segmentation
US11062464B2 (en) Image processing apparatus, method, and storage medium to derive optical flow
US20190095741A1 (en) Region-of-interest detection apparatus, region-of-interest detection method, and recording medium
CN109214996B (zh) 一种图像处理方法及装置
TWI674557B (zh) 影像處理裝置及其方法
US20140056519A1 (en) Method, apparatus and system for segmenting an image in an image sequence
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN105611386A (zh) 视频图像处理方法及装置
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
JP5983749B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10965858B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium for detecting moving object in captured image
CN102917234B (zh) 图像处理装置和方法以及程序
CN111491095B (zh) 图像虚化方法、装置和电子设备
JP6811244B2 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
WO2017128646A1 (zh) 一种图像处理的方法及装置
CN109600598B (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
CN110858867B (zh) 影像处理装置及其方法
JP2005339535A (ja) 相違度の計算
JP2021050932A (ja) 付着物検出装置、および付着物検出方法
US10346680B2 (en) Imaging apparatus and control method for determining a posture of an object
CN110516680B (zh) 图像处理方法及装置