TW201929521A

TW201929521A - 降噪方法、降噪裝置及降噪電路系統

Info

Publication number: TW201929521A
Application number: TW107110376A
Authority: TW
Inventors: 魏谷竹
Original assignee: 多方科技股份有限公司
Priority date: 2017-12-14
Filing date: 2018-03-27
Publication date: 2019-07-16
Also published as: US20190188829A1; CN109963048B; TWI665916B; CN109963048A

Abstract

本發明揭露一種降噪方法，包含有對一當前補片之一參考訊框中確定複數個候選匹配區塊；根據該複數個候選匹配區塊，取得至少一濾波結果；自複數個候選移動向量中，決定至少一參考區塊；以及根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。

Description

降噪方法、降噪裝置及降噪電路系統

本發明涉及一種降噪方法、降噪裝置及降噪電路系統，尤其是一種利用空間資訊及時間資訊以降低影像雜訊的降噪方法、降噪裝置及降噪電路系統。

隨著科技的發展與進步，各種數位相機也隨之產生，產業及消費者對於數位影像技術的處理需求也日益增加。在現有的系統中，空間性降噪（noise reduction，NR），即二維（two-dimensional，2D）降噪，主要用來處理靜止的圖片，並且由邊緣保持濾波器（edge-preserving filter）等裝置利用訊框的空間資訊以降低影像中的雜訊。時間性降噪，即三維（three-dimensional，3D）降噪，主要利用影片中的時間資訊降低雜訊，並透過移動適應性雜訊降低（motion adaptive noise reduction，MANR）及移動補償雜訊降低（motion compensation noise reduction，MCNR）等方法處理影像。然而，由於二維降噪及三維降噪通常分別用來降低影像及影片中的雜訊，卻也增加單一系統同時執行二維降噪及三維降噪的複雜度及成本。

因此，如何利用空間資訊及時間資訊以降低影像及影片中的雜訊，已成為本領域之一重要課題。

因此，本發明之主要目的在於提供一種利用空間及時間連貫性，以降低影像及影片中的雜訊方法、裝置及電路系統，進而改善先前技術的缺點。

本發明另揭露一種降噪裝置，包含有一移動估計單元，用來在對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波單元，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一補償單元，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪單元，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。

本發明還揭露一種降噪電路系統，包含有一移動估計電路，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波電路，耦接於該移動估計電路，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一移動補償電路，耦接於該移動估計電路，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪電路，耦接於該移動估計電路及該移動補償電路，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。

請參考第1圖，第1圖為本發明實施例之一降噪流程10之示意圖。降噪流程10包含下列步驟：

步驟102：開始。

步驟104：對一當前補片之一參考訊框中確定複數個候選匹配區塊。

步驟106：根據候選匹配區塊，取得至少一濾波結果。

步驟108：自複數個候選移動向量中，決定至少一參考區塊。

步驟110：根據至少一濾波結果及至少一參考區塊，產生用於當前補片之一除噪補片。

步驟112：結束。

為了解釋降噪流程10，請進一步參考第2圖。如第2圖所示，影像或影片的一當前訊框被分割為複數個當前補片，其中當前補片不互相重疊，並且一個當前補片的尺寸可以是1*1至M*N。值得注意的是，當當前補片的尺寸為1*1時，則當前補片為一像素。接著，降噪流程10可用來針對每一當前訊框之補片確定除噪補片。

在步驟104中，候選匹配區塊係由當前補片及參考訊框中確定的，其中參考訊框可以是當前訊框、由一相同擷取裝置或一相同影片來源所擷取的複數個訊框的其中之一，或者，參考訊框為由不同擷取裝置或不同影像序列產生。在此實施例中，一移動估計用來透過至少一搜尋區域以確定候選匹配區塊及其對應的候選移動向量。也就是說，移動估計決定候選移動向量，其中候選移動向量為描述其自參考訊框至當前訊框中的當前補片的轉換，以利用中繼資訊的時間連貫性於不同的訊框中。在一實施例中，候選移動向量可透過於時間t的當前訊框以及於時間t-1的一先前訊框或當前訊框本身決定。

請繼續參考第3圖，第3圖為本發明實施例之一移動估計之示意圖。候選移動向量係於參考訊框的一搜尋區域中的當前補片及一參考補片所決定。如第3圖所示，一當前匹配區塊之一尺寸等於或大於當前補片之一尺寸、一參考匹配區塊之一尺寸等於或大於參考補片之一尺寸，以及搜尋區域之一尺寸或一形狀可以為任意的，而不限於此。舉例來說，如第3圖所示，搜尋區域包含有當前匹配區塊及參考匹配區塊，其中，參考匹配區塊另包含有參考補片，以及當前匹配區塊包含有當前補片。候選移動向量係根據當前匹配區塊及參考匹配區塊決定，以獲得當前補片及參考補片之間的移動變化。因此，候選移動向量係於執行移動估計時，透過搜尋自我相似（self-similarity）的當前補片之鄰近的補片或區塊所決定的。值得注意的是，當前匹配區塊與參考匹配區塊可互相重疊。

以時間性降噪（即3D降噪）為例，當前訊框中的當前補片的候選移動向量係由當前補片及參考補片決定的。接著，時間性降噪透過搜尋區域中的候選移動向量以搜集時間資料（即當前區塊／補片以及參考區塊／補片），而決定的候選移動向量在搜尋區域中具有一最低補片成本。補片成本為一匹配成本、一平均絕對離差（Mean Absolute Difference，MAD）、一差方和（sum of square difference，SSD）及一絕對誤差和（Sum of Absolute Difference，SAD）之至少其中之一，或者由其他權重函數的指標等所決定，以利用鄰近的候選移動向量的一空間連續性或一時間連續性，而不限於此。

以空間性降噪（即2D降噪）為另一例，候選匹配區塊的補片成本與候選移動向量分別由移動估計所決定，其利用自我相似來搜尋鄰近的補片，並且每一候選匹配區塊具有最低補片成本。也就是說，空間性降噪根據當前補片及參考訊框，搜集與時間性降噪共享的搜尋區域中，相似的匹配區塊。在一實施例中，候選匹配區塊、對應的候選移動向量及補片成本可被儲存於一累加器（accumulator）或一暫存器（buffer）中（均未示於圖），以用來暫存空間資訊，而不限於此。

於根據當前補片及參考訊框以產生候選匹配區塊及候選移動向量之後，在步驟106中，降噪流程10透過濾波候選匹配區塊、補片成本及候選移動向量，以得到至少一濾波結果，其中，濾波結果具有對應的一濾波比數Sf。

在一實施例中，當參考訊框為當前訊框之一先前訊框時，步驟106所決定的一或多個濾波結果利用空間資訊及時間資訊來降低雜訊。在另一實施例中，當參考訊框為當前訊框時，步驟106所決定的一或多個濾波結果來利用空間的自我相似，進而降低雜訊。在又一實施例中，當參考訊框係由不同擷取裝置或於不同影像序列中產生時，步驟106所決定的一或多個濾波結果利用一紋理相似度（texture similarity）將當前補片合成為一無雜訊結果。

另一方面，關於時間性降噪，在步驟108中，一當前區塊及一參考區塊係根據候選移動向量決定的。在此實施例中，一移動補償被用來對當前訊框的每一當前補片產生當前區塊及參考區塊。

詳細來說，請參考第4圖，第4圖為本發明實施例之移動補償之示意圖。如第4圖所示，根據於步驟104所決定的候選移動向量，參考訊框中的當前區塊及參考區塊用來計算移動變化，其中降噪過程僅與當前區塊的尺寸及參考區塊的尺寸相關，而與補片的尺寸及匹配區塊的尺寸無關。換言之，就時間性降噪而言，當補片的尺寸與匹配區塊的尺寸不同時，當前區塊及參考區塊仍為相同的。因此，時間性降噪利用於步驟104的移動估計所產生的候選移動向量，以決定相關於當前訊框的移動變化的當前區塊及參考區塊。

在步驟110中，除噪補片係根據濾波結果及參考區塊所產生。請參考第5圖，第5圖為本發明實施例之一統一降噪之示意圖。在此實施例中，以空間性降噪而言，當前區塊係用來針對一最終濾波，以產生具有一空間性降噪比數Ss之一空間性降噪補片。在另一實施例中，空間性降噪可以一暫存器（未示於圖）用來暫存空間區塊，以用於進階空間性降噪。此外，針對時間性降噪而言，具有一時間性降噪比數St之一時間性降噪補片係根據當前區塊及參考區塊所產生。因此，於步驟106中所決定之具有濾波比數Sf的濾波結果、具有一空間性降噪比數Ss之空間性降噪補片及具有一時間性降噪比數St之時間性降噪補片被用來濾波以產生除噪補片。降噪流程10所產生的複數個除噪補片可進一步組成為具有時間性或空間性降噪的一除噪訊框（de-noised frame）。

具體而言，針對具有對應的補片成本及移動向量的每一候選匹配區塊，空間性降噪確認補片成本是否低於一閾值，假使補片成本低於閾值，則將候選匹配區塊加入至一區塊集合。當所有候選匹配區塊被處理完成後，區塊集合則被應用來產生具有空間性降噪比數Ss之空間性降噪補片。值得注意的是，閾值可以是關於當前區塊的一統計值（例如，一平均值或一變異數）的一預設硬閾值（hard threshold）或一軟閾值（soft threshold），而不限於此。除此之外，一非線性權重平均濾波（non-linear weighted average filtering）可被用來根據空間性降噪比數Ss及時間性降噪比數St決定除噪補片。

值得注意的是，前述實施例係用以說明本發明之精神，本領域具通常知識者當可據以做適當之修飾，而不限於此。舉例來說，降噪流程10的順序可被重新安排，如加入一移動搜尋及累加器，或者一預測器（predictor）及一移動向量場（motion vector field）以實現移動估計，而不限於上述步驟。

請參考第6圖，第6圖為本發明實施例之一裝置60之示意圖。裝置60包含一移動估計單元602、一移動補償單元604、一濾波單元606及一降噪單元608，其可用來分別實現上述之移動估計、移動補償、濾波及最終濾波之步驟，以產生一除噪補片，並且不以此為限。

再者，請參考第7圖，第7圖為本發明實施例之一電路系統70之示意圖。電路系統70包含有一移動估計電路702、一移動補償電路704、一濾波電路706及一降噪電路708，其可用來分別實現上述之移動估計、移動補償、濾波及最終濾波之步驟，以產生一除噪補片，並且不以此為限。電路系統70可以一微處理器或一特殊應用積體電路（Application Specific Integrated Circuit，ASIC）實現，且不限於此。

綜上所述，本發明之降噪方法利用空間及時間資訊，以同時降低空間（即2D）及時間（即3D）的雜訊，進而降低影像或影片的雜訊，並且改善影像或影片的品質。以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10‧‧‧降噪流程

102、104、106、108、110、112‧‧‧步驟

60‧‧‧裝置

70‧‧‧電路系統

602‧‧‧移動估計單元

604‧‧‧移動補償單元

606‧‧‧濾波單元

608‧‧‧降噪單元

702‧‧‧移動估計電路

704‧‧‧移動補償電路

706‧‧‧濾波電路

708‧‧‧降噪電路

第1圖為本發明實施例之一降噪流程之示意圖。第2圖為本發明實施例之具有複數個當前補片之一當前訊框之示意圖。第3圖為本發明實施例之一移動估計之示意圖。第4圖為本發明實施例之一移動補償之示意圖。第5圖為本發明實施例之一統一降噪之示意圖。第6圖為本發明實施例之一裝置之示意圖。第7圖為本發明實施例之一電路系統之示意圖。

Claims

一種降噪方法，包含有：對一當前補片（current patch）之一參考訊框（reference frame）中確定複數個候選匹配區塊（candidate matching block）；根據該複數個候選匹配區塊，取得至少一濾波結果（filtering result）；自複數個候選移動向量（candidate motion vector）中，決定至少一參考區塊；以及根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片（de-noised patch）。
如請求項1所述之方法，其中該複數個候選匹配區塊包含對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
如請求項2所述之方法，其中該補片成本係由一匹配成本、一平均絕對離差（Mean Absolute Difference，MAD）、一差方和（sum of square difference，SSD）及一絕對誤差和（Sum of Absolute Difference，SAD）之至少其中之一所決定。
如請求項2所述之方法，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
如請求項4所述之方法，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
如請求項4所述之方法，其中該搜尋區域之一尺寸或一形狀為任意的。
如請求項4所述之方法，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
如請求項4所述之方法，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
如請求項8所述之方法，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
如請求項1所述之方法，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
如請求項1所述之方法，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。
一種降噪裝置，包含有：一移動估計單元，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波單元，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一補償單元，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪單元，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。
如請求項12所述之裝置，其中該複數個候選匹配區塊包含分別對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
如請求項13所述之裝置，其中該補片成本係由一匹配成本、一平均絕對離差、一差方和及一絕對誤差和之至少其中之一所決定。
如請求項13所述之裝置，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
如請求項15所述之裝置，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
如請求項15所述之裝置，其中該搜尋區域之一尺寸或一形狀為任意的。
如請求項15所述之裝置，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
如請求項15所述之裝置，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
如請求項19所述之裝置，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
如請求項12所述之裝置，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
如請求項12所述之裝置，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。
一種降噪電路系統，包含有：一移動估計電路，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波電路，耦接於該移動估計電路，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一移動補償電路，耦接於該移動估計電路，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪電路，耦接於該移動估計電路及該移動補償電路，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。
如請求項23所述之電路系統，其中該複數個候選匹配區塊包含分別對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
如請求項24所述之電路系統，其中該補片成本係由一匹配成本、一平均絕對離差、一差方和及一絕對誤差和之至少其中之一所決定。
如請求項24所述之電路系統，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
如請求項26所述之電路系統，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
如請求項26所述之電路系統，其中該搜尋區域之一尺寸或一形狀為任意的。
如請求項26所述之電路系統，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
如請求項26所述之電路系統，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
如請求項30所述之電路系統，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
如請求項23所述之電路系統，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
如請求項23所述之電路系統，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。