TWI665916B - 降噪方法、降噪裝置及降噪電路系統 - Google Patents

降噪方法、降噪裝置及降噪電路系統 Download PDF

Info

Publication number
TWI665916B
TWI665916B TW107110376A TW107110376A TWI665916B TW I665916 B TWI665916 B TW I665916B TW 107110376 A TW107110376 A TW 107110376A TW 107110376 A TW107110376 A TW 107110376A TW I665916 B TWI665916 B TW I665916B
Authority
TW
Taiwan
Prior art keywords
patch
current
noise reduction
candidate
matching
Prior art date
Application number
TW107110376A
Other languages
English (en)
Other versions
TW201929521A (zh
Inventor
魏谷竹
Original Assignee
多方科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 多方科技股份有限公司 filed Critical 多方科技股份有限公司
Application granted granted Critical
Publication of TWI665916B publication Critical patent/TWI665916B/zh
Publication of TW201929521A publication Critical patent/TW201929521A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本發明揭露一種降噪方法，包含有對一當前補片之一參考訊框中確定複數個候選匹配區塊；根據該複數個候選匹配區塊，取得至少一濾波結果；自複數個候選移動向量中，決定至少一參考區塊；以及根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。

Description

降噪方法、降噪裝置及降噪電路系統
本發明涉及一種降噪方法、降噪裝置及降噪電路系統，尤其是一種利用空間資訊及時間資訊以降低影像雜訊的降噪方法、降噪裝置及降噪電路系統。
隨著科技的發展與進步，各種數位相機也隨之產生，產業及消費者對於數位影像技術的處理需求也日益增加。在現有的系統中，空間性降噪(noise reduction，NR)，即二維(two-dimensional，2D)降噪，主要用來處理靜止的圖片，並且由邊緣保持濾波器(edge-preserving filter)等裝置利用訊框的空間資訊以降低影像中的雜訊。時間性降噪，即三維(three-dimensional，3D)降噪，主要利用影片中的時間資訊降低雜訊，並透過移動適應性雜訊降低(motion adaptive noise reduction，MANR)及移動補償雜訊降低(motion compensation noise reduction，MCNR)等方法處理影像。然而，由於二維降噪及三維降噪通常分別用來降低影像及影片中的雜訊，卻也增加單一系統同時執行二維降噪及三維降噪的複雜度及成本。
因此，如何利用空間資訊及時間資訊以降低影像及影片中的雜訊，已成為本領域之一重要課題。
因此，本發明之主要目的在於提供一種利用空間及時間連貫性，以降低影像及影片中的雜訊方法、裝置及電路系統，進而改善先前技術的缺點。
本發明揭露一種降噪方法，包含有對一當前補片之一參考訊框中確定複數個候選匹配區塊；根據該複數個候選匹配區塊，取得至少一濾波結果；自複數個候選移動向量中，決定至少一參考區塊；以及根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。
本發明另揭露一種降噪裝置，包含有一移動估計單元，用來在對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波單元，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一補償單元，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪單元，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。
本發明還揭露一種降噪電路系統，包含有一移動估計電路，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波電路，耦接於該移動估計電路，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一移動補償電路，耦接於該移動估計電路，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪電路，耦接於該移動估計電路及該移動補償電路，根據該至少一濾波結果及該至少一參考區塊，產生用於該當前補片之一除噪補片。
10‧‧‧降噪流程
102、104、106、108、110、112‧‧‧步驟
60‧‧‧裝置
70‧‧‧電路系統
602‧‧‧移動估計單元
604‧‧‧移動補償單元
606‧‧‧濾波單元
608‧‧‧降噪單元
702‧‧‧移動估計電路
704‧‧‧移動補償電路
706‧‧‧濾波電路
708‧‧‧降噪電路
第1圖為本發明實施例之一降噪流程之示意圖。
第2圖為本發明實施例之具有複數個當前補片之一當前訊框之示意圖。
第3圖為本發明實施例之一移動估計之示意圖。
第4圖為本發明實施例之一移動補償之示意圖。
第5圖為本發明實施例之一統一降噪之示意圖。
第6圖為本發明實施例之一裝置之示意圖。
第7圖為本發明實施例之一電路系統之示意圖。
請參考第1圖，第1圖為本發明實施例之一降噪流程10之示意圖。降噪流程10包含下列步驟：步驟102：開始。
步驟104：對一當前補片之一參考訊框中確定複數個候選匹配區塊。
步驟106：根據候選匹配區塊，取得至少一濾波結果。
步驟108：自複數個候選移動向量中，決定至少一參考區塊。
步驟110：根據至少一濾波結果及至少一參考區塊，產生用於當前補片之一除噪補片。
步驟112：結束。
為了解釋降噪流程10，請進一步參考第2圖。如第2圖所示，影像或影片的一當前訊框被分割為複數個當前補片，其中當前補片不互相重疊，並且一個當前補片的尺寸可以是1*1至M*N。值得注意的是，當當前補片的尺寸為1*1 時，則當前補片為一像素。接著，降噪流程10可用來針對每一當前訊框之補片確定除噪補片。
在步驟104中，候選匹配區塊係由當前補片及參考訊框中確定的，其中參考訊框可以是當前訊框、由一相同擷取裝置或一相同影片來源所擷取的複數個訊框的其中之一，或者，參考訊框為由不同擷取裝置或不同影像序列產生。 在此實施例中，一移動估計用來透過至少一搜尋區域以確定候選匹配區塊及其對應的候選移動向量。也就是說，移動估計決定候選移動向量，其中候選移動向量為描述其自參考訊框至當前訊框中的當前補片的轉換，以利用中繼資訊的時間連貫性於不同的訊框中。在一實施例中，候選移動向量可透過於時間t的當前訊框以及於時間t-1的一先前訊框或當前訊框本身決定。
請繼續參考第3圖，第3圖為本發明實施例之一移動估計之示意圖。 候選移動向量係於參考訊框的一搜尋區域中的當前補片及一參考補片所決定。 如第3圖所示，一當前匹配區塊之一尺寸等於或大於當前補片之一尺寸、一參考匹配區塊之一尺寸等於或大於參考補片之一尺寸，以及搜尋區域之一尺寸或一形狀可以為任意的，而不限於此。舉例來說，如第3圖所示，搜尋區域包含有當前匹配區塊及參考匹配區塊，其中，參考匹配區塊另包含有參考補片，以及當前匹配區塊包含有當前補片。候選移動向量係根據當前匹配區塊及參考匹配區塊決定，以獲得當前補片及參考補片之間的移動變化。因此，候選移動向量係於執行移動估計時，透過搜尋自我相似(self-similarity)的當前補片之鄰近的補片或區塊所決定的。值得注意的是，當前匹配區塊與參考匹配區塊可互相重疊。
以時間性降噪(即3D降噪)為例，當前訊框中的當前補片的候選移 動向量係由當前補片及參考補片決定的。接著，時間性降噪透過搜尋區域中的候選移動向量以搜集時間資料(即當前區塊/補片以及參考區塊/補片)，而決定的候選移動向量在搜尋區域中具有一最低補片成本。補片成本為一匹配成本、一平均絕對離差(Mean Absolute Difference，MAD)、一差方和(sum of square difference，SSD)及一絕對誤差和(Sum of Absolute Difference，SAD)之至少其中之一，或者由其他權重函數的指標等所決定，以利用鄰近的候選移動向量的一空間連續性或一時間連續性，而不限於此。
以空間性降噪(即2D降噪)為另一例，候選匹配區塊的補片成本與候選移動向量分別由移動估計所決定，其利用自我相似來搜尋鄰近的補片，並且每一候選匹配區塊具有最低補片成本。也就是說，空間性降噪根據當前補片及參考訊框，搜集與時間性降噪共享的搜尋區域中，相似的匹配區塊。在一實施例中，候選匹配區塊、對應的候選移動向量及補片成本可被儲存於一累加器(accumulator)或一暫存器(buffer)中(均未示於圖)，以用來暫存空間資訊，而不限於此。
於根據當前補片及參考訊框以產生候選匹配區塊及候選移動向量之後，在步驟106中，降噪流程10透過濾波候選匹配區塊、補片成本及候選移動向量，以得到至少一濾波結果，其中，濾波結果具有對應的一濾波比數Sf。
在一實施例中，當參考訊框為當前訊框之一先前訊框時，步驟106所決定的一或多個濾波結果利用空間資訊及時間資訊來降低雜訊。在另一實施例中，當參考訊框為當前訊框時，步驟106所決定的一或多個濾波結果來利用空間的自我相似，進而降低雜訊。在又一實施例中，當參考訊框係由不同擷取裝置 或於不同影像序列中產生時，步驟106所決定的一或多個濾波結果利用一紋理相似度(texture similarity)將當前補片合成為一無雜訊結果。
另一方面，關於時間性降噪，在步驟108中，一當前區塊及一參考區塊係根據候選移動向量決定的。在此實施例中，一移動補償被用來對當前訊框的每一當前補片產生當前區塊及參考區塊。
詳細來說，請參考第4圖，第4圖為本發明實施例之移動補償之示意圖。如第4圖所示，根據於步驟104所決定的候選移動向量，參考訊框中的當前區塊及參考區塊用來計算移動變化，其中降噪過程僅與當前區塊的尺寸及參考區塊的尺寸相關，而與補片的尺寸及匹配區塊的尺寸無關。換言之，就時間性降噪而言，當補片的尺寸與匹配區塊的尺寸不同時，當前區塊及參考區塊仍為相同的。因此，時間性降噪利用於步驟104的移動估計所產生的候選移動向量，以決定相關於當前訊框的移動變化的當前區塊及參考區塊。
在步驟110中，除噪補片係根據濾波結果及參考區塊所產生。請參考第5圖，第5圖為本發明實施例之一統一降噪之示意圖。在此實施例中，以空間性降噪而言，當前區塊係用來針對一最終濾波，以產生具有一空間性降噪比數Ss之一空間性降噪補片。在另一實施例中，空間性降噪可以一暫存器(未示於圖)用來暫存空間區塊，以用於進階空間性降噪。此外，針對時間性降噪而言，具有一時間性降噪比數St之一時間性降噪補片係根據當前區塊及參考區塊所產生。因此，於步驟106中所決定之具有濾波比數Sf的濾波結果、具有一空間性降噪比數Ss之空間性降噪補片及具有一時間性降噪比數St之時間性降噪補片被用來濾波以產生除噪補片。降噪流程10所產生的複數個除噪補片可進一步組成為 具有時間性或空間性降噪的一除噪訊框(de-noised frame)。
具體而言，針對具有對應的補片成本及移動向量的每一候選匹配區塊，空間性降噪確認補片成本是否低於一閾值，假使補片成本低於閾值，則將候選匹配區塊加入至一區塊集合。當所有候選匹配區塊被處理完成後，區塊集合則被應用來產生具有空間性降噪比數Ss之空間性降噪補片。值得注意的是，閾值可以是關於當前區塊的一統計值(例如，一平均值或一變異數)的一預設硬閾值(hard threshold)或一軟閾值(soft threshold)，而不限於此。除此之外，一非線性權重平均濾波(non-linear weighted average filtering)可被用來根據空間性降噪比數Ss及時間性降噪比數St決定除噪補片。
值得注意的是，前述實施例係用以說明本發明之精神，本領域具通常知識者當可據以做適當之修飾，而不限於此。舉例來說，降噪流程10的順序可被重新安排，如加入一移動搜尋及累加器，或者一預測器(predictor)及一移動向量場(motion vector field)以實現移動估計，而不限於上述步驟。
請參考第6圖，第6圖為本發明實施例之一裝置60之示意圖。裝置60包含一移動估計單元602、一移動補償單元604、一濾波單元606及一降噪單元608，其可用來分別實現上述之移動估計、移動補償、濾波及最終濾波之步驟，以產生一除噪補片，並且不以此為限。
再者，請參考第7圖，第7圖為本發明實施例之一電路系統70之示意圖。電路系統70包含有一移動估計電路702、一移動補償電路704、一濾波電路706及一降噪電路708，其可用來分別實現上述之移動估計、移動補償、濾波及 最終濾波之步驟，以產生一除噪補片，並且不以此為限。電路系統70可以一微處理器或一特殊應用積體電路(Application Specific Integrated Circuit，ASIC)實現，且不限於此。
綜上所述，本發明之降噪方法利用空間及時間資訊，以同時降低空間(即2D)及時間(即3D)的雜訊，進而降低影像或影片的雜訊，並且改善影像或影片的品質。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (33)

  1. 一種降噪方法，包含有：對一當前補片(current patch)之一參考訊框(reference frame)中確定複數個候選匹配區塊(candidate matching block)；根據該複數個候選匹配區塊，取得至少一濾波結果(filtering result)；自複數個候選移動向量(candidate motion vector)中，決定至少一參考區塊；以及根據該至少一濾波結果、一空間性降噪補片及一時間性降噪補片，產生用於該當前補片之一除噪補片(de-noised patch)；其中，該空間性降噪補片包含一空間性降噪比數，該時間性降噪補片包含一時間性降比數。
  2. 如請求項1所述之方法，其中該複數個候選匹配區塊包含對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
  3. 如請求項2所述之方法，其中該補片成本係由一匹配成本、一平均絕對離差(Mean Absolute Difference，MAD)、一差方和(sum of square difference，SSD)及一絕對誤差和(Sum of Absolute Difference，SAD)之至少其中之一所決定。
  4. 如請求項2所述之方法，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
  5. 如請求項4所述之方法，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
  6. 如請求項4所述之方法，其中該搜尋區域之一尺寸或一形狀為任意的。
  7. 如請求項4所述之方法，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
  8. 如請求項4所述之方法，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
  9. 如請求項8所述之方法，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
  10. 如請求項1所述之方法，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
  11. 如請求項1所述之方法，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。
  12. 一種降噪裝置，包含有：一移動估計單元，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波單元，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一補償單元，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪單元，根據該至少一濾波結果、一空間性降噪補片及一時間性降噪補片，產生用於該當前補片之一除噪補片；其中，該空間性降噪補片包含一空間性降噪比數，該時間性降噪補片包含一時間性降比數。
  13. 如請求項12所述之裝置，其中該複數個候選匹配區塊包含分別對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
  14. 如請求項13所述之裝置，其中該補片成本係由一匹配成本、一平均絕對離差、一差方和及一絕對誤差和之至少其中之一所決定。
  15. 如請求項13所述之裝置，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
  16. 如請求項15所述之裝置，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
  17. 如請求項15所述之裝置，其中該搜尋區域之一尺寸或一形狀為任意的。
  18. 如請求項15所述之裝置，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
  19. 如請求項15所述之裝置，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
  20. 如請求項19所述之裝置，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
  21. 如請求項12所述之裝置，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
  22. 如請求項12所述之裝置，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。
  23. 一種降噪電路系統，包含有：一移動估計電路，用來對一當前補片之一參考訊框中確定複數個候選匹配區塊；一濾波電路，耦接於該移動估計電路，用來根據該複數個候選匹配區塊，取得至少一濾波結果；一移動補償電路，耦接於該移動估計電路，用來自複數個候選移動向量中，決定至少一參考區塊；以及一降噪電路，耦接於該移動估計電路及該移動補償電路，根據該至少一濾波結果、一空間性降噪補片及一時間性降噪補片，產生用於該當前補片之一除噪補片；其中，該空間性降噪補片包含一空間性降噪比數，該時間性降噪補片包含一時間性降比數。
  24. 如請求項23所述之電路系統，其中該複數個候選匹配區塊包含分別對應於該複數個候選匹配區塊之複數個補片成本及該複數個候選移動向量。
  25. 如請求項24所述之電路系統，其中該補片成本係由一匹配成本、一平均絕對離差、一差方和及一絕對誤差和之至少其中之一所決定。
  26. 如請求項24所述之電路系統，其中該複數個候選移動向量係根據該參考訊框之一搜尋區域中的一參考補片與及該當前補片所決定。
  27. 如請求項26所述之電路系統，其中每一濾波結果係根據至少一候選匹配區塊以及至少一當前匹配區塊產生，且該至少一當前匹配區塊係根據該複數個補片成本及該複數個候選移動向量所產生。
  28. 如請求項26所述之電路系統，其中該搜尋區域之一尺寸或一形狀為任意的。
  29. 如請求項26所述之電路系統，其中每一濾波結果係根據至少一候選匹配區塊、該複數個補片成本及該複數個候選移動向量所決定。
  30. 如請求項26所述之電路系統，其中該參考補片係於一參考匹配區塊之中，該當前補片係於一當前匹配區塊之中，該參考匹配區塊之一尺寸等於或大於該參考補片，以及該當前匹配區塊之一尺寸等於或大於該當前補片。
  31. 如請求項30所述之電路系統，其中該參考匹配區塊及該當前匹配區塊係用來決定該複數個候選移動向量。
  32. 如請求項23所述之電路系統，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由一相同擷取裝置或於一相同影像序列產生。
  33. 如請求項23所述之電路系統，其中該參考訊框係相關於該當前補片之一當前訊框，並且該當前補片係由不同擷取裝置或於不同影像序列產生。
TW107110376A 2017-12-14 2018-03-27 降噪方法、降噪裝置及降噪電路系統 TWI665916B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/842,762 2017-12-14
US15/842,762 US20190188829A1 (en) 2017-12-14 2017-12-14 Method, Apparatus, and Circuitry of Noise Reduction

Publications (2)

Publication Number Publication Date
TWI665916B true TWI665916B (zh) 2019-07-11
TW201929521A TW201929521A (zh) 2019-07-16

Family

ID=66815213

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107110376A TWI665916B (zh) 2017-12-14 2018-03-27 降噪方法、降噪裝置及降噪電路系統

Country Status (3)

Country Link
US (1) US20190188829A1 (zh)
CN (1) CN109963048B (zh)
TW (1) TWI665916B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US12058309B2 (en) * 2018-07-08 2024-08-06 Mellanox Technologies, Ltd. Application accelerator
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
KR102615156B1 (ko) * 2018-12-18 2023-12-19 삼성전자주식회사 감소된 개수의 후보 블록들에 기초하여 모션 추정을 수행하는 전자 회로 및 전자 장치
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10972201B2 (en) * 2019-05-03 2021-04-06 Samsung Electronics Co., Ltd Method and apparatus for providing enhanced reference signal received power estimation
US11197008B2 (en) * 2019-09-27 2021-12-07 Intel Corporation Method and system of content-adaptive denoising for video coding
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN113536214B (zh) * 2020-04-14 2024-10-18 浙江大华技术股份有限公司 一种图像降噪的方法、装置及存储装置
CN117115753B (zh) * 2023-10-23 2024-02-02 辽宁地恩瑞科技有限公司 一种膨润土自动化磨粉监测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW363327B (en) * 1995-12-12 1999-07-01 Rca Thomson Licensing Corp Noise estimation and reduction apparatus for video signal processing
TWI224290B (en) * 1999-01-27 2004-11-21 Matsushita Electric Ind Co Ltd Motion estimation using orthogonal transform-domain block matching
TWI463866B (zh) * 2010-04-28 2014-12-01 Sony Corp An image processing apparatus, an image processing method, an image pickup apparatus, and an image processing program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204334B2 (en) * 2006-06-29 2012-06-19 Thomson Licensing Adaptive pixel-based filtering
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
CN103024248B (zh) * 2013-01-05 2016-01-06 上海富瀚微电子股份有限公司 运动自适应的视频图像降噪方法及其装置
US9489720B2 (en) * 2014-09-23 2016-11-08 Intel Corporation Non-local means image denoising with detail preservation using self-similarity driven blending
CN106612386B (zh) * 2015-10-27 2019-01-29 北京航空航天大学 一种联合时空相关特性的降噪方法
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
US10462459B2 (en) * 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW363327B (en) * 1995-12-12 1999-07-01 Rca Thomson Licensing Corp Noise estimation and reduction apparatus for video signal processing
TWI224290B (en) * 1999-01-27 2004-11-21 Matsushita Electric Ind Co Ltd Motion estimation using orthogonal transform-domain block matching
TWI463866B (zh) * 2010-04-28 2014-12-01 Sony Corp An image processing apparatus, an image processing method, an image pickup apparatus, and an image processing program

Also Published As

Publication number Publication date
TW201929521A (zh) 2019-07-16
CN109963048A (zh) 2019-07-02
US20190188829A1 (en) 2019-06-20
CN109963048B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
TWI665916B (zh) 降噪方法、降噪裝置及降噪電路系統
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
EP3099044B1 (en) Multi-frame noise reduction method and terminal
WO2021114868A1 (zh) 降噪方法、终端及存储介质
WO2015172235A1 (en) Time-space methods and systems for the reduction of video noise
JP2012516637A5 (zh)
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
US20110194763A1 (en) Apparatus, method and computer-readable medium removing noise of color image
Wang et al. A graph-based joint bilateral approach for depth enhancement
CN104202603B (zh) 一种应用于视频帧速率上转换的运动向量场生成方法
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP7482232B2 (ja) 時間変形可能畳み込みによるディープループフィルタ
Sun et al. Rolling shutter distortion removal based on curve interpolation
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
Sankaran et al. Non local image restoration using iterative method
CN104243991B (zh) 一种边信息生成方法及装置
CN108933942B (zh) 一种压缩视频的滤波方法及针对压缩视频的滤波装置
WO2016131270A1 (zh) 一种错误隐藏的方法和装置
Kulkarni et al. Coding of video sequences using three step search algorithm
CN112702515B (zh) 相机系统中的图像处理方法、系统和计算机可读介质
Quevedo et al. Super-resolution with adaptive macro-block topology applied to a multi-camera system
US9549205B2 (en) Method and device for encoding video
TWI493977B (zh) 影像搜尋模組及其方法
AU2021105709A4 (en) Convolutional neural Networks based image compression for high quality mutifocus fused Images
Byongsu et al. An improved exemplar-based image inpainting algorithm for error concealment