TW202005355A - 用於連續多幀圖像去除雜訊的裝置和方法 - Google Patents
用於連續多幀圖像去除雜訊的裝置和方法 Download PDFInfo
- Publication number
- TW202005355A TW202005355A TW108117406A TW108117406A TW202005355A TW 202005355 A TW202005355 A TW 202005355A TW 108117406 A TW108117406 A TW 108117406A TW 108117406 A TW108117406 A TW 108117406A TW 202005355 A TW202005355 A TW 202005355A
- Authority
- TW
- Taiwan
- Prior art keywords
- output
- input
- frame
- image
- subtractor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000001914 filtration Methods 0.000 claims description 17
- 230000009467 reduction Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 8
- 230000006870 function Effects 0.000 description 60
- 238000004891 communication Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 235000012431 wafers Nutrition 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241000238413 Octopus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
本文公開一種用於連續多幀圖像去除雜訊的裝置和方法。根據一個實施例，一種裝置包括：維納濾波器，被配置成對圖像的幀進行濾波；以及幀延遲器，被配置成將經濾波的幀反饋到維納濾波器，其中維納濾波器還被配置成基於經濾波的幀對圖像的後續幀進行濾波。本揭露的用於連續多幀圖像去除雜訊的裝置具有良好的品質。
Description
本發明是有關於一種圖像處理，且特別是有關於一種用於連續多幀圖像去除雜訊（successive multi-frame denoising）的裝置及方法。
[優先權]
本申請主張在2018年5月23日在美國專利與商標局提出申請且指定了申請號62/675,377的美國臨時專利申請以及在2019年4月10日在美國專利與商標局提出申請且指定了申請號16/380,473的美國非臨時專利申請的優先權，所述美國臨時專利申請及美國非臨時專利申請的全部內容併入本申請供參考。
在低光條件下進行數字攝影可能是具有挑戰性的任務，其中長曝光時間（以收集更多光）會導致運動模糊而短曝光時間（以避免運動模糊）會增大雜訊水平（noise level）。為了克服這類挑戰，典型方法是使用突發脈衝攝影並對多個幀進行融合以產生清晰的低雜訊圖像（low-noise image）。然而，多幀融合需要兩個主要步驟：進行配准以將圖像幀對準（慮及全域運動及局部運動兩者），以及進行多幀合併（融合）以增強品質。
根據一個實施例，提供一種裝置。所述裝置包括：維納濾波器（Wiener filter），被配置成對圖像的幀進行濾波；以及幀延遲器（frame delayer），被配置成將經濾波的所述幀反饋到所述維納濾波器，其中所述維納濾波器還被配置成基於經濾波的所述幀對所述圖像的後續幀（subsequent frame）進行濾波。
根據一個實施例，提供一種裝置。所述裝置包括：第一減法器（subtractor），包括用於接收圖像的幀的第一輸入、用於接收參考幀（reference frame）的第二輸入以及輸出；絕對值函數塊（absolute value function block），包括連接到所述第一減法器的所述輸出的輸入以及輸出；第二減法器，包括連接到所述絕對值函數塊的所述輸出的第一輸入、用於接收第一預定值（predetermined value）的第二輸入以及輸出；以及最大值除法器函數塊（maximum value divider function block），包括連接到所述第二減法器的所述輸出的輸入以及用於輸出濾波器權重（weights）的輸出。
根據一個實施例，提供一種方法。所述方法包括：由維納濾波器對圖像的幀進行濾波；以及由幀延遲器將經濾波的所述幀反饋到所述維納濾波器；以及由所述維納濾波器基於經濾波的所述幀對所述圖像的後續幀進行濾波。
根據一個實施例，提供一種方法。所述方法包括：由第一減法器從圖像的幀減去參考值；由絕對值函數塊來確定所述第一減法器的輸出的絕對值；由第二減法器從所述絕對值函數塊的輸出減去第一預定值；以及由最大值除法器函數塊來確定所述第二減法器的輸出的最大值除法器。
在下文中，參照附圖詳細闡述本揭露的實施例。儘管相同的元件示出在不同的圖式中，然而相同的元件將由相同的參考編號標示。在以下說明中，提供例如詳細配置及組件等具體細節僅是為了幫助全面理解本揭露的實施例。因此，對所屬領域中的技術人員應顯而易見，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種改變及修改。
另外，為清晰及簡潔起見，省略對眾所周知的功能及構造的說明。以下所述用語是考慮到本揭露中的功能而定義的用語，且可根據用戶、用戶的意圖或習慣而有所不同。因此，這些用語的定義應基於本說明書通篇的內容來來確定。
本揭露可具有各種修改及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而，本揭露並非僅限於所述實施例，而是包括處於本揭露的範圍內的所有修改、等效形式及非參考形式。
儘管可能使用包括例如“第一（first）”、“第二（second）”等序數詞的用語來闡述各種元件，但結構元件不受這些用語限制。這些用語僅用於區分各個元件。舉例來說，在不背離本揭露的範圍的條件下，“第一結構元件”可被稱為“第二結構元件”。相似地，“第二結構元件”也可被稱為“第一結構元件”。
本文中所用的用語“和/或（and/or）”包括一個或多個關聯項的任意及所有組合。
本文中所用的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語“包括（include）”或“具有（have）”指示特徵、數目、步驟、操作、結構元件、部件或其組合的存在，而不排除一個或多個其他特徵、數字、步驟、操作、結構元件、部件或其組合的存在或添加的可能性。
除非進行不同地定義，否則本文中所用的所有用語均具有與本揭露所屬領域中的技術人員所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。
根據一個實施例，一種裝置及方法提供其中通過對有雜訊圖像的突發脈衝進行合併來產生雜訊（noise）較少的圖像的多幀去除雜訊，所述多幀去除雜訊也被稱為連續逐對三維合併（successive pairwise 3D merging）。這會降低雜訊且對殘餘對準誤差（由於在對相機及場景運動二者進行補償時的殘餘誤差（residual error））是穩健的。
在幀之間可能已經存在某種水平的對準，且可在多幀合併步驟時進行聚焦。此外，圖像幀可被對準成具有某種水平的殘餘對準誤差，且可引入人工對準誤差來評價在對準誤差存在時的合併方案。
在一個實施例中，裝置會選擇一個幀作為參考幀（為預定的或動態選擇的），並將所有幀分成小的分塊（patch）。所述裝置基於整個突發脈衝上對準的非參考分塊與對應的參考分塊的相似性對對準的非參考分塊進行排序，且在變換域（例如，離散傅立葉變換（discrete Fourier transform，DFT））中連續地合併有序分塊。所述裝置連續地（一次一個分塊地）實行合併，其中首先合併與參考分塊更相似的非參考分塊。所述裝置通過對三維變換域分量應用維納濾波（Wiener filtering）而在三維域中將每一非參考分塊與利用參考分塊被初始化的最近合併結果合併，這會改善綜合產生的有雜訊突發脈衝上的峰值信噪比（peak signal to noise ratio，PSNR）及結構相似性（structural similarity，SSIM）。所述裝置及方法表現為比包括穩健合併及視頻匹配塊4維濾波（Video Block-Matching 4D filtering，V-BM4D）的其他典型方法更好。
在實施例中，穩健合併（robust merging）方法規定曝光在突發脈衝中的所有幀上是恒定的，這使得對準更具穩健性（突發脈衝的不同幀之間不存在雜訊水平差異）。第二，對原拜耳圖像（Bayer image）而非去馬賽克的紅綠藍（red green blue，RGB）（或亮度（Y）及色度（U及V）（YUV））幀進行合併，這會提供動態範圍增加且雜訊模型簡單兩方面的有益效果。第三，使用基於快速傅立葉變換（fast fourier transform，FFT）的對準算法及混合二維（two dimensional，2D）/三維維納濾波器來對突發脈衝中的幀進行去除雜訊及合併。
在實施例中，對準及合併兩種操作是按照圖塊（tile）來實行。合併方法是基於對輸入的圖塊進行操作的逐對頻域時間濾波器。參考幀中的每一圖塊與從非參考幀中的每一者得到的一個圖塊合併。通常使用來自拜耳原始輸入的彩色平面中的16×16個圖塊，但對於低頻雜訊可能令人討厭的非常暗的場景，使用32×32個圖塊。
在穩健合併中，拜耳圖像的每一平面被獨立地合併。以下，根據單通道圖像（single-channel image）來公開合併方法，所述單通道圖像可簡單地延伸到其中每一平面被獨立合併的拜耳圖像的情形。
穩健合併方法對空間頻域中的圖像圖塊進行操作。對於給定參考圖塊，在整個突發脈衝上會每幀一個地組裝一組對應的圖塊，且其相應的二維離散傅立葉變換（two-dimensional-discrete Fourier transform，2D-DFT）被計算為
，其中
表示空間頻率，
是幀索引（frame index），且不失一般性，幀0被視為參考。
穩健合併應用如下方程式（1）中的頻域合併：
…（1）。
以上逐對時間濾波器不會實行任何空間濾波，因而空間濾波在2D DFT域中用作單獨的後處理步驟。通過假設所有
個幀被完全平均，且所估計的雜訊方差被更新為
，對空間頻率係數應用與以上方程式（2）相同形式的逐點收縮算子（pointwise shrinkage operator）來實行空間濾波。還應用
形式的附加雜訊整形濾波器（noise shaping filter）。總之，穩健合併的空間濾波呈如下方程式（3）的形式：
…（3）
穩健合併是對每一空間維度上交疊一半的圖塊進行操作。通過在交疊的圖塊之間平穩地摻合，可在圖塊邊界處避免視覺上令人討厭的不連續。另外，對圖塊應用窗函數（window function）以避免在DFT域中操作時出現邊緣偽像（edge artifact）。使用修改的上升餘弦窗，即在
時為
，否則為0。
根據一個實施例，本發明裝置及方法提供連續穩健合併作為上述穩健合併方法的修改型式。在穩健合併中，目標是每當對應的非參考幀與參考幀之間的差（
）與雜訊無關時，拒絕合併非參考幀。
在穩健合併中，非參考幀獨立地與參考幀合併。
可被定義為在對第
非參考幀進行合併之後的合併結果。因此，
（如在以上方程式（1）及如下方程式（4）中所定義）表示以上方程式（1）的中間合併結果：
…（4）
合併的目標是降低雜訊水平，因此期望觀察到與
相比更低的雜訊水平，即在
時的
。假設到第
個幀時實現完全對準，所有幀均完全平均，且在對個幀合併之後，雜訊水平降低了
。如果能夠獲得場景
的真實無雜訊圖像，則更好的合併策略是獲得
而非，且每當其與真實圖像的差與雜訊無關時，拒絕合併第非參考幀。通常，無法獲得真實圖像；然而，在對個幀進行合併之後，會獲得作為對的估計。
因此，根據一個實施例的裝置可在確定
（第
幀）的合併水平（merging level）時使用。假設
經歷
的雜訊水平，則對幀進行編索引是從0開始。這種方案可被稱為連續穩健合併（successive robust merging），其可用公式表示成如下方程式（5）：
…（5）
其中
。方程式（5）可等效地（equivalently）寫成如下方程式（6）：
…（6）。
根據一個實施例，一種裝置及方法提供差分連續穩健合併，其中在如下方程式（7）下得到的
僅用於更新
：
…（7）
其中且
，並且接著可被等效地寫成如下方程式（8）：
…（8）。
根據一個實施例，個有雜訊圖像（noisy image）的突發脈衝，其中
表示第
圖像幀
，且
表示二維空間像素位置。各分塊在大小為16×16的每一空間維度上交疊一半，且使用修改的上升餘弦窗（即在時為否則為0）進行濾波。第幀的所考慮的分塊（通過上述上升餘弦窗（cosine window）進行加權）的二維離散傅立葉變換（2D-DFT）被表示成
，其中，表示二維空間頻率，且為簡單起見省略了分塊索引。
根據一個實施例，一種裝置及方法提供多幀合併，具體來說為連續逐對三維合併。在各幀之間可能存在殘餘對準誤差。在連續逐對三維合併中，本發明裝置連續地合併非參考幀，其中每一參考幀與最近合併的結果（利用參考分塊初始化）合併。基於整個突發脈衝上對準的非參考分塊與對應的參考分塊的相似性對對準的非參考分塊進行排序，接著在變換域中連續地合併非參考分塊。所述裝置連續地（一次一個分塊地）實行合併，其中首先合併與參考分塊更相似的非參考分塊。所述裝置使用兩步變換在變換域中實行合併。
在第一步變換中，本發明裝置獲得參考幀及非參考幀的二維變換（例如，離散傅立葉變換2D-DFT）。在第二步變換中，本發明裝置在時間方向上對最近合併的結果與可用非參考幀的一對對準的頻率分量實行簡單2點一維DFT（one-dimensional-DFT，1D-DFT）。
所述裝置對三維變換結果應用維納濾波，接著將經濾波的三維變換結果轉換回到二維域（簡單2點逆DFT）以更新最近合併的結果。所述裝置在二維變換域中利用對參考幀的維納濾波將合併初始化。舉例來說，連續逐對合併方案可用公式表示成如下方程式（9）及（10）：
（9）
…（10）
其中表示在對個幀進行合併（將
個非參考幀合併到參考幀）之後的最近合併結果，且方程式（11）及（12）如下：
…（11）
…（12）
其中
且
。
在連續合併中，合併的順序可能影響最終合併結果的品質。在對幀進行排序時可使用不同的度量，例如解析度（選擇最清晰的幀作為參考且首先合併更清晰的幀）或者非參考幀與參考幀的匹配得分，其中首先合併具有更高匹配得分的幀。
根據一個實施例，所述裝置提供基於頻域中的MMSE估計原理進行合併。考慮頻域（而不是空間域）中的MMSE估計的動機是頻域中的自然圖像的稀疏性質使我們能夠根據頻率分量獨立地獲得MMSE估計。所述裝置在獨立地考慮每一頻率分量的變換域（頻域）中應用MMSE估計。
如以上參照穩健合併方法所闡述，交疊的分塊是在頻域中進行合併，其中
被定義為第幀圖塊的頻域表示形式，且
表示空間頻率。
根據一個實施例，所述裝置實行合併作為其中目標是對次觀察中的圖像進行估計的估計問題。在時，幀充當參考幀。通過考慮個幀的突發脈衝且對於給定空間頻率
，形成可用公式表示成如下方程式（14）的
：
…（14）
如果
且
作為空間頻率處的真實圖像功率（image power）即
並且
是其中
的高斯變量，則對於
的MMSE估計而言，方程式（15）如下：
（15）。
根據方程式（15），可獲得如下方程式（16）：
…（16）。
為了獲得MMSE結果，需要未知的
及。對於而言，可使用瞬時功率（instantaneous power），即如以下方程式（17）所示：
…（17）。
對於而言，由於能獲得多個幀，因此
可被確定為如下方程式（18）： 
…（18）。
由於
，因此以上估計量（estimator）是有偏差的。因此
的無偏MMSE估計可獲得為如下方程式（19）：
…（19）
其中僅需要對
的估計來獲得
。在以上計算中還需要。
可根據空間域中的分塊的均值來計算。通過將
定義為在空間位置處的圖像強度且假設
，獲得如下方程式（20）： 
（20）
其中
表示加窗矩陣，且
表示逐單元矩陣乘法（element wise matrix multiplication）。
在本揭露中，對五組多幀去除雜訊裝置及方法（即，連續穩健合併（其與穩健合併相結合）、差分連續穩健合併、連續逐對三維合併（其在三維變換域中應用逐對維納濾波）、MMSE合併及無偏MMSE合併）進行闡述。
考慮個有雜訊圖像的突發脈衝，其中表示第圖像幀，且表示二維空間像素位置。為了便於標記，顏色通道索引被省略。然而，本揭露可包括顏色通道（color channel）。
提取
個圖像分塊，且對分塊應用二維變換（例如，2D-DFT或2D小波分析（wavelet）），並且將變換域中的圖像分塊表示成
，其中表示二維空間頻率。舉例來說，圖像分塊可選擇成在大小為的每一空間維度上交疊一半，且使用修改的上升餘弦窗（即在時為否則為0）來濾波。
在實施例中，在各幀之間存在某種水平的對準，其中聚焦是在殘餘對準誤差存在下進行多幀合併時進行。
圖1是根據一個實施例的用於提供多幀圖像去除雜訊的示例性裝置100的方塊圖。
參照圖1，裝置100包括圖像配准器（image registrator）101、分塊提取器（patch extractor）103、二維變換器（2D transformer）105、合併器（merger）107、空間去除雜訊器（spatial denoiser）109以及二維逆變換器及分塊組合器（2D inverse transformer and patch combiner）111。
圖像配准器101包括用於接收訊號
的輸入113以及輸出115。分塊提取器103包括連接到圖像配准器101的輸出115的輸入以及輸出117。分塊提取器103的輸出117可輸出M
×M
大小的分塊，其中M
是有理數。二維變換器105包括連接到分塊提取器103的輸出117的輸入。二維變換器105的輸出119可為輸入訊號的幀w
（例如，
）。合併器107包括連接到二維變換器105的輸出119的輸入以及輸出121。合併器107的輸出121可提供對對大小M
×M
的中間估計
。空間去除雜訊器109包括連接到合併器107的輸出121的輸入以及輸出123。空間去除雜訊器109的輸出123可提供對大小M
×M
的後處理估計
。二維逆變換器及分塊組合器111包括連接到空間去除雜訊器109的輸出123的輸入以及輸出多幀圖像去除雜訊的訊號
的輸出125。
圖像分塊可選擇成在大小為的每一空間維度上交疊一半，且使用修改的上升餘弦窗（即在時為否則為0）來濾波。使用2D-DFT作為二維變換。選擇幀0作為參考幀。
獲得為如下方程式（21）：
…（21）。
對於給定頻率，
控制第非參考幀被合併到最終結果中相對於回落到參考幀的程度。方程式（21）可被改寫成如下方程式（22）：
…（22）。
以上逐對時間濾波器不會實行任何空間濾波。因此，空間濾波在2D DFT域中用作單獨的後處理步驟。空間濾波是通過應用逐點收縮算子（pointwise shrinkage operator）來實行。還應用形式的附加雜訊整形濾波器（additional noise shaping filter）。穩健合併的空間濾波如以下方程式（23）：
…（23）
圖2是根據一個實施例的用於提供連續穩健合併的示例性裝置的方塊圖。
參照圖2，本發明裝置包括合併器（merger）200，合併器200具有減法器（subtractor）201、維納濾波器（Wiener filter）203、求和函數塊（summation function block）205、乘法器（multiplier）207及幀延遲器（frame delayer）209。
減法器201包括用於接收的第一輸入211、連接到幀延遲器209的輸出223以用於接收
的第二輸入以及用於輸出-的輸出213。維納濾波器203包括連接到減法器201的輸出213的第一輸入、連接到減法器201的輸出213的第二輸入以及輸出215。求和函數塊205包括連接到維納濾波器203的輸出215的第一輸入、用於接收的第二輸入211以及用於輸出的輸出217。乘法器207包括連接到求和函數塊205的輸出217的第一輸入、用於接收1/z的第二輸入219以及輸出221。幀延遲器209包括連接到乘法器207的輸出221的輸入以及用於輸出的輸出223。
合併的目標是每當對應的非參考幀與參考幀之間的差與雜訊無關時拒絕合併非參考幀。
然而，在合併個幀之後，我們能獲得作為對的估計。因此，假設經歷的雜訊水平，則可在確定
的合併水平（merging level）時使用。這種方案被稱為連續穩健合併，其可用公式表示成如下方程式（24）：
…（24）
其中
，其可等效地用公式表示成如下方程式（25）：
…（25）。
圖3是根據一個實施例的用於提供差分連續穩健合併的示例性裝置的方塊圖。
參照圖3，本發明裝置包括合併器300，合併器300具有第一減法器301、第二減法器303、維納濾波器305、求和函數塊307、乘法器309及幀延遲器311。
第一減法器301包括用於接收的第一輸入313、用於接收
的第二輸入315及用於輸出-的輸出317。第二減法器303包括用於接收的第一輸入313、連接到幀延遲器311的輸出327以用於接收的第二輸入以及用於輸出-的輸出329。維納濾波器305包括連接到第一減法器301的輸出317的第一輸入、連接到第二減法器303的輸出329的第二輸入以及輸出319。求和函數塊307包括連接到維納濾波器305的輸出319的第一輸入、用於接收的第二輸入313以及用於輸出的輸出321。乘法器309包括連接到求和函數塊307的輸出321的第一輸入、用於接收1/z的第二輸入323以及輸出325。幀延遲器311包括連接到乘法器309的輸出325的輸入以及用於輸出的輸出327。
圖4是根據一個實施例的用於最小均方誤差（MMSE）合併的合併器400的方塊圖。
參照圖4，合併器400包括第一減法器401、第一乘法器403、第一求和函數塊405、第二乘法器407、除法器409、第一加法器411、第二減法器413、絕對值函數塊415、第三減法器417、最大值除法器（maximum value divider）419、第二求和函數塊421、第三乘法器423及第二加法器425。
第一減法器401包括用於接收的第一輸入427、用於接收的第二輸入429及用於輸出-的輸出431。第一乘法器403包括連接到第一減法器401的輸出431的第一輸入、連接到最大值除法器419的輸出457以用於接收濾波器權重的第二輸入以及輸出433。第一求和函數塊405包括連接到第一乘法器403的輸出433的輸入以及輸出435。第二乘法器407包括連接到第一求和函數塊405的輸出435的第一輸入、用於接收的第二輸入437以及輸出439。除法器409包括連接到第二乘法器407的輸出439的第一輸入、連接到第二加法器425的輸出467的第二輸入以及輸出441。第一加法器411包括連接到除法器409的輸出441的第一輸入、用於接收的第二輸入443以及輸出445。第二減法器413包括用於接收的第一輸入427、用於接收的第二輸入447以及用於輸出-的輸出449。絕對值函數塊415包括連接到第二減法器413的輸出449的輸入以及輸出451。第三減法器417包括連接到絕對值函數塊415的輸出451的第一輸入、用於接收
的第二輸入453以及輸出455。最大值除法器函數塊419包括連接到第三減法器417的輸出455的輸入以及用於輸出濾波器權重的輸出457。第二求和函數塊421包括連接到最大值除法器419的輸出457的輸入以及輸出459。第三乘法器423包括連接到第二求和函數塊421的輸出459的第一輸入、用於接收的第二輸入461以及輸出463。第二加法器425包括連接到第三乘法器423的輸出463的第一輸入、用於接收值1的第二輸入465以及輸出467。
合併解決方案可被視為目標是對次觀察
中的圖像進行估計的估計問題。通過假設，幀
充當參考幀。考慮個幀的突發脈衝且對於給定空間頻率，向量
可用公式表示成如下方程式（29）： 
…（29）
如果且是在空間頻率下的真實圖像功率，即，並且
是其中
的i.i.d高斯變量，則對於對的MMSE估計而言，方程式（30）如下：
…（30）
以上方程式（30）可用公式表示成如下方程式（31）：
…（31）
為了獲得MMSE結果，需要未知的
及。對於而言，瞬時功率如以下方程式（32）所示： 
…（32）
由於可獲得多個幀，因此根據如下方程式（33）來計算： 
…（33）
由於，因此對的MMSE合併估計是有偏的。
圖5是根據一個實施例的用於U-MMSE合併的合併器500的方塊圖。
參照圖5，合併器500包括乘法器501、第一求和函數塊503、除法器505、第一減法器507、絕對值函數塊509、第二減法器511、最大值除法器513及第二求和函數塊515。
乘法器501包括用於接收的第一輸入517、連接到最大值除法器513的輸出535以用於接收濾波器權重的第二輸入以及輸出519。第一求和函數塊503包括連接到乘法器501的輸出519的輸入以及輸出521。除法器505包括連接到第一求和函數塊503的輸出521的第一輸入、連接到第二求和函數塊515的輸出537的第二輸入以及輸出523。第一減法器507包括用於接收的第一輸入517、用於接收的第二輸入525及用於輸出-的輸出527。絕對值函數塊509包括連接到第一減法器507的輸出527的輸入以及輸出529。第二減法器511包括連接到絕對值函數塊509的輸出529的第一輸入、用於接收的第二輸入531以及輸出533。最大值除法器函數塊513包括連接到第二減法器511的輸出533的輸入以及用於輸出濾波器權重的輸出535。第二求和函數塊515包括連接到最大值除法器513的輸出535的輸入以及輸出537。
對的無偏MMSE估計用公式表示成如下方程式（34）：
…（34）
其中僅需要對
的估計來獲得。
圖6是根據一個實施例的用於提供多幀圖像去除雜訊的另一示例性裝置的方塊圖。
參照圖6，裝置600包括圖像配准器601、分塊提取器603、二維變換器605、合併器607以及二維逆變換器及分塊組合器609。
圖像配准器601包括用於接收訊號的輸入611以及輸出613。分塊提取器603包括連接到圖像配准器601的輸出613的輸入以及輸出615。二維變換器605包括連接到分塊提取器603的輸出615的輸入。合併器607包括連接到二維變換器605的輸出617的輸入以及輸出619。二維逆變換器及分塊組合器609包括連接到合併器607的輸出619的輸入以及輸出多幀圖像去除雜訊的訊號的輸出621。
圖7是根據一個實施例的圖6所示用於連續逐對三維合併的合併器607的方塊圖。
參照圖7，合併器607包括減法器701、第一加法器703、第一維納濾波器705、第二維納濾波器707、第二加法器709、乘法器711及幀延遲器713。
減法器701包括連接到合併器607的輸入617以用於接收的第一輸入、連接到幀延遲器713的輸出727以用於接收的第二輸入以及用於輸出+的輸出715。第一加法器703包括連接到合併器607的輸入617以用於接收的第一輸入、連接到幀延遲器713的輸出727以用於接收的第二輸入以及用於輸出-的輸出719。第二維納濾波器707包括連接到第一加法器703的輸出719的第一輸入、連接到第一加法器703的輸出719的第二輸入以及輸出721。第二加法器709包括連接到第二維納濾波器707的輸出721的第一輸入、連接到第一維納濾波器705的輸出717的第二輸入以及連接到合併器607的輸出619的輸出。乘法器711包括連接到第二加法器709的輸出619的第一輸入、用於接收值0.5的第二輸入723以及輸出725。幀延遲器713包括連接到乘法器711的輸出725的輸入以及輸出727。
連續地合併非參考幀，其中每一非參考幀與最近合併結果合併，且所述合併是在變換域中使用兩步變換來實行。在第一步中，獲得參考幀及非參考幀的二維變換。第二步變換是在時間方向上對最近合併結果與可用非參考幀的一對對準的頻率分量進行的2點1D-DFT。對三維變換結果應用維納濾波，接著將其轉換回到二維域（簡單2點逆DFT）以更新最近合併結果。利用參考幀對合併進行初始化。連續逐對合併方案可用公式表示成如下方程式（35）、（36）及（37）：
…（35）
…（36）
…（37）
其中
且。
不存在對
的進一步後空間去除雜訊，這與分別應用後空間去除雜訊的連續穩健合併及差分連續穩健合併不同。
圖8是根據一個實施例的一種多幀成像去除雜訊的方法的流程圖。
參照圖8，在801處，本發明系統確定訊號中的圖像的配准。
在803處，本發明系統從圖像提取分塊。
在805處，本發明系統對上述所提取的分塊進行二維變換。
在807處，本發明系統對上述經二維變換的分塊進行合併。合併的方法可為上述連續穩健合併、差分連續穩健合併、MMSE合併及U-MMSE合併中的一者。
在809處，本發明系統對合併的分塊進行空間去除雜訊。
在811處，本發明系統對空間去除雜訊的分塊進行二維逆變換及組合。
圖9是根據一個實施例的一種多幀成像去除雜訊的方法的流程圖。
參照圖9，在901處，本發明系統確定訊號中的圖像的配准。
在903處，本發明系統從圖像提取分塊。
在905處，本發明系統對所提取的分塊進行二維變換。
在907處，本發明系統對經二維變換的分塊進行合併。合併的方法可為連續逐對三維合併（successive pairwise 3D merging）。
在909處，本發明系統對合併的分塊進行二維逆變換及組合。
圖10是根據一個實施例的應用本揭露的裝置及方法的網絡環境中的電子裝置的方塊圖。
參照圖10，網絡環境1000中的電子裝置1001可通過第一網絡1098（例如，短距離無線通信網絡（short-range wireless communication network））來與電子裝置1002進行通信，或者通過第二網絡1099（例如，長距離無線通信網絡）來與電子裝置1004或服務器1008進行通信。根據實施例，電子裝置1001可經由服務器1008來與電子裝置1004進行通信。根據實施例，電子裝置1001可包括處理器1020、記憶體1030、輸入裝置1050、聲音輸出裝置1055、顯示裝置1060、音頻模組（Audio module）1070、感測器模組1076、介面（interface）1077、觸感模組（haptic module）1079、相機模組1080、電源管理模組1088、電池1089、通信模組1090、用戶識別模組（subscriber identification module，SIM）1096或天線模組1097。在一些實施例中，可從電子裝置1001省略所述組件中的至少一者（例如，顯示裝置1060或相機模組1080），或者可在電子裝置1001中添加一個或多個其他組件。在一些實施例中，所述組件中的一些組件可被實施為單個積體電路。舉例來說，感測器模組1076（例如，指紋感測器（fingerprint sensor）、虹膜感測器（iris sensor）或亮度感測器（illuminance sensor））可被實施為嵌入在顯示裝置1060（例如，顯示器）中。
處理器1020可執行例如軟體（例如，程序1040）以控制與處理器1020耦合的電子裝置1001的至少一個其他組件（例如，硬件組件或軟體組件），且可實行各種數據處理或計算。
根據一個實施例，作為數據處理或計算的至少一部分，處理器1020可在易失性記憶體1032中加載從另一組件（例如，感測器模組1076或通信模組1090）接收的命令或數據，處理儲存在易失性記憶體1032中的命令或數據，以及將所得數據儲存在非易失性記憶體1034中。根據實施例，處理器1020可包括主處理器1021（例如，中央處理器（central processing unit，CPU）或應用處理器（application processor，AP））以及能夠獨立於主處理器1021運行或與主處理器1021結合運行的輔助處理器1023（例如，圖形處理單元（graphics processing unit，GPU）、圖像訊號處理器（image signal processor，ISP）、感測器集線器處理器（sensor hub processor）或通信處理器（communication processor，CP））。
另外地或非參考地，輔助處理器1023可適以消耗比主處理器1021少的功率，或者專用於專用功能。輔助處理器1023可與主處理器1021分開實施或者作為主處理器1021的一部分實施。
當主處理器1021處於不起作用的（inactive）（例如，睡眠）狀態時，輔助處理器1023可替代主處理器1021來控制與電子裝置1001的組件中的至少一個組件（例如，顯示裝置1060、感測器模組1076或通信模組1090）相關的功能或狀態中的至少一些功能或狀態；或者當主處理器1021處於現用狀態（例如，正在執行應用時），輔助處理器1023可與主處理器1021一起控制上述功能或狀態中的至少一些功能或狀態。根據實施例，輔助處理器1023（例如，圖像訊號處理器或通信處理器）可被實施為在功能上與輔助處理器1023相關的另一組件（例如，相機模組1080或通信模組1090）的一部分。
記憶體1030可儲存由電子裝置1001的至少一個組件（例如，處理器1020或感測器模組1076）使用的各種數據。所述各種數據可包括例如軟體（例如，程序（program）1040）以及用於與軟體相關的命令的輸入數據或輸出數據。記憶體1030可包括易失性記憶體1032或非易失性記憶體1034。
程序1040可作為軟體儲存在記憶體1030中，且可包括例如操作系統（operating system，OS）1042、中介軟體（middleware）1044或應用（application）1046。
輸入裝置1050可從電子裝置1001的外部（例如，用戶）接收將由電子裝置1001的另一組件（例如，處理器1020）使用的命令或數據。輸入裝置1050可包括例如麥克風、鼠標、鍵盤或數位筆（例如，觸控筆（stylus pen））。
聲音輸出裝置1055可將聲音訊號輸出到電子裝置1001的外部。聲音輸出裝置1055可包括例如揚聲器或接收器。揚聲器可用於一般用途（例如，播放多媒體或播放錄音），且接收器可用於傳入呼叫。根據實施例，接收器可與揚聲器分開實施或作為揚聲器的一部分實施。
顯示裝置1060可向電子裝置1001的外部（例如，用戶）以視覺方式提供訊息。顯示裝置1060可包括例如顯示器、全息圖裝置（hologram device）或投影儀以及用於控制顯示器、全息圖裝置及投影儀中的對應一者的控制電路。根據實施例，顯示裝置1060可包括適以檢測觸摸的觸摸電路，或適以測量由觸摸引發的力的強度的感測器電路（例如，壓力感測器）。
音頻模組1070可將聲音轉換成電訊號以及將電訊號轉換成聲音。根據實施例，音頻模組1070可通過輸入裝置1050獲得聲音，或者通過聲音輸出裝置1055或通過與電子裝置1001直接地（例如，以有線方式）耦合或無線耦合的外部電子裝置（例如，電子裝置1002）的頭戴耳機來輸出聲音。
感測器模組1076可檢測電子裝置1001的運行狀態（例如，功率或溫度）或者電子裝置1001外部的環境狀態（例如，用戶狀態），且接著產生與所檢測的狀態對應的電訊號或數據值。根據實施例，感測器模組1076可包括例如手勢感測器（gesture sensor）、陀螺儀感測器（gyro sensor）、大氣壓感測器（atmospheric pressure sensor）、磁性感測器（magnetic sensor）、加速度感測器（acceleration sensor）、握持感測器（grip sensor）、接近感測器（proximity sensor）、顏色感測器（color sensor）、紅外（infrared，IR）感測器、生物特徵感測器（biometric sensor）、溫度感測器（temperature sensor）、濕度感測器（humidity sensor）或亮度感測器。
介面1077可支持為將電子裝置1001直接地（例如，以有線方式）或無線地與外部電子裝置（例如，電子裝置1002）耦合而將使用的一種或多種規定協議。根據實施例，介面1077可包括例如高解析度多媒體介面（high definition multimedia interface，HDMI）、通用串列匯流排（universal serial bus，USB）介面、安全數位（secure digital，SD）卡介面或音頻介面。
連接端子1078可包括連接件，電子裝置1001可通過連接件與外部電子裝置（例如，電子裝置1002）實體連接。根據實施例，連接端子1078可包括例如HDMI連接件、USB連接件、SD卡連接件或音頻連接件（例如，頭戴耳機連接件）。
觸感模組1079可將電訊號轉換成機械刺激（例如，震動或移動）或者可由用戶通過用戶的觸覺（tactile sensation）或動覺（kinesthetic sensation）辨識的電刺激。根據實施例，觸感模組1079可包括例如電動機、壓電元件（piezoelectric element）或電刺激器（electric stimulator）。
相機模組1080可拍攝靜止圖像或移動圖像。根據實施例，相機模組1080可包括一個或多個鏡頭、圖像感測器、圖像訊號處理器或閃光燈。
電源管理模組1088可管理向電子裝置1001供應的電力。根據一個實施例，電源管理模組1088可被實施為例如電源管理積體電路（power management integrated circuit，PMIC）的至少一部分。
電池1089可向電子裝置1001的至少一個組件供電。根據實施例，電池1089可包括例如不可再充電的一次電池（primary cell）、可再充電的二次電池（secondary cell）或燃料電池（fuel cell）。
通信模組1090可支持在電子裝置1001與外部電子裝置（例如，電子裝置1002、電子裝置1004或服務器1008）之間建立直接的（例如，有線的）通信信道或無線通信信道以及通過所建立的通信信道實行通信。通信模組1090可包括可獨立於處理器1020（例如，應用處理器（AP））運行的一個或多個通信處理器並支持直接的（例如，有線的）通信或無線通信。根據實施例，通信模組1090可包括無線通信模組1092（例如，蜂窩通信模組、短距離無線通信模組或全球導航衛星系統（global navigation satellite system，GNSS）通信模組）或有線通信模組1094（例如，區域網（local area network，LAN）通信模組或電力線通信（power line communication，PLC）模組）。這些通信模組中對應的一個通信模組可通過第一網絡1098（例如，短距離通信網絡，例如藍牙TM
、無線保真（wireless-fidelity，Wi-Fi）直接或紅外數據協會（infrared data association，IrDA））或第二網絡1099（例如，長距離通信網絡，例如蜂窩網絡、互聯網或計算機網絡（例如，LAN或廣域網（wide area network，WAN）））與外部電子裝置進行通信。這些各種類型的通信模組可被實施為單個組件（例如，單個晶片）或者可被實施為彼此分開的多個組件（例如，多個晶片）。無線通信模組1092可使用儲存在用戶識別模組1096中的用戶訊息（例如，國際行動用戶識別碼（international mobile subscriber identity，IMSI））來識別及認證通信網絡（例如，第一網絡1098或第二網絡1099）中的電子裝置1001。
天線模組1097可將訊號或電力發送到電子裝置1001外部（例如，外部電子裝置）或者從電子裝置1001外部接收訊號或電力。根據實施例，天線模組1097可包括天線，所述天線包括形成在襯底（例如，印刷電路板（printed-circuit board，PCB））中或形成在襯底上的由導電材料或導電圖案構成的輻射元件。根據實施例，天線模組1097可包括多個天線。在這種情形中，通信模組1090（例如，無線通信模組1092）例如可從所述多個天線選擇適用於在通信網絡（例如，第一網絡1098或第二網絡1099）中使用的通信方案的至少一個天線。然後可通過所選擇的至少一個天線在通信模組1090與外部電子裝置之間發送或接收訊號或電力。根據實施例，可另外形成除了輻射元件之外的另一組件（例如，射頻積體電路（radio frequency integrated circuit，RFIC））作為天線模組1097的一部分。
上述組件中的至少一些組件可相互耦合且所述至少一些組件之間通過外圍間通信方案（inter-peripheral communication scheme）（例如，總線、通用輸入及輸出（general purpose input and output，GPIO）、串列週邊介面（serial peripheral interface，SPI）或行動產業處理器介面（mobile industry processor interface，MIPI））傳遞訊號（例如，命令或數據）。
根據實施例，可通過與第二網絡1099進行耦合的服務器1008在電子裝置1001與外部電子裝置1004之間發送或接收命令或數據。電子裝置1002及電子裝置1004中的每一者可為與電子裝置1001為相同類型或不同類型的裝置。根據實施例，將在電子裝置1001處執行的所有操作或一些操作可在外部電子裝置1002、外部電子裝置1004或外部電子裝置1008中的一者或多者處執行。舉例來說，如果電子裝置1001應自動地或響應於來自用戶或另一裝置的請求而實行功能或服務，則替代執行所述功能或服務或者除了執行所述功能或服務之外，電子裝置1001還可請求所述一個或多個外部電子裝置實行所述功能或服務的至少一部分。接收到所述請求的所述一個或多個外部電子裝置可實行所請求的功能或服務的所述至少一部分，或者實行與所述請求相關的其他功能或其他服務，並將所述實行的結果傳輸到電子裝置1001。電子裝置1001可在對結果進行進一步處理或不進行進一步處理的情況下提供所述結果作為對請求的回復的至少一部分。為此，舉例來說，可使用雲計算、分布式計算或客戶機-服務器計算技術。
根據各種實施例的電子裝置可為各種類型的電子裝置中的一種。電子裝置可包括例如便攜式通信裝置（例如，智能電話）、計算機裝置、便攜式多媒體裝置、便攜式醫療裝置、相機、可穿戴式裝置或家用電器。根據本揭露的實施例，電子裝置並非僅限於上述電子裝置。
本揭露的各種實施例以及本文中所用的用語並非旨在將本揭露的技術特徵限制到特定實施例，而是包括對對應實施例的各種改變、等效形式或替代形式。
關於對圖式的說明，可使用相似的參考編號指代相似的或相關的元件。
除非相關上下文清楚地另外指明，否則與物項對應的名詞的單數形式可包括一個或多個事物。
本文中所用的例如“A或B”、“A及B中的至少一者”、“A或B中的至少一者”、“A、B或C”、“A、B、及C中的至少一者”及“A、B或C中的至少一者”等這些短語中的每一者可包括與短語中的對應一個短語一同枚舉的物項的任意一者或者所有可能組合。
本文中所用的例如“第一（1st
）”及第二（2nd
）等用語可用於將對應的組件與另一組件進行區分，而不在其他方面（例如，重要性或次序）對組件進行限制。如果在帶有或不帶有用語“可操作地”或“可通信地”的條件下將元件（例如，第一元件）稱為與另一元件（例如，第二元件）“耦合”、“耦合到”另一元件、與另一元件“連接”或“連接到”另一元件，則第一元件可直接地（例如，以有線方式）、無線地或通過第三元件與第二元件耦合。
本文中所用用語“模組”可包括以硬件、軟體或固件形式實施的單元，且可與例如“邏輯”、“邏輯塊”、“部件”及“電路”等其他用語互換使用。模組可為適以實行一種或多種功能的單個整體組件或所述單個整體組件的最小單元或部件。舉例來說，根據實施例，模組可被實施為應用專用積體電路（application-specific integrated circuit，ASIC）的形式。
本文中所述的各種實施例可被實施為包括儲存在可由機器（例如，電子裝置1001）讀取的儲存介質（例如，內部記憶體1036或外部記憶體1038）中的一個或多個指令的軟體（例如，程序1040）。舉例來說，機器（例如，電子裝置1001）的處理器（例如，處理器1020）可在使用或不使用受處理器控制的一個或多個其他組件的條件下調用儲存在儲存介質中的所述一個或多個指令中的至少一個指令，並執行所述至少一個指令。此允許操作機器來根據所調用的所述至少一個指令實行至少一種功能。所述一個或多個指令可包括由編譯器產生的代碼或者可由解釋器執行的代碼。機器可讀儲存介質可設置成非暫時性儲存介質形式。其中，用語“非暫時性”僅意指儲存介質是有形裝置，且不包括訊號（例如，電磁波），但此用語並不區分數據以半永久方式儲存在儲存介質中的情形與數據臨時儲存在儲存介質中的情形。
根據實施例，根據本揭露的各種實施例的方法可包括在計算機程序產品中及在計算機程序產品中提供。計算機程序產品可在賣方與買方之間作為產品進行交易。計算機程序產品可以機器可讀儲存介質（例如，唯讀式微縮光碟（compact disc read only memory，CD-ROM））形式分發，或者通過應用商店（例如，播放商店TM
（Play StoreTM
）在線分發（例如，下載或上傳），或者直接在兩個用戶裝置（例如，智能電話）之間分發。如果在線分發，則計算機程序產品的至少一部分可在機器可讀儲存介質（例如，製造商服務器的記憶體、應用商店的服務器或中繼服務器）中臨時產生或至少臨時儲存在所述機器可讀儲存介質中。
根據各種實施例，上述組件中的每一組件（例如，模組或程序）可包括單個實體或多個實體。根據各種實施例，可省略上述組件中的一者或多者，或者可添加一個或多個其他組件。非參考地或另外地，可將多個組件（例如，模組或程序）整合成單個組件。在這種情形中，根據各種實施例，整合的組件仍可以與在整合之前所述多個組件中的對應一者實行一種或多種功能的方式相同或相似的方式來實行所述多個組件中的每一者的所述一種或多種功能。根據各種實施例，由模組、程序或另一組件實行的操作可依序地、並行地、重複地或啟發式地施行，或者所述操作中的一個或多個操作可以不同的次序執行或者被省略，或者可添加一個或多個其他操作。
圖11是根據一個實施例的程序1040的方塊圖。
參照圖11，程序1040可包括用於控制電子裝置1001的一種或多種資源的操作系統1042、中介軟體1044或可在操作系統1042中執行的應用1046。操作系統1042可包括例如安卓®（Android®）、蘋果操作系統（iOS®）、視窗®（Windows®）、塞班®（Symbian®）、泰澤®（Tizen®）或八達TM
（BadaTM
）。舉例來說，程序1040的至少一部分可在製造期間預加載在電子裝置1001上，或者可在用戶使用期間從外部電子裝置（例如，電子裝置1002或1004或者服務器1008）下載或由外部電子裝置更新。
操作系統1042可控制對電子裝置1001的一種或多種系統資源（例如，進程、記憶體或電源）的管理（例如，分配或解除分配）。另外地或非參考地，操作系統1042可包括一個或多個驅動器程序以驅動電子裝置1001的其他硬件裝置（例如，輸入裝置1050、聲音輸出裝置1055、顯示裝置1060、音頻模組1070、感測器模組1076、介面1077、觸感模組1079、相機模組1080、電源管理模組1088、電池1089、通信模組1090、用戶識別模組1096或天線模組1097）。
中介軟體1044可向應用1046提供各種功能以使應用1046可使用從電子裝置1001的一種或多種資源提供的功能或訊息。中介軟體1044可包括例如應用管理器1101、視窗管理器1103、多媒體管理器1105、資源管理器1107、電源管理器1109、數據庫管理器1111、數據包（package）管理器1113、連接性管理器1115、通知管理器1117、位置管理器1119、圖形管理器1121、安全管理器1123、電話管理器1125或語音識別管理器1127。
應用管理器1101舉例來說可管理應用1046的壽命循環。視窗管理器1103舉例來說可管理在屏幕上使用的一種或多種圖形用戶介面（graphical user interface，GUI）資源。多媒體管理器1105舉例來說可識別將用於播放媒體文件的一種或多種格式，且可使用適用於從所述一種或多種格式選出的對應格式的編解碼器來對媒體文件中的對應一者進行編碼或解碼。資源管理器1107舉例來說可管理應用1046的原始碼（source code）或記憶體1030的記憶體空間。電源管理器1109舉例來說可管理電池1089的容量、溫度或電力，且至少部分地基於電池1089的容量、溫度或電力的對應訊息來確定或提供將用於電子裝置1001的操作的相關訊息。根據一個實施例，電源管理器1109可與電子裝置1001的基本輸入/輸出系統（basic input/output system，BIOS）交互操作。
數據庫管理器1111舉例來說可產生、搜索或改變將由應用1046使用的數據庫。數據包管理器1113舉例來說可管理以數據包文件形式分發的應用的安裝或更新。連接性管理器1115舉例來說可管理電子裝置1001與外部電子裝置之間的無線連接或直接連接。通知管理器1117舉例來說可提供將規定事件（例如，傳入呼叫、訊息或警告）的出現通知給用戶的功能。位置管理器1119舉例來說可管理電子裝置1001的位置訊息。圖形管理器1121舉例來說可管理將向用戶提供的一種或多種圖形效果或者與所述一種或多種圖形效果相關的用戶介面。
安全管理器1123舉例來說可提供系統安全或用戶認證。電話管理器1125舉例來說可管理由電子裝置1001提供的語音呼叫功能或視頻呼叫功能。語音識別管理器1127舉例來說可將用戶的語音數據發送到服務器1008、並從服務器1008接收與將至少部分地基於所述語音數據在電子裝置1001上執行的功能對應的命令，或者接收至少部分地基於語音數據轉換而來的文本數據。根據一個實施例，中介軟體1044可動態地刪除一些現有組件或添加新組件。根據一個實施例，中介軟體1044的至少一部分可被包括為操作系統1042的一部分或者可在與操作系統1042分開的其他軟體中實施。
應用1046可包括例如主頁應用（home application）1151、撥號器應用（dialer application）1153、短訊息服務（short message service，SMS）/多媒體訊息發送服務（multimedia messaging service，MMS）應用1155、即時訊息（instant message，IM）應用1157、瀏覽器應用1159、相機應用1161、警報應用1163、連絡人應用（contact application）1165、語音識別應用1167、電子郵件應用1169、日曆應用1171、媒體播放器應用1173、相簿應用1175、手錶應用1177、健康應用1179（例如，用於測量鍛煉程度或生物特徵訊息（例如，血糖））或環境訊息應用1181（例如，用於測量氣壓、濕度或溫度訊息）。根據一個實施例，應用1046還可包括能夠支持電子裝置1001與外部電子裝置之間的訊息交換的訊息交換應用。訊息交換應用舉例來說可包括適以向外部電子裝置傳輸指定訊息（例如，呼叫、訊息或警告）的通知中繼應用，或者包括適以管理外部電子裝置的裝置管理應用。通知中繼應用可向外部電子裝置傳輸與在電子裝置1001的另一應用（例如，電子郵件應用1169）處出現規定事件（例如，電子郵件接收）對應的通知訊息。另外地或非參考地，通知中繼應用可從外部電子裝置接收通知訊息並將通知訊息提供到電子裝置1001的用戶。
裝置管理應用可控制外部電子裝置或外部電子裝置的一些組件（例如，外部電子裝置的顯示裝置或相機模組）的電源（例如，接通或關斷）或功能（例如，對明度、分辨率或焦距的調整）。另外地或非參考地，裝置管理應用可支持在外部電子裝置上運行的應用的安裝、刪除或更新。
儘管已在本揭露的詳細說明中闡述了本揭露的特定實施例，然而在不背離本揭露的範圍的條件下可以各種形式來對本揭露進行修改。因此，本揭露的範圍不應僅基於所闡述的實施例來確定，而是應基於隨附申請專利範圍及其等效形式來確定。
100、600‧‧‧裝置
101、601‧‧‧圖像配准器
103、603‧‧‧分塊提取器
105、605‧‧‧二維變換器
107、200、300、400、500、607‧‧‧合併器
109‧‧‧空間去除雜訊器
111、609‧‧‧二維逆變換器及分塊組合器
113、611‧‧‧輸入
115、117、119、121、123、125、213、215、217、221、223、317、319、321、325、327、329、431、433、435、439、441、445、449、451、455、457、459、463、467、519、521、523、527、529、533、535、537、613、615、619、621、715、717、719、721、725、727‧‧‧輸出
201、701‧‧‧減法器
203、305‧‧‧維納濾波器
205、307‧‧‧求和函數塊
207、309、501、711‧‧‧乘法器
209、311、713‧‧‧幀延遲器
211、313‧‧‧第一輸入/第二輸入
219、315、323、429、437、443、447、453、461、465、525、723‧‧‧第二輸入
301、401、507‧‧‧第一減法器
303、413、511‧‧‧第二減法器
403‧‧‧第一乘法器
405、503‧‧‧第一求和函數塊
407‧‧‧第二乘法器
409、505‧‧‧除法器
411、703‧‧‧第一加法器
415、509‧‧‧絕對值函數塊
417‧‧‧第三減法器
419、513‧‧‧最大值除法器
421、515‧‧‧第二求和函數塊
423‧‧‧第三乘法器
425、709‧‧‧第二加法器
427、517‧‧‧第一輸入
531‧‧‧第二輸入
617‧‧‧輸入/輸出
705‧‧‧第一維納濾波器
707‧‧‧第二維納濾波器
801、803、805、807、809、811、901、903、905、907、909‧‧‧步驟
1000‧‧‧網絡環境
1001、1002、1004‧‧‧電子裝置
1008‧‧‧服務器
1020‧‧‧處理器
1021‧‧‧主處理器
1023‧‧‧輔助處理器
1030‧‧‧記憶體
1032‧‧‧易失性記憶體
1034‧‧‧非易失性記憶體
1036‧‧‧內部記憶體
1038‧‧‧外部記憶體
1040‧‧‧程序
1042‧‧‧操作系統
1044‧‧‧中介軟體
1046‧‧‧應用
1050‧‧‧輸入裝置
1055‧‧‧聲音輸出裝置
1060‧‧‧顯示裝置
1070‧‧‧音頻模組
1076‧‧‧感測器模組
1077‧‧‧介面
1078‧‧‧連接端子
1079‧‧‧觸感模組
1080‧‧‧相機模組
1088‧‧‧電源管理模組
1089‧‧‧電池
1090‧‧‧通信模組
1092‧‧‧無線通信模組
1094‧‧‧有線通信模組
1096‧‧‧用戶識別模組
1097‧‧‧天線模組
1098‧‧‧第一網絡
1099‧‧‧第二網絡
1101‧‧‧應用管理器
1103‧‧‧視窗管理器
1105‧‧‧多媒體管理器
1107‧‧‧資源管理器
1109‧‧‧電源管理器
1111‧‧‧數據庫管理器
1113‧‧‧數據包管理器
1115‧‧‧連接性管理器
1117‧‧‧通知管理器
1119‧‧‧位置管理器
1121‧‧‧圖形管理器
1123‧‧‧安全管理器
1125‧‧‧電話管理器
1127‧‧‧語音識別管理器
1151‧‧‧主頁應用
1153‧‧‧撥號器應用
1155‧‧‧短訊息服務/多媒體訊息發送服務應用
1157‧‧‧即時訊息應用
1159‧‧‧瀏覽器應用
1161‧‧‧相機應用
1163‧‧‧警報應用
1165‧‧‧連絡人應用
1167‧‧‧語音識別應用
1169‧‧‧電子郵件應用
1171‧‧‧日曆應用
1173‧‧‧媒體播放器應用
1175‧‧‧相簿應用
1177‧‧‧手錶應用
1179‧‧‧健康應用
1181‧‧‧環境訊息應用、‧‧‧訊號
結合所附圖式閱讀以下詳細說明，本揭露的某些實施例的以上及其他方面、特徵及優點將更顯而易見，在所附圖式中：
圖1是根據一個實施例的用於提供多幀去除雜訊（multi-frame denoising）的裝置的方塊圖。
圖2是根據一個實施例的圖1所示用於連續穩健合併（successive robust merging）的合併器的方塊圖。
圖3是根據一個實施例的圖1所示用於差分連續穩健合併（difference successive robust merging）的合併器的方塊圖。
圖4是根據一個實施例的圖1所示用於最小均方誤差（minimum mean square error，MMSE）合併的合併器的方塊圖。
圖5是根據一個實施例的圖1所示用於無偏MMSE（unbiased MMSE，U-MMSE）合併的合併器的方塊圖。
圖6是根據一個實施例的用於提供多幀去除雜訊的裝置的方塊圖。
圖7是根據一個實施例的圖6所示用於連續逐對三維（3D）合併的合併器的方塊圖。
圖8是根據一個實施例的一種多幀去除雜訊的方法的流程圖。
圖9是根據一個實施例的一種多幀去除雜訊的方法的流程圖。
圖10是根據一個實施例的應用本揭露的裝置及方法的網絡環境中的電子裝置的方塊圖。
圖11是根據一個實施例的應用本揭露的裝置及方法的程序的方塊圖。
100‧‧‧裝置
101‧‧‧圖像配准器
103‧‧‧分塊提取器
105‧‧‧二維變換器
107‧‧‧合併器
109‧‧‧空間去除雜訊器
111‧‧‧二維逆變換器及分塊組合器
113‧‧‧輸入
115、117、119、121、123、125‧‧‧輸出
I z 、
‧‧‧訊號
Claims (24)
- 一種用於連續多幀圖像去除雜訊的裝置，包括： 維納濾波器，被配置成對圖像的幀進行濾波；以及 幀延遲器，被配置成將經濾波的所述幀反饋到所述維納濾波器， 其中所述維納濾波器還被配置成基於經濾波的所述幀對所述圖像的後續幀進行濾波。
- 如申請專利範圍第1項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 減法器，包括用於接收所述圖像的所述幀的第一輸入、連接到所述幀延遲器的輸出的第二輸入以及連接到所述維納濾波器的第二輸入及第一輸入的輸出； 求和函數塊，包括連接到所述維納濾波器的輸出的第一輸入、連接到所述減法器的所述第一輸入的第二輸入以及輸出；以及 乘法器，包括連接到所述求和函數塊的所述輸出的第一輸入、用於接收預定值的第二輸入以及連接到所述幀延遲器的輸入的輸出。
- 如申請專利範圍第2項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 圖像配准器，包括輸入及輸出； 分塊提取器，包括連接到所述圖像配准器的所述輸出的輸入以及輸出； 二維變換器，包括連接到所述分塊提取器的所述輸出的輸入以及連接到所述減法器的所述第一輸入的輸出； 空間去除雜訊器，包括連接到所述求和函數塊的所述輸出的輸入以及輸出；以及 二維逆變換器及分塊組合器，包括連接到所述空間去除雜訊器的所述輸出的輸入以及輸出。
- 如申請專利範圍第1項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 第一減法器，包括用於接收所述圖像的所述幀的第一輸入、用於接收參考幀的第二輸入以及連接到所述維納濾波器的第一輸入的輸出； 求和函數塊，包括連接到所述維納濾波器的輸出的第一輸入、連接到所述第一減法器的所述第一輸入的第二輸入以及輸出； 乘法器，包括連接到所述求和函數塊的所述輸出的第一輸入、用於接收預定值的第二輸入以及連接到所述幀延遲器的輸入的輸出；以及 第二減法器，包括連接到所述幀延遲器的輸出的第一輸入、連接到所述第一減法器的所述第一輸入的第二輸入以及連接到所述維納濾波器的第二輸入的輸出。
- 如申請專利範圍第4項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 圖像配准器，包括輸入及輸出； 分塊提取器，包括連接到所述圖像配准器的所述輸出的輸入以及輸出； 二維變換器，包括連接到所述分塊提取器的所述輸出的輸入以及連接到所述第一減法器的所述第一輸入的輸出； 空間去除雜訊器，包括連接到所述求和函數塊的所述輸出的輸入以及輸出；以及 二維逆變換器及分塊組合器，包括連接到所述空間去除雜訊器的所述輸出的輸入以及輸出。
- 如申請專利範圍第1項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 減法器，包括用於接收所述圖像的所述幀的第一輸入、連接到所述幀延遲器的輸出的第二輸入以及連接到所述維納濾波器的第一輸入及第二輸入的輸出； 第一加法器，包括連接到所述減法器的所述第一輸入的第一輸入、連接到所述幀延遲器的所述輸出的第二輸入以及輸出； 第二維納濾波器，包括連接到所述第一加法器的所述輸出的第一輸入及第二輸入以及輸出； 第二加法器，包括連接到所述第二維納濾波器的所述輸出的第一輸入、連接到所述維納濾波器的輸出的第二輸入以及輸出；以及 乘法器，包括連接到所述第二加法器的所述輸出的第一輸入、用於接收預定值的第二輸入以及連接到所述幀延遲器的輸入的輸出。
- 如申請專利範圍第6項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 圖像配准器，包括輸入及輸出； 分塊提取器，包括連接到所述圖像配准器的所述輸出的輸入以及輸出； 二維變換器，包括連接到所述分塊提取器的所述輸出的輸入以及連接到所述減法器的所述第一輸入的輸出； 空間去除雜訊器，包括連接到所述第二加法器的所述輸出的輸入以及輸出；以及 二維逆變換器及分塊組合器，包括連接到所述空間去除雜訊器的所述輸出的輸入以及輸出。
- 一種用於連續多幀圖像去除雜訊的裝置，包括： 第一減法器，包括用於接收圖像的幀的第一輸入、用於接收參考幀的第二輸入以及輸出； 絕對值函數塊，包括連接到所述第一減法器的所述輸出的輸入以及輸出； 第二減法器，包括連接到所述絕對值函數塊的所述輸出的第一輸入、用於接收第一預定值的第二輸入以及輸出；以及 最大值除法器函數塊，包括連接到所述第二減法器的所述輸出的輸入以及用於輸出濾波器權重的輸出。
- 如申請專利範圍第8項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 第三減法器，包括用於接收所述圖像的所述幀的第一輸入、用於接收第二預定值的第二輸入以及輸出； 第一乘法器，包括連接到所述第三減法器的所述輸出的第一輸入、第二輸入以及連接到所述最大值除法器函數塊的所述輸出的輸出； 第一求和函數塊，包括連接到所述第一乘法器的所述輸出的第一輸入、連接到所述第三減法器的所述第一輸入的第二輸入以及輸出； 第二乘法器，包括連接到所述第一求和函數塊的所述輸出的第一輸入、用於接收第三預定值的第二輸入以及輸出； 除法器，包括連接到所述第二乘法器的所述輸出的第一輸入、第二輸入及輸出； 第一加法器，包括連接到所述除法器的所述輸出的第一輸入、用於接收所述第二預定值的第二輸入以及輸出； 第二求和函數塊，包括連接到所述最大值除法器函數塊的所述輸出的第一輸入、連接到所述第三減法器的所述第一輸入的第二輸入以及輸出； 第三乘法器，包括連接到所述第二求和函數塊的所述輸出的第一輸入、用於接收所述第三預定值的第二輸入以及輸出；以及 第二加法器，包括連接到所述第三乘法器的所述輸出的第一輸入、用於接收第四預定值的第二輸入以及連接到所述除法器的所述第二輸入的輸出。
- 如申請專利範圍第9項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 圖像配准器，包括輸入及輸出； 分塊提取器，包括連接到所述圖像配准器的所述輸出的輸入以及輸出； 二維變換器，包括連接到所述分塊提取器的所述輸出的輸入以及連接到所述第一減法器的所述第一輸入的輸出；以及 二維逆變換器及分塊組合器，包括連接到所述第二加法器的所述輸出的輸入以及輸出。
- 如申請專利範圍第8項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 乘法器，包括連接到所述第一減法器的所述第一輸入的第一輸入、連接到所述最大值除法器函數塊的所述輸出的第二輸入以及輸出； 第一求和函數塊，包括連接到所述乘法器的所述輸出的第一輸入、連接到所述第一減法器的所述第一輸入的第二輸入以及輸出； 除法器，包括連接到所述第一求和函數塊的所述輸出的第一輸入、第二輸入及輸出；以及 第二求和函數塊，包括連接到所述最大值除法器函數塊的所述輸出的第一輸入、連接到所述第一減法器的所述第一輸入的第二輸入以及輸出。
- 如申請專利範圍第11項所述的用於連續多幀圖像去除雜訊的裝置，更包括： 圖像配准器，包括輸入及輸出； 分塊提取器，包括連接到所述圖像配准器的所述輸出的輸入以及輸出； 二維變換器，包括連接到所述分塊提取器的所述輸出的輸入以及連接到所述第一減法器的所述第一輸入的輸出；以及 二維逆變換器及分塊組合器，包括連接到所述除法器的所述輸出的輸入以及輸出。
- 一種用於連續多幀圖像去除雜訊的方法，包括： 由維納濾波器對圖像的幀進行濾波； 由幀延遲器將經濾波的所述幀反饋到所述維納濾波器；以及 由所述維納濾波器基於經濾波的所述幀對所述圖像的後續幀進行濾波。
- 如申請專利範圍第13項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由減法器從所述幀延遲器的輸出減去所述圖像的所述幀； 由求和函數塊對所述維納濾波器的輸出與所述減法器的第一輸入進行求和； 由乘法器將所述求和函數塊的輸出與預定值相乘；以及 將乘法的結果輸入到所述幀延遲器。
- 如申請專利範圍第14項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由圖像配准器來確定訊號中的圖像的配准； 由分塊提取器從所述圖像提取分塊； 由二維變換器對所述分塊提取器的輸出進行變換； 由空間去除雜訊器對所述求和函數塊的所述輸出進行空間去除雜訊； 由二維逆變換器及分塊組合器對所述空間去除雜訊器的輸出進行變換；以及 由所述二維逆變換器及分塊組合器對從所述二維逆變換器及分塊組合器的輸出組合分塊。
- 如申請專利範圍第13項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由第一減法器從所述圖像的所述幀減去參考幀； 由求和函數塊對所述維納濾波器的輸出與由所述第一減法器接收的所述圖像的所述幀進行求和； 由乘法器將所述求和函數塊的輸出與預定值相乘； 將乘法的結果提供到所述幀延遲器； 由第二減法器從所述幀延遲器的輸出減去所述圖像的所述幀；以及 將所述第二減法器的輸出提供到所述維納濾波器。
- 如申請專利範圍第16項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由圖像配准器來確定訊號中的圖像的配准； 由分塊提取器從所述圖像提取分塊； 由二維變換器對所述分塊提取器的輸出進行變換； 將所述二維變換器的輸出提供到所述第一減法器； 由空間去除雜訊器對所述求和函數塊的所述輸出進行空間去除雜訊； 由二維逆變換器及分塊組合器對所述空間去除雜訊器的輸出進行變換；以及 由所述二維逆變換器及分塊組合器對從所述二維逆變換器及分塊組合器的輸出組合分塊。
- 如申請專利範圍第13項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由減法器從所述幀延遲器的輸出減去所述圖像的所述幀； 將減法的結果提供到所述維納濾波器； 由第一加法器將所述圖像的所述幀與所述幀延遲器的所述輸出相加； 由第二維納濾波器對所述第一加法器的輸出進行濾波； 由第二加法器將所述維納濾波器的輸出與所述第二維納濾波器的輸出相加； 由乘法器將所述第二加法器的輸出與預定值相乘；以及 將所述乘法器的輸出提供到所述幀延遲器。
- 如申請專利範圍第18項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由圖像配准器來確定訊號中的圖像的配准； 由分塊提取器從所述圖像提取分塊； 由二維變換器對所述分塊提取器的輸出進行變換； 將所述二維變換器的輸出提供到所述減法器； 由空間去除雜訊器對所述第二加法器的所述輸出進行空間去除雜訊； 由二維逆變換器及分塊組合器對所述空間去除雜訊器的輸出進行變換；以及 由所述二維逆變換器及分塊組合器對從所述二維逆變換器及分塊組合器的輸出組合分塊。
- 一種用於連續多幀圖像去除雜訊的方法，包括： 由第一減法器從圖像的幀減去參考值； 由絕對值函數塊來確定所述第一減法器的輸出的絕對值； 由第二減法器從所述絕對值函數塊的輸出減去第一預定值；以及 由最大值除法器函數塊來確定所述第二減法器的輸出的最大值除法器。
- 如申請專利範圍第20項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由第二減法器從所述圖像的所述幀減去第二預定值； 由第一乘法器將所述第二減法器的輸出乘以所述最大值除法器函數塊的輸出； 由第一求和函數塊對所述第一乘法器的輸出與所述圖像的所述幀進行求和； 由第二乘法器將所述第一求和函數塊的輸出乘以第三預定值； 由除法器將所述第二乘法器的輸出與第二輸入相除； 由第一加法器對所述除法器的輸出與第二預定值相加； 由第二求和函數塊對所述最大值除法器函數塊的輸出與所述圖像的所述幀進行求和； 由第三乘法器將所述第二求和函數塊的輸出與所述第三預定值相乘；以及 由第二加法器將所述第三乘法器的輸出與第四預定值相加，其中所述第二加法器的結果是所述第二輸入。
- 如申請專利範圍第21項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由圖像配准器來確定訊號中的圖像的配准； 由分塊提取器從所述圖像配准器的輸出提取分塊； 由二維變換器對所述分塊提取器的輸出進行變換；以及 由二維逆變換器及分塊組合器對所述第二加法器的輸出進行變換。
- 如申請專利範圍第20項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由乘法器將所述圖像的所述幀乘以所述最大值除法器函數塊的輸出； 由第一求和函數塊對所述乘法器的輸出與所述圖像的所述幀進行求和； 由除法器將所述第一求和函數塊的輸出除以第二輸入；以及 由第二求和函數塊對所述最大值除法器函數塊的所述輸出與所述圖像的所述幀進行求和，其中所述第二求和函數塊的輸出是所述第二輸入。
- 如申請專利範圍第23項所述的用於連續多幀圖像去除雜訊的方法，更包括： 由圖像配准器來確定訊號中的圖像的配准； 由分塊提取器從所述圖像配准器的輸出提取分塊； 由二維變換器對所述分塊提取器的輸出進行變換；以及 由二維逆變換器及分塊組合器對所述除法器的輸出進行變換。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862675377P | 2018-05-23 | 2018-05-23 | |
| US62/675,377 | 2018-05-23 | ||
| US16/380,473 US11216923B2 (en) | 2018-05-23 | 2019-04-10 | Apparatus and method for successive multi-frame image denoising |
| US16/380,473 | 2019-04-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202005355A true TW202005355A (zh) | 2020-01-16 |
| TWI808177B TWI808177B (zh) | 2023-07-11 |
Family
ID=68614780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108117406A TWI808177B (zh) | 2018-05-23 | 2019-05-21 | 用於連續多幀圖像去除雜訊的裝置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11216923B2 (zh) |
| KR (1) | KR102556644B1 (zh) |
| CN (1) | CN110533598A (zh) |
| TW (1) | TWI808177B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107205116B (zh) * | 2017-06-13 | 2019-12-31 | Oppo广东移动通信有限公司 | 图像选择方法、移动终端、图像选择装置及计算机可读存储介质 |
| EP3633534A1 (en) * | 2018-10-04 | 2020-04-08 | Thales Dis France SA | A connected device adapted to measure at least a physical quantity |
| US11941784B1 (en) * | 2020-04-27 | 2024-03-26 | Canon U.S.A., Inc. | Image processing apparatus, method, and storage medium for spectrally encoded endoscopy ghost noise reducton |
| US12079962B2 (en) * | 2020-12-11 | 2024-09-03 | Samsung Electronics Co., Ltd | Method and apparatus for adaptive multi-frame image fusion |
| US11889197B1 (en) | 2022-09-09 | 2024-01-30 | Samsung Electronics Co., Ltd. | Reference frame selection for multi-frame image processing pipelines and other applications |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009040871A1 (ja) | 2007-09-25 | 2009-04-02 | Fujitsu Limited | 画像合成装置及び方法 |
| JP4893758B2 (ja) * | 2009-01-23 | 2012-03-07 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像装置 |
| JP2011166327A (ja) * | 2010-02-05 | 2011-08-25 | Sony Corp | 画像処理装置および方法 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| JP5932485B2 (ja) * | 2012-05-25 | 2016-06-08 | キヤノン株式会社 | ノイズリダクション装置及びノイズリダクション方法 |
| PT3122048T (pt) * | 2012-09-26 | 2018-04-20 | Velos Media Int Ltd | Método de codificação de imagem e dispositivo de codificação de imagem |
| US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
| BR112016011075B1 (pt) * | 2013-11-15 | 2023-04-04 | Mediatek Inc | Método de filtragem de laço adaptativa baseada em blocos |
| US9449374B2 (en) | 2014-03-17 | 2016-09-20 | Qualcomm Incoporated | System and method for multi-frame temporal de-noising using image alignment |
| US9998666B2 (en) | 2015-08-26 | 2018-06-12 | Duke University | Systems and methods for burst image deblurring |
| US9762893B2 (en) | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
| US20190206070A1 (en) * | 2016-05-18 | 2019-07-04 | Auckland Uniservices Limited | Image registration method |
-
2019
- 2019-04-10 US US16/380,473 patent/US11216923B2/en active Active
- 2019-05-14 KR KR1020190056326A patent/KR102556644B1/ko active IP Right Grant
- 2019-05-21 TW TW108117406A patent/TWI808177B/zh active
- 2019-05-22 CN CN201910428895.1A patent/CN110533598A/zh active Pending
-
2021
- 2021-12-22 US US17/559,593 patent/US11710221B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11710221B2 (en) | 2023-07-25 |
| US11216923B2 (en) | 2022-01-04 |
| TWI808177B (zh) | 2023-07-11 |
| KR102556644B1 (ko) | 2023-07-17 |
| KR20190133602A (ko) | 2019-12-03 |
| US20220114709A1 (en) | 2022-04-14 |
| US20190362477A1 (en) | 2019-11-28 |
| CN110533598A (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI808177B (zh) | 用於連續多幀圖像去除雜訊的裝置和方法 | |
| CN109146814B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109788189B (zh) | 将相机与陀螺仪融合在一起的五维视频稳定化装置及方法 | |
| US9692959B2 (en) | Image processing apparatus and method | |
| TWI822987B (zh) | 用於確定影像的深度資訊的系統及方法 | |
| CN111524074B (zh) | 锐化图像的方法、电子设备及其图像处理器 | |
| CN114626997B (zh) | 用于图像去噪的方法和系统 | |
| KR20200017185A (ko) | 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치 | |
| CN113455013A (zh) | 用于处理图像的电子设备及其图像处理方法 | |
| TW202240535A (zh) | 用於影像處理的方法及系統 | |
| TWI855008B (zh) | 用於單連接天線陣列的類比波束成形的系統及方法 | |
| EP4102451A1 (en) | Method for generating image and electronic device therefor | |
| TWI865843B (zh) | 用於適應性多訊框影像融合的方法及系統 | |
| TWI798533B (zh) | 用於提供增強的參考訊號接收功率估計的方法及電子裝置 | |
| CN116701288B (zh) | 流媒体特性架构、处理方法、电子设备及可读存储介质 | |
| CN114626998A (zh) | 用于图像去噪的方法和系统 | |
| CN111181599B (zh) | 用于小区检测的装置及方法 | |
| CN114626996A (zh) | 用于图像去噪的方法和系统 |