TWI405147B - 單張影像的階層式去動態模糊方法 - Google Patents

單張影像的階層式去動態模糊方法 Download PDF

Info

Publication number
TWI405147B
TWI405147B TW099107632A TW99107632A TWI405147B TW I405147 B TWI405147 B TW I405147B TW 099107632 A TW099107632 A TW 099107632A TW 99107632 A TW99107632 A TW 99107632A TW I405147 B TWI405147 B TW I405147B
Authority
TW
Taiwan
Prior art keywords
image
remaining
restored
hierarchical
level
Prior art date
Application number
TW099107632A
Other languages
English (en)
Other versions
TW201133393A (en
Inventor
hao liang Yang
Po Hao Huang
Shang Hong Lai
Chih Chih Huang
shu han Yu
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW099107632A priority Critical patent/TWI405147B/zh
Priority to US13/046,787 priority patent/US8509559B2/en
Publication of TW201133393A publication Critical patent/TW201133393A/zh
Application granted granted Critical
Publication of TWI405147B publication Critical patent/TWI405147B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

單張影像的階層式去動態模糊方法
本發明是有關於一種影像處理方法，且特別是有關於一種單張影像的階層式去動態模糊方法。
動態模糊(Motion blur)是藉由照相機與景象在一曝光時間內的相對運動所產生，其經常發生在低光源環境使用手持式照相機拍攝照片的情況。另一種動態模糊則是在以靜態照相機拍攝運動中物體時所產生。
對於受到動態模糊影響的影像來說，如何將其還原已成為目前電腦視覺(computer vision)及影像處理領域的一大課題。目前已有許多人提出不同的演算法來嘗試解決此問題，這些演算法粗略可分為三大類：單張影像去模糊；多階影像去模糊；以及計算式攝影(computational photography)。
其中，當影像牽涉到相機旋轉或是大景深(scene depth)變化時，要去估測實際的相機運動是相當複雜的。而為了簡化問題，目前的研究通常假設相機的運動方向與光學軸(optical axes)相垂直，因此可以忽略掉景深變化的影響。換句話說，模糊核心(blur kernel)，或者說是點擴散函數(Point Spread Function,PSF)，係被假設為具有空間不變(spatial-invariant)的特性。在此假設下，模糊影像B 可以被模型化為清晰影像I 與模糊核心f 的卷積(convolution)，而可以下式表述：
B =I ⓧf +n 　(1)
其中，n 為附加的雜訊。
若I 及f 兩者都是未知，則解方程式(1)將會變成一個盲目反迴旋(blind deconvolution)的問題，而即便使用空間不變的假設，此問題仍舊存在，這是因為I 及f 的限制太少，其間的多種組合都可被卷積為相同的模糊影像B 。
有鑑於此，本發明提供一種單張影像的階層式去動態模糊方法，其係利用梯度衰減函數及強邊緣抑制函數來定義權重陣列，並應用到Richardson-Lucy演算法中，藉以達到抑制環狀假影(ringing artifact)的目的。
本發明提出一種單張影像的階層式去動態模糊方法，其包括下列步驟：a.提供目標影像；b.計算此目標影像的模糊核心；c.將此目標影像及模糊核心表述為多種階層的表述式；d.利用剩餘RL演算法，以遞迴的方式由粗至細求取由各個階層之表述式所表述的目標影像及模糊核心的剩餘影像，並將其還原為第一還原影像，其中包括在遞迴中將剩餘影像乘上由第一梯度衰減函數所定義的第一權重陣列；e.利用剩餘RL演算法，以遞迴的方式由粗至細求取由各個階層之表述式所表述的目標影像及模糊核心的剩餘影像，並將其還原為第二還原影像，其中包括在遞迴中將剩餘影像乘上由第二梯度衰減函數及強邊緣抑制函數所定義的第二權重陣列；f.比較這兩個還原影像的差異，以獲得去動態模糊的最終還原影像。
在本發明之一實施例中，上述步驟d.包括下列子步驟：d1.利用標準RL演算法求取由最粗階層之表述式所表述之目標影像及模糊核心的還原影像；d2.依據所求得之還原影像計算第一梯度衰減函數，以定義第一權重陣列；d4.將由下一階層之表述式所表述的目標影像減去下一階層的導引影像與該階層的模糊核心的卷積結果，以獲得下一階層的剩餘目標影像；d5.利用該餘RL演算法求取此剩餘目標影像的剩餘影像，並將剩餘影像乘上由前一階層所提升取樣的第一權重陣列；d6.將所求取之剩餘影像加上導引影像，以獲得下一階層之還原影像；d7.重複上述步驟d2.~d6.，以遞迴的方式由粗至細求取由其他階層之表述式所表述之目標影像及模糊核心的剩餘影像，並以最後所求取的還原影像作為第一還原影像。
在本發明之一實施例中，上述的步驟d2.包括：計算還原影像之梯度分佈以生成一階層係數(scaling factor)；將此階層係數乘上前一個階層的第一梯度衰減函數，以將此第一梯度衰減函數更新；最後則以更新後的第一梯度衰減函數定義第一權重陣列。
在本發明之一實施例中，在上述步驟d3.之前，更包括利用雙向濾波器(bilateral filter)濾除所求得之還原影像中的環狀假影(ringing artifact)。
在本發明之一實施例中，上述的步驟e.包括下列子步驟：e1.利用標準RL演算法求取由最粗階層之表述式所表述之目標影像及模糊核心的還原影像；e2.依據所求得之還原影像計算第二梯度衰減函數，以定義第二權重陣列；e3.將第二權重陣列帶入強邊緣抑制函數，以更新第二權重陣列；e4.將所求得之還原影像提升取樣為目前階層的下一階層，以生成下一階層的導引影像；同時也會將”第二梯度衰減函數”與”第二權重陣列”一起提升取樣以提供給下一層使用；e5.將由下一階層之表述式所表述的目標影像減去下一階層的導引影像與該階層的模糊核心的卷積結果，以獲得下一階層的剩餘目標影像；e6.利用剩餘RL演算法求取剩餘目標影像的剩餘影像，並將剩餘影像乘上前一階層所提升取樣的第二權重陣列；e7.將所求取之剩餘影像加上導引影像，以獲得下一階層的還原影像；e8.重複上述步驟e2.~e7.，以遞迴的方式由粗至細求取由其他階層之表述式所表述之目標影像及模糊核心的剩餘影像，並以最後所求取的還原影像作為第二還原影像。
在本發明之一實施例中，上述的步驟e2.包括計算還原影像之梯度分佈以生成階層係數，然後將階層係數乘上前一階層的第二梯度衰減函數，以更新第二梯度衰減函數，最後則以更新後的第二梯度衰減函數定義第二權重陣列。
在本發明之一實施例中，在上述步驟e3.之前，更包括利用雙向濾波器將所求得之還原影像中的環狀假影濾除。
在本發明之一實施例中，上述的步驟f.包括：f1.計算第一還原影像及第二還原影像的差值影像；f2.利用雙向濾波器濾出差值影像中的環狀假影；f3.利用最小平方法求出環狀假影在差值影像中所佔的階層係數；f4.依據第二還原影像、差值影像以及環狀假影與階層係數的乘積，計算最終還原影像。
在本發明之一實施例中，上述的最終還原影像等於第二還原影像加上差值影像，再減去環狀假影與階層係數的乘積所得之影像。
在本發明之一實施例中，上述的強邊緣抑制函數包括Gompertz函數。
基於上述，本發明之單張影像的階層式去動態模糊方法係在RL演算法中加入一個權重陣列，並利用梯度衰減函數及強邊緣抑制函數定義權重陣列中的權重值，因此可以控制遞迴的更新比率，而達到抑制環狀假影的目的。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明提出一種梯度衰減Richardson-Lucy(Gradient attenuation RL,GARL)演算法，其係利用梯度資訊來抑制大部分的環狀假影(ringing artifact)。此外，本發明採用階層式的還原機制，因而採用剩餘反卷積(residual deconvolution)的概念來緩和環狀假影。以下則舉實施例說明本發明之階層式去動態模糊方法的詳細過程。
剩餘RL反卷積(deconvolution)的概念是在剩餘影像上執行RL演算法以降低訊號的絕對高度，因此也可以減少環狀假影。所謂的剩餘影像ΔI 係為清晰影像I 及導引影像(guide image)I g 的差值，其公式如下：
I =I g +ΔI 　(2)
將公式(2)導入公式(1)，則可得到：
ΔB =ΔI ⓧf + n 　(3)
其中，ΔB =B -I g ⓧf 代表剩餘的模糊影像。
假設雜訊n 係為卜瓦松分佈(Poisson distribution)，則標準的RL演算法可修改為下式：
其中，*代表相關性(correlation)的運算子；t 代表遞迴次數。此外，，其中μ代表用以增強每個像素值之非負值(non-negativity)的偏移量(offset)。
根據上述，本發明的階層式去模糊方法即先建構模糊影像之多種階層的表述式，並採用剩餘RL的架構。其中，由標準RL可直接獲得最粗階層的導引影像，而藉由將快速近似雙向濾波器(fast approximated bilateral filter)應用在除了最後一個階層的其他階層上，則可避免環狀假影傳播到下個階層。
由於RL反卷積演算法是一個以比率為基礎的演算法，因此本發明即藉由控制遞迴的更新比率來達到抑制環狀假影的目的。據此，本發明將一個外加的權重陣列乘上剩餘RL演算法的各個階層，而將方程式(4)修正為下式：
其中，W s-1 代表權重陣列，而s 則代表階層的索引值。
在此需說明的是，環狀假影具有三種主要特性。第一，在均勻(homogeneous)區域的環狀假影會比複雜(complex)區域的環狀假影來得明顯；第二，在強邊緣周圍的環狀假影會比其他區域來得嚴重；第三，環狀假影通常會沿著核心方向(kernel direction)傳播。
根據上述特性，本發明即應用梯度衰減函數來決定每個像素的權重值。為了讓此函數可以減少低梯度區域的更新比率，進而擴大對環狀假影的抑制，本發明定義了一個階層係數(scaling factor)，其公式如下：
其中，α代表梯度值大小不變的階層，而β則是用來控制衰減階層。
在本發明的階層式還原架構中，梯度衰減函數Φ係將階層係數φ傳播到最粗至最細的每一個階層：
最後，梯度衰減函數Φ即可由所有邊緣及細節的強度來決定。
藉由將上述方程式(7)除以其所有階層中的最大值而達到正規化(normalization)後再開一小於1之次方可作為權重圖(weighting map)來使用，即可大幅抑制最嚴重的環狀假影，然而強邊緣區域附近的環狀假影仍有可能沒有被抑制到。為了解決此問題，本發明另提出一種增強GARL演算法，其係合併強邊緣抑制函數(例如Gompertz函數)來進一步減弱非常強邊緣的更新比率。而根據環狀假影的第三種特性，本發明即藉由估測模糊核心來擴展衰減的範圍。此增強的權重圖係定義如下：
其中，係數η及ω可分別控制強邊緣抑制函數的形狀；E則是根據所估測模糊核心以指出強邊緣位置及其影響區域的影像；係數κ及γ則控制強邊緣周圍的衰減階層。
綜上所述，本發明之梯度衰減RL演算法藉由權重陣列的加乘來抑制環狀假影的做法與傳統RL相類似，但權重值的求得方式則大不相同，而藉由本發明的方法即可在還原細節的同時抑制環狀假影。
當藉由上述的GARL演算法及增強GARL演算法求得還原影像後，其間的差值Diff 即包含細節及環狀假影：
Diff =I GARL -I EGARL =I D +λI R 　(9)
其中，I GARL 及I EGARL 即分別代表藉由GARL演算法及增強GARL演算法所求得的還原影像；I D 及I R 則分別代表細節及環狀假影層；λ代表階層係數。而藉由在差值影像上應用一個雙向濾波器即可擴展I R ，其中λ可定義如下：
據此，最後的還原影像I F 則由下式計算而得：
I F =I EGARL +Diff -λI R 　(11)
依據上述的理論推導，最終所獲得的還原影像I F 即為去動態模糊的還原影像。對應於上述理論，本發明定義了一套完整的方法流程，藉以實現階層式去動態模糊的目的，以下則舉實施例詳細說明。
圖1是依照本發明一實施例所繪示之單張影像的階層式去動態模糊方法流程圖。請參照圖1，本實施例的階層式去動態模糊方法適於對單張影像進行處理，而藉由剩餘Richards-Lucy演算法的遞迴，可達到抑制環狀假影的目的，其步驟分述如下：首先提供一張目標影像(步驟S102)。接著，計算此目標影像之模糊核心(步驟S104)，並將此目標影像與模糊核心表述為多階層的表述式(步驟S106)。其中，本實施例係藉由標準RL演算法，計算最粗階層的導引影像，並將快速近似雙向濾波器(fast approximated bilateral filter)應用在除了最後一個階層的其他階層上，藉以避免環狀假影傳播到下個階層。
在取得目標影像與模糊核心的多階層表述式後，即可採用上述的GARL演算法，以遞迴的方式由粗至細求取由各個階層之表述式所表述之目標影像及模糊核心的剩餘影像，並將此剩餘影像還原為第一還原影像(步驟S108)。
需說明的是，本實施例係在執行GARL演算法的遞迴過程中，將剩餘影像乘上一個由第一梯度衰減函數所定義的第一權重陣列，藉以減少遞迴的更新比率，而達到抑制環狀假影的目的。
詳細地說，圖2是依照本發明一實施例所繪示之GARL演算法的流程圖。請參照圖2，本實施例之GARL演算法係先藉由標準的RL演算法求取由最粗階層之表述式所表述之目標影像及模糊核心的還原影像(步驟S202)。
之後，依據所求得的還原影像，計算第一梯度衰減函數，並用以定義第一權重陣列(步驟S204)。其中，本實施例例如是先計算還原影像的梯度分佈，以生成階層係數(參照公式(6))，然後將此階層係數乘上前一個階層的第一梯度衰減函數，以更新第一梯度衰減函數(參照公式(7))，最後則以更新後的第一梯度衰減函數來定義第一權重陣列。
接著，將步驟S202所求得的還原影像提升取樣(upsample)為目前階層的下一階層，以生成下一階層的導引影像(guide image)(步驟S206)，同時也會將”第一梯度衰減函數”與”第一權重陣列”一起提升取樣以提供給下一層使用。而藉由將下一階層之表述式所表述之目標影像減去此下一階層的導引影像與該階層的模糊核心的卷積結果，即ΔB =B -I g ⓧf ，即可獲得下一階層的剩餘目標影像(步驟S208)。
然後，利用剩餘RL演算法求取此剩餘目標影像的剩餘影像，並將剩餘影像乘上第一權重陣列(步驟S210)，最後則將所求取的剩餘影像加上導引影像，而獲得下一階層的還原影像(步驟S212)。
藉由上述步驟，即可由最粗階層的還原影像求取下一階層的還原影像，而本發明即藉由遞迴的方式由粗至細求取由其他階層之表述式所表述之目標影像及模糊核心的剩餘影像。據此，在每次求得還原影像後，即會判斷目前處理之影像階層是否為最後階層(步驟S214)。
其中，若判斷目前處理之影像階層不是最後階層，則利用雙向濾波器濾除所求得之還原影像中的環狀假影(步驟S216)。詳細地說，本實施例例如是將快速近似雙向濾波器應用在除了最後一個階層的其他階層的還原影像上，藉以避免環狀假影傳播到下個階層，而在濾除環狀假影後，則返回步驟S204，並重複執行步驟S204~S212，以繼續求取其他階層的還原影像。
另一方面，若在步驟S214中判斷目前處理之影像階層是最後階層，則以最後所求取的還原影像作為執行GARL演算法所求得的第一還原影像(步驟S218)。
回到圖1的步驟S106，在取得目標影像與模糊核心的多階層表述式後，本實施例還包括利用上述的增強GARL演算法，以遞迴的方式由粗至細求取由各個階層之表述式所表述之目標影像及模糊核心的剩餘影像，並將此剩餘影像還原為第二還原影像(步驟S110)。其中，步驟S110可與步驟S108同時進行，亦或是在步驟S108之前或之後進行，本實施例不限制其執行順序。
需說明的是，本實施例係在執行增強GARL演算法的遞迴過程中，將剩餘影像乘上一個由第二梯度衰減函數所定義的第二權重陣列，藉以減少遞迴的更新比率，而達到抑制環狀假影的目的。
詳細地說，圖3是依照本發明一實施例所繪示之增強GARL演算法的流程圖。請參照圖3，本實施例之增強GARL演算法係先藉由標準的RL演算法求取由最粗階層之表述式所表述之目標影像及模糊核心的還原影像(步驟S302)。
之後，依據所求得的還原影像，計算第二梯度衰減函數，並用以定義第二權重陣列(步驟S304)。其中，本實施例例如是先計算還原影像的梯度分佈，以生成階層係數(參照公式(6))，然後將此階層係數乘上前一個階層的第二梯度衰減函數，以更新第二梯度衰減函數(參照公式(7))，最後則以更新後的第二梯度衰減函數來定義第二權重陣列。
與GARL演算法不同的是，增強GARL演算法除了利用第二梯度衰減函數來定義第二權重陣列之外，還更進一步地將第二權重陣列帶入強邊緣抑制函數(參照公式(8))，以更新第二權重陣列(步驟S306)。
接著，將步驟S302所求得的還原影像提升取樣為目前階層的下一階層，以生成下一階層的導引影像(guide image)(步驟S308)，同時也會將”第二梯度衰減函數”與”第二權重陣列”一起提升取樣以提供給下一層使用。而藉由將下一階層之表述式所表述之目標影像減去此下一階層的導引影像與該階層的模糊核心的卷積結果，即ΔB =B -I g ⓧf ，即可獲得下一階層的剩餘目標影像(步驟S310)。
然後，利用剩餘RL演算法求取此剩餘目標影像的剩餘影像，並將剩餘影像乘上第二權重陣列(步驟S312)，最後則將所求取的剩餘影像加上導引影像，而獲得下一階層的還原影像(步驟S314)。
藉由上述步驟，即可由最粗階層的還原影像求取下一階層的還原影像，而本發明即藉由遞迴的方式由粗至細求取由其他階層之表述式所表述之目標影像及模糊核心的剩餘影像。據此，在每次求得還原影像後，即會判斷目前的階層是否為最後階層(步驟S316)。
若判斷目前處理之影像階層不是最後階層，則利用雙向濾波器濾除所求得之還原影像中的環狀假影(步驟S318)。其中，本實施例例如是將快速近似雙向濾波器應用在除了最後一個階層的其他階層的還原影像上，藉以避免環狀假影傳播到下個階層，而在濾除環狀假影後，則返回步驟S304，並重複執行步驟S304~S314，以繼續求取其他階層的還原影像。
另一方面，若在步驟S316中判斷目前處理之影像階層是最後階層，則以最後所求取的還原影像作為執行增強GARL演算法所求得的第二還原影像(步驟S320)。
回到圖1的步驟S110，藉由GARL演算法及增強GARL演算法，本實施例即可獲得對應的第一還原影像及第二還原影像，接著即可比較此第一還原影像及第二還原影像的差異，而獲得去動態模糊的最終還原影像(步驟S112)。
詳細地說，圖4是依照本發明一實施例所繪示之計算最終還原影像的方法流程圖。請參照圖4，本實施例藉由比較GARL演算法及增強GARL演算法計算所得的第一還原影像及第二還原影像，而獲得去動態模糊的最終還原影像，其步驟如下：首先，計算第一還原影像及第二還原影像的差值影像(步驟S402)，此差值影像即對應公式(9)中的Diff 。
接著，利用雙向濾波器濾出此差值影像中的環狀假影(步驟S404)，此步驟即對應公式(10)。
之後，可利用最小平方法求出環狀假影在差值影像中所佔的階層係數(步驟S406)，此階層係數即對應公式(9)中的λ。
最後，可依據第二還原影像、差值影像以及環狀假影與階層係數的乘積，計算最終還原影像(步驟S408)。詳細地說，可將第二還原影像加上差值影像，再減去環狀假影與階層係數的乘積，而其計算結果即可作為最終還原影像，此步驟即對應公式(11)。
綜上所述，本發明之單張影像的階層式去動態模糊方法係在Richardson-Lucy演算法中加入一個權重陣列，並利用梯度衰減函數控制遞迴的更新比率，以及利用強邊緣抑制函數控制強邊緣周圍的衰減階層，最終達到抑制環狀假影與去動態模糊的目的。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S102~S112．．．本發明一實施例之單張影像的階層式去動態模糊方法之各步驟
S202~S218．．．本發明一實施例之GARL演算法之各步驟
S302~S320．．．本發明一實施例之增強GARL演算法之各步驟
S402~S408．．．本發明一實施例之計算最終還原影像的方法之各步驟
圖1是依照本發明一實施例所繪示之單張影像的階層式去動態模糊方法流程圖。
圖2是依照本發明一實施例所繪示之GARL演算法的流程圖。
圖3是依照本發明一實施例所繪示之增強GARL演算法的流程圖。
圖4是依照本發明一實施例所繪示之計算最終還原影像的方法流程圖。
S102~S112．．．本發明一實施例之單張影像的階層式去動態模糊方法之各步驟

Claims (10)

  1. 一種單張影像的階層式去動態模糊方法，包括：a.提供一目標影像；b.計算該目標影像之一模糊核心(blur kernel)；c.表述該目標影像及該模糊核心為多種階層(scale)的一表述式；d.利用一剩餘Richardson-Lucy演算法，以遞迴的方式由粗至細求取由各該些階層之該表述式所表述之該目標影像及該模糊核心的一剩餘影像，並還原該剩餘影像為一第一還原影像，其中包括在遞迴中將該剩餘影像乘上由一第一梯度衰減函數所定義的一第一權重陣列；e.利用該剩餘Richardson-Lucy演算法，以遞迴的方式由粗至細求取由各該些階層之該表述式所表述之該目標影像及該模糊核心的該剩餘影像，並還原該剩餘影像為一第二還原影像，其中包括在遞迴中將該剩餘影像乘上由一第二梯度衰減函數及一強邊緣(strong edge)抑制函數所定義的一第二權重陣列；以及f.比較該第一還原影像及該第二還原影像的一差異，以獲得去動態模糊的一最終還原影像。
  2. 如申請專利範圍第1項所述之單張影像的階層式去動態模糊方法，其中該步驟d.包括：d1.利用一標準Richardson-Lucy演算法求取由一最粗階層之該表述式所表述之該目標影像及該模糊核心的一還原影像；d2.依據所求得之該還原影像計算該第一梯度衰減函數，以定義該第一權重陣列；d3.將所求得之該還原影像提升取樣(upsample)為目前階層的下一階層，以生成該下一階層之一導引影像(guide image)，並提升取樣所計算的該第一梯度衰減函數與該第一權重陣列以供該下一階層使用；d4.將由該下一階層之該表述式所表述之該目標影像減去該下一階層之該導引影像與其模糊核心的一卷積結果，以獲得該下一階層之一剩餘目標影像；d5.利用該剩餘Richardson-Lucy演算法求取該剩餘目標影像的該剩餘影像，並將該剩餘影像乘上由前一階層所提升取樣的該第一權重陣列；d6.將所求取之該剩餘影像加上該導引影像，以獲得該下一階層之該還原影像；以及d7.重複上述步驟d2.~d6.，以遞迴的方式由粗至細求取由其他階層之該表述式所表述之該目標影像及該模糊核心的該剩餘影像，並以最後所求取的該還原影像作為該第一還原影像。
  3. 如申請專利範圍第2項所述之單張影像的階層式去動態模糊方法，其中該步驟d2.包括：計算該還原影像之一梯度分佈以生成一階層係數(scaling factor)；將該階層係數乘上前一階層之該第一梯度衰減函數，以更新該第一梯度衰減函數；以及以更新後的該第一梯度衰減函數定義該第一權重陣列。
  4. 如申請專利範圍第2項所述之單張影像的階層式去動態模糊方法，其中在該步驟d3.之前，更包括：利用一雙向濾波器(bilateral filter)濾除該所求得之該還原影像中的一環狀假影(ringing artifact)。
  5. 如申請專利範圍第1項所述之單張影像的階層式去動態模糊方法，其中該步驟e.包括：e1.利用一標準Richardson-Lucy演算法求取由一最粗階層之該表述式所表述之該目標影像及該模糊核心的一還原影像；e2.依據所求得之該還原影像計算該第二梯度衰減函數，以定義該第二權重陣列；e3.將該第二權重陣列帶入該強邊緣抑制函數，以更新該第二權重陣列；e4.將所求得之該還原影像提升取樣為目前階層的下一階層，以生成該下一階層之一導引影像，並提升取樣所計算的該第二梯度衰減函數與該第二權重陣列以供該下一階層使用；e5.將由該下一階層之該表述式所表述之該目標影像減去該下一階層之該導引影像與其模糊核心的一卷積結果，以獲得該下一階層之一剩餘目標影像；e6.利用該剩餘Richardson-Lucy演算法求取該剩餘目標影像的該剩餘影像，並將該剩餘影像乘上由前一階層所提升取樣的該第二權重陣列；e7.將所求取之該剩餘影像加上該導引影像，以獲得該下一階層之該還原影像；以及e8.重複上述步驟e2.~e7.，以遞迴的方式由粗至細求取由其他階層之該表述式所表述之該目標影像及該模糊核心的該剩餘影像，並以最後所求取的該還原影像作為該第二還原影像。
  6. 如申請專利範圍第5項所述之單張影像的階層式去動態模糊方法，其中該步驟e2.包括：計算該還原影像之一梯度分佈以生成一階層係數；將該階層係數乘上前一階層之該第二梯度衰減函數，以更新該第二梯度衰減函數；以及以更新後的該第二梯度衰減函數定義該第二權重陣列。
  7. 如申請專利範圍第5項所述之單張影像的階層式去動態模糊方法，其中在該步驟e3.之前，更包括：利用一雙向濾波器濾除該所求得之該還原影像中的一環狀假影。
  8. 如申請專利範圍第1項所述之單張影像的階層式去動態模糊方法，其中該步驟f.包括：f1.計算該第一還原影像及該第二還原影像之一差值影像；f2.利用一雙向濾波器濾出該差值影像中之一環狀假影；f3.利用一最小平方法求出該環狀假影在該差值影像中所佔之一階層係數；f4.依據該第二還原影像、該差值影像以及該環狀假影與該階層係數的乘積，計算該最終還原影像。
  9. 如申請專利範圍第8項所述之單張影像的階層式去動態模糊方法，其中該步驟f4.中的該最終還原影像等於該第二還原影像加上該差值影像，再減去該環狀假影與該階層係數的乘積所得之影像。
  10. 如申請專利範圍第1項所述之單張影像的階層式去動態模糊方法，其中該強邊緣抑制函數包括一Gompertz函數。
TW099107632A 2010-03-16 2010-03-16 單張影像的階層式去動態模糊方法 TWI405147B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099107632A TWI405147B (zh) 2010-03-16 2010-03-16 單張影像的階層式去動態模糊方法
US13/046,787 US8509559B2 (en) 2010-03-16 2011-03-14 Hierarchical motion deblurring method for single image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099107632A TWI405147B (zh) 2010-03-16 2010-03-16 單張影像的階層式去動態模糊方法

Publications (2)

Publication Number Publication Date
TW201133393A TW201133393A (en) 2011-10-01
TWI405147B true TWI405147B (zh) 2013-08-11

Family

ID=44647306

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099107632A TWI405147B (zh) 2010-03-16 2010-03-16 單張影像的階層式去動態模糊方法

Country Status (2)

Country Link
US (1) US8509559B2 (zh)
TW (1) TWI405147B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012014304A1 (ja) * 2010-07-29 2012-02-02 富士通株式会社 生体認証装置および生体認証プログラム
WO2013029231A1 (en) * 2011-08-30 2013-03-07 Technicolor (China) Technology Co., Ltd. Anisotropic gradient regularization for image denoising, compression, and interpolation
US8705881B2 (en) * 2011-09-02 2014-04-22 Adobe Systems Incorporated Motion deblurring for text images
TWI462054B (zh) * 2012-05-15 2014-11-21 Nat Univ Chung Cheng Estimation Method of Image Vagueness and Evaluation Method of Image Quality
CN103514582A (zh) * 2012-06-27 2014-01-15 郑州大学 基于视觉显著的图像去模糊方法
US8929447B2 (en) * 2012-07-19 2015-01-06 Chang Jung Christian University Image deblurring method using motion compensation
CN103049891B (zh) * 2013-01-25 2015-04-08 西安电子科技大学 基于自适应窗口选择的视频图像去模糊方法
CN103093436B (zh) * 2013-01-29 2015-07-01 南京理工大学 利用图像局部结构方向导数的模糊核多尺度迭代估计方法
JP6189172B2 (ja) * 2013-10-17 2017-08-30 株式会社東芝 画像処理装置、画像処理方法およびプログラム
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation
CN104966277B (zh) * 2015-07-10 2017-11-07 浙江大学 一种基于长短曝光图像对的图像复原方法
CN105118033A (zh) * 2015-08-19 2015-12-02 杭州电子科技大学 一种利用自适应噪声估计的维纳滤波图像复原方法
US10516875B2 (en) 2016-01-22 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for obtaining depth image by using time-of-flight sensor
CN105976332B (zh) 2016-05-03 2019-03-01 北京大学深圳研究生院 基于图像中亮条纹信息的图像去模糊方法
CN107451973B (zh) * 2017-07-31 2020-05-22 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
CN108133462B (zh) * 2017-12-08 2020-06-19 泉州装备制造研究所 一种基于梯度场区域分割的单幅图像的复原方法
CN108447041B (zh) * 2018-01-30 2020-12-15 中国航天电子技术研究院 一种基于增强学习的多源图像融合方法
CN108550123A (zh) * 2018-04-16 2018-09-18 上海海洋大学 Replicated边界条件下图像模糊矩阵与图像矢量乘积的一种替代计算方法
CN109029425B (zh) * 2018-06-25 2020-07-31 中国科学院长春光学精密机械与物理研究所 一种采用区域滤波的模糊星图复原方法
CN109544462A (zh) * 2018-09-28 2019-03-29 北京交通大学 基于自适应选择模糊核的车牌图像去模糊方法
CN109993712B (zh) * 2019-04-01 2023-04-25 腾讯科技（深圳）有限公司 图像处理模型的训练方法、图像处理方法及相关设备
TWI783721B (zh) * 2021-10-08 2022-11-11 瑞昱半導體股份有限公司 決定去模糊化濾波器係數的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2082332A1 (en) * 2006-10-10 2009-07-29 Zoran (France) Method and apparatus for spatio-temporal subband video enhancement with small time delay
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof
EP1356421B1 (en) * 2001-01-23 2009-12-02 Health Discovery Corporation Computer-aided image analysis
US20100027686A1 (en) * 2006-12-18 2010-02-04 Koninklijke Philips Electronics N.V. Image compression and decompression

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1728181A (zh) 2005-01-13 2006-02-01 中国科学院长春光学精密机械与物理研究所 运动模糊数字图像自动复原方法
US7616826B2 (en) 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
CN101345825B (zh) * 2008-01-24 2010-06-02 华硕电脑股份有限公司 调整模糊图像的方法
CN101364302A (zh) 2008-09-28 2009-02-11 西安理工大学 一种散焦模糊图像的清晰化处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1356421B1 (en) * 2001-01-23 2009-12-02 Health Discovery Corporation Computer-aided image analysis
EP2082332A1 (en) * 2006-10-10 2009-07-29 Zoran (France) Method and apparatus for spatio-temporal subband video enhancement with small time delay
US20100027686A1 (en) * 2006-12-18 2010-02-04 Koninklijke Philips Electronics N.V. Image compression and decompression
TW200945215A (en) * 2008-04-18 2009-11-01 Univ Nat Taiwan Image tracking system and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1.L. Yuan, J. Sun, L. Quan, H.Y. Shum, "Image Deblurring with Blurred/Noisy Image Pairs", ACM Transactions on Graphics Vol. 26, NO. 3, Article 1, NY, USA, Jul 2007 *

Also Published As

Publication number Publication date
US8509559B2 (en) 2013-08-13
TW201133393A (en) 2011-10-01
US20110229044A1 (en) 2011-09-22

Similar Documents

Publication Publication Date Title
TWI405147B (zh) 單張影像的階層式去動態模糊方法
US11164295B2 (en) Methods and apparatus for enhancing optical images and parametric databases
CN103854259B (zh) 图像处理设备以及处理图像的方法
Gallo et al. Artifact-free high dynamic range imaging
US20170084006A1 (en) Methods and Apparatus for Enhancing Optical Images and Parametric Databases
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
WO2016139260A9 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
Deng et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
WO2022088976A1 (zh) 图像处理方法及装置
KR102561714B1 (ko) 합성 이미지에서 이미지 데이터 프로세싱
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
JP2019028912A (ja) 画像処理装置、画像処理方法
Chang et al. A self-adaptive single underwater image restoration algorithm for improving graphic quality
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
Liu et al. A novel high dynamic range image enhancement algorithm based on guided image filter
JP6661491B2 (ja) 画像処理装置および画像処理方法
WO2020241337A1 (ja) 画像処理装置
CN114119411A (zh) 一种雾噪声视频图像恢复方法、装置、设备及介质
Park et al. Image denoising filter based on patch-based difference refinement
JP4035546B2 (ja) 画像処理方法及びコンピュータ読み取り可能な記憶媒体
CN102201112A (zh) 单张影像的阶层式去动态模糊方法
CN112581411B (zh) 一种图像去雾的方法及终端
JP7421273B2 (ja) 画像処理装置及びその制御方法及びプログラム
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees