TWI382754B - 調整模糊影像的方法 - Google Patents

調整模糊影像的方法 Download PDF

Info

Publication number
TWI382754B
TWI382754B TW097130583A TW97130583A TWI382754B TW I382754 B TWI382754 B TW I382754B TW 097130583 A TW097130583 A TW 097130583A TW 97130583 A TW97130583 A TW 97130583A TW I382754 B TWI382754 B TW I382754B
Authority
TW
Taiwan
Prior art keywords
blurred image
blurred
image
adjusting
spread function
Prior art date
Application number
TW097130583A
Other languages
English (en)
Other versions
TW200934231A (en
Inventor
Yen Lung Chien
Chih Tsung Shen
Original Assignee
Asustek Comp Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asustek Comp Inc filed Critical Asustek Comp Inc
Publication of TW200934231A publication Critical patent/TW200934231A/zh
Application granted granted Critical
Publication of TWI382754B publication Critical patent/TWI382754B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

調整模糊影像的方法
本發明是有關於一種調整模糊影像的方法,且特別是有關於利用點散開函數(point spread function,簡稱PSF)來調整模糊影像的方法。
由於科技的進步,現在的數位照相機已經多具有防手震的功能。而達成防手震的方法又可區分為很多種類。第一種為機械式防手震,也就是在數位相機的鏡頭或者是光耦合元件(以下簡稱CCD)上裝設可移動的機構並且輔以一個手動偵測裝置。當拍攝時產生些微震動,手動偵測裝置會偵測到數位相機的震動並且動態的反向補償鏡頭或者CCD,使得反向補償鏡頭以及CCD的相對位置固定。因此,CCD不會接收到模糊影像(blur image)。一般來說,此種方式的效果佳,但機械結構複雜、以及成本高,因此常運用於高階數位相機的防手震。
第二種為高感光度(ISO)方式或者超高感光度(ISO)方式防手震。當使用者拍攝並產生震動時,數位相機會縮短鏡頭曝光的時間。也就是說,CCD會在極短的時間內接收到一影像,而此影像也不會是模糊影像。由於鏡頭曝光時間很短所以CCD接收到的光強度不足,將導致CCD產 生的影像信號較弱。因此,數位相機中必須要有一放大電路來放大影像信號成為清晰影像。一般來說,市面上的數位相機大多採用此種方式。
上述二種方式最主要的目的皆是在數位相機產生震動時,利用機械的方式或者是控制鏡頭的曝光時間,來防止CCD接收到模糊影像。一般來說,手持式裝置,例如手機或者PDA,上的數位相機由於無法裝設複雜的機械結構以及成本的考量,無法運用上述二種防手震的方式。因此,就必須將CCD接收到的模糊影像經過特殊的處理來將模糊影像還原成清晰影像。
請參照第一圖A,其所繪示為影像的退化程序(degradation)以及還原程序(restoration)示意圖。假設有一清晰影像f(x,y)經過退化程序,得到模糊影像g(x,y)。若h(x,y)為一個線性空間不變量(linear spatially invariant)的程序,η (x,y)為雜訊(noise),則退化的模糊影像g(x,y)在空間域(spatial domain)上,有以下這個關係:。其中為迴旋積分(convolution integration)。
若利用傅立葉轉換(Fourier Transformation),則在頻率域(frequency domain)的表示式為:G (u ,v )=H (u ,v )F (u ,v )+N (u ,v )---(2)。其中,(2)式為(1)式的傅立葉轉換。其中,N(u,v)為雜訊的傅立葉轉換,而退化函數H(u,v)在頻率域稱為光學轉移函數(optical transfer function,OTF);相對的,在空間域上的h(x,y)稱為點散開 函數(point spread function,PSF)。此術語是讓h(x,y)作用在一個光點上,以獲得任一種物體的退化程序。如第一圖B所示,於空間域中在不考慮雜訊的情況下,一物體10與一點散開函數20的迴旋積分即成為一模糊影像30。
運用到數位相機上,f(x,y)即可視為照相的物體(object),點散開函數h(x,y)即可視為數位相機的震動,再加上雜訊η (x,y)後,CCD即接收到一模糊影像g(x,y)。再者,第一圖A中的還原濾波器(restoration filter)即是於還原程序中用來接收模糊影像g(x,y)並還原成清晰影像f (x ,y )。
最簡單的方式,就是利用一直接反濾波器(inverse filter)來作為還原濾波器用以還原一模糊影像。也就是在頻率域上直接將(2)式除以光學轉移函數H(u,v):
然而,上述的直接反濾波器會有一個很大的缺點,即是當H(u,v)接近零時,雜訊會被加大,通常不會被採用。
運用於還原濾波器中最有名的即是利用路西李查森演算法(Lucy-Richardson method,以下簡稱LR演算法)而設計出來的。此演算法需要先獲得一點散開函數後再利用LR演算法即可將模糊影像還原成清晰影像。然而,由於LR演算法的計算量龐大,以目前最先進的桌上型電腦處理器需要十幾分鐘才能夠完成。因此,無法將上述的方式運用於手持式裝置。
再者,溫妮濾波器(Wiener filter)於1942年被提出, 也可以用來對模糊影像還原成清晰影像。簡單的來說,溫妮濾波器即是尋找統計誤差最小化的估測。其中,E為期望值,f為未退化影像(物件)。而(4)式在頻率域的解為: 其中,H(u,v)為點散開函數的傳立葉轉換,S η (u ,v )為雜訊的功率頻譜(power spectrum),S f (u ,v )為未退化影像(物件)的功率頻譜。而由於溫妮濾波器的計算量小,因此利用手持式裝置中的處理器來實現。
一般來說,還原濾波器的選擇會影響到清晰影像的品質。而手持式裝置中,偵測點散開函數h(x,y)的能力也會影響到清晰影像的品質。由上述說明可知,為了要將具有防手震功能的數位相機實現於手機上,手機就必須要有能力偵測手機的震動,用以偵測點散開函數。再者,點散開函數又可稱之為模糊函數(blur kernel)。
為了要偵測點散開函數,習知的手持式裝置會設置一重力加速度偵測器(G sensor)。也就是說,當手持式裝置的數位相機在動作時,重力加速度偵測器可以感應出重力的變化,而經過積分之後即可以計算出實際位移,並且獲得點散開函數。之後,利用手持式裝置的處理器結合點散開函數以及還原濾波器即可獲得一清晰影像。
本發明提出一種調整模糊影像的方法,包括下列步驟:獲得一亮度與一彩度的一模糊影像;取出模糊影像的一亮度成分;利用一邊緣偵測技術獲得模糊影像的一模糊區域;根據模糊區域進行一水平像素位移統計以及一垂直像素位移統計,獲得一水平位移量以及一垂直位移量;根據該水平位移量以及該垂直位移量來決定一點散開函數;以及,根據該點散開函數來調整該模糊影像。
因此,本發明所提出的調整模糊影像的方法,僅利用CCD所接收的模糊影像即可獲得點散開函數。
為了使 貴審查委員能更進一步瞭解本發明特徵及技術內容,請參閱以下有關本發明之詳細說明與附圖,然而所附圖式僅提供參考與說明,並非用來對本發明加以限制。
在以下的描述以林娜(Lena)小姐為一物件,並且經過退化程序(震動)後產生一模糊影像。而利用本發明偵測出點散開函數後,結合點散開函數以及還原濾波器進而還原成一清晰影像。
請參照第二圖A~G,其所繪示為本發明影像的退化程序以及還原程序示意圖。第二圖A所示即為林娜(Lena)小姐。如第二圖B所示,由於數位相機於拍攝時震動,因此CCD即會產生一模糊影像。
本發明的實施例須將模糊影像進行一顏色空間的轉換(color space conversion),將紅綠藍顏色空間(R,G,B color space)轉換成亮度與彩度顏色空間(Y,Cb,Cr color space)。並且利用轉換後模糊影像的亮度成分來偵測點散開函數。也就是說,只考慮模糊影像的亮度,而不考慮模糊影像的彩度。如第二圖C所示,即為模糊影像的亮度成分。
接著,利用一邊緣偵測(edge detection)技術將第二圖C進行邊緣偵測,並且如第二圖D所示得到有側邊的影像。由第二圖D可知,由於第二圖C為模糊影像的亮度成分,因此,利用邊緣偵測技術偵測出的側邊並不是清楚的黑色細線條,而是長寬不一的黑色粗線條以及黑色的方塊(block)。而長寬不一的黑色粗線條以及黑色的方塊(block)即為模糊影像的模糊區域(blur area)。也就是說,數位相機震動越劇烈,側邊的線條寬度會越寬;反之,數位相機無震動,側邊的線條會非常的清晰。再者,邊緣偵測技術可以利用索貝爾(Sobel)邊緣偵測技術來產生模糊影像的側邊,由於邊緣偵測技術已經是本領域的技術人員所熟悉的技術,因此,本發明予以省略不加以詳述邊緣偵測技術。
接著,進行水平像素位移統計以及垂直像素位移統計。也就是說,以像素為單位來計算長寬不一的粗線條的水平寬度與垂直寬度。請參照第二圖E與第二圖F,其所繪示為第二圖D的水平像素位移統計以及垂直像素位移統 計的結果。以第二圖E為例,統計所有模糊區域中黑色線條由左到右的水平寬度。由統計結果可知,水平寬度為6像素最多,出現95次。因此,可定義出水平位移量為6像素。同理,於第二圖F中,統計所有模糊區域中黑色線條由上到下的垂直寬度。由統計結果可知,垂直寬度為11像素最多,出現272次。因此,可定義出垂直位移量為11像素。
根據上述的統計結果可以獲得震動量為水平位移6像素,垂直位移11像素。因此,可以設計一水平位移6像素且垂直位移11像素的一點散開函數。最後,利用本發明偵測出的點散開函數結合一還原濾波器,例如溫妮濾波器,即可以獲得如第二圖G所示的一清晰影像。
請參照第三圖,其所繪示為本發明調整模糊影像的方法流程圖。首先,將紅綠藍顏色空間的一模糊影像轉換成為一亮度與彩度顏色空間的一模糊影像(步驟S10)。接著,取出該模糊影像的一亮度成分(步驟S12)。接著,將模糊影像的亮度成分利用一邊緣偵測技術,例如索貝爾(Sobel)邊緣偵測技術,偵測出該模糊影像的一模糊區域(步驟S14)。接著,根據此模糊區域進行水平像素位移統計以及垂直像素位移統計,並獲得一水平位移量以及一垂直位移量(步驟S16)。接著,根據一水平位移量以及一垂直位移量來決定一點散開函數(步驟S18)。最後,根據點散開函數來調整模糊影像(步驟S20)。也就是說,當點散開函數已經決定之後,即可以根據點散開函數設計成一還 原濾波器,例如溫妮濾波器,來調整模糊影像以可以獲得一清晰影像。
根據本發明的實施例,於具有防手震功能的手持式裝置上,可以利用本發明的點散開函數的偵測方法以及溫妮濾波器而將一模糊影像還原成一清晰影像。而此方式可輕易的利用手持式裝置中的處理器來完成,不會造成處理單元的過度負擔。當然,運用於桌上型電腦的中央處理器,本發明的點散開函數的偵測方法以及路西李查森演算法可將模糊影像還原成更清晰的影像。
綜上所述,雖然本發明已以較佳實施例揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
本案圖式中所包含之各元件列示如下:
10‧‧‧物體
20‧‧‧點散開函數
30‧‧‧模糊影像
本案得藉由下列圖式及詳細說明,俾得一更深入之了解:
第一圖A所繪示為影像的退化程序以及還原程序示意圖。
第一圖B所繪示為物體的退化程序示意圖。
第二圖A~G所繪示為本發明影像的退化程序以及還原程序示意圖。
第三圖所繪示為本發明調整模糊影像的方法流程圖。
S10~S20‧‧‧步驟

Claims (7)

  1. 調整模糊影像的方法,包括下列步驟:獲得具有一亮度與一彩度的一模糊影像;取出該模糊影像的亮度成分;利用一邊緣偵測技術獲得該模糊影像的一模糊區域;根據該模糊區域進行一水平像素位移統計以及一垂直像素位移統計,獲得一水平位移量以及一垂直位移量;其中該水平像素位移統計是計算該模糊區域中所有的黑色線條由左到右的水平像素數目出現的次數;其中該垂直像素位移統計是計算該模糊區域中所有的黑色線條由上到下的垂直像素數目出現的次數;根據該水平位移量以及該垂直位移量來決定一點散開函數;以及根據該點散開函數,調整該模糊影像。
  2. 如申請專利範圍1所述的調整模糊影像的方法,其中獲得具有該亮度與該彩度的模糊影像之前,更包括:將一紅綠藍顏色空間的該模糊影像轉換為該亮度與該彩度的該模糊影像。
  3. 如申請專利範圍1所述的調整模糊影像的方法,其中該邊緣偵測技術為一索貝爾邊緣偵測技術。
  4. 如申請專利範圍1所述的調整模糊影像的方法,其中根據該點散開函數,調整該模糊影像,係根據該點散開函數設計成一還原濾波器,來將該模糊影像還原成一清晰影像。
  5. 如申請專利範圍4所述的調整模糊影像的方法,其中該還原濾波器使用一路西李查森演算法來設計。
  6. 如申請專利範圍4所述的調整模糊影像的方法,其中該還原濾波器為一溫妮濾波器。
  7. 如申請專利範圍1所述的調整模糊影像的方法,其中該模糊影像是由一光耦合元件所產生。
TW097130583A 2008-01-24 2008-08-11 調整模糊影像的方法 TWI382754B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US2310408P 2008-01-24 2008-01-24

Publications (2)

Publication Number Publication Date
TW200934231A TW200934231A (en) 2009-08-01
TWI382754B true TWI382754B (zh) 2013-01-11

Family

ID=40247698

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097130583A TWI382754B (zh) 2008-01-24 2008-08-11 調整模糊影像的方法

Country Status (3)

Country Link
US (1) US8139884B2 (zh)
CN (1) CN101345825B (zh)
TW (1) TWI382754B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009128798A1 (en) * 2008-04-16 2009-10-22 Nikon Corporation Method for deblurring an image that produces less ringing
US8135233B2 (en) * 2008-05-22 2012-03-13 Aptina Imaging Corporation Method and apparatus for the restoration of degraded multi-channel images
EP2199065B1 (en) * 2008-12-19 2012-03-21 Agfa Graphics N.V. Image processing method for three-dimensional printing
EP2469834B1 (en) * 2009-08-19 2021-04-21 Nec Corporation Image processing method, image processing device, and program
US8508606B2 (en) * 2009-11-20 2013-08-13 Hon Hai Precision Industry Co., Ltd. System and method for deblurring motion blurred images
US8606032B2 (en) * 2009-12-23 2013-12-10 Sony Corporation Image processing method, device and program to process a moving image
US8648918B2 (en) * 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
TWI405147B (zh) * 2010-03-16 2013-08-11 Novatek Microelectronics Corp 單張影像的階層式去動態模糊方法
US8594447B2 (en) * 2011-12-23 2013-11-26 The United States Of America, As Represented By The Secretary Of The Navy Method of estimating blur kernel from edge profiles in a blurry image
US8917329B1 (en) 2013-08-22 2014-12-23 Gopro, Inc. Conversion between aspect ratios in camera
US20160212404A1 (en) * 2013-08-23 2016-07-21 The Schepens Eye Research Institute, Inc. Prevention and Treatment of Myopia

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066981A1 (en) * 2001-04-09 2004-04-08 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US20080008398A1 (en) * 2006-07-04 2008-01-10 Takashige Tanaka Image processing device and image processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356713B1 (en) * 1999-07-12 2002-03-12 Olympus Optical Co., Ltd. Blurring correction apparatus and image taking apparatus having the same
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP4608791B2 (ja) * 2001-03-15 2011-01-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
AU2003296127A1 (en) * 2002-12-25 2004-07-22 Nikon Corporation Blur correction camera system
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US8064717B2 (en) * 2005-10-28 2011-11-22 Texas Instruments Incorporated Digital camera and method
US8036481B2 (en) * 2006-07-14 2011-10-11 Eastman Kodak Company Image processing apparatus and image restoration method and program
US7616826B2 (en) * 2006-07-28 2009-11-10 Massachusetts Institute Of Technology Removing camera shake from a single photograph using statistics of a natural image
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040066981A1 (en) * 2001-04-09 2004-04-08 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US20050249429A1 (en) * 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US20080008398A1 (en) * 2006-07-04 2008-01-10 Takashige Tanaka Image processing device and image processing method

Also Published As

Publication number Publication date
CN101345825B (zh) 2010-06-02
CN101345825A (zh) 2009-01-14
US20090190851A1 (en) 2009-07-30
TW200934231A (en) 2009-08-01
US8139884B2 (en) 2012-03-20

Similar Documents

Publication Publication Date Title
TWI382754B (zh) 調整模糊影像的方法
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
US7728844B2 (en) Restoration of color components in an image model
JP5688090B2 (ja) 重み付け勾配を利用した画像データのデモザイク処理のためのシステム及び方法
JP5597717B2 (ja) 撮像素子における欠陥画素の検出及び補正のためのシステム及び方法
US8913153B2 (en) Imaging systems and methods for generating motion-compensated high-dynamic-range images
US8471932B2 (en) Spatial filtering for image signal processing
EP2491528B1 (en) Temporal filtering techniques for image signal processing
US8472712B2 (en) System and method for applying lens shading correction during image processing
JP4121780B2 (ja) デジタル画像における動きによるぼけを低減する方法
US20130057714A1 (en) Image pickup device, image processing device, image processing method, and image processing program
US20110090370A1 (en) System and method for sharpening image data
US8064717B2 (en) Digital camera and method
KR100735561B1 (ko) 이미지 센서로부터 발생되는 잡음을 저감하는 방법 및 장치
WO2012017662A1 (ja) 画像復元装置および画像復元方法
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
WO2011099239A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
WO2017113917A1 (zh) 成像方法、成像装置和终端
KR100819288B1 (ko) 저조도 노이즈를 검출하는 방법 및 이를 위한 영상 압축장치
Luo et al. Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory
US8339481B2 (en) Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
JP5158167B2 (ja) 画像処理装置、撮像装置および画像処理プログラム