TWI538506B - 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體 - Google Patents

影像處理裝置、資訊處理方法及電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI538506B
TWI538506B TW102142435A TW102142435A TWI538506B TW I538506 B TWI538506 B TW I538506B TW 102142435 A TW102142435 A TW 102142435A TW 102142435 A TW102142435 A TW 102142435A TW I538506 B TWI538506 B TW I538506B
Authority
TW
Taiwan
Prior art keywords
filtering
image
spatial
filter
spatial filtering
Prior art date
Application number
TW102142435A
Other languages
English (en)
Other versions
TW201429243A (zh
Inventor
平井由樹雄
吉川浩寧
Original Assignee
富士通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通股份有限公司 filed Critical 富士通股份有限公司
Publication of TW201429243A publication Critical patent/TW201429243A/zh
Application granted granted Critical
Publication of TWI538506B publication Critical patent/TWI538506B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

影像處理裝置、資訊處理方法及電腦可讀取儲存媒體 發明領域
本文揭示係有關於影像處理裝置、資訊處理方法及其程式。
發明背景
藉例如數位相機拍攝的影像之解析度經常在影像邊緣降級。更明確言之，因一孔徑大小的視角相依性或一透鏡光學系統的像差導致於該周邊的解析度相較於環繞一光軸的中部降級。一孔徑的暈邊(vignetting)係視為降級的起因中之一者。於周向所形成的圓形徑向孔徑暈邊而在廣視角的一區形成一橢圓孔徑，及因而影像變模糊。結果，於徑向的解析度降級。
有關解析度的降級有一項技術，其中根據欲校正的影像之一目標位置，使用不同濾波資料過濾一影像，例如俾便根據入射光的角度而因應點擴展函數(PSF)的改變。例如參考日本公開專利案第2012-23498號。
解析度之程度傾向於取決於方向而有不同，及該性質係稱 作解析度的各向異性。舉例言之，環繞一光軸於徑向之解析度之程度係與於周向的解析度不同。
雖然於習知技術中根據一影像位置進行差異濾波以校正該影像的模糊，但於該等習知技術中無法改良解析度的各向異性。
發明概要
依據本文揭示之一面向，提出一資訊處理方法包括使用在一影像的解析度具有各向異性之一有限第一空間濾波，與一有限濾波其中元件之一總和值為零且至少兩個元件具有一非零值，來計算一第二空間濾波，其具有元件數目之一大小係大於該影像之一模糊尺寸；及從該第二空間濾波產生具有預定元件數目或較少的多個空間濾波。
利用於申請專利範圍各項中特別指出的元件及組合將可實現與達成本發明之目的及優點。須瞭解前文概略說明部分及後文詳細說明部分係供舉例說明及解釋而非限制如所請求專利的本發明。
1‧‧‧光學系統
2‧‧‧影像拍攝元件
3‧‧‧類比前端(AFE)
4‧‧‧影像處理單元
5‧‧‧後處理單元
6‧‧‧驅動控制設備
7‧‧‧控制設備
8‧‧‧影像記憶體
9‧‧‧顯示單元
10‧‧‧係數分析單元
11a-c‧‧‧透鏡
12‧‧‧隔膜
15‧‧‧影像處理單元
31‧‧‧A/D(類比至數位)轉換器
32‧‧‧定時產生器
41‧‧‧RAW記憶體
101‧‧‧解析度分析單元
102、231‧‧‧決定單元
121‧‧‧調整單元
122‧‧‧影像校正單元
123‧‧‧係數決定單元
124‧‧‧濾波決定單元
151‧‧‧濾波控制單元
152‧‧‧濾波處理單元
201、401‧‧‧濾波儲存單元
202‧‧‧濾波獲得單元
203、402‧‧‧濾波計算單元
204、403‧‧‧濾波產生單元
211‧‧‧第一空間濾波
212‧‧‧第二空間濾波
213、412‧‧‧於多個階段的空間濾波
301、501‧‧‧卷積操作單元
302、603‧‧‧減法單元
303、602‧‧‧增益乘法單元
411‧‧‧第三空間濾波
601‧‧‧增益決定單元
604‧‧‧濾波分析單元
702‧‧‧控制單元
704‧‧‧主儲存單元
706‧‧‧輔儲存單元
708‧‧‧通訊單元
710‧‧‧記錄媒體I/F單元
712‧‧‧相機I/F單元
714‧‧‧記錄媒體
716‧‧‧相機
Cth‧‧‧絕對值
F5A、F5A’、F5B、F5B’、F9、F9’‧‧‧空間濾波
K‧‧‧物體
S101-105、S201-207、S301-306、S401-406、 S501-504‧‧‧步驟
圖1為一視圖示例說明一光學系統實施例。
圖2為一視圖示例說明取決於一影像中之位置的孔徑實施例。
圖3為一視圖示例說明取決於一影像中之位置的模糊方向。
圖4為一視圖解釋當使用一楔形圖表時的解析度。
圖5為一視圖示例說明使用該楔形圖表的一解析度量測結 果。
圖6為一視圖示例說明依據拍攝影像位置的影像之降級。
圖7為一視圖示例說明被拍照影像之端部的一楔形圖表實施例。
圖8為一視圖示例說明針對圖7示例說明的該楔形圖表的一解析度分析結果。
圖9為一視圖示例說明被拍照影像之中部的一楔形圖表實施例。
圖10為一視圖示例說明針對圖9示例說明的該楔形圖表的一解析度分析結果。
圖11為一視圖示例說明當該模糊函數係經傅立葉變換時之一特性實施例。
圖12為一視圖示例說明K(ω)的倒數。
圖13為一視圖示例說明當一預定值加至該分母時的一反濾波。
圖14為一視圖示例說明當於高頻增益已經逐漸降低時的一反濾波。
圖15為一視圖示例說明橢圓PSF之一實施例。
圖16為一視圖示例說明當一橢圓模糊函數係經傅立葉變換時之一特性實施例。
圖17為一視圖示例說明K(ω,θ)之倒數。
圖18為一視圖示例說明當一預定值加至該分母時的一反濾波。
圖19為一視圖示例說明當於高頻增益已經逐漸降低時的 一反濾波。
圖20為一視圖示例說明用以改良解析度的各向異性之一反濾波實施例。
圖21為一方塊圖示例說明含一空間濾波產生裝置的影像拍攝設備之一示意組態實施例。
圖22為一視圖解釋旋轉。
圖23為一視圖示例說明一反濾波Kinv的二維空間頻率分布之一實施例。
圖24為一視圖示例說明沿該反濾波Kinv的空間頻率方向之分布之一實施例。
圖25為一方塊圖示例說明係數分析單元之一函數實施例。
圖26為一視圖解釋該PSF之一計算順序。
圖27為一視圖示例說明其中拍照12個圖表的一影像實施例。
圖28為一視圖示例說明一空間濾波表格之實施例。
圖29為一視圖示例說明一空間濾波之實施例。
圖30為一視圖示例說明一有限空間濾波的強度。
圖31為一視圖示例說明於一經校正的影像中產生的摩爾紋波之一實施例。
圖32為一視圖示例說明針對使用該有限空間濾波校正之一影像的一解析度分析結果。
圖33為一視圖示例說明藉遏止摩爾紋波的生成而針對一校正影像的一解析度分析結果。
圖34為一視圖示例說明表示一影像模糊的一PSF實施例。
圖35為一視圖示例說明一PSF的大小。
圖36為一視圖示例說明基於假設PSF大小係小於元件數目所產生的一經校正影像之組態實施例。
圖37為一視圖示例說明當該空間濾波的元件數目係小於PSF大小時的一解析度分析結果實施例。
圖38為一視圖示例說明在實施例1中具有多個階段之一濾波實施例。
圖39為一方塊圖示例說明於實施例1中含影像處理設備之該影像拍攝設備之示意組態實施例。
圖40為一方塊圖示例說明於實施例1中一濾波控制單元及一濾波處理單元之(第一)示意組態之實施例。
圖41為一視圖解釋一目標像素的線性內插。
圖42為一方塊圖示例說明於實施例1中該濾波控制單元及該濾波處理單元之(第二)示意組態之實施例。
圖43為一視圖示例說明於一空間濾波F9’的各個像素之(第一)強度。
圖44為一視圖示例說明於該空間濾波F9’的各個像素之(第二)強度。
圖45為一視圖示例說明於一空間濾波F9的各個像素之強度。
圖46為一視圖解釋根據劃分方法1獲得於多個階段的空間濾波之一方法。
圖47為一視圖解釋針對劃分方法1之分析。
圖48為一視圖示例說明根據劃分方法1校正的結果。
圖49為一視圖解釋一劃分方法2。
圖50為一視圖解釋一劃分方法3。
圖51為一視圖解釋一劃分方法4。
圖52為一視圖解釋一劃分方法5之大綱。
圖53為一視圖解釋依據劃分方法5於多個階段的濾波的計算。
圖54為一視圖示例說明於一空間濾波F5的各個像素之強度。
圖55為一視圖示例說明於一空間濾波F5’的各個像素之強度。
圖56為一視圖解說於實施例1中一經校正的影像的生成。
圖57為一視圖示例說明根據劃分方法5針對一校正後影像的解析度分析結果。
圖58為一視圖示例說明一預定元件數目與一模糊尺寸間之(第一)關係。
圖59為一視圖示例說明該預定元件數目與該模糊尺寸間之(第二)關係。
圖60為一視圖示例說明當倍增增益時一經校正影像的生成。
圖61為一方塊圖示例說明於實施例1中該濾波處理單元之示意組態的另一實施例。
圖62為流程圖示例說明於實施例1中一濾波產生程序之實施例。
圖63為流程圖示例說明於實施例1中一增益決定處理程序 之實施例。
圖64為一視圖示例說明在該解析度校正之前及之後一雜訊之實施例。
圖65為一視圖示例說明亮度減低。
圖66為一視圖解釋依據一取芯處理的幅值降級。
圖67為一視圖示例說明針對施加取芯處理的一影像之解析度分析結果。
圖68為一視圖示例說明於實施例2中該亮度值之輸入-輸出關係之一實施例。
圖69為一方塊圖示例說明於實施例2中之濾波處理單元的另一示意組態實施例。
圖70為一視圖解釋於實施例2中之一(第一)已校正的影像產生處理程序。
圖71為一視圖解釋於實施例2中之一(第一)增益的決定。
圖72為一視圖解釋於實施例2中之(第一)效果。
圖73為一視圖解釋於實施例2中之(第二)效果。
圖74為一視圖示例說明於實施例2中針對一影像的解析度分析結果。
圖75為一視圖示例說明於實施例2中一經校正的影像產生處理程序之一實施例。
圖76為一視圖示例說明於實施例2中一(第一)增益決定處理程序之一實施例。
圖77為一視圖示例說明於實施例2中一(第二)增益決定處理程序之一實施例。
圖78為一視圖解釋於實施例2中一(第二)經校正的影像產生處理。
圖79為一視圖解釋於實施例2中一(第三)經校正的影像產生處理。
圖80為一視圖解釋於實施例2中一(第四)經校正的影像產生處理。
圖81為一視圖解釋於實施例2中另一增益決定之實施例。
圖82為一方塊圖示例說明於實施例3中之影像處理設備的一示意組態實施例。
圖83為一視圖示例說明一(第一)圖表之一實施例。
圖84為一視圖示例說明一(第二)圖表之一實施例。
圖85為一視圖示例說明一(第三)圖表之一實施例。
較佳實施例之詳細說明
因在頻域的計算諸如傅立葉變換要求大量運算，故通常使用有限空間濾波執行卷積校正，以提供濾波功能給硬體，諸如數位相機。但具有各向異性的空間濾波受限於具有有限數目的元件，及因而高頻成分的降級程度變成取決於方向而彼此相異，因而產生取決於方向的摩爾紋波(Moiré)。
當使用有限空間濾波執行卷積校正時，需要進一步減少元件數目以降低處理成本。舉例言之，當有限空間濾波係安裝於硬體內時，需要減少該空間濾波的大小至預定濾波元件數目(例如5x5)或較少。當該濾波元件數目加倍時，計算量變四倍，及因而空間濾波大小期望限於預定濾波元件數目或較少。
但當空間濾波元件數目變少時，指示模糊的PSF大小變成大於空間濾波元件數目。於此種情況下，模糊資訊量可被遺漏，及因而無法防止產生解析度的各向異性或摩爾波紋。
因此，所揭示的技術意圖提出一種影像處理裝置，當具有解析度的各向異性之該空間濾波係限於具有預定元件數目時，能夠防止影像品質的降級；一種資訊處理方法及其程式。
依據本文揭示之一面向，一種影像處理裝置包括一計算單元係經組配以使用一有限濾波其中元件之一總和為零且至少兩個元件具有一非零值來計算在一影像的解析度具有各向異性之一有限第一空間濾波，及具有比一影像的模糊尺寸更多的濾波元件數目之一第二空間濾波；及一產生單元係經組配以從該第二空間濾波產生具有預定元件數目或較少的多個空間濾波。
依據所揭示技術，當具有解析度的各向異性的一空間濾波係限於具有預定元件數目時，可防止影像品質的降級。
將參考圖1至圖3描述解析度降級的一個起因。圖1為一視圖示例說明一光學系統實施例。圖2為一視圖示例說明取決於一影像中之位置的孔徑實施例。當使用圖1示例說明之光學系統時，如圖2之示例說明，在光軸中心的該孔徑為圓形。但當一視角為廣時，因該孔徑而導致出現暈邊。如圖2之示例說明，取決於該影像中之位置，孔徑形狀變成橢圓。
圖3為一視圖示例說明取決於一影像中之位置的模糊方向。當運用圖1示例說明的光學系統時，當孔徑變窄時解析度降級，及因而，模糊方向傾向於徑向降級，如圖3之示例說明。
接著將敘述由本文揭示之發明人執行解析度之分析。藉拍 攝西門子星照片，其中邊緣係徑向分布可分析解析度之降級傾向。
圖4為一視圖解釋當使用楔形圖表時的解析度。於圖4示例說明之實施例中，得知垂直箭頭指示方向的多個資料以量測於箭頭方向之解析度。當使用圖4示例說明的一楔形西門子星時，因係從端部朝向中部走，線寬度變更窄，每個像素的線對數變增多。中部指示高頻成分。此外，當從端部朝向中部走時，亮度值的幅值(強度)變減小。
如圖4之示例說明，徑向加寬的物體例如楔形物體可被使用，及如可根據方向可分析解析度(MTF：調制傳遞函數)。
圖5為一視圖示例說明使用楔形圖表測得的解析度測量值結果。圖5示例說明一線圖其中解析度係於圖4示例說明之方向測量。圖5中示例說明之縱軸指示亮度值的幅值，橫軸指示每個像素的線對(LP)。從分析可知一種形式(MTF)，隨著走向中部而幅值變小，當走向較高頻成分(橫軸的右側)時解析度變降級。
圖6為一視圖示例說明依據拍攝影像位置的影像之降級。於圖6示例說明之實施例中，當多片西門子星平行排列與拍照時，可分析在端部的解析度降級。於圖6示例說明之實施例中，Dx方向及Dy方向分別指示周邊方向及徑向。此等Dx方向及Dy方向之定義也適用於圖7至圖85。
從圖6示例說明之分析結果可知，不僅解析度降級，同時解析度的各向異性也出現在周邊含影像端部。當比較西門子星的解析度時，中部極少存在有角相依性，但端部存在有角相依性。
圖7為一視圖示例說明被拍照影像之端部的一楔形圖表實施例。至於圖7示例說明的該楔形圖表，解析度係在垂直Dx方向之一 方向(徑向)及垂直Dy方向之一方向(周邊方向)分析。
圖8為一視圖示例說明針對圖7示例說明的該楔形圖表的一解析度分析結果。如圖8之示例說明，於徑向之解析度係比於周邊方向的解析度更為降級。據此，可知解析度的各向異性出現在影像的端部，及解析度也可被量化量測。
圖9為一視圖示例說明被拍照影像之端部的一楔形圖表實施例。至於圖7示例說明的該楔形圖表，解析度係在垂直Dx方向之一方向(徑向)及垂直Dy方向之一方向(周邊方向)分析。
圖10為一視圖示例說明針對圖9示例說明的該楔形圖表的一解析度分析結果。如圖10之示例說明，於徑向之解析度與於周邊方向的解析度極少差異。據此，解析度的各向異性不出現於影像中部。
此處，有一種校正方法利用點擴展函數(PSF)以校正如前文描述之含解析度降級的模糊。PSF例如為表示模糊的函數。於後文中表示模糊的函數又稱模糊函數。
當假設原先影像為x而PSF為k時，模糊影像y為經由以k卷積x所得之一影像，且係以如下方程式(1)表示。
於該處為卷積符號。實際上含括雜訊n，但於此處刪除以簡化說明。
當方程式(1)係經傅立葉變換時，方程式(1)係變換成如下方程式(2)。
Y(ω)=K(ω)X(ω)…(2)
於該處ω表示空間頻率。
隨後，當意圖單純獲得反濾波Kinv時，反濾波Kinv係藉K的倒數獲得，如藉如下方程式(3)表示。
K inv (ω)=1/K(ω)…(3)
由此，藉如下方程式(4)獲得原先影像的傅立葉變換X(ω)，及如下方程式(4)接受反傅立葉變換以計算原先影像。
X(ω)=K inv (ω)Y(ω)…(4)
如前文描述，當PSF經傅立葉變換而使用倒數計算反濾波函數(後文中簡稱為反濾波)時，進行以空間頻率劃分，及如此於高頻域可進行零除法。零除法表示被零或接近零之值除。當高頻接近於零時，倒數變成極高值，及如此強調雜訊的高頻成分。
圖11為一視圖示例說明當該模糊函數係經傅立葉變換時之一特性實施例。圖11表示K(ω)，及該K(ω)在較高頻時變成接近於零。
圖12為一視圖示例說明K(ω)的倒數。圖12表示依據方程式(3)的Kinv。舉例言之，於較高頻時分母係接近於零，及因此，於較高頻時的雜訊增加。
因此，如下方程式(5)表示，一個校正項被插入分母以防止於較高頻的雜訊被強調以減少於較高頻的雜訊。
K inv (ω)=1/(K(ω)+λ)…(5)
因反濾波乃一複合數，故該反濾波係使用共軛複數，藉如下方程式(6)表示。
於該處：為一共軛複數。
圖13為一視圖示例說明當一預定值加至該分母時的一反濾波。圖14為一視圖示例說明當於高頻增益已經逐漸降低時的一反濾波。如圖13或14之示例說明，施加權值至各個頻率成分以減低雜訊。
此處，考慮PSF為橢圓的一種情況。圖15為一視圖示例說明橢圓PSF之一實施例。於圖15示例說明之實施例中，於Dy方向的解析度係比於Dx方向的解析度更差。換言之，於Dy方向的解析度係比於Dx方向的解析度更進一步降級。
橢圓形PSF係以k(r,θ)表示。「r」表示半徑及θ表示方向。舉例言之，橢圓形PSF係由半徑「r」及方向θ的一函式表示。當橢圓形PSF係經傅立葉變換時K(ω,θ)=fk(r,θ)。「f」表示傅立葉變換。例如，傅立葉變換後方的K(ω,θ)乃空間頻率ω及方向θ的一函式。
圖16為一視圖示例說明當橢圓模糊函數接受傅立葉變換時的一特性實施例。圖16運用圖15的模糊函數，及模糊函數特性取決於方向θ而異。如圖16之示例說明，可知於Dx方向之特性係與具有較差解析度的於Dy方向之特性不同。
圖17為一視圖示例說明K(ω,θ)之倒數。圖17表示如下方程式(7)表示的Kinv。舉例言之，於較高頻時分母係接近於零，及因此，於較高頻時的雜訊增加。
K inv (ω,θ)=1/K(ω,θ)…(7)
因此，一個校正項被插入分母以防止於較高頻的雜訊被強調以減少於較高頻的雜訊。如下方程式(8)表示減少雜訊之一高頻成分的該反濾波。
圖18為一視圖示例說明當一預定值加至該分母時的一反濾波。圖19為一視圖示例說明當於高頻增益已經逐漸降低時的一反濾波。如圖18或圖19之示例說明，施加權值至各個頻率成分以減低雜訊。
即便當模糊函數(例如PSF)為橢圓形函數時，雜訊之一高頻成分藉一已校正權值(λ)減少。但當使用該權值執行校正時，於沿解析度較差方向(例如Dy方向)的解析度可能不被校正及改良。據此，解析度的各向異性可能無法僅藉單純施用加權而予改良。因此，發明人發現藉校準依據一個方向之適當權函數可改良解析度的各向異性。
圖20為一視圖示例說明用以改良解析度的各向異性之一反濾波實施例。於圖20示例說明之實施例中，在較高頻的增益已經逐漸地降低，但於解析度較差的Dy方向的解析度改良被進一步強調。
隨後，將就用以改良解析度的各向異性之空間濾波的產生作說明。將使用其中增益已經逐漸地降低之一方法作說明，如圖20之示例說明，但不限於該方法。舉例言之，如同於圖13，即便其中加上一預定值之方法，可改良解析度的各向異性。於本方法中，加上一預定值使得Dy方向比Dx方向更被強調。
<空間濾波產生設備>
首先將說明用以改良解析度的各向異性之空間濾波的產生。
<組態>
圖21為一方塊圖示例說明含一空間濾波產生裝置的影像拍攝設備之一示意組態實施例。圖1示例說明之一影像拍攝設備包括 一光學系統1、一影像拍攝元件2、一類比前端(AFE)3、一影像處理單元4、一後處理單元5、一驅動控制設備6、一控制設備7、一影像記憶體8、一顯示單元9、及一係數分析單元10。
一光學系統1會聚來自具有放射狀的一物體(K)之光至一表面上拍攝影像。舉例言之，該光學系統1包括透鏡11a、11b、11c及一隔膜12。透鏡11a、11b、11c及隔膜12會聚來自該物體(K)之光至該影像拍攝元件2的該影像拍攝表面上以拍攝該物體。驅動控制設備6例如能夠控制透鏡11a、11b、11c的位置或隔膜12的狹窄程度。同時，光學系統1的組態並不限於一特定組態。
該影像拍攝元件2將由該光學系統所會聚的來自該物體(K)之光轉換成電氣信號(類比信號)。影像拍攝元件2例如包括二維影像拍攝元件，諸如CCD/CMOS，及該二維影像拍攝元件將該物體的影像轉換成電氣信號(影像信號)，及將已轉換的影像輸出至AFE 3。
該AFE 3將所拍攝的影像之類比信號轉換成數位信號。該AFE 3例如包括一A/D(類比至數位)轉換器31及一定時產生器32。該定時產生器32產生一定時脈衝用以根據來自該控制設備7的控制信號而驅動該影像拍攝元件2，及輸出該定時脈衝至影像拍攝元件2及A/D轉換器31。
該影像處理單元4維持該數位信號之一影像以在該影像上執行一預定影像處理。影像處理單元4例如包括一RAW記憶體41，其中一影像(RAW影像)係藉A/D轉換器31而被轉換成數位信號。影像處理單元4可執行RAW影像的一預定處理。於其上執行預定處理的影像係記錄於影像記憶體8。
該後處理單元5於已進行預定處理的該影像上執行進一步 需要的處理以產生一顯示影像。後處理單元5例如從影像記憶體8讀取已進行預定處理的該影像以執行需要的處理，及產生一顯示影像以輸出該影像至顯示單元9。
影像記憶體8儲存在預定處理後的影像。顯示單元9例如包括其中記錄一影像的VRAM，及一顯示器，其輸出VRAM的影像。同時，影像拍攝設備並非必然包括顯示功能，而可設有記錄單元(例如VRAM)，其中記錄顯示的影像而非顯示單元9。
驅動控制設備6控制光學系統1。控制設備7控制AFE 3及後處理單元5。
係數分析單元10分析得自拍攝該圖表的該影像之各個影像位置之各個方向的解析度以決定用以改良解析度的各向異性之一合宜濾波資料。係數分析單元10之細節容後詳述。
例如類似解卷積核心，該濾波資料可形成有用於影像校正的濾波需要的一參數集合。更明確言之，該解卷積核心可使用一區表示，其中依據PSF的圓形或橢圓形個體影像分布於其中，及指示該區內各個像素之權值的資料(此等資料稱作為解卷積分布)。
(反濾波)
將描述於該實施例中利用的反濾波。後文中，改良解析度的各向異性之該反濾波之計算序列例如針對沿其解析度不良的方向執行調整。又，反濾波也簡稱為濾波。
如方程式(1)表示，考慮該原先影像「x」、一PSF「k」及模糊影像「y」。當獲得該原先影像「x」時，若如下方程式(9)於逆算問題變成最小值，則可獲得接近該原先影像的一影像。
通常，施加一型正則化項以解出該逆算問題。據此，該逆算問題係從如下方程式(10)解出，其中加上一正則化項。
於該相對應問題中需要指向性，及因此，加上如所表示的影像之橫向(水平方向)導數項及縱向(垂直方向)導數項作為如下方程式(11)中之一正則化項。
於該處ε表示一加權係數，及dm及dn表示於矩陣方向的微分濾波。此處dm為d m =[-1 1]及dn為。
需要以「x」零藉執行方程式(11)的偏微分獲得結果以使用前述方程式(11)變最小。又，當方程式(11)經傅立葉變換及針對X(ω)解出時，可得如下方程式(12)。
於該處X(ω)、Y(ω)、K(ω)、Dm(ω)、Dn(ω)分別係表示x、y、k、dm、dn。
於頻域的反濾波Kinv(ω)滿足如下方程式(13)。
X(ω)=K inv (ω)Y(ω)…(13)
據此，反濾波Kinv(ω)滿足如下方程式(14)。
當使用一共軛複數時，如上方程式(14)係表示為如下方程式(15)。
於該處係為一共軛複數。
實施例之一特徵在於誘導係數之一軸係使用一旋轉矩陣，於具有一角θ的一方向旋轉以調整於沿該方向的解析度為不佳的一方向之解析度，如於如下方程式(16)及(17)表示。
D X (ω,θ)=D m (ω)cos θ-D n (ω)sin θ…(16)
D Y (ω,θ)=D m (ω)sin θ+D n (ω)cos θ…(17)如前文描述，藉使用旋轉矩陣可使得反濾波變成具有指向性。
圖22為一視圖解釋旋轉。於圖22示例說明之實施例中，Dy方向係藉旋轉Dn方向達「θ」形成，及Dx方向係藉旋轉Dm方向達角θ形成。
橢圓形PSF於此處係定義為k(r,θ)，及已經傅立葉變換的橢圓形PSF係定義使得K(ω,θ)=fk(r,θ)。當依據一方向的權值γ係經設定，而方程式(16)、方程式(17)及K(ω,θ)代入方程式(15)時，具現如下方程式(18)。
於該處γ為依據反濾波方向之加權係數，及ε為加權係數。
運用方程式(18)，變成可能針對於各個實施例中利用的反濾波的指向性執行加權調整。舉例言之，係數分析單元10針對沿該方向的解析度為不佳的該方向(Dy方向)調整權值γ。加權係數γ係調整為變小，及因而可改良於沿該方向的解析度為不佳的該方向之解 析度。
圖23為一視圖示例說明一反濾波Kinv的二維空間頻率分布之一實施例。圖23示例說明之一實施例示例說明於γ=1/300之情況下的二維分布實施例。加權係數γ、ε(尤其γ)係決定為使得於Dy方向的解析度比於Dx方向的解析度更為改良。
圖24為一視圖示例說明沿該反濾波Kinv的空間頻率方向之分布之一實施例。於圖24中，Dy方向之加權係數係調整為更小使得可強調於Dy方向的解析度改良。又復，圖24中示例說明的Dy’表示針對γ=1的分布。因此，依據該實施例，該反濾波的濾波參數相乘的該加權係數可許可具有各向異性。
(係數分析單元)
隨後，將描述係數分析單元10。係數分析單元10決定用以改良解析度的各向異性之一空間濾波。
圖25為一方塊圖示例說明係數分析單元10之一函數實施例。圖25示例說明之係數分析單元10包括一解析度分析單元101及一決定單元102。該係數分析單元10於首先拍照一圖表影像之一影像上執行係數分析。於後文描述之一實施例中，例如係於首先拍照一圖表影像之位在左上的一楔形影像上執行係數分析。
解析度分析單元101分析影像解析度的降級，其中於至少兩個方向拍攝具有放射狀的物體。該分析方法例如係使用圖4及圖5描述的方法。當每個像素的線對係於橫軸界定及幅值強度係於縱軸界定時，該解析度分析單元101可分析調制傳遞函數(MTF)。每個像素的線對可使用在該物體的一個位置之每個單位距離之線對。使用具有楔形及放射狀的一圖表，及因而如於該實施例中，如圖5之示例 說明，可分析根據一方向的MTF。
圖26為一視圖解釋點擴展函數(PSF)之計算順序。於圖26示例說明之實施例中，決定單元102根據影像中之位置計算角度及橢圓度。當於針對各個預定角計算的MTF中作圖常數臨界值(約為最大幅值之半)的輪廓線時，該決定單元102可獲得一橢圓。
決定單元102可利用所得一長軸及一短軸計算橢圓度。該決定單元102可根據於該影像內的位置而於地理上計算角θ1。又復，該決定單元102可利用該解析度之橢圓的長軸及短軸計算角θ1。使用長軸及短軸計算角θ1可按照實際模糊狀態計算角。此處，當從光軸的一中心作圖之一同心圓時，徑向的模糊較大，如圖3之示例說明。
決定單元102只需計算例如縱向與徑向間之夾角。同時，一光軸的中心基本上為一影像中心，但光軸的中心可能因透鏡的偏移而不對齊。決定單元102使用計算得的橢圓度及角度決定PSF。所決定的PSF之橢圓從得自MTF之輪廓線的一橢圓旋轉90度。
回頭參考圖25，決定單元102基於校正後影像的解析度分析結果，根據影像的模糊函數(PSF)，相對於藉濾波(例如前述反濾波)校正的影像，決定具有反濾波的各向異性之濾波資料。
又，決定單元102改變與決定相對於影像之導數方向的加權係數(例如γ)。舉例言之，Dx方向之加權係數係設定為1(壹)，及Dy方向之加權係數係設定為加權係數γ以改變γ。因此，可改良解析度的各向異性。
又，決定單元102相對於導數方向旋轉(影像)(例如θ)以決定加權係數。據此，可檢測沿該方向的解析度為不佳的一方向及如此，可做出一影像的濾波。
更明確言之，決定單元102調整例如加權係數ε及γ以決定一適當加權係數ε及γ。該加權係數γ表示沿該方向的解析度為不佳的該方向之濾波參數的加權係數。沿該方向的解析度為不佳的該方向之濾波參數例如為相對於該方程式(18)之加權係數γ的Dy(ω,θ)及該Dy(ω,θ)的一共軛複數。
該決定單元102包括一調整單元121、一影像校正單元122、一係數決定單元123及一濾波決定單元124以調整及決定加權係數。
該調整單元121例如調整不取決於方向的加權係數ε及取決於方向的加權係數γ。調整單元121設定加權係數ε、γ的初值，及遞交該等初值給影像校正單元122。
該影像校正單元122運用得自該調整單元121的加權係數而執行一影像校正。影像校正單元122利用於方程式(18)中指示的反濾波而濾波與校正該影像。影像校正單元122遞交該校正後的影像給解析度分析單元101以再度分析解析度的降級。
該係數決定單元123根據該校正後的影像之解析度分析結果，決定該加權係數使得二方向間之解析度降級差異變小。係數決定單元123維持藉各個加權係數所校正的影像之分析結果，及決定加權係數ε及γ，使得例如於預定幅值強度的空間頻率之值間之差變最小(決定處理1)。
又，係數決定單元123可決定加權係數ε及γ，使得例如於預定幅值強度的空間頻率之值間之差變最小(決定處理2)。
可設定多個臨界值1及臨界值2，係數決定單元123可決定加權係數ε及γ，使得該等差值的平方和變最小。同時，係數決定單 元123可決定加權係數使得一預定差值變成一預設臨界值或較少。臨界值例如可由初步實驗設定。
該係數決定單元123可決定加權係數使得在影像之一中部於二方向的解析度之該等差值的平方和與在影像之該中部以外的周邊部於二方向的解析度之該等差值的平方和間之差值變成一臨界值或較少。又，該係數決定單元123可決定該等加權係數，使得在影像之該中部與影像周邊部間的解析度之該等差值的平方和變最小。
此點之原因在於當減低解析度的各向異性時，在影像之該中部的解析度與在影像之周邊部的解析度變相等，使得於該等方向的整個影像解析度變相等，及結果，可改良影像品質。
藉係數決定單元123的最小化之決定可藉使用最小化函式計算或人工計算。該最小化函式例如包括單工搜尋法、最陡峭遞減法、或共軛梯度法。
決定單元102改變與調整該加權係數，使用調整後的加權係數獲得反濾波，使用所得反濾波校正該影像，及根據校正後影像的解析度分析結果而決定該最佳加權係數。該加權係數之調整、該反濾波之計算、使用濾波之校正、及該解析度分析處理係重複直至決定該最佳加權係數。
如同於如下方程式(19)，濾波決定單元124運用由該係數決定單元123所決定的該最佳加權係數，計算反濾波Kinv，及如同於如下方程式(20)，從於頻域的該反濾波Kinv獲得於空間域的該反濾波kinv。後文中，於空間域的該反濾波係稱作為空間濾波。
欲處理的若干分接頭(元件)係摘取自欲有限化的該反濾波kinv。
係數分析單元10在該圖表存在於該影像的各個位置執行如前述處理。該係數分析單元10分析於該影像的各個位置之解析度的各向異性，及決定欲改良其各向異性的該空間濾波。
執行如前述處理，及如此，可決定欲改良其各向異性的該空間濾波，同時就影像之一預定位置校正該模糊。舉例言之，可檢測沿該方向的解析度為比其它方向更差的一方向，以決定該加權係數，藉此加權係數更進一步改良於該具有較差解析度之該方向的解析度。
係數分析單元10從事在於該影像中各個位置的空間濾波之計算。圖27為一視圖示例說明其中拍照12個圖表的一影像實施例。圖27示例說明之實施例僅為一範例，及即便圖表數目係非為12個圖表，但藉劃分該影像各個圖表可存在於多區。
係數分析單元10決定在其中存在各個圖表的各區的濾波資料以計算該空間濾波。係數分析單元10準備一表格，其中對映該影像中的一位置與空間濾波。又復，係數分析單元10可聯結該求出的橢圓大小與該表格。
圖28為一視圖示例說明一空間濾波表格之實施例。於圖28示例說明的該空間濾波表格中，對映各區左上部的像素座標與藉該區的圖表求出的空間濾波。例如，空間濾波(FIL1)係對映至位置(x1,y1)。
據此，包括該係數分析單元10的該影像處理設備可決定針 對其欲改良解析度的各向異性的該空間濾波。針對其欲改良解析度的各向異性的該空間濾波並不限於前述實施例，可包括藉例如日本公開專利案第2012-23498號描述的技術獲得之該空間濾波。於此種情況下，係使得該空間濾波具有解析度的各向異性。
該影像處理單元4例如可藉數位信號處理器(DSP)組配。於此種情況下，RAW記憶體41可為內建於該DSP的一記憶體或一外部記憶體。又復，後處理單元5、影像記憶體8、係數分析單元10、顯示用之VRAM可連同一影像處理單元4而與一整合式DSP整合一體。又，該係數分析單元10可與一影像處理設備形成為一單一單元，或含其它處理單元。
另外，不藉針對特定處理的專用處理器諸如DSP，反而藉通用處理器諸如CPU執行一預定程式以具現該影像處理單元4或該係數分析單元10之功能。該驅動控制設備6、控制設備7及後處理單元5也可藉針對特定處理的專用處理器或藉通用處理器組配。
造成該處理器係用作為影像處理單元4或係數分析單元10的該程式及其中記錄該程式的一記錄媒體也係含括於本文揭示之實施例。該記錄媒體係為一非過渡媒體，而過渡媒體諸如信號本身並不含括作為本文揭示之實施例中的該記錄媒體。
<因空間濾波有限化所致之問題>
空間濾波有限化之後的問題容後詳述。當具有各向異性的該空間濾波經有限化時，針對於該處該空間濾波的被摘取分接頭(元件)之一部分以外的一部分之資訊遺漏。該空間濾波具有各向異性，及因而變遺漏的資訊係取決於方向而異。又，加總該等元件的和並不相等。
高頻資訊係含括於該被遺漏的資訊中，及因此，當該影像係藉該有限空間濾波校正時，取決於校正方向，校正程度變不同。
圖29為一視圖示例說明一空間濾波實施例。圖29示例說明之空間濾波具有根據如前述方程式(20)的各向異性。空間濾波的元件數值係以彩色表示於圖29。
圖30為一視圖示例說明一有限空間濾波的強度。當例如分接頭數目為9(九)個時，從圖30示例說明之一實施例中摘取九個元體乘九個元體(9x9)。有限空間濾波的強度係表示於圖30示例說明之一實施例的縱軸。當有限數目的元件係摘取自該有限空間濾波時，於a101部分的資訊遺漏。又復，該空間濾波具有各向異性，及因而變成遺漏的該高頻資訊係取決於方向而異。
因此，當運用該有限空間濾波時，校正程度係取決於方向而異。當該圖表係使用如圖31示例說明的該9-分接頭空間濾波校正時產生摩爾紋波。圖31為一視圖示例說明於一經校正影像中產生的一摩爾紋波實施例。產生由如圖31示例說明之該空間濾波有限化所造成的摩爾紋波。
圖32為一視圖示例說明針對使用該有限空間濾波校正之一影像的解析度分析結果。針對頻率降級的校正程度變成取決於如圖32示例說明之方向而異。
圖33為一視圖示例說明藉遏止摩爾紋波的生成而針對一校正影像的解析度分析結果。於圖32示例說明之實施例中，高頻的改良經遏止以防止摩爾紋波的生成，因而維持解析度的各向異性。
又當安裝空間濾波時，從運算量及記憶體觀點，需要限制空間濾波的大小至預定濾波元件數目或較少。目前，可使用具有例 如5x5元件或較少的空間濾波。
但當空間濾波的元件數目調整為小時，指示模糊的PSF大小變成大於該元件數目，及因而遺漏資訊量。因此，可降級影像品質。
圖34為一視圖示例說明表示一影像模糊的一PSF實施例。像素的亮度指示於圖34示例說明之實施例中PSF的照度。
圖35為一視圖示例說明該PSF之一大小實施例。如圖5示例說明，假設PSF係大於5x5像素大小。同時，一個濾波元件係相對應於影像的一個像素。
於圖35示例說明之實施例中，空間濾波的元件數目係小於模糊尺寸，及因而當校正影像時，遺漏模糊資訊。
圖36為一視圖示例說明基於假設PSF大小係小於元件數目，產生的一經校正影像之組態實施例。圖36A示例說明組態1之一實施例。於圖36A之組態中，藉以原先影像「y」卷積經計算的空間濾波F，及從如下方程式(21)表示的該原先影像中扣除該結果，產生一經校正的影像「x」。
圖36B示例說明組態2之一實施例。於圖36B之組態中，藉以原先影像「y」卷積經計算的空間濾波F’，產生一經校正的影像「x」，如下方程式(22)、(23)、(24)及(25)表示。
F'=I0-F…(24)
圖37為一視圖示例說明當該空間濾波的元件數目係小於PSF大小時的一解析度分析結果實施例。於圖37示例說明之實施例中，元件數目係設定為5x5個元件，該空間濾波的元件數目係小於PSF大小，各向異性校正特性降級。
因此，於容後詳述之該實施例中，當具有解析度的各向異性的該空間濾波係經有限化至預定元件數目或較少時，達成安裝上欲解決的目的以防止影像品質的降級。
[實施例1]
首先將描述防止摩爾紋波之生成的大綱。容後詳述，具有解析度的各向異性的該空間濾波係經有限化，及因而高頻資訊之遺漏位準係取決於方向而異。因此生成摩爾紋波。換言之，頻率降級的校正程度係取決於方向而異，及因此生成摩爾紋波。
因此，一影像信號係使其通過一有限高通濾波以減少亮度驟然變化的一部分，及因而減少取決於方向而不同的高頻資訊之校正程度差異。據此，可防止取決於方向而頻率資訊降級所造成的摩爾紋波生成。
有限高通濾波可為有限濾波，其中元件值之總和為0(零)，及至少兩個元件具有非零值。後文中，將使用有限高通濾波作為有限濾波做描述。
又，安裝上欲解決之一目的可藉在多個階段劃分計算得的空間濾波以產生空間濾波，及各個空間濾波具有預定元件數目或較少。
圖38為一視圖示例說明在實施例1中具有多個階段之一濾波實施例。於圖38A示例說明之實施例中，圖36A中示例說明的該空間濾波F係在多個階段劃分成空間濾波(5x5)。於圖38B示例說明之實施例中，圖36B中示例說明的該空間濾波F’係在多個階段劃分成空間濾波(5x5)。
於容後詳述之該實施例中，至於其大小係大於該空間濾波的元件數目之具有各向異性的該模糊，形成具有各向異性的多個反濾波，及組合多個空間濾波以改良各向異性。
其次將描述於實施例1中含影像處理設備之該影像拍攝設備。於該實施例1中，當具有解析度的各向異性的該空間濾波之大小係有限化至預定元件數目時，可防止影像品質的降級。
<組態>
圖39為一方塊圖示例說明於實施例1中含影像處理設備之該影像拍攝設備之示意組態實施例。於圖39示例說明之組態中將對與圖21相同組態給予相同的元件符號。後文中，主要將描述於實施例1中之影像處理單元15。
影像處理單元15包括一RAW記憶體41、一濾波控制單元151及一濾波處理單元152。濾波控制單元151維持圖28示例說明的空間濾波表。該濾波控制單元151相對於在該空間濾波表中的各個空間濾波，具有元件數目大於該模糊尺寸的空間濾波。
然後該濾波控制單元151將該求出的空間濾波劃分成於多個階段的該等空間濾波以具有預定元件數目或較少。該濾波控制單元151輸出於多個階段的該等空間濾波給濾波處理單元152。換言之，該濾波控制單元151輸出相對應於該影像中欲被處理的各個位置 之於多個階段的該等空間濾波給濾波處理單元152。
該濾波處理單元152運用得自濾波控制單元151的於多個階段的該等空間濾波執行在該影像之相對應位置的濾波。據此，於該影像的各個位置為不同的解析度的各向異性可經改良，以防止摩爾紋波的生成及增進影像品質。
(濾波控制單元及濾波處理單元)
其次將描述於實施例1中之濾波控制單元151及濾波處理單元152。圖40為一方塊圖示例說明於實施例1中，濾波控制單元及濾波處理單元之(第一)示意組態之實施例。首先將描述濾波控制單元151。濾波控制單元151包括一濾波儲存單元201、一濾波獲得單元202、一濾波計算單元203、及一濾波產生單元204。
該濾波儲存單元201儲存至少一個第一空間濾波211、一第二空間濾波212及於多個階段的空間濾波213。各個濾波可分別地儲存在不同的儲存區。
該第一空間濾波211乃具有解析度的各向異性之一空間濾波。第一空間濾波211係相對應於例如於圖28示例說明的空間濾波表中的各個濾波。第二空間濾波212乃藉濾波計算單元203求出的一濾波。該第二空間濾波例如係藉以第一空間濾波211卷積該高通濾波所得的濾波。於多個階段的空間濾波213乃由濾波產生單元204所產生的一組空間濾波。
濾波獲得單元202獲得具有該影像的解析度的各向異性之一有限空間濾波。濾波獲得單元202從例如濾波儲存單元201獲得第一空間濾波211。濾波獲得單元202將所得第一空間濾波211輸出至濾波計算單元203。
濾波計算單元203使用從濾波獲得單元202獲得的該第一空間濾波211，藉卷積一有限濾波，其中元件值之總和為0(零)及至少兩個元件具有非零值，而計算一第二空間濾波。
於此種情況下，濾波計算單元203計算具有元件數目大於模糊尺寸(例如PSF之橢圓大小)的該第二空間濾波。濾波計算單元203包括一決定單元231，及決定單元231從例如儲存於濾波儲存單元201的該PSF大小決定模糊尺寸。又復，以PSF可藉模擬而從透鏡設計值獲得PSF為例，決定單元231可決定得自所得PSF的該模糊尺寸，例如述於日本公開專利案第2012-23498號。
濾波計算單元203藉使用該有限空間濾波，卷積具有元件數目大於該影像的模糊尺寸之該第一空間濾波而算出第二空間濾波。
濾波計算單元203預先維持有限高通濾波。當該有限高通濾波係意圖界定為例如具有3x3元件的濾波時，該有限高通濾波可使用如下方程式(26)及(27)獲得。
實施例中描述的各向異性係取決於任何方向夾角的一濾波，及如此，可使用方程式(27)表示的具有非零係數的全部元件。
當該有限高通濾波係界定為3x3元件的濾波時濾波計算單 元203界定空間濾波Kinv為7x7元件的濾波，及卷積兩個濾波以計算9x9元件的濾波。如前文描述，濾波計算單元203以空間濾波卷積該高通濾波，以計算具有期望分接頭數目的濾波。
此處，當7x7元件的濾波係標示為F7，及高通濾波係標示為「Lap」時，於濾波計算單元203計算的9x9元件的濾波係以如下方程式(28)表示。
濾波計算單元203儲存藉前述方程式(28)算出的第二空間濾波F9於濾波儲存單元201。
濾波計算單元203可安裝於分開設備，及濾波控制單元151可儲存得自該分開設備的第二空間濾波212。
濾波產生單元204從濾波儲存單元201獲得第二空間濾波212，及從該第二空間濾波212生成具有預定元件數目或較少的於多個階段的空間濾波。有關於多個階段的空間濾波之生成的描述將容後詳述。濾波產生單元204儲存該於多個階段的空間濾波213於濾波儲存單元201。
其次將描述濾波處理單元152。濾波處理單元152包括一卷積操作單元301及一減法單元302。卷積操作單元301從RAW記憶體41獲得影像，及卷積於多個階段的空間濾波213的該影像以執行濾波。
卷積操作單元301可對該影像執行濾波，該濾波方式使得於多個階段的空間濾波213造成單一卷積電路執行卷積多次，及準備與造成多個卷積電路執行卷積。卷積操作單元301輸出濾波後的影像給減法單元302。
減法單元302從得自RAW記憶體41的該影像扣除濾波後 的該影像以產生一經校正的影像。經校正的影像係輸出給後處理單元5或影像記憶體8。
該濾波處理單元152可於該影像各區的各個像素上，藉由使用相鄰空間濾波而非使用單一空間濾波執行線性內插而於此處獲得一目標像素的一像素值。
圖41為一視圖解釋一目標像素的線性內插。如圖41示例說明，該濾波處理單元152可使用於四個相鄰空間濾波算出的各區之一中心像素，根據各個像素之距離，執行線性內插以獲得該目標像素的該像素值。於圖41示例說明之實施例中，濾波處理單元152在得自FIL1、FIL2、FIL5及FIL6的各區之像素值上執行線性內插，以計算該目標像素的該像素值。
又，該濾波處理單元152可在使用線性內插獲得空間濾波器元件數目的空間濾波本身之後計算像素值。又，於前述實施例中，空間濾波的數目係設定為四個相鄰空間濾波，但非限制性，及可使用不同的多數空間濾波。此外，執行使用距離的線性內插，但也可使用其它內插方案。又復，針對從一區的細分所得的各個小區可執行內插或對各個像素執行內插。
其次將說明濾波控制單元151及濾波處理單元152的其它實施例。圖42為一方塊圖示例說明該實施例1中濾波控制單元151及濾波處理單元152的(第二)示意組態實施例。濾波控制單元151容後詳述。濾波控制單元151包括一濾波儲存單元401、一濾波獲得單元202、一濾波計算單元402、及一濾波產生單元403。
於圖42示例說明的濾波控制單元151之組態中，將對圖40的相同組態給定相同的元件符號。
濾波儲存單元401儲存由濾波計算單元402算出的一第三空間濾波411及由濾波產生單元403算出的於多個階段的該等空間濾波412。
濾波計算單元402計算一第三空間濾波411，其無需前述影像間的減法處理。藉使用方程式(22)、(23)、(24)及(25)進行方程式的變形，濾波計算單元402可做出無需減法處理。於本實施例中，假設9x9元件的第三空間濾波F9’。
據此，可獲得前文描述的相同結果，及因而可生成影像間無需減法處理的有限空間濾波F9’。
濾波計算單元402儲存該求出的空間濾波F9’於濾波儲存單元401。該空間濾波F9’乃該第三空間濾波411。
濾波產生單元403從濾波儲存單元401獲得第三空間濾波411，及從該第三空間濾波411生成具有預定元件數目或較少的於多個階段的該等空間濾波。於多個階段的該等空間濾波之生成將容後詳述。該濾波產生單元403將所生成的於多個階段的該等空間濾波412儲存於該濾波儲存單元401。
該濾波處理單元152包括一卷積操作單元501。該卷積操作單元501對於多個階段的該等空間濾波412執行卷積及產生一經校正的影像「x」。
(空間濾波之實施例)
圖43為一視圖示例說明於一空間濾波F9’的各個像素之(第一)強度。於圖43示例說明之實施例中，於各個像素的強度係以色彩表示。
圖44為一視圖示例說明於該空間濾波F9’的各個像素之 (第二)強度。空間濾波F9’之於二方向(例如Dx為橫向及Dy為縱向)之強度變化係於圖44示例說明之實施例中表示。於此種情況下，空間濾波F9的元件總和變成1(壹)。
圖45為一視圖示例說明於一空間濾波F9的各個像素之強度。空間濾波F9之於二方向(例如Dx為橫向及Dy為縱向)之強度變化係於圖45示例說明之實施例中表示。於此種情況下，空間濾波F9的元件總和變成0(零)。
<於多個階段的空間濾波之生成>
其次將描述於多個階段的空間濾波之生成。後文中，將描述其中圖42示例說明之濾波產生單元403生成於多個階段的空間濾波之一實施例，但圖40示例說明的濾波產生單元204也以相同方式生成於多個階段的空間濾波。
首先，當具有元件數目大於模糊尺寸的該空間濾波劃分成具有預定元件數目的一組濾波時，濾波產生單元403假設一個濾波作為劃分基礎，及根據所假設的濾波獲得其它最佳化濾波。
舉例言之，可假設第三空間濾波F9’係劃分成5x5元件的兩個空間濾波(各自定義為F5A’及F5B’)。於此種情況下，濾波產生單元403可定義如下方程式(29)。
於該處「e」為差值之一誤差。後文中，將描述由發明人執行的劃分成於多個階段的空間濾波之一方法。
(劃分方法1)
於該劃分方法1中，空間濾波F5A’係定義為藉摘取空間濾波F9’的5x5元件之一中心部分所形成的濾波。
圖46為一視圖解釋根據劃分方法1，獲得於多個階段的空間濾波之一方法。於圖46示例說明之實施例中，濾波產生單元403可決定空間濾波F5A’以最小化由如下方程式(30)表示的估計函式以獲得空間濾波F5B’。
所得空間濾波F5B’係示例說明於圖46。
圖47為一視圖解釋針對劃分方法1之分析。如圖47A之示例說明，於劃分方法1中藉從空間濾波F9’摘取5x5元件恰形成空間濾波F5A’。於此種情況下，如圖47B之示例說明，原先高通資訊遺漏。換言之，變成無法滿足元件總和的條件。
圖48為一視圖示例說明根據劃分方法1校正的結果。圖48A示例說明根據劃分方法1之已校正影像。如圖中48A之示例說明，高通資訊遺漏及校正效果依方向而異，如此生成摩爾紋波。圖48B示例說明根據劃分方法1之校正後MTF的結果。從圖48B示例說明之結果也可知生成摩爾紋波。
(劃分方法2)
於該劃分方法2中，於第一階段的空間濾波F5A’係定義為具有各向異性之一濾波。舉例言之，空間濾波F5A’係只以各向異性PSF的一倒數形成。
圖49為一視圖解釋劃分方法2。圖49A為一濾波示例說明空間濾波F5A’之一實施例。圖49B為藉最小化估計函式獲得的一空間濾波F5B’。
圖49C示例說明根據劃分方法2之校正後MTF的結果。從圖49C示例說明之結果，於各個方向的解析度不同，及因而生成摩爾 紋波。
(劃分方法3)
於該劃分方法3中，於第一階段的空間濾波F5A’係定義為具有各向異性之一濾波。舉例言之，空間濾波F5A’係只以各向異性PSF的一倒數形成。
圖50為一視圖解釋劃分方法3。圖50A為一濾波示例說明空間濾波F5A’之一實施例。圖50B為藉最小化估計函式獲得的一空間濾波F5B’。
圖50C示例說明根據劃分方法3之校正後MTF的結果。圖50C示例說明之結果係不足以產生摩爾紋波，但高頻的改良不足。
(劃分方法4)
於該劃分方法4中，於第一階段的空間濾波F5A’係定義為具有各向異性之一濾波且係藉以高通濾波卷積PSF的一倒數形成。
圖51為一視圖解釋劃分方法4。圖51A為一濾波示例說明空間濾波F5A’之一實施例。圖51B為藉最小化估計函式獲得的一空間濾波F5B’。
圖51C示例說明根據劃分方法4之校正後MTF的結果。於圖51C示例說明之結果中的各向異性之改良變不足。此點的原因在於該高通濾波係在第一階段於該濾波卷積以便不會生成摩爾紋波，但該濾波為各向同性及因而在第二階段的該濾波各向異性不會被改良。
又，在第一階段的該空間濾波為各向同性，各向異性之資訊變成單一濾波，及因而元件數目變短。
有一種情況於該處於前述劃分方法中可能無法獲得期望 的校正結果。因此，將描述一種更妥善地將具有各向異性及大量元件的一濾波劃分成多個階段之方法。
(劃分方法5)
圖52為一視圖解釋劃分方法5之大綱。於圖52示例說明之實施例中，該濾波產生單元403藉以高通濾波F3卷積具有各向異性的空間濾波F3A(例如第四空間濾波)，及從150扣除該結果而計算於第一階段的空間濾波F5A’(例如第五空間濾波)。濾波產生單元403藉最小化該估計函式而計算於第二階段的空間濾波F5B’(例如第六空間濾波)。
據此，該高通濾波係於第一階段形成以防止摩爾紋波的生成，及進一步，形成用以改良各向異性之組態使得一濾波劃分成於多個階段的濾波。因此可能因應具有大小大於該等元件數目的該模糊之改良。
圖53為一視圖解釋依據劃分方法5於多個階段的濾波的計算。於圖53示例說明之實施例中，濾波產生單元403從第一空間濾波211摘取3x3元件的一濾波，及藉使用3x3元件的該高通濾波(例如方程式(26)或方程式(27))卷積所摘取的濾波而計算5x5元件的空間濾波F5A。該濾波產生單元403藉從I0中扣除空間濾波F5A而計算空間濾波F5A’。
濾波產生單元403藉使用第三空間濾波F9’及空間濾波F5A’而最小化估計函式，可計算於多個階段的空間濾波F5B’。
圖54為一視圖示例說明於空間濾波F5的各個像素之強度。圖54示例說明之實施例中表示空間濾波F5之於二方向(例如Dx為橫向及Dy為縱向)之強度變化。於此種情況下，空間濾波F5的元件 之數值總和變成0(零)。
圖55為一視圖示例說明於空間濾波F5’的各個像素之強度。圖55示例說明之實施例中表示空間濾波F5’之於二方向(例如Dx為橫向及Dy為縱向)之強度變化。於此種情況下，空間濾波F5’的元件之數值總和變成1(壹)。
圖56為一視圖解說於實施例1中一經校正的影像的生成。於圖56A示例說明之實施例中，濾波處理單元152使用如下方程式(31)及(32)而產生一經校正的影像「x」。
於圖56B示例說明之實施例中，濾波處理單元152使用如下方程式(33)、(34)、(35)及(36)而產生一經校正的影像「x」。
F5A=I0-F5A'…(34)
F5B=I0-F5B'…(36)
空間濾波F5A’係乃具有各向異性的空間濾波與高通濾波的組合，及空間濾波F5B’係負責補充具有各向異性的空間濾波之遺漏。又，可逆轉卷積順序。
圖57為一視圖示例說明根據劃分方法5針對一校正後影像的解析度分析結果。如圖57示例說明，依據劃分方法5，當於解析度的各向異性之空間濾波被有限化至一預定元件數目時，可防止影像品質的降級。換言之，該空間濾波可劃分成於多個階段的空間濾波，及因此可防止摩爾紋波的生成，同時改良劃分方法5的各向異性。
(階段數目)
濾波產生單元204、403決定當將空間濾波劃分成於多個階段的空間濾波時，根據一第一空間濾波的大小及預定元件數目欲劃分的空間濾波之數目。
圖58為一視圖示例說明一預定元件數目與一模糊尺寸間之(第一)關係。於圖58示例說明之實施例中，假設該預定元件數目為5x5元件，及模糊尺寸係小於9x9元件。於此種情況下，濾波計算單元203、濾波計算單元402計算9x9元件的一第一空間濾波。濾波產生單元204、403根據9x9元件的該第一空間濾波而產生5x5元件的二階段空間濾波。
圖59為一視圖示例說明該預定元件數目與該模糊尺寸間之(第二)關係。於圖59示例說明之實施例中，假設該預定元件數目為5x5元件，及模糊尺寸係小於13x13元件。於此種情況下，濾波計算單元203、濾波計算單元402計算13x13元件的一第一空間濾波。濾波產生單元204、403根據13x13元件的該第一空間濾波而產生5x5元件的三階段空間濾波。
濾波產生單元204、403首先將13x13元件的一第二空間濾波或13x13元件的一第三空間濾波劃分成9x9元件的一空間濾波及5x5元件的該空間濾波。隨後，以相同方式，濾波產生單元204、403將9x9元件的該空間濾波劃分成產生5x5元件的二階段空間濾波。
當預定元件數目為3x3元件時，濾波產生單元204、403須將該空間濾波劃分成更多個階段。又復，當由濾波計算單元203產生的第一空間濾波之元件數目為7x7元件時，濾波產生單元204、403將該空間濾波劃分成產生5x5元件及3x3元件的二階段空間濾波。如此 欲劃分的濾波大小可彼此相異。
但當於多個階段的空間濾波之元件數目為相等時，濾波處理單元152使用一個卷積電路以重複地執行相同處理至少兩次。因此，具有等數元件及具有較大空間濾波大小的於多個階段的空間濾波較為有效。據此，當濾波計算單元203設定大於模糊的第一空間濾波的大小為9x9元件時，濾波產生單元204、403可產生具有等數元件(例如5x5元件)的二階段空間濾波。
<增益倍增>
此處，差值的誤差「e」就如下方程式(30)表示的估計函式不會變零。據此，設定增益及乘以藉最小化估計函式所得的於多個階段的空間濾波以改良準確度。
圖60為一視圖示例說明當倍增增益時一經校正影像的生成。於圖60A中，濾波處理單元152將一經使用各個空間濾波處理值乘以一預定增益。換言之，濾波處理單元152使用如下方程式(37)及(38)產生一經校正影像「x」。
於方程式(37)及(38)中，Gain1及Gain2係藉例如使用圖4示例說明之圖表最小化估計函式獲得。增益之估計函式例如為表示於二方向的MTF距離之一函式，及獲得最小化估計函式的Gain1及Gain2。又復，增益之估計函式例如可為表示於二方向中央的MTF距離之一函式。增益計算可藉後處理單元5進行。
圖60B示例說明一實施例其中濾波處理單元152將各個空間濾波乘以增益而產生一新空間濾波。於圖60B示例說明之實施例 中，濾波處理單元152使用如下方程式(39)及(40)產生一經校正影像「x」。
圖61為一方塊圖示例說明於實施例1中該濾波處理單元之示意組態的另一實施例。圖61示例說明的濾波處理單元152包括該卷積操作單元301、一增益乘法單元303及該減法單元302。於圖61示例說明之一組態中，對如圖40示例說明的相同組態給定相同元件符號。
增益乘法單元303將於多個階段劃分的各個空間濾波處理後之一值乘以一預定增益。該增益乘法單元303在增益之乘法執行之前及之後分析解析度以獲得增益，以該增益作為一預定增益從該後處理單元5可最佳地改良各向異性。
圖61示例說明的組態係根據圖60A的組態，但增益乘法單元303可含括於卷積操作單元301內(例如參考圖60B)。
<操作>
其次將描述實施例1中影像處理單元15之操作。圖62為流程圖示例說明於實施例1中一濾波產生程序之實施例。圖62示例說明之處理程序表示藉劃分方法5之濾波產生程序。
於步驟S101，濾波獲得單元202從濾波儲存單元201獲得第一空間濾波。
於步驟S102，決定單元231決定PSF的模糊尺寸。決定單元231根據以解析度的分析所得的長軸及短軸而決定例如PSF的模糊尺寸。又，如日本公開專利案第2012-23498號所述，決定單元231可獲得PSF，該PSF乃藉模擬而得自一透鏡設計值的結果。
於步驟S103，濾波計算單元402從第一空間濾波摘取具有元件數目大於模糊尺寸的該空間濾波，及卷積該有限高通濾波以計算第二空間濾波(例如F9)。
又復，濾波計算單元402從一濾波摘取該第二空間濾波，其中中心元件之一值為1(壹)及該中心元件以外的元件之值為0(零)以計算第二空間濾波(例如F9’)。
於步驟S104，濾波產生單元403將該第三空間濾波劃分成多個空間濾波。舉例言之，濾波產生單元403從第一空間濾波摘取第四空間濾波(例如F3)。
又，濾波產生單元403藉使用第四空間濾波卷積一有限濾波，其中元件值之總和為0(零)及至少兩個元件為非零而獲得一濾波(例如F5A)。濾波產生單元403從一濾波其中該中心元件值為1(壹)及該中心元件以外的元件值為0(零)以計算第五空間濾波(例如F5A’)。
又，濾波產生單元403使用第三空間濾波及第五空間濾波最小化估計函式而計算第六空間濾波(例如F5B’)。
於步驟S105，濾波產生單元403決定第五空間濾波及第六空間濾波是否為具有預定元件數目或較少的濾波。當決定所產生的空間濾波各自具有預定元件數目或較少(於步驟S105為「是」)時，該第五空間濾波及第六空間濾波係定義為於多個階段的空間濾波。又復，當所產生的空間濾波中之至少一者具有元件數目大於預定元件數目時，處理返回步驟S104。前述產生多個空間濾波的處理係重複直到所產生的空間濾波各自具有預定元件數目或較少。
其次將敘述決定增益之處理程序。圖63為流程圖示例說明於實施例1中一增益決定處理程序之實施例。於圖63示例說明之步驟 S201，影像拍攝設備拍攝一圖表影像。
於步驟S202，後處理單元5分析於校正前的解析度。於步驟S203，後處理單元5設定增益之初值。
於步驟S204，影像處理單元15將前述多個空間濾波乘以所設定的增益以校正該影像。
於步驟S205，後處理單元5分析於校正後的解析度。於步驟S206，後處理單元5決定增益估計函式是否為最小。當決定增益估計函式為最小時(於步驟S205「是」)，處理前進至步驟S207。當增益估計函式非為最小時(於步驟S205「否」)，處理退回步驟S203及改變增益。
於步驟S207，後處理單元5決定藉此增益估計函式為最小的增益，及於增益乘法單元303設定該決定的增益。
如前文描述，依據實施例1，當該具有解析度之各向異性的空間濾波係調整為有限化以具有預定元件數目時，可防止影像的降級。
[實施例2]
其次將描述於實施例2中，包括一影像處理設備之一影像拍攝設備。於實施例2中，藉執行針對改良解析度所強調的雜訊減少。
平坦部及雜訊成分係含括於該所拍攝的影像。因此，即使平坦部造成一影像含括一微小幅值變異。
此處，如實施例1之示例說明，當針對影像作校正以改良解析度時，出現幅值放大效應，但含括該微小幅值變異的雜訊成分造成該幅值被放大。因此在平坦部的雜訊被強調。
圖64為一視圖示例說明在該解析度校正之前及之後一雜 訊之實施例。圖64A示例說明在該所拍攝的影像之平坦部的一雜訊實施例。圖64B示例說明在該解析度校正後之一雜訊實施例。因圖64B示例說明的實施例中解析度的校正導致雜訊被強調。
低通濾波係用以減低雜訊。但低通濾波濾波整個影像，及如此當欲減少平坦部的雜訊時，原先意圖校正的邊緣變成平緩形狀。
因此，要緊地須針對平坦部及緣部非線性地減低雜訊。有一種取芯(coring)處理作為已知之非線性雜訊處理。參考例如日本公開專利案第2008-199448號。
於該取芯處理中，當一輸入值為一臨界值或較少時，一輸出調整為0以防雜訊被強調。又，於該取芯處理中，當一輸入值係大於一臨界值時，一輸出的幅值係減至為小幅值因而避免非連續。
如下欲解決的目的係出現在一種情況，於該處取芯處理係恰在實施例1的各個空間濾波之該濾波之後施用。
圖65為一視圖示例說明亮度減低。如圖65示例說明，於取芯處理中亮度減低。據此，即便當取芯處理係施用至實施例1中的於多個階段的空間濾波中之任一者時，取芯處理之增益平衡對幅值降級因空間濾波的各向異性而取決於方向各有不同，如此無法改良各向異性。
圖66為一視圖解釋依據一取芯處理的幅值降級。如圖66示例說明，施加取芯處理使得亮度值之幅值減低。
圖67為一視圖示例說明針對施加取芯處理的一影像之解析度分析結果。圖67A示例說明以在於第一階段的空間濾波之濾波後施用取芯處理至亮度值為例的解析度分析結果。圖67B示例說明以在於第二階段的空間濾波之濾波後施用取芯處理至亮度值為例的解析 度分析結果。圖67C示例說明以在於第一及第二階段的空間濾波之濾波處理後施用取芯處理至亮度值為例的解析度分析結果。
如圖67示例說明，伴隨幅值降級的該取芯處理係施加於具有各向異性的於多個階段的空間濾波之該濾波，取決於方向，增益的降級各異及如此無法改良各向異性。
因此，於容後詳述實施例2中，關於濾波器的濾波後一值的絕對值，決定一預定增益使得當該絕對值係等於或小於下限臨界值時，增益係設定為0(零)。當該絕對值係等於或大於上限臨界值時，增益係設定為一常數值；及當該絕對值係介於下限臨界值與上限臨界值間時，增益係變成梯級式改變。
圖68為一視圖示例說明於實施例2中該亮度值之輸入-輸出關係之一實施例。如圖68示例說明，當一輸入(in(dy))係在一臨界值-Th0或以上與一臨界值Th0或較少間時，輸出係設定為0(零)；而當一輸入(in(dy))係大於一臨界值Th1時，輸入與輸出為相同。又，當輸入係介於臨界值Th0與臨界值Th1間時，輸出係以梯級方式改變。
<組態>
實施例2中之影像拍攝設備係類似實施例1中之影像拍攝設備，及因而對相同組件給定相同元件符號以描述實施例2。
(濾波處理單元)
其次將描述實施例2中之濾波處理單元152。圖69為一方塊圖示例說明於實施例2中之濾波處理單元的另一示意組態實施例。將描述濾波處理單元152。濾波處理單元152包括一卷積操作單元301、一增益決定單元601、一增益乘法單元602、一減法單元603及一濾波分析單元604。
相同的元件符號係給予實施例2中的濾波處理單元152如同實施例1中於圖40示例說明的該組態的相同組態。
增益決定單元601決定接受卷積的亮度值之一絕對值的臨界值以決定增益。增益決定處理將容後詳述。
增益乘法單元602乘以在藉增益決定單元601決定的增益濾波後的該亮度值。又復，當於多個階段執行卷積時，增益乘法單元602可執行至少一個增益乘法，或在全部多個階段可執行增益乘法。
減法單元603計算該增益相乘的該影像與原先影像間之差。前述處理的執行次數係等於多個階段的數目。
濾波分析單元604根據濾波係數分析於多個階段的空間濾波的濾波強度，及根據分析結果決定該增益相乘的該空間濾波。舉例言之，濾波分析單元604決定一空間濾波，使得於該空間濾波中接受濾波而具有最強的濾波強度之一值係乘以增益。同時，濾波分析單元604並非濾波處理單元152的必要組件。又復，濾波分析單元604只需決定隨著最大濾波係數與最小濾波係數間之差逐漸變大，濾波強度變更強。
圖70為一視圖解釋於實施例2中之一(第一)已校正的影像產生處理程序。於圖70示例說明之實施例中，於第一階段以5x5元件濾波卷積原先影像所得的亮度值以標示以值(dy(in))。增益決定單元601以值(dy)決定增益。增益乘法單元602將「dy」乘以所決定的增益。
從原先影像扣除增益相乘的「dy」。減法後的該原先影像接受於第二階段的濾波。藉從減法後的該原先影像扣除於第二階段的濾波結果，產生一經校正的影像。
圖71為一視圖解釋於實施例2中之一(第一)增益的決定。如圖71示例說明，針對藉卷積該濾波所得一值之一絕對值準備兩個臨界值(例如Cth，又稱臨界值識別係數)。當該Cth係等於或小於下限臨界值Th0時，增益決定單元601設定增益為0(零)。當該Cth係等於或大於上限臨界值Th1時，增益決定單元601設定增益為一常數值(例如增益=1)。又，當該Cth係介於下限臨界值Th0與上限臨界值Th1間時，增益決定單元601設定增益為以梯級方式改變。結果，輸入(dy)與輸出(out)間之關係係如圖68之示例說明表示。
<效果>
其次將描述依據實施例2的效果。圖72為一視圖解釋於實施例2中之(第一)效果。圖72中示例說明的表示法「臨界值處理為不存在」表示於實施例1中執行處理的結果。圖72中示例說明的表示法「臨界值處理為存在」表示於實施例2中執行處理的結果。
如圖72A示例說明，在幅值為大值的一部分於「臨界值處理為存在」中的幅值降級比較於「臨界值處理為不存在」中的幅值降級為可忽略不計。圖72B為一視圖其放大幅值變化係小於臨界值的一部分(例如平坦部)。如圖72B示例說明，可知在平坦部於「臨界值處理為存在」中的幅值比較於「臨界值處理為不存在」中的幅值遠更不被強調。
圖73為一視圖解釋於實施例2中之(第二)效果。圖73示例說明的表示法「校正前」表示原先影像。
如圖73A示例說明，在幅值為大值的一部分於「臨界值處理為存在」中的解析度比較於「校正前」的解析度增高。又，如圖73B示例說明，於「臨界值處理為存在」中的增益係設定為零，及如 此在平坦部「臨界值處理為存在」係等於「校正前」及雜訊不被強調。
圖74為一視圖示例說明於實施例2中針對一影像的解析度分析結果。如圖74示例說明，取決於方向有改良解析度的各向異性之效果。換言之，於實施例2中在平坦部解析度的各向異性改良及阻止雜訊被強調。
<操作>
其次將描述於實施例2中影像處理單元15的操作。圖75為一視圖示例說明於實施例2中經校正的影像產生處理之一實施例。於圖75中示例說明的步驟S301，卷積操作單元301執行在原先影像上的第一階段濾波。
於步驟S302，增益決定單元601根據在第一階段濾波後之一值而決定增益。增益決定處理程序容後詳述。
於步驟S303，增益乘法單元602將該值(dy)乘以於增益決定單元601中決定的該增益。
於步驟S304，減法單元603從該原先影像扣除增益相乘的該值(dy)。
於步驟S305，卷積操作單元301對進行減法的該原先影像執行第二階段濾波。
於步驟S306，減法單元603從執行減法的該原先影像扣除第二階段濾波之結果以產生一經校正的影像。
雖然於前述處理中增益係在第一階段濾波後倍增，但增益可在第二階段濾波後倍增，或在各次濾波容後詳述後倍增。
圖76為一視圖示例說明於實施例2中(第一)增益決定處理 程序之一實施例。於圖76中示例說明的步驟S401，增益決定單元601獲得已經接受卷積的該值(dy)之一絕對值(Cth)。
於步驟S402，增益決定單元601決定該絕對值(Cth)是否等於或大於上限臨界值Th1。當決定Cth係等於或大於上限臨界值Th1時(CthTh1)(於步驟S402為「是」)，處理前進至於步驟S403。當Cth係小於Th1時(Cth<Th1)(於步驟S402為「否」)，處理前進至於步驟S404。
於步驟S403，增益決定單元601設定一輸出增益(Gain_th)為「Gain」。「Gain」為一預設值且可為例如1(壹)。
於步驟S404，增益決定單元601決定該絕對值(Cth)是否等於或小於下限臨界值Th0。當決定Cth係等於或小於下限臨界值Th0時(CthTh0)(於步驟S404為「是」)，處理前進至於步驟S405。當Cth係大於Th0而小於Th1時(Th0<Cth<Th1)(於步驟S404為「否」)，處理前進至於步驟S406。
於步驟S405，增益決定單元601從如下方程式(41)獲得該輸出增益(Gain_th)。
Gain_th=(Cth-Th0)/Th1×Gain…(41)於步驟S406，增益決定單元601設定該輸出增益(Gain_th)為0(零)。
圖77為一視圖示例說明於實施例2中(第二)增益決定處理程序之一實施例。於圖76中示例說明的步驟S501，增益決定單元601獲得已經接受卷積的該值(dy)之一絕對值(Cth)。
於步驟S502，增益決定單元601決定該絕對值(Cth)是否等於或小於該臨界值(Th0)。當決定該絕對值(Cth)係等於或小於該臨界值(Th0)時(CthTh0)(於步驟S502為「是」)，處理前進至於步驟S503。 當該絕對值(Cth)係大於該臨界值(Th0)時(Cth>Th0)(於步驟S504為「否」)，處理前進至於步驟S504。
於步驟S503，增益決定單元601從如下方程式(42)獲得該輸出增益(Gain_th)。
Gain_th=(Cth-Th0)×Keisya…(42).於該處該輸出增益(Gain_th)係以MAX值裁剪。Keisya=1/(Th1-Th0)×Gain於步驟S504，增益決定單元601設定該輸出增益(Gain_th)為0(零)。
如前文描述，依據實施例2，可改良解析度的各向異性且可防止於平坦部的雜訊被強調。
(實施例2之修改例)
首先將描述於實施例2中增益處理的其它組態。圖78為一視圖解釋於實施例2中(第二)經校正的影像產生處理。於圖78示例說明之實施例中，藉由使用執行減法的該原先影像於第二階段卷積5x5元件之濾波所得亮度值係標示為值(dy(in))。增益決定單元601根據「dy」值決定增益。增益乘法單元602將(dy)值乘以所決定的增益。
一影像在已經接受第一階段濾波後從該原先影像扣除。減法後的原先影像接受第二階段濾波。第二階段濾波後的亮度值係乘以增益。藉由從減法後的原先影像扣除增益乘法後的影像而產生經校正的影像。
具有較大強度的濾波係藉濾波分析單元604根據濾波係數決定，及在由濾波分析單元604所決定的該濾波接受濾波後，該增益決定單元601及增益乘法單元602可分別地進行增益決定及增益乘法。
圖79為一視圖解釋於實施例2中(第三)經校正的影像產生處理。於圖79示例說明之實施例中，藉由使用該原先影像於第一階段卷積5x5元件之濾波所得亮度值係標示為值(dy)，及藉由使用執行減法的該原先影像於第二階段卷積5x5元件之濾波所得亮度值係標示為值(dy’(in))。增益決定單元601根據(dy)值及(dy’)值之值決定增益。增益乘法單元602將(dy)值及(dy’)值乘以所決定的各個增益。
於第一階段濾波後的(dy)值係乘以增益及然後該值從該原先影像扣除。減法後的原先影像接受第二階段濾波。第二階段濾波後的(dy’)值係乘以增益。藉由從減法後的原先影像扣除增益乘法後的影像而產生經校正的影像。同時圖79示例說明之實施例可應用於下述情況，於該處第一階段及第二階段的濾波強度係為約略相等程度之強度。
圖80為一視圖解釋於實施例2中(第四)經校正的影像產生處理。於圖80示例說明之實施例中，藉由使用該原先影像於第一階段卷積5x5元件之濾波所得亮度值係標示為值(dy)。增益決定單元601根據(dy)值決定增益。增益乘法單元602將(dy)值乘以所決定的增益。
於此種情況下，當經校正的影像的強調程度係經控制時，於第一階段及第二階段的增益值可變成相同。因此例如當只在第一階段濾波執行增益處理時，在第二階段濾波增益乘法單元602只需乘以最大增益(Gain)，其係與第一階段濾波相同。
進一步，當只在第二階段濾波執行增益處理時，在第一階段濾波增益乘法單元602只需乘以最大增益(Gain)，其係與第二階段濾波相同。又，當在第一階段濾波及第二階段濾波二者執行增益處理時，增益決定單元601只需使得在第一階段濾波及第二階段濾波二 者的最大增益(Gain)變成相同。
圖81為一視圖解釋於實施例2中另一增益決定之實施例。圖81A為一視圖解釋於實施例2中(第二)增益決定。如圖81A示例說明，此乃下限臨界值(Th0)被設定為0(零)的情況。
圖81B為一視圖解釋於實施例2中(第三)增益決定。如圖81B示例說明，當定義一最高臨界值Th2及絕對值(Cth)變成等於或大於該最高臨界值Th2時，增益決定單元601可以梯級方式決定增益。
[實施例3]
其次將描述實施例3中之影像處理設備。於實施例3中，藉前述係數分析單元10處理及藉實施例1或實施例2的影像處理單元15處理分別係利用CPU或DSP進行。
<組態>
圖82為一方塊圖示例說明於實施例3中之影像處理設備的一示意組態實施例。圖82示例說明之該影像處理設備包括一控制單元702、一主儲存單元704、一輔儲存單元706、一通訊單元708、一記錄媒體I/F單元710、及一相機I/F單元712。各個單元係連結而能夠透過匯流排彼此發射與接收資料。影像處理設備可裝配有資訊處理功能，諸如個人電腦(PC)、伺服器、智慧型手機、及平板終端機。
控制單元702例如可為中央處理單元(CPU)，其控制各個設備，或於電腦中操作或控制資料。又，控制單元702可為一操作設備，其係執行儲存於主儲存單元704或輔儲存單元706的一程式。
又，控制單元702可執行儲存於輔儲存單元706的係數分析處理程式或影像處理程式以執行如前述之各項處理。
主儲存單元704可包括例如唯讀記憶體(ROM)或隨機存取 記憶體(RAM)，且係為儲存設備其暫時地儲存資料或程式，諸如應用程式軟體或OS，該OS為由控制單元702執行的基本軟體。
輔儲存單元706可包括例如硬碟機(HDD)，且可為儲存設備其儲存例如應用程式軟體的相關資料。又，輔儲存單元706可儲存得自例如記錄媒體714的係數分析處理或影像處理的程式。
通訊單元708可執行有線或無線通訊。通訊單元708可從例如伺服器獲得多個影像，及儲存多個影像於例如輔儲存單元706。
記錄媒體介面(I/F)單元710乃透過資料傳輸路徑諸如通用串列匯流排(USB)連結的記錄媒體714(例如快閃記憶體)與影像處理設備間之一介面。
又，實施例1及實施例2中描述的影像處理程式或係數分析程式可儲存於記錄媒體714，及儲存於記錄媒體714的程式可透過記錄媒體I/F單元710而安裝於影像處理設備。據此，所安裝的係數分析程式及影像處理程式可由該影像處理設備執行。
相機I/F單元712乃與相機716通訊的介面。從相機716拍攝得的欲校正之圖表影像或尋常影像係藉相機I/F單元712而得自相機716，及例如儲存於輔儲存單元706。
相機716可拍攝如圖6示例說明的圖表影像或尋常景物及人物。所拍攝的影像係藉影像處理設備透過相機I/F單元712接收。同時，相機716可內建於影像處理設備。
據此，影像處理設備可取得圖表影像，及計算在各個位置的空間濾波以使用求出的空間濾波而校正欲校正的影像。
因此，用以具現係數分析程式或影像處理的該程式可儲存於記錄媒體714，以使得電腦執行前述係數分析程式或影像處理。
舉例言之，該程式可記錄於該記錄媒體，及其中記錄該程式的該記錄媒體可許可例如藉電腦、可攜式終端機、智慧型手機及平板終端機讀取以具現係數分析程式或影像處理。
又，記錄媒體可包括資訊係以光學式、電氣式或磁式記錄於其中的各個記錄媒體，例如CD-ROM、軟碟、磁光碟及半導體記憶體。該記錄媒體也可包括資料係藉電氣方式記錄的ROM及快閃記憶體。又，記錄媒體不包括過渡媒體，諸如載波。
又，圖83至圖85示例說明的圖表可用作為圖表實施例。圖83為一視圖示例說明(第一)圖表之一實施例。於圖83示例說明之圖表中，解析度可於至少兩個方向分析。
圖84為一視圖示例說明(第二)圖表之一實施例，其中該解析度可於全部方向徑向分析。於圖84示例說明之圖表係適用於解析度分析。
圖85為一視圖示例說明(第三)圖表之一實施例，其中中部的解析度係與外側部的解析度不同。雖然圖84示例說明之圖表係適用於分析，但使用圖83或圖85示例說明的圖表可分析解析度的各向異性。
此處引述的全部實施例及條件式語言係意圖用於啟發式目的以輔助讀者瞭解本發明及由本發明人貢獻以推動技藝界的構思，須解譯為並不限於此等特別引述的實施例及條件，說明書中此等實施例的組織也非係關顯示本發明之優劣。雖然已經以細節描述本發明之實施例，但須瞭解可不背離本發明之精髓及範圍而於其中做出各項改變、取代及變動。

Claims (12)

  1. 一種影像處理設備，其係包含：一計算單元，其係經組配而會計算出一第二空間濾波，其係使用在影像的解析度具有各向異性之一有限第一空間濾波與一其元件們之總和值為零且至少有兩個元件具有一非零值之有限濾波，來計算該第二空間濾波，該第二空間濾波其元件數目係大於前述影像之模糊尺寸；及一產生單元，其係經組配以從前述第二空間濾波產生多個空間濾波，該多個空間濾波具有預定數目或較少的元件。
  2. 如請求項1之影像處理設備，其中該產生單元係經組配而會從一第三空間濾波產生多個空間濾波，其中該第三空間濾波是從一自身之一中心元件之值為壹且非為該中心元件之元件之值為零的濾波中，扣除前述第二空間濾波而求出。
  3. 如請求項2之影像處理設備，其中該產生單元係經組配以藉由用將一濾波自另一濾波中扣除而計算出一第五空間濾波，該一濾波是使用摘取自該第一空間濾波的一第四空間濾波與一自身之元件們總和值為零且至少兩個元件具有一非零值的有限濾波產生，該另一濾波則為本身之一中心元件之值為壹及非為該中心元件之元件之值為零的濾波，及該產生單元係使用前述第五空間濾波與前述第三空間濾波來產生前述多個空間濾波。
  4. 如請求項3之影像處理設備，其中該產生單元係經組配以計算一第六空間濾波，使得該第三空間濾波與一藉由使用該第五空間濾波及該第六空間濾波所產生之濾波二者間之差變成一最小值，及當存在有前述第五空間濾波或前述第六空間濾波之大小係大於該預定元件數目時，前述產生單元重複前述多個空間濾波之產生，直至該第五空間濾波或該第六空間濾波的該大小變成該預定元件數目或較少。
  5. 如請求項1之影像處理設備，進一步包含一決定單元，其係經組配以藉該影像之一模糊函數來決定一模糊尺寸，其中前述計算單元係經組配以計算前述第二空間濾波，該第二空間濾波其元件數目之大小係大於由前述決定單元所決定的前述模糊尺寸。
  6. 如請求項1之影像處理設備，進一步包含一濾波處理單元，其係經組配以在一輸入影像上執行過濾，並從前述輸入影像扣除經前述過濾處理後之前述影像以產生一經校正的影像。
  7. 如請求項2之影像處理設備，進一步包含一濾波處理單元，其係經組配以在一輸入影像上使用前述多個空間濾波來執行過濾以產生一經校正的影像。
  8. 如請求項6之影像處理設備，進一步包含一乘法單元，其係經組配以將一經過濾後所得的值乘以一預定增益，該經過濾後所得的值係由前述多個空間濾波 中之任何空間濾波進行過濾所得之值。
  9. 如請求項8之影像處理設備，進一步包含一增益決定單元，其係經組配為當在經前述過濾後所得的前述值之絕對值係等於或小於一下限臨界值時，設定前述增益為零，當前述絕對值係等於或大於一上限臨界值時設定前述增益為一常數值，及前述增益決定單元係進一步經組配為當前述絕對值係落入於前述下限臨界值與前述上限臨界值之間時，允許前述增益逐步變更，藉此決定該預定增益。
  10. 如請求項9之影像處理設備，進一步包含一分析單元，其係經組配為從分析前述濾波之強度所得的結果，自前述多個空間濾波中決定用來與增益相乘的一目標空間濾波，其中該濾波之強度係根據一濾波係數。
  11. 一種資訊處理方法，其係包含下列步驟：使用在影像的解析度具有各向異性之一有限第一空間濾波與一其元件們之總和值為零且至少有兩個元件具有一非零值之有限濾波，來計算一第二空間濾波，該第二空間濾波其元件數目之大小係大於前述影像之模糊尺寸；及從前述第二空間濾波產生具有預定數目或較少的元件的多個空間濾波。
  12. 一種儲存一程式的電腦可讀取儲存媒體，該程式當由一電腦執行時執行下列動作：使用在影像的解析度具有各向異性之一有限第一空間濾波與一其元件們之總和值為零且至少有兩個元件具有一非零值之 有限濾波，來計算一第二空間濾波，該第二空間濾波其元件數目之大小係大於前述影像之模糊尺寸；及從前述第二空間濾波產生具有預定數目或較少的元件的多個空間濾波。
TW102142435A 2012-12-07 2013-11-21 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體 TWI538506B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012268753A JP5983373B2 (ja) 2012-12-07 2012-12-07 画像処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
TW201429243A TW201429243A (zh) 2014-07-16
TWI538506B true TWI538506B (zh) 2016-06-11

Family

ID=50880564

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102142435A TWI538506B (zh) 2012-12-07 2013-11-21 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體

Country Status (5)

Country Link
US (1) US9418406B2 (zh)
JP (1) JP5983373B2 (zh)
KR (1) KR101578583B1 (zh)
CN (1) CN103873740B (zh)
TW (1) TWI538506B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI689891B (zh) * 2019-04-18 2020-04-01 耐能智慧股份有限公司 影像處理系統

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6468751B2 (ja) * 2014-08-01 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN105469363B (zh) * 2014-09-05 2018-05-18 华为技术有限公司 基于模糊图像生成清晰图像的方法和装置
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
US10989838B2 (en) 2015-04-14 2021-04-27 Utopus Insights, Inc. Weather-driven multi-category infrastructure impact forecasting
US20170148145A1 (en) * 2015-11-24 2017-05-25 Gopro, Inc. Sharpening Algorithm For Images based on Polar Coordinates
DE102015122415A1 (de) * 2015-12-21 2017-06-22 Connaught Electronics Ltd. Verfahren zum Erkennen einer bandbegrenzenden Fehlfunktion einer Kamera, Kamerasystem und Kraftfahrzeug
JP6647394B2 (ja) * 2016-04-21 2020-02-14 株式会社クリプトン 画像処理装置、画像処理プログラム及び画像処理方法、並びに画像送受信システム及び画像送受信方法
CN110717942B (zh) * 2018-07-11 2022-06-10 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN114787886A (zh) * 2019-12-18 2022-07-22 索尼集团公司 信息处理装置、信息处理方法、程序和可移动对象
CN111488701B (zh) * 2020-06-28 2020-10-16 中国人民解放军国防科技大学 一种基于点扩散函数的计算机辅助装调方法、装置及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0837604A (ja) * 1994-05-17 1996-02-06 Olympus Optical Co Ltd 画像処理装置
KR100450836B1 (ko) * 2001-12-11 2004-10-01 삼성전자주식회사 이차원 영상의 입체화 장치 및 방법
JP2005141477A (ja) * 2003-11-06 2005-06-02 Noritsu Koki Co Ltd 画像鮮鋭化処理方法とこの方法を実施する画像処理装置
ATE441283T1 (de) * 2003-12-01 2009-09-15 Koninkl Philips Electronics Nv Bewegungskompensierte invers-filterung mit bandpassfiltern für die bewegungsverschmierungsreduktion
KR100577523B1 (ko) 2004-07-29 2006-05-10 매그나칩 반도체 유한회사 적응적인 자동 초점 조절 장치 및 그 방법
FR2881011B1 (fr) * 2005-01-19 2007-06-29 Dxo Labs Sa Procede de realisation d'un appareil de capture et/ou restitution d'images et appareil obtenu par ce procede
JP4383379B2 (ja) * 2005-03-30 2009-12-16 三洋電機株式会社 手ぶれ補正装置
US8306348B2 (en) 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
JP2009025862A (ja) 2007-07-17 2009-02-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP2009054130A (ja) * 2007-07-27 2009-03-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ
KR101488655B1 (ko) 2007-09-14 2015-02-03 삼성전자 주식회사 자동 초점 조절 장치 및 방법
US8798388B2 (en) * 2009-12-03 2014-08-05 Qualcomm Incorporated Digital image combining to produce optical effects
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2011122284A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
JP5633218B2 (ja) * 2010-07-13 2014-12-03 富士通株式会社 画像処理装置、画像処理プログラム
JP5654860B2 (ja) * 2010-12-13 2015-01-14 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP6306811B2 (ja) * 2012-06-22 2018-04-04 富士通株式会社 画像処理装置、情報処理方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI689891B (zh) * 2019-04-18 2020-04-01 耐能智慧股份有限公司 影像處理系統
US10764507B1 (en) 2019-04-18 2020-09-01 Kneron (Taiwan) Co., Ltd. Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation

Also Published As

Publication number Publication date
US9418406B2 (en) 2016-08-16
KR101578583B1 (ko) 2015-12-17
KR20140074222A (ko) 2014-06-17
JP2014115790A (ja) 2014-06-26
CN103873740B (zh) 2017-06-09
TW201429243A (zh) 2014-07-16
US20140160325A1 (en) 2014-06-12
CN103873740A (zh) 2014-06-18
JP5983373B2 (ja) 2016-08-31

Similar Documents

Publication Publication Date Title
TWI538506B (zh) 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
US9167216B2 (en) Image processing apparatus, image capture apparatus and image processing method
JP4894595B2 (ja) 画像処理装置および方法、並びに、プログラム
US9100583B2 (en) Image processing apparatus for correcting an aberration of an image containing a luminance saturation part, image pickup apparatus, image processing method, and non-transitory recording medium storing program
EP2566161B1 (en) Image processing apparatus and method
US10255665B2 (en) Image processing device and method, image capturing device, program, and record medium
KR20190089922A (ko) 광학 시스템 수차들의 디지털 보정
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR100818479B1 (ko) 선명도 향상을 위한 이미지 처리 방법
JP2012191465A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20110158541A1 (en) Image processing device, image processing method and program
WO2013061626A1 (ja) 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
JP2014027337A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US10235742B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium for adjustment of intensity of edge signal
CN111988517A (zh) 图像处理装置、镜头装置和图像处理方法
JP6090193B2 (ja) 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法
US20200169668A1 (en) Imaging control apparatus, imaging apparatus, and recording medium
KR20100114343A (ko) 촬영 영상의 렌즈 셰이딩 및 채널 차 보정 장치와 방법
USRE47947E1 (en) Image processing apparatus and information processing method for improving resolution of direction exhibiting degraded resolution
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2010213175A (ja) 画像処理装置及び撮像装置
WO2016063452A1 (en) Image processing apparatus, image pickup apparatus, image processing system, and image processing process
JP2015076685A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP2015043530A (ja) 画像処理装置及び画像処理方法