JPWO2011122283A1 - 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 - Google Patents
画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 Download PDFInfo
- Publication number
- JPWO2011122283A1 JPWO2011122283A1 JP2012508185A JP2012508185A JPWO2011122283A1 JP WO2011122283 A1 JPWO2011122283 A1 JP WO2011122283A1 JP 2012508185 A JP2012508185 A JP 2012508185A JP 2012508185 A JP2012508185 A JP 2012508185A JP WO2011122283 A1 JPWO2011122283 A1 JP WO2011122283A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- recovery
- restoration
- difference
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 216
- 238000012545 processing Methods 0.000 title claims abstract description 207
- 238000003672 processing method Methods 0.000 title claims description 24
- 238000011084 recovery Methods 0.000 claims abstract description 284
- 238000012546 transfer Methods 0.000 claims abstract description 101
- 238000001228 spectrum Methods 0.000 claims abstract description 61
- 230000002829 reductive effect Effects 0.000 claims abstract description 27
- 230000006870 function Effects 0.000 claims description 129
- 238000000034 method Methods 0.000 claims description 105
- 230000008569 process Effects 0.000 claims description 82
- 239000000203 mixture Substances 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims description 5
- 230000004075 alteration Effects 0.000 abstract description 83
- 238000012937 correction Methods 0.000 description 75
- 230000003287 optical effect Effects 0.000 description 69
- 238000003860 storage Methods 0.000 description 26
- 230000014509 gene expression Effects 0.000 description 22
- 230000015572 biosynthetic process Effects 0.000 description 17
- 238000006731 degradation reaction Methods 0.000 description 15
- 230000015556 catabolic process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 11
- 230000006866 deterioration Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000003321 amplification Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 206010010071 Coma Diseases 0.000 description 4
- 230000002411 adverse Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 201000009310 astigmatism Diseases 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004033 diameter control Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 231100000989 no adverse effect Toxicity 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
- H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
鮮鋭度を向上させつつ、色収差を低減した画像を得ることを課題とする。本発明の画像処理装置は、入力画像を取得する画像取得手段と、前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。
Description
本発明は画像処理を行う画像処理装置に関する発明であり、特に画像回復(復元)を行う画像処理装置に関する。
デジタルカメラ等の撮像装置により得られた画像はボケによって、画質が劣化している。画像のボケが起こる要因は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数(PSF、Point Spread Function)により表すことができる。点像分布関数(以下、PSF)をフーリエ変換することにより得ることができる光学伝達関数(OTF、Optic Transfer Function)は、収差の周波数空間における情報である。この光学伝達関数(以下、OTF)は複素数で表すことができ、OTFの絶対値、即ち、振幅成分はMTF(Modulation Transfer Function)、位相成分はPTF(Phase Transfer Function)と呼ばれる。ここでは、位相成分を位相角として以下の式1で表す。Re(OTF)、Im(OTF)はそれぞれOTFの実数部と虚数部である。
PTF=tan−1(Im(OTF)/Re(OTF))
PTF=tan−1(Im(OTF)/Re(OTF))
このように、撮像光学系の光学伝達関数は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばRGBの色成分として取得することで発生する。したがって、RGB間で結像位置がずれることで像の広がりが発生するだけでなく、各色成分内で波長ごとの結像位置のずれ、すなわち位相ずれによっても像の広がりが発生する。このため、点像分布関数を主光線(撮像光学系の瞳の中心を通る光線)と直交する各方向(アジムス方向)の1次元断面で見たときに、収差の位相成分の劣化(位相劣化成分)は点像分布関数に非対称性を発生させる。また、振幅成分の劣化(振幅劣化成分)はアジムス方向ごとのPSFの広がりの大きさに影響する。
したがって、撮像光学系による画像劣化を画像処理にて高精度に補正するためには、収差の位相劣化成分と振幅劣化成分を補正することが必要である。
さらに、振幅劣化成分と位相劣化成分を補正する方法として、撮像光学系の光学伝達関数(OTF)の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学伝達関数の情報を用いて画像の劣化成分を補正(低減)する処理を画像回復処理と称する。
以下に画像回復処理の概要を示す。
劣化した画像をg(x,y)、もとの画像をf(x,y)、g(x、y)を取得するために用いた撮像光学系の点像分布関数(PSF)をh(x,y)としたとき、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分、積和)を示し、(x,y)は実空間における画像の座標を示す。
(式1)
g(x,y)=h(x,y)*f(x,y)
式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように表すことができる。
(式2)
G(u,v)=H(u,v)・F(u,v)
ここで、H(u,v)は点像分布関数(PSF)h(x,y)をフーリエ変換した光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y)、f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での周波数(座標)を示す。劣化画像から元の画像(元画像)を得るためには、式2の両辺をH(u,v)で除算すればよい。
(式3)
G(u,v)/H(u,v)=F(u,v)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間に戻すことで元画像f(x,y)を回復画像として得ることができる。
式3の両辺を逆フーリエ変換すると式3は式4で表される。
(式4)
g(x,y)*R(x,y)=f(x,y)
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)表した。このR(x,y)が画像回復フィルタである。
劣化した画像をg(x,y)、もとの画像をf(x,y)、g(x、y)を取得するために用いた撮像光学系の点像分布関数(PSF)をh(x,y)としたとき、以下の式が成り立つ。ただし、*はコンボリューション(畳み込み積分、積和)を示し、(x,y)は実空間における画像の座標を示す。
(式1)
g(x,y)=h(x,y)*f(x,y)
式1をフーリエ変換して周波数空間での表示形式に変換すると、式2のように表すことができる。
(式2)
G(u,v)=H(u,v)・F(u,v)
ここで、H(u,v)は点像分布関数(PSF)h(x,y)をフーリエ変換した光学伝達関数(OTF)である。G(u,v)、F(u,v)はそれぞれg(x,y)、f(x,y)をフーリエ変換したものである。(u,v)は2次元周波数空間での周波数(座標)を示す。劣化画像から元の画像(元画像)を得るためには、式2の両辺をH(u,v)で除算すればよい。
(式3)
G(u,v)/H(u,v)=F(u,v)
このF(u,v)、即ちG(u,v)/H(u,v)を逆フーリエ変換して実空間に戻すことで元画像f(x,y)を回復画像として得ることができる。
式3の両辺を逆フーリエ変換すると式3は式4で表される。
(式4)
g(x,y)*R(x,y)=f(x,y)
ここで、1/H(u,v)を逆フーリエ変換したものをR(x,y)表した。このR(x,y)が画像回復フィルタである。
この画像回復フィルタは光学伝達関数(OTF)に基づいているため、振幅成分および位相成分の劣化を補正することができる。
この画像回復フィルタとして、ノイズが増幅を制御することができるウィナーフィルタが知られている。ウィナーフィルタは入力画像のノイズを低減させるため、入力信号(画像信号)とノイズ信号の強度比(SNR、Sound by Noise Ratio)に応じて回復度合いを変える画像回復フィルタである。
また特許文献1は、上記ウィナーフィルタを応用して画像回復フィルタに調整係数αを設けている。パラメータαを調整することにより、入力画像をそのまま出力するフィルタ(何も作用しないフィルタ)から最大に画像回復を行うフィルタ(逆フィルタ)までの範囲で画像の回復度合いを変更可能な画像回復フィルタを開示している。
また特許文献2には、位相の劣化を補正する方法として、画像のエッジ部分を検出してエッジを強調するエッジ強調処理が開示されている。
しかしながら、撮像光学系による画像の劣化を、画像回復フィルタを用いて高精度に補正(回復)するためには、収差の振幅成分と位相成分を補正する(鮮鋭度を向上させる)と供に、色成分間でのPSFの差異を低減して色収差を補正することが必要である。
上記のウィナーフィルタまたは特許文献1に開示されている画像回復フィルタは、劣化画像の振幅成分および位相成分を補正(回復)することはできる。しかし、色成分ごとのボケの現れ方の相違(差異)を考慮していないため、画像回復処理を行ったにも限らず、回復画像に色付きが残ってしまう、あるいは色付きが拡大してしまう場合があった。
この課題について、具体的に図18を用いて説明する。図18の破線(a)、実線(b)は回復前の2つの色成分のMTFである。破線(c)、実線(d)は、それぞれ(a)、(b)で表された色成分の回復後のMTFである。ウィナーフィルタを用いて回復処理を行うと、回復前の2つの色成分のMTF(a)、(b)の差よりも回復後の2つの色成分のMTF(c)、(d)の差が広がってしまう。回復後の(c)、(d)共に(a)、(b)に比べMTFが向上しているため画像の鮮鋭度は向上している。しかし色付き(色収差)として画像に表れてしまう各色成分間のMTFの差は拡大してしまう。
そこで本発明は、画像の鮮鋭度を向上させつつ、色収差を低減することが可能な画像処理装置を提供することを課題とする。
上記課題を解決するために本発明は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。
鮮鋭度を向上させつつ、色収差を低減した画像を得ることが可能となる。
まず、具体的な実施例の説明に先立って、本発明の画像処理のフロー概要について、図1を用いて説明する。
まずステップS11の画像取得工程において、入力画像を取得する。次にステップS12において、ステップS11で取得された入力画像の撮像条件を取得する。次にステップ13において、撮像条件に対応する画像回復フィルタをメモリから選択する。予めメモリに用意された撮像条件と異なる場合には、適宜補正して用いることもできる。次にステップS14の画像回復処理工程では、ステップS13の画像回復フィルタを用いて画像回復処理を実行する。そしてステップS14で補正された補正画像を出力画像として出力する。ステップS13に用いられる画像回復フィルタは撮像光学系(撮像系)の光学伝達関数(OTF)と色収差補正係数に基づいて生成される。
尚、図1の処理の前後、あるいは途中に例えば倍率色収差補正、歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理を挿入しても良い。次に、図1に示した各処理についてより詳細に説明する。
(画像取得工程)
ステップS11の画像取得工程により取得される画像(以下、入力画像)は、撮像光学系を介して撮像素子で撮像することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像系の収差による光学伝達関数(OTF)により劣化している。撮像光学系はレンズの他にも曲率を有するミラー(反射面)を用いることもできる。
ステップS11の画像取得工程により取得される画像(以下、入力画像)は、撮像光学系を介して撮像素子で撮像することで得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像系の収差による光学伝達関数(OTF)により劣化している。撮像光学系はレンズの他にも曲率を有するミラー(反射面)を用いることもできる。
また、入力画像は色空間により表される。色空間の表し方には、例えばRGBがあるが、RGB以外にもLCHで表現される明度、色相、彩度や、YCbCrで表現される輝度、色差信号などがある。その他の色空間として、XYZ、Lab、Yuv、JChや色温度がある。これら一般に用いられている色空間により表される値を、色成分として本発明を適用することができる。
また、入力画像は各画素に一つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理(デモザイキング処理)して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は色補間処理(デモザイキング処理)やガンマ変換やJPEG等の画像圧縮などの画像処理を行う前の画像として、RAW画像とも呼ぶ。例えば単板の撮像素子で複数の色成分の情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して、各画素に一つの色成分の信号値を有するモザイク画像を取得する。このモザイク画像に色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を取得することができる。また、多板、例えば3板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を有したデモザイク画像を取得することになる。この場合、各撮像素子間で、対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わなくとも各画素に複数の色成分の信号値を有した画像を取得することができる。
また入力画像には、入力画像を補正するための各種の補正情報を付帯することができる。該補正情報には、レンズの焦点距離(ズーム位置)、絞り値、撮影距離(合焦距離)、露光時間、ISO感度などの撮像条件に関する情報(撮像条件情報)が含まれる。撮像から画像の出力までの一連の処理を一つの撮像装置で行う場合には、入力画像に撮像条件情報や補正情報を付帯しなくとも装置内で取得することもできる。しかし、撮像装置からRAW画像を取得し、撮像装置とは別体の画像処理装置で画像回復処理や現像処理等を行う場合には、上記のように画像に補正情報を付帯することが好ましい。ただしこれに限られず、画像処理装置に予め補正情報を記憶させ、入力画像に付帯された撮像条件情報から補正情報を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。
尚、入力画像は撮像光学系を介して撮像素子で撮像することで得られたデジタル画像と記述したが、入力画像は撮像光学系を含まない撮像系により得られたデジタル画像でも良い。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ(読み取り装置)やX線撮像装置はレンズのような撮像光学系を持たない撮像装置により得られた画像であってもよい。これら、撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数(狭義の光学伝達関数)によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数に相当するものと言える。あるいは、複屈折を有する光学ローパスフィルタは光学伝達関数の周波数特性に対して高周波成分を抑制するものであるので、この特性を光学伝達関数に含めても良い。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光学伝達関数として含めることが可能な特性として、光源の分光特性や各種波長フィルタの分光特性がある。これらを含めた広義の光学伝達関数に基づいて、画像回復フィルタを作成することが望ましい。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系および撮像光学系を持たない系のシステム伝達関数を含む広義の光学伝達関数である。以下、これら広義の光学伝達関数の主体となる系を撮像系とする。
(画像回復フィルタ生成工程)
次に、ステップS13で用いられる画像回復フィルタの生成について図2A、Bを参照しながら説明する。図2Aは実空間において入力画像の画素に対してコンボリューション処理が行われる画像回復フィルタの模式図である。画像回復フィルタのタップ(セル)数は、撮像系の収差特性や要求される回復精度に応じて決めることができ、画像が2次元のときは、一般的に画像の各画素に対応したタップ数を有する2次元の画像回復フィルタとなる。図2Aには、例として11×11タップの2次元画像回復フィルタを示した。また、画像回復フィルタのタップ数に関しては、一般的に多いほど回復精度が向上するので、タップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。
次に、ステップS13で用いられる画像回復フィルタの生成について図2A、Bを参照しながら説明する。図2Aは実空間において入力画像の画素に対してコンボリューション処理が行われる画像回復フィルタの模式図である。画像回復フィルタのタップ(セル)数は、撮像系の収差特性や要求される回復精度に応じて決めることができ、画像が2次元のときは、一般的に画像の各画素に対応したタップ数を有する2次元の画像回復フィルタとなる。図2Aには、例として11×11タップの2次元画像回復フィルタを示した。また、画像回復フィルタのタップ数に関しては、一般的に多いほど回復精度が向上するので、タップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。
図2Aでは各タップ内の値を省略しているが、この画像回復フィルタの1断面を図2Bに示す。この画像回復フィルタの各タップのもつ値(係数値)の分布が、コンボリューション処理の際に、収差によって空間的に広がった信号値を理想的には元の1点に戻す役割を果たしている。
この画像回復フィルタを生成するためには、まず、撮像系の光学伝達関数を計算若しくは計測する。劣化画像が撮像光学系を持たない撮像系により得られた画像である場合には、光学伝達関数としてシステムの伝達関数を用いればよい。
そして光学伝達関数を取得後、その光学伝達関数の逆数に基づいた関数を逆フーリエ変換することにより画像回復フィルタが生成される。尚、この光学伝達関数(以下、OTFと記す)の逆数は逆フィルタと呼ばれる。
被写体として点光源を仮定した場合は、撮像系を介して取得された画像の周波数特性はOTFそのものとなる。従って、入力画像(劣化画像)の周波数特性に、画像回復フィルタの周波数特性を掛け合わせれば、回復画像の周波数特性を知ることができる。
式5に画像回復フィルタの周波数特性を表わす式を示す。式5における回復画像の周波数特性は[rOTF]の部分である。
ここで、M(u,v)は画像回復フィルタの周波数特性、H(u,v)は入力画像(劣化画像)の周波数特性(OTF)であり、[rOTF]は白色点光源を撮影した画像の回復後の周波数特性である。つまり、画像回復フィルタは撮像系の2つの色成分の伝達関数(1/H(u,v))と、該2つの色成分のMTF(OTFの絶対値)の差が減少するように補正した補正伝達関数と([rOTF])に基づいて生成される。言い換えれば、本実施例の画像回復フィルタは被写体から回復画像を得る際の2つの色成分の伝達関数の絶対値の差が、撮像系の2つの色成分の伝達関数の絶対値の差よりも小さくなるように構成される。尚、MTFは撮像系の伝達関数(撮像光学系の光学伝達関数)の絶対値(振幅成分)であるが、被写体が白色点光源の場合は、MTFは画像のスペクトルとして捉えることもできる。
また、式5の[rOTF]の部分を色成分間の差が減少するようにした画像回復フィルタは、色収差補正機能を有する。
また、回復画像の位相劣化は零であることが望ましいので、rOTFは位相成分を持たないようにすれば更によい。つまり、rOTFは実数部のみを有する関数とし、実質的にはMTFと等しくなるようにする。ただし、rOTFには許容可能な範囲で、虚数部に値を持たせてもよい。
式5に示した画像回復フィルタを用いれば、点光源に限らず、どのような被写体でも、あたかも光学伝達関数(OTF)がrOTFの特性(点光源を撮影した画像の回復後の周波数特性)を持った撮像系を介して取得することができる。また、色成分間で共通のOTF(rH(u,v))を用いることで、あたかも色成分間にMTFの差が無い撮像系で撮影したような画像を得ることができる。
式6に、色収差補正機能を有する、より具体的な画像回復フィルタの周波数特性の一例を示す。
式6で示した色収差補正の機能を有する画像回復フィルタM(u,v)は、右辺の|rH(u,v)|がOTFの絶対値(MTF)であるため、回復度合いを決定するパラメータSNRの値に限らず位相成分は消滅する。PSFは対称な形状に補正することができ、さらに画像の先鋭度も向上させることができる。
式6で示した画像回復フィルタの機能について、図3を用いて説明する。図3の破線(a)、実線(b)はそれぞれ第1色成分、第2色成分に対応する回復前のMTFを、破線(c)、実線(d)はそれぞれ第1色成分、第2色成分に対応する回復後のMTFを表している。回復前の画像のMTFは図3(a)、(b)のように色成分ごとに異なっているが、回復後のMTFは(c)、(d)のように色成分間で揃っている(差が減少している)。
言い換えれば、本実施例の画像処理方法に用いる画像回復フィルタは、被写体が白色点光源の場合、回復画像における2つの色成分のスペクトルの差が、入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する。この画像回復フィルタを用いることにより画像の色収差を低減しつつ、鮮鋭度を向上させる(回復する)ことができる。ここで、スペクトルの差とはスペクトルの周波数平均の差である。
また、式6では色成分間で共通なrH(u、v)を用いたが、各色成分の回復後のMTFの差が、回復前のMTFの差よりも低減するように各色成分の画像回復フィルタのrH(u、v)を設定することで、色収差の補正量を制御することができる。式7にその方法を表した式を示す。
式7は色収差補正係数Cnm(n、m=1、2、3)を用いたrH(u、v)の補正方法であり、付帯記号R、G、Bは各色成分を示している。式8から式10に色収差補正係数の例を示す。
式8の場合、rH(u、v)R、rH(u、v)G、rH(u、v)Bは各色成分のMTFの平均値が共通の画像回復フィルタ生成に用いる値になる。
式9の場合、rH(u、v)R、rH(u、v)G、rH(u、v)BともにG成分を50%の割合で、R成分およびB成分を25%ずつの割合で合成(合算)した値が、共通の画像回復フィルタ生成に用いる値になる。
式10の場合、自分の色成分を50%の割合で、残りの2つの色成分を25%ずつの割合で合成(合算)した値が、各色成分ごとの画像回復フィルタが生成に用いる値になる。式10は各色成分ごとにrH(u、v)の値は異なっているが、他の色成分と混合させているため色収差を低減させることができる。
式10に挙げたような、rH(u、v)R、rH(u、v)G、rH(u、v)Bがそれぞれ異なっている場合の、回復前と回復後のMTFの変化を図4に示す。図4の破線(a)、実線(b)はそれぞれ第1色成分、第2色成分の回復前のMTF、破線(c)、実線(d)はそれぞれ第1色成分、第2色成分の回復後のMTFを表している。図3の実線(c)、破線(d)のように一致しなくとも、回復前の図4の破線(a)、実線(b)に対して色成分間のMTF差が低減し、色収差を低減することができる。より好ましくは、第1色成分と第2色成分の、回復前のMTFの差の周波数平均に対して、回復後のMTFの差の周波数平均が、1/2以下となるように補正する。図4の場合、(a)と(b)の差の周波数平均に対して、(c)と(d)の差の周波数平均を1/2とすることが好ましい。周波数平均を計算する周波数の範囲は、センサのナイキスト周波数の範囲とする。
つまり、画像回復フィルタを用いて撮像系の2つの色成分のMTFの差を減少させるように回復することにより、色収差を低減することができ、良質な画像を得ることができる。
その他、入力画像がRGBの色成分からなる場合、比視感度の高い色成分(例えば、GあるいはR)のMTFとその他の色成分(例えば、B)のMTFの差を減少させる画像回復フィルタとすることにより、視覚的な色付きを低減することができる。
尚、式6で示した画像回復フィルタのH(u、v)の部分が色成分ごとに異なるため、rH(u、v)が色成分間で共通であっても色成分ごとに特性の異なる画像回復フィルタとなる。
本発明の画像回復フィルタは式5以外の変形も可能である。式5の右辺は、1/H(u、v)と、rOTFから成っており、rOTFの部分を色成分間で共通にすればよい。
(画像回復処理工程)
次に、生成した画像回復フィルタを用いて、ステップS14において回復画像を得る方法について説明する。
次に、生成した画像回復フィルタを用いて、ステップS14において回復画像を得る方法について説明する。
既に説明しているが、画像回復工程においては劣化画像に画像回復フィルタをコンボリューションすることにより、回復画像を得ることができる。ここでは、画像回復フィルタのタップ内に含まれる各画素に対してコンボリューション(畳み込み積分、積和)処理が行われる。コンボリューションは、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理である。
入力画像に対して画像回復フィルタを作用させたり、コンボリューション処理を行ったりすることの利点は、画像回復処理で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。一般的にコンボリューション処理の負荷は、フーリエ変換を行う負荷に比べると小さい。したがって、画像回復処理を行うにあたって、処理負担を軽減することができる。
尚、画像回復フィルタの縦横のタップ数について既に述べたが、縦横のタップ数が必ずしも同じである必要はなく、コンボリューションの処理を行う際に考慮するようにすれば任意に変更することができる。
その他、本発明の画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理が行われていないことが好ましい。つまり、モザイク画像(RAW画像)に対して行うことがより好ましい。しかし、入力画像がモザイク画像であってもデモザイク画像であっても本発明の画像回復処理を適用することができる。理由は、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで画像回復処理を行うことができるからである。また、回復の要求精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して画像回復処理を行っても色収差を低減するという効果を得ることができる。
(画像出力工程)
以上の処理により取得した回復画像を出力画像として、所望のデバイスに出力する。撮像装置であれば表示部あるいは記録媒体等に出力する。画像回復処理を行った画像に対して、その他の画像処理などを行うのであれば、後の工程を実行するデバイスに画像を出力すればよい。
以上の処理により取得した回復画像を出力画像として、所望のデバイスに出力する。撮像装置であれば表示部あるいは記録媒体等に出力する。画像回復処理を行った画像に対して、その他の画像処理などを行うのであれば、後の工程を実行するデバイスに画像を出力すればよい。
以上、本発明の画像処理について各工程に分けて順に説明してきたが、各工程のうち、いくつかの工程を同時に処理できる場合はまとめて処理することができる。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理の具体的なアルゴリズムをこれに限定するものではなく、目的を達成しうる範囲で必要に応じた変形が可能である。
以下、上述した画像処理を適用した実施例について説明する。
図5は実施例1における撮像装置の構成概略図である。不図示の被写体像を撮像光学系101で撮像素子102に結像する。撮像素子102は、結像した光を電気信号に変換(光電変換)し、該電気信号をA/Dコンバータ103がデジタル信号に変換する。そして画像処理部104は、該デジタル信号(入力画像)に対して所定の処理と併せて画像処理を行う。ここでの所定の処理とは、例えば、倍率色収差補正、歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理である。
まず、状態検知部107から撮像装置の撮像条件(撮像状態)の情報を得る。状態検知部107はシステムコントローラ110から直接、撮像条件の情報を得ても良いし、例えば撮像光学系101に関する撮像条件情報は撮像光学系制御部106から得ることもできる。次に撮像条件に応じた画像回復フィルタを記憶部108から選択し、画像処理部104に入力された画像に対して画像回復処理を行う。画像回復フィルタは撮像状態に応じて記憶部108から選択したものをそのまま用いても良いし、予め用意した画像回復フィルタを補正して、より撮像状態に適した画像回復フィルタに補正したものを用いることもできる。
そして、画像処理部104で処理した出力画像を画像記録媒体109に所定のフォーマットで保存する。この出力画像は色収差が補正され先鋭度が向上した画像である。また、表示部105には、画像回復処理後の画像に表示のための所定の処理(補正処理)を行った画像を表示しても良いし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示しても良い。
上述した一連の制御はシステムコントローラ110で行われ、撮像系の機械的な駆動はシステムコントローラ110の指示により撮像光学系制御部106で行う。絞り101aは、Fナンバーの撮影条件設定として開口径が制御される。フォーカスレンズ101bは、撮影距離に応じてピント調整を行うために不図示のオートフォーカス(AF)機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。
先に述べたように、この撮像系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ローパスフィルタ等のOTFの特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点でこの素子の影響を考慮すれば、より高精度に回復処理を行うことが可能である。赤外カットフィルタにおいても、分光波長の点像分布関数(PSF)の積分値であるRGBチャンネルの各PSF、特にRチャンネルのPSFに影響するため、画像回復フィルタを作成する時点で考慮するとより好ましい。
また、撮像光学系101は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。絞りの開口径制御やマニュアルフォーカスなどの機能は撮像装置の目的に応じて用いなくても良い。
また、OTFは1つの撮像条件においても撮像系の像高(画像の位置)に応じて変化するので、本発明の画像回復処理を像高に応じて、画像回復フィルタを変更して行うことが望ましい。
また、画像処理部104は少なくとも演算部と一時的記憶部(バッファー)を有する。上記の画像処理の各工程ごとに必要に応じて一時的に記憶部に対して画像の書き込み(記憶)および読み出しを行う。また、一時的に記憶するための記憶部は前記一時的記憶部(バッファー)に限定せず、記憶部108でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。その他、記憶部108には色収差補正係数、画像回復フィルタ、補正情報などのデータが記憶されている。
図6を用いて、画像回復フィルタの選択と補正について説明する。図6には、撮像状態情報(撮像条件情報)と該撮像状態情報に基づいて記憶部108に格納された複数の画像回復フィルタ(黒丸)を説明するための概念図を模式的に示す。記憶部108に格納された画像回復フィルタは、焦点位置(状態A)、絞り値(状態B)および被写体距離(撮影距離)(状態C)の3つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点(黒丸)の座標が、記憶部108に記憶されている画像回復フィルタを示す。尚、図6では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も3つでなくてもよく、4つ以上の撮像状態による4次元以上の撮像状態空間を構成して、その中に画像回復フィルタを離散的に配置してもよい。
図6において、大きな白丸で示した撮像状態が、状態検知部107により検知された実際の撮像状態であるとする。実際の撮像状態位置に対応する位置、またはその近傍に予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の1つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離(撮像状態の相違量)を算出する。そして、最も距離の短い位置の画像回復フィルタを選択する方法である。この方法により、図6に小さな白丸で示した位置の画像回復フィルタが選択される。
また、他の方法として、画像回復フィルタ選択に撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向の積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する方法である。
次に、選択された画像回復フィルタを補正することで、新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離(状態相違量)を算出し、最も距離の短い(状態相違量が最も小さい)位置の画像回復フィルタを選択する。状態相違量が最も小さい画像回復フィルタを選択することで、画像回復フィルタの補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。
図6では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と、実際の撮像状態との状態相違量ΔA、ΔB、ΔCを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。
また、他の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタと実際の撮像状態との状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、2次元の画像回復フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等等を用いて補間すれば良い。
また、画像回復フィルタの生成に用いるOTFは、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態におけるOTFを、計測して求めることもできる。
図7に画像処理部104で実行される実施例1の画像回復処理のフローチャートを示す。図中の●印は画像等の画素データを少なくとも一時的に記憶するステップを表す。
画像処理部104は画像取得工程で入力画像を取得する。次に状態検知部107から撮像状態情報を得る(ステップS72)。そして、記憶部108から撮像状態に応じた画像回復フィルタを選択し(ステップS73)、画像回復処理工程でこの画像回復フィルタを用いて入力画像に対して回復処理を行い、回復画像を出力する(ステップS74)。
次に画像形成に必要なその他の処理を行い回復された画像を出力する(ステップS76)。ここでのその他の処理としては、回復画像がモザイク画像の状態であれば、色補間処理(デモザイキング処理)、シェーディング補正(周辺光量補正)、歪曲収差補正などがある。また、ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。
ここで、画像回復処理の流れとしてより好ましい例について図8を用いて説明する。図8は、回復処理を行う前と後のMTFの変化を表す。破線(a)、実線(b)はそれぞれ画像回復処理を行う前の第1色成分、第2色成分のMTFであり、破線(c)、実線(d)は回復処理を行った後の第1色成分、第2色成分のMTFである。図8に示すように、回復前の2つの色成分のMTF(a)、(b)に対して、画像回復処理を図3、図4で示した回復度合いよりも低い回復度合いで行う。これにより、(c)、(d)のように、MTFはあまり向上されない(MTFは低い)状態で、色収差が補正された状態になる。
この状態は、収差の位相成分および色収差は補正されているが、先鋭度は低い状態である。このような回復処理を行った回復画像に対してエッジ強調処理を行うことで、エッジ部のみの先鋭度を向上することができるので、画像全体に対して回復処理を行うよりも、ノイズ増幅を抑制することができる。
つまり、回復度合いが低い(MTFの回復量が小さい)回復画像に、エッジ強調処理を行うことにより、色収差を低減しつつ、ノイズの増幅を抑制した画像を得ることができる。
さらに好ましくは、ナイキスト周波数内において、画像回復処理において各色成分の回復後のMTFの周波数平均が、回復前の最大のMTFの1.5倍以下とすることが好ましい。以上の処理により、ノイズ増幅を抑制しつつ、色収差が低減された良質な画像を得ることができる。
その他に、位相や色収差が補正された画像に対してエッジ強調処理を行うことにより、従来の位相や色収差が補正されていない画像に対してエッジ強調処理を行うよりも対称性が高く色付きの無い高画質な画像を得ることができる。
エッジ強調処理については図9を用いて説明する。エッジ強調フィルタの一例を図9に示す。エッジ強調を行うためのフィルタは、図9に示すように、入力画像をそのまま出力するフィルタと微分フィルタの差分によって生成することができる。微分フィルタは1次微分を行うソーベルフィルタや2次微分を行うラプラシアンフィルタなどがよく知られている。図9の微分フィルタはラプラシアンフィルタである。エッジ強調フィルタは隣接画素との画素値の関係により処理を行うため、図のようにタップ数が3×3程度のフィルタがよく用いられている。
図10に図9に示したエッジ強調フィルタを用いた場合のエッジ部分の強調効果を示す。図10A、B、Cは画像中のエッジ部の輝度をある断面で見たとき図である。横軸は座標、縦軸は振幅を表している。図10Aは、画像中のエッジ部分の輝度断面であり、これに微分フィルタでエッジ部を抽出して符号反転したものが図10Bである。元の画像図10Aに図10Bを足し合わせることで図10Cのように、エッジの傾きを急峻に強調することができる。エッジ強調処理は特にエッジの急峻な部分にのみ作用し、先鋭化するので画像全体に対してはノイズ増幅の影響が少ないという利点やフィルタのタップ数が比較的小さいため高速な処理が可能であるという利点がある。よって、低い回復度合いの画像回復処理を行った後に、エッジ強調処理をするのがより好ましい。このようにエッジ強調処理と組み合わせる場合には、図7のその他必要な処理にエッジ強調処理を含めれば良い。画像のエッジ部が強調処理が可能なその他の処理としては、シャープネス処理等が挙げられる。
以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、撮像装置に関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。
実施例2では、実施例1で説明した画像回復フィルタを用いて、回復画像の色収差の出具合を調整可能な画像処理方法について説明する。
図11には、実施例2において実行される画像処理方法のフローを示す。以下の説明において、記号mは、画像の色成分(例えばR,G,B)を表す。つまり、Amは(AR,AG,AB)を示し、それぞれAのR成分、AのG成分、AのB成分を表す。Aは図11のg,f,fd,S,Sd等に相当する。
RGBの色成分を有する入力画像gmに対して、色成分ごとに選択又は生成された画像回復フィルタ(第1の画像回復フィルタ)を演算することにより、第1の回復処理を行い、第1の画像fd1m(第1回復画像)を得る。
第1の画像fd1m(第1回復画像)は、OTF(光学伝達関数)の位相成分が補正されているため、鮮鋭度が向上している。また、色成分ごとのMTFが相対的に揃うように補正されているため、色収差が低減している。つまり、被写体が白色点光源の場合、第1の画像fd1mの画像の第1色成分のスペクトルの周波数平均と第2色成分のスペクトルの周波数平均の差が、回復前の画像の第1色成分のスペクトルの周波数平均と第2色成分のスペクトルの周波数平均の差よりも減少する。ただし、第1の画像fd1mには上述したようにノイズや偽色等が含まれている。
一方、入力画像gmに対して色成分ごとに選択又は生成された画像回復フィルタ(第2の画像回復フィルタ)を演算することにより、第2の回復処理を行い、第2の画像fd2m(第2回復画像)を得る。第2の画像fd2mは、第1の画像fd1mよりもMTFの補正量を低く設定する。言い換えれば、被写体が白色点光源の場合、第2の画像fd2mの特定の色成分の画像のスペクトルの周波数平均が、第1の画像fd1mの該特定の色成分の画像のスペクトルの周波数平均よりも低い。ただし、第2の回復処理も、第1の回復処理のように色成分ごとのOTFの振幅成分(MTF)の差が、回復前より低減するように回復することがより好ましい。
尚、第2の画像fd2mとしては上述した第2の回復処理を行わずに、入力画像を用いることもできる。
第1の画像fd1mから第2の画像fd2mを式11のように対応する画素ごとに信号値を減算することで、第1の画像fd1mと第2の画像fd2mの色成分ごとの差分情報としての回復成分情報Sm(差分情報)を生成する。
そして、式12のように、色成分ごとに回復成分情報Smを回復強度調整係数μmに応じて第2の画像fd2mに合成することで、回復調整画像(出力画像)としての補正画像fmを得る。
補正画像fmは、式12から分かるように、回復強度調整係数μmが0のときに第2の画像fd2mとして得られ、回復強度調整係数μmが1のときに第1の画像fd1mとして得られる。また、回復強度調整係数μmが0から1の間においては、第2の画像fd2mから第1の画像fd1mの間で連続的に回復度合いが調整される。
ここで、回復成分情報Smの演算量(加算量)を調整することで回復度合いが制御できる。尚、回復強度調整係数μは負の係数であってもよい。
従来の方法では、回復度合いを変更する度に画像回復フィルタの再計算や画像回復フィルタと入力画像とのコンボリューション処理が必要となってしまう。しかし、以上説明した画像処理方法によれば、回復度合いを変更しても、画像回復フィルタの再計算や画像回復フィルタと画像の再コンボリューション処理を行う必要が無いので、画像処理の負担を軽減することができる。以下に図11の各工程や画像について順に説明する。
「入力画像gm、出力画像fm」
入力画像gmや出力画像fmには、レンズの焦点距離(ズーム位置)、絞り値、撮影距離(合焦距離)等の撮像状態を含む画像を補正するための各種の補正情報を付帯することができる。特に、本実施例では、補正情報に回復強度調整係数μ、色合成比調整係数ωを含む。
入力画像gmや出力画像fmには、レンズの焦点距離(ズーム位置)、絞り値、撮影距離(合焦距離)等の撮像状態を含む画像を補正するための各種の補正情報を付帯することができる。特に、本実施例では、補正情報に回復強度調整係数μ、色合成比調整係数ωを含む。
撮像から出力までの一連の処理を1つの閉じた撮像装置で行う場合には、画像に撮像状態情報や補正情報を付帯しなくとも装置内で取得することもできる。撮像装置からRAW画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮像状態情報や補正情報を付帯することが好ましい。
ただし、画像処理装置側に予め補正情報が記憶されており、撮像状態情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。補正情報は初期値として上記のように補正係数を得ることができるが、ユーザーが補正係数値を変更することもできる。撮像装置に装備されたモニタや、画像処理装置が撮像装置とは別の装置である場合に、画像処理システムの一部として装備されたモニタを用いてユーザーが出力画像を評価しながら補正係数を変更することで、好みの出力画像を得ることができる。
「第1の画像(第1回復画像)fd1m」
第1の画像fd1mは、撮像系と画像回復フィルタを含めた系の2つの色成分に対する伝達関数のMTFの差が、撮像系の2つの色成分に対する伝達関数のMTFの差よりも減少するように回復する画像回復フィルタにより生成される。この画像回復フィルタの詳細については実施例1で述べた画像回復フィルタである。
第1の画像fd1mは、撮像系と画像回復フィルタを含めた系の2つの色成分に対する伝達関数のMTFの差が、撮像系の2つの色成分に対する伝達関数のMTFの差よりも減少するように回復する画像回復フィルタにより生成される。この画像回復フィルタの詳細については実施例1で述べた画像回復フィルタである。
言い換えれば、被写体像が合焦した白色点光源である場合、2つの色成分の回復画像のスペクトルの差を、入力画像のスペクトルの差よりも低減させる画像回復フィルタを用いた画像回復処理により、第1の画像fd1mが得られる。第1の画像fd1mが必要な画質を満たしていれば、補正画像fm(回復調整画像)として用いることができる。
図12に画像の入力から第1の画像fd1mが生成されるまでの処理工程のフローを示す。図中●印は画像データをメモリ等の記憶手段に記憶する工程を表している。
まず画像取得工程で、入力画像を取得する。画像回復フィルタ取得工程で、入力画像の撮像状態に対応する画像回復フィルタを選択、または補正して取得する。この画像回復フィルタの選択、補正に関しては後述する。次の画像回復工程では、画像回復フィルタを用いて、画像の劣化した位相成分を低減する(好ましくは零にする)ように、また振幅成分を向上させるとともに、色成分間の差を低減する(色成分間で揃う)ように補正する。この画像回復工程により第1の画像fd1mを得る。言い換えれば、被写体像が合焦した白色点光源である場合、該画像回復フィルタは、回復画像(第1の画像fd1m)における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する。
「第2の画像(第2回復画像)fd2m」
第2の画像fd2mは、位相成分のみを回復する画像回復フィルタ、あるいは位相成分、振幅成分ともに回復するが第1の画像fd1mより、(振幅成分の)回復度合いの低い画像回復フィルタを用いた画像回復処理(第2の画像回復処理)により得られる。
第2の画像fd2mは、位相成分のみを回復する画像回復フィルタ、あるいは位相成分、振幅成分ともに回復するが第1の画像fd1mより、(振幅成分の)回復度合いの低い画像回復フィルタを用いた画像回復処理(第2の画像回復処理)により得られる。
好ましくは、第2の画像fd2mは、第1の画像fd1mのように、入力画像と比べて色成分間の振幅成分(MTF)の差が減少するように、あるいは相対的に揃うように回復処理が行われていることがより好ましい。
さらに好ましくは、第2の画像fd2mは、位相の劣化成分が零に補正され、振幅成分が色成分間で揃っていることが好ましい。
第1の画像fd1m、第2の画像fd2mがともに色成分間の振幅成分の差が回復により減少、あるいは回復後に揃っていれば(色収差が補正されていれば)、回復度合いの高低に関わらず、色収差が低減された補正画像を得ることができる。
また、第2の画像fd2mとして入力画像を用いることもできる。この場合、回復度合いを最も低くした状態では補正画像fm(回復調整画像)として入力画像が得られ、回復度合いを高くするに従って、MTFが向上し鮮鋭度が向上するとともに、色成分間のMTFの差が減少し色収差も補正される。
例えば、図8において説明した画像回復フィルタを、第2の画像fd2mを得るための画像回復処理における画像回復フィルタとして用いればよい。この画像回復フィルタを用いれば、MTFを2つの色成分間で揃えることで色収差を補正することができる。この状態は、収差の位相成分および色収差は補正されているが、鮮鋭度が低い(MTFが低い)状態である。
言い換えれば、第2の画像fd2mを生成する画像回復フィルタは、撮像系(撮像光学系)の2つの色成分の伝達関数(光学伝達関数)と、該2つの色成分の伝達関数の絶対値成分(MTF)の差が減少するように補正したOTFとに基づいて生成される。該画像回復フィルタは、前記第1の画像fd1mを生成する画像回復フィルタよりも低い回復度合い(第1の画像fd1mを生成する際のMTFより第2の画像fd2mを生成する際のMTFの方が低い)ことを特徴とする。さらに限定すれば、特定の色成分のMTFの周波数平均が前記第1回復画像よりも前記第2回復画像の方が小さい。画像の入力から第2の画像fd2mが生成されるまでの処理工程のフローは図12に示した第1の画像を生成するまでと同じである。
「回復成分情報Sm」
第1の画像fd1mから第2の画像fd2mを式11のように減算する(色成分および画素ごとの減算処理を行う)ことで、色成分ごとの回復成分情報Sm(差分情報)を生成することができる。撮像系(撮像光学系)で劣化した位相成分(位相劣化成分)が揃うように補正されている場合、第1の画像fd1mおよび第2の画像fd2mの位相成分の状態は実質的に等しいが、振幅成分の状態は異なっている。したがって、回復成分情報Smは、第1の画像fd1mと第2の画像fd2mの振幅成分の差分情報ということができる。
第1の画像fd1mから第2の画像fd2mを式11のように減算する(色成分および画素ごとの減算処理を行う)ことで、色成分ごとの回復成分情報Sm(差分情報)を生成することができる。撮像系(撮像光学系)で劣化した位相成分(位相劣化成分)が揃うように補正されている場合、第1の画像fd1mおよび第2の画像fd2mの位相成分の状態は実質的に等しいが、振幅成分の状態は異なっている。したがって、回復成分情報Smは、第1の画像fd1mと第2の画像fd2mの振幅成分の差分情報ということができる。
ここで、位相成分の状態は、第1の画像fd1mおよび第2の画像fd2mともに、撮像系による位相劣化成分が十分に除去された状態として揃っていることが望ましい。一方、振幅成分の状態は、後述する回復強度調整係数により回復度合いを制御できるため、異なった状態である必要がある。
このため、回復成分情報Smは、第2の画像fd2mの位相ずれ以外の収差成分と画像回復処理により発生したノイズ(ノイズの増加成分)やリンギングの成分、さらに偽色の成分も含んでいる。
「回復強度調整係数μmおよび補正画像fm」
上記、色成分間の色収差の差を低減される画像回復フィルタを用いて回復処理を行った回復画像は、色収差が低減されている。しかし、一般的に被写体は奥行きがあり、実際に撮像された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合には、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。
上記、色成分間の色収差の差を低減される画像回復フィルタを用いて回復処理を行った回復画像は、色収差が低減されている。しかし、一般的に被写体は奥行きがあり、実際に撮像された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合には、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。
さらに、2つの色成分で回復度合いが想定しているものと異なると、回復画像に色付き、すなわち偽色が発生してしまうことがある。この偽色も、ノイズやリンギングと同様にアーティファクトの1つである。偽色は、製造誤差によりエッジ部が回復処理前の画像よりも色付いた状態になることで発生する。あるいはは、太陽の反射光が強いために発生した輝度飽和により、輝度飽和部の周辺が回復処理前の画像よりも色付いた状態になることで発生する。あるいは、ピントずれによりエッジ部が回復処理前の画像よりも色付いた状態になることで発生する。
そこで、回復度合い(回復強度)を調整可能な回復強度調整係数μを用いる。これにより、画像回復に伴う色付き(偽色)、ノイズ、リンギング等の弊害発生リスクと回復度合いとのバランスを制御することが可能となる。画像回復フィルタの補正特性に対応した収差特性と画像の収差特性が異なっている場合においても、偽色やリンギング等のアーティファクトの発生を抑えた良質な画質をえることができる。以下、回復強度調整係数μについて説明する。
式12に示すように、色成分ごとに回復成分情報Smを回復強度調整係数μmに応じて第2の画像fd2mに合成することで、補正画像fmを得る。補正画像fmは回復強度調整係数μmが0のときに、補正画像fmとして第2の画像fd2mが得られ、回復強度調整係数μmが1のときに第1の画像fd1mが得られる。また、回復強度調整係数μmが0から1の間で調整可能であるので、第2の画像fd2mから第1の画像fd1mの間で連続的に回復度合いを調整することができる。
第2の画像fd2mと回復成分情報Smは共に位相成分と色収差が補正され、振幅成分(ぼけ量)のみが異なる状態である。このため、回復度合いの調整量(回復強度調整係数μの値)を変えても位相成分や色収差が変動することは無く、色収差が補正された状態を維持しながらも、鮮鋭度を調整することができる。
つまり、色収差を補正しつつ、画像回復処理による弊害(偽色、リンギング、ノイズの増幅)を考慮しながら鮮鋭度を高めることができるので、より質の高い画像を得ることができる。
また、ユーザが所望の画質を有する画像を処理負担の増大を抑えつつ提供することができる。
また、回復強度調整係数μの基本範囲は、0≦μ≦1であるが、μ>1とすることで強調補正した画像を得ることもできる。つまり、回復強度調整係数μは、可変に設定可能である。
さらに、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合いを調整することができる。これは、被写体の照明光源の分光変動や撮像光学系の製造誤差等の要因で、色成分ごとに光学伝達関数(OTF)が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像fmを得ることができる。
また、撮像光学系に製造誤差がある場合の影響の1つに、例えば、画像の左右対称な位置で劣化度合いが異なることがあり、この劣化度合いの差異は、画像上でのぼけ成分やその相対的な色付き成分の差異として現れる。ぼけ成分については、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。また、画像の位置による色付き量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。
出力画像の画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として回復度合いが低くても十分に弊害の無い画像を出力できることは出力画像の保障として重要である。これらの場合に対して、回復強度調整係数μを調整することで対応を行うことができる。
また、一般の写真撮影においても、収差が残っていることでフレアが存在する柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。
また、式11を変形して、第2の画像fd2mから第1の画像fd1mを減算して回復成分情報を抽出してもよい。この場合、式11を変形して、第2の画像fd2mからこの回復成分情報を回復強度調整係数に応じて減算(これも「合成」に含む)しても、数式上は等価であり、同じ効果が得られる。
上記のように回復度合いを変更するためには、従来は画像回復フィルタを生成する際のパラメータを変更する必要があったため、回復度合いを変更する度に画像回復フィルタを再計算する必要があった。さらに、再計算した画像回復フィルタを用いて入力画像に対してコンボリューション処理を行う必要があった。これは画像処理を高速に行うための大きな障壁となっていた。
しかし、実施例2の画像処理方法では、回復度合いを調整する場合にも、画像の合成比を変化させるだけであるので、画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。また、回復度合いを下げても収差の非対称性が少なくとも点対称な状態に補正されているため、倍率色収差が除去された状態で変動が無く、コマ収差の特徴である像の流れも補正される。
図13は本実施例の画像処理方法(画像回復処理)のフロー、特に調整パラメータ設定に関するフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復調整画像とする。この回復調整画像を評価して、そのまま出力画像とするか再度、回復度合いを変更するかを判定する。回復度合いを変更する場合には、調整パラメータを変更し、再度、画像合成処理を行う。ここにいう調整パラメータが、上述した回復強度調整係数μである。
このように、従来の画像回復処理と本実施例の画像回復処理では、調整時の画像回復フィルタの再計算の必要の有無および画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で大きく異なる。
また、出力画像としての採用の可否の判定や、回復度合いの変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行ってもよいし、予め画像の評価関数を設定しておいて自動的に行ってもよい。
さらに、入力画像の画素の特徴量に応じて自動的に調整パラメータを変更することもできる。「画素の特徴量」とは、入力画像の部分的なコントラストや輝度レベル等である。画像の部分的なコントラストの高低を検出する方法として、例えば微分フィルタを用いる方法が知られている。これを用いることで、画像中のエッジ部とそうでない部分を分離することができる。エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、エッジ部については回復度合いが高くなるように調整パラメータを設定する。一方、エッジ部でない比較的濃淡の少ない部分は回復度合いを高くしても画像全体の鮮鋭度には影響せず、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合いが低くなるように調整パラメータを設定する。
また、輝度レベルが低い部分は、本来の画像信号とノイズ信号のSN比が低いため、回復度合いを高くするとノイズが目立ち易いので、回復度合いが低くなるように調整パラメータを設定する。一方、輝度飽和をしている部分は、本来の画像信号が撮像素子のレンジの上限でクリップ(制限)されており、ここでは収差の状態も想定している状態とは大きく異なるので、画像回復による弊害が発生し易い。そこで、回復度合いが低くなるように調整パラメータを設定することで弊害を回避することができる。
その他にも、被写体を認識して被写体の種別に応じた回復度合いの調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されている。しかし、画像回復により人物の顔にノイズや偽色などのアーティファクトが発生すると、非常に不自然な画像になってしまうため、回復度合いを適度に調整することが好ましい。
また、画素の特徴量に応じて調整パラメータを変更することは、画像の位置によって調整パラメータを変更することを意味している。本実施例では、画像合成処理において画像を画素単位で合成するので、その際の混合比を変更するだけで比較的容易に調整することができる。このように画素単位で回復度合いを調整できることも本実施例の特徴の1つである。
調整パラメータの設定値は、他にもISO感度、焦点距離(ズーム位置)、被写体距離(合焦距離)、絞り値等の撮像状態に応じて変更することもできる。
また、本発明の画像処理方法の基本的なフローを説明したが、ここで説明した工程のうちいくつかの工程を一括して同時に行ってもよい。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、必要に応じて変形が可能である。
本実施例の画像回復処理(画像処理方法)を撮像装置にて実行させる場合は、図5に示した画像処理部104で実行される。図14に、画像処理部104で実行される本実施例の画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データを少なくとも一時的に記憶するステップを表す。
画像処理部104は、画像取得工程(画像取得ステップ)で入力画像を取得する。次に、画像処理部104は、状態検知部107から撮像状態情報を得て、記憶部108から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程(画像回復ステップ)で、画像処理部104は、画像回復フィルタを用いて入力画像に対して回復処理を行う。画像回復工程では、振幅成分および位相成分を補正(回復)した第1の画像と、位相成分のみを補正(回復)した第2の画像とを生成する。
回復成分情報生成工程(回復成分情報生成ステップ)では、画像処理部104は、第1の画像と第2の画像の各画素の信号値の差分から回復成分情報を生成する。回復成分情報は、第1の画像と第2の画像との差分情報であるため、値としては正の値や負の値を持っている。
そして、この回復成分情報生成工程(差分情報取得工程)では、画像処理部104は、回復強度調整係数μとしての調整パラメータの設定値を取得する。調整パラメータの設定方法としては、撮像状態や像高に応じて予め用意された設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。または、ユーザーが任意に設定することもできる。
次に、回復画像生成工程(回復調整画像生成工程)で、画像処理部104は、調整パラメータに応じて回復成分情報を第2の画像に合成して補正画像を生成する。具体的には、回復成分情報の各画素値に回復強度調整係数μを乗じた画素値を画素ごとに第2の画像に加えることで補正画像を得る。
次に、画像処理部104は、画像形成に必要なその他の処理を行い、回復された画像(補正画像)を出力する。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理(デモザイキング処理)を行う。その他、エッジ強調処理、シェーディング補正(周辺光量補正)、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。
以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。
また、画像処理部104は、少なくとも演算部と一時記憶部(バッファー)とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み(記憶)および読み出しを行う。一時的記憶部として、記憶部108を用いてもよい。
実施例3では、画像回復処理に伴う偽色の発生をさらに抑制する画像処理方法について説明する。図15は、色成分ごとの回復成分情報Smを色合成比調整係数ωに応じて色合成することで、色成分ごとの色合成回復成分情報Sdmを生成し、この色合成回復成分情報Sdmを第2の画像Smに合成する処理のフローを示している。
色合成比調整係数ωは、各色成分について全ての色成分の回復成分情報(差分量)Smをこの色合成比調整係数ωに応じて色合成することにより色合成回復成分情報(差分情報)Sdmを生成するための係数であり、色成分の混合比である。したがって、回復成分情報Smから色合成回復成分情報Sdmを生成する処理は、式13およびこれを色成分m,nについて展開して記した式14として表現することができる。
次に、式14の9つの色合成比調整係数ωの決定方法について説明する。はじめに、色合成比調整係数ωの2つの例について説明する。
1つ目は、回復強度調整係数μを1とした場合に、補正画像として第1の画像fd1mと同じ画像を得るための色合成比調整係数ωである。式14の色合成比調整係数ωの対角成分を1として残りの成分を0として単位行列をとすると、色合成回復成分情報Sdmは、それ自身の色成分の回復成分情報Smと等しくなる。これは、補正画像fmを第1の画像fd1mと同じ画像として出力する場合の係数設定である。この場合、前述した通り、補正画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色の発生リスクも大きい。
2つ目は、偽色を発生させないための色合成比調整係数ωである。式14の色合成比調整係数ωの全要素を1/3とおくと、色合成回復成分情報Sdmは全ての色成分の回復成分情報Smを平均化したものになり、色合成回復成分情報SdR,SdG,SdBともに同じものになる。色合成回復成分情報Sdmが全ての色成分で等しいということは、この後の工程で第2の画像fd2mに色合成回復成分情報Sdmを合成する際に、色成分に関する付加情報の相違が無いことになるので、偽色が発生しない。
ただし、各色成分の収差情報を平均化しているので、1つ目の第1の画像fd1mを出力画像とする場合に比べて回復度合い、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Smを平均化しても、各色成分の回復成分情報SR,SG,SBの間には少なからず正の相関(類似性)があるので、入力画像gmに対して補正画像の鮮鋭度は向上している。したがって、これが偽色の発生リスクを除去した回復条件となる。
上では、偽色の発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について説明した。この色合成比調整係数ωを連続的に変化させることで、偽色の発生リスクと回復度合いのバランスを連続的に調整することができる。
式14の色合成比調整係数ωを単位行列とした場合と全て1/3とした場合以外の中間的な色合成比調整係数ωの決定方法の例を以下に説明する。色合成比調整係数ωは、9つの設定自由度を有しているため、各要素値の設定が難しい場合がある。色合成比調整係数ωは可変に設定可能であり、例えば、撮像装置や画像処理システム上で一般ユーザーがこの色合成比調整係数ωを可変に設定する場合がその一つの例である。
この困難性を解決するために、色合成比調整係数ωの各要素間に従属関係を持たせて、制御する自由度を低減する。ただし、この従属関係は、回復度合いと偽色の発生リスクとのバランスを調整できる関係である必要がある。また、撮像装置や画像処理システムを提供する側としても好適な調整パラメータを少ない自由度で制御できることは、装置の開発工程や生産工程での作業効率を向上することができる。
色合成比調整係数ωの決定方法の例として、はじめに2つの制約条件を設ける。1つ目の制約条件は、式15のように、式14の行列ωの行ごとの和をそれぞれ1とするものである。これは、例えばR成分の色合成回復成分情報SdRを生成するための回復成分情報SR,SG,SBの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Sdm間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。
2つ目の制約条件は、式16のように、式14の行列ωの列ごとの和を1とするものである。これは、各色合成回復成分情報SdR,SdG,SdBを生成する際に、回復成分情報SR,SG,SBを各色成分に分配してそれぞれ使い果たすことを意味している。
上記の2つの制約条件を設けると、色合成比調整係数ωは式17のように表現することができる。
さらに、本実施例の目的は、回復度合いを確保しながら偽色の発生リスクを抑制することであるので、各色合成回復成分情報Sdmは色成分間での類似性が高い、すなわち相違が小さい方が好ましいことになる。前述したω=1/3とした場合の説明は、各色合成回復成分情報Sdmの色成分間での相違が無いために偽色の発生リスクが最小、すなわち偽色の発生が無い状態であった。したがって、ある色成分の回復成分情報Smを各色成分の色合成回復成分情報Sdmにできるだけ均等に配分すればよいことになるので、式17の各列の分散が小さい方が偽色の発生リスクを低減できる。
これに基づいて、式17の各列の分散を最小化すると、式18のように記すことができる。式18は、設定パラメータがωの1つになっているので、回復度合いと偽色の発生リスクのバランスの調整を容易に制御することができる。
式18においてω=1とすると、行列ωは単位行列となり、回復度合いと偽色の発生リスクがともに最大になる。また、ω=1/3とすると、行列ωは全ての要素が1/3となり、回復度合いが低下するとともに偽色の発生リスクが無くなる。したがって、1/3≦ω≦1の範囲で色合成比調整係数ωを低下させていくと、偽色の発生リスクを低減していく調整が可能となる。
ここでは、色合成比調整係数ωの決定方法の例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を0(ゼロ)にすると、色合成回復成分情報Sdmが全ての色成分で0(ゼロ)になるので、補正画像fmは第2の画像fd2mそのものとなる。このように、0≦ω≦1の範囲で色合成比調整係数ωを調整することで、位相成分のみ回復した第2の画像fd2mから、振幅成分および位相成分を回復した第1の画像fd1mまでの範囲で出力画像を調整して得ることができる。また、式14を1よりも大きく設定することで、さらに補正を強調させることも可能である。
このように、行列ωの各要素の設定自由度は1つに限定せず、9つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式16に基づいて設定すれば自由度は6である。
また、色合成比調整係数ωの範囲についても、上記した補正画像fmとして入力画像や強調画像を得る場合のように、1/3≦ω≦1に限定せず設定することもできる。すなわち、式18は、回復度合いと偽色の発生リスクを1つの設定パラメータωで容易に決定するための例にすぎない。本実施例の本質は、回復成分情報Smを色成分間で合成し、色合成回復成分情報Sdmの色成分間の類似性を制御することで、偽色の発生リスクを抑制することである。
また、式19のように色合成比調整係数ωと回復成分調整係数μを組み合わせて制御することもできる。これらを組み合わせることにより、色合成比調整係数ωは1/3≦ω≦1の範囲として偽色の発生を抑制し、回復成分調整係数μの範囲を0≦ω≦1として回復度合いを制御することが可能である。
回復成分調整係数μを色成分で共通にして、式20のようにすることもできる。
また、上記のように色成分間の回復成分情報Smを色合成する際には、各画素に複数の色成分情報を持っていることが必要になる。したがって、上記の画像回復処理を各画素に1つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理(デモザイキング処理)を行う必要がある。そのために、各色成分の回復成分情報Smに対して色補間処理を行うか、あるいは第1の画像fd1mと第2の画像fd2mに対してそれぞれ色補間処理を行うことで、各画素に複数の色成分情報をもった回復成分情報Smを生成すればよい。
以上説明したように、色合成比調整係数ωを用いることで、色収差を補正しつつ、画像回復処理により生じてしまう偽色の発生リスクも低減することが可能となり、より良質な画像を得ることができる。
図16Aには、本発明の実施例2である画像処理システムの構成図を示した。画像処理装置111は、情報処理装置により構成され、実施例1から3にて説明した画像処理方法を該情報処理装置に実行させるための画像処理ソフトウェア(画像処理プログラム)112を搭載している。撮像装置113は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体114は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、撮像により生成された画像(撮影画像データ)を記憶する。
画像処理装置111は、撮像装置113または記憶媒体114から画像データを取得して、所定の画像処理を行った出力画像(補正画像)データを出力機器116、撮像装置113および記憶媒体114の少なくとも1つに出力する。また、出力先を画像処理装置111に内蔵された記憶部にし、該記憶部に出力画像データを保存しておくこともできる。出力機器116としては、プリンタ等が挙げられる。画像処理装置111には、モニタである表示機器115が接続されており、ユーザはこの表示機器115を通して画像処理作業を行うとともに、回復調整画像(出力画像)を評価することができる。画像処理ソフトウェア112は、画像回復処理機能および回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。
また、図16Bには、別の画像処理システムの構成を示している。実施例1のように、撮像装置118単体で実施例1の画像処理を行う場合は、撮像装置118から直接、出力機器119に回復調整画像を出力することができる。
また、出力機器119に、実施例1の画像処理方法を実行する画像処理装置を搭載することで、出力機器119で画像の特徴量に応じて調整係数を設定し、回復度合いの調整を行うことも可能である。さらに、出力機器119の出力画像の劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができる。
ここで、位相劣化成分および振幅劣化成分の補正処理を含む画像回復処理および回復度合いの調整を含む画像処理を行うための補正情報の内容と、その受渡しについて説明する。図17に補正情報の一例を示し、この複数の補正情報を補正情報セットと記す。各補正情報について以下に説明する。
「補正制御情報」
補正制御情報は、撮像装置113、画像処理装置111および出力機器116のどれで補正処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置113で画像回復処理のみ行い、画像処理装置111で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置111に伝送する必要は無いが、少なくとも第2の画像と第1の画像又は回復成分情報とを伝送する必要がある。
補正制御情報は、撮像装置113、画像処理装置111および出力機器116のどれで補正処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置113で画像回復処理のみ行い、画像処理装置111で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置111に伝送する必要は無いが、少なくとも第2の画像と第1の画像又は回復成分情報とを伝送する必要がある。
「撮像装置情報」
撮像装置情報は、製品名称に相当する撮像装置113の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
撮像装置情報は、製品名称に相当する撮像装置113の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。
「撮像状態情報」
撮像状態情報は、撮影時の撮像装置111の状態に関する情報である。例えば、焦点距離(ズーム位置)、絞り値、被写体距離(合焦距離)、ISO感度、ホワイトバランス設定等である。
撮像状態情報は、撮影時の撮像装置111の状態に関する情報である。例えば、焦点距離(ズーム位置)、絞り値、被写体距離(合焦距離)、ISO感度、ホワイトバランス設定等である。
「撮像装置個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数(OTF)は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数(OTF)は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。
「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置(機器)から画像回復フィルタを伝送する必要がある。
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置(機器)から画像回復フィルタを伝送する必要がある。
「回復成分情報」
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第2の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合い調整処理を行うことができる。
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第2の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合い調整処理を行うことができる。
「調整パラメータ群」
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。
「色収差補正係数」
色収差補正係数は、式7で説明したように、色成分ごとのrH(u,v)を生成するためのH(u,v)の色成分間の混合比に関する係数である。色収差補正係数を決定した機器(装置)と画像回復処理を行う機器(装置)が別の場合には、色収差補正係数を機器間で伝送する。
色収差補正係数は、式7で説明したように、色成分ごとのrH(u,v)を生成するためのH(u,v)の色成分間の混合比に関する係数である。色収差補正係数を決定した機器(装置)と画像回復処理を行う機器(装置)が別の場合には、色収差補正係数を機器間で伝送する。
「ユーザー設定情報」
ユーザー設定情報は、ユーザーの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。
ユーザー設定情報は、ユーザーの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。
さらに、撮像装置の提供者(メーカー)がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。
上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置又は機器は画像回復処理および回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに第2の画像と回復成分情報が含まれていれば、画像回復フィルタ群は基本的には必要ない。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
101 撮像光学系
102 撮像素子
104 画像処理部
106 撮像光学系制御部
108 記憶部
110 システムコントローラ
102 撮像素子
104 画像処理部
106 撮像光学系制御部
108 記憶部
110 システムコントローラ
上記課題を解決するために本発明の画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは前記撮像系の伝達関数と、2つの色成分に対する伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと、前記入力画像とを用いて第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと前記入力画像とを用いて回復画像を生成する回復処理手段と、
前記入力画像と前記回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復することを特徴とする。
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは前記撮像系の伝達関数と、2つの色成分に対する伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと、前記入力画像とを用いて第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと前記入力画像とを用いて回復画像を生成する回復処理手段と、
前記入力画像と前記回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復することを特徴とする。
本発明は画像処理を行う画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置に関する発明であり、特に画像回復(復元)を行うものに関する。
デジタルカメラ等の撮像装置により得られた画像はボケによって、画質が劣化している。画像のボケが起こる要因は、撮像光学系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数(PSF、Point Spread Function)により表すことができる。点像分布関数(以下、PSF)をフーリエ変換することにより得ることができる光学伝達関数(OTF、Optic Transfer Function)は、収差の周波数空間における情報である。この光学伝達関数(以下、OTF)は複素数で表すことができ、OTFの絶対値、即ち、振幅成分はMTF(Modulation Transfer Function)、位相成分はPTF(Phase Transfer Function)と呼ばれる。ここでは、位相成分を位相角として以下の式1で表す。Re(OTF)、Im(OTF)はそれぞれOTFの実数部と虚数部である。
PTF=tan −1 (Im(OTF)/Re(OTF))
PTF=tan −1 (Im(OTF)/Re(OTF))
上記課題を解決するために本発明の画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは前記撮像系の伝達関数と、2つの色成分に対する伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと、前記入力画像とを用いて第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記第2回復画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであり、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであり、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと前記入力画像とを用いて回復画像を生成する回復処理手段と、
前記入力画像と前記回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。本発明の他の一側面としての画像処理装置は、
入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタとを用いて回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは前記撮像系の伝達関数と、2つの色成分に対する伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと、前記入力画像とを用いて第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであることを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像とを用いて生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像とを用いて生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記第2回復画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであり、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復する画像回復フィルタであり、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと前記入力画像とを用いて回復画像を生成する回復処理手段と、
前記入力画像と前記回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分に対する伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする。
Claims (20)
- 入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。 - 前記画像回復処理手段は、前記入力画像の画素に対して前記画像回復フィルタを畳み込み積分することにより画像回復を行うことを特徴とする請求項1に記載の画像処理装置。
- 被写体像を入力画像として取得する撮像系と、
前記入力画像と前記撮像系の伝達関数に基づいた画像回復フィルタを演算することにより回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする撮像装置。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた画像回復フィルタと、該入力画像を演算することにより回復画像を生成する画像回復処理工程を情報処理装置に実行させる画像処理プログラムであって、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理プログラム。 - 入力画像を取得する工程と、
前記入力画像と、該入力画像を取得するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する工程とを有し、
前記画像回復フィルタは、被写体が白色点光源である場合、前記回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理方法。 - 入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは、前記撮像系の2つの色成分の伝達関数の絶対値の差を減少させるように回復する画像回復フィルタであることを特徴とする画像処理装置。 - 入力画像を取得する画像取得手段と、
前記入力画像と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいた画像回復フィルタを演算することにより、回復画像を生成する画像回復処理手段とを有し、
前記画像回復フィルタは前記撮像系の伝達関数と、2つの色成分の伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする画像処理装置。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像を演算することにより第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理装置。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像を演算することにより生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像を演算することにより生成された第2回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段を有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理装置。 - 前記第1の画像回復フィルタは、前記撮像系の2つの色成分の伝達関数と、該2つの色成分の伝達関数の絶対値の差が減少するように補正した補正伝達関数とに基づいて生成されることを特徴とする請求項8または9に記載の画像処理装置。
- 前記回復調整画像生成手段は、前記撮像系と前記第1の画像回復フィルタとを含む系の2つの色成分の伝達関数の振幅成分の差が、前記撮像系の該2つの色成分の伝達関数の振幅成分の差よりも減少するように回復することを特徴とする請求項8乃至10いずれか1項に記載の画像処理装置。
- 前記調整係数は、前記第1回復画像に対する前記入力画像の演算量を調整する回復強度調整係数であることを特徴とする請求項8乃至11いずれか1項に記載の画像処理装置。
- 前記調整係数は、前記第1回復画像に対する前記第2回復画像の演算量を調整する回復強度調整係数であることを特徴とする請求項9乃至11いずれか1項に記載の画像処理装置。
- 前記調整係数は、前記差分情報の前記色成分ごとの合成比を決める色合成比調整係数であることを特徴とする請求項8乃至13いずれか1項に記載の画像処理装置。
- 撮影画像を前記入力画像として処理する請求項8乃至14いずれか1項に記載の画像処理装置とを有することを特徴とする撮像装置。
- 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像を演算することにより生成された第1回復画像と、前記入力画像との差分情報を取得する差分情報取得工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理プログラム。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと該入力画像を演算することにより生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像を演算することにより生成された第2回復画像と、の差分情報を取得する差分情報取得工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、且つ、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理プログラム。 - 入力画像を取得する工程と、
撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像を用いて生成された第1回復画像と、前記入力画像との差分情報を取得する工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復することを特徴とする画像処理方法。 - 入力画像として取得する工程と、
前記入力画像を取得するために用いた撮像系の伝達関数に基づいた第1の画像回復フィルタと前記入力画像を演算することにより生成された第1回復画像と、
前記撮像系の伝達関数に基づいた第2の画像回復フィルタと前記入力画像を演算することにより生成された第2回復画像と、の差分情報を取得する工程と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
前記第1の画像回復フィルタは、被写体が白色点光源である場合、前記第1回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2の画像回復フィルタは、被写体が白色点光源である場合、前記第2回復画像における2つの色成分のスペクトルの差が、前記入力画像における該2つの色成分のスペクトルの差よりも減少するように回復し、
前記第2回復画像の回復度合いは前記第1回復画像の回復度合いよりも低いことを特徴とする画像処理方法。 - 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第1の画像回復フィルタと、前記入力画像を演算することにより第1回復画像を生成する第1の回復処理手段と、
前記入力画像と前記第1回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第1の画像回復フィルタは、前記撮像系の2つの色成分の伝達関数の絶対値の差を減少させるように回復することを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012508185A JP5284537B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 |
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/055862 WO2011121761A1 (ja) | 2010-03-31 | 2010-03-31 | 画像処理装置、およびそれを用いた撮像装置 |
JP2010082821 | 2010-03-31 | ||
JPPCT/JP2010/055862 | 2010-03-31 | ||
JP2010082821 | 2010-03-31 | ||
JP2012508185A JP5284537B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 |
PCT/JP2011/055608 WO2011122283A1 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、およびそれを用いた撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011122283A1 true JPWO2011122283A1 (ja) | 2013-07-08 |
JP5284537B2 JP5284537B2 (ja) | 2013-09-11 |
Family
ID=44712007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012508185A Active JP5284537B2 (ja) | 2010-03-31 | 2011-03-10 | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8941762B2 (ja) |
JP (1) | JP5284537B2 (ja) |
CN (1) | CN102844788B (ja) |
WO (1) | WO2011122283A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060008555A1 (en) | 2004-07-07 | 2006-01-12 | Leprino Foods | Food ingredients and food products treated with an oxidoreductase and methods for preparing such food ingredients and food products |
WO2011122284A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
JP4931266B2 (ja) * | 2010-08-27 | 2012-05-16 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP5409589B2 (ja) * | 2010-12-17 | 2014-02-05 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
JP5274623B2 (ja) * | 2011-07-04 | 2013-08-28 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法 |
JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
JP2013066648A (ja) * | 2011-09-26 | 2013-04-18 | Olympus Corp | 内視鏡用画像処理装置及び内視鏡装置 |
JP6032879B2 (ja) * | 2011-10-03 | 2016-11-30 | キヤノン株式会社 | 撮影情報出力装置及びそれを有するレンズ装置 |
TWI455579B (zh) * | 2011-10-26 | 2014-10-01 | Ability Entpr Co Ltd | 影像擷取方法及應用其之影像處理系統及影像擷取裝置 |
TWI502549B (zh) * | 2012-02-20 | 2015-10-01 | Univ Nat Kaohsiung Applied Sci | 元件影像檢測方法及其系統 |
US20150030260A1 (en) * | 2012-03-02 | 2015-01-29 | Nec Corporation | Analysis system |
JP6056160B2 (ja) * | 2012-03-09 | 2017-01-11 | カシオ計算機株式会社 | 自動合焦装置、自動合焦方法及びプログラム |
US9030594B1 (en) * | 2012-04-19 | 2015-05-12 | Southern Methodist University | Applying phase transfer function |
US9674431B2 (en) | 2013-02-01 | 2017-06-06 | Canon Kabushiki Kaisha | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
EP2951987A4 (en) * | 2013-02-01 | 2016-08-10 | Canon Kk | IMAGE CAPTURE APPARATUS, IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND NON-TRANSIENT COMPUTER READABLE STORAGE MEDIUM |
CN104969545B (zh) * | 2013-02-05 | 2018-03-20 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
JP5933105B2 (ja) | 2013-02-15 | 2016-06-08 | 富士フイルム株式会社 | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム |
JP5864813B2 (ja) | 2013-03-04 | 2016-02-17 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
WO2014155754A1 (ja) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
CN104287761A (zh) * | 2013-07-19 | 2015-01-21 | 南京普爱射线影像设备有限公司 | C形臂x射线装置以及测量mtf值的方法 |
JP5897776B2 (ja) * | 2013-07-25 | 2016-03-30 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP5961149B2 (ja) | 2013-08-26 | 2016-08-02 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5897159B2 (ja) * | 2014-02-25 | 2016-03-30 | キヤノン株式会社 | 表示装置及びその制御方法 |
JP6042032B2 (ja) * | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
JP6042031B2 (ja) * | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
CN106464798B (zh) * | 2014-04-11 | 2018-01-05 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及记录介质 |
JP6327922B2 (ja) * | 2014-04-25 | 2018-05-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP6525718B2 (ja) * | 2015-05-11 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
WO2017168986A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
US9736333B1 (en) * | 2016-04-08 | 2017-08-15 | Xerox Corporation | Filter configuration for software based image path |
WO2018150682A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
WO2018150695A1 (ja) * | 2017-02-17 | 2018-08-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびカメラシステム |
CN110381806B (zh) * | 2017-03-31 | 2021-12-10 | Hoya株式会社 | 电子内窥镜系统 |
US10897560B2 (en) * | 2017-06-07 | 2021-01-19 | Rambus Inc. | Imaging devices and methods for reducing image artifacts |
JP7414430B2 (ja) * | 2018-10-04 | 2024-01-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 |
US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
CN109816609B (zh) * | 2019-01-31 | 2021-12-21 | 领航基因科技(杭州)有限公司 | 一种基于傅里叶变换的数字pcr图像还原方法及其应用 |
CN110927947B (zh) * | 2019-11-15 | 2022-03-18 | 上海安翰医疗技术有限公司 | 相衬显微成像系统及其成像方法 |
WO2021171928A1 (ja) * | 2020-02-26 | 2021-09-02 | ソニーグループ株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN112097904A (zh) * | 2020-08-20 | 2020-12-18 | 中国科学院西安光学精密机械研究所 | 基于衍射透镜/变焦透镜阵列的光谱成像系统及方法 |
CN114205487A (zh) * | 2020-08-28 | 2022-03-18 | 超威半导体公司 | 内容自适应镜头阴影校正方法和装置 |
CN112312032B (zh) * | 2020-10-21 | 2022-03-25 | Tcl通讯(宁波)有限公司 | 一种屏下摄像头摄像方法、装置、存储介质及移动终端 |
JP2024508314A (ja) * | 2021-03-03 | 2024-02-26 | ボストン サイエンティフィック サイムド,インコーポレイテッド | 内視鏡手順での散心抑制のための画像処理の方法 |
KR20230028953A (ko) * | 2021-08-23 | 2023-03-03 | 삼성전자주식회사 | 이미지를 제공하는 방법 및 이를 지원하는 전자 장치 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4281929B2 (ja) | 1998-11-18 | 2009-06-17 | カシオ計算機株式会社 | エッジ強調装置及びエッジ強調方法 |
US7286166B2 (en) * | 1999-05-27 | 2007-10-23 | Intel Corporation | Calibrating digital cameras for varying ambient light conditions |
WO2004063989A2 (en) * | 2003-01-16 | 2004-07-29 | D-Blur Technologies Ltd. | Camera with image enhancement functions |
KR100580624B1 (ko) * | 2003-09-19 | 2006-05-16 | 삼성전자주식회사 | 영상 표시 방법과 장치 및 컴퓨터 프로그램을 저장하는컴퓨터로 읽을 수 있는 기록 매체 |
US7557969B2 (en) * | 2004-03-22 | 2009-07-07 | Kabushiki Kaisha Toshiba | Color balance correction chart, color balance correction method, and image forming apparatus |
JP4706635B2 (ja) * | 2004-04-12 | 2011-06-22 | 株式会社ニコン | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ |
KR100699834B1 (ko) * | 2005-02-07 | 2007-03-27 | 삼성전자주식회사 | 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치 |
JP4945943B2 (ja) * | 2005-07-14 | 2012-06-06 | 株式会社ニコン | 画像処理装置 |
JP4712631B2 (ja) * | 2005-07-28 | 2011-06-29 | 京セラ株式会社 | 撮像装置 |
JP4787959B2 (ja) * | 2006-01-10 | 2011-10-05 | 国立大学法人東京工業大学 | 画像復元フィルタ及びそれを用いた画像復元方法 |
JP5222472B2 (ja) * | 2006-07-14 | 2013-06-26 | イーストマン コダック カンパニー | 画像処理装置、画像復元方法およびプログラム |
JP2008268937A (ja) * | 2007-03-29 | 2008-11-06 | Kyocera Corp | 撮像装置および撮像方法 |
JP5034117B2 (ja) * | 2007-05-30 | 2012-09-26 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
KR101341101B1 (ko) * | 2007-09-11 | 2013-12-13 | 삼성전기주식회사 | 영상 복원 장치 및 복원 방법 |
JP5076240B2 (ja) * | 2008-02-05 | 2012-11-21 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
JP5171361B2 (ja) * | 2008-04-07 | 2013-03-27 | 株式会社日立製作所 | 撮像装置 |
JP4986965B2 (ja) * | 2008-09-30 | 2012-07-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
WO2011122284A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
-
2011
- 2011-03-10 CN CN201180016035.9A patent/CN102844788B/zh active Active
- 2011-03-10 WO PCT/JP2011/055608 patent/WO2011122283A1/ja active Application Filing
- 2011-03-10 JP JP2012508185A patent/JP5284537B2/ja active Active
- 2011-08-05 US US13/204,530 patent/US8941762B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20110292257A1 (en) | 2011-12-01 |
CN102844788A (zh) | 2012-12-26 |
US8941762B2 (en) | 2015-01-27 |
CN102844788B (zh) | 2016-02-10 |
WO2011122283A1 (ja) | 2011-10-06 |
JP5284537B2 (ja) | 2013-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5546229B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5147994B2 (ja) | 画像処理装置およびそれを用いた撮像装置 | |
JP6525718B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011124692A5 (ja) | ||
KR101536162B1 (ko) | 화상처리장치 및 방법 | |
JP2011123589A5 (ja) | ||
US20130050546A1 (en) | Image processing apparatus and method | |
JP5344648B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
WO2011121763A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2023119413A (ja) | 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130529 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5284537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |