JP5222472B2 - 画像処理装置、画像復元方法およびプログラム - Google Patents

Description

本発明は、劣化関数を用いた画像復元アルゴリズムに基づいて劣化画像から復元画像を生成する技術に関する。

デジタルカメラ等の撮像装置で撮像された画像がピンボケ、手ぶれ、収差等により劣化が生じている場合に劣化画像を復元するための画像復元アルゴリズムが従来より知られている。

画像復元アルゴリズムとしては、例えば、撮影時のぶれによる画像劣化を劣化関数（点像分布関数（ＰＳＦ））で表し、劣化関数に基づいてぶれのない画像に回復する手法が知られている。

劣化関数を用いた画像復元アルゴリズムとしては、例えば、ウィナーフィルタ、一般逆フィルタ、射影フィルタ等が知られている。特許文献１には、ウィナーフィルタを用いた画像復元の手法が開示されおり、特許文献２には、一般逆フィルタを用いた画像復元の手法が開示されている。

ここで、劣化画像を復元する手法で用いる劣化関数について説明する。

ｆ（ｘ、ｙ）を理想画像とし、ｇ（ｘ、ｙ）を劣化画像としたとき、
の関係があると仮定する。ここで、ｈ（ｘ、ｙ、ｘ′、ｙ′）は劣化関数、ｖ（ｘ、ｙ）は出力画像におけるランダム雑音を表す。

平行移動を除いて、点の劣化した像がその点の位置に依存しないならば、劣化関数は、ｈ（ｘ−ｘ’、ｙ−ｙ’）の形となり、式（１）は、
となる。雑音がないとき、式（２）の両辺のフーリエ変換を行い、畳み込み定理より、 Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）Ｆ（ｕ、ｖ） ・・・（３）
となる。Ｇ（ｕ、ｖ）、Ｆ（ｕ、ｖ）、Ｈ（ｕ、ｖ）はそれぞれｇ（ｘ、ｙ）、ｆ（ｘ、ｙ）、ｈ（ｘ、ｙ）のフーリエ変換を表す。ここで、Ｈ（ｕ、ｖ）は、理想画像ｆ（ｘ、ｙ）を劣化画像ｇ（ｘ、ｙ）に変換するシステムの伝達関数である。

ここでは、カメラと風景との相対的な運動による劣化についてのみ取り上げるため、その劣化モデルについて以下に説明する。もし、相対運動が平面内におけるイメージセンサの撮像面の運動によるものと近似的に等しいならば、撮像面の点における露光量の総計は、瞬時的な露光量をシャッタが開いている時間だけ積分することによって求められる。この場合、シャッタの開閉に要する時間は無視できるものとする。α（ｔ）、β（ｔ）をそれぞれ変位のｘ、ｙ方向の成分であるとすると、
となる。この場合、Ｔは露光時間で、便宜的に−Ｔ／２からＴ／２までであるとした。式（４）の両辺をフーリエ変換すると、
となる。ｘ−α（ｔ）＝ξ、ｙ−β（ｔ）＝ηと置くと、上式は
となる。この式（５）から、劣化は式（３）またはこれに等しい式（２）でモデル化されることがわかる。そこで、劣化関数Ｈ（ｕ、ｖ）は次式で与えられる。

従って、Ｘ軸に対して、角度θ、一定の速度Ｖで時間Ｔだけぶれた場合の劣化関数は、 Ｈ（ｕ、ｖ）＝ｓｉｎ πωＴ／πω ・・・（７）
で与えられる。ここで、
ω＝（ｕ−ｕ0）Ｖｃｏｓθ＋（ｖ−ｖ0）Ｖｓｉｎθ・・・（８）
で、ｕ0、ｖ0は画像の中心座標である。尚、ωが微小な時はＨ（ｕ、ｖ）＝Ｔと近似する。

このようにして求められた劣化関数Ｈを用いた画像復元アルゴリズムとして、劣化画像に対してフーリエ変換して周波数空間での演算を行う、あるいは実空間の画像に対して最急降下法の反復計算を行う、等の手法が提案されている。

ここで、劣化画像に対してフーリエ変換して周波数空間での演算を行う手法について説明する。

すなわち、劣化画像ｇ（ｘ、ｙ）と元の画像ｆ（ｘ、ｙ）が上記式（２）のモデルに従うと仮定する。このとき、雑音が無いならば、ｇ（ｘ、ｙ）、ｆ（ｘ、ｙ）及び劣化画像Ｈ、ｈ（ｘ、ｙ）のフーリエ変換は上記式（３）を満たす。ここで、式（３）を変形すると、 Ｆ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｈ（ｕ、ｖ） ・・・（９）
となる。この式（９）から、Ｈ（ｕ、ｖ）が既知であれば、劣化した画像のフーリエ変換Ｇ（ｕ、ｖ）に１／Ｈ（ｕ、ｖ）をかけて逆フーリエ変換することによって、ｆ（ｘ、ｙ）を復元することができる。

また、他の例として、最急降下法による反復計算を用いて画像復元を行う手法について、以下、図１８を用いて説明する。

図１８は、最急降下法による反復計算を用いて画像復元を行う画像復元処理装置の処理手順を示すフローチャートである。

図１８において、画像復元処理装置は、劣化画像ｇ（ｘ、ｙ）を０回目の復元画像（つまり、初期画像）としてＲＡＭにセットする（Ｓ１０）。次に、反復回数を示すパラメータｎを０に初期化し、さらに最大反復回数ｎ_ＭＡＸをＲＯＭから読み込み（Ｓ１２）、所定の収束パラメータεをＲＯＭから読み込む（Ｓ１４）。また、終了判定パラメータとして閾値ＴｈｒをＲＯＭから読み込む（Ｓ１６）。次に、反復回数ｎが所定の最大反復回数より小さい場合（ステップＳ１８の判定結果が、肯定「Ｙ」）、反復回数ｎをインクリメントした後（Ｓ２０）、∇Ｊ（ナブラ）を算出し（Ｓ２２）、∇Ｊのノルムの２乗を算出してこれをパラメータｔとする（Ｓ２４）。

ここで、Ｊは一般逆フィルタの評価量であり、劣化画像ｇ（ｘ、ｙ）、復元画像ｆ（ｘ、ｙ）、劣化関数ｈ（ｘ、ｙ）とした場合に、
Ｊ＝‖ｇ（ｘ、ｙ）−ｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）‖^２
（*は畳み込み積分を表す。）で与えられる。上式は、評価量Ｊは、復元画像ｆ（ｘ、ｙ）に劣化関数ｈ（ｘ、ｙ）を作用させて得られる画像ｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）と実際の劣化画像ｇ（ｘ、ｙ）との差分の大きさで与えられることを意味する。復元画像が正しく復元されていれば、理論的にはｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）＝ｇ（ｘ、ｙ）であって評価量は０である。評価量Ｊが小さいほど、復元画像ｆ（ｘ、ｙ）はより良く復元されたことになる。最急降下法では、この評価量Ｊの勾配である∇Ｊの大きさ、すなわち∇Ｊのノルムの２乗が閾値以下となるまで反復計算を繰り返し、閾値以下となった時点で反復計算を終了して復元画像ｆ（ｘ、ｙ）を得るものである。なお、評価量Ｊとして一般逆フィルタの場合を例示したが、ｇ（ｘ、ｙ）とｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）との差を評価する任意の評価量に適用できることは言うまでもなく、ｇ（ｘ、ｙ）とｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）との差を演算するＴｉｋｎｏｈｏｖ−Ｍｉｌｌｅｒ正規化法やベイズ復元法における評価量も含まれる。

さて、図１８に戻り、画像復元処理装置は、ｔが閾値Ｔｈｒを超えているか否かを判定し（Ｓ２６）、閾値Ｔｈｒを超えている場合には復元が未だ十分ではないとして∇Ｊに収束パラメータεを乗じて（Ｓ２８）、復元画像からε∇Ｊを差し引くことで新たな復元画像を生成し（Ｓ３０）、ｔが閾値Ｔｈｒ以下となるまでステップＳ１８〜ステップＳ３０の処理を反復する。ｔが閾値Ｔｈｒ以下となった場合（ステップＳ２６の判定結果が、肯定「Ｙ」）、あるいはｔは閾値Ｔｈｒ以下とならない場合でも最大反復回数に達してしまった場合（ステップＳ１８の判定結果が、否定「Ｎ」）に処理を終了する。

以上の手法が、最急降下法による反復計算を用いて画像復元を行う手法である。なお、反復計算を伴う画像復元処理の原理は、例えば、非特許文献１に記載されている。

特開２００４−２０５８０２号公報 特開２００２−２８８６５３号公報 M.Elad and A.Feuer;Super-Resolution of An Image Sequence - Adaptive Filtering Approach;Technion - Israel Institute of Technology,4 April 1997

一般に上記のような画像復元アルゴリズムを用いて復元画像を得るには演算処理の負担が大きい。

本発明は、画像復元アルゴリズムに基づく演算処理の負担を抑えながら必要に応じて画像復元を行う画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、撮影された劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離部と、少なくとも前記第１画像に対して、撮影条件に基づいて定められる点像分布関数を表すＰＳＦ画像を用いて所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部と、前記画像復元処理を行った前記第１画像と、前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成部と、を備え、前記画像復元処理部は、前記ＰＳＦ画像のサイズが所定のサイズ以下である場合に前記第２画像に対して前記画像復元アルゴリズムに基づく画像復元処理を行わず、前記ＰＳＦ画像のサイズが所定のサイズより大きい場合に前記第２画像に対しても前記画像復元アルゴリズムに基づく画像復元処理を行うことを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元アルゴリズムは、前記ＰＳＦ画像を用いた反復計算を含むアルゴリズムであって、前記画像復元処理部が前記第２画像に対して行う反復計算の回数は、前記第１画像に対して行う反復計算の回数よりも少ないことを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、撮影された劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離部と、前記第１画像及び前記第２画像に対して、撮影条件に基づいて定められる点像分布関数を表すＰＳＦ画像を用いて反復計算を含む所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部であって、前記第２画像に対する反復計算の回数が前記第１画像に対する反復計算の回数より小さくなるように画像復元処理を行う画像復元処理部と、前記画像復元処理を行った前記第１画像及び前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成部と、を備えることを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元処理部は、前記第２画像に対して行う反復計算の最大反復回数を前記第１画像に対して行う反復計算の最大反復回数よりも小さくすることを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元アルゴリズムは、劣化画像をＧ、復元画像をＦ、ＰＳＦ画像をＨとした場合、復元画像ＦにＰＳＦ画像Ｈを作用させて得られる画像ＨＦと劣化画像Ｇとの差の大きさに基づいて評価値Ｊを算出し、前記評価値Ｊの勾配の大きさが閾値以下となるまで前記復元画像Ｆの算出及び評価値Ｊの算出処理を繰り返し実行することで画像復元処理を行う最急降下法による反復計算を用いたアルゴリズムであって、前記第２画像に対する閾値は前記第１画像に対する閾値よりも大きいことを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元処理部は、前記第２画像からエッジ部分を抽出し、抽出したエッジ部分について前記画像復元処理を行い、前記画像復元生成部は、前記画像復元処理を行った前記第１画像と、前記エッジ部分について画像復元処理を行った前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成することを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元処理部は、前記第２画像の解像度を前記第１画像の解像度より低くなるように解像度変換し、解像度変換された前記第２画像に対して画像復元処理を行い、前記画像復元生成部は、前記画像復元処理を行った前記第１画像と、解像度変換された後に画像復元処理を行った前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成することを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元処理部は、前記ＰＳＦ画像の重心が前記ＰＳＦ画像を構成する特定画素の中心に位置するように前記ＰＳＦ画像を修正し、修正したＰＳＦ画像を用いて画像復元処理を行うことを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記画像復元処理部が画像復元処理を行う前に前記劣化画像に対して線形補間の画素補間のみ行う画素補間部を備えることを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記第１画像はＧ成分画像であり、前記第２画像はＲ成分画像及びＢ成分画像であることを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記第１画像は輝度成分画像であり、前記第２画像は色差成分画像であることを特徴とする。

本発明によれば、画像復元アルゴリズムに基づく演算処理の負担を抑えながら必要に応じて画像復元を行うことができる。

本発明を実施するための最良の形態について（以下、実施形態とする）について、以下図面を用いて説明する。

図１は、本実施形態に係るデジタルカメラの機能ブロックを示す図である。なお、本実施形態では、画像処理装置の一例として民生用のデジタルカメラを例に説明するが、監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用することができる。

図１において、撮像部１０は、ＣＰＵ２０の制御の下、被写体からの光を受光して、受光した光に応じたＲＡＷデータを出力する。撮像部１０は、図２に示すように、光学系１２、イメージセンサ１４、及びＣＤＳ（Correlated Double Sampling）−Ａ／Ｄ（Analog/Digital）回路１６を含む。

イメージセンサ１４はカラーフィルタを備え、カラーフィルタは、赤色フィルタ（Ｒ）と、Ｒ列の緑色フィルタ（Ｇｒ）と、青色フィルタ（Ｂ）と、Ｂ列の緑色フィルタ（Ｇｂ）がベイヤ配列で配置される。イメージセンサ１４からは、赤色フィルタ（Ｒ）の画素の信号であるＲ信号と、Ｒ列の緑色フィルタ（Ｇｒ）の画素の信号であるＧｒ信号と、青色フィルタ（Ｂ）の画素の信号であるＢ信号と、Ｂ列の緑色フィルタ（Ｇｂ）の画素の信号であるＧｂ信号とが出力される。以下、Ｒ信号、Ｇｒ信号、Ｂ信号、Ｇｂ信号を含めてＲＡＷデータと称する。ＣＤＳ（Correlated Double Sampling）−ＡＤ（Analog/Digital）回路１６は、相関二重サンプリングによりイメージセンサ１４から出力されたＲＡＷデータのノイズを低減し、ＲＡＷデータをアナログ信号からデジタル信号へ変換する。

ＣＰＵ２０は、デジタルカメラ全体を制御する中央処理装置である。ＣＰＵ２０は、ＲＯＭ２２に格納された各種プログラムやパラメータをＲＡＭ２４に展開して各種演算を行う。画像処理部３０は、ＲＡＷデータに対してＲＧＢ補間、ホワイトバランスなどの各種画像処理を行い、その結果として得られる画像データを出力する。表示装置４０は、画像データに基づく映像を表示することで、撮影用のビューファインダーとして機能する。また、記録媒体５０は、画像データを記録する。手ぶれ検出部６０は、デジタルカメラの光軸であるＺ軸に対して垂直方向となるＸ軸およびＹ軸回りの角速度を検出する２つの角速度センサを備え、撮影時におけるユーザの手ぶれにより生じるＸ軸周り及びＹ軸周りにおける角速度ｄθｘ／ｄｔ、ｄθｙ／ｄｔを出力する。

図３Ａは、画像処理部３０のさらに詳細の機能ブロックを示す図である。ここで、画像処理部３０は、手ぶれにより劣化が生じている劣化画像に対して、一般逆フィルタ等の周知の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部３６を含む。なお、一般逆フィルタ等の画像復元アルゴリズムを用いる場合、予め劣化関数を求めておく必要がある。この場合、ＣＰＵ２０が図４に示すフローチャートに基づいて劣化関数を求める。すなわち、ＣＰＵ２０は、手ぶれ検出部６０から角速度ｄθｘ／ｄｔ、ｄθｙ／ｄｔの入力を受けて（Ｓ１００）、時系列の変位角θｘ（ｔ）、θｙ（ｔ）を算出する（Ｓ１０２）。さらに、ＣＰＵ２０は、現時点でのズーム位置に基づいて求められたレンズの焦点距離、撮影時における露出時間と、変位角θｘ、θｙとに基づいてイメージセンサ１４上のぶれの変位軌跡を算出し（Ｓ１０４）、算出されたイメージセンサ１４上のぶれ軌跡から劣化関数を求めて（Ｓ１０６）、ＲＡＭ２４に保持しておく（Ｓ１０８）。このようにして、撮影条件としての撮影時の手ぶれが手ぶれ検出部６０により検出され劣化関数が決定される。なお、後述のように劣化関数は一般的に点像分布関数ＰＳＦ（Point Spread Function）として一義的に表現される。

さて、従来の画像復元処理は、劣化画像に対して画像復元を行う場合、劣化画像を構成するＲ，Ｇ，Ｂの各色成分画像に対して一律に所定の画像復元アルゴリズムに基づいて画像復元処理を行う。しかしながら、本実施形態における画像復元処理部３６は、劣化画像を構成する色成分画像のうちＧ成分画像に対して画像復元処理を行い、Ｒ成分画像及びＢ成分画像に対しては画像復元処理を行わない。

以下、画像処理部３０が、ＣＰＵ２０の制御の下、ＣＤＳ−ＡＤ回路１６から出力されたＲＡＷデータに対して行う各種画像処理について、図３Ａ及び図３Ｂを参照して説明する。なお、図３Ｂは、画像処理部３０が行う処理手順を示すフローチャートである。

まず、ＲＡＷデータは、第１画像メモリ３２ａに一旦記録された後（Ｓ２００）、順次再生され（Ｓ２０２）、ＲＧＢ補間部３４に入力される。ＲＧＢ補間部３４は、ＲＡＷデータに対して周知の画素補間処理により画素補間を行い、ＲＡＷデータを構成する各画素に欠けている色成分を、周辺画素の色成分を参照して補間する（Ｓ２０４）。さらに、ＲＧＢ補間部３４は、各画素に含まれる各色成分を分離して色成分ごとに色成分画像を生成し出力する（Ｓ２０６）。ＲＧＢ補間部３４から出力された色成分画像は、画像復元処理部３６に入力され、画像復元処理部３６が各色成分画像に対して画像復元処理を行う（Ｓ２０８）。

ここで、画像復元処理部３６が行う画像復元処理についてさらに説明する。なお、本実施形態では、画像復元処理アルゴリズムとして、図１８において説明した最急降下法による反復計算を用いた画像復元処理アルゴリズムを用いる。図５Ａは、本実施形態における画像復元処理部３６の動作について説明するための機能ブロックを示す。また、図５Ｂは、画像復元処理部３６が、Ｇ成分画像に対して行う画像復元処理の処理手順を示す図である。上記の通り、本実施形態では、Ｒ、Ｂ成分画像に対して画像復元処理は行わない。よって、画像復元処理部３６は、ＲＧＢ補間部３４から入力されたＲ、Ｂ成分画像は、画像復元処理を行わずにそのまま出力する。一方、Ｇ成分画像については画像復元処理を施す。

図５Ｂにおいて、画像復元処理部３６は、まず、パラメータ設定部３６１において、反復計算に必要な初期パラメータを設定する（Ｓ３００）。つまり、パラメータ設定部３６１は、ＲＯＭ２２から、最大反復回数ｎ_ＭＡＸ、収束パラメータε、閾値Ｔｈｒを読み込む。また、０回目の復元画像として復元処理前のＧ成分画像をセットし、反復回数ｎを０に初期化する。続いて、画像復元処理部３６は、Ｇ復元処理部３６２ａにおいて、Ｇ成分画像に対して反復計算を伴う画像復元処理を実行する（Ｓ３０２）。つまり、図１８におけるステップＳ１８〜ステップＳ３０の処理を繰り返す。その後、画像復元処理部３６は、画像復元処理が終了すると（ステップＳ３０４の判定結果が、肯定Ｙ）、復元処理後のＧ成分画像を出力する。以上の処理が、画像復元処理部３６が行う画像復元処理である。

さて、図３Ｂに戻り、画像復元処理部３６から出力されたＧ成分画像、Ｒ成分画像及びＢ成分画像はＲＧＢｔｏＹＣ部３８ａに入力され、各色成分画像に対して下記に示すホワイトバランス調整等の補正処理が行われる（Ｓ２１０）。

すなわち、ＲＧＢｔｏＹＣ部３８ａは、Ｇ成分画像、Ｒ成分画像及びＢ成分画像を、輝度成分画像Ｙ、色差成分画像ＣＲ、色差成分画像ＣＢに変換し、出力する。輝度成分画像Ｙ、色差成分画像ＣＲ、色差成分画像ＣＢは、ＹＣＣｔｏＲＧＢ部３８ｂに入力され、再びＲ成分画像、Ｇ成分画像、Ｂ成分画像に変換される。輝度成分画像Ｙは、エッジ処理部３８ｇにも入力され、エッジ処理が行われる。Ｒ成分画像、Ｇ成分画像、Ｂ成分画像は、その後、ＷＢ部３８ｃでホワイトバランス調整、色補正部３８ｄで色補正、さらにγ補正部３８ｅでγ補正が行われた後、再度、ＲＧＢｔｏＹＣＣ部ｆで輝度成分画像ＹＨ、色差成分画像ＣＲ、色差成分画像ＣＢに変換される。輝度成分画像ＹＬに対してはエッジ処理部３８ｇから出力されたエッジ処理済みの輝度成分画像ＹＨが加算される。その後、輝度成分画像Ｙ、色差成分画像ＣＲ、色差成分画像ＣＢは一旦第２画像メモリ３２ｂに記録された後（Ｓ２１２）、ＪＰＥＧ等に圧縮され、記録媒体５０に復元画像の画像データとして記録される（Ｓ２１４）。あるいは、輝度成分画像Ｙ、色差成分画像ＣＲ、色差成分画像ＣＢは合成され、復元画像として表示装置４０に出力され画面表示される。

以上、本実施形態では、ＲＧＢ補間部３４から出力される各色成分画像のうち、Ｇ成分画像に対してのみ所定の画像復元アルゴリズムに基づく画像復元処理が行われる。人間の目は輝度成分に非常に敏感であり、Ｒ，Ｇ，Ｂの各色成分のうち、Ｇ成分が輝度成分に最も寄与する。そこで、本実施形態によれば、Ｇ成分画像を優先的に画像復元処理することで、すべての色成分画像について画像復元処理を行う場合よりも、画像復元処理に関する回路を小型化、つまりゲート規模を小型化し、比較的短時間に画像復元処理を実行することができる。よって、消費電力を低減することができる。また、本実施形態によれば、画像復元処理に利用されるメモリ容量が少なくて済む。そのため、例えば、連写時の撮影枚数を増やすことができる。

上記の実施形態では、画素補間後に劣化画像を構成する各画素に含まれるＧ成分を取り出して画像復元処理を実行する例について説明した。しかし、例えば、第１の変形例として、画素補間を行う前のＲＡＷデータからＧ成分をもつＧｒ成分画像及びＧｂ成分画像を抽出して、Ｇｒ成分画像及びＧｂ成分画像に対してのみ所定の画像復元アルゴリズムに基づく画像復元処理を行ってもよい。図６Ａは、第１の変形例における画像処理部３０の機能ブロックを示す。また、図６Ｂは、第１の変形例における画像処理部３０の処理手順を示すフローチャートである。第１の変形例では、図６Ａに示すように、ＲＧＢ補間部３４の前段に画像復元処理部３６が設けられる。

以下、図６Ｂを参照して第１の変形例おける画像処理部３０の処理手順について、図３Ｂに示した実施形態における画像処理部３０の処理手順と異なる部分を中心に簡単に説明する。第１の変形例では、画像処理部３０は、第１画像メモリに記録されたＲＡＷデータに対して画像復元処理を行い（Ｓ２０４−１）、画像復元処理が行われたＲＡＷデータに対して画素補間行い（Ｓ２０６−１）、各色成分画像を生成し（Ｓ２０８−１）、上記の実施形態と同様に各種補正処理が行われる（Ｓ２１０−１）。

図７は、第１の変形例における画像復元処理部３６の機能ブロックを示す。図７に示す通り、第１の変形例では、分離部３６３において、まず、ＲＡＷデータが、Ｇｒ、Ｇｂ成分画像と、Ｒ、Ｂ成分画像に分離され、Ｇｒ、Ｇｂ成分画像がＧｒ・Ｇｂ復元処理部３６２ｂにおいて、画像復元処理が行われる。なお、Ｇｒ・Ｇｂ復元処理部３６２ｂで行われる画像復元処理は、Ｇ復元処理部３６２ａで行われる復元処理と同様でよい。つまり、Ｇｒ・Ｇｂ復元処理部３６２ｂは、図５Ｂに示すフローチャートに基づく復元処理を実行する。その後、画像復元処理部３６は、復元処理が施されたＧｒ、Ｇｂ成分画像と、復元処理が施されていないＲ、Ｂ成分画像とを併せて、復元処理済みのＲＡＷデータとして出力する。

また、第２の変形例として、ＲＡＷ信号を画素補間して得られる各色成分画像を輝度成分画像Ｙと色差成分画像ＣＲ、ＣＢに変換した後、輝度成分画像Ｙに対してのみ画像復元処理を行ってもよい。図８Ａは、第２の変形例における画像処理部３０の機能ブロックを示す。また、図８Ｂは、第２の変形例における画像処理部３０の処理手順を示す。第２の変形例では、ＲＧＢ補間部３４と、画像復元処理部３６との間に、ＷＢ部３８ｃとＲＧＢｔｏＹＣＣ部３８ｂが設けられる。図８Ｂに示すように、第２の変形例では、ＲＧＢ補間部３４で生成された各色成分画像に対して、ホワイトバランス調整が行われ、さらに各色成分画像を輝度成分画像Ｙと、色差成分画像ＣＲ、ＣＢとに変換した後に（Ｓ２０７−２）、画像復元処理が行われる（Ｓ２０８−２）。なお、上記では、ＲＧＢｔｏＹＣＣ部３８ａにおけるＹＣＣ変換の確度を上げるため画素補間後の各色成分画像に対してホワイトバランス調整を行っているが、ホワイトバランス調整は、画像復元処理後でも構わない。

図９は、第２の変形例おける画像復元処理部３６の機能ブロックを示す。図９に示す通り、画像復元処理部３６は、輝度成分画像Ｙに対してＹ復元処理部３６２ｃにおいて、図５Ｂに示すフローチャートに基づく画像復元処理を行う。

さて、上記の実施形態等では、Ｇ成分画像や輝度成分画像Ｙのみ画像復元処理を行う例について説明した。しかし、例えばＧ成分画像のみ画像復元を行った後に、各色成分画像を合成して復元画像を生成すると、復元画像に色ずれが生じ、十分な画像品質を得られない場合がある。特に、エッジ部分は色ずれの影響が大きくなる。そこで、第３の変形例として、Ｒ成分画像及びＢ成分画像のエッジ部分については画像復元処理を施してもよい。

図１０Ａは、第３の変形例における画像復元処理部３６の機能ブロックを示す。また、図１０Ｂは、第３の変形例における画像復元処理部３６がＲ成分画像及びＢ成分画像のエッジ部分について行う画像復元処理の手順を示すフローチャートを示す。

以下、図１０Ｂを参照して、第３の変形例における画像復元処理部３６の処理手順について説明する。

Ｇ復元処理部３６２ａがＧ成分画像に対して図５Ｂに示すフローチャートに基づく画像復元処理を行った後（Ｓ３００）、エッジ抽出部３６４が、ＲＧＢ補間部３４が出力されるＧ成分画像からフィルタなどを用いてエッジ部分を抽出して、復元処理前のエッジ部分画像を生成する（Ｓ３０２）。さらに、エッジ抽出部３６４は、画像復元処理後のＧ成分画像からエッジ部分を抽出して、復元処理後のエッジ部分画像を生成する（Ｓ３０４）。差分画像生成部３６５は、復元処理前のエッジ部分画像と、復元処理後のエッジ部分画像との差分画像を生成する（Ｓ３０６）。画像復元処理部３６は、生成された差分画像をＲ成分画像及びＢ成分画像に加算することで、Ｒ成分画像及びＢ成分画像のエッジ部分に画像復元処理を施す（Ｓ３０８）。なお、画素補間前に画像復元処理を行う場合にも、Ｒ成分画像およびＢ成分画像のエッジ部分については、画像復元処理を行ってもよい。

ところで、劣化画像を構成する各色成分画像のうちＧ成分画像のみ画像復元処理を行う場合、劣化画像のぶれ量が大きいほど色ずれが大きくなる。そのため、ぶれ量が大きい場合には、Ｒ成分画像及びＢ成分画像についても画像復元処理を施すほうが望ましい。

そこで、ぶれ量が大きいほど劣化関数のサイズが大きくなることを考慮して、第４の変形例として、劣化関数が所定の値以上の場合には、Ｒ成分画像及びＢ成分画像についても画像復元処理を施してもよい。なお、劣化関数のサイズは、例えば、以下のように求めればよい。

すなわち、画像復元処理に用いられる劣化関数は、一般に画像（ＰＳＦ画像）として表現される。以下、第４の変形例について説明する前にＰＳＦ画像について説明する。

本実施形態では、ＰＳＦ画像、つまり劣化関数は、図４に示すようにぶれ軌跡に基づいて求められる。図１１Ａは、ＣＣＤ（イメージセンサ）上での点光源の軌跡、つまり、ぶれ軌跡の一例を示す図である。また、図１１Ｂは、図１１Ａに示すぶれ軌跡に対応するＰＳＦ画像を３次元で表現した場合のイメージ図である。図１１Ｂにおいて、Ｚ軸成分は各画素の輝度値（強度）を示す。ＰＳＦ画像を構成する各画素の輝度値は、ぶれ軌跡に基づいて定まり、点光源の軌跡上の画素が０より大きい輝度値を持ち、輝度値の大きさは、点光源が留まった時間が長いほど高い値を示す。そこで、劣化関数のサイズは、例えば、０より大きい輝度値を持つ画素の数を尺度とすればよい。つまり、ＰＳＦ画像から０より大きい輝度値を持つ画素の数をカウントして、そのカウント数のより、ＰＳＦ画像のサイズを求めればよい。

ここで、第４の変形例について説明をする。図１２Ａは、第４の変形例における画像復元処理部３６の機能ブロックを示す。また、図１２Ｂは、第４の変形例おける画像復元処理部３６の処理の手順を示すフローチャートを示す。

図１２Ｂにおいて、画像復元処理部３６は、サイズ判定部３６６において劣化関数のサイズが所定サイズより大きいか否かを判定する（Ｓ４００）。つまり、サイズ判定部３６６は、ＰＳＦ画像を構成する画像群のうち、０より大きい輝度値をもつ画素の数をカウントして、そのカウント数が所定値より大きいか否かを判定する。そして、劣化関数のサイズが所定サイズより大きい場合には（ステップＳ４００の判定結果が、肯定「Ｙ」）、Ｇ成分画像の他に、Ｒ成分画像及びＢ成分画像についても画像復元処理を行う（Ｓ４０２）。一方、画像復元処理部３６は、劣化関数のサイズが所定サイズ以下の場合には（ステップＳ４００の判定結果が、否定「Ｎ」）、Ｇ成分画像のみ画像復元処理を行う（Ｓ４０４）。これにより、復元画像に色ずれが生じる確率を低く抑えることができる。

また、第５の変形例として、画像復元処理部３６によって実行される画像復元アルゴリズムが、劣化画像と劣化関数とから反復計算を用いて画像復元を行うアルゴリズムであれば、反復計算を行う上限回数等の各種パラメータを色成分画像ごとに変更してもよい。すなわち、反復計算を伴う画像復元処理では、画像を構成する空間周波数成分のうち低い空間周波数成分から復元処理を行う。よって、比較的低い空間周波数成分を多く含むＲ成分画像やＢ成分画像については、比較的高い空間周波数成分を多く含むＧ成分画像よりも、反復計算の回数を少なくしても復元画像の品質に問題が生じにくい。

そこで、例えば、画像復元処理部３６が、最急降下法による反復計算を用いて画像復元を行う場合には、パラメータ設定部３６１において、Ｒ成分画像およびＢ成分画像に対する最大反復回数をＧ成分画像に対する最大回復回数よりも少ない回数に設定する。これにより、Ｒ成分画像およびＢ成分画像に対する反復回数をＧ成分画像に対する反復回数よりも低く抑えることができる。あるいは、Ｒ成分画像およびＢ成分画像に対する閾値ＴｈｒをＧ成分画像に対する閾値Ｔｈｒよりも大きな値に設定する。これにより、パラメータｔが閾値Ｔｈｒ以下となる確率が高まるため、Ｒ成分画像およびＢ成分画像に対する反復回数をＧ成分画像に対する反復回数よりも低く抑えることができる。ここで、画像復元処理部３６は、例えば、図１８に示す処理手順を、色成分画像ごとに並列して実行すればよい。図１３は、第５の変形例における画像復元処理部３６の機能ブロックを示す。図１３において、パラメータ設定部３６１は、Ｒ復元処理部３６２ｄ、Ｇ復元処理部３６２ａ、Ｂ復元処理部３６２ｅに対して予め色成分画像ごとに定められている最大反復回数や閾値Ｔｈｒなどの各種パラメータの設定を行う。Ｇ復元処理部３６２ａ、Ｒ復元処理部３６２ｄ、Ｂ復元処理部３６２ｅは、各々Ｒ成分画像、Ｇ成分画像、Ｂ成分画像に対して、パラメータ設定部３６１により定められた各パラメータを用いて、図１８に基づく反復計算に伴う画像復元処理を行う。

さらに、第６の変形例として、画像復元処理部３６は、色成分画像ごとに異なる解像度により画像復元処理を行ってもよい。図１４Ａは、第６の変形例における画像復元処理部３６の機能ブロックを示す。図１４Ｂは、第６の変形例において、画像復元処理部３６が、Ｒ、Ｂ成分画像に対して行う画像復元処理の手順を示す。上記の通り、Ｒ、Ｂ成分画像は、Ｇ成分画像に比べて、高い空間周波数成分を多く含まない。よって、Ｒ、Ｂ成分画像は、Ｇ成分画像に比べて、解像度が低くても復元画像の品質に問題が生じにくい。そこで、第６の変形例において、画像復元処理部３６は、各色成分画像に対して画像復元処理を行う前に、解像度変換部３６７において、Ｒ、Ｂ成分画像の解像度を、Ｇ成分画像の解像度より低くなるように、例えば、１／４に変換する（Ｓ５００）。また、解像度変換部３６７は、Ｒ、Ｂ成分画像に対して画像復元処理を行う場合に用いるＰＳＦ画像の解像度も、Ｇ成分画像に対するＰＳＦ画像のＰＳＦ画像よりも低くなるように、例えば、１／４に変換する（Ｓ５０２）。その後、画像復元処理部３６は、上記と同様に、画像復元処理を実行する（Ｓ５０４〜Ｓ５０８）。なお、画像復元後に解像度変換部３６７はＲ、Ｂ成分画像の解像度を戻す。このように、Ｒ、Ｂ成分画像の解像度の低く変換することで、画像復元処理の時間を短くすることができ、メモリ容量も抑えることができる。なお、図１４Ａに示す画像復元処理部３６に設けられた解像度変換部３６７は、図６Ａや図８Ａに示す画像復元処理部３６にも設けてもよい。図８Ａの画像復元処理部３６に設ける場合には、解像度変換部３６７は、Ｒ、Ｂ成分画像をＣＲ、ＣＢ成分画像に置き換えてＣＲ、ＣＢ成分画像の解像度を低くする。

ところで、画素補間は、一般に、線形補間および非線形補間が知られている。一方、一般逆フィルタ等の周知の画像復元アルゴリズムは、線形処理である。そのため、非線形補間が行われた後の画像に対して、線形処理の画像復元アルゴリズムに基づく処理を行うと、処理に時間がかかるか、あるいは、画像復元自体が困難になる。そこで、第７の変形例として、画像復元処理を行う場合には、ＲＧＢ補間部３４での画素補間処理を線形処理だけに制限してもよい。この場合、例えば、ＲＧＢ補間部３４は、図１５に示すように、画素補間処理を行う前に、ＰＳＦ画像のサイズが所定サイズより大きいか否かを判定して（Ｓ６００）、ＰＳＦ画像のサイズが所定サイズより大きい場合には（ステップＳ６００の判定結果が、肯定「Ｙ」）、画像復元処理を行うと判定して、画素補間を線形処理に制限して画素補間を行う（Ｓ６０２）。一方、ＲＧＢ補間部３４は、ＰＳＦ画像のサイズが所定サイズ以下の場合には（ステップＳ６００の判定結果が、否定「Ｎ」）、非線形処理を含めて通常通り画素補間を行う（Ｓ６０４）。これにより、画像復元処理にかかる時間を短縮することができる。

また、上記の通り、色成分画像ごとに画像復元処理の内容を変更する場合、復元画像に色ずれが生じるおそれがある。これは、ＰＳＦ画像（劣化関数）を用いた画像復元処理により、各色成分画像の空間領域での位相ずれが生じることで起こる。この位相ずれは、ＰＳＦ画像の重心が、ＰＳＦ画像を構成する特定画素の中心に位置していないことで生じする。そこで、第８の変形例として、色ずれを低減するために、画像復元処理を行う前に、ＰＳＦ画像の重心が特定画素の中心に位置するようにＰＳＦ画像を修正してもよい。

以下、ＰＳＦ画像の重心の算出手法及びＰＳＦ画像の修正手法について、図１６Ａおよび図１６Ｂを用いて説明する。

図１６Ａ及び１６Ｂには、紙面上端から、横軸を時間軸として縦軸を点光源のＸ方向の原点からの距離として表したＸ方向の点光源の軌跡Ｌ１を示す図、横軸を時間軸とし縦軸を点光源のＹ方向の原点からの距離として表したＹ方向の点光源の軌跡Ｌ２を示す図、さらに、点光源のＸ方向及びＹ方向の軌跡に基づいて求められるＰＳＦ画像を示す図が示される。なお、図１６Ａでは、点光源の始点を原点としている。また、ＰＳＦ画像を構成する画素に示される数値は、画素の輝度値（強度）を示し、点光源が存在する時間が長いほど大きな値を示す。つまり、図１６Ａ、１６Ｂに示すＰＳＦ画像は、図１１Ｂで示した３次元のＰＳＦ画像を、２次元で表した図に相当する。

ここで、ＰＳＦ画像の各画素が持つ輝度値を重さとして捉え、ＰＳＦ画像を構成する全画素の輝度値を合計した値が「１」となるように正規化している場合、ＰＳＦ画像の各画素のｘ座標値と輝度値とを乗じた値がｘ座標の重心Ｃ_ｘ、ＰＳＦ画像の各画素のｙ座標値と輝度値とを乗じた値がｙ座標の重心Ｃ_ｙとなる。よって、例えば、ＰＳＧ画像の重心Ｃは、下記の式で求められる。

式（１０）において、ＰＳＦ画像の各画素をｘｙ座標で表した場合の各画素の座標値を（ｘ_ｉ，ｙ_ｊ）、各画素の輝度値をＰ（ｘ_ｉ，ｙ_ｊ）とする。なお、ｉ、ｊはｘ座標、ｙ座標のインデックスである。

上記の通り求められるＰＳＦ画像の重心Ｃは、図１６ＡのＰＳＦ画像に示す通り、画素の中心にあるとは限らない。そこで、画像復元処理部３６は、ＰＳＦ画像の重心がＰＳＦ画像を構成する特定画素の中心に位置するように修正する。例えば、図１６Ａでは、点光源の始点を原点としてＰＳＦ画像を求めているが、図１６Ｂに示す通り、原点を点光源の始点の位置から重心Ｃの位置に移動させた後、ＰＳＦ画像を求める。これにより、新たに求められる重心Ｃ’は、原点を含む画素の中心、つまり特定画素の中心に位置するため、画像復元処理を行っても位相ずれを起こさない。

図１７は、重心が特定画素（原点を含む画素）の中心となるＰＳＦ画像の算出手順を示すフローチャートである。なお、図１７において、図４に示すＰＳＧ画像（劣化関数）の算出手順と同一な処理内容については同一符号を付して説明を省略する。

図１７において、ＣＰＵ２０は、ステップＳ１０６においてぶれ軌跡に基づいてＰＳＦ画像を求めた後、ＰＳＦ画像の重心Ｃを例えば、式（１０）に基づいて算出する（Ｓ１０７−１）。次いで、重心Ｃが原点となるようにぶれ軌跡を補正する（Ｓ１０７−２）。さらに、ＣＰＵ２０は、補正されたぶれ軌跡に基づいて改めてＰＳＦ画像を求め（Ｓ１０７−３）、そのＰＳＦ画像をＲＡＭ２４に格納する（Ｓ１０８）。以上の手順により、重心が特定画素の中心となるＰＳＦ画像を求めることができる。

以上の通り、ＰＳＦ画像の重心を特定画素の中心にすることで、色成分画像ごとに画像復元処理の内容を変更しても、色ずれを低減することができる。

なお、上記で説明した実施形態や各変形例は、それぞれ独立して実施してもよいが、複数の変形例を組み合わせて用いてもよい。すなわち、画像復元処理部３６は、例えば、ＰＳＦ画像のサイズが大きい場合に、Ｒ、Ｂ成分画像に対して画像復元処理を行うのであれば、Ｒ、Ｂ成分画像のエッジ部分だけ画像復元処理を行ってもよいし、あるいは、Ｒ、Ｂ成分画像の解像度を変換した後に画像復元処理を行ってもよい。

また、上記の画像処理部３０は、マイクロコンピュータに画像復元処理等の各種処理を具現化させるプログラムをインストールし、このプログラムを実行することによって実現することができる。

すなわち、マイクロコンピュータはＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてＲＯＭに格納された画像復元アルゴリズム等の画像処理プログラムを読み出してＣＰＵが順次実行する。ＣＰＵはインタフェースを介してＣＣＤ（Charge Coupled Devices）やＣＯＭＳ等のイメージセンサから劣化画像の入力を受けて、劣化画像をＲ成分画像、Ｇ成分画像、Ｂ成分画像に分離する。さらに、ＣＰＵはＧ成分画像に対してＰＳＦ画像を用いて画像復元処理を行い、その後画像復元処理が行われたＧ成分画像と、画像復元処理が行われていないＲ，Ｂ成分画像とを併せて、ホワイトバランス調整、色補正、γ補正等の各種画像処理を行い、劣化画像に対する復元画像を生成する。

本実施形態に係るデジタルカメラの機能ブロックを示す図である。 本実施形態における撮像部について説明するための機能ブロックを示す図である。 本実施形態おける画像処理部について説明するための機能ブロックを示す図である。 本実施形態における画像処理部の処理手順を示すフローチャートである。 劣化関数（ＰＳＦ画像）の算出手順を示すフローチャートである。 本実施形態における画像復元処理部について説明するための機能ブロックを示す図である。 本実施形態における画像復元処理部の画像復元処理の手順を示すフローチャートである。 第１の変形例における画像処理部について説明するための機能ブロックを示す図である。 第１の変形例における画像処理部の処理手順を示すフローチャートである。 第１の変形例における画像復元処理部について説明するための機能ブロック図である。 第２の変形例における画像処理部について説明するための機能ブロックを示す図である。 第２の変形例における画像処理部の処理手順を示すフローチャートである。 第２の変形例における画像復元処理部について説明するための機能ブロックを示す図である。 第３の変形例における画像復元処理部について説明するための機能ブロックを示す図である。 第３の変形例における画像復元処理部がＲ成分画像及びＢ成分画像のエッジ部分について行う画像復元処理の手順を示すフローチャートである。 ＣＣＤ上での点光源の軌跡の一例を示す図である。 ＰＳＦ画像について説明するための図である。 第４の変形例における画像復元処理部について説明するための機能ブロックを示す図である。 第４の変形例における画像復元処理部が行う画像復元処理の手順を示すフローチャートである。 第５の変形例における画像復元処理部について説明するための機能ブロックを示す図である。 第６の変形例における画像復元処理部について説明するための機能ブロックを示す図である。 第６の変形例における画像復元処理部がＲ成分画像及びＢ成分画像に対して行う画像復元処理の手順を示すフローチャートである。 第７の変形例におけるＲＧＢ補間部が行う画素補間の処理手順を示すフローチャートである。 ＰＳＦ画像の重心について説明するための図である。 ＰＳＦ画像の重心を特定画素の中心に移動する場合について説明するための図である。 重心が特定画素の中心となるＰＳＦ画像の算出手順を示すフローチャートである。 最急降下法による反復計算を用いて画像復元を行う画像復元処理装置の処理手順を示すフローチャートである。

符号の説明

１０ 撮像部、１２ 光学系、１４ イメージセンサ、１６ ＣＤＳ−ＡＤ回路、３０ 画像処理部、３４ 画素補間部、３６ 画像復元処理部、４０ 表示装置、５０ 記録媒体、６０ 手ぶれ検出部。

Claims (12)

1. 撮影された劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離部と、
   少なくとも前記第１画像に対して、撮影条件に基づいて定められる点像分布関数を表すＰＳＦ画像を用いて所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部と、
   前記画像復元処理を行った前記第１画像と、前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成部と、
   を備え、
   前記画像復元処理部は、
   前記ＰＳＦ画像のサイズが所定のサイズ以下である場合に前記第２画像に対して前記画像復元アルゴリズムに基づく画像復元処理を行わず、前記ＰＳＦ画像のサイズが所定のサイズより大きい場合に前記第２画像に対しても前記画像復元アルゴリズムに基づく画像復元処理を行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像復元アルゴリズムは、前記ＰＳＦ画像を用いた反復計算を含むアルゴリズムであって、
   前記画像復元処理部が前記第２画像に対して行う反復計算の回数は、前記第１画像に対して行う反復計算の回数よりも少ないことを特徴とする画像処理装置。
3. 撮影された劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離部と、
   前記第１画像及び前記第２画像に対して、撮影条件に基づいて定められる点像分布関数を表すＰＳＦ画像を用いて反復計算を含む所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部であって、前記第２画像に対する反復計算の回数が前記第１画像に対する反復計算の回数より小さくなるように画像復元処理を行う画像復元処理部と、
   前記画像復元処理を行った前記第１画像及び前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成部と、
   を備える画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記画像復元処理部は、前記第２画像に対して行う反復計算の最大反復回数を前記第１画像に対して行う反復計算の最大反復回数よりも小さくすることを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか１つに記載の画像処理装置において、
   前記画像復元アルゴリズムは、劣化画像をＧ、復元画像をＦ、ＰＳＦ画像をＨとした場合、復元画像ＦにＰＳＦ画像Ｈを作用させて得られる画像ＨＦと劣化画像Ｇとの差の大きさに基づいて評価値Ｊを算出し、前記評価値Ｊの勾配の大きさが閾値以下となるまで前記復元画像Ｆの算出及び評価値Ｊの算出処理を繰り返し実行することで画像復元処理を行う最急降下法による反復計算を用いたアルゴリズムであって、
   前記第２画像に対する閾値は前記第１画像に対する閾値よりも大きいことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記画像復元処理部は、
   前記第２画像からエッジ部分を抽出し、抽出したエッジ部分について前記画像復元処理を行い、
   前記画像復元生成部は、
   前記画像復元処理を行った前記第１画像と、前記エッジ部分について画像復元処理を行った前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成することを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記画像復元処理部は、
   前記第２画像の解像度を前記第１画像の解像度より低くなるように解像度変換し、解像度変換された前記第２画像に対して画像復元処理を行い、
   前記画像復元生成部は、
   前記画像復元処理を行った前記第１画像と、解像度変換された後に画像復元処理を行った前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成することを特徴とする画像処理装置。
8. 請求項１乃至７のいずれか１つに記載の画像処理装置において、
   前記画像復元処理部は、
   前記ＰＳＦ画像の重心が前記ＰＳＦ画像を構成する特定画素の中心に位置するように前記ＰＳＦ画像を修正し、修正したＰＳＦ画像を用いて画像復元処理を行うことを特徴とする画像処理装置。
9. 撮影された劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離工程と、
   前記第１画像及び前記第２画像に対して、撮影条件に基づいて定められる点像分布関数を表すＰＳＦ画像を用いて、反復計算を含む所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元工程であって、前記第２画像に対する反復計算の回数が前記第１画像に対する反復計算の回数より小さくなるように画像復元処理を行う画像復元工程と、
   前記画像復元処理を行った前記第１画像及び前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成工程と、
   を含むことを特徴とする画像復元方法。
10. 請求項９に記載の画像復元方法において、
    前記画像復元工程では、
    前記ＰＳＦ画像の重心が前記ＰＳＦ画像を構成する特定画素の中心に位置するように前記ＰＳＦ画像を修正し、修正したＰＳＦ画像を用いて画像復元処理を行う、
    ことを特徴とする画像復元方法。
11. 撮影条件に基づき定められる劣化関数を用いた所定の画像復元アルゴリズムに基づいて、撮影された劣化画像から復元画像を生成する画像処理装置としてコンピュータを機能させるためのプログラムであって、
    前記コンピュータを、
    前記劣化画像を構成する複数の色成分画像を、輝度成分への寄与度に応じて、第１画像と前記第１画像より輝度成分への寄与度が小さい第２画像とに分離する画像分離部と、
    前記第１画像及び前記第２画像に対して、前記点像分布関数を表すＰＳＦ画像を用いて、反復計算を含む所定の画像復元アルゴリズムに基づく画像復元処理を行う画像復元処理部であって、前記第２画像に対する反復計算の回数が前記第１画像に対する反復計算の回数より小さくなるように画像復元処理を行う画像復元処理部と、
    前記画像復元処理を行った前記第１画像及び前記第２画像とに基づいて、前記劣化画像に対応する復元画像を生成する復元画像生成部と、
    として機能させるためのプログラム。
12. 請求項１１に記載のプログラムにおいて、
    前記画像復元処理部は、
    前記ＰＳＦ画像の重心が前記ＰＳＦ画像を構成する特定画素の中心に位置するように前記ＰＳＦ画像を修正し、修正したＰＳＦ画像を用いて画像復元処理を行う、
    ことを特徴とするプログラム。