JP5441652B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、撮像により生成された画像の劣化成分を、画像回復処理を用いて補正（低減）する画像処理に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。また、カラー画像での色にじみも、撮像光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも、撮像光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部である。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系の光学伝達関数は画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることで像の広がりが発生するだけでなく、各色成分内で波長ごとの結像位置のずれ、すなわち位相ずれによっても像の広がりが発生する。このため、点像分布関数を主光線（撮像光学系の瞳の中心を通る光線）と直交する各方向（アジムス方向）の１次元断面で見たときに、収差の位相劣化成分は点像分布関数に非対称性を発生させる。また、振幅劣化成分はアジムス方向ごとのＰＳＦの広がりの大きさに影響する。

したがって、撮像光学系による画像劣化を画像処理にて高精度に補正するためには、収差の位相劣化成分と振幅劣化成分を補正することが必要である。

振幅劣化成分を補正する方法として、特許文献１にて開示されているように、画像中のエッジ部分を検出してエッジを強調するエッジ強調処理が知られている。

また、位相劣化成分を補正する方法として、特許文献２にて開示されているように、画像の色成分ごとに像倍率を変更する幾何補正が知られている。

さらに、振幅劣化成分と位相劣化成分を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は、画像回復や画像復元と呼ばれており、以下、この光学伝達関数の情報を用いて画像の劣化成分を補正（低減）する処理を画像回復処理と称する。

画像回復処理の概要は以下の通りである。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元のとき、通常は画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平／垂直方向においてそれぞれ３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは一線を隔する。画像回復フィルタは光学伝達関数に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

ただし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。したがって、ノイズがある場合には、一般に鑑賞用画像として良好な画像は得られない。

このことは以下のように式で表せる。Ｎはノイズ成分である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば式（１）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合（回復強度）を制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は、周波数ごとに、ＭＴＦが小さいほどＳＮ比が悪いので回復ゲインを抑制し、ＭＴＦが大きいほどＳＮ比が良いので回復ゲインを強くするものである。一般に、撮像光学系のＭＴＦは低周波側が高く、高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

しかし、実際のＳＮ比をパラメータに設定して回復処理を行っても、所望の画質に対してノイズが許容できない場合には、ＳＮＲパラメータを調整して回復ゲインを下げながらノイズの増幅をより抑制する必要がある。これは、式（１）のＳＮＲの値をより大きな値に設定することである。また、実際に撮影された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合にも、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。さらに、ＲＧＢの色成分ごとに回復度合が想定しているものと異なると、回復画像に色づき、すなわち偽色が発生してしまうことがある。この偽色も、ノイズやリンギング等のアーティファクトの１つである。

図１５には、回復画像に発生した偽色の例を示している。図中の破線部に偽色が発生している。偽色Ａは、製造誤差によりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｂは、太陽の反射光が強いために発生した輝度飽和により、輝度飽和部の周辺が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｃは、ピントずれによりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。

ウィナーフィルタでは、式（１）のＳＮＲの値を大きく設定することで回復度合が低下するが、高周波から低下がはじまり、回復度合を低下させても回復前の周波数特性を再現できない。これは、式（１）１でＳＮＲが周波数特性を持たない限り、Ｍ＝１、すなわち画像回復フィルタが画像に影響を与えない状態にならないことから明らかである。

特許文献３では、回復度合を調整するために、画像回復フィルタを設計する際のパラメータを式（２）のようにしている。

Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）はそれぞれ、回復画像および劣化画像のフーリエ変換である。調整パラメータαにより、何も作用しないフィルタ（α＝０）から逆フィルタ（α＝１）に変化するように構成しているため、元の画像から最大に回復した画像までの範囲で画像の回復度合を調整可能としている。

特開２０００−１５６８１６号公報 特開平０６−１１３３０９号公報 特開２００７−１８３８４２号公報

特許文献３にて開示された画像回復処理方法は、回復度合を元の画像の再現を含めて連続的に調整可能な方法である。この調整により、ノイズ、リンギングおよび偽色の発生を抑制することが可能とも考えられる。しかしながら、この画像回復処理方法は、パラメータを変更するごとに画像回復フィルタを再計算し直し、入力画像に対してコンボリューション処理を行うことを必要とする。

また、回復度合を低下させていくに従って、元の画像に近づいていくため、倍率色収差やコマ収差といった非対称なぼけを有する収差成分が再発する。収差の非対称性は、点像分布関数（ＰＳＦ）を形成する周波数ごとの位相ずれに起因している。画像上で、コマ収差は像の流れとして画質を低下させるものであり、倍率色収差は色ずれとして画質を低下させている。特に、倍率色収差は目立ちやすいため、従来から特許文献２にて開示された方法のように補正が行われているが、特許文献３にて開示された方法で倍率色収差が補正されるのは高回復度合の状態のみで、低回復度合になるに従って倍率色収差量は大きくなる。

すなわち、回復度合を調整可能にすることで、弊害を抑制できる一方で、倍率色収差等の非対称収差を大きくしてしまう。また、倍率色収差量が変動するので、画像回復処理とは別に倍率色収差補正処理を導入しても、回復度合の設定に応じて倍率色収差の補正量を変更しなければならないため、処理負荷が大きくなってしまう。

本発明は、画像中の非対称収差を補正し、回復度合と弊害発生リスクとを調整できるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、撮像系により生成された入力画像を取得するステップと、入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成するステップと、入力画像の振幅成分を回復処理せずに位相成分を回復処理することで、第１の画像と位相成分の状態が等しく、かつ振幅成分の状態が異なる第２の画像を生成するステップと、第１および第２の画像の差分情報を取得するステップと、回復処理における回復度合を調整するための回復強度調整係数を設定するステップと、第２の画像に対して、差分情報を、回復強度調整係数に応じて合成することで回復調整画像を生成するステップとを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、撮像系により生成された入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成し、該入力画像の振幅成分を回復処理せずに位相成分を回復処理することで、第１の画像と位相成分の状態が等しく、かつ振幅成分の状態が異なる第２の画像を生成する処理手段と、回復処理における回復度合を調整するための回復強度調整係数を設定する係数設定手段と、第２の画像に対して、第１および第２の画像の差分情報を、回復強度調整係数に応じて合成することで回復調整画像を生成する画像回復手段とを有することを特徴とする。

また、撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理プログラムは、撮像系により生成された入力画像を取得する処理と、入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成する処理と、入力画像の振幅成分を回復処理せずに位相成分を回復処理することで、第１の画像と位相成分の状態が等しく、かつ振幅成分の状態が異なる第２の画像を生成する処理と、第１および第２の画像の差分情報を取得する処理と、回復処理における回復度合を調整するための回復強度調整係数を設定する処理と、第２の画像に対して、差分情報を、回復強度調整係数に応じて合成することで回復調整画像を生成する処理とをコンピュータに実行させることを特徴とする。

本発明によれば、倍率色収差やコマ収差などの非対称収差が補正された状態で、画像回復処理に伴うノイズ増幅やリンギングおよび偽色の発生等の弊害を抑制することができる。このため、高画質な回復調整画像を得ることができる。

本発明の実施例である画像処理方法の説明図。 実施例の画像処理方法にて用いられる画像回復フィルタの説明図。 実施例の画像処理方法にて用いられる画像回復フィルタの説明図。 実施例の画像処理方法による点像の補正状態の説明図。 実施例の画像処理方法における振幅と位相の説明図。 従来の画像処理方法を示すフローチャート。 実施例の画像処理方法を示すフローチャート。 本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例１における画像回復フィルタの選択についての説明図。 実施例１における画像処理手順を示すフローチャート。 本発明の実施例２における画像処理の説明図。 本発明の実施例３である画像処理システムの説明図。 実施例３としての他の画像処理システムの説明図。 実施例３における補正情報セットの説明図。 偽色の説明図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、本発明の実施例において基本となる画像処理方法について説明する。本実施例では、入力画像の収差成分を抽出し、この収差成分の除去量を制御することで回復度合（回復強度）を調整する。回復度合の調整によって、収差成分のうち収差の非対称性の変動が無く、ぼけ量のみが変化する。

図１には、実施例において実行される画像処理方法のフローを示す。以下の説明において、記号ｍは、画像の色成分（例えばＲ，Ｇ，Ｂ）を表す。つまり、Ａ_ｍは（Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ）を示し、それぞれＡのＲ成分、ＡのＧ成分およびＡのＢ成分を表す。Ａは、図１中のｇ，ｆ，ｆｄ，Ｓ，Ｓｄ等に相当する。

ＲＧＢの色成分を有する入力画像ｇ_ｍに対して色成分ごとに選択又は生成された画像回復フィルタを用いて、光学伝達関数（ＯＴＦ）に応じて劣化した入力画像の位相成分および振幅成分の回復処理を行い、第１の画像ｆｄ１_ｍを得る。ここでの回復処理は、位相成分と振幅成分をともに補正するため、画像回復フィルタとしては、例えばウィナーフィルタを用いることができる。

第１の画像ｆｄ１_ｍは、収差の振幅成分および位相成分が補正されているため、収差の非対称性が除去され、かつぼけが低減されて鮮鋭度が向上している。ただし、この画像には、上述したように、ノイズ増幅や偽色が含まれている。

一方、入力画像ｇ_ｍに対して色成分ごとに画像回復フィルタを用いて光学伝達関数（ＯＴＦ）に応じて劣化した入力画像の振幅成分の回復処理を行わずに位相成分の回復処理を行い、第２の画像ｆｄ２_ｍを得る。第２の画像ｆｄ２_ｍは、収差の位相成分のみが補正されているため、収差の非対称性は除去されているが、ぼけは補正されていない。言い替えれば、第２の画像ｆｄ２_ｍは、光学伝達関数（ＯＴＦ）の位相成分（ＰＴＦ）は補正されているが、その絶対値成分であるＭＴＦは変化していない。

第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを、式（３）のように対応する画素ごとに信号値を減算することで、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍの色成分ごとの差分情報としての回復成分情報Ｓ_ｍを生成する。

そして、式（４）のように、色成分ごとに、回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、回復調整画像（出力画像）としての補正画像ｆ_ｍを得る。

補正画像ｆ_ｍは、式（４）から分かるように、回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍの間で連続的に回復度合が調整される。

ここで、第２の画像ｆｄ２_ｍと回復成分情報Ｓ_ｍとはともに位相成分が補正され、振幅成分（ぼけ量）のみが異なる状態であるので、回復度合の調整量に応じて位相成分が変動することは無く、常に位相成分が補正された状態を維持できる。すなわち、従来の方法では、回復度合に応じて、鮮鋭度の変化と共に倍率色収差やコマ収差の変動が発生してしまうが、本実施例の方法では、対称性を維持したまま鮮鋭度のみを変化させることができる。

次に、上記フローの順に、各工程の具体的な処理について説明する。実施例１にて説明した処理と同じ処理については説明を省略する。

「入力画像ｇ_ｍ」
入力画像ｇ_ｍは、基本的には、撮像光学系により形成された物体像（被写体像）を撮像素子により光電変換して得られたデジタル画像であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系は、レンズの他にも曲率を有するミラー（反射面）を用いることもできる。また、撮像光学系と撮像素子とにより撮像系が構成される。

ただし、本発明の実施例としての画像処理方法は、撮像光学系を含まない撮像系により生成された入力画像にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置といった撮像装置は、レンズのような撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものであり、このシステム伝達関数は光学伝達関数に相当するものとも言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数をも含む広義の光学伝達関数である。

また、入力画像ｇ_ｍは、例えば、ＲＧＢの色成分の情報を有している。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることも可能である。さらに、色温度を用いることも可能である。

色成分情報は、モザイク画像の各画素が有する１つの色成分の信号値でもよいし、モザイク画像を色補間処理（デモザイキング処理）して得られるデモザイク画像の各画素が有する複数の色成分の信号値でもよい。モザイク画像は、色補間処理、ガンマ変換、ＪＰＥＧ等の画像圧縮といった種々の画像処理を行う前の画像として、ＲＡＷ画像とも称される。

特に、単板の撮像素子で複数の色成分情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して各画素が１つの色成分の信号値を有するモザイク画像を取得することになる。この場合、色補間処理を行うことで各画素に複数の色成分の信号値を有したデモザイク画像を生成することができる。また、多板（例えば、３板）の撮像素子を用いる場合には、撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の信号値を得ることができる。この場合、撮像素子間で対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わずに各画素に複数の色成分の信号値を有した画像を生成することができる。

また、入力画像ｇ_ｍや出力画像には、レンズの焦点距離、絞り値、被写体距離等の撮像条件や該画像を補正するための各種の補正情報を付帯することができる。特に本実施例では、補正情報に、回復強度調整係数μを含む。

撮像から出力までの一連の処理を１つの閉じた撮像装置で行う場合には、画像に撮像条件情報や補正情報を付帯しなくとも装置内で取得することもできる。撮像装置からＲＡＷ画像を取得し、別の画像処理装置で補正処理や現像処理を行う場合には、上記のように画像に撮像条件情報や補正情報を付帯することが好ましい。

ただし、画像処理装置側に予め補正情報が記憶されており、撮像条件情報から補正係数を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。

補正情報は初期値として上記のように補正係数を得ることができるが、ユーザーが補正係数値を変更することもできる。撮像装置に装備されたモニタや、画像処理装置が撮像装置とは別の装置である場合に画像処理システムの一部として装備されたモニタを用いてユーザーが出力画像を評価しながら補正係数を変更することで、好みの出力画像を得ることができる。

「画像回復処理」
図２には、画像回復フィルタを模式的に示す。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数（セル数）を決めることができる。図２では、例として、１１×１１タップの２次元フィルタを示している。図２では、各タップが有する値（係数値）を省略している。

画像回復フィルタの各タップは画像回復処理を行う入力画像の各画素に対応し、画像回復処理の工程でコンボリューション処理される。コンボリューション処理では、入力画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

画像回復フィルタのある断面での各タップが有する係数値（以下、タップ値ともいう）を図３に示す。画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。

画像回復フィルタは、撮像系（撮像光学系）の光学伝達関数（ＯＴＦ）を計算又は計測し、その逆関数に基づいた関数を逆フーリエ変換して得ることができる。一般的にはノイズの影響を考慮する必要があるため、ウィナーフィルタや関連する種々の画像回復フィルタの作成方法を選択して用いることができる。

さらに、光学伝達関数（ＯＴＦ）は撮像光学系のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。

また、入力画像がＲＧＢ形式のカラー画像である場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すればよい。撮像光学系には色収差があり、色成分ごとにぼけ方が異なるため、色成分ごとの画像回復フィルタは特性が色収差に基づいて異なる。すなわち、図３の断面図が色成分ごとに異なることに対応する。

画像回復フィルタの縦横のタップ数に関しては、正方配列である必要はなく、任意に変更することができる。

図２のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像光学系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、非点収差（像面湾曲）等の非対称収差についても良好に回復することができる。

ここで、第１の画像ｆｄ１_ｍを得るための画像回復処理における画像回復フィルタの収差補正の特性についてコマ収差を例に説明する。コマ収差の点像分布関数（ＰＳＦ）のメリジオナル方向の断面図を表現すると、図４（ａ）のように非対称なぼけを有している。これは、点像分布関数（ＰＳＦ）の周波数特性である光学伝達関数（ＯＴＦ）の絶対値成分（ＭＴＦ）が、図５（Ｍ）の（ａ）のように劣化し、位相成分（ＰＴＦ）が図５（Ｐ）の（ａ）のように位相ずれを生じているためである。この位相ずれによって、点像分布関数（ＰＳＦ）の断面内での非対称性が発生する。

画像回復フィルタの作用を式（５）を用いて説明する。

式（５）の［ ］内がウィナーフィルタの周波数特性である。光学系の劣化特性である光学伝達関数（ＯＴＦ）に対して回復フィルタを適用すると、［ ］内の１／ＯＴＦの部分が逆フィルタの役割をし、ここでは振幅成分、位相成分ともに完全に回復された状態になる。この状態の点像分布関数（ＰＳＦ）は、図４（ｂ）に示すように無収差で像の広がりの無い状態である。ＭＴＦは、図５（Ｍ）の（ｂ）に示すように全周波数において１に回復し、ＰＴＦは図５（Ｐ）の（ｂ）に示すように全周波数において０に回復している。

しかし、上記したようにノイズ増幅などの弊害を考慮すると、このような完全回復を行わずに、式（５）の［ ］内のＭＴＦ^２／（ＭＴＦ^２＋ＳＮＲ^２）の部分で回復度合を抑制する。この状態の点像分布関数（ＰＳＦ）は図４（ｃ）に示す状態であり、ＭＴＦが図５（Ｍ）の（ｃ）に示すように適度に回復し、ＰＴＦが図５（Ｐ）の（ｃ）に示すように全周波数において０に回復している。

式（５）より回復後のＯＴＦはＭＴＦ^２／（ＭＴＦ^２＋ＳＮＲ^２）となるため、回復度合に関わらず、位相成分（ＰＴＦ）は補正された状態になる。すなわち、ＰＳＦとしては、回復度合に応じて点像の広がりは変化するものの、図４（ｃ）に示す状態のように断面内で対象性を持ったぼけの状態になる。

次に、第２の画像ｆｄ２_ｍを得るための画像回復処理における画像回復フィルタの収差補正の特性についてコマ収差を例に説明する。画像回復フィルタの作用を式（６）を用いて説明する。

式（６）から明らかなように、回復後のＯＴＦはＭＴＦとなるため、絶対値成分（ＭＴＦ）は変わらず、位相成分（ＰＴＦ）だけが補正された状態になる。この状態の点像分布関数（ＰＳＦ）は図４（ｄ）に示す状態であり、ＭＴＦが図５（Ｍ）の（ｄ）に示すように回復前と変わらず、ＰＴＦが図５（Ｐ）の（ｄ）に示すように全周波数において０に回復している。位相成分のみが補正されたため、ＰＳＦは鮮鋭度は向上していないものの、ぼけの非対称性が補正される。

このような実空間での画像回復フィルタを用いて入力画像ｇ_ｍに対するコンボリューション処理を行うことで、画像回復処理において、画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。

ここで、画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は種々の適応的な非線形処理を施されていないことが好ましい。したがって、例えば、デモザイキング処理に非線形処理が含まれる場合には、画像回復処理はモザイク画像（ＲＡＷ画像）に対して行うことが好ましい。

ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで同様に回復処理を行うことができる。また、回復の要求精度が低い場合や種々の画像処理を施された画像しか入手できない場合には、デモザイク画像に対して回復処理を行っても構わない。

本発明の実施例としての画像処理方法は、入力画像がモザイク画像であってもデモザイク画像であっても適用することができる。

「第１の画像ｆｄ１_ｍ」
振幅成分および位相成分を回復する画像回復フィルタを用いた画像回復処理により、第１の画像ｆｄ１_ｍが得られる。従来における画像回復では、この第１の画像ｆｄ１_ｍを回復画像（補正画像）として出力している。第１の画像ｆｄ１_ｍが必要な画質を満たしていれば、補正画像ｆ_ｍとして用いることができるが、実際には上記のようにノイズ増幅や偽色が含まれている。ノイズ増幅に関しては、予め画像回復フィルタの回復度合を適正に設定することで抑制できるが、リンギングや偽色に関しては、その発生量の予測が困難であるため、回復画像を評価して再度、回復度合を調整する必要がある。

「第２の画像ｆｄ２_ｍ」
位相成分のみを回復する画像回復フィルタを用いた画像回復処理により第２の画像ｆｄ２_ｍが得られる。この第２の画像ｆｄ２_ｍは、画像の画素値の絶対値成分（ＭＴＦ）の増幅を行っていないため、ノイズ増幅が生じない。また、位相劣化成分が補正されるため、例えばメリジオナル方向の色成分間の結像位置に対する非対称性が原因となる倍率色収差は除去される。また、コマ収差はメリジオナル方向、サジタル方向を含む全アジムス方向においてそれぞれ対称性を持つようになるため、非点収差のような点対称な収差形状に補正される。ここで、コマ収差が補正後に回転対称性を持たないのは、位相が全アジムス方向で揃っていてもＭＴＦがアジムス方向依存を持っているので、アジムス方向によってぼけ量が異なるためである。

「回復成分情報Ｓ_ｍ」
第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを、式（３）のように減算する（色成分および画素ごとの減算処理を行う）ことで、色成分ごとの回復成分情報Ｓ_ｍを生成することができる。第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍは、撮像光学系で劣化した位相成分（位相劣化成分）が同等に補正され、位相成分の状態が等しく、振幅成分の状態が異なっている。したがって、回復成分情報Ｓ_ｍは、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍの振幅成分の差分情報ということができる。

ここで、位相成分の状態は、第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍともに、撮像光学系による位相劣化成分が十分に除去された状態として揃っていることが望ましい。一方、振幅成分の状態は、後述する回復強度調整係数により回復度合を調整するために、異なった状態である必要がある。

このため、回復成分情報Ｓ_ｍは、第２の画像ｆｄ２_ｍの位相ずれ以外の収差成分と画像回復処理により発生したノイズの増加成分やリンギング成分、さらには偽色成分も含んでいる。

「回復強度調整係数μおよび補正画像ｆ_ｍ」
式（４）に示すように、色成分ごとに回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、補正画像ｆ_ｍを得る。補正画像ｆ_ｍは、回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍの間で連続的に回復度合を調整することができる。

第２の画像ｆｄ２_ｍと回復成分情報Ｓ_ｍは共に位相成分が補正され、振幅成分のみが異なる状態である。このため、回復度合の調整量に応じて位相成分が変動することは無く、常に位相が補正された状態を維持できる。回復強度調整係数μの基本範囲は、０≦μ≦１であるが、μ＞１とすることで強調補正した画像を得ることもできる。

さらに、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合を調整することができる。これは、被写体の照明光源の分光変動や撮像光学系の製造誤差等の要因で、色成分ごとに光学伝達関数（ＯＴＦ）が変化し、色収差のバランスが変化した場合に、色成分ごとの回復度合の強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像ｆ_ｍを得ることができる。

また、撮像光学系に製造誤差がある場合の影響の１つに、例えば、画像の左右対称な位置で劣化度合が異なることがあり、この劣化度合の差異は、画像上でのぼけ成分やその相対的な色にじみ成分の差異として現れる。ぼけ成分については、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。

色にじみ成分については、画像の位置による色にじみ量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。

出力画像の画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として回復度合が低くても十分に弊害の無い画像を出力できることは出力画像の保障として重要である。これらの場合に対して、回復強度調整係数μを調整することで対応を行うことができる。

また、一般の写真撮影においても、収差が残っていることでフレアが存在する柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザーや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。

また、式（３）を変形して、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍを減算して回復成分情報を抽出してもよい。この場合、式（４）を変形して、第２の画像ｆｄ２_ｍからこの回復成分情報を回復強度調整係数に応じて減算（これも「合成」に含む）しても、数式上は等価であり、同じ効果が得られる。

上記のように回復度合を変更するためには、従来は画像回復フィルタを生成する際のパラメータを変更する必要があったため、回復度合を変更する度に画像回復フィルタを再計算する必要があった。さらに、再計算した画像回復フィルタを用いて入力画像に対してコンボリューション処理を行う必要があった。これは画像処理を高速に行うための大きな障壁となっていた。

しかし、本実施例の画像処理方法では、回復度合を調整する場合にも、画像の合成比を変化させるだけであるので、画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。また、回復度合を下げても収差の非対称性が少なくとも点対称な状態に補正されているため、倍率色収差が除去された状態で変動が無く、コマ収差の特徴である像の流れも補正されている。

従来の画像処理方法と本実施例の画像処理方法とを、図６および図７を用いて比較する。図６は従来の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像を評価して、そのまま出力画像とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、回復パラメータを変更し、画像回復フィルタを再計算し、再度、入力画像に対して画像回復処理を行う。これを繰り返して所望の画像が得られたら回復画像（出力画像）として出力する。

一方、図７は本実施例の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザーが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復調整画像とする。この回復調整画像を評価して、そのまま補正画像（出力画像）とするか再度、回復度合を変更するかを判定する。回復度合を変更する場合には、調整パラメータを変更し、再度、画像合成処理を行う。ここにいう調整パラメータが、上述した回復強度調整係数μである。

このように、従来の画像回復処理と本実施例の画像回復処理では、調整時の画像回復フィルタの再計算の必要の有無および画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で大きく異なる。

また、出力画像としての採用の可否の判定や、回復度合の変更に伴う調整パラメータの変更は、ユーザーが主観的な評価に基づいて行ってもよいし、予め画像の評価関数を設定しておいて自動的に行ってもよい。

さらに、入力画像の画素の特徴量に応じて自動的に調整パラメータを変更することもできる。「画素の特徴量」とは、入力画像の部分的なコントラストや輝度レベル等である。画像の部分的なコントラストの高低を検出する方法として、例えば微分フィルタを用いる方法が知られている。これを用いることで、画像中のエッジ部とそうでない部分を分離することができる。エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、エッジ部については回復度合が高くなるように調整パラメータを設定する。一方、エッジ部でない比較的濃淡の少ない部分は回復度合を高くしても画像全体の鮮鋭度には影響せず、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合が低くなるように調整パラメータを設定する。

また、輝度レベルが低い部分は、本来の画像信号とノイズ信号のＳＮ比が悪いため、回復度合を高くするとノイズが目立ち易いので、回復度合が低くなるように調整パラメータを設定する。一方、輝度飽和をしている部分は、本来の画像信号が撮像素子のレンジの上限でクリップされており、ここでは収差の状態も想定している状態とは大きく異なるので、画像回復による弊害が発生し易い。そこで、回復度合が低くなるように調整パラメータを設定することで弊害を回避することができる。

その他にも、被写体を認識して被写体の種別に応じた回復度合の調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されている。しかし、画像回復により人物の顔にノイズや偽色などのアーティファクトが発生すると、非常に不自然な画像になってしまうため、回復度合を適度に調整することが好ましい。

また、画素の特徴量に応じて調整パラメータを変更することは、画像の位置によって調整パラメータを変更することを意味している。本実施例では、画像合成処理において画像を画素単位で合成するので、その際の混合比を変更するだけで比較的容易に調整することができる。このように画素単位で回復度合を調整できることも本実施例の特徴の１つである。

調整パラメータの設定値は、他にもＩＳＯ感度、焦点距離、被写体距離、絞り値等の撮像条件に応じて変更することもできる。

また、本発明の画像処理方法の基本的なフローを説明したが、ここで説明した工程のうちいくつかの工程を一括して同時に行ってもよい。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、必要に応じて変形が可能である。

図８には、本発明の実施例１である画像処理装置を搭載した撮像装置の基本構成を示している。

撮像光学系１０１は、不図示の被写体からの光に、撮像素子１０２上に被写体像を形成させる。撮像素子１０２は、被写体像を電気信号に変換する。撮像素子１０２から出力された電気信号（アナログ信号）は、Ａ／Ｄコンバータ１０３によりデジタル画像データに変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル画像データ（入力画像）に対して、各種の画像処理と、画像回復処理とを行う。画像処理部１０４は、処理手段、係数設定手段および画像回復手段として機能する。

まず、画像処理部１０４は、状態検知部１０７から撮像光学系１０１の状態（例えば、焦点距離、絞り値、被写体距離（撮像距離））を示す情報である撮像状態（光学系状態）情報を得る。状態検知部１０７は、システムコントローラ１１０から直接、撮像状態情報を得てもよいし、撮像光学系１０１の動作を制御する撮像光学系制御部１０６から得てもよい。

次に、画像処理部１０４は、撮像状態情報から得られる撮像光学系１０１の状態に応じた画像回復フィルタを記憶部１０８から選択する。そして、選択した画像回復フィルタ又は該選択した画像回復フィルタを撮像状態情報に応じて補正することで新たに生成した画像回復フィルタを用いて、入力画像に対して画像回復処理および調整パラメータに応じた回復度合の調整を行う。

図９を用いて、画像回復フィルタの選択と補正について説明する。図９には、記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に記憶された画像回復フィルタは、焦点距離（状態Ａ）、絞り値（状態Ｂ）および被写体距離（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。

なお、図９では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。

このように離散的に配置された画像回復フィルタから、実際に使用する画像回復フィルタを選択する方法について説明する。

図９において、大きな白丸で示した撮像状態が、検知された実際の撮像状態であるとする。実際の撮像状態に対応する位置またはその近傍に、予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。実際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（状態相違量）を算出し、最も距離の短い位置の画像回復フィルタを選択する。この方法により、図９に小さな白丸で示した位置の画像回復フィルタが選択される。

また、他の方法として、画像回復フィルタの選択に、撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向との積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する。

次に、選択された画像回復フィルタを補正することで新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い位置の画像回復フィルタを選択する。このとき状態相違量が最も小さくなるため、この後に使用する補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。

図９では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて、選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。

また、別の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタを状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等を用いて補間すればよい。

また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態にて光学伝達関数（ＯＴＦ）を計測して求めることもできる。

そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は、画像回復処理により偽色の発生度合と回復度合のバランスがとれた鮮鋭化された画像である。また、表示部１０５には、補正処理後の画像に表示のための所定の処理を行った画像を表示してもよいし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示してもよい。

以上の画像処理部１０４での一連の処理は、システムコントローラ１１０によって制御される。また、撮像光学系１０１の駆動は、システムコントローラ１１０の指示を受けた撮像光学系制御部１０６が制御する。

絞り１０１ａの開口径が制御されることで、絞り値が変化する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりその位置が制御される。撮像光学系１０１内に、ローパスフィルタや赤外線カットフィルタ等の光学素子を挿入してもよいが、該光学素子が撮像光学系１０１の光学伝達関数（ＯＴＦ）に影響を与える場合には、該光学素子を考慮して画像回復フィルタを作成する必要がある。赤外カットフィルタを挿入する場合には、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮が必要になる。

撮像光学系１０１は、撮像装置本体に対して一体に設けられたものでもよいし、交換可能に設けられたものであってもよい。

また、光学伝達関数（ＯＴＦ）は、同じ撮影状態においても撮像光学系１０１の像高（画像上での位置）に応じて変化するので、画像回復処理を像高に応じて変更して行うことが望ましい。具体的には、画像回復フィルタを画像上をコンボリューション処理をしながら走査し、所定の領域ごとに画像回復フィルタを変更すればよい。

本実施例の画像回復処理（画像処理方法）は、図１に示した画像処理部１０４で実行される。図１０に、画像処理部１０４で実行される本実施例の画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データであることを表し、それ以外は処理を表している。

画像処理部１０４は、画像取得工程（画像取得ステップ）で入力画像を取得する。次に、画像処理部１０４は、状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程（画像回復ステップ）で、画像処理部１０４は、画像回復フィルタを用いて入力画像に対して回復処理を行う。画像回復工程では、振幅成分および位相成分を補正（回復）した第１の画像と、位相成分のみを補正（回復）した第２の画像とを生成する。

回復成分情報生成工程（回復成分情報生成ステップ）では、画像処理部１０４は、第１の画像と第２の画像の各画素の信号値の差分から回復成分情報を生成する。回復成分情報は、第１の画像と第２の画像との差分情報であるため、値としては正の値や負の値を持っている。

そして、この回復成分情報生成工程では、画像処理部１０４は、回復強度調整係数μとしての調整パラメータの設定値を取得する。調整パラメータの設定方法としては、撮像条件や像高に応じて予め用意された設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。または、ユーザーが任意に設定することもできる。

次に、回復画像生成工程（回復画像生成ステップ）で、画像処理部１０４は、調整パラメータに応じて回復成分情報を第２の画像に合成して補正画像を生成する。具体的には、回復成分情報の各画素値に回復強度調整係数μを乗じた画素値を画素ごとに第２の画像に加えることで補正画像を得る。

次に、画像処理部１０４は、画像形成に必要なその他の処理を行い、回復された画像（補正画像）を出力する。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

また、画像処理部１０４は、少なくとも演算部と一時記憶部（バッファー）とを有する。上記の画像処理の工程ごとに必要に応じて一時記憶部に対して画像の書き込み（記憶）および読み出しを行う。一時的記憶部として、記憶部１０８を用いてもよい。

本実施例では、画像回復処理に伴う偽色の発生をさらに抑制する画像処理方法について説明する。図１１は、色成分ごとの回復成分情報Ｓ_ｍを色合成比調整係数ωに応じて色合成することで、色成分ごとの色合成回復成分情報Ｓｄ_ｍを生成し、この色合成回復成分情報Ｓｄ_ｍを第２の画像Ｓ_ｍに合成する処理のフローを示している。

色合成比調整係数ωは、各色成分について全ての色成分の回復成分情報（差分量）Ｓ_ｍをこの色合成比調整係数ωに応じて色合成することにより色合成回復成分情報（差分情報）Ｓｄ_ｍを生成するための係数であり、色成分の混合比である。したがって、回復成分情報Ｓ_ｍから色合成回復成分情報Ｓｄ_ｍを生成する処理は、式（７）およびこれを色成分ｍ，ｎについて展開して記した式（８）として表現することができる。

次に、式（８）の９つの色合成比調整係数ωの決定方法について説明する。はじめに、色合成比調整係数ωの２つの例について説明する。

１つ目は、回復強度調整係数μを１とした場合に、補正画像として第１の画像ｆｄ１_ｍと同じ画像を得るための色合成比調整係数ωである。式（８）の色合成比調整係数ωの対角成分を１として残りの成分を０として単位行列をとすると、色合成回復成分情報Ｓｄ_ｍは、それ自身の色成分の回復成分情報Ｓ_ｍと等しくなる。これは、補正画像ｆ_ｍを第１の画像ｆｄ１_ｍと同じ画像として出力する場合の係数設定である。この場合、前述した通り、補正画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色の発生リスクも大きい。

２つ目は、偽色を完全に発生させないための色合成比調整係数ωである。式（８）の色合成比調整係数ωの全要素を１／３とおくと、色合成回復成分情報Ｓｄ_ｍは全ての色成分の回復成分情報Ｓ_ｍを平均化したものになり、色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂともに完全に同じものになる。色合成回復成分情報Ｓｄ_ｍが全ての色成分で等しいということは、この後の工程で第２の画像ｆｄ２_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が全く無いことになるので、偽色が絶対に発生しない。

ただし、各色成分の収差情報を平均化しているので、１つ目の第１の画像ｆｄ１_ｍを出力画像とする場合に比べて回復度合、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、入力画像ｇ_ｍに対して補正画像の鮮鋭度は向上している。したがって、これが偽色の発生リスクを完全に除去した回復条件となる。

上では、偽色の発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について説明した。この色合成比調整係数ωを連続的に変化させることで、偽色の発生リスクと回復度合のバランスを連続的に調整することができる。

式（８）の色合成比調整係数ωを単位行列とした場合と全て１／３とした場合以外の中間的な色合成比調整係数ωの決定方法の例を以下に説明する。色合成比調整係数ωは、９つの設定自由度を有しているため、各要素値の設定が難しい場合がある。例えば、撮像装置や画像処理システム上で一般ユーザーがこの色合成比調整係数ωを可変に設定する場合がその一つの例である。

この困難性を解決するために、色合成比調整係数ωの各要素間に従属関係を持たせて、制御する自由度を低減する。ただし、この従属関係は、回復度合と偽色の発生リスクとのバランスを調整できる関係である必要がある。また、撮像装置や画像処理システムを提供する側としても好適な調整パラメータを少ない自由度で制御できることは、装置の開発工程や生産工程での作業効率を向上することができる。

色合成比調整係数ωの決定方法の例として、はじめに２つの制約条件を設ける。１つ目の制約条件は、式（９）のように、式（８）の行列ωの行ごとの和をそれぞれ１とするものである。これは、例えばＲ成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。

２つ目の制約条件は、式（１０）のように、式（８）の行列ωの列ごとの和を１とするものである。これは、各色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を設けると、色合成比調整係数ωは式（１１）のように表現することができる。

さらに、本実施例の目的は、回復度合を確保しながら偽色の発生リスクを抑制することであるので、各色合成回復成分情報Ｓｄ_ｍは色成分間での類似性が高い、すなわち相違が小さい方が好ましいことになる。前述したω＝１／３とした場合の説明は、各色合成回復成分情報Ｓｄ_ｍの色成分間での相違が全く無いために偽色の発生リスクが最小、すなわち偽色の発生が全く無い状態であった。したがって、ある色成分の回復成分情報Ｓ_ｍを各色成分の色合成回復成分情報Ｓｄ_ｍにできるだけ均等に配分すればよいことになるので、式（１１）の各列の分散が小さい方が偽色の発生リスクを低減できる。

これに基づいて、式（１１）の各列の分散を最小化すると、式（１２）のように記すことができる。式（１２）は、設定パラメータがωの１つになっているので、回復度合と偽色の発生リスクのバランスの調整を容易に制御することができる。

式（１２）においてω＝１とすると、行列ωは単位行列となり、回復度合と偽色の発生リスクがともに最大になる。また、ω＝１／３とすると、行列ωは全ての要素が１／３となり、回復度合が低下するとともに偽色の発生リスクが全く無くなる。したがって、１／３≦ω≦１の範囲で色合成比調整係数ωを低下させていくと、偽色の発生リスクを低減していく調整が可能となる。

ここでは、色合成比調整係数ωの決定方法の例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍが全ての色成分で０（ゼロ）になるので、補正画像ｆ_ｍは第２の画像ｆｄ２_ｍそのものとなる。このように、０≦ω≦１の範囲で色合成比調整係数ωを調整することで、位相成分のみ回復した第２の画像ｆｄ２_ｍから、振幅成分および位相成分を回復した第１の画像ｆｄ１_ｍまでの範囲で出力画像を調整して得ることができる。また、式（９）を１よりも大きく設定することで、さらに補正を強調させることも可能である。

このように、行列ωの各要素の設定自由度は１つに限定せず、９つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式（１１）に基づいて設定すれば自由度は６である。

また、色合成比調整係数ωの範囲についても、上記した補正画像ｆ_ｍとして入力画像や強調画像を得る場合のように、１／３≦ω≦１に限定せず設定することもできる。すなわち、式（１２）は、回復度合と偽色の発生リスクを１つの設定パラメータωで容易に決定するための例にすぎない。本実施例の本質は、回復成分情報Ｓ_ｍを色成分間で合成し、色合成回復成分情報Ｓｄ_ｍの色成分間の類似性を制御することで、偽色の発生リスクを抑制することである。

また、式（１３）のように色合成比調整係数ωと回復成分調整係数μを組み合わせて制御することもできる。これらを組み合わせることにより、色合成比調整係数ωは１／３≦ω≦１の範囲として偽色の発生を抑制し、回復成分調整係数μの範囲を０≦ω≦１として回復度合を制御することが可能である。

回復成分調整係数μを色成分で共通にして、式（１４）のようにすることもできる。

また、上記のように色成分間の回復成分情報Ｓ_ｍを色合成する際には、各画素に複数の色成分情報を持っていることが必要になる。したがって、上記の画像回復処理を各画素に１つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理（デモザイキング処理）を行う必要がある。そのために、各色成分の回復成分情報Ｓ_ｍに対して色補間処理を行うか、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍに対してそれぞれ色補間処理を行うかすることで、各画素に複数の色成分情報をもった回復成分情報Ｓ_ｍを生成すればよい。

図１２には、本発明の実施例３である画像処理システムの構成を示している。画像処理装置２０１は、コンピュータ機器により構成され、実施例１，２にて説明した画像処理方法を該コンピュータ機器に実行させるための画像処理ソフトウェア（画像処理プログラム）２０６を搭載している。

撮像装置２０２は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体２０３は、半導体メモリ、ハードディスク、ネットワーク上のサーバ等、撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置２０１は、撮像装置２０２又は記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った出力画像（補正画像）データを出力機器２０５、撮像装置２０２および記憶媒体２０３のうち少なくとも１つに出力する。また、出力先を画像処理装置２０１に内蔵された記憶部とし、該記憶部に出力画像データを保存しておくこともできる。出力機器２０５としては、プリンタ等が挙げられる。画像処理装置２０１には、モニタである表示機器２０４が接続されており、ユーザーはこの表示機器２０４を通して画像処理作業を行うとともに、補正画像を評価することができる。画像処理ソフトウェア２０６は、画像回復処理機能（位相劣化成分および振幅劣化成分の補正機能）および回復度合調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

また、図１３には、別の画像処理システムの構成を示している。実施例１のように撮像装置２０２単体で実施例１〜３の画像処理を行う場合は、撮像装置２０２から直接、出力機器２０５に補正画像を出力することができる。

また、出力機器２０５に、実施例１，２の画像処理方法を実行する画像処理装置を搭載することで、出力機器２０５にて画像回復処理および回復度合調整を行うことも可能である。さらに、出力機器２０５の出力時の画像劣化特性を考慮して回復度合調整を行うことで、より高画質な画像を提供することができる。

ここで、位相劣化成分および振幅劣化成分の補正処理を含む画像処理を行うための補正データの内容と補正データの受け渡しについて説明する。図１４には、補正データの内容を示す。補正情報セットは、以下の補正に関する情報を有している。

「補正制御情報」
補正制御情報は、撮像装置２０２、画像処理装置２０１および出力機器２０５のどれで補正処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像機器２０２で画像回復処理のみ行い、画像処理装置２０１で回復度合の調整を行う場合、画像回復フィルタを画像処理装置２０１に伝送する必要は無いが、少なくとも第２の画像と第１の画像又は回復成分情報とを伝送する必要がある。

「撮像装置情報」
撮像装置情報は、製品名称に相当する撮像装置２０２の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

「撮像状態情報」
撮像状態情報は、撮影時の撮像装置２０２の状態に関する情報である。例えば、焦点距離、絞り値、被写体距離、ＩＳＯ感度、ホワイトバランス設定等である。

「撮像装置個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合調整パラメータを設定するために有効な情報である。回復度合調整パラメータとは、回復強度調整係数μや色合成比調整係数ωである。

「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置（機器）から画像回復フィルタを伝送する必要がある。

「回復成分情報」
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第２の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合調整処理を行うことができる。

「調整パラメータ群」
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。

「ユーザー設定情報」
ユーザー設定情報は、ユーザーの好みに応じた回復度合に調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザーは調整パラメータを可変に設定可能であるが、ユーザー設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザー設定情報は、ユーザーが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。

さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置又は機器は画像回復処理および回復度合調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の機器で回復度合調整処理を行う場合に、補正情報セットに第２の画像と回復成分情報が含まれていれば、画像回復フィルタ群は基本的には必要ない。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

画像回復処理によるノイズの増幅等を抑制して、高画質の回復調整画像が得られる画像処理方法を提供できる。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部
１０５ 表示部
１０７ 状態検知部
１０８ 記憶部
１１０ システムコントローラ

Claims (5)

1. 撮像系により生成された入力画像を取得するステップと、
   前記入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成するステップと、
   前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第１の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第２の画像を生成するステップと、
   前記第１および第２の画像の差分情報を取得するステップと、
   前記回復処理における回復度合を調整するための回復強度調整係数を設定するステップと、
   前記第２の画像に対して、前記差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成するステップとを有することを特徴とする画像処理方法。
2. 前記入力画像は複数の色成分を含み、
   前記差分情報を、前記第１および第２の画像の前記色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
   前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項１に記載の画像処理方法。
3. 撮像系により生成された入力画像を処理する画像処理装置であって、
   前記入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成し、前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第１の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第２の画像を生成する処理手段と、
   前記回復処理における回復度合を調整するための回復強度調整係数を設定する係数設定手段と、
   前記第２の画像に対して、前記第１および第２の画像の差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成する画像回復手段とを有することを特徴とする画像処理装置。
4. 撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像系と、
   前記撮影画像を入力画像として処理する請求項３に記載の画像処理装置とを有することを特徴とする撮像装置。
5. 撮像系により生成された入力画像を取得する処理と、
   前記入力画像の振幅成分および位相成分を回復処理することで第１の画像を生成する処理と、
   前記入力画像の前記振幅成分を回復処理せずに前記位相成分を回復処理することで、前記第１の画像と前記位相成分の状態が等しく、かつ前記振幅成分の状態が異なる第２の画像を生成する処理と、
   前記第１および第２の画像の差分情報を取得する処理と、
   前記回復処理における回復度合を調整するための回復強度調整係数を設定する処理と、
   前記第２の画像に対して、前記差分情報を、前記回復強度調整係数に応じて合成することで回復調整画像を生成する処理とをコンピュータに実行させることを特徴とする画像処理プログラム。