JP6512893B2 - 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びコンピュータプログラムに関する。

情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差によって少なからず劣化している。

画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶことにする。画像のぼけと言うと例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違と云うことができる。また、横方向の色ズレも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれと云うことができる。

ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ）） ・・・（式１）
このように、撮像光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のＯＴＦの情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降この撮像光学系のＯＴＦの情報を用いて画像の劣化を補正する処理を画像回復処理または回復処理と記すことにする。

画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、前記光学伝達関数を逆フーリエ変換したものであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（式２）
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。ＨはＰＳＦをフーリエ変換したものであるのでＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（式３）
撮影された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（式４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（式５）
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じてＯＴＦが変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。

このような画像回復技術は以前から研究が行われており、例えば、特許文献１には、画像回復後のＰＳＦに微小な広がりを設定して画像回復処理を行う画像回復処理が開示されている。

特開２００６−２３８０３２号公報

上記の通り、撮像した入力画像に対して画像回復処理を施すことにより、諸収差を補正することで画質を向上することができる。画像回復はレンズの諸収差を補正することで画像の解像感が向上するが、解像感を向上させる他の処理としてエッジ強調が広く知られている。エッジ強調は画像の輪郭を強調し、画像の解像感を向上させる処理である。

エッジ強調により解像感を向上させることができるが、画像回復の過補正が強調されてしまう場合がある。また、エッジ強調処理を利用したデジタルカメラのシャープネス機能の強度をユーザーが設定可能な場合もあるが、画像回復の適用有無に応じて設定値を調整するとカメラの操作性を著しく低下させてしまう。この点につき上述の特許文献１は、画像回復時のエッジ強調処理については考慮していない。

そこで、本発明は、画像回復による過補正の影響を抑えたエッジ強調処理を可能にする技術を提供する。

上記課題を解決するための本発明は、画像処理装置であって、
処理対象の画像につき、該画像を生成する際に用いられた撮像光学系の収差による画質劣化を補正するためのフィルタ処理である回復処理を行う回復処理手段と、
前記処理対象の画像から所定の周波数成分であるエッジ信号を検出し、検出したエッジ信号の強度を調整し、調整後のエッジ信号を前記処理対象の画像に加算してエッジ強調処理を行うエッジ強調手段とを備え、
前記エッジ強調手段は、前記エッジ信号を検出する画像に対して前記回復処理が行われた場合は、前記回復処理が行われていない場合よりも、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする。

本発明によれば、画像回復による過補正の影響を抑えたエッジ強調処理が可能となる。

発明の実施形態に係る画像処理装置の例示的構成を示す図。 発明の実施形態に係る画像処理の一例を示すフローチャート。 発明の実施形態に係るＲＡＷ画像の説明図及びエッジ強調処理の説明図。 発明の実施形態１に係るエッジ強調処理の一例の説明図。 発明の実施形態２に係るエッジ強調処理の一例の説明図。 発明の実施形態３に係るエッジ強調処理の一例の説明図。 発明の実施形態３に係るエッジ強調処理の他の一例の説明図。 エッジ強調処理によるエッジ断面及び画像回復時のエッジ断面の説明図。

以下、図面を参照して発明の実施形態を説明する。まず、図８を参照して、本実施形態で検討する画像回復処理の過補正のエッジ強調に対する影響について、より詳細に説明する。

背景技術の欄に記載したように、撮像した入力画像に対して画像回復処理を施し、諸収差を補正することで画質劣化を回復し、画質を向上させることができる。しかし、実際の撮像では、入力画像の撮像状態と、これを回復するための画像回復フィルタの状態が最適には一致しない場合がある。その例として、撮影した画像に飽和画素がある場合と、レンズの製造誤差による影響が挙げられる。飽和画素は本来の被写体情報を失っているため、入力画像と画像回復フィルタが対象にする劣化画像の状態が一致しない事態が発生する。また、レンズに製造誤差がある場合、レンズの光学性能が個体毎に異なり、画像回復フィルタが対象にする劣化画像と撮影画像の特性が異なる事態が発生する。

画像回復処理は画像に周波数特性を補償するためのフィルタを適用するため、画像の周波数特性とフィルタが補正しようとする周波数特性が異なると、画像にリンギングやアンダーシュートなどの過補正による弊害が発生する場合がある。飽和による被写体情報の消失によって、撮影画像における飽和領域は被写体が本来示す周波数特性から大きく異なった周波数特性を持つ。特に飽和画素と非飽和画素の境界付近は画像回復フィルタが対象にする周波数特性と大きく異なるため過補正が発生し易い領域である。

画像回復はレンズの諸収差を補正することで画像の解像感が向上するが、他の解像感向上処理としてエッジ強調が広く知られている。エッジ強調は画像の輪郭を強調し、画像の解像感を向上させる処理である。図８（ａ）はエッジ強調処理で強調されるエッジの例を示した図である。図８（ａ）はエッジの断面の輝度をグラフにしたものである。エッジ強調処理を行った場合はエッジの傾斜が急になり画像としての解像感が向上していることを示している。エッジ強調では画像のアンダーシュートやオーバーシュートといった本来被写体の撮影画像には無い成分も、観賞時の解像感向上のために発生させることがある。最近のデジタルカメラもこのようなエッジ強調をシャープネス機能として持っており、ユーザーが設定可能な強度に基づきカメラ内で行うのが一般的になっている。

画像回復の適用により諸収差が補正された画像においても、写真の観賞サイズや用途に応じて解像感を調整するためにエッジ強調は有効な処理である。

しかしながら、上述の通り画像回復では過補正によりリンギングやアンダーシュートなどが発生する場合がある。その画像にエッジ強調が適用されると画像回復の過補正による影響も強調してしまう場合がある。図８（ｂ）から図８（ｄ）は画像回復適応と、ガンマ補正やエッジ強調などの画像処理が施された画像処理後の画像のエッジを示している。図８(ｂ)は過補正なく適切な画像回復処理が行われた例である。画像回復により収差の影響でぼけたエッジが補正されており、さらにその画像に対し、ガンマ補正やエッジ強調などの画像処理が施された現像画像の例を示している。図８(ｃ)はエッジの高輝度部が飽和している例である。この場合、画像回復では適切な補正が行われずリンギングが発生している。現像後は、このリンギングが強調されてしまっている例を示している。また、図８(ｄ)は、製造誤差の影響で、劣化画像である回復処理前の画像が、本来の画像（図８(ｂ)の回復処理前画像）と異なっている例である。この例も画像回復では適切な補正がされず、現像処理後は過補正の強調が発生してしまっている。

同じＰＳＦのぼけ成分でも、コントラストが大きいエッジほど収差成分の画素値への寄与は大きく、収差は目立つ。従って、コントラストが大きいエッジほど画像回復による画素値の変動が大きくなる。つまり、コントラストが大きいエッジほど画像回復で過補正が発生した場合の影響が大きくなり、画像上で目立つ結果になる。コントラストが大きいエッジでは必然的にエッジの低輝度側は輝度レンジの中でも小さな画素値、逆にエッジの高輝度側は飽和しているか、もしくは輝度レンジの中でも大きな画素値になる。この高輝度部は撮像装置のガンマ補正により、最終的な画像では最大画素値に収束することが多い。従って、画像回復の過補正の画像への影響は、エッジの低輝度側で目立ちやすいと言える。

このようにエッジ強調は解像感の向上に有効であるが、画像回復の過補正の結果も強調してしまう場合がある。以下に説明する本実施形態では、エッジ強調処理を画像回復による過補正の強調を伴わずに実施可能にする技術を説明する。

［実施形態１］
まず、発明の第１の実施形態を説明する。図１は、発明の実施形態に係る画像処理装置１００の基本構成の一例を示す図である。画像処理装置１００は、デジタルカメラのような撮像装置として実現することができる。それ以外にも、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

以下、画像処理装置１００の動作を説明しながら、画像処理装置１００の各構成要素及びその機能を説明する。被写体の画像を生成するために、被写体からの反射光を撮像光学系１０１で撮像素子１０２に結像する。撮像光学系１０１の機械的な駆動はシステムコントローラ１０９の指示により撮像光学系制御部１０６で行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。この撮像光学系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等のＯＴＦの特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタにおいても、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを作成する時点での考慮が必要になる場合がある。

撮像素子１０２は撮像光学系１０１により得られた結像光を電気信号に変換し、アナログ画像信号をＡ／Ｄコンバータ１０３へ出力する。Ａ／Ｄコンバータ１０３は入力されたアナログ画像信号をデジタル画像信号に変換し、画像処理部１０４に出力する。画像処理部１０４は、入力されたデジタル画像信号に所定の画像処理を実施する。本実施形態に対応する画像処理部１０４は、画像回復処理部１１０とエッジ強調パラメータ決定部１１１、エッジ強調部１１２、現像・圧縮処理部１１３を含む。画像処理部１０４における一連の処理はシステムコントローラ１０９によって制御される。

画像処理部１０４の詳細な処理は後述するが、画像回復処理部１１０では画像回復のための回復フィルタ適用処理が行われる。エッジ強調パラメータ決定部１１１では撮像設定に応じてエッジ強調パラメータを決定し、エッジ強調部１１２では決定されたエッジ強調パラメータによるエッジ強調処理を適用する。現像・圧縮処理部１１３では画素補間、ガンマ補正、カラーバランス調整、圧縮処理など、所定の画像処理を行う。画像処理部１０４は各ブロック１１０〜１１３における処理により、ＪＰＥＧ画像等の画像ファイルを生成することができる。

システムコントローラ１０９は画像処理部１０４から得られたＪＰＥＧ画像等の出力画像を画像記録媒体１０８に所定のフォーマットで保存する。また、表示部１０５には、画像回復処理後の画像に表示用の所定の処理を行った画像を表示する。画像回復処理を行わない、又は簡易的な回復処理を行った画像を表示しても良い。

以上が発明の実施形態に係る画像処理装置１００の基本構成及び動作の一例である。図１では撮像光学系１０１を画像処理装置１００の構成要素の一部として記載したが、撮像光学系１０１は一眼レフカメラのように、画像処理装置１００本体から取り外しが可能な構成であってもよい。

図１の画像処理装置１００において、撮像光学系、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

次に、画像処理部１０４が実行する本実施形態に対応する画像処理の詳細を、図２のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、画像処理部１０４として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

画像処理部１０４への入力は図３（ａ）に示すように各画素に１色の色成分を持つベイヤー形式のＲＡＷ画像である。まず現像・圧縮処理部１１３は、Ｓ２０１にてＲＡＷ画像の各色成分について画素補間処理を行なうことでＲＧＢの３つの色プレーンを作成する。次に画像回復処理部１１０は、Ｓ２０２にてユーザーにより設定可能な画像回復適用設定がＯＮであるかどうか判定する。もし設定がＯＮの場合（Ｓ２０２で「ＹＥＳ」）はＳ２０３に移行する。一方、設定がＯＦＦだった場合（Ｓ２０２で「ＮＯ」）、Ｓ２０５に移行する。

Ｓ２０３では、画像回復処理部１１０はズーム位置や絞り径等の撮影条件に適した画像回復フィルタを選択する。このとき、選択した画像回復フィルタを必要に応じて補正しても構わない。これは、予め記憶部１０７に用意しておく画像回復フィルタのデータ数を低減するためである。記憶部１０７は離散的な撮像条件に対応する画像回復フィルタのデータを記憶しておき、画像回復工程で使用する際は、選択したフィルタデータを実際の撮像条件に対応するデータに補正する。また、画像回復フィルタの選択するのではなく、画像回復フィルタを生成するために必要なＯＴＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。次に、画像回復処理部１１０は、Ｓ２０４にて選択された画像回復フィルタを用いて、撮像された画像の各色成分の各画素に対してコンボリューション処理を行う。この処理により撮像光学系で発生した収差の非対称性の補正や画像のぼけ成分を除去若しくは低減することができる。なお、ここでは画素補間処理を行ってから画像回復フィルタを用いたコンボリューション処理を行う例をあげて説明をしたが、画像回復フィルタを用いたコンボリューション処理を行ってから画素補間処理を行うようにしてもよい。

次に、現像・圧縮処理部１１３がガンマ補正を行う。ガンマ補正の対象画像は、画像回復適用設定がＯＮの場合は画像回復が適用された画像となる。一方、画像回復適用設定がＯＦＦの場合は画像回復が非適用の画像となる。現像・圧縮処理部１１３は撮像素子１０２の特性に応じたガンマ補正を行う。

これ以降のＳ２０６からＳ２０９では、エッジ強調パラメータ決定部１１１がエッジ強調パラメータを決定し、エッジ強調部１１２がエッジ強調処理を行うことになるが、まず本実施形態におけるエッジ強調処理の原理を説明する。

図３（ｂ）はエッジ強調部１１２で行われる一般的なエッジ強調処理の流れを示す。なお、図３（ｂ）は、エッジ強調部１１２の構成例を示す機能ブロック図として参照することも可能である。その場合、図３（ｂ）に示す各処理は、エッジ強調部１１２が有する当該処理を実行する処理ブロックを表すものとして解釈される。

エッジ強調部１１２には輝度信号が入力され、バンドバスフィルタ処理１０００〜１００２にそれぞれ供給される。なお輝度信号はＲＧＢのプレーン信号うち、Ｇプレーン信号とすることができる。水平方向（ＨＢＰＦ）の高周波成分を検出するバンドパスフィルタ処理１０００は、入力された輝度信号から水平方向のエッジを検出し、エッジ信号として出力する。図４（ａ）の左側は処理対象画像に含まれるエッジ領域の輝度値を断面として示した図で、右側は当該エッジ領域から検出されたエッジ信号の一例を示した図である。このようにして得られたエッジ信号は振幅調整処理１００３にて振幅調整が施され、ＢＣ（ベースクリップ）処理１００６によってノイズ成分が除去される。ＢＣ処理１００６は、処理対象の信号からベースクリップレベル以下の振幅を有する信号を除去することによりノイズ成分を除去する。

同様に垂直方向（ＶＢＰＦ）、斜め方向（ＤＢＰＦ）のエッジ信号も検出される。それぞれのエッジ信号は加算器１００９、１０１０にて加算され、ゲイン調整処理１０１１にてゲイン調整されてＹapcとなる。最後に、メイン輝度信号（Ｙsig）とゲイン調整処理１０１１からの出力されたゲイン調整後のエッジ信号（Ｙapc）とが加算器１０１２にて加算され、エッジ強調済みの輝度信号として出力される。

ゲイン調整処理１０１１で適用されるエッジ強調パラメータは、処理対象の画像に含まれるエッジの強調の度合いを調整するための調整値であって、輝度値に応じて異なるゲイン調整値を含むことができる。この輝度別のゲイン調整値の例を図４（ｂ）に示す。この例ではエッジ強調パラメータはゲイン調整値Ｐ０〜Ｐ３から構成され、各ゲイン調整値の間は線形補間により輝度毎のゲイン調整値が設定される。本実施形態では輝度値が低い程、ゲインを高くするように設定される。本実施形態では便宜的に、Ｐ０とＰ１とが設定される輝度値の間を高輝度側の輝度値の範囲とし、Ｐ１、Ｐ２、Ｐ３が設定される輝度値の間を低輝度側の輝度値の範囲として説明する。但し、図４（ｂ）ではゲイン調整値を４つでエッジ強調パラメータを構成する場合を示したが、より多い或いは少ない数の値を用いても良い。よって、高輝度の範囲及び低輝度の範囲は設定されるゲイン調整値の数や値に応じて変更することができる。

ここで図２の説明に戻り、Ｓ２０５のガンマ補正後にエッジ強調パラメータ決定部１１１がエッジ強調パラメータを決定する。エッジ強調パラメータ決定部１１１はＳ２０６で画像回復設定の判定を行い、設定値に応じたエッジ強調パラメータを取得する。具体的に、画像回復設定がＯＦＦであった場合（Ｓ２０６で「ＮＯ」）は、Ｓ２０７で第１のパラメータを取得し、画像回復設定がＯＮであった場合（Ｓ２０６で「ＹＥＳ」）は、Ｓ２０８で第２のパラメータを取得することができる。このようにして得られたパラメータを使用し、エッジ強調部１１２がＳ２０９でエッジ強調処理を行う。その後、現像・圧縮処理部１１３がＳ２１０でカラーバランス調整等の未処理の現像処理を実行する。

ここで、本実施形態におけるエッジ強調パラメータの例を図４（ｃ）に示す。図４（ｃ）のＡで示している値は第１のパラメータであり、Ｂで示している値は第２のパラメータである。各パラメータは図４（ｂ）に示したような複数のゲイン調整値の集合として定義される。エッジ強調パラメータ決定部１１１は各パラメータを画像回復設定のＯＮ／ＯＦＦに応じて記憶部１０７から取得する。第１のパラメータでは高輝度側に比べ低輝度側でゲインをより上げるようにゲイン調整値が設定されているのに対し、第２のパラメータでは、第１のパラメータに比べて低輝度側でのゲイン上昇の度合いが小さい。即ち、第２のパラメータは第１のパラメータよりも低輝度側のゲイン調整値を抑制している。

低輝度側のゲイン調整値を抑制したパラメータは以下の式のように算出することができる。なお、記憶部１０７は以下の式に基づき算出された第２のパラメータを第１のパラメータと共に予め記憶しておくことができる。また、記憶部１０７は第１のパラメータのみを記憶しておき、エッジ強調パラメータ決定部１１１が以下の（式６）から（式９）に基づき第１のパラメータから第２のパラメータを算出しても良い。ここで、Ｐ０′〜Ｐ３′は低輝度側のゲイン調整値を抑制した際のＰ０〜Ｐ３に相当するパラメータであり、Ｋは抑制係数を示している。抑制係数Ｋは画像回復を行った画像に対し、過補正の強調が抑えられ、且つ、解像感も損なわれない値を予め実験的に求めておく。（式６）から（式９）は、Ｐ１からＰ３とＰ０との差分に対し抑制係数Ｋを掛け、Ｐ０に加算している。よって、Ｐ０と一致する値を設定することにより強調の度合いを変更しない範囲を決定できる。換言すると、Ｐ０と異なる値のゲイン調整値を設定することで、強調の度合いを変更する低輝度側の範囲を決定することができる。
Ｐ０′＝Ｐ０ ・・・・・（式６）
Ｐ１′＝Ｋ（Ｐ１−Ｐ０）＋Ｐ０ ・・・・・（式７）
Ｐ２′＝Ｋ（Ｐ２−Ｐ０）＋Ｐ０ ・・・・・（式８）
Ｐ３′＝Ｋ（Ｐ３−Ｐ０）＋Ｐ０ ・・・・・（式９）
図４（ｄ）に本実施形態の画像処理を行った場合のエッジ断面の例を示す。飽和が発生している例を示しているが画像回復処理で過補正が発生した場合でも、エッジ強調処理による過補正部の強調を抑えており、図８(ｃ)で示した例よりも過補正の影響は低減していることが分かる。

このように本実施形態によれば、画像回復の適用有無に応じてエッジ強調の強度を切り替え、画像回復で目立ちやすい低輝度側の過補正を強調しないようなエッジ強調処理を行うことができる。

［実施形態２］
以下、発明の第２の実施形態について説明する。実施形態２にかかる画像処理装置１００の基本構成、及び、画像処理部１０４における処理フローは、実施形態１で示した図１、図２と同様であるため省略する。

本実施形態では画像回復を行う場合のエッジ強調パラメータ（第２のパラメータ）を、画像回復で過補正の発生要因に基づいて変更する場合を説明する。過補正の原因の１つは、上述のように画素飽和による被写体情報の消失である。画像回復フィルタをコンボリューションする際に使用する画像領域に飽和画素が多いほど正しい回復処理が行えず、過補正になる確率が高くなる。従って、ある注目画素に対して画像回復処理を行う場合、画像回復フィルタの処理対象となる画像領域内の飽和画素の割合を求める。この飽和画素の割合は、画像回復処理部１１０が画像回復処理を実行する際に算出しておくことができる。この割合に応じて、当該注目画素にエッジ信号を加算する際のエッジ強調パラメータを決定することで、画像回復で過補正が発生しやすい箇所でエッジ強調の強度を抑制することができる。

この場合、エッジ強調パラメータ決定部１１１が記憶部１０７から取得したパラメータに基づいて演算を行い、飽和画素の割合に応じたエッジ強調パラメータを決定することができる。図５（ａ）は画素の割合に応じた抑制係数Ｋの例を示している。具体的に飽和画素の割合が少ない場合（０〜１０％）は、低輝度側の強調の度合いを抑制しない（Ｋ＝１）。飽和画素の割合が１０〜５０％の範囲においては割合が増加するのに反比例して抑制係数Ｋを小さくし、低輝度側の強調の度合いを飽和画素の割合の増加に応じて抑制する。その後、飽和画素の割合が５０％以上ではＫは−１で一定としている。Ｋを負の値とすることにより、画像回復によって高輝度部の周辺に生じてしまったリンギングを目立たなくすることができるようになる。なお、ここに示すのは、あくまで一例であって、Ｋ＝１の範囲を広げたり狭めたりしても良い。また、抑制係数Ｋを変化させる範囲を広げたり狭めたりすることもできる。また、Ｋ＝−１とする範囲を広げたり狭めたりすることもできる。この抑制係数を用いて（式６）〜（式９）で計算した輝度別ゲイン調整値の例を図５（ｂ）に示す。ここでは飽和画素が占める割合が大きくなるほど低輝度側のゲイン調整の抑制を強くしている。またゲイン調整値は、飽和画素が占める割合が増えるのに応じて、低輝度側の強調の度合いが高輝度側の強調の度合いよりも強い設定から、高輝度側の強調の度合いよりも弱い設定へ移行している。

このように本実施形態によれば、画像回復処理の処理対象の画素領域の特性、特に飽和画素の割合に応じてエッジ強調の強度を切り替え、画像回復で目立ちやすい低輝度側の過補正を強調しないようなエッジ強調処理を行うことができる。

［実施形態３］
以下、発明の第３の実施形態について説明する。実施形態３にかかる画像処理装置１００の基本構成、及び、画像処理部１０４における処理フローは、実施形態１で示した図１、図２と同様であるため省略する。

実施形態３では、画像回復処理の適用時にエッジ強調のための第２のパラメータとして取得する輝度別ゲイン調整値の別のパターンを説明する。先述の通り、図３（ｂ）に示したエッジ強調部１１２のゲイン調整処理１０１１にはエッジ信号が入力される。このエッジ信号は図４（ａ）の右側に示すように正の信号と負の信号から成る。本実施形態では図６（ａ）に示すように、正のエッジ信号と負のエッジ信号に対してそれぞれ輝度別ゲイン調整値を設定する。図６（ａ）の例では画像回復適用時の輝度別ゲイン調整値を示しており、正のエッジ信号用よりも負のエッジ信号用のゲイン調整値は小さい値を持つ。即ち、負のエッジ信号についてはゲイン調整値を抑制している。このとき正のエッジ信号用のゲイン調整値は画像回復を適用し無い場合のゲイン調整値と同じであってもよい。

負のエッジ信号用ゲイン調整値のパラメータは以下の（式１０）から（式１３）により予め計算することができる。ここで、Ｐ０′〜Ｐ３′は低輝度側のゲイン調整値を抑制した際の図４（ｂ）のＰ０〜Ｐ３に相当するパラメータであり、Ｋは抑制係数を示している。この（式１０）から（式１３）は、Ｐ０からＰ３の各値に抑制係数Ｋを掛けてゲイン調整値を算出している。よって、（式６）から（式９）の場合とは異なり、低輝度側のみを選択的に抑制するのではなく、輝度範囲全体として抑制し、結果的に低輝度側も抑制されていることとなる。
Ｐ０′＝ Ｋ×Ｐ０ ・・・・・（式１０）
Ｐ１′＝ Ｋ×Ｐ１ ・・・・・（式１１）
Ｐ２′＝ Ｋ×Ｐ２ ・・・・・（式１２）
Ｐ３′＝ Ｋ×Ｐ３ ・・・・・（式１３）
図６（ｂ）は、レンズの製造誤差によって画像回復の過補正が発生する場合に、この輝度別ゲイン調整値を用いた例を示している。画像回復処理で過補正が発生しているが、エッジ強調処理による過補正部の強調を抑えており、図８(ｄ)で示した例よりも過補正の影響は低減していることが分かる。このように画像回復の適用時は、負のエッジ信号用の輝度別ゲイン調整値を小さくすることで、画像回復で目立ちやすい低輝度側の過補正の強調を抑えたエッジ強調処理を行うことができる。また、正のエッジ信号用は、低輝度側のゲイン調整値を抑制しないことで、過補正が発生していない領域で低輝度部の解像感を調整することができる。

上記では負のエッジ信号用の輝度別ゲイン調整値を、（式１０）〜（式１３）を用いて設定したが、（式６）〜（式９）を用いたパラメータを、負のエッジ信号用輝度別ゲイン調整値に用いることも可能である。この場合は図６（ｃ）に示すように、負のエッジ信号用のゲイン調整値は、Ｐ０′、Ｐ１′といった高輝度側のゲイン調整値は正のエッジ信号用のゲイン調整値と一致し、Ｐ２′、Ｐ３′の低輝度側のゲイン調整値を小さくすることができる。即ち、低輝度側の強調の度合いのみを抑制することができる。

画像回復を行う場合のエッジ強調パラメータは、画像回復で過補正の目立ち易さに応じて変更することも可能である。エッジのコントラストが高いほど、過補正は目立つ。これは、画像回復フィルタをコンボリューションする際に処理対象の画像領域内の濃淡差が大きいほど、過補正が目立つ傾向があることを意味する。従って、注目画素に対して画像回復処理を行う場合、画像回復フィルタの処理対象の画像領域内で最大画素値（最大輝度値）又は最小画素値（最小輝度値）と注目画素の画素値（輝度値）との差分値を求め、絶対値としてより大きい方を採用する。この差分値に応じて、注目画素のエッジ強調パラメータを決定することで、画像回復で過補正が目立ちやすい箇所でエッジ強調の強度を小さくすることができる。この場合は、エッジ強調パラメータ決定部１１１が記憶部１０７から取得したパラメータに基づいて演算を行う。

図７（ａ）は最大輝度差に応じた抑制係数Ｋの例を示している。図７（ａ）では最大輝度差が大きくなるほど抑制係数Ｋの値が小さくなるようにしている。この抑制係数Ｋを用いて（式１０）〜（式１３）で計算した輝度別ゲイン調整値の例を図７（ｂ）に示す。最大輝度差が大きくなるほど抑制係数Ｋの値が小さくなるので、結果として低輝度側のゲイン調整の抑制が強くなる。

さらに、図７（ａ）で示した抑制係数Ｋを（式６）〜（式９）に適用することも可能である。画像回復フィルタのコンボリューションに使用される画像領域内の最大輝度差に応じて、低輝度側のゲイン調整値を抑制する。よって、この場合Ｐ０′、Ｐ１′の高輝度側は最大輝度差に関わらず同一値を有し、Ｐ２′、Ｐ３′の低輝度側のゲイン調整値は最大輝度値が大きいほど小さくなる。また、（式１０）〜（式１３）は、実施形態１及び２のエッジ強調パラメータの決定に際して（式６）〜（式９）の代わりに適用してもよい。その場合、第２のパラメータのＰ０′からＰ３′は第１のパラメータのＰ０からＰ３よりも全体としてゲイン調整値が小さくなる。

このように本実施形態によれば、エッジ信号の符号や、画像回復処理の処理対象の画素領域における最大輝度差に応じてエッジ強調の強度を切り替え、画像回復で目立ちやすい低輝度側の過補正を強調しないようなエッジ強調処理を行うことができる。

以上の各実施形態で説明したように、輝度別のゲイン調整値の与え方は複数あるが、画像回復処理を行う場合にその結果に応じたゲイン調整値を使用することで、画像回復による過補正の強調を抑えたエッジ強調処理が可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像光学系、１０１ａ：絞り、１０１ｂ：フォーカスレンズ、１０２：撮像素子、
１０３：Ａ／Ｄコンバータ、１０４：画像処理部、１０５：表示部、１０６：撮像光学系制御部、１０７：記憶部、１０８：画像記録媒体、１０９：システムコントローラ、１１０：画像回復処理部、１１１：エッジ強調パラメータ決定部、１１２：エッジ強調部、１１３：現像・圧縮処理部

Claims (14)

1. 処理対象の画像につき、該画像を生成する際に用いられた撮像光学系の収差による画質劣化を補正するためのフィルタ処理である回復処理を行う回復処理手段と、
   前記処理対象の画像から所定の周波数成分であるエッジ信号を検出し、検出したエッジ信号の強度を調整し、調整後のエッジ信号を前記処理対象の画像に加算してエッジ強調処理を行うエッジ強調手段と、
   を備え、
   前記エッジ強調手段は、前記エッジ信号を検出する画像に対して前記回復処理が行われた場合は、前記回復処理が行われていない場合よりも、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする画像処理装置。
2. 前記エッジ強調手段は、前記調整後のエッジ信号が加算される画像の各画素の輝度に基づいて、前記エッジ信号の強度を調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ強調手段は、所定の値よりも大きい輝度の画素については、前記回復処理が行われたか否か関わらず、前記エッジ信号の強調の度合が同一となるように、前記エッジ信号の強度を調整することを特徴とする請求項２に記載の画像処理装置。
4. 前記エッジ強調手段は、前記エッジ信号を検出する画像に対して前記フィルタ処理が行われた場合は、前記エッジ信号が正の成分である場合よりも、前記エッジ信号が負の成分である場合の方が、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記エッジ強調手段は、前記回復処理が行われていない場合は、前記エッジ信号が正の成分であるか負の成分であるかに関わらず、前記エッジ信号の強調の度合が同一となるように、前記エッジ信号の強度を調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記エッジ強調手段は、前記エッジ信号を検出する画像に対して前記回復処理が行われた場合は、前記回復処理のフィルタの範囲の領域における輝度差に基づき、前記エッジ信号の強調を調整することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記エッジ強調手段は、前記フィルタの範囲の領域における注目画素の輝度値と、前記フィルタの範囲の領域に含まれる画素のうち、最大または最小の輝度値との差が大きいほど、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする請求項６に記載の画像処理装置。
8. 処理対象の画像につき、該画像を生成する際に用いられた撮像光学系の収差による画質劣化を補正するためのフィルタ処理である回復処理を行う回復処理手段と、
   前記処理対象の画像から所定の周波数成分であるエッジ信号を検出し、検出したエッジ信号の強度を調整し、調整後のエッジ信号を前記処理対象の画像に加算してエッジ強調処理を行うエッジ強調手段と、
   を備え、
   前記エッジ強調手段は、前記回復処理のフィルタの範囲の領域における飽和画素の占める割合に基づき、前記エッジ信号の強度を調整することを特徴とする画像処理装置。
9. 前記エッジ強調手段は、前記フィルタの範囲の領域において飽和画素が占める割合が増えるほど、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする請求項８に記載の画像処理装置。
10. 前記エッジ強調手段は、
    前記調整後のエッジ信号が加算される画像の各画素の輝度に基づいて、前記エッジ信号の強度を調整し、
    前記フィルタの範囲の領域における飽和画素が占める割合が閾値未満であれば、低輝度側の輝度の画素におけるエッジ信号の強調の度合いが、高輝度側の輝度の画素におけるエッジ信号の強調の度合いよりも強くなるように前記エッジ信号の強度を調整し、
    前記フィルタの範囲の領域における飽和画素が占める割合が閾値以上であれば、前記低輝度側の輝度の画素におけるエッジ信号の強調の度合いが、前記高輝度側の輝度の画素の信号におけるエッジ信号の強調の度合い以下となるように前記エッジ信号の強度を調整することを特徴とする請求項９に記載の画像処理装置。
11. 被写体を撮像して、前記処理対象の画像を生成する撮像素子と、
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
13. 処理対象の画像につき、該画像を生成する際に用いられた撮像光学系の収差による画質劣化を補正するためのフィルタ処理である回復処理を行う回復処理工程と、
    前記処理対象の画像から所定の周波数成分であるエッジ信号を検出し、検出したエッジ信号の強度を調整し、調整後のエッジ信号を前記処理対象の画像に加算してエッジ強調処理を行うエッジ強調工程と、
    を有し、
    前記エッジ強調工程では、前記エッジ信号を検出する画像に対して前記回復処理が行われた場合は、前記回復処理が行われていない場合よりも、前記エッジ信号の強調の度合いが抑制されるように、前記エッジ信号の強度を調整することを特徴とする画像処理方法。
14. 処理対象の画像につき、該画像を生成する際に用いられた撮像光学系の収差による画質劣化を補正するためのフィルタ処理である回復処理を行う回復処理工程と、
    前記処理対象の画像から所定の周波数成分であるエッジ信号を検出し、検出したエッジ信号の強度を調整し、調整後のエッジ信号を前記処理対象の画像に加算してエッジ強調処理を行うエッジ強調工程と、
    を有し、
    前記エッジ強調工程では、前記回復処理のフィルタの範囲の領域における飽和画素の占める割合に基づき、前記エッジ信号の強度を調整することを特徴とする画像処理方法。

Images