JP5961149B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置及びその制御方法に関し、特に画像補正技術に関する。

撮像光学系の収差や回折現象によって生じた画像劣化を補正するため、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理（画像回復処理）が知られている（特許文献１、段落０００８〜００１３参照）。また、劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）としたとき、
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
におけるＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。なお、上式における演算子”＊”はコンボリューション（積和演算）を示し、（ｘ，ｙ）は画像上の座標を示す。

画像回復フィルタは、撮像光学系の光学伝達関数をＨ（ｕ，ｖ）とすると、１／Ｈを逆フーリエ変換することで得られる。なお、（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。２次元画像に適用する画像回復フィルタは一般に、画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。

撮像光学系の収差や光の回折による画像劣化の程度は、入射光の波長、つまり色成分ごとに収差や回折の影響が異なるため、色成分ごとに異なる特性の回復フィルタが適用される。一般的に画素サイズが数μm程度の撮像素子で取得された画像では、収差や回折の影響は数十画素に及ぶため、回復フィルタも広範囲の画素を参照できる多タップのフィルタが必要となる。

広範囲の画素を参照するフィルタ処理では、入力画像の飽和部周辺において正しい信号値が得られないことによる画質への悪影響が発生しやすい。色成分ごとに異なる特性のフィルタを適用する画像回復処理では、色成分のバランスが崩れることによる色つきが発生しやすい。
このような影響を抑制する方法として例えば、特許文献２では、フィルタが参照する画像領域の明るさに応じてフィルタ処理の効果を抑制する技術が開示されている。

特開2013-51599号公報 特許第4599398号公報

しかしながら、特許文献１，２に開示された従来技術では、複数のフィルタ間で出力値のバランスを維持することが考慮されていない。そのため、画像回復処理のように画像信号の成分ごとに個別のフィルタを適応する処理で発生する、色つきのような問題には対応できなかった。

本発明の目的は、画像回復処理における色つき現象を抑制可能な画像処理装置およびその制御方法を提供することである。

上述の目的は、画像の色成分ごとに空間フィルタを適用して画像回復処理を行うフィルタ手段と、空間フィルタが参照する画素の領域である参照領域に、飽和画素が含まれるか否かを判定する判定手段と、判定手段の判定結果に応じて、画像回復処理の後の色成分を調整する調整手段と、を有し、調整手段が、判定手段により参照領域に飽和画素が含まれると判定された場合に、色成分の色差が画像回復処理の前後で維持されるように調整された値と画像回復処理の後の色成分とを加重加算することによって、画像回復処理の後の色成分を調整することを特徴とする画像処理装置によって達成される。

本発明によれば、画像回復処理における色つき現象を抑制可能な画像処理装置およびその制御方法を提供することができる。

実施形態における画像処理全体の流れを模式的に示した図 実施形態に係る画像処理装置の機能構成例を示すブロック図 実施形態で用いる色差調整値の生成方法を説明するためのフローチャート 実施形態における補間処理を説明するための図 第１の実施形態による効果を説明するための図 第２の実施形態による効果を説明するための図 画像回復処理を行う画像処理装置の基本的な機能構成例を示すブロック図 画像回復処理におけるフィルタ処理の概要を説明するための図 画像回復処理による色つき現象を説明するための図

まず、基本的な画像回復処理とその問題点について説明する。図７は画像回復処理を行う画像処理装置４００の基本的な機能構成例を示すブロック図である。
画像データ取得部４０１は、処理対象の画像データから、図８（ａ）の５０１に示すような部分領域に対応する画像データを読み出す。この部分領域は、後段の第１〜第４フィルタ処理部４０２〜４０５が一度の画像回復処理で参照する画素からなる領域であるため、以下では参照領域とよぶ。

ここでは例えば各第１〜第４フィルタ処理部４０２〜４０５のそれぞれが図８（ｂ）に示すように３×３の２次元空間フィルタである（すなわち、一度の画像回復処理で３×３×４の画像データを参照する）とする。この場合、参照領域５０１は図８（ｃ）に示すように６×６画素の大きさとなる。画像データ取得部４０１は参照領域５０１に対応する画像データを読み出すと、図８（ｄ）のように色成分Ｇ１，Ｇ２，Ｒ，Ｂごとに分離し、対応する第１〜第４フィルタ処理部４０２〜４０５に出力する。ここで、色分離された画像データのうち中央に位置する画素７０１〜７０４（それぞれ、分離前の画素６０１〜６０４（図８（ｃ））に対応する）が、画像回復処理の対象となる画素であり、注目画素とよぶ。つまり、１回の画像回復処理で、ベイヤ配列の１単位分の４画素が処理される。

色成分ごとに１つずつ設けられた４つの第１〜第４フィルタ処理部４０２〜４０５は回復フィルタであり、入力された単色成分の画像データに対して画像回復処理を行う。撮像光学系の焦点距離や絞り値などの撮影条件によって収差や光の回折の影響が異なるため、第１〜第４フィルタ処理部４０２〜４０５が有する３×３のフィルタ係数には、撮影条件に応じた値が設定される。空間フィルタ処理は３×３の各画素位置における色成分値とフィルタ係数との積和演算によって行われる。例えば図８（ｄ）の画素７０１に対する回復フィルタ処理は、画素７０１の色成分値とフィルタ係数Ｋ２２との積、といったようにフィルタ係数Ｋ１１〜Ｋ３３と対応する位置の値との積を求め、その合計を処理結果とする。

図７に戻り、各第１〜第４フィルタ処理部４０２〜４０５から出力される画像回復処理後の画像データＲ’，Ｇ１’，Ｇ２’，Ｂ’は回復データ出力部４０６によって図８（ｃ）に示すベイヤー配列に戻されて出力される。
このような処理を、画像中の全ての画素を注目画素として実行するように、参照領域の画像データの読み出し、画像回復処理、および処理結果の出力を繰り返す。

ここで、画像回復処理による色つき現象について説明する。図９（ａ）は無彩色エッジを含んだ画像の例であり、図９（ｂ）は図９（ａ）の画像のエッジ部分のある画素ラインについて、画像値を色成分別にＸ方向にプロットした図である。図９（ｂ）の横軸はＸ方向の画素位置を、縦軸は色成分値を示し、Ｔｈは処理対象の画像データを生成した撮像素子における色成分値の飽和レベルを示す値である。

図９（ｂ）は画像回復処理前のＧ成分の画素値とＲ成分の画素値を示している。この値は、ホワイトバランス処理（撮像素子の分光感度と光源の色温度を考慮したゲイン調整）後の値である。なお、ここでは、ホワイトバランス処理前は、Ｇ成分は飽和しているがＲ成分は飽和しておらず、ホワイトバランス処理によって、Ｇの成分の値は変化せずに、Ｒ成分の値が増幅されたものとする。Ｇ成分に関しては画素位置Ｘ１、Ｘ２の値がホワイトバランス処理前に飽和しており、ホワイトバランス後も本来の値（破線で示す）が失われている状態を示している。一方、Ｒ成分についてはホワイトバランス処理前の値が飽和レベルに達していないため、ホワイトバランス処理後も全ての位置で本来の値を有している。なお、不図示のＢ成分の画素値は、Ｒ成分の画素値と同様であるとする。

このような図９（ｂ）の各画素について、回折によるコントラストの低下を改善するために、図９（ｃ）のような色信号別に異なる特性を有するエッジ強調フィルタを適用して画像回復処理を行ったとする。なお、ここでは説明および理解を容易にするため、Ｘ方向に１次元のフィルタを適用したものとする。

図９（ｄ）に、画像回復処理後の成分値を示す。Ｒ成分（およびＢ成分）については全ての画素に対するフィルタ処理を、飽和していない成分値だけを用いて実施できるため、本来のエッジ強調効果が得られる。一方、Ｇ成分に関しては、画素位置Ｘ３を注目画素としたフィルタ処理では、飽和画素Ｘ２（またはＸ２およびＸ１）を参照するため、フィルタ処理後の値が正しい値とならない。この例では、画像回復処理後の画素位置Ｘ３において、Ｒ成分（およびＢ成分）に対してＧ成分が多くなり、結果として画素位置Ｘ３近傍に緑の色つきが観測される。

一方、画素位置Ｘ１，Ｘ２についてはＧ成分に対してＲ成分（およびＢ成分）が多い状態となるが、飽和レベル（Ｔｈ）を超える値は後段の現像処理において飽和レベルにクリップ処理される。そのため、各色成分が飽和レベルとなり、無彩色（白とび領域）として表示される。

このように、フィルタ処理を用いた画像回復処理では、飽和した画素を参照すると正しいフィルタ結果が得られず、飽和部の周辺領域に色つきが発生してしまう。特にここで例示した無彩色のエッジ領域では、撮像素子の分光感度が高いＧ成分がＲ，Ｂに比べて飽和しやすいため、Ｇ成分の回復量がＲ、Ｂに比べて低下し、結果として緑の色つきが発生しやすい傾向にある。

（第１の実施形態）
次に、本発明の例示的な実施形態について説明する。
図１は、画像回復処理を含めた画像処理全体の流れを模式的に示している。ここでは、ＲＡＷデータを対象とした画像処理について説明する。本実施形態でもＲＡＷデータは図８（ｃ）に示したようなベイヤー配列を有するものとする。

入力画像データ（ＲＡＷデータ）に対し、まず、光源の色温度とセンサーの分光感度を考慮した色成分別のゲイン調整処理（ホワイトバランス（ＷＢ）処理）２０１を適用する。
続いて、ゲイン調整された画像データに対して画像回復処理２０２を適用する。画像回復処理の詳細については後述する。画像回復処理後の出力は入力画像データと同様にベイヤー配列を有する。
画像回復処理後の画像データに対し、色補間（デモザイク）処理、ノイズリダクションやシャープネス処理、ガンマ処理等の現像処理２０３を適用する。現像処理後の画像データに、ＲＧＢ形式からＹＵＶ形式に変換するＹＵＶ変換処理２０４を適用し、一連の画像処理が完了する。

なお、本実施形態では機能ブロックまたは工程間における画像データの受け渡しは、メモリを介して行われることを想定している。ただし、各機能ブロックや工程の処理を専用のハードウェアモジュールを用いて実行する場合、データの受け渡しはそれらハードウェアモジュール間で直接行ってもよい。もちろん、各ハードウェア・モジュール内にデータを保持するための十分なバッファ・メモリがあることが前提である。

図２は、図１で説明した画像回復処理２０２を実行する、本発明の実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
画像データ取得部１０１は、図７の画像データ取得部４０１と同様、第１〜第４フィルタ処理部１０２〜１０５が用いる空間フィルタの大きさに応じた参照領域の画像データを読み出す。そして、画像データ取得部１０１は、参照領域の画像データを飽和判定部１０６にはそのまま出力するとともに、第１〜第４フィルタ処理部１０２〜１０５へは色成分ごとに分離して出力する。

飽和判定部１０６は参照領域の画像データを参照し、あらかじめ設定されたしきい値（飽和レベル）以上の画素がひとつでも存在するか否かを判定し、判定の結果をＲ成分出力調整部１１３およびＢ成分出力調整部１１４に出力する。参照領域内に飽和画素があれば、注目画素に対する画像回復処理において、回復フィルタが飽和画素を参照すると判定される。

第１〜第４フィルタ処理部１０２〜１０５は、図７を用いて説明したように、色成分ごとに画像回復処理を行い、画像回復処理後の色成分値Ｒ’，Ｇ１’，Ｇ２’，Ｂ’をそれぞれ出力する。
Ｒ成分出力調整部１１３は、飽和判定部１０６の判定結果に応じて、第３フィルタ処理部１０４の出力値Ｒ’と、後述する色つき補正用の値（色差調整値Ｒ”）との一方を回復データ出力部１１５に出力する。同様に、Ｂ成分出力調整部１１４は、飽和判定部１０６の判定結果に応じて、第４フィルタ処理部１０５の出力値Ｂ’と、後述する色つき補正用の値（色差調整値Ｂ”）との一方を回復データ出力部１１５に出力する。

回復データ出力部１１５は図７の回復データ出力部４０６と同様に、色成分ごとに入力される画像回復処理後の画像データをベイヤー配列に戻して出力する。

続いて、色差調整値Ｒ”、Ｂ”の生成方法を図３のフローチャートを用いて説明する。
まずＳ１１０１にて、第１補間処理部１０７は、ベイヤー配列におけるＲ、Ｂ位置でのＧ成分値Ｇｒ、Ｇｂを、画像回復処理前のＧ１、Ｇ２成分値を補間して生成する。例えばＧｒは図４（ａ）に示す注目Ｒ画素１２０２の上下左右のＧ１，Ｇ２画素を切り出した領域（図４（ｂ））の中央画素位置の値であり、これらＧ１およびＧ２画素１２０１、１２０３、１２０４、１２０５の平均値として算出することができる。また、Ｇｂについては図４（ａ）に示す注目Ｂ画素１２０６の上下左右のＧ１，Ｇ２画素を切り出した領域（図４（ｃ））の中央画素位置の値であり、Ｇ１およびＧ２画素１２０４、１２０５、１２０７、１２０８の平均値として算出することができる。なお、これらの算出方法は単なる例示であり、補間に用いる画素の数や位置が異なる方法を用いてもよい。

Ｓ１１０２にて、図２の演算器１０９，１１０はＲ，Ｂ成分の画像回復処理前の値から、対応する位置について補間処理部１０７で算出されたＧｒ，Ｇｂの値を減算し、差分値（Ｒ−Ｇｒ，Ｂ−Ｇｂ）をそれぞれ算出し、演算器１１１，１１２に出力する。

Ｓ１１０３にて、第２補間処理部１０８は第１補間処理部１０７と同様にして、画像回復処理後のＧ１’，Ｇ２’成分の値を用いて、ベイヤー配列におけるＲ，Ｂ位置でのＧ成分Ｇｒ’，Ｇｂ’を算出し、演算器１１１，１１２に出力する。

Ｓ１１０４にて、演算器１１１，１１２は、演算器１０９，１１０で算出された差分値Ｒ−Ｇｒ，Ｂ−Ｇｂを、対応するＲ，Ｂ位置について第２補間処理部１０８で算出されたＧ成分値Ｇｒ’、Ｇｂ’にそれぞれ加算する。こうすることで、演算器１１１，１１２は、色差調整値Ｒ”およびＢ”を生成する。つまり、色差調整値Ｒ”およびＢ”は、以下の式（１），（２）によって生成される。
Ｒ” ＝ Ｒ − Ｇｒ ＋ Ｇｒ’ （１）
Ｂ” ＝ Ｂ − Ｇｂ ＋ Ｇｂ’ （２）

このように、色差調整値Ｒ”，Ｂ”は、画像回復処理前の色成分値Ｒ，Ｂに対し、同じ画素位置におけるＧ成分の画像回復処理の前後の差（変化量）Ｇｒ’−Ｇｒ，Ｇｂ’−Ｇｂを加えた値である。

式（１），（２）から
Ｒ” − Ｇｒ’ ＝ Ｒ − Ｇｒ （３）
Ｂ” − Ｇｂ’ ＝ Ｂ − Ｇｂ （４）
となり、色差調整値Ｒ”、Ｂ”を画像回復処理後のＲ，Ｂ値として用いた場合、画像回復処理前の画素値における色差Ｒ−Ｇ、色差Ｂ−Ｇと等しい色差が、画像回復処理後の画素値でも保たれることがわかる。

以上のようにして、本実施形態の画像処理装置１００は、ＲおよびＢ画素の各々について色差調整値Ｒ”およびＢ”を求め、Ｒ成分出力調整部１１３およびＢ成分出力調整部１１４に供給する。また、飽和判定部１０６によって参照領域内に飽和画素が含まれていると判定された場合には、Ｒ成分出力調整部１１３が、画像回復処理後のＲ成分Ｒ＿ｒｅｃとして、第４フィルタ処理部１０４が出力するＲ’に代えて、色差調整値Ｒ”を出力する。また、Ｂ成分出力調整部１１４が、画像回復処理後のＢ成分Ｂ＿ｒｅｃとして、第４フィルタ処理部１０５が出力するＢ’に代えて、色差調整値Ｂ”を出力する。そのため、飽和画素を参照するフィルタ処理が行われた場合でも、画像回復処理の前後の画素値の色差を維持することができ、色つきを抑制することができる。

なお、注目画素（色成分値）が飽和している（飽和レベルを超えている）場合には、回復フィルタが飽和画素を参照する場合でも画像回復処理後の値を置き換えないようにしてもよい。例えば、画素位置Ｘ１，Ｘ２については、画像回復処理後の値Ｒ’をそのまま用いてもよい。この場合、例えば飽和判定部１０６が、注目画素が飽和画素であれば、参照領域内における他の飽和画素の有無にかかわらず、飽和画素がある（フィルタが飽和画素を参照する）との判定を行わないようにすればよい。

次に、本実施形態の画像処理装置１００による効果を、図５を用いて説明する。
図５（ａ）は図９（ｂ）と同様の方法で、飽和部周辺のエッジ部分の、ある画素ラインについて、画像値を色成分別にＸ方向にプロットした図である。ただし、図５（ａ）では、Ｒ成分と、補間により求めた、対応する画素位置におけるＧ成分（Ｇｒ）の値を示している。図９（ｂ）において説明したように、いずれもホワイトバランス処理後の値であり、画素位置Ｘ１，Ｘ２でＧ成分値が飽和により失われている状態を示している。なお、この例では、Ｇ成分値に飽和により失われている値が存在したとすると、ホワイトバランス処理後のＧ成分値とＲ成分値は等しくなるものとする。また、破線（Ｒ−Ｇｒ）は、Ｒ成分とＧ成分（Ｇｒ）の差分値（色差Ｒ−Ｇｒ）である。

このような値を有するＲ成分およびＧｒ成分について図９（ｃ）に示した色成分ごとの特性を有する回復フィルタを用いて画像回復処理を行った結果を図５（ｂ）に示す。図９（ｄ）と同様に、Ｇ成分の画像回復処理では、飽和の影響によって本来の値を参照できない。そのため、画像回復処理後のＧ成分Ｇ１’およびＧ２’から補間して求めた画素位置Ｘ３，Ｘ４におけるＧ成分Ｇｒ’は、飽和の影響を受けない画像回復処理後のＲ成分Ｒ’よりも大きな値となり、緑色の色つきの原因となる。なお、画素位置Ｘ１，Ｘ２においては、各成分とも飽和レベルを超えており、後段の現像処理でいずれも飽和レベルにクリップされ、値の差は色つきの原因とはならない。

一方、回復フィルタが飽和画素Ｘ１，Ｘ２を参照する画像回復処理において、画像回復処理後のＲ成分Ｒ’を、画像回復処理後のＧ成分Ｇｒ’に画像回復処理前の色差Ｒ−Ｇｒを加算した色差調整値Ｒ”で置き換えた結果を図５（ｃ）に示す。なお、上述したように、回復フィルタが飽和画素Ｘ１，Ｘ２を参照する画素位置がＸ１からＸ４のうち、注目画素が飽和している画素位置Ｘ１，Ｘ２については、置き換えを行わず、画像回復処理後の値Ｒ’をそのまま用いてもよい。

画素位置Ｘ３，Ｘ４における色差調整値Ｒ”の値は、第３フィルタ処理部１０４の出力するＲ’の値に比べて画素位置Ｘ２，Ｘ３における値との変化量を小さくするため、エッジ強調の効果は低下する。しかし、これら画素位置における色差Ｒ”−Ｇｒ’が画像回復処理前の色差Ｒ−Ｇｒと等しくなるため、画像回復処理によるＧ成分とＲ成分との差が抑制され、色つきが抑制される。

ここではＲ成分について代表的に説明したが、Ｂ成分についても同様に、回復フィルタが飽和画素を参照する注目画素位置におけるＢ成分値を、画像回復処理後のＧ成分Ｇｂ’に画像回復処理前の色差Ｂ−Ｇｂを加算した色差調整値Ｂ”で置き換えればよい。これにより、画像回復処理前の色差Ｂ−Ｇｂが画像回復処理後も保存される。

このように、本実施形態では、飽和部周辺、より具体的には、回復フィルタ処理において飽和画素を参照する場合に、注目画素の画像回復処理の前後の色差が維持されるような色成分値（色差調整値）を画像回復処理後の色成分値として用いる。そのため、空間フィルタを用いた画像回復処理の前後の色成分間のバランスが崩れることによる、飽和部付近の色つきを抑制することができる。

（第２の実施形態）
第１の実施形態では回復フィルタが参照する参照領域に飽和画素が含まれるか否かにより、画像回復処理後の信号値を切り替えることで飽和部周辺の色つきが抑制されることを示した。
しかしながら、単純に出力信号を切り替える方法では、切り替わりの境界付近で疑似輪郭が生じるおそれがある。そのため、本実施形態では回復フィルタが参照する参照領域に占める飽和画素の割合に応じて画像回復処理後の信号値を加重加算することにより、疑似輪郭の発生を抑制する構成を有することを特徴とする。

本実施形態も、第１の実施形態で図２を用いて説明した機能構成の画像処理装置によって実現できるため、第１の実施形態と異なる処理について説明する。
図６（ａ）は図５（ａ）と同様の方法で、飽和部周辺のエッジ部分の、ある画素ラインについて、Ｒ成分と、補間によって求めた、対応する画素位置におけるＧ成分（Ｇｒ）の値をＸ方向にプロットした図である。いずれもホワイトバランス処理後の値であり、画素位置Ｘ１，Ｘ２でＧ成分値が飽和により失われている状態を示している。また、破線（Ｒ−Ｇｒ）は、Ｒ成分とＧ成分（Ｇｒ）の差分値（色差Ｒ−Ｇｒ）である。図６（ａ）に示すエッジ部分は、回折の影響によりＲ成分がＧ成分よりも大きくなり、色が付いた状態である。

このような値を有するＲ成分およびＧｒ成分について図９（ｃ）に示した色成分ごとの特性を有する回復フィルタを用いて画像回復処理を行った結果を図６（ｂ）に示す。図５（ｂ）と同様、画素位置Ｘ３，Ｘ４におけるＧ成分Ｇｒ’は、飽和の影響を受けない画像回復処理後のＲ成分Ｒ’よりも大きな値となり、緑色の色つきの原因となる。

第１の実施形態の方法により、回復フィルタが飽和画素を参照する画素位置Ｘ１〜Ｘ４のうち、注目画素が飽和していない画素位置Ｘ３，Ｘ４におけるＲ成分の値Ｒ’を色差調整値Ｒ”で置き換えた結果を図６（ｃ）に示す。これらの画素位置については、画像回復処理の前後で色差が維持される（Ｒ−Ｇｒ＝Ｒ”−Ｇｒ’）ため、色つきは抑制されるが、Ｒ成分の回復効果は低減される。また、出力値が切り替わる画素位置Ｘ４と、切り替わらない画素位置Ｘ５におけるＲ成分値に段差が生じてしまうため現像処理後の画像で疑似輪郭が発生するおそれがある。

本実施形態では、このような疑似輪郭の発生を抑制するため、飽和判定部１０６が、参照領域内の飽和画素の有無ではなく、参照領域内の画素数に対する飽和画素数の割合（飽和度）を求めるようにした。そして、Ｒ成分出力調整部１１３は、飽和度が高いほど、色差調整値Ｒ”の重みが大きくなるように、画像回復処理後の成分値Ｒ’と加重加算して出力する。Ｂ成分出力調整部１１４においても、Ｂ成分について同様に処理する。Ｒ成分出力調整部１１３およびＢ成分出力調整部１１４で行う加重加算は以下の式（５），（６）でそれぞれ表される。
Ｒ＿ｒｅｃ＝（１−α）×Ｒ’＋α×Ｒ” （５）
Ｂ＿ｒｅｃ＝（１−α）×Ｂ’＋α×Ｂ” （６）
ここで、αは第３及び第４フィルタ処理部１０４，１０５の回復フィルタが参照する参照領域に占める飽和画素の割合（飽和度）であり０〜１の値をとる。
α ＝ Ｎｓ／Ｎｆ （７）
Ｎｆ：参照領域の総画素数
Ｎｓ：参照領域中の飽和画素数
である。

図６の例では、図９（ｃ）に示す５タップの１次元フィルタを用いているため、Ｘ３を注目画素とした場合に参照する飽和画素はＸ１，Ｘ２であり、飽和画素数Ｎｓは２である。また、同様に、Ｘ４を注目画素とした場合に参照する飽和画素はＸ２であり、飽和画素数Ｎｓは１となる。従って、フィルタが参照する、参照領域の総画素数Ｎｆ＝５に対する飽和度αは、画素位置Ｘ３では０．４，Ｘ４では０．２となる。

画素位置Ｘ３，Ｘ４のＲ成分値がＲ’を反映した加重加算値となった画像回復処理後の信号値Ｒ’＿ｒｅｃを図６（ｄ）に示す。図のように、画素位置Ｘ４からＸ５における画像回復処理後のＲ信号の段差が低減される。また画素位置Ｘ２、Ｘ３についても、通常の画像回復処理結果（図６（ｂ））よりも画像回復処理前の色成分のバランスに近く、また第１の実施形態の方法を採用した結果（図６（ｃ））よりも大きな回復効果が得られている。

このように、本実施形態では、回復フィルタ処理において飽和画素を参照する場合に、回復フィルタの参照領域に占める飽和画素の割合に応じた割合で画像回復処理後の信号値を反映させた色差調整値を、画像回復処理後の色成分値として用いる。そのため、色差調整値をそのまま画像回復処理後の色成分値として用いる場合に発生する擬似輪郭の発生を抑制しつつ、飽和部周辺の色つきを抑制する効果を実現できる。また、色差調整値には含まれない画像回復処理後の色成分が反映されるため、画素画像回復処理の効果を高めることができる。

（その他の実施形態）
なお、上述の実施形態では、現在の一般的な撮像素子が原色フィルタを透過した色成分のうち、Ｇ成分に対して最も感度が高く、飽和しやすいことを前提にして、Ｒ成分やＢ成分を補正する構成について説明した。特に、第１の実施形態では、回復フィルタが飽和画素を参照する場合、輝度（Ｇ成分）だけに画像回復処理を適用し、ＲおよびＢ成分については画像回復処理前のＧ成分との色差が維持されるような値に調整する構成を説明した。

しかしながら、本発明の基本的な技術思想は、画像回復処理の前後における色成分間のバランス（色成分値の差分）が崩れないように、画像回復処理の後の一部の色成分を補正することである。従って、Ｒ成分およびＢ成分の補正には必ずしも限定されない。例えば飽和しやすい色成分を上述の説明のＧ成分と置き換えることで、他の感度特性の撮像素子や、ＲＧＢ以外の色成分からなる、またはＲＧＢ以外の色成分を有するカラーフィルタを備える撮像素子で得られる画像の回復処理にも本発明を適用できる。

また、本発明に係る画像処理装置やその制御方法は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 画像の色成分ごとに空間フィルタを適用して画像回復処理を行うフィルタ手段と、
   前記空間フィルタが参照する画素の領域である参照領域に、飽和画素が含まれるか否かを判定する判定手段と、
   前記判定手段の判定結果に応じて、前記画像回復処理の後の前記色成分を調整する調整手段と、
   を有し、
   前記調整手段が、前記判定手段により前記参照領域に飽和画素が含まれると判定された場合に、前記色成分の色差が前記画像回復処理の前後で維持されるように調整された値と前記画像回復処理の後の前記色成分とを加重加算することによって、前記画像回復処理の後の前記色成分を調整することを特徴とする画像処理装置。
2. 前記画像回復処理を適用する画素位置にない他の色成分については、前記画素位置の周辺の前記他の色成分を補間して算出することにより、前記色成分の色差を得ることを特徴とする請求項１記載の画像処理装置。
3. 前記色成分がＲ成分、Ｇ成分、Ｂ成分を有し、前記調整手段は、前記Ｇ成分との色差が前記画像回復処理の前後で維持されるように、前記Ｒ成分と前記Ｂ成分を調整することを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記調整手段が、前記参照領域における前記飽和画素の割合が大きいほど前記画像回復処理の後の前記色成分の値に大きな重みを与えて前記加重加算することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記調整手段が、前記画像回復処理を適用する画素位置の色成分値が飽和している場合には、前記調整を行わないことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記判定手段は、予め定められたしきい値以上の画素を前記飽和画素と判定することを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 画像の色成分ごとに空間フィルタを適用して画像回復処理を行うフィルタ工程と、
   前記空間フィルタが参照する画素の領域である参照領域に、飽和画素が含まれるか否かを判定する判定工程と、
   前記判定工程における判定結果に応じて、前記画像回復処理の後の前記色成分を調整する調整工程と、
   を有し、
   前記調整工程が、
   前記判定工程において前記参照領域に飽和画素が含まれると判定された場合に、前記色成分の色差が前記画像回復処理の前後で維持されるように調整された値と前記画像回復処理の後の前記色成分とを加重加算することによって、前記画像回復処理の後の前記色成分を調整する工程を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images