JP6627422B2 - 画像処理装置、撮像装置、制御プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御プログラムに関する。

信号値のピークがＧ画像よりも高いＢ画像を抑圧処理し、信号値のピークがＧ画像よりも低いＲ画像を強調処理することにより、軸上色収差を補正する軸上色収差補正装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１３−２０７６０９号公報

この種の軸上色収差補正装置は、ＲＧＢのいずれかである基準色の信号特性に、基準色以外の残りの色の信号特性が近づくように、当該残りの色の信号値を補正する。このため、適切に補正されなければ、高彩度の領域の周辺にグレーの縁が生じる場合がある。

本発明の第１の態様における画像処理装置は、色差画像のそれぞれの画素が補正対象画素であるかを示す情報を取得する取得部と、情報により示される補正対象画素の輝度値と、補正対象画素の周辺画素であって補正対象画素でない参照画素の輝度値との類似度を算出する算出部と、類似度に基づいて新たな色差値を生成し、補正対象画素の色差値を新たな色差値に置き換える置換部とを備える。

本発明の第２の態様における撮像装置は、上記の画像処理装置を備える。

本発明の第３の態様における制御プログラムは、色差画像のそれぞれの画素が補正対象画素であるかを示す情報を取得する取得ステップと、情報により示される補正対象画素の輝度値と、補正対象画素の周辺画素であって補正対象画素でない参照画素の輝度値との類似度を算出する算出ステップと、類似度に基づいて新たな色差値を生成し、補正対象画素の色差値を新たな色差値に置き換える置換ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るデジタルカメラの構成を説明する図である。 補正画像を生成する処理の一部を模式的に示す図である。 補正画像を生成する処理の一部を模式的に示す図である。 補正対象画素の新たな色差情報の生成について説明する図である。 補正画像を生成する処理フローを示す図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９および駆動回路２１０を備える。図１では、説明の都合上、撮影レンズ２０を瞳近傍に配置された仮想的な１枚のレンズで代表して表している。

撮影レンズ２０は、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。

撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の画素が配列されたＣＣＤ、ＣＭＯＳ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル信号に変換する。デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換回路２０２によりデジタル信号に変換された画像データは、画像処理部２０５へ引き渡されて処理される。

画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施す。ここで、撮像素子１００によって撮像された撮像画像には、倍率色収差および軸上色収差により、カラーフリンジ等の色ずれが生じる場合がある。本明細書では、色収差による色ずれを色滲みと称する。そこで、詳しくは後述するが、画像処理部２０５は、メモリ２０３に記憶された画像データに色滲みを補正する補正処理を施す。詳しくは後述するが、画像処理部２０５は、色差画像のそれぞれの画素が補正対象画素であるかを示す情報を取得する取得部、情報により示される補正対象画素の輝度値と、補正対象画素の周辺画素であって補正対象画素でない参照画素の輝度値との類似度を算出する算出部として機能する。また、類似度に基づいて新たな色差値を生成し、補正対象画素の色差値を新たな色差値に置き換える置換部として機能する。

画像処理部２０５は、他にも選択された画像フォーマットにしたがって画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、制御部２０１に制御されて実行される。

図２および図３は、入力画像３００を基に補正画像３８０を生成するまでの処理を模式的に示す図である。図２および図３に係る処理は、特に断わらない限り、画像処理部２０５が主体として動作することで実行される。

入力画像３００は、例えば撮像素子１００によって撮像されメモリ２０３に記憶された撮像画像データを像として表したものであり、色滲みを補正する補正処理の対象となる画像である。入力画像３００は、ＲＧＢ信号により表現されるカラー画像である。入力画像３００は、上述した種々の色滲み３０２を含む。

画像処理部２０５は、撮像画像データに対して色変換処理３１０を施すことにより、輝度画像データおよび色差画像データを生成しメモリ２０３に格納する。輝度画像データは、撮像画像データの輝度情報である輝度値、すなわち輝度成分により構成される。色差画像データは、撮像画像データの色差情報である色差値、すなわち色差成分から構成される。本実施形態においては、輝度情報により表現される画像データを像として表したものを輝度画像３２０、色差情報により表現される画像データを像として表したものを色差画像３２２と呼ぶ。また、本実施形態においては、画像処理部２０５は、色変換処理３１０によりＲＧＢ方式をＹＣｒＣｂ方式に変換する。したがって、色差画像データとしてＣｒ色差画像データとＣｂ色差画像データとが生成される。Ｃｒ色差画像データを像として表したものをＣｒ色差画像３２４、Ｃｂ色差画像データを像として表したものをＣｂ色差画像３２６と呼ぶ。画像処理部２０５は、Ｃｒ色差画像データおよびＣｂ色差画像データのそれぞれに対して後述する各処理を順次施す。なお、Ｃｒ色差画像データに対する各処理とＣｂ色差画像データに対する各処理とは同一であるので、本実施形態では、Ｃｒ色差画像データに対する各処理のみを説明する。なお、画像処理部２０５は、必ずしも輝度値を画像データの態様として生成しなくてもよい。画像処理部２０５は、カラー画像のそれぞれの画素の輝度値を生成すればよい。

画像処理部２０５は、Ｃｒ色差画像の画素毎に、当該画素の色差値と周辺画素の色差値との変化量を算出する。この変化量は、Ｃｒ色差画像の各画素における色差値と周辺画素の色差値とのエッジ量、すなわち色差エッジ量として捉えることができる。つまり、画像処理部２０５は、Ｃｒ色差画像の画素毎に色差エッジ量を算出するということもできる。

本実施形態においては、画像処理部２０５は、Ｃｒ色差画像データに対して色差エッジ抽出処理３３０を施すことにより、Ｃｒ色差エッジ画像データを生成しメモリ２０３に格納する。Ｃｒ色差エッジ画像データは、Ｃｒ色差画像データから色差エッジが抽出された画像データである。なお、既に説明した輝度値と同様に、画像処理部２０５は、必ずしも変化量である色差エッジ量を画像データの態様として生成しなくてもよい。Ｃｒ色差エッジ画像データを像として表したものをＣｒ色差エッジ画像３４０と呼ぶ。一例として、フィルタ半径σ_ｅｄｇｅをσ_ｅｄｇｅ＝３．０とした場合のガウス関数により生成されるぼかしフィルタをエッジ抽出フィルタとして用いて色差エッジを抽出する。σ_ｅｄｇｅの値を調整することにより、抽出される周波数成分を調整することができる。具体的には、フィルタ半径σ_ｅｄｇｅの値を大きくするほど、より低周波の色差エッジを抽出することができる。逆に、フィルタ半径σ_ｅｄｇｅの値を小さくするほど、より高周波の色差エッジを抽出する、すなわち、色差の変化量が特に急峻な箇所のみ抽出することができる。なお、色差エッジの抽出方法は、本例に限られない。また、色差エッジを抽出するフィルタのサイズも本例に限られない。

画像処理部２０５は、Ｃｒ色差エッジ画像データに対して色差補正マスク生成処理３５０を施すことにより、色差補正マスクを生成しメモリ２０３に格納する。色差補正マスクは、Ｃｒ色差エッジ画像３４０の各画素に対して補正対象画素であるかを示す値を有するデータ列である。色差補正マスクを像として表したものをマスク画像３６０と呼ぶ。画像処理部２０５は、Ｃｒ色差エッジ画像３４０の各画素における色差エッジ量の度数分布により、補正対象画素であるかの判定に用いる閾値を算出する。本実施形態においては、画像処理部２０５は、度数分布として色差エッジ量の分布を示すヒストグラムを作成する。具体的には、本実施形態の色差補正マスク生成処理では、各色差エッジ量に対して画像全体で同一の色差エッジ量を持つ画素数を算出することによりヒストグラムを生成する。そして、Ｃｒ色差エッジ画像３４０の各画素における色差エッジ量のヒストグラムを統計処理して、各画素が補正対象画素であるかを判定する。そこで、まず、Ｃｒ色差エッジ画像３４０の各画素が補正対象画素であるかを判定するための閾値を算出する。より詳細には、各画素における色差エッジ量のヒストグラムに対する標準偏差σ_ｔｈｒを算出し、標準偏差σ_ｔｈｒを用いて閾値を算出する。色差エッジ量のヒストグラムは、入力画像によって、その強度分布が異なる。したがって、閾値を算出するに当たり標準偏差σ_ｔｈｒを用いることで、入力画像に依存した閾値を適応的に得ることができる。一例として、閾値を２．５σ_ｔｈｒとする。そして、Ｃｒ色差エッジ画像３４０の各画素の色差エッジ量の絶対値を閾値と比較する。色差エッジ量の絶対値が２．５σ_ｔｈｒよりも大きい場合には、補正対象画素であると判定し、色差エッジ量の絶対値が２．５σ_ｔｈｒ以下である場合には、補正対象画素でないと判定する。補正対象画素であると判定された画素を１とし、補正対象画素ではないと判定された画素を０として表せば、色差補正マスクは、各画素に対応して０または１を有するデータ列となる。本実施形態において、補正対象画素ではないと判定された画素を信頼画素と記す場合がある。色差補正マスクは、色差画像における補正部分を示し、Ｃｒ色差画像３２４の各画素の色差情報が信頼できるかを示す信頼情報である。

なお、閾値の大きさは、本例に限られない。閾値を２．５σ_ｔｈｒよりも小さい値に設定してもよい。この場合には、補正対象画素をより多く抽出することができる。逆に、閾値を２．５σ_ｔｈｒよりも大きい値に設定してもよい。この場合には、補正対象画素をより少なく抽出する、すなわち、特に目立つ色滲みのみを抽出することができる。

一般に、色滲みは、色差成分が急激に変化する場所で生じる。そこで、本実施形態においては、画像処理部２０５は、Ｃｒ色差画像データから色差エッジを抽出している。したがって、入力画像３００の花びらが例えば紫色である場合において、色差エッジを抽出するときには、花びらの縁部分のみを抽出することになる。花びらの中央部分は、紫色が連続する部分であるので、当該中央部分を抽出しない。すなわち、画像処理部２０５は、花びらの中央部分は色滲みではないと判定する。以上のように、画像処理部２０５は、花びらの縁部分のみ、すなわち、色が急激に変化する部分のみを抽出することができる。色差エッジを用いて補正対象画素であるかを判定することにより、色滲みではない、本来色の鮮やかな領域を補正対象から除外することができる。

なお、図３においては、マスク画像３６０が色滲み３０２部分に加えて、エッジ部分３６２も含む場合を示している。後述するように、補正対象画素であると判定された画素の色差情報は、当該画素の周辺の補正対象画素ではないと判定された画素の色差情報を用いて生成される。したがって、仮に補正対象画素であると誤って判定された画素が存在したとしても、当該画素の色差情報を周辺の補正対象画素ではないと判定された画素の色差情報を用いて再現することができる。よって、この段階においては、少なくとも色滲み３０２部分である画素を抽出できればよい。

本実施形態においては、色差エッジ量のヒストグラムに対する標準偏差σ_ｔｈｒを算出し、当該標準偏差σ_ｔｈｒを用いて閾値を算出しているので、色差エッジ量の頻度分布が急峻であったとしても、一定数の画素を補正対象画素として抽出することができる。色差エッジ量の分布形状によらず、適切に補正対象画素を抽出することができる。

画像処理部２０５は、撮像画像データに対して補正処理３７０を施すことにより、補正画像データを生成しメモリ２０３に格納する。補正画像データを像として表したものを補正画像３８０と呼ぶ。補正処理３７０では、色差補正マスクを用いて補正対象画素を特定し、特定した補正対象画素の色差情報を補正する。具体的には、補正対象画素の周辺の信頼画素の色差情報を用いて新たに色差情報を生成し、当該補正対象画素の色差情報を新たに生成した色差情報に置き換える。補正対象画素の新たな色差情報の生成についての詳細は後述する。以上のように、撮像画像データに対して補正処理３７０を施すことにより、色滲みが補正された画像を得ることができる。

図４は、補正対象画素の新たな色差情報の生成について説明する図である。具体的には、マスク画像３６０とその一部３６４の拡大図を示す。

画像処理部２０５は、色差補正マスクを生成した後、この色差補正マスクを用いて補正対象画素の色差情報を予測し生成する。ここで、本実施形態においては、近傍の２つの画素の輝度情報が互いに類似している場合には、２つの画素の色差情報も互いに類似していることを前提とする。この前提に従って、画像処理部２０５は、輝度情報を用いて色差情報を予測し生成する。具体的には、まず、補正対象画素から処理対象画素ｘ_０を選択する。そして、処理対象画素ｘ_０の色差情報を、処理対象画素ｘ_０の近傍に位置する信頼画素の色差情報から予測し生成する。そこで、処理対象画素ｘ_０を中心に、予め定められたサイズのウィンドウ３６６を設定する。ウィンドウ３６６内に含まれる画素のうちの参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ_０の輝度値Ｙ（ｘ_０）との差分Ｙ（ｘ）−Ｙ（ｘ_０）の絶対値｜Ｙ（ｘ）−Ｙ（ｘ_０）｜を類似度として算出する。参照画素は、ウィンドウ３６６内に含まれる画素のうちの信頼画素である。例えば、ウィンドウ３６６内に含まれる画素数が１００個であり、そのうちの８０個の画素が信頼画素であれば、８０個の信頼画素のそれぞれについて、類似度を算出する。

以上のように、処理対象画素ｘ_０の輝度値Ｙ（ｘ_０）との差分が小さい輝度値Ｙ（ｘ）を有する参照画素ｘほど、重みを大きく設定する。これにより、処理対象画素ｘ_０の輝度値Ｙ（ｘ_０）との差分が小さい参照画素ｘの色差情報をより重視して、処理対象画素ｘ_０の色差情報を予測することができる。

色差成分が局所的には空間的に連続であると仮定すると、（数３）により色差成分を算出することができる。（数３）に示す色差予測モデルは、処理対象画素ｘ_０の近傍における色差成分を面でフィッティングするモデルである。

以上のように、重みＷと、予測モデルＺとが決まると、予め決められたウィンドウ内で（数２）の目的関数Ｊが最小になるように、（数３）の係数ａ_ｉ，ｊを決定することにより、処理対象画素ｘ_０の色差成分を予測することができる。具体的には、（数２）を係数ａ_ｉ，ｊで偏微分し、導出される値が０になる係数ａ_ｉ，ｊを決定する。

なお、（数３）は、最低次の近似においては、Ｚ（ｘ）=ａ_０、すなわち、ウィンドウ内で色差を平面フィッティングにより予測するモデルとなり、以下の（数４）により表すことができる。

（数４）は、処理対象画素ｘ_０の色差成分を、処理対象画素ｘ_０の近傍の参照画素ｘの色差成分Ｕ（ｘ）に、輝度の類似度に依存する重みを用いた非線形フィルタリングにより算出できることを示している。

図５は、デジタルカメラ１０において補正画像を生成する処理フローを示す。本フローは、撮像画像データがメモリ２０３に記憶された場合に開始される。本フロー図においては、特に断わらない限り、画像処理部２０５が主体となって動作する。

ステップＳ１０１で、撮像画像データから、輝度画像データおよび色差画像データを生成する。本処理は、図２に関連して説明した色変換処理３１０に該当する。

ステップＳ１０２で、色差画像データから、色差エッジ画像データを生成する。本処理は、図２に関連して説明した色差エッジ抽出処理３３０に該当する。

ステップＳ１０３で、色差補正マスクの生成に用いる閾値を算出する。例えば、図３に関連して説明したように、各画素における色差エッジ量のヒストグラムに対する標準偏差σ_ｔｈｒを算出し、標準偏差σ_ｔｈｒを用いて閾値を算出する。

ステップＳ１０４で、色差補正マスクを生成する。本処理は、図３に関連して説明した色差補正マスク生成処理３５０に該当する。図３に関連して説明したように、色差エッジ量が閾値により示される範囲外である場合には、補正対象画素であると判定し、範囲内である場合には、補正対象画素でないと判定する。そして、例えば、補正対象画素であると判定された画素を１とし、補正対象画素ではないと判定された画素を０として表した色差補正マスクを生成する。

ステップＳ１０５で、処理対象画素ｘ_０の輝度値と参照画素ｘの輝度値との類似度を算出する。図３に関連して説明したように、処理対象画素ｘ_０毎に全ての参照画素の輝度値との類似度を算出する。

ステップＳ１０６で、重みの算出に用いる閾値を算出する。図３に関連して説明したように、例えば輝度画像３２０の全体における分散値の平均値を算出する。

ステップＳ１０７で、参照画素ｘに対する重みを算出する。図３に関連して説明したように、例えば（数１）により算出する。

ステップＳ１０８で、処理対象画素ｘ_０の色差成分を予測する。図３に関連して説明したように、例えば（数２）、（数３）により予測する。

ステップＳ１０９で、補正画像３８０を生成する。図３に関連して説明したように、補正対象画素の色差成分を、ステップＳ１０８で得られた新たな色差成分に置き換える。補正対象画素の色差成分を対応する新たな色差成分に置き換えることにより、補正画像３８０を生成する。

ステップＳ１１０で、他の入力画像３００を補正するかを判断する。他の入力画像３００を補正する場合には、ステップＳ１０１に移行する。そして、補正画像３８０が生成されるまで、ステップＳ１０１からステップＳ１０９の処理を続ける。他の入力画像３００を補正しない場合には、一連の処理を終了する。

一般に、撮像画像が倍率色収差、軸上色収差、カラーフリンジ等の種々の色滲みを含む場合には、それぞれの色滲みの補正方法が異なるので、それぞれの色滲みは個別に補正されていた。すなわち、倍率色収差が補正されても、軸上色収差は補正されず、軸上色収差が補正されても、カラーフリンジは補正されなかった。

本実施形態においては、色差エッジのエッジ量に基づいて、色差エッジ画像データのそれぞれの画素が補正対象画素であるかを判定し、補正対象画素であると判定された画素の色差情報を補正する。したがって、上述した種々の色滲みを一度に補正することができる。換言すると、色滲みが発生する原因によらず１つのアルゴリズムにより補正することができる。よって、電力消費および処理負荷を抑制することができ、高速に処理することができる。

一般に、軸上色収差を補正する場合には、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を調整していた。この場合には、デジタルカメラが交換レンズ型であれば、カメラボディは交換レンズからＰＳＦに関するレンズ情報を取得する必要がある。ＰＳＦに関するレンズ情報を取得できなければ、軸上色収差を補正することはできなかった。

本実施形態においては、ＰＳＦを調整するのではなく、補正対象画素の色差成分を、新たな色差成分に置き換えることにより補正するので、ＰＳＦに関するレンズ情報を取得しなくてもよい。ＰＳＦに関するレンズ情報が必要ないので、装着される交換レンズによらず、色滲みを補正することができる。

一般に、倍率色収差は、Ｇ面に対してＲ面およびＢ面の倍率が異なる事で生じる。その為、倍率色収差を補正する場合には、Ｒ面およびＢ面のそれぞれの倍率を像高毎に変えることにより補正していた。また、軸上色収差を補正する場合には、ＲＧＢのいずれかである基準色の信号特性に、基準色以外の残りの色の信号特性が近づくように、当該残りの色の信号値を補正していた。以上のように、輝度画像データに対して直接補正処理を施していた。

本実施形態においては、画像処理部２０５は、入力画像３００の色滲みを補正するにあたり、輝度画像データに対して処理を施すことなく、色差画像データのみに対して処理を施す。輝度画像データに対して処理を施さないので、輝度の高周波成分が失われたり、高彩度の領域の周辺にグレーの縁が生じたりしない。本実施形態においては、色滲みを補正しつつも、輝度画像データに対して処理を施さないので、解像度を維持することができる。さらに、補正対象画素の色差成分を、当該補正対象画素の周辺の参照画素の色差情報と、高解像の輝度情報とを用いて生成するので、超解像効果も期待できる。また、画像処理部２０５は、処理対象画素ｘ_０を中心に設定したウィンドウ３６６内のフィルタリング処理として新たな色差情報を生成する。したがって、画像全体に対して処理を施す場合に比べて、処理を高速化できる。

以上の説明では、参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ_０の輝度値Ｙ（ｘ_０）との差分の絶対値を類似度として用いたが、類似度は本例に限られない。参照画素ｘの周囲の画素の輝度値と、処理対象画素ｘ_０の周囲の画素の輝度値とを用いて類似度を算出してもよい。一例として、参照画素ｘの輝度値Ｙ（ｘ）と、処理対象画素ｘ_０の輝度値Ｙ（ｘ_０）との差分と、参照画素ｘの周囲の各画素の輝度値と、処理対象画素ｘ_０の周囲の各画素の輝度値との差分の和とを加算して類似度を算出してもよい。また、各画素において主成分を分析等して、平均の輝度勾配の大きさおよび角度を算出し、算出した平均の輝度勾配の大きさおよび角度を用いて類似度を算出してもよい。

以上の説明では、参照画素ｘに対する重みを（数１）により算出したが、ガウシアンを一般化した以下の（数５）により算出してもよい。ここで、Λ（ｎ）は、次数ｎに依存する係数であり、次数ｎにより決定される係数値である。

ところで、既に説明したように、入力画像３００に対して補正処理３７０を施すことにより補正画像３８０を得たとしても、補正画像３８０が入力画像３００ほどではないものの、若干の色滲みを含む場合がある。これは、シーンにおいて、暗い場所から得られる色差情報と、明るい場所から得られる色差情報とで、輝度差に応じた同一の重要度で重みに用いているからである。一般に、画素が飽和状態に近づくにつれて、ＲＧＢ成分が上限値に近づくので、飽和状態に近い画素の色差成分は、飽和状態から遠い画素の色差成分よりも小さい。一方で、補正処理を施すに当たっては、参照画素の色差成分が小さいほど、補正画像における色滲みは小さくなる。そこで、参照画素の輝度情報に応じて、当該参照画素に対する重みを調整してもよい。具体的には、以下の（数６）により、重みを調整することができる。ここで、ｍは、重みを調整するためのパラメータであり、ｍを大きく設定するほど、参照画素の輝度情報をより重みに反映させることができる。例えば、ｍ＝５にするとよい。

これにより、輝度値Ｙ（ｘ）が小さくなるほど、すなわち輝度が暗くなるほど、重みは小さくなる。輝度値Ｙ（ｘ）が大きくなるほど、すなわち、輝度が明るくなるほど、重みは大きくなる。なお、ユーザによりｍが調整されてもよい。

以上の説明では、色差成分が局所的には空間的に連続であると仮定し、（数３）により色差成分を算出したが、色差成分の算出は本例に限られない。色差と輝度との相関が強く、局所的には色差成分が輝度の関数で展開できると仮定すると、以下の（数７）により色差成分を算出することができる。これにより、色差情報にも、輝度情報と同様にテクスチャ感が生じる。したがって、ユーザが補正画像を見た場合に、補正による違和感を低減することができる。

（数７）を用いる場合にも、（数３）を用いた場合と同様に、予め決められたウィンドウ内で（数２）の目的関数Ｊが最小になるように、係数ｂ_ｋを決定することにより、処理対象画素ｘ_０での色差成分を予測することができる。具体的には、（数２）を係数ｂ_ｋにより偏微分し、導出される値が０になる係数ｂ_ｋを決定する。なお、（数７）を用いた場合にも、最低次の近似においては、（数４）となる。

また、（数３）を空間方向ｘ、ｙの１次までの近似式として表してもよい。具体的には、（数８）により表すことができる。

さらに、（数３）を処理対象画素ｘ_０での輝度成分との差分の１次までの近似式として表してもよい。具体的には、（数１９）により表すことができる。

（数１９）を用いて（数２）に示した目標関数Ｊを解くことにより、処理対象画素ｘ_０での色差成分を以下の（数２０）により算出することができる。

なお、（数８）、（数１９）は、便宜上、１次までの展開としたが、より高次までの展開として、空間を局面で近似してもよいし、輝度差も２次以上の展開式を用いてもよい。また、（数１９）は、輝度差でもよいし、参照画素の輝度値で展開してもよい。さらに、（数８）と（数１９）とを組み合わせることにより、空間による近似と輝度差による近似とを組み合わせたモデルを用いてもよい。

以上の説明では、ウィンドウ内に含まれる画素数が１００個であり、そのうちの８０個の画素が信頼画素であれば、８０個の画素のそれぞれについて類似度を算出したが、８０個の画素のうちの１画素の色差情報を処理対象画素の色差情報としてそのまま用いてもよい。また、ノイズに起因する精度の低下を抑制するという観点では、８０個の画素のそれぞれについて類似度を算出しなくても、８０個の画素のうちの少なくとも２個の画素の類似度を算出すればよい。

以上の説明では、色差エッジ量の絶対値が閾値よりも大きい場合に、補正対象画素であると判定したが、色差エッジ量の絶対値が閾値よりも大きく、かつ、当該画素が特定の色相に属する場合に、補正対象画素であると判定してもよい。一般に、色滲みはマゼンタ、グリーン、およびシアンとして現れる。そこで、画像処理部２０５は、撮像画像データに色変換処理３１０を施す場合に、各画素の色相値を算出してもよい。そして、色差エッジ量の絶対値が閾値よりも大きく、かつ、当該画素がマゼンタ、グリーン、またはシアンに属する場合、すなわち、色相値がマゼンタを示す値の範囲内、グリーンを示す値の範囲内、またはシアンを示す値の範囲内に含まれる場合に、補正対象画素であると判定してもよい。これにより、補正対象画素の判定精度を向上させることができる。また、画素が特定の色相に属する場合にのみ、その後の処理を行うので、処理負荷を軽減することができる。さらに、ごく微小な領域であれば、一旦色差情報を削除してしまうと、周辺の参照画素の色差情報を用いても、正確に再現できない場合がある。画素が特定の色相に属する場合にのみ、補正対象画素であると判定することにより、このような状況を回避することができる。

以上の説明では、画像処理部２０５は、入力画像３００をＹＣｒＣｂに変換したが、ＹＵＶ、Ｌａｂ等の他の表色系に変換してもよい。撮像画像データが輝度画像データおよび色差画像データに変換されればよい。Ｌａｂに変換する場合には、画像処理部２０５は、＋ａ軸と、中心から彩度を示す点を結んだ直線とのなす角である色相角度を色相値の代わりに用いてもよい。

以上の説明では、色差エッジ量のヒストグラムに対する標準偏差σ_ｔｈｒを用いた閾値により補正対象画素かを判定したが、予め設定されている閾値により判定してもよい。すなわち、色差エッジ画像毎に閾値を算出するのではなく、色差エッジ画像によらず固定の閾値を用いてもよい。この場合には、最も急峻な頻度分布に応じて閾値を設定するとよい。これにより、補正対象となる画素があまり抽出されない状況を回避することができる。固定の閾値を用いる場合には、色差エッジを抽出すると、補正対象画素であるかを直ちに判定できる。したがって、メモリ容量を抑制できるし、処理速度を向上させることもできる。

以上の説明では、色収差補正マスクは、全画素のそれぞれに対して補正対象画素であるかを示す値を有したが、特定の画素に対して補正対象画素であるかを示す値を有してもよい。この場合に、ユーザからの指定に応じて特定の画素を選択してもよい。また、特定の色相、例えばマゼンタおよびグリーンに属する画素を特定の画素として選択してもよい。以上の説明では、色収差補正マスクの各画素の値に関わらず、色差情報を保持していたが、色収差補正マスクを生成した後に、補正対象画素に対応する色差情報を削除してもよい。

画像処理部２０５は、Ｃｒ色差エッジ画像データの色差補正マスクおよびＣｂ色差エッジ画像データの色差補正マスクの少なくとも一方で補正対象画素であると判定された画素の色差情報を補正してもよいし、両方で補正対象画素であると判定された画素の色差情報を補正してもよい。また、画像処理部２０５は、Ｃｒ色差エッジ画像データの色差補正マスクおよびＣｂ色差エッジ画像データの色差補正マスクを併合してもよい。この場合に、少なくとも一方で補正対象画素であると判定された画素を抽出してもよいし、両方の色差補正マスクにおいて、補正対象画素であると判定された画素を抽出してもよい。

以上の画像処理部２０５による処理は、色差補正マスクを生成するまでの処理と、色差補正マスクを用いて、処理対象画素の輝度値と参照画素の輝度値との類似度に応じて、処理対象画素の色差情報を補正する処理とに大別できるが、少なくとも一方を含んでいればよい。具体的には、画像処理部２０５は、色差補正マスクを生成した後に、類似度に応じて算出した重みを用いて色差成分を予測するのではなく、補正対象画素の色差成分に対してぼかしフィルタを施してもよいし、補正対象画素の色差成分を削除してもよい。また、画像処理部２０５は、色差補正マスクを生成しなくても、色差補正マスクを外部装置から取得してもよい。そして、取得した色差補正マスクを用いて、処理対象画素の色差情報を補正する処理を行ってもよい。また、必ずしも色差補正マスクの態様で取得する必要はなく、カラー画像データのそれぞれの画素の色差情報が信頼できるかを示す信頼情報を得ることができればよい。なお、以上の説明では、処理対象画素の色差情報を生成する場合に、信頼できない画素の色差情報を用いなかったが、補正画像に実質的に影響を与えない範囲であれば、信頼できない画素の色差情報を多少用いてもよい。

上記実施形態で説明したデジタルカメラ１０は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラ等はもちろん、カメラ機能付きの携帯電話等に適用できる。また、パーソナルコンピュータなどの機器を画像処理部２０５の機能を担う画像処理装置として機能させることもできる。画像処理装置は、パーソナルコンピュータに限らず、さまざまな形態を採り得る。例えば、ＴＶ、携帯電話、ゲーム機器などの機器は画像処理装置になり得る。画像処理装置は、カメラ等の他の装置から撮像画像データを取り込んでもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の撮影動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、１００ 撮像素子、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ 駆動回路、２２０ メモリカード、３００ 入力画像、３０２ 色滲み、３１０ 色変換処理、３２０ 輝度画像、３２２ 色差画像、３２４ Ｃｒ色差画像、３２６ Ｃｂ色差画像、３３０ 色差エッジ抽出処理、３４０ Ｃｒ色差エッジ画像、３５０ 色差補正マスク生成処理、３６０ マスク画像、３６２ エッジ部分、３６４ 一部、３６６ ウィンドウ、３７０ 補正処理、３８０ 補正画像

Claims (9)

1. カラー画像から輝度画像および色差画像を生成する生成部と、
   前記色差画像のそれぞれの画素が補正対象画素であるかを示す情報を取得する取得部と、
   前記情報により示される前記補正対象画素の輝度値と前記補正対象画素の周辺画素であって前記補正対象画素でない参照画素の輝度値との類似度と、前記輝度画像の全体における輝度値の分散値の平均値とを算出し、前記類似度および前記平均値に基づいて前記参照画素の重みを算出する算出部と、
   前記参照画素の色差値と前記重みに基づいて新たな色差値を生成し、前記補正対象画素の色差値を前記新たな色差値に置き換える置換部と
   を備える画像処理装置。
2. ユーザの操作を受け付ける受付部を備え、
   前記算出部は、前記操作に応じて、前記重みを調整するパラメータを決定する請求項１に記載の画像処理装置。
3. 前記算出部は、前記補正対象画素を基準に、予め定められた大きさのウィンドウを設定し、
   前記周辺画素は、設定された前記ウィンドウに含まれる画素である請求項１または請求項２に記載の画像処理装置。
4. 前記置換部は、前記ウィンドウに含まれる画素の色差値を平面フィッティングにより予測する予測モデルにより、前記新たな色差値を生成する請求項３に記載の画像処理装置。
5. 前記置換部は、輝度値の関数を用いた色差予測モデルにより、前記新たな色差値を生成する請求項３に記載の画像処理装置。
6. 前記取得部は、前記色差画像の画素毎に周辺画素との色差値の変化量を算出し、それぞれの画素が補正対象の画素であるかを前記変化量に基づいて判定することにより、前記情報を生成する請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記算出部は、前記類似度として、前記補正対象画素の輝度値と前記参照画素の輝度値との差分を算出する請求項１から６のいずれか１項に記載の画像処理装置。
8. 請求項１から請求項７のいずれか１項に記載の画像処理装置を備える撮像装置。
9. カラー画像から輝度画像および色差画像を生成する生成ステップと、
   前記色差画像のそれぞれの画素が補正対象画素であるかを示す情報を取得する取得ステップと、
   前記情報により示される前記補正対象画素の輝度値と前記補正対象画素の周辺画素であって前記補正対象画素でない参照画素の輝度値との類似度と、前記輝度画像の全体における輝度値の分散値の平均値とを算出し、前記類似度および前記平均値に基づいて前記参照画素の重みを算出する算出ステップと、
   前記参照画素の色差値と前記重みに基づいて新たな色差値を生成し、前記補正対象画素の色差値を前記新たな色差値に置き換える置換ステップと
   をコンピュータに実行させる制御プログラム。

Images