JP4329542B2 - 画素の類似度判定を行う画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理を行う画像処理装置、および画像処理をコンピュータで実施するための画像処理プログラムに関する。

従来、撮像素子やフィルムスキャナー等で撮像された画像データに対して、下記のような画像処理を実施する画像処理装置が知られている。
（１）入力された画像データを新たな画像データに変換する処理（例えば、補間処理、色補間処理、色座標の変換処理、輪郭強調処理，解像度変換処理，空間周波数フィルタ処理など）
（２）画像データの画像構造を解析する画像解析処理（例えば、画像データの局所的な類似性を判別し、その判別結果により局所的な画像構造を解析する処理）
特に、上述の画像解析処理は、高度な補間処理を行う上で重要な技術となっている。

一方、電子カメラの光学系においては、倍率色収差などの原因から、画像データに僅かな色ズレを生じる現象が知られている。近年、電子カメラの撮像解像度がますます高くなっているため、僅かな色ズレであっても無視できなくなる傾向にある。
また、フィルムスキャナーにおいても、倍率色収差を生じたフィルムを読み込むことにより、画像データに僅かな色ズレを生じる現象が知られている。
このような倍率色収差の色ズレについては、各色成分の画像プレーンを拡大または縮小することによって補正する補正技術（以下『色ズレ画像修正』という）が知られている。

上述した画像解析処理では、色ズレの影響により、所望の位置の色情報を比較できない可能性が高くなる。そのため、類似性の判定に誤りを来すおそれが生じる。
このような類似性の判定ミスにより、高度な補間処理に支障を生じるおそれがある。特に、単板式の電子カメラにおける色補間処理では、類似性の判定ミスにより、偽色などを新たに誘発してしまうおそれが懸念される。

そこで、上述した色ズレ画像修正を実施した後、類似性を考慮した高度な色補間処理を行うことが考えられる。しかしながら、このような処理では２回にわたる補間処理となるため、画質の劣化が大きいという問題が生じてしまう。また、２回にわたる補間処理となるため、画像のバファメモリを大量に使用し、かつ演算処理時間が長くかかるという問題も生じてしまう。

以上の問題点に対処すべく、本発明では、色ズレを生じた画像データにおいて類似度を適切に判定することを目的とする。
また、本発明では、色ズレを生じた画像データに対して、適切な画像処理を施すことを目的とする。

本発明の画像処理装置は、画像を構成する画素を局所的に比較して所定方向における画素の類似度を算出する類似度算出部と、類似度算出部によって算出された類似度に基づいて画像の構造を解析する解析部とを備える。特に、この類似度算出部は、画像内の画素の位置に応じて、画素における類似度を算出する。

なお、類似度算出部は、『同色の画素を比較して得られる同色間類似度要素』および『異なる色の画素を比較して得られる異色間類似度要素』の加重加算値を前記類似度に含めることが好ましい。この場合、類似度算出部は、類似度の算出対象である画素の位置に応じて、加重加算する際の加重係数を変えることが好ましい。
また、類似度算出部は、この加重係数を『画像の中心』から『類似度の算出対象となる画素』までの距離に応じて変えることが好ましい。

さらに、類似度算出部は、異色間類似度要素の加重の割合が、画像中心よりも画像周辺で小さくなるように、加重係数を変えることが好ましい。
また、類似度算出部は、画像を複数の領域に分割して、これら領域ごとに加重係数を変更することが好ましい。

さらに、類似度算出部は、画像の生成に係わる光学系の色ズレに関する特性に基づいて、加重係数を変更することが好ましい。
また、類似度算出部は、画像の中心を含む領域（中心領域）では、『同色の画素を比較して得られる同色間類似度要素』および『異なる色の画素を比較して得られる異色間類似度要素』の加重加算値を含む類似度を算出することが好ましい。

さらに、類似度算出部は、その中心領域以外では、異色間類似度要素を含まず、同色間類似度要素を含む類似度を算出することが好ましい。
また、類似度算出部は、『類似度の算出対象である着目画素』と『類似度を算出する際に値を参照する参照画素』との位置関係を、着目画素の位置に応じて変えることが好ましい。
また、類似度算出部は、その位置関係を、画像の中心から着目画素までの距離に応じて変えることが好ましい。

さらに、類似度算出部は、画像を複数の領域に分割し、これら領域ごとに位置関係を変更することが好ましい。
また、類似度算出部は、画像の生成に係わる光学系の色ズレに関する特性に基づいて、位置関係を変更することが好ましい。

一方、本発明の別の画像処理装置は、画像を構成する画素を局所的に比較して所定方向における画素の類似度を算出する類似度算出部と、画像を構成する複数の画素を参照して新たな画素の値を求める画素値算出部とを備える。この場合、類似度算出部は、画像内の画素の位置に応じて、画素における類似度を算出する。また、画素値算出部は、『新たな値の算出対象となる着目画素』および『新たな値を算出する際に参照する参照画素』の位置関係を、着目画素の位置と類似度に応じて変えて、着目画素の新たな値を算出する。
また、画素値算出部は、『画像の中心から着目画素までの距離』に応じて予め定められる位置関係を、類似度に応じて変更することが好ましい。

さらに、画素値算出部は、画像を複数の領域に分割し、これら領域ごとに予め定められる位置関係を、類似度に応じて変更することが好ましい。
また、画素値算出部は、『画像の生成に係わる光学系の色ズレの特性』に応じて予め定められる位置関係を、類似度に応じて変更することが好ましい。

さらに、画素値算出部は、新たな値が、色ズレを生じている色の値から成る要素を含む場合、その要素の算出に際して、色ズレの生じる方向とずれ幅とに応じて選択した局所領域内の画素を参照画素として選択することが好ましい。この場合、選択した参照画素を類似度に応じて加重加算して、新たな値を算出することが更に好ましい。

一方、本発明の画像処理プログラムは、コンピュータを、画像を構成する画素を局所的に比較して所定方向における画素の類似度を算出する類似度算出部と、類似度算出部によって算出された類似度に基づいて画像の構造を解析する解析部としてコンピュータを機能させる。この場合、コンピュータ上に実現される類似度算出部は、画像内の画素の位置に応じて、画素における類似度を算出する。

また、本発明の別の画像処理プログラムは、コンピュータを、画像を構成する画素を局所的に比較して所定方向における画素の類似度を算出する類似度算出部と、画像を構成する複数の画素を参照して新たな画素の値を求める画素値算出部として機能させる。この場合、コンピュータ上に実現される類似度算出部は、画像内の画素の位置に応じて、画素における類似度を算出する。また、画素値算出部は、『新たな値の算出対象となる着目画素』および『新たな値を算出する際に参照する参照画素』の位置関係を、着目画素の位置と類似度に応じて変えて、着目画素の新たな値を算出する。

本発明の画像処理装置によれば、撮影光学系の倍率色収差により生じる色ズレの影響を抑えつつ画像処理を行うことができる。

電子カメラのブロック図である。 画像データの色成分の配列例を示す図である。 距離Ｒｔと閾値ｒ０，ｒ１との関係を示す図である。 色ズレ量の特性を示す図である。 ブロックの分割例を示す図である。 色ズレの例を示す図である。 係数フィルタの例を示す図である。 係数フィルタの例を示す図である。 係数フィルタの例を示す図である。 係数フィルタの例を示す図である。

まず、各実施形態に共通する電子カメラの構成について説明する。本発明に係る画像処理装置は、この電子カメラが内蔵する画像処理部に対応する。

図１は、電子カメラのブロック図である。

図１において、電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、電子カメラ１は、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースを実現するメモリカード用インタフェース部１７、および所定のケーブルや無線伝送路を介して外部装置（例えば、パーソナルコンピュータなど）とのインタフェースを実現する外部インタフェース部１８を備える。なお、これらの構成要件は、バスを介して相互に接続される。

また、電子カメラ１は、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。

撮像素子２１には、撮影光学系２０を介して光学像が結像する。撮像素子２１の出力は、アナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続される。タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、および画像処理部１１に接続される。

さらに、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。

この操作部２４の出力は、制御部１２に接続される。モニタ２５には、表示画像生成部１５の出力が接続される。

図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０を制御する。その結果、撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で黒レベル補正などの信号処理が行われる。Ａ／Ｄ変換部１０は、この画像信号をディジタル化し、画像データとして画像処理部１１に供給する。

なお、撮像素子２１には、Ｒ，Ｇ，Ｂ（赤色、緑色、青色）の３色のカラーフィルタがベイア配列されたカラーフィルタアレイ（不図示）が設けられる。したがって、画像処理部１１に供給される画像データは、画素単位にＲ，Ｇ，Ｂの何れか１つの色成分を有するデータである。

図２は、このような画像データの色成分の配列例を示す図である。

図２では、Ｒ，Ｇ，Ｂを用いて色成分の種類を示し、座標［Ｘ，Ｙ］を用いて各々の色成分に対応する画素の位置を示している。なお、後述する演算式では、各々の画素における色情報を緑色成分と他の色成分とで区別する場合、図２のＲ，ＢをＺに置き換えて、赤色成分または青色成分が対応する画素の色情報をＺ［ｉ，ｊ］のように表現し、緑色成分が対応する画素の色情報をＧ［ｉ，ｊ］のように表現する。

画像処理部１１は、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ＩＣ：特定用途向けＩＣ）などのハードウエアや、予め記録されている画像処理プログラム（請求項記載の画像処理プログラムに対応する）の実行によって、図２に示したような配列の画像データに対し、様々な画像処理を行う。

ただし、画像処理部１１に供給される画像データには、撮影光学系２０の倍率色収差によって色ズレが生じており、画像処理部１１は、この色ズレの特性を考慮した画像処理を行う。

画像処理部１１により画像処理が施された画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。

なお、画像処理部１１により画像処理が施された画像データは、圧縮処理を施さずにメモリカード１６に記録されたり、外部インタフェース部１８を介して外部装置に供給されても良い。

また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１４で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。なお、伸長処理が施された画像データは、モニタ２５に表示せず、外部インタフェース部１８を介して外部装置に供給されても良い。

以下、本発明の特徴である画像処理部１１の画像処理について、実施形態ごとに説明する。特に、第１の実施形態および第２の実施形態では、画像処理部１１で行われる画像解析処理のうち、各々の画素における所定の方向に対する類似度を算出する処理（以下、「類似度算出処理」と称する）について説明する。また、第４の実施形態では、図２に示したような配列の画像データからＹＣｂＣｒ表色系の画像データを生成する表色系変換処理のうち、Ｙ成分を全ての画素に対応付ける画像処理（以下、「Ｙ成分生成処理」と称する）について説明する。

《第１の実施形態の説明》
以下、第１の実施形態における類似度算出処理について説明する。
まず、画像処理部１１は、類似度の算出対象となる着目画素毎に、予め決められた複数の方向に対する複数種類の類似度成分を算出する。ここで、複数種類の類似度成分は、類似度を構成する成分であり、同色間類似度要素を構成する類似度成分（同色の色情報の差の絶対値から成り、後述するＲＲ間類似度成分、ＧＧ間類似度成分、ＢＢ間類似度成分に相当する）や、異色間類似度要素を構成する類似度成分（異色の色情報の差の絶対値から成り、後述するＲＧ間類似度成分、ＧＢ間類似度成分に相当する）などを含む。

例えば、座標［ｉ，ｊ］に位置して赤色成分が対応する画素を着目画素とすると、縦方向に対する複数の類似度成分は、着目画素を基準として縦方向に配置されている色情報や輝度（後述する式７によって算出される値）を参照して、以下の式１ないし式６に示すようにして算出することができる。ただし、ここで算出される各々の類似度成分は、値が小さい程、類似性が強いことを示す。

式６において、Ｙ［ｉ，ｊ］は、式７によって算出される値であり、類似度成分の算出対象となる画素の周辺に配置されている色情報をＲ：Ｇ：Ｂ＝１：２：１の比で平均化するフィルタリング処理で生成される輝度に相当する。ただし、式７において、Ａは、任意の色情報を表し、配置場所に応じてＧまたはＺの値となる。

なお、ここでは、赤色成分が対応する画素における縦方向に対する複数の類似度成分を算出する例を示したが、他の方向に対する複数種類の類似度成分や、他の色成分が対応する画素に対する類似度成分についても同様にして算出することが可能である。

また、ここでは、縦方向の類似度計算について説明したが、横方向についても同様の類似度計算を行うことができる。

次に、画像処理部１１は、同色間類似度要素と異色間類似度要素との比率を画像の中心から着目画素までの距離に応じて変えられる加重係数を用い、着目画素毎に複数種類の類似度成分を方向別に加重加算して、類似度を算出する。

例えば、画像処理部１１は、上述したようにして算出した縦方向に対する複数の類似度成分を、以下の式８に示すようにして加重加算して、縦方向の類似度を算出する。

ただし、式８において、ｋ１，ａ１，ａ２，ａ３，ｋ２，ｂ１，ｂ２，ｃは、以下の条件１が成り立つように予め決められた値である。

ｋ１（ａ１＋ａ２＋ａ３）＋ｋ２（ｂ１＋ｂ２）＋ｃ＝１…条件１

また、ｋ１とｋ２との比率は、画像の中心から着目画素までの距離が長くなるに従って、ｋ２の値が低くなるように決められている。

例えば、画像の中心から着目画素までの距離Ｒｔと、撮影光学系２０の倍率色収差の特性を示す情報（例えば、レンズタイプ、焦点距離、絞り値等）に基づく色ズレと画素ピッチとの関係によって予め決められている閾値ｒ０，ｒ１とを用いると、ｋ１とｋ２との比率は、以下のように決めることができる。

「Ｒｔ≦ｒ０」のとき、「ｋ１：ｋ２＝２：２」。

「ｒ０＜Ｒｔ≦ｒ１」のとき、「ｋ１：ｋ２＝２：１」。

「ｒ１＜Ｒｔ」のとき、「ｋ１：ｋ２＝２：０」。

ここで、撮影光学系２０の倍率色収差によって生じる色ズレ量が図４のような特性を示す場合、「ｒ０＝Ｌ０，ｒ１＝Ｌ１」とすれば良い。

以上説明したように、式８によれば、縦方向のＲＲ間類似度成分，ＧＧ間類似度成分，ＢＢ間類似度成分を加重加算して得られる同色間類似度要素と、縦方向のＲＧ間類似度成分，ＧＢ間類似度成分を加重加算して得られる異色間類似度要素と、縦方向の輝度間類似度成分とが加重加算されて縦方向の類似度が算出されることになる。

また、式８によれば、同色間類似度要素と異色間類似度要素との比率が、ｋ１とｋ２との比率によって決められるため、画像の中心部における異色間類似度要素の加重よりも、画像の周辺部における異色間類似度要素の加重が小さくなるように、縦方向の類似度が算出されることになる。特に、類似度の算出対象となる画素が図３に示すような位置（座標［ｉ，ｊ］）に存在する場合（ｒ１＜Ｒｔのとき）、その画素における縦方向の類似度には、異色間類似度要素が含まれず、同色間類似度要素が含まれることになる。

すなわち、第１の実施形態では、撮影光学系２０の倍率色収差によって生じる色ズレ量が、図４に示すように、画像の中心から離れるに従って増加する特性を示す場合、色ズレの影響を受ける異色間類似度要素に対する加重を色ズレ量の増加に応じて低くすることができる。

したがって、第１の実施形態によれば、着目画素の位置によって変動する色ズレの影響を抑えつつ、高精度の類似度を算出することができる。

《第２の実施形態の説明》
以下、第２の実施形態における類似度算出処理について説明する。

まず、画像処理部１１は、第１の実施形態と同様に、着目画素毎に、予め決められた複数の方向に対する複数種類の類似度成分を算出する。

次に、画像処理部１１は、着目画素毎に複数種類の類似度成分を方向別に加重加算して、類似度を算出する。ただし、画像処理部１１は、Ａ／Ｄ変換部１０などを介して供給される画像データを予め決められた複数のブロックに分割して扱い、同一のブロックに属する画素における類似度の算出に際しては、同色間類似度要素と異色間類似度要素との比率が同一となるような加重係数を用い、各々のブロックに対応する加重係数については、画像の中心からの距離に応じて変える。

例えば、画像データを図５に示すような５×７個のブロックに分割し、第１の実施形態に記載の式１ないし式６のようにして算出される縦方向に対する複数の類似度成分を、式８に示すようにして加重加算する場合、同色間類似度要素と異色間類似度要素との比率を示すｋ１とｋ２との比率としては、以下のような値を用いれば良い。

ブロック１では、「ｋ１：ｋ２＝２：２」。

ブロック２〜ブロック９では、「ｋ１：ｋ２＝２：１」。

ブロック１０〜ブロック３５では、「ｋ１：ｋ２＝２：０」。

すなわち、ｋ１とｋ２との比率は、画像の中央部よりも周辺部に位置するブロックの方がｋ２の値が低くなるように決められることになる。

そのため、画像の中心部における異色間類似度要素の加重よりも、画像の周辺部における異色間類似度要素の加重が小さくなるように、縦方向の類似度が算出されることになる。特に、ブロック１０〜プロック３５に属する画素における縦方向の類似度には、異色間類似度要素が含まれず、同色間類似度要素が含まれることになる。

以上説明したように、第２の実施形態では、第１の実施形態と同様に、色ズレの影響を受ける異色間類似度要素に対する加重を、色ズレの増加に応じて低くすることができ、着目画素の位置によって変化する色ズレの影響を抑えつつ、高精度の類似度を算出することができる。

また、第２の実施形態では、第１の実施形態で行う必要があった画像の中心から着目画素までの距離の算出が不要となるため、高精度な類似度を速やかに算出することができる。

《第３の実施形態の説明》
以下、第３の実施形態におけるＹ成分生成処理について説明する。

まず、画像処理部１１は、撮影光学系２０の倍率色収差の特性を示す情報（例えば、レンズタイプ、焦点距離、絞り値等）に基づき、Ｙ成分の生成対象となる着目画素毎に、画像の中心からの距離および方向に応じて、色ズレ量（緑色成分に対する赤色成分の色ズレ量および緑色成分に対する青色成分の色ズレ量）を算出する。ただし、ここで算出される色ズレ量は、色ズレの方向が考慮されているものとする。

なお、画像処理部１１は、撮影光学系２０の倍率色収差の特性を示す情報に応じて、画像の中心からの距離および方向と色ズレ量とが対応付けられたＬＵＴ（ＬｏｏｋＵｐ Ｔａｂｌｅ）を予め記録しておき、このようなＬＵＴを参照して色ズレ量を決定しても良い。

次に、画像処理部１１は、着目画素を含む局所領域（例えば、４×４画素）に配置されている緑色成分の色情報を参照して、着目画素における緑色成分の色情報を算出する。

例えば、赤色成分（または、青色成分）が対応する画素が着目画素である場合、着目画素の上下左右に配置されている緑色成分の色情報を平均することによって、着目画素における緑色成分の色情報が算出できる。また、緑色成分が対応する画素が着目画素である場合、着目画素における緑色成分の色情報をそのまま用いることができる。

次に、画像処理部１１は、緑色成分に対する赤色成分の色ズレ量に基づき、着目画素に本来結像すべき赤色成分がずらされた位置を検出し、その位置を含む局所領域（例えば、４×４画素）に配置されている赤色成分の色情報を参照して、着目画素における赤色成分の色情報を線形補間によって算出する。また、画像処理部１１は、同様にして、着目画素における青色成分の色情報についても算出する。

例えば、座標［ｉ，ｊ］に位置して赤色成分が対応する画素を着目画素とし、座標［ｉ，ｊ］に本来結像すべき赤色成分が図６の黒丸を記載した位置（座標［ｉ＋２，ｊ−３］と座標［ｉ＋３，ｊ−３］との中間位置に相当する）にずれている場合、着目画素における赤色成分の色情報は、図６の局所領域１に配置されている赤色成分の色情報（Ｒ［ｉ＋２，ｊ−４］，Ｒ［ｉ＋４，ｊ−４］，Ｒ［ｉ＋２，ｊ−２］，Ｒ［ｉ＋４，ｊ−２］に相当する）を用いて算出できる。また、座標［ｉ，ｊ］に本来結像すべき青色成分が図６の白丸を記載した位置（座標［ｉ−３，ｊ＋３］と座標［ｉ−２，ｊ＋３］との中間位置に相当する）にずれている場合、着目画素における緑色成分の色情報は、図６の局所領域２に配置されている青色成分の色情報（Ｂ［ｉ−３，ｊ＋３］，Ｂ［ｉ−１，ｊ＋３］に相当する）を用いて算出できる。

すなわち、赤色成分や青色成分の色情報を算出する際に参照される色情報が含まれる局所領域は、着目画素を含む局所領域からずらされ、このようなずらし量は、着目画素の位置に対応する色ズレ量に応じて変えられることになる。

次に、画像処理部１１は、上述したようにして算出した着目画素における各色成分の色情報を、所定の加重係数によって加重加算し、Ｙ成分を生成する。

以上説明したように、第３の実施形態では、色ズレが生じている色成分の色情報については、色ズレ量に応じてずらした局所領域に配置されている色情報を参照して算出することができるため、色ズレを補正するためのフィルタリング処理を別途行うことなく、高精度のＹ成分を生成することができる。

ところで、以上説明したようなＹ成分生成処理は、係数フィルタを用いたフィルタリング処理によって実現することが可能である。

例えば、図６と同様に色ズレが発生している着目画素に対しては、従来から用いられている図７（ａ）に示すような係数フィルタに代えて、図７（ｂ）に示すような係数フィルタを用いたフィルタリング処理を行えば良い。ここで、図７（ｂ）に示した係数フィルタは、緑色成分用のフィルタの中心位置を変えず、赤色成分用のフィルタの中心位置と青色成分用のフィルタの中心位置とを色ズレ量に応じてずらしたものに相当する。

また、上述したような色ズレ量は、近接する画素間では殆ど変化せず、画像データを複数のブロック（例えば、図５に示すような複数のブロック）に分割して扱う場合、同一のブロックに属する画素における色ズレ量は、同程度となる。

そのため、画像処理部１１では、各々のブロックに対応付けて代表の画素における色ズレ量を記録しておき、その色ズレ量を参照するようにすれば、着目画素毎に色ズレ量を算出しなくても良い。このように、着目画素毎の色ズレ量の算出を省略すると、画像の中心から着目画素までの距離の算出が不要となるため、高精度なＹ成分を速やかに生成することができる。

また、係数フィルタを用いたフィルタリング処理によってＹ成分生成処理を行う場合には、各々のブロックに対応付けて代表の画素における係数フィルタの値を記録しておけば、高精度なＹ成分を速やかに生成することができる。

例えば、画像データを図５に示すような５×７個のブロックに分割する場合、ブロック１では、図７（ａ）に示すような係数フィルタを用いたフィルタリング処理を行い、ブロック４では、図７（ｂ）に示すような係数フィルタを用いたフィルタリング処理を行い、ブロック１５では、図８に示すような係数フィルタを用いたフィルタリング処理を行えば良い。

また、係数フィルタの値は、全てのブロックに対応付けて記録しておく必要はなく、例えば、画像の中心を含むブロックの上下左右に隣接するブロックにおける係数フィルタの値のみを記録しておき、他のブロックにおける係数フィルタの値は、予め記録されている４つの係数フィルタの値を組み合わせ、その結果として得られる値を画像の中心から各々のブロックまでの距離に応じて修正することにより生成しても良い。

なお、第３の実施形態では、画像解析処理を伴わないＹ成分生成処理について説明したが、例えば、着目画素における所定の方向に対する類似性を判定し、その判定結果によって、上述したような各局所領域に配置されている色情報を選択的に加重加算して、各々の色成分の色情報を算出しても良い。

例えば、赤色成分（または、青色成分）が対応する画素が着目画素であり、その着目画素の縦方向の類似性が強いと判定された場合、着目画素における緑色成分の色情報は、着目画素の上下に配置されている緑色成分の色情報を平均して算出すれば良い。なお、このような処理は、図７（ｂ）に示すような係数フィルタに代えて、図９に示すような係数フィルタを用いたフィルタリング処理を行うことによって実現することができる。

また、第３の実施形態では、着目画素とＹ成分を生成する際に色情報を参照する画素との位置関係を、画像内の着目画素の位置に応じて変えることによって、色ズレが抑制されることになるが、このような色ズレの抑制は、多板式の撮像素子を介して生成される画像データ（ＲＧＢ表色系で示されて各々の画素にＲ，Ｇ，Ｂの３色の色情報が存在する画像データ）に対するＹ成分生成処理においても可能である。

同様に、画像内の着目画素の位置に応じて、着目画素と画像処理を実現するために色情報が参照される画素との位置関係を変える技術は、緑色成分の色情報が欠落する画素に緑色成分の色情報を生成する補間処理や、類似度算出処理にも適用することができ、色ズレを抑制することが可能である。

特に、補間処理は、上述したＹ成分生成処理と同様に、既存の係数フィルタにおける特定の色成分用のフィルタの中心位置を、画像内の着目画素の位置に対応する色ズレ量に応じてずらし、その結果として得られる係数フィルタによるフィルタリング処理によって実現することが可能である。

例えば、縦方向の類似性が強いと判定され、かつ、赤色成分が対応する画素において、緑色成分に対する赤色成分の色ズレが図６のように発生している場合、その画素における緑色成分の生成は、従来から用いられている図１０（ａ）に示すような係数フィルタに代えて、図１０（ｂ）に示すような係数フィルタを用いたフィルタリング処理を行うことによって実現される。

なお、ここでは、縦方向の補間処理について説明したが、横方向についても同様にして補間処理を行うことができる。

また、上述した第１の実施形態ないし第３の実施形態では、電子カメラ１内の画像処理部１１によって実現される画像処理について説明したが、同様の画像処理は、例えば、パーソナルコンピュータなどから成る画像処理装置でも同様に実現できる。すなわち、電子カメラ１内では、画像処理部１１を経由せずに画像データをメモリカード１６に記録し、パーソナルコンピュータなどから成る画像処理装置では、このようにして記録された画像データをメモリカード１６から読み出し、画像処理部１１と同様にして画像処理を行えば良い。

ただし、このような画像処理装置において、画像の生成に係わる撮影光学系の特性を示す情報が取得できない場合、第１の実施形態および第２の実施形態における式８のｋ１とｋ２との比率や、第３の実施形態における色ズレ量は、一般的な倍率色収差の特性などに応じて決めると良い。

なお、上述した実施形態では、電子カメラに本発明を適用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明の画像処理装置を、フィルムスキャナーなどのスキャナー装置に搭載してもよい。

また、上述した画像処理部の動作をプログラムコード化することにより、コンピュータ上で画像処理を実行するための画像処理プログラムを得ることもできる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

Claims (13)

1. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、前記加重加算の前記加重係数を、『前記画像の中心』から『前記類似度の算出対象となる画素』までの距離に応じて変える
   ことを特徴とする画像処理装置。
2. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、『前記画像の中心』から『前記類似度の算出対象となる画素』までの距離に応じて、前記異色間類似度要素の加重の割合が、画像中心よりも画像周辺で小さくなるように、前記加重加算の前記加重係数を変える
   ことを特徴とする画像処理装置。
3. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、前記画像を複数の領域に分割し、前記領域の位置が画像中心よりも画像周辺で、前記領域ごとの前記異色間類似度要素の加重の割合が小さくなるように、前記加重加算の加重係数を変える
   ことを特徴とする画像処理装置。
4. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、前記画像の生成に係わる光学系の色ズレ量の増加に応じて、前記異色間類似度要素の加重の割合が小さくなるように、前記加重加算の加重係数を変更する
   ことを特徴とする画像処理装置。
5. 画像を構成する画素を局所的に比較することにより、予め決められた方向における前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、前記画像の中心を含む領域では、『同色の画素を比較して得られる同色間類似度要素』および『異なる色の画素を比較して得られる異色間類似度要素』の加重加算値を含む類似度を算出し、前記領域以外では、前記異色間類似度要素を含まず、同色間類似度要素を含む類似度を算出する
   ことを特徴とする画像処理装置。
6. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、『前記類似度の算出対象である着目画素』と『前記類似度を算出する際に値を参照する参照画素』との位置関係を、前記画像の中心から前記着目画素までの距離に応じて変える
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記類似度算出部は、
   前記画像を複数の領域に分割し、前記領域ごとに前記位置関係を変更する
   ことを特徴とする画像処理装置。
8. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記類似度算出部によって算出された前記類似度に基づいて前記画像の構造を解析する解析部とを備え、
   前記類似度算出部は、前記画像の生成に係わる光学系の色ズレに関する特性に基づいて、『前記類似度の算出対象である着目画素』と『前記類似度を算出する際に値を参照する参照画素』との位置関係を変更する
   ことを特徴とする画像処理装置。
9. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
   前記画像を構成する複数の画素を参照して、新たな画素の値を求める画素値算出部とを備え、
   前記類似度算出部は、前記画像内の前記画素の位置に応じて、前記画素における前記類似度を算出し、
   前記画素値算出部は、『前記画像の中心から前記着目画素までの距離』に応じて予め定められた、『前記新たな値の算出対象となる着目画素』および『前記新たな値を算出する際に参照する参照画素』の位置関係を、前記類似度に応じて変更する
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記画素値算出部は、
    前記画像を複数の領域に分割し、前記領域ごとに予め定められた前記位置関係を前記類似度に応じて変更する
    ことを特徴とする画像処理装置。
11. 画像を構成する画素を局所的に比較することにより、予め決められた方向における『同色の画素を比較して得られる同色間類似度要素』と、『異なる色の画素を比較して得られる異色間類似度要素』とを加重加算した値を含む前記画素の類似度を算出する類似度算出部と、
    前記画像を構成する複数の画素を参照して、新たな画素の値を求める画素値算出部とを備え、
    前記類似度算出部は、前記画像内の前記画素の位置に応じて、前記画素における前記類似度を算出し、
    前記画素値算出部は、『前記画像の生成に係わる光学系の色ズレの特性』に応じて定められた、『前記新たな値の算出対象となる着目画素』および『前記新たな値を算出する際に参照する参照画素』の位置関係を、前記類似度に応じて変更する
    ことを特徴とする画像処理装置。
12. 請求項１１に記載の画像処理装置において、
    前記画素値算出部は、
    前記新たな値が、色ズレを生じている色の値から成る要素を含む場合、前記要素の算出に際し、前記色ズレの生じる方向とずれ幅とに応じて選択した局所領域内の画素を前記参照画素として選択し、
    選択した前記参照画素を前記類似度に応じて加重加算して、前記新たな値を算出する
    ことを特徴とする画像処理装置。
13. コンピュータを、請求項１から請求項１２のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images