JP4292625B2 - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置および該補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
電子スチルカメラには、カラー画像の画像信号を生成する際、単一の撮像素子を用いるものがある。このような撮像素子は、例えば、図２２（１）に示すように、ＲＧＢ（赤色・緑色・青色）の３色のカラーフィルタがベイア配列されて構成される。ここで、緑色（Ｇ）に着目すると、撮像素子は、図２２（２）に示すように緑色を出力する画素である格子点と、緑色を出力しない画素である空格子点とで構成されていると言える。
【０００３】
このような電子スチルカメラでは、空格子点における緑色の色情報を得るために、補間処理を行う必要がある。従来から、このような補間処理の方法としては、補間処理の対象となる空格子点（以下、補間対象空格子点と称する。）の空間的な類似性が強い方向の判定を行い、その方向に隣接する格子点の色情報を用いて補間量を算出する方法が考えられている。
【０００４】
米国特許第５，６２９，７３４号明細書および米国特許第５，６５２，６２１号明細書には、類似性が強い方向の判定を行う際に用いる複数の方向に対する類似度を算出するための技術が開示されている。
例えば、補間対象空格子点を中心に、色情報が[Ａ１,Ｇ２,Ａ３,Ｇ４,Ａ５]のように配置されている場合（ただし、Ａ１,Ａ３,Ａ５は補間対象空格子点と同色の色情報を示し、Ｇ２,Ｇ４は格子点の色情報を示す）、Ｇ２を出力する格子点とＧ４を出力する格子点とが位置する方向に対する補間対象空格子点の類似度Ｃは、米国特許第５，６２９，７３４号明細書に開示された技術では下記の式Ｃ−１によって算出され、米国特許第５，６５２，６２１号明細書に開示された技術では式Ｃ−２によって算出される。
【０００５】

ただし、式Ｃ−２において、ｂｉａｓは、
ｂｉａｓ＝（ｂｉａｓ'＋Ａ１−Ｇ１）／２ ・・・式Ｃ−３
を満足する値であり、ｂｉａｓ'はＡ１の類似度を算出する際のｂｉａｓであり、Ｇ１はＡ１の補間処理によって得られた補間量である。
【０００６】
【発明が解決しようとする課題】
すなわち、米国特許第５，６２９，７３４号明細書に開示された技術では、１画素置きの同色の色情報を比較した結果（以下、同色系類似度成分と称する：式Ｃ−１の|−Ａ１＋２Ａ３−Ａ５|や|Ｇ２−Ｇ４|に相当する）を加算して補間対象空格子点の類似度としている。そのため、米国特許第５，６２９，７３４号明細書に開示された技術では、同色の色情報が配置された間隔（画素の間隔の２倍に相当する）よりも細かく変化する画像（空間周波数が高い画像）に対しては、類似度を的確に算出することができないため、類似性が強い方向の判定を精度良く行うことができず、偽色が発生する可能性が高い。
【０００７】
一方、米国特許第５，６５２，６２１号明細書に開示された技術では、同色系類似度成分（式Ｃ−２の|−Ａ１＋２Ａ３−Ａ５|や|Ｇ２−Ｇ４|に相当する）の他に、互いに隣接する画素の色情報を比較した結果（以下、異色系類似度成分と称する：式Ｃ−２の|−Ｇ２＋２（Ａ３＋ｂｉａｓ）−Ｇ４|に相当する）を含む式Ｃ−２によって類似度を算出するため、上述したような空間周波数が高い画像で発生する偽色を低減することが可能である。
【０００８】
しかし、米国特許第５，６５２，６２１号明細書に開示された技術では、異色系類似度成分として、同一直線上に配置された２色の色情報（補間対象空格子点と同色の色情報および格子点の色情報）を比較した結果しか用いないため、自然画における境界部分のように、色調が変化する部分（３色の色情報の比率が変化する画像）については、類似度を的確に算出することができず、同色系類似度成分が的確に算出されても、異色系類似度成分の影響が同色系類似度成分の影響よりも強く現れ、類似性が強い方向を的確に判定することができなくなり、偽色が発生する可能性が高い。
【０００９】
すなわち、上述した各米国特許明細書に開示された技術では、空間周波数が高い部分画像と色調が変化する部分画像とから成る画像が補間処理の対象となる場合、双方の部分画像の類似度を的確に算出することができず、一方の部分画像で発生した偽色が目立ってしまい、画像全体の調和が崩れる可能性がある。
さらに、米国特許第５，６５２，６２１号明細書に開示された技術では、異色系類似度成分がＧ１（Ａ１における補間量）やｂｉａｓ'（Ａ１におけるｂｉａｓ）を用いて算出されるため、一旦、誤った類似度成分が算出されると、その誤りが以降に算出される類似度成分に波及してしまい、偽色が発生する範囲が拡大するおそれがある。
【００１０】
すなわち、米国特許第５，６５２，６２１号明細書に開示された技術では、最悪の場合、補間処理を行うことによって、却って画像が劣化してしまうことになる。
そこで、請求項１ないし請求項１２に記載の発明は、補間対象空格子点の類似性が強い方向を的確に判定し、補間量を高い精度で求めることができる補間処理装置を提供することを目的とする。
【００１１】
また、請求項１３ないし請求項１８に記載の発明は、補間対象空格子点の類似性が強い方向を的確に判定し、補間量を高い精度で求めることができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【００１２】
【課題を解決するための手段】
請求項１に記載の補間処理装置は、補間処理の対象となる補間対象空格子点に対して、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、「第１色成分の色情報と第２色成分の色情報とを用いた類似度成分」と「第１色成分の色情報と第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分を複数の方向毎に算出し、該２種類の類似度成分から類似度を算出する類似度算出手段（図１の類似度算出部２０に相当する）と、類似度算出手段によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段（図１の類似性判定部２１に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段と（図１の補間量算出部２２に相当する）を備えたことを特徴とする。
【００１４】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、類似度算出手段は、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、（ａ）「第１色成分の色情報と第２色成分の色情報とを用いた類似度成分」と「第１色成分の色情報と第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分と、（ｂ）「第１色成分の色情報のみを用いた類似度成分」と「第２色成分の色情報のみを用いた類似度成分」と「第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分とを合わせた３種類以上の類似度成分を複数の方向毎に算出し、該３種類以上の類似度成分から類似度を算出することを特徴とする。
【００１５】
請求項３に記載の補間処理装置は、補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手段（図１の類似度算出部２０に相当する）と、類似度算出手段によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段（図１の類似性判定部２１に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段（図１の補間量算出部２２に相当する）とを備え、類似度算出手段は、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、（ａ）「補間対象空格子点の色成分とは異なる色成分を出力する空格子点の色情報と、第１色成分の色情報とを用いた類似度成分」と、（ｂ）「第１色成分の色情報のみを用いた類似度成分」と「第２色成分の色情報のみを用いた類似度成分」と「第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分とを合わせた２種類以上の類似度成分を複数の方向毎に算出し、該２種類以上の類似度成分から類似度を算出することを特徴とする。
【００１６】
請求項４に記載の補間処理装置は、補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手段（図１の類似度算出部２０に相当する）と、類似度算出手段によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段（図１の類似性判定部２１に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段（図１の補間量算出部２２に相当する）とを備え、類似度算出手段は、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、（ａ）「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と、（ｂ）「第１色成分の色情報のみを用いた類似度成分」と「第２色成分の色情報のみを用いた類似度成分」と「第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分とを合わせた２種類以上の類似度成分を複数の方向毎に算出し、該２種類以上の類似度成分から類似度を算出し、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」をａ１｜Ｇ１−Ａ２｜＋ａ２｜Ｇ３−Ａ２｜によって算出する（ただし、Ｇ１、Ｇ３は補間対象空格子点を挟んで同一直線上に位置する２つの格子点の色情報であり、Ａ２は補間対象空格子点の色情報であり、ａ１、ａ２は定数であり、ａ１、ａ２の少なくとも一方は０でない。）ことを特徴とする。
【００１７】
請求項５に記載の補間処理装置は、請求項１ないし請求項４の何れか１項に記載の補間処理装置において、類似度算出手段は、複数の方向毎に算出した複数種類の類似度成分を、同一方向毎に加重加算することによって組み合わせ、補間対象空格子点の複数の方向に対する類似度を算出することを特徴とする。
請求項６に記載の補間処理装置は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、補間対象空格子点毎の複数の方向に対する類似度として、「第１色成分の色情報と第２色成分の色情報とを用いた類似度」と「第１色成分の色情報と第３色成分の色情報とを用いた類似度」と「第１色成分の色情報のみを用いた類似度」と「第２色成分の色情報のみを用いた類似度」と「第３色成分の色情報のみを用いた類似度」との少なくとも２種類の類似度を算出する類似度算出手段（図１の類似度算出部２０に相当する）と、類似度算出手段によって補間対象空格子点毎に算出された複数の方向に対する複数種類の類似度のうち、同一種類の類似度の大小を各々の方向毎に比較して、各々の種類毎に類似性の強い方向を決定し、何れの方向が多数を占めるかによって、補間対象空格子点との類似性が強い方向を判定する類似性判定手段（図１の類似性判定部２１に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段（図１の補間量算出部２２に相当する）とを備えたことを特徴とする。
【００１８】
請求項７に記載の補間処理装置は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、補間対象空格子点の複数の方向に対する類似度の成分として、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と「第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手段（図１４の類似度算出部３１に相当する）と、類似度算出手段によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段（図１４の補間量算出部３２に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段（図１４の補間量算出部３２に相当する）とを備え、類似度算出手段は、補間対象空格子点の周辺部分の画像の特徴を抽出し、前記２種類の類似度成分のうち、該特徴に応じて決定した１種類の類似度成分を算出し、該１種類の類似度成分を類似度とする、もしくは、前記２種類の類似度を算出し、該２種類の類似度成分を該特徴に応じて重み比重を変えつつ加重加算して類似度を算出することを特徴とする。
【００１９】
請求項８に記載の補間処理装置は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、補間対象空格子点の複数の方向に対する類似度の成分として、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と「第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手段（図１４の類似度算出部３１に相当する）と、類似度算出手段によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段（図１４の補間量算出部３２に相当する）と、類似性判定手段による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手段（図１４の補間量算出部３２に相当する）と、前記２種類の類似度成分のうち、何れか一方の類似度成分を算出するかを示す第１の指示、または、該２種類の類似度成分を加重加算する際の重み比重を示す第２の指示を受け付けるインタフェース手段（図１４のインタフェース部１８に相当する）とを備え、類似度算出手段は、インタフェース手段によって第１の指示が受け付けられた場合には、第１の指示に対応する１種類の類似度成分を算出して前記類似度とし、インタフェース手段によって第２の指示が受け付けられた場合には、第２の指示に応じて前記２種類の類似度成分を加重加算して前記類似度を算出することを特徴とする。
【００２０】
請求項９に記載の補間処理装置は、請求項７に記載の補間処理装置において、類似度算出手段は、補間対象空格子点の周辺部分の画像の特徴として、補間対象空格子点で直交する２つの方向のうち、第１の方向に位置する複数の格子点の色情報が酷似して第２の方向に位置する複数の格子点の色情報が酷似し、かつ第１の方向に位置する格子点の色情報と第２の方向に位置する格子点の色情報との差違が大きい場合、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度」を算出することを特徴とする。
【００２１】
請求項１０に記載の補間処理装置は、請求項１ないし請求項９の何れか１項に記載の補間処理装置において、類似度算出手段は、補間対象空格子点の類似度として、補間対象空格子点の近傍に位置する空格子点の類似度の成分を含む値を算出することを特徴とする。
請求項１１に記載の補間処理装置は、請求項１ないし請求項５、請求項７ないし請求項１０の何れか１項に記載の補間処理装置において、類似性判定手段は、類似性が強い方向の判定に際し、各々の方向間の類似度の差違が所定の閾値を上回るか否かを判定し、該差違が該閾値を上回らない方向については類似性が同程度であると判定することを特徴とする。
【００２２】
請求項１２に記載の補間処理装置は、請求項１ないし請求項１１の何れか１項に記載の補間処理装置において、補間量算出手段は、類似性判定手段によって、複数の方向のうち、何れか１つの方向に対する類似性の強さが突出していると判定された場合、突出する方向に位置する２つの格子点の色情報の値の平均値を補間量とし、複数の方向に対する類似性が均衡していると判定された場合、何れか１つの方向に位置する２つの格子点の色情報の値の平均値を算出する以外の方法で補間量を決定することを特徴とする。
【００２３】
請求項１３に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点に対して、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、「第１色成分の色情報と第２色成分の色情報とを用いた類似度成分」と「第１色成分の色情報と第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分を複数の方向毎に算出し、該２種類の類似度成分から類似度を算出する類似度算出手順（図４Ｓ２〜Ｓ３に相当する）と、類似度算出手順によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順（図４Ｓ４に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図４Ｓ５に相当する）とを備えたことを特徴とする。
【００２４】
請求項１４に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手順（図４Ｓ２〜Ｓ３に相当する）と、類似度算出手順によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順（図４Ｓ４に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図４Ｓ５に相当する）とを備え、類似度算出手順は、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、（ａ）「補間対象空格子点の色成分とは異なる色成分を出力する空格子点の色情報と、第１色成分の色情報とを用いた類似度成分」と、（ｂ）「第１色成分の色情報のみを用いた類似度成分」と「第２色成分の色情報のみを用いた類似度成分」と「第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分とを合わせた２種類以上の類似度成分を複数の方向毎に算出し、該２種類以上の類似度成分から類似度を算出することを特徴とする。
【００２５】
請求項１５に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手順（図４Ｓ２〜Ｓ３に相当する）と、類似度算出手順によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順（図４Ｓ４に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図４Ｓ５に相当する）とを備え、類似度算出手順は、補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、（ａ）「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と、（ｂ）「第１色成分の色情報のみを用いた類似度成分」と「第２色成分の色情報のみを用いた類似度成分」と「第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分とを合わせた２種類以上の類似度成分を複数の方向毎に算出し、該２種類以上の類似度成分から類似度を算出し、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」をａ１｜Ｇ１−Ａ２｜＋ａ２｜Ｇ３−Ａ２｜によって算出する（ただし、Ｇ１、Ｇ３は補間対象空格子点を挟んで同一直線上に位置する２つの格子点の色情報であり、Ａ２は補間対象空格子点の色情報であり、ａ１、ａ２は定数であり、ａ１、ａ２の少なくとも一方は０でない。）ことを特徴とする。
【００２６】
請求項１６に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される第１色成分ないし第３色成分の色情報に基づき、補間対象空格子点毎の複数の方向に対する類似度として、「第１色成分の色情報と第２色成分の色情報とを用いた類似度」と「第１色成分の色情報と第３色成分の色情報とを用いた類似度」と「第１色成分の色情報のみを用いた類似度」と「第２色成分の色情報のみを用いた類似度」と「第３色成分の色情報のみを用いた類似度」との少なくとも２種類の類似度を算出する類似度算出手順（図１３Ｓ２〜Ｓ１０１に相当する）と、類似度算出手順によって補間対象空格子点毎に算出された複数の方向に対する複数種類の類似度のうち、同一種類の類似度の大小を各々の方向毎に比較して、各々の種類毎に類似性の強い方向を決定し、何れの方向が多数を占めるかによって、補間対象空格子点との類似性が強い方向を判定する類似性判定手順（図１３Ｓ１０２〜Ｓ１０３に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図１３Ｓ５に相当する）とを備えたことを特徴とする。
【００２７】
請求項１７に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、補間対象空格子点の複数の方向に対する類似度の成分として、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と「第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手順（図１５Ｓ５またはＳ６、もしくは、図１８Ｓ５〜Ｓ６に相当する）と、類似度算出手順によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順（図１５Ｓ７〜Ｓ８、または、図１８Ｓ７に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図１５Ｓ９〜Ｓ１１、または、図１８Ｓ７に相当する）とを備え、類似度算出手順は、補間対象空格子点の周辺部分の画像の特徴を抽出し、前記２種類の類似度成分のうち、該特徴に応じて決定した１種類の類似度成分を算出し、該１種類の類似度成分を類似度とする、もしくは、前記２種類の類似度を算出し、該２種類の類似度成分を該特徴に応じて重み比重を変えつつ加重加算して類似度を算出することを特徴とする。
【００２８】
請求項１８に記載の補間処理プログラムを記録した記録媒体は、補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、補間対象空格子点の複数の方向に対する類似度の成分として、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」と「第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手順（図１７Ｓ３〜Ｓ４またはＳ８〜Ｓ９、もしくは、図１９Ｓ５〜Ｓ６に相当する）と、類似度算出手順によって算出された複数の方向に対する類似度に基づき、補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順（図１７Ｓ５またはＳ１０、もしくは、図１９Ｓ７に相当する）と、類似性判定手順による判定結果に応じて、補間対象空格子点毎に補間量を算出する補間量算出手順（図１７Ｓ５またはＳ１０、もしくは、図１９Ｓ７に相当する）と、前記２種類の類似度成分のうち、何れか一方の類似度成分を算出するかを示す第１の指示、または、該２種類の類似度成分を加重加算する際の重み比重を示す第２の指示を受け付けるインタフェース手順（図１７Ｓ１または図１９Ｓ１）とを備え、類似度算出手順は、インタフェース手順によって第１の指示が受け付けられた場合には、第１の指示に対応する１種類の類似度成分を算出して前記類似度とし、該インタフェース手順によって第２の指示が受け付けられた場合には、第２の指示に応じて前記２種類の類似度成分を加重加算して前記類似度を算出することを特徴とする。
【００２９】
なお、補間対象空格子点が第２色成分の色情報を出力する場合、請求項１および請求項２に記載の「第１色成分の色情報と第２色成分の色情報とを用いた類似度成分」と、請求項６および請求項１６に記載の「第１色成分の色情報と第２色成分の色情報とを用いた類似度」とは、後述する第１の類似度成分（Ｃt⁽¹⁾(i,j)、Ｃy⁽¹⁾(i,j)）に対応し、請求項４および請求項１５に記載の「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度成分」は、後述する第１の類似度成分（Ｃt⁽¹⁾(i,j)、Ｃy⁽¹⁾(i,j)）のうち、少なくともＣt^(1-1)(i,j)の値を含むＣt⁽¹⁾(i,j)や、少なくともＣy^(1-1)(i,j)の値を含むＣy⁽¹⁾(i,j)に対応する。
【００３０】
また、補間対象空格子点が第２色成分の色情報を出力する場合、請求項１および請求項２に記載の「第１色成分の色情報と第３色成分の色情報とを用いた類似度成分」と、請求項３および請求項１４に記載の「補間対象空格子点の色成分とは異なる色成分を出力する空格子点の色情報と、第１色成分の色情報とを用いた類似度成分」と、請求項６および請求項１６に記載の「第１色成分の色情報と第３色成分の色情報とを用いた類似度」とは、後述する第２の類似度成分（Ｃt⁽²⁾(i,j)、Ｃy⁽²⁾(i,j)）に対応する。
【００３１】
さらに、補間対象空格子点が第２色成分の色情報を出力する場合、請求項２、請求項３、請求項４、請求項１４および請求項１５に記載の「第１色成分の色情報のみを用いた類似度成分」と、請求項６および請求項１６に記載の「第１色成分の色情報のみを用いた類似度」とは、後述する第３の類似度成分（Ｃt⁽³⁾(i,j)、Ｃy⁽³⁾(i,j)）に対応する。
【００３２】
また、補間対象空格子点が第２色成分の色情報を出力する場合、請求項２、請求項３、請求項４、請求項１４および請求項１５に記載の「第３色成分の色情報のみを用いた類似度成分」と、請求項６および請求項１６に記載の「第３色成分の色情報のみを用いた類似度」とは、後述する第４の類似度成分（Ｃt⁽⁴⁾(i,j)、Ｃy⁽⁴⁾(i,j)）に対応する。
【００３３】
さらに、補間対象空格子点が第２色成分の色情報を出力する場合、請求項２、請求項３、請求項４、請求項１４および請求項１５に記載の「第２色成分の色情報のみを用いた類似度成分」や請求項６および請求項１６に記載の「第２色成分の色情報のみを用いた類似度」は、後述する第５の類似度成分（Ｃt⁽⁵⁾(i,j)、Ｃy⁽⁵⁾(i,j)）に対応する。
【００３４】
また、請求項７、請求項８、請求項１７および請求項１８に記載の「第１色成分の色情報のみを用いた類似度成分」は、後述するＣ１(i,j)およびＣ２(i,j)に対応する。
【００３５】
さらに、請求項７ないし請求項９、請求項１７および請求項１８に記載の「補間対象空格子点の色情報と第１色成分の色情報を用いた類似度成分」は、後述するＤ１(i,j)およびＤ２(i,j)に対応する。
さらに、請求項１０に記載の発明によって算出される類似度は、後述する式ｔ１−３、式ｔ２−２、式ｔ３−２、式ｔ４−２、式ｔ５−２によって算出される各々の類似度成分から構成される類似度や、式１５、式１６、式２３、式２４によって算出される値から構成される類似度に対応する。
【００３６】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
なお、請求項１ないし請求項１２に記載の発明に対応する実施形態については、これらの発明にかかわる補間処理装置が適用された電子スチルカメラを用いて説明を行う。また、後述する各実施形態では、緑色を出力する画素を格子点とし、赤色または青色を出力する画素を緑色に関する空格子点とする。すなわち、後述する各実施形態における補間処理は、これらの空格子点の緑色の色情報に相当する補間量を求める処理に相当する。さらに、後述する各実施形態では、補間処理を行う際に利用する複数の方向に対する類似度として、縦方向の類似度と横方向の類似度とを算出する。
【００３７】
図１は、第１の実施形態ないし第６の実施形態に対応する電子スチルカメラの機能ブロック図である。
図１において、制御部１０は、撮影光学系１１、ＯＬＰＦ (光学的低域通過フィルタ：Optical Low Pass Filter)１２、撮像素子１３、Ａ／Ｄ変換部１４、画像バッファメモリ１５、階調変換部１６、画像処理部１７およびインタフェース部１８に接続される。
【００３８】
画像処理部１７は、補間処理部１９を有し、補間処理部１９は、類似度算出部２０、類似性判定部２１および補間量算出部２２で構成される。
撮影光学系１１で取得された光学像は、ＯＬＰＦ１２によってフィルタリングされ、撮像素子１３に与えられる。
【００３９】
なお、本発明では、白黒ナイキスト縞（図６（１）参照）などの画像が消滅しない程度のあまり強くないＯＬＰＦをかける場合を前提にしており、ＯＬＰＦ１２を設けず、撮影光学系１１で取得された光学像が撮像素子１３に直接与えられても良い。
撮像素子１３の出力はＡ／Ｄ変換部１４に接続され、Ａ／Ｄ変換部１４の出力は画像バッファメモリ１５に接続される。また、画像バッファメモリ１５の出力は、階調変換部１６および画像処理部１７に接続され、階調変換部１６の出力および画像処理部１７の出力は、画像バッファメモリ１５に接続される。
【００４０】
なお、後述する各実施形態では、撮像素子１３として、図２２（１）に示すようなＲＧＢの３色のカラーフィルタがベイア配列された構成の撮像素子を用い、画像バッファメモリ１５は、これらの３色に対応する３つの領域で構成される。
また、画像バッファメモリ１５内の緑色に対応する領域は、Ａ／Ｄ変換部１４によって生成された緑色の画像データまたは階調変換部１６によって階調変換（ｌｏｇ化やγ変換等）された緑色の画像データを格子点の色情報として格納する領域と、後述する補間処理によって得られる緑色の画像データを空格子点の補間量として格納する領域とで構成される。
【００４１】
さらに、以降の説明を簡単にするために、撮像素子１３の各画素の位置は、「右方向を正とする横軸Ｘ」と「下方向を正とする縦軸Ｙ」とで構成される座標系で表す。また、格子点の色情報は、Ｇ(x,y)で表し、空格子点の補間量は、Ｇ'(x,y)で表す。
図２は、このような格子点の色情報と空格子点の補間量とを示す図である。
【００４２】
図において、Ｘ_maxはＸ成分の最大値を示し、Ｙ_maxはＹ成分の最大値を示す。 また、後述する各実施形態では、補間対象空格子点の座標を（ｉ，ｊ）で示す。
図３は、電子スチルカメラの動作フローチャートである。
【００４３】
図４は、第１の実施形態ないし第５の実施形態の補間処理の動作フローチャートである。
図５は、第１の実施形態ないし第５の実施形態において、第１の類似度成分ないし第５の類似度成分（複数種類の類似度成分）の算出時に用いる色情報を示す図である。
【００４４】
なお、図５において、ＲＢは「ＲまたはＢ」を示し、ＢＲは「ＢまたはＲ」を示す。すなわち、ＲＢがＲである場合、ＢＲはＢであり、ＲＢがＢである場合、ＢＲはＲである。
ここで、第１の実施形態ないし第５の実施形態の説明を簡単にするため、類似度算出部２０によって算出される第１の類似度成分ないし第５の類似度成分（複数種類の類似度成分）の算出方法を説明する。なお、以下では、空格子点や格子点の色情報を各座標に対応付けて、ＲＢ(i,j)やＧ(i,j-1)などで表すものとする。
【００４５】
まず、補間対象空格子点の縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)および横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)は、図５（１）に示す色情報に基づき、下記の式ｔ１および式ｙ１によって算出される。
Ｃt⁽¹⁾(i,j)＝ａ₁ ⁽¹⁾Ｃt^(1-1)(i,j)＋ａ₂ ⁽¹⁾Ｃt^(1-2)(i,j) ・・・式ｔ１
Ｃy⁽¹⁾(i,j)＝ｂ₁ ⁽¹⁾Ｃy^(1-1)(i,j)＋ｂ₂ ⁽¹⁾Ｃy^(1-2)(i,j) ・・・式ｙ１
ただし、式ｔ１および式ｙ１において、ａ₁ ⁽¹⁾、ａ₂ ⁽¹⁾、ｂ₁ ⁽¹⁾、ｂ₂ ⁽¹⁾は、ａ₁ ⁽¹⁾＋ａ₂ ⁽¹⁾＝ｂ₁ ⁽¹⁾＋ｂ₂ ⁽¹⁾＝１を満足する０〜１の定数であり、通常、ａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾、ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾を満足する値である。ただし、後述する各実施形態では、ａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾＝１、ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾＝０を推奨する。なお、ａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾＝０、ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾＝１やａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾＝ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾＝１／２であっても良い。
【００４６】
また、式ｔ１および式ｙ１において、Ｃt^(1-1)(i,j)およびＣy^(1-1)(i,j)は、

を満足する値である。ただし、ｔ^(1-1)およびｙ^(1-1)は、０〜１の定数である。
【００４７】
例えば、ｔ^(1-1)＝ｙ^(1-1)＝１／２とすると、
Ｃt^(1-1)(i,j)＝(|Ｇ(i,j-1)−ＲＢ(i,j)|＋|Ｇ(i,j+1)−ＲＢ(i,j)|)／２
Ｃy^(1-1)(i,j)＝(|Ｇ(i-1,j)−ＲＢ(i,j)|＋|Ｇ(i+1,j)−ＲＢ(i,j)|)／２
となる。
さらに、式ｔ１および式ｙ１において、Ｃt^(1-2)(i,j)およびＣy^(1-2)(i,j)は、

を満足する値である。ただし、ｕ^(1-2)およびｖ^(1-2)は、０〜１の定数である。
【００４８】
例えば、ｕ^(1-2)＝ｖ^(1-2)＝１／２とすると、
Ｃt^(1-2)(i,j)＝|(Ｇ(i,j-1)＋Ｇ(i,j+1))／２−ＲＢ(i,j)|
Ｃy^(1-2)(i,j)＝|(Ｇ(i-1,j)＋Ｇ(i+1,j))／２−ＲＢ(i,j)|
となる。
なお、縦方向の第１の類似度成分Ｃｔ⁽¹⁾(i,j)および横方向の第１の類似度成分Ｃｙ⁽¹⁾(i,j)は、図５（１）に代えて図５（１−２）に示す色情報に基づいて算出する場合、下記の式ｔ１−２および式ｙ１−２によって算出しても良い。
【００４９】

ただし、式ｔ１−２および式ｙ１−２において、ａ₁ ⁽¹⁾、ａ₂ ⁽¹⁾、ａ₃ ⁽¹⁾、ｂ₁ ⁽¹⁾、ｂ₂ ⁽¹⁾、ｂ₃ ⁽¹⁾は、ａ₁ ⁽¹⁾＋ａ₂ ⁽¹⁾＋ａ₃ ⁽¹⁾＝ｂ₁ ⁽¹⁾＋ｂ₂ ⁽¹⁾＋ｂ₃ ⁽¹⁾＝１を満足する０〜１の定数であり、通常、ａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾、ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾、ａ₃ ⁽¹⁾＝ｂ₃ ⁽¹⁾を満足する値である。
【００５０】
また、式ｔ１−２および式ｙ１−２において、Ｃt^(1-1)(i,j)、Ｃy^(1-1)(i,j)、Ｃt^(1-2)(i,j)およびＣy^(1-2)(i,j)は、上述した式ｔ１および式ｙ１と同様に算出される。
さらに、式ｔ１−２および式ｙ１−２において、Ｃt^(1-3)(i,j)およびＣy^(1-3)(i,j)は、

を満足する値である。
【００５１】
ただし、ｔ^(1-3)およびｙ^(1-3)は、０〜１の定数である。
次に、補間対象空格子点の縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)および横方向の第２の類似度成分Ｃy⁽²⁾(i,j)は、図５（２）に示す色情報に基づき、下記の式ｔ２および式ｙ２によって算出される。
Ｃt⁽²⁾(i,j)＝ａ₁ ⁽²⁾Ｃt^(2-1)(i,j)＋ａ₂ ⁽²⁾Ｃt^(2-2)(i,j) ・・・式ｔ２
Ｃy⁽²⁾(i,j)＝ｂ₁ ⁽²⁾Ｃy^(2-1)(i,j)＋ｂ₂ ⁽²⁾Ｃy^(2-2)(i,j) ・・・式ｙ２
ただし、式ｔ２および式ｙ２において、ａ₁ ⁽²⁾、ａ₂ ⁽²⁾、ｂ₁ ⁽²⁾、ｂ₂ ⁽²⁾は、ａ₁ ⁽²⁾＋ａ₂ ⁽²⁾＝ｂ₁ ⁽²⁾＋ｂ₂ ⁽²⁾＝１を満足する０〜１の定数であり、通常、ａ₁ ⁽²⁾＝ｂ₁ ⁽²⁾、ａ₂ ⁽²⁾＝ｂ₂ ⁽²⁾を満足する値である。ただし、後述する各実施形態では、ａ₁ ⁽²⁾＝ｂ₁ ⁽²⁾＝１、ａ₂ ⁽²⁾＝ｂ₂ ⁽²⁾＝０を推奨する。なお、ａ₁ ⁽²⁾＝ｂ₁ ⁽²⁾＝０、ａ₂ ⁽²⁾＝ｂ₂ ⁽²⁾＝１やａ₁ ⁽²⁾＝ｂ₁ ⁽²⁾＝ａ₂ ⁽²⁾＝ｂ₂ ⁽²⁾＝１／２であっても良い。
【００５２】
また、式ｔ２および式ｙ２において、Ｃt^(2-1)(i,j)およびＣy^(2-1)(i,j)は、

を満足する値である。ただし、ｔ₁ ^(2-1)、ｔ₂ ^(2-1)、ｔ₃ ^(2-1)、ｔ₄ ^(2-1)、ｙ₁ ^(2-1)、ｙ₂ ^(2-1)、ｙ₃ ^(2-1)、ｙ₄ ^(2-1)は、ｔ₁ ^(2-1)＋ｔ₂ ^(2-1)＋ｔ₃ ^(2-1)＋ｔ₄ ^(2-1)＝ｙ₁ ^(2-1)＋ｙ₂ ^(2-1)＋ｙ₃ ^(2-1)＋ｙ₄ ^(2-1)＝１を満足する０〜１の定数である。
【００５３】
例えば、ｔ₁ ^(2-1)＝ｔ₂ ^(2-1)＝ｔ₃ ^(2-1)＝ｔ₄ ^(2-1)＝ｙ₁ ^(2-1)＝ｙ₂ ^(2-1)＝ｙ₃ ^(2-1)＝ｙ₄ ^(2-1)＝１／４とすると、

となる。
【００５４】
さらに、式ｔ２および式ｙ２において、Ｃt^(2-2)(i,j)およびＣy^(2-2)(i,j)は、

を満足する値である。ただし、ｔ^(2-2)、ｙ^(2-2)、ｕ₁ ^(2-2)、ｕ₂ ^(2-2)、ｖ₁ ^(2-2)、ｖ₂ ^(2-2)は、０〜１の定数である。
【００５５】
例えば、ｔ^(2-2)＝ｙ^(2-2)＝ｕ₁ ^(2-2)＝ｕ₂ ^(2-2)＝ｖ₁ ^(2-2)＝ｖ₂ ^(2-2)＝１／２とすると、

となる。
【００５６】
次に、補間対象空格子点の縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)および横方向の第３の類似度成分Ｃy⁽³⁾(i,j)は、図５（３）に示す色情報に基づき、下記の式ｔ３および式ｙ３によって算出される。
Ｃt⁽³⁾(i,j)＝|Ｇ(i,j-1)−Ｇ(i,j+1)| ・・・式ｔ３
Ｃy⁽³⁾(i,j)＝|Ｇ(i-1,j)−Ｇ(i+1,j)| ・・・式ｙ３
次に、補間対象空格子点の縦方向の第４の類似度成分Ｃt⁽⁴⁾(i,j)および横方向の第４の類似度成分Ｃy⁽⁴⁾(i,j)は、図５（４）に示す色情報に基づき、下記の式ｔ４および式ｙ４によって算出される。
【００５７】

ただし、式ｔ４および式ｙ４において、ｔ⁽⁴⁾およびｙ⁽⁴⁾は、０〜１の定数である。
【００５８】
例えば、ｔ⁽⁴⁾＝ｙ⁽⁴⁾＝１／２とすると、

となる。
【００５９】
次に、補間対象空格子点の縦方向の第５の類似度成分Ｃt⁽⁵⁾(i,j)および横方向の第５の類似度成分Ｃy⁽⁵⁾(i,j)は、図５（５）に示す色情報に基づき、下記の式ｔ５および式ｙ５によって算出される。
Ｃt⁽⁵⁾(i,j)＝ａ₁ ⁽⁵⁾Ｃt^(5-1)(i,j)＋ａ₂ ⁽⁵⁾Ｃt^(5-2)(i,j) ・・・式ｔ５
Ｃy⁽⁵⁾(i,j)＝ｂ₁ ⁽⁵⁾Ｃy^(5-1)(i,j)＋ｂ₂ ⁽⁵⁾Ｃy^(5-2)(i,j) ・・・式ｙ５
ただし、式ｔ５および式ｙ５において、ａ₁ ⁽⁵⁾、ａ₂ ⁽⁵⁾、ｂ₁ ⁽⁵⁾、ｂ₂ ⁽⁵⁾は、ａ₁ ⁽⁵⁾＋ａ₂ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾＋ｂ₂ ⁽⁵⁾＝１を満足する０〜１の定数であり、通常、ａ₁ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾、ａ₂ ⁽⁵⁾＝ｂ₂ ⁽⁵⁾を満足する値である。ただし、後述する各実施形態では、ａ₁ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾＝１、ａ₂ ⁽⁵⁾＝ｂ₂ ⁽⁵⁾＝０を推奨する。なお、ａ₁ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾＝０、ａ₂ ⁽⁵⁾＝ｂ₂ ⁽⁵⁾＝１やａ₁ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾＝ａ₂ ⁽⁵⁾＝ｂ₂ ⁽⁵⁾＝１／２であっても良い。
【００６０】
また、式ｔ５および式ｙ５において、Ｃt^(5-1)(i,j)およびＣy^(5-1)(i,j)は、

を満足する値である。ただし、ｔ^(5-1)およびｙ^(5-1)は、０〜１の定数である。
【００６１】
例えば、ｔ^(5-1)＝ｙ^(5-1)＝１／２とすると、

となる。
【００６２】
さらに、式ｔ５および式ｙ５において、Ｃt^(5-2)(i,j)およびＣy^(5-2)(i,j)は、

を満足する値である。ただし、ｕ^(5-2)、ｖ^(5-2)は、０〜１の定数である。
【００６３】
例えば、ｕ^(5-2)＝ｖ^(5-2)＝１／２とすると、
Ｃt^(5-2)(i,j)＝|(ＲＢ(i,j-2)＋ＲＢ(i,j+2))／２−ＲＢ(i,j)|
Ｃy^(5-2)(i,j)＝|(ＲＢ(i-2,j)＋ＲＢ(i-2,j))／２−ＲＢ(i,j)|
となる。
ところで、第１の類似度成分は、実験により、図６（１）に示す白黒ナイキスト縞（１画素間隔の白と黒との縦縞状の画像）や、図６（２）に示すような中心から放射状に広がる白と黒とのストライプ画像（以下、「白黒ジーメンススター」という。）や、文字における類似性の強弱の判定に適していることがわかった。
【００６４】
また、第２の類似度成分は、実験により、第１の類似度成分よりは劣るものの白黒ナイキスト縞や白黒ジーメンススターや文字における類似性の強弱の判定に有効であり、人物や葉などの自然画の境界部分における類似性の強弱の判定に対しても、ある程度有効であることがわかった。
さらに、第３の類似度成分ないし第５の類似度成分は、同じ色の色情報を用いて算出されるため、人物や葉などの自然画の境界部分における類似性の強弱の判定に有効であり、種類の異なる画像の境界部分における類似性の強弱の判定にも有効であることがわかった。
【００６５】
したがって、各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）を単独で用いて補間処理を行った場合の偽色の低減効果には、概念的に図７のような関係が成り立つことがわかった。
ただし、図７において、「異色系類似度成分による偽色低減効果」とは、異なる色の色情報を用いて算出される類似度成分によって得られる偽色の低減効果を示し、「同色系類似度成分による偽色低減効果」とは、同じ色の色情報を用いて算出される類似度成分によって得られる偽色の低減効果を示す。
【００６６】
また、図５（３）、（４）、（５）において、「補間対象空格子点と補間対象空格子点に近接する格子点（以下、「近接格子点」と称する。）との距離」は、「補間対象空格子点と、補間対象空格子点と同色の色情報を出力する空格子点との距離」や「補間対象空格子点と、補間対象空格子点と異なる色の色情報を出力する空格子点との距離」よりも短い。
【００６７】
すなわち、近接格子点は、補間対象空格子点に対して最も近い場所に位置することになり、近接格子点を用いて算出される第３の類似度成分は、第４の類似度成分や第５の類似度成分よりも「同色系類似度成分による偽色低減効果」が大きいことになる。
そのため、第３の類似度成分ないし第５の類似度成分の「同色系類似度成分による偽色低減効果」には、図７のような違いが生じる。
【００６８】
なお、後述する各実施形態では、図５に示す色情報を用いて各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）を算出するが、各々の種類の類似度成分は、図８ないし図１０に示すような周辺の空格子点や格子点の色情報を用いて以下のように置き換えても良い（ただし、以下では、横方向における各々の種類の類似度成分の算出方法については、省略する）。
【００６９】
例えば、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)は、図８（１）に示す色情報を用い、上述した式ｔ１に代えて下式によって算出しても良い。

ただし、ａ₁ ⁽¹⁾、ａ₂ ⁽¹⁾の少なくとも一方は、０でない値であり、ｍ₁ ⁽¹⁾は、０＜ｍ₁ ⁽¹⁾≦１を満足する定数であり、ｍ₂ ⁽¹⁾、ｍ₃ ⁽¹⁾、ｍ₄ ⁽¹⁾、ｍ₅ ⁽¹⁾は、ｍ₁ ⁽¹⁾＋ｍ₂ ⁽¹⁾＋ｍ₃ ⁽¹⁾＋ｍ₄ ⁽¹⁾＋ｍ₅ ⁽¹⁾＝１を満足する０〜１の定数であり、ｎ₁ ⁽¹⁾は、０＜ｎ₁ ⁽¹⁾≦１を満足する定数であり、ｎ₂ ⁽¹⁾、ｎ₃ ⁽¹⁾、ｎ₄ ⁽¹⁾、ｎ₅ ⁽¹⁾は、ｎ₁ ⁽¹⁾＋ｎ₂ ⁽¹⁾＋ｎ₃ ⁽¹⁾＋ｎ₄ ⁽¹⁾＋ｎ₅ ⁽¹⁾＝１を満足する０〜１の定数である。ここで、Ｃt^(1-1)(i,j)、Ｃt^(1-1)(i-1,j-1)、Ｃt^(1-1)(i+1,j-1)、Ｃt^(1-1)(i-1,j+1)、Ｃt^(1-1)(i+1,j+1)を算出する際には、各項内の係数ｕ^(1-1)として異なる値を用いても良く、Ｃt^(1-2)(i,j)、Ｃt^(1-2)(i-1,j-1)、Ｃt^(1-2)(i+1,j-1)、Ｃt^(1-2)(i-1,j+1)、Ｃt^(1-2)(i+1,j+1)を算出する際には、各項内の係数ｔ^(1-2)として異なる値を用いても良い。
【００７０】
また、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)は、図８（２）に示す色情報を用い、上述した式ｔ２に代えて下式によって算出しても良い。

ただし、ｍ₁ ⁽²⁾は、０＜ｍ₁ ⁽²⁾≦１を満足する定数であり、ｍ₂ ⁽²⁾、ｍ₃ ⁽²⁾、ｍ₄ ⁽²⁾、ｍ₅ ⁽²⁾は、ｍ₁ ⁽²⁾＋ｍ₂ ⁽²⁾＋ｍ₃ ⁽²⁾＋ｍ₄ ⁽²⁾＋ｍ₅ ⁽²⁾＝１を満足する０〜１の定数であり、ｎ₁ ⁽²⁾は、０＜ｎ₁ ⁽²⁾≦１を満足する定数であり、ｎ₂ ⁽²⁾、ｎ₃ ⁽²⁾、ｎ₄ ⁽²⁾、ｎ₅ ⁽²⁾は、ｎ₁ ⁽²⁾＋ｎ₂ ⁽²⁾＋ｎ₃ ⁽²⁾＋ｎ₄ ⁽²⁾＋ｎ₅ ⁽²⁾＝１を満足する０〜１の定数である。ここで、Ｃt^(2-1)(i,j)、Ｃt^(2-1)(i-1,j-1)、Ｃt^{( 2-1)}(i+1,j-1)、Ｃt^(2-1)(i-1,j+1)、Ｃt^(2-1)(i+1,j+1)を算出する際には、各項内の係数ｕ^(2-1)として異なる値を用いても良く、Ｃt^(2-2)(i,j)、Ｃt^(2-2)(i-1,j-1)、Ｃt^(2-2)(i+1,j-1)、Ｃt^(2-2)(i-1,j+1)、Ｃt^(2-2)(i+1,j+1)を算出する際には、各項内の係数ｔ^(2-2)として異なる値を用いても良い。
【００７１】
さらに、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)は、図９（３）に示す色情報を用い、上述した式ｔ３によって算出される値（Ｃt⁽³⁾(i,j)〜Ｃt⁽³⁾(i+1,j+1)）を下式の右辺に代入して算出しても良い。

ただし、ｍ₁ ⁽³⁾は、０＜ｍ₁ ⁽³⁾≦１を満足する定数であり、ｍ₂ ⁽³⁾、ｍ₃ ⁽³⁾、ｍ₄ ⁽³⁾、ｍ₅ ⁽³⁾は、ｍ₁ ⁽³⁾＋ｍ₂ ⁽³⁾＋ｍ₃ ⁽³⁾＋ｍ₄ ⁽³⁾＋ｍ₅ ⁽³⁾＝１を満足する０〜１の定数である。
【００７２】
また、縦方向の第４の類似度成分Ｃt⁽⁴⁾(i,j)は、図９（４）に示す色情報を用い、上述した式ｔ４によって算出される値（Ｃt⁽⁴⁾(i,j)〜Ｃt⁽⁴⁾(i+1,j+1)）を下式の右辺に代入して算出しても良い。

ただし、ｍ₁ ⁽⁴⁾は、０＜ｍ₁ ⁽⁴⁾≦１を満足する定数であり、ｍ₂ ⁽⁴⁾、ｍ₃ ⁽⁴⁾、ｍ₄ ⁽⁴⁾、ｍ₅ ⁽⁴⁾は、ｍ₁ ⁽⁴⁾＋ｍ₂ ⁽⁴⁾＋ｍ₃ ⁽⁴⁾＋ｍ₄ ⁽⁴⁾＋ｍ₅ ⁽⁴⁾＝１を満足する０〜１の定数である。ここで、式ｔ４−２の右辺のＣt⁽⁴⁾(i,j)、Ｃt⁽⁴⁾(i-1,j-1)、Ｃt⁽⁴⁾(i+1,j-1)、Ｃt⁽⁴⁾(i-1,j+1)、Ｃt⁽⁴⁾(i+1,j+1)を算出する際には、各項内の係数ｔ⁽⁴⁾として異なる値を用いても良い。
【００７３】
さらに、縦方向の第５の類似度成分Ｃt⁽⁵⁾(i,j)は、図１０（５）に示す色情報を用い、上述した式ｔ５に代えて下式によって算出しても良い。

ただし、ｍ₁ ⁽⁵⁾は、０＜ｍ₁ ⁽⁵⁾≦１を満足する定数であり、ｍ₂ ⁽⁵⁾、ｍ₃ ⁽⁵⁾、ｍ₄ ⁽⁵⁾、ｍ₅ ⁽⁵⁾は、ｍ₁ ⁽⁵⁾＋ｍ₂ ⁽⁵⁾＋ｍ₃ ⁽⁵⁾＋ｍ₄ ⁽⁵⁾＋ｍ₅ ⁽⁵⁾＝１を満足する０〜１の定数であり、ｎ₁ ⁽⁵⁾は、０＜ｎ₁ ⁽⁵⁾≦１を満足する定数であり、ｎ₂ ⁽⁵⁾、ｎ₃ ⁽⁵⁾、ｎ₄ ⁽⁵⁾、ｎ₅ ⁽⁵⁾は、ｎ₁ ⁽⁵⁾＋ｎ₂ ⁽⁵⁾＋ｎ₃ ⁽⁵⁾＋ｎ₄ ⁽⁵⁾＋ｎ₅ ⁽⁵⁾＝１を満足する０〜１の定数である。ここで、Ｃt^(5-1)(i,j)、Ｃt^(5-1)(i-1,j-1)、Ｃt^(5-1)(i+1,j-1)、Ｃt^(5-1)(i-1,j+1)、Ｃt^(5-1)(i+1,j+1)を算出する際には、各項内の係数ｕ^(5-1)として異なる値を用いても良く、Ｃt^(5-2)(i,j)、Ｃt^(5-2)(i-1,j-1)、Ｃt^(5-2)(i+1,j-1)、Ｃt^(5-2)(i-1,j+1)、Ｃt^(5-2)(i+1,j+1)を算出する際には、各項内の係数ｔ^(5-2)として異なる値を用いても良い。
【００７４】
また、各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）は、差分の絶対値を用いて算出されているが、このような類似度は、例えば、絶対値の要素の２乗など、各要素のべき乗によって算出しても良い。
ここで、第１の実施形態ないし第５の実施形態の説明を簡単にするために、白黒ナイキスト縞に対する各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）の算出結果の例と、シアンの縦ストライプに対する各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）の算出結果の例を示す。
【００７５】
まず、白黒ナイキスト縞の原画像として図１１（１）に示すような色情報の値（Ｒ，Ｇ，Ｂ）が各画素毎に対応付けられ、画像バッファメモリ１５に図１１（２）のような色情報の値が格納されている場合、白黒ナイキスト縞に対する各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）の算出結果は、図１１（３）のようになる。
【００７６】
また、シアンの縦ストライプの原画像として図１２（１）に示すような色情報の値（Ｒ，Ｇ，Ｂ）が各画素毎に対応付けられ、画像バッファメモリ１５に図１２（２）のような色情報の値が格納されている場合、シアンの縦ストライプに対する各々の種類の類似度成分（第１の類似度成分ないし第５の類似度成分）の算出結果は、図１２（３）のようになる。
【００７７】
ただし、図１１（３）および図１２（３）では、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)および横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)は、式ｔ１および式ｙ１において、ａ₁ ⁽¹⁾＝ｂ₁ ⁽¹⁾＝１、ａ₂ ⁽¹⁾＝ｂ₂ ⁽¹⁾＝０とした場合の算出結果であり、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)および横方向の第２の類似度成分Ｃy⁽²⁾(i,j)は、式ｔ２および式ｙ２において、ａ₁ ⁽²⁾＝ｂ₁ ⁽²⁾＝１、ａ₂ ⁽²⁾＝ｂ₂ ⁽²⁾＝０とした場合の算出結果であり、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)および横方向の第３の類似度成分Ｃy⁽³⁾(i,j)は、式ｔ３および式ｙ３の算出結果であり、縦方向の第４の類似度成分Ｃt⁽⁴⁾(i,j)および横方向の第４の類似度成分Ｃy⁽⁴⁾(i,j)は、式ｔ４および式ｙ４において、ｔ⁽⁴⁾＝ｙ⁽⁴⁾＝１／２とした場合の算出結果であり、縦方向の第５の類似度成分Ｃt⁽⁵⁾(i,j)および横方向の第５の類似度成分Ｃy⁽⁵⁾(i,j)は、式ｔ５および式ｙ５において、ａ₁ ⁽⁵⁾＝ｂ₁ ⁽⁵⁾＝１、ａ₂ ⁽⁵⁾＝ｂ₂ ⁽⁵⁾＝０とした場合の算出結果である。
【００７８】
なお、図１１（３）および図１２（３）の各々の類似度成分の算出結果において、各方向（縦方向および横方向）の算出結果の差違が大きい場合には、「０」に近い方向の類似性が強いことを示す。
したがって、図１１（３）により、第１の類似度成分および第２の類似度成分は、白黒ナイキスト縞における類似性の強弱の判定に有効であることがわかる。
【００７９】
また、図１２（３）により、第２の類似度成分ないし第４の類似度成分は、シアンの縦ストライプにおける類似性の強弱の判定に有効であることがわかる。
<<第１の実施形態>>
以下、図１ないし図５を参照して第１の実施形態の動作を説明する。
主電源が投入されている状態において、撮像素子１３では、撮影光学系１１およびＯＬＰＦ１２を介して与えられる光学像が光電変換面（図示されない）に結像され、光電変換によって信号電荷が生成される。また、撮像素子１３は、このように生成された信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１４に与える。
【００８０】
Ａ／Ｄ変換部１４は、このように与えられた画像信号をＡ／Ｄ変換して画像データを生成する（図３Ｓ１）。なお、第１の実施形態および後述する各実施形態において、画像データは、撮像素子１３の各画素に対応する色情報に相当する。このように生成された画像データは、ＲＧＢの３色に分割され、各色に対応する画像バッファメモリ１５内の領域に格納される（図３Ｓ２）。なお、緑色の画像データ（格子点の色情報）は、図２に示すように、上述した座標系で示される座標に対応付けられて格納される。
【００８１】
なお、上述した処理（画像データの生成および格納）は、制御部１０によるタイミング制御に基づき繰り返し行われる。
また、制御部１０は、インタフェース部１８を介して、電子スチルカメラの筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図３Ｓ３）。
【００８２】
制御部１０は、このような判定によってレリーズボタンが押下されていないことを認識した場合、上述したタイミング制御によって画像データの生成（図３Ｓ１）および格納（図３Ｓ２）の処理を繰り返し指示する。
また、制御部１０は、レリーズボタンが押下されたことを認識すると、画像処理部１７内の補間処理部１９に対して、後述する補間処理の実行を指示する（図３Ｓ４）。
【００８３】
すなわち、第１の実施形態および後述する各実施形態では、レリーズボタンが押下された時点に画像バッファメモリ１５に格納されている画像データが補間処理の対象となる。
なお、階調変換部１６によって画像バッファメモリ１５から読み出されて階調変換（ｌｏｇ化やγ変換等）が行われた後に、画像バッファメモリ１５に再度格納された画像データを補間処理の対象としても良い。
【００８４】
また、補間処理を行った画像を表示する際は、レリーズボタンが押下される時点に撮像される画像だけでなく、常時撮像される画像に対して補間処理を行って表示しても良い。さらに、画像データの生成（図３Ｓ１）および格納（図３Ｓ２）の処理は、補間処理に先行して行われるならば、レリーズボタンが押下された後に行われても良い。
【００８５】
このようにして補間処理が施された画像データ（空格子点の補間量）は、画像バッファメモリ１５内の所定の領域に格納される（図３Ｓ５）。
次に、図４を参照して第１の実施形態の補間処理の動作を説明する。
補間処理部１９は、制御部１０によって補間処理の実行が指示されると、補間処理の対象となる補間対象空格子点を選択する（図４Ｓ１）。
【００８６】
例えば、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、その座標には、空格子点が対応付けられている。そのため、第１の実施形態および後述する各実施形態では、各画素に対応付けられた座標を（１，１）から（Ｘ_max，Ｙ_max）まで順次検索し、Ｘ成分とＹ成分との和が奇数である座標を空格子点とする。
【００８７】
なお、図２において、任意の座標（ｘ，ｙ）について「ｘ＋ｙ＝奇数」が成り立つ場合、ｘが偶数であるか奇数であるかを判定することによって、その座標の画素から出力される色を識別することができる。例えば、「ｘ＋ｙ＝奇数かつｘ＝偶数」が成り立つ画素の出力を赤色とすると、「ｘ＋ｙ＝奇数かつｘ＝奇数」が成り立つ画素の出力は青色となる。
【００８８】
補間処理部１９は、上述したように補間対象空格子点を選択すると、画像バッファメモリ１５から図５（１）（または、（１−２））、（２）、（３）に示す色情報を読み出す。すなわち、補間処理部１９は、補間対象空格子点の類似度を算出する際に必要な色情報を画像バッファメモリ１５から読み出す（図４Ｓ２）。なお、このようにして読み出された色情報は、類似度算出部２０に供給される。
【００８９】
類似度算出部２０は、補間処理部１９から供給された色情報を用い、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図４Ｓ３）。
すなわち、類似度算出部２０は、補間処理部１９から供給された色情報を用い、上述した式ｔ１（または、式ｔ１−２）、式ｙ１（または、式ｙ１−２）、式ｔ２、式ｙ２、式ｔ３および式ｙ３によって、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)、横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)、横方向の第２の類似度成分Ｃy⁽²⁾(i,j)、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)および横方向の第３の類似度成分Ｃy⁽³⁾(i,j)を算出し、下記の式１および式２によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する。
【００９０】
Ｃt(i,j)＝α₁Ｃt⁽¹⁾(i,j)＋β₁Ｃt⁽²⁾(i,j)＋γ₁Ｃt⁽³⁾(i,j) ・・・式１
Ｃy(i,j)＝α₂Ｃy⁽¹⁾(i,j)＋β₂Ｃy⁽²⁾(i,j)＋γ₂Ｃy⁽³⁾(i,j) ・・・式２
ただし、α₁、α₂、β₁、β₂、γ₁、γ₂は、正の値であり、各項の重み付け係数である。なお、ここでは、α₁＝α₂＝α、β₁＝β₂＝β、γ₁＝γ₂＝γ、α：β：γ＝１：１：１とする条件を付加する。また、縦方向の類似度Ｃt(i,j)と横方向の類似度Ｃy(i,j)とを色情報に基づいて規格化する場合には、α＋β＋γ＝１とする条件を付加しても良い。
【００９１】
次に、類似性判定部２１は、このようにして算出された縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)に基づいて、類似性の強い方向を判定する（図４Ｓ４）。
例えば、類似性判定部２１は、任意の値Ｔ（ここでは、「０」を用いることにする）について、
|Ｃt(i,j)−Ｃy(i,j)|＞Ｔ かつ Ｃt(i,j)＜Ｃy(i,j)
が成り立つ場合、縦方向の類似性が強いと判定し、
|Ｃt(i,j)−Ｃy(i,j)|＞Ｔ かつ Ｃt(i,j)＞Ｃy(i,j)
が成り立つ場合、横方向の類似性が強いと判定し、
|Ｃt(i,j)−Ｃy(i,j)|≦Ｔ
が成り立つ場合、２つの方向の類似性が同程度であると判定する。
【００９２】
また、類似性判定部２１は、後述する第７の実施形態の式２８に示すｘについて、「ｘ＞１」が成り立つ場合、縦方向の類似性が強いと判定し、「ｘ＜−１」が成り立つ場合には横方向の類似性が強いと判定し、「−１≦ｘ≦１」が成り立つ場合には２つの方向の類似性が同程度であると判定しても良い。
補間量算出部２２は、このようにして類似性の強い方向が判定されると、類似性が強いと判定された方向に隣接する格子点の色情報を用いて補間対象空格子点の補間量を算出する（図４Ｓ５）。
【００９３】
例えば、補間量算出部２２は、縦方向の類似性が強いと判定された場合、補間対象空格子点の補間量Ｇ'(i,j)を
Ｇ'(i,j)＝｛Ｇ(i,j-1)＋Ｇ(i,j+1)｝／２
によって算出し、横方向の類似性が強いと判定された場合、補間対象空格子点の補間量Ｇ'(i,j)を
Ｇ'(i,j)＝｛Ｇ(i-1,j)＋Ｇ(i+1,j)｝／２
によって算出し、２つの方向の類似性が同程度であると判定された場合、Ｇ'(i,j)を
Ｇ'(i,j)＝｛Ｇ(i,j-1)＋Ｇ(i,j+1)＋Ｇ(i-1,j)＋Ｇ(i+1,j)｝／４
または
Ｇ'(i,j)＝median｛Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)｝
によって算出する。
【００９４】
ただし、median｛｝は、複数の要素のメディアンを算出する関数を示し、要素の数が偶数である場合、中央の２つの要素の平均値をとるものとする。
また、補間量算出部２２は、後述する第７の実施形態の式２８に示すｘに基づいて類似性の強い方向を判定した場合には、第７の実施形態と同様（図１５Ｓ７〜Ｓ１１）に、補間対象空格子点の補間量を算出しても良い。
【００９５】
補間処理部１９は、このようにして補間対象空格子点の補間量が算出されると、全ての空格子点の補間処理が完了したか否かを判定する（図４Ｓ６）。
例えば、このような判定は、上述したような各画素に対応付けられた座標を検索する過程で、任意の座標（ｉ，ｊ）について、「ｉ＞Ｘ_max−３」および「ｊ＞Ｙ_max−３」が成り立つか否かを判定することに相当する。
【００９６】
なお、画像の端部のように本発明の補間処理をそのまま適用できない部分については、画像の端から先を折り返して仮想の画像を生成し（公知の技術）、このように生成した画像を用いて補間処理を行っても良い。
補間処理部１９は、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図４Ｓ１以降の処理）を繰り返し行う。
【００９７】
以上説明したように、第１の実施形態では、縦方向および横方向に対する第１の類似度成分、第２の類似度成分および第３の類似度成分を算出して、このような３種類の類似度成分を加重加算することによって、補間対象空格子点の類似度を算出する。
そのため、例えば、図１１（３）のように、第３の類似度成分の算出結果だけでは、類似性の強い方向の判定が行えない場合であっても、第１の類似度成分と第２の類似度成分の算出結果とが有効に作用して、補間対象空格子点の類似度を高い精度で算出することができる。また、図１２（３）のように、第１の類似度成分の算出結果だけでは、類似性の強い方向が誤って判定される場合であっても、第２の類似度成分および第３の類似度成分の算出結果によって、補間対象空格子点の類似度を高い精度で算出することができる。
【００９８】
また、第１の実施形態では、図７に示す「異色系類似度成分による偽色低減効果」と「同色系類似度成分による偽色低減効果」とがバランス良く得られる。
したがって、第１の実施形態では、白黒ナイキスト縞のような空間周波数が高い画像だけでなく、自然画などの多くの種類の画像に対する偽色の発生を低減することができる。すなわち、第１の実施形態によれば、補間処理の精度を確実に向上することができる。
【００９９】
なお、第１の実施形態では、式１および式２において、α₁＝α₂＝α、β₁＝β₂＝β、γ₁＝γ₂＝γ、α：β：γ＝１：１：１とする条件を付加したが、第１の類似度成分ないし第３の類似度成分が、同一とみなせる比率で加重加算されるならば、α₁、α₂、β₁、β₂、γ₁、γ₂は、如何なる値であっても良い。
また、第１の実施形態では、図５（１）（または、（１−２））、（２）、（３）に示す色情報を用いて算出された３種類の類似度成分を加重加算することによって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出しているが、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)は、図５（１）（または、（１−２））、（２）に示す色情報と、図５（３）〜（５）の何れか１つに示す色情報とを用いて算出される３種類の類似度成分を加重加算することによって算出しても良い。
【０１００】
<<第２の実施形態>>
以下、第２の実施形態の動作を説明する。
ところで、第２の実施形態の特徴は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)の算出方法（図４Ｓ２およびＳ３に相当する）にあり、他の動作については、第１の実施形態と同じであるので説明を省略する。すなわち、ここでは、図４Ｓ２およびＳ３に相当する動作を説明する。
【０１０１】
補間処理部１９は、図５（１）（または、（１−２））、（２）に示す色情報を読み出し（図４Ｓ２に相当する）、類似度算出部２０に供給する。
類似度算出部２０は、このようにして供給された色情報を用い、上述した式ｔ１（または、式ｔ１−２）、式ｙ１（または、式ｙ１−２）、式ｔ２および式ｙ２によって、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)、横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)および横方向の第２の類似度成分Ｃy⁽²⁾(i,j)を算出し、下記の式３および式４によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図４Ｓ３に相当する）。
【０１０２】
Ｃt(i,j)＝α₁Ｃt⁽¹⁾(i,j)＋β₁Ｃt⁽²⁾(i,j) ・・・式３
Ｃy(i,j)＝α₂Ｃy⁽¹⁾(i,j)＋β₂Ｃy⁽²⁾(i,j) ・・・式４
ただし、α₁、α₂、β₁、β₂は、正の値であり、各項の重み付け係数である。なお、ここでは、α₁＝α₂＝α、β₁＝β₂＝β、α：β＝１：１とする条件を付加する。また、縦方向の類似度Ｃt(i,j)と横方向の類似度Ｃy(i,j)とを色情報に基づいて規格化する場合には、α＋β＝１とする条件を付加しても良い。
【０１０３】
すなわち、第２の実施形態では、縦方向および横方向に対する第１の類似度成分および第２の類似度成分を算出して、このような２種類の類似度成分を加重加算することによって、補間対象空格子点の類似度を算出する。
そのため、例えば、白黒ナイキスト縞に対しては、図１１（３）のように、第１の類似度成分と第２の類似度成分の算出結果とが有効に作用して、補間対象空格子点の類似度を高い精度で算出することができる。
【０１０４】
また、第２の実施形態によれば、図７に示す「異色系類似度成分による偽色低減効果」が得られる。
したがって、第２の実施形態では、白黒ナイキスト縞のような空間周波数が高い画像に対する偽色の発生を低減することができると共に、第２の類似度成分によって、図７に示す「同色系類似度成分による偽色低減効果」が得られるため、第１の実施形態には劣るものの、自然画などの多くの種類の画像に対する偽色の発生を低減することができる。すなわち、第２の実施形態によれば、補間処理の精度を確実に向上することができる。
【０１０５】
なお、第２の実施形態では、式３および式４において、α₁＝α₂＝α、β₁＝β₂＝β、α：β＝１：１とする条件を付加したが、第１の類似度成分および第２の類似度成分が、同一とみなせる比率で加重加算されるならば、α₁、α₂、β₁、β₂は、如何なる値であっても良い。
<<第３の実施形態>>
以下、第３の実施形態の動作を説明する。
【０１０６】
ところで、第３の実施形態の特徴は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)の算出方法（図４Ｓ２およびＳ３に相当する）にあり、他の動作については、第１の実施形態と同じであるので説明を省略する。すなわち、ここでは、図４Ｓ２およびＳ３に相当する動作を説明する。
補間処理部１９は、図５（２）、（３）に示す色情報を読み出し（図４Ｓ２に相当する）、類似度算出部２０に供給する。
【０１０７】
類似度算出部２０は、このようにして供給された色情報を用い、上述した式ｔ２、式ｙ２、式ｔ３および式ｙ３によって、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)、横方向の第２の類似度成分Ｃy⁽²⁾(i,j)、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)および横方向の第１の類似度成分Ｃy⁽³⁾(i,j)を算出し、下記の式５および式６によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図４Ｓ３に相当する）。
【０１０８】
Ｃt(i,j)＝β₁Ｃt⁽²⁾(i,j)＋γ₁Ｃt⁽³⁾(i,j) ・・・式５
Ｃy(i,j)＝β₂Ｃy⁽²⁾(i,j)＋γ₂Ｃy⁽³⁾(i,j) ・・・式６
ただし、β₁、β₂、γ₁、γ₂は、正の値であり、各項の重み付け係数である。なお、ここでは、β₁＝β₂＝β、γ₁＝γ₂＝γ、β：γ＝１：１とする条件を付加する。また、縦方向の類似度Ｃt(i,j)と横方向の類似度Ｃy(i,j)とを色情報に基づいて規格化する場合には、β＋γ＝１とする条件を付加しても良い。
【０１０９】
すなわち、第３の実施形態では、縦方向および横方向に対する第２の類似度成分および第３の類似度成分を算出して、このような２種類の類似度成分を加重加算することによって、補間対象空格子点の類似度を算出する。
そのため、例えば、シアンの縦ストライプに対しては、図１２（３）のように、第２の類似度成分と第３の類似度成分との算出結果によって、補間対象空格子点の類似度を高い精度で算出することができる。
【０１１０】
また、第３の実施形態によれば、図７に示す「同色系類似度成分による偽色低減効果」が得られる。
したがって、第３の実施形態によれば、自然画などの多くの種類の画像に対する偽色の発生を低減することができると共に、第２の類似度成分によって、図７に示す「異色系類似度成分による偽色低減効果」が得られるため、第１の実施形態には劣るものの、白黒ナイキスト縞のような空間周波数が高い画像に対する偽色の発生を低減することができる。すなわち、第３の実施形態によれば、補間処理の精度を確実に向上することができる。
【０１１１】
なお、第３の実施形態では、式５および式６において、β₁＝β₂＝β、γ₁＝γ₂＝γ、β：γ＝１：１とする条件を付加したが、第２の類似度成分ないし第３の類似度成分が、同一とみなせる比率で加重加算されるならば、β₁、β₂、γ₁、γ₂は、如何なる値であっても良い。
また、第３の実施形態では、図５（２）、（３）に示す色情報を用いて算出された２種類の類似度成分を加重加算することによって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出しているが、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)は、図５（２）に示す色情報と、図５（３）〜（５）の少なくとも１つに示す色情報とを用いて算出される少なくとも２種類の類似度成分を加重加算することによってを算出しても良い。
【０１１２】
<<第４の実施形態>>
以下、第４の実施形態の動作を説明する。
ところで、第４の実施形態の特徴は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)の算出方法（図４Ｓ２およびＳ３に相当する）にあり、他の動作については、第１の実施形態と同じであるので説明を省略する。すなわち、ここでは、図４Ｓ２およびＳ３に相当する動作を説明する。
【０１１３】
補間処理部１９は、図５（１）（または、（１−２））、（３）に示す色情報を読み出し（図４Ｓ２に相当する）、類似度算出部２０に供給する。
類似度算出部２０は、このようにして供給された色情報を用い、ａ₁ ⁽¹⁾≠０が成り立つ状態の式ｔ１（または、式ｔ１−２）、ｂ₁ ⁽¹⁾≠０が成り立つ状態の式ｙ１（または、式ｙ１−２）、式ｔ３および式ｙ３によって、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)、横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)および横方向の第３の類似度成分Ｃy⁽³⁾(i,j)を算出し、下記の式７および式８によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図４Ｓ３に相当する）。
【０１１４】
Ｃt(i,j)＝α₁Ｃt⁽¹⁾(i,j)＋γ₁Ｃt⁽³⁾(i,j) ・・・式７
Ｃy(i,j)＝α₂Ｃy⁽¹⁾(i,j)＋γ₂Ｃy⁽³⁾(i,j) ・・・式８
ただし、α₁、α₂、γ₁、γ₂は、正の値であり、各項の重み付け係数である。なお、ここでは、α₁＝α₂＝α、γ₁＝γ₂＝γ、α：γ＝１：１とする条件を付加する。また、縦方向の類似度Ｃt(i,j)と横方向の類似度Ｃy(i,j)とを色情報に基づいて規格化する場合には、α＋γ＝１とする条件を付加しても良い。
【０１１５】
すなわち、第４の実施形態では、ａ₁ ⁽¹⁾≠０が成り立つ式ｔ１（または、式ｔ１−２）によって縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)を算出するため、縦方向の類似度Ｃt(i,j)には、

が含まれ、ｂ₁ ⁽¹⁾≠０が成り立つ式ｙ１（または、式ｙ１−２）によって横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)を算出するため、横方向の類似度Ｃy(i,j)には、

が含まれる。ただし、ｔ^(1-1)およびｙ^(1-1)は、０〜１の定数である。
【０１１６】
したがって、第４の実施形態では、米国特許第５，６５２，６２１における「偽色が発生する範囲が拡大するという問題」を解消しつつ、補間対象空格子点の類似度を精度良く算出することができる。
【０１１７】
また、第４の実施形態では、図７に示す「異色系類似度成分による偽色低減効果」と「同色系類似度成分による偽色低減効果」と得られる。
したがって、第４の実施形態では、第１の実施形態には劣るものの、白黒ナイキスト縞のような空間周波数が高い画像や、自然画などの多くの種類の画像に対する偽色の発生を低減することができる。すなわち、第４の実施形態によれば、補間処理の精度を確実に向上することができる。
【０１１８】
なお、第４の実施形態では、式７および式８において、α₁＝α₂＝α、γ₁＝γ₂＝γ、α：γ＝１：１とする条件を付加したが、第１の類似度成分および第３の類似度成分が、同一とみなせる比率で加重加算されるならば、α₁、α₂、γ₁、γ₂は、如何なる値であっても良い。
また、第４の実施形態では、図５（１）（または、（１−２））、（３）に示す色情報を用いて算出された２種類の類似度成分を加重加算することによって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出しているが、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)は、図５（１）（または、（１−２））に示す色情報と、図５（３）〜（５）の少なくとも１つに示す色情報とを用いて算出される少なくとも２種類の類似度成分を加重加算することによってを算出しても良い。
【０１１９】
<<第５の実施形態>>
以下、第５の実施形態の動作を説明する。
ところで、第５の実施形態の特徴は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)の算出方法（図４Ｓ２およびＳ３に相当する）にあり、他の動作については、第１の実施形態と同じであるので説明を省略する。すなわち、ここでは、図４Ｓ２およびＳ３に相当する動作を説明する。
【０１２０】
補間処理部１９は、図５（１）（または、（１−２））、（２）、（３）、（４）、（５）に示す色情報を読み出し（図４Ｓ２に相当する）、類似度算出部２０に供給する。
【０１２１】
類似度算出部２０は、このようにして供給された色情報を用い、上述した式ｔ１（または、式ｔ１−２）、式ｙ１（または、式ｙ１−２）、式ｔ２、式ｙ２、式ｔ３、式ｙ３、式ｔ４、式ｙ４、式ｔ５および式ｙ５によって、縦方向の第１の類似度成分Ｃt⁽¹⁾(i,j)、横方向の第１の類似度成分Ｃy⁽¹⁾(i,j)、縦方向の第２の類似度成分Ｃt⁽²⁾(i,j)、横方向の第２の類似度成分Ｃy⁽²⁾(i,j)、縦方向の第３の類似度成分Ｃt⁽³⁾(i,j)、横方向の第３の類似度成分Ｃy⁽³⁾(i,j)、縦方向の第４の類似度成分Ｃt⁽⁴⁾(i,j)、横方向の第４の類似度成分Ｃy⁽⁴⁾(i,j)、縦方向の第５の類似度成分Ｃt⁽⁵⁾(i,j)および横方向の第５の類似度成分Ｃy⁽⁵⁾(i,j)を算出し、下記の式９および式１０によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図４Ｓ３に相当する）。
【０１２２】

ただし、α₁、α₂、β₁、β₂、γ₁、γ₂、δ₁、δ₂、ε₁、ε₂は、正の値であり、各項の重み付け係数である。なお、ここでは、α₁＝α₂＝α、β₁＝β₂＝β、γ₁＝γ₂＝γ、δ₁＝δ₂＝δ、ε₁＝ε₂＝ε、α：β：γ：δ：ε＝４：４：２：１：１とする条件を付加する。また、縦方向の類似度Ｃt(i,j)と横方向の類似度Ｃy(i,j)とを色情報に基づいて規格化する場合には、α＋β＋γ＋δ＋ε＝１とする条件を付加しても良い。
【０１２３】
以上説明したように、第５の実施形態では、縦方向および横方向に対する第１の類似度成分ないし第５の類似度成分を算出して、このような５種類の類似度成分を加重加算することによって、補間対象空格子点の類似度を算出する。
そのため、例えば、第５の実施形態では、図１１（３）のように、第３の類似度成分ないし第５の類似度成分の算出結果だけでは、類似性の強い方向の判定が行えない場合であっても、第１の類似度成分と第２の類似度成分の算出結果とが有効に作用して、補間対象空格子点の類似度を高い精度で算出することができる。また、図１２（３）のように、第１の類似度成分の算出結果だけでは、類似性の強い方向が誤って判定される場合であっても、第２の類似度成分ないし第４の類似度成分の算出結果によって、補間対象空格子点の類似度を高い精度で算出することができる。
【０１２４】
さらに、図１２（３）のように同色系類似度成分において、シアンには赤色成分が含まれないため、第５の類似度成分では方向性を調べられなくなるが、第３の類似度成分と第４の類似度成分成分の算出結果が有効に作用して、補間対象空格子点の類似度を高い精度で算出することができる。
ところで、式９および式１０で付加した条件（α₁＝α₂＝α、β₁＝β₂＝β、γ₁＝γ₂＝γ、δ₁＝δ₂＝δ、ε₁＝ε₂＝ε、α：β：γ：δ：ε＝４：４：２：１：１）は、「α：β：（γ：δ：ε）＝１：１：１」と「γ：δ：ε＝２：１：１」とを同時に満足する条件である。
【０１２５】
ここで、「α：β：（γ：δ：ε）＝１：１：１」は、図７に示す「異色系類似度成分による偽色低減効果」と「同色系類似度成分による偽色低減効果」とが第１の実施形態と同一の比率で、バランス良く得られることを意味する。
また、「γ：δ：ε＝２：１：１」は、第４の類似度成分や第５の類似度成分よりも「同色系類似度成分による偽色低減効果」が大きい第３の類似度成分が有利に作用することを意味する。
【０１２６】
したがって、第５の実施形態では、白黒ナイキスト縞のような空間周波数が高い画像だけでなく、自然画などの多くの種類の画像に対する偽色の発生を低減することができる。すなわち、第５の実施形態によれば、補間処理の精度を確実に向上することができる。
また、第５の実施形態では、第１の実施形態では算出されなかった第４の類似度成分および第５の類似度成分が算出されるため、ある色成分が存在しない画像であっても、第３の類似度成分ないし第５の類似度成分が互いに助け合って同色系類似度成分が算出されるため、第１の実施形態よりも、補間対象空格子点の補間量を求める際の精度が向上される。
【０１２７】
ところで、第５の実施形態では、第１の実施形態と同様に、任意の値Ｔについて、
|Ｃt(i,j)−Ｃy(i,j)|＞Ｔ
が成り立つ場合、類似性が強い方向の判定が可能である。
ここで、式９および式１０において、α₁＝α₂＝α、β₁＝β₂＝β、γ₁＝γ₂＝γ、δ₁＝δ₂＝δ、ε₁＝ε₂＝εとすると、

となる。
【０１２８】
したがって、例えば、図１１（３）の第３の類似度成分ないし第５の類似度成分のように、縦方向と横方向との算出結果が共に「０」である場合や、図１２（３）の第１の類似度成分のように、縦方向と横方向との算出結果が均衡している場合には、重み付け係数が大きい値であっても、|Ｃt(i,j)−Ｃy(i,j)|の値には大きな影響が及ばない。
【０１２９】
すなわち、第５の実施形態では、補間対象空格子点の補間処理に適していない類似度成分（例えば、図１１（３）の第３の類似度成分ないし第５の類似度成分）が算出され、補間対象空格子点の補間処理に適した類似度成分（例えば、図１１（３）の第１の類似度成分および第２の類似度成分）と加重加算された場合であっても、補間対象空格子点の補間処理に適した類似度成分のみが有効に作用し、精度良く補間処理を行うことができる。
【０１３０】
また、第５の実施形態では、図５（１）（または、（１−２））、（２）、（３）、（４）、（５）に示す色情報を用いて算出された５種類の類似度成分を加重加算することによって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出しているが、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)は、図５（１）（または、（１−２））、（２）、（３）に示す色情報と、図５（４）、（５）の何れか１つに示す色情報とを用いて算出される４種類の類似度成分を加重加算することによって算出しても良い。
【０１３１】
<<第６の実施形態>>
図１３は、第６の実施形態の補間処理の動作フローチャートである。
図１３において、図４に示す動作フローチャートと同一の処理を行うステップについては、図４と同一のステップ番号を付与し、ここでは説明を省略する。
なお、図４に示す動作フローチャートと図１３に示す動作フローチャートとの相違点は、図４のＳ３、Ｓ４に代えて、図１３では、Ｓ１０１〜Ｓ１０３が設けられた点である。
【０１３２】
以下、第６の実施形態における補間処理の動作を説明するが、ここでは、図１３のＳ１０１〜Ｓ１０３の処理を中心に説明する。
補間処理部１９は、図５（１）（または、（１−２））、（２）、（３）、（４）、（５）に示す色情報を読み出し（図１３Ｓ２）、類似度算出部２０に供給する。
【０１３３】
類似度算出部２０は、このようにして読み出された色情報を用い、複数種類の類似度を算出し（図１３Ｓ１０１）、類似性判定部２１に供給する。
なお、第６の実施形態では、複数の種類の類似度として、上述した第１の類似度成分ないし第５の類似度成分を算出するものとする。すなわち、類似度算出部２０は、上述した式ｔ１（または、式ｔ１−２）、式ｙ１（または、式ｙ１−２）、式ｔ２、式ｙ２、式ｔ３、式ｙ３、式ｔ４、式ｙ４、式ｔ５および式ｙ５によって、各類似度成分に対応する第１の類似度ないし第５の類似度を算出する。
【０１３４】
類似性判定部２１は、複数種類の類似度が供給されると、各種類の類似度毎に類似性の強い方向を判定する（図１３Ｓ１０２）。
ここで、以降の説明を簡単にするために、第１の類似度ないし第５の類似度を第ｋの類似度（ｋ：１,…,５）で示し、縦方向の第ｋの類似度をＣt^(k)(i,j)、横方向の第ｋの類似度をＣy^(k)(i,j)で示し、各種類毎の類似性の強い方向を示す値としてＤ^(k)（ｋ：１,…,５）を用いることにする。ただし、Ｄ^(k)は、縦方向の類似性が強い場合には「−１」が設定され、横方向の類似性が強い場合には「１」が設定され、２つの方向の類似性が同程度である場合には「０」が設定されるものとする。
【０１３５】
例えば、類似性判定部２１は、
Ｃt^(k)(i,j)＜Ｃy^(k)(i,j)
が成り立つ場合には、縦方向の類似性が強いと判定してＤ^(k)に「−１」を代入し、
Ｃt^(k)(i,j)＝Ｃy^(k)(i,j)
が成り立つ場合には、Ｄ^(k)に「０」を代入し、
Ｃt^(k)(i,j)＞Ｃy^(k)(i,j)
が成り立つ場合には、横方向の類似性が強いと判定してＤ^(k)に「１」を代入する。
【０１３６】
次に、類似性判定部２１は、このようにして各種類毎に類似性の強い方向を判定すると、その判定結果に重み付けを行い多数決（以下、「加重多数決」という）を行うことによって、補間対象空格子点の類似性の強い方向を判定する（図１３Ｓ１０３）。
すなわち、類似性判定部２１は、「縦方向の類似性が強いと判定された種類」の方が「横方向の類似性が強いと判定された種類」よりも多い場合には、縦方向の類似性が強いと判定し、「縦方向の類似性が強いと判定された種類」よりも「横方向の類似性が強いと判定された種類」の方が多い場合には、横方向の類似性が強いと判定する。
【０１３７】
例えば、類似性判定部２１は、このような判定を行うための評価値Ｄ(i,j)を以下の式１１によって算出する。

ただし、α，β，γ，δ，εは、正の値であり、各項の重み付け係数である。ここでは、第５の実施形態に準拠してα：β：γ：δ：ε＝４：４：２：１：１を満足する値とする。なお、α，β，γ，δ，εは、第１の実施形態ないし第４の実施形態に準拠し、α：β：γ：δ：ε＝１：１：１：０：０，１：１：０：０：０，０：１：１：０：０，１：０：１：０：０を満足する値でも良い。
【０１３８】
また、類似性判定部２１は、このように算出した評価値Ｄ(i,j)に対して、
Ｄ(i,j)＜０
が成り立つ場合、縦方向の類似性が強いと判定し、
Ｄ(i,j)＞０
が成り立つ場合、横方向の類似性が強いと判定し、
Ｄ(i,j)＝０
が成り立つ場合、２つの方向の類似性が同程度であると判定する。
【０１３９】
以上説明したように、第６の実施形態では、縦方向および横方向に対する第１の類似度ないし第５の類似度を算出して、各種類毎に類似性の強い方向を判定し、その判定結果の加重多数決によって、補間対象空格子点の類似性の強い方向を判定する。
したがって、第６の実施形態にでは、式１１において、α：β：γ：δ：ε＝４：４：２：１：１とした場合には、第５の実施形態と同様に、白黒ナイキスト縞のような空間周波数が高い画像だけでなく、自然画などの多くの種類の画像に対する偽色の発生を低減することができる。すなわち、第６の実施形態によれば、補間処理の精度を確実に向上することができる。
【０１４０】
ところで、第６の実施形態では、５種類の類似度（第１の類似度ないし第５の類似度）を算出する例を示したが、加重多数決によって補間対象空格子点の類似性の強い方向を判定する補間処理の方法では、第１の類似度ないし第５の類似度の少なくとも２つの類似度を算出することができれば、如何なる類似度が算出されても良い。
【０１４１】
例えば、加重多数決によって補間対象空格子点の類似性の強い方向を判定する補間処理において、算出されるべき類似度の組み合わせとしては、「第１の類似度および第２の類似度（第２の実施形態に準拠した場合）」「第２の類似度および第３の類似度（第３の実施形態に準拠した場合）」「第１の類似度および第３の類似度（第４の実施形態に準拠した場合）」「第１の類似度、第２の類似度および第３の類似度（第１の実施形態に準拠した場合）」などが考えられる。
【０１４２】
なお、これらの偽色低減効果は、第１の実施形態ないし第４の実施形態における偽色低減効果に準ずる。
<<第７の実施形態>>
図１４、第７の実施形態ないし第１０の実施形態に対応する電子スチルカメラの機能ブロック図である。
【０１４３】
図１４において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図１４と図１との構成の相違点は、図１４の補間処理部３０、類似度算出部３１および補間量算出部３２が、図１の補間処理部１９、類似度算出部２０、類似性判定部２１および補間量算出部２２に代えて設けられた点である。
【０１４４】
また、図１４の電子スチルカメラは、図３Ｓ４（補間処理を行うステップ）を除き、図１の電子スチルカメラと同様に動作する。
図１５は、第７の実施形態の補間処理の動作フローチャートである。
以下、図１４および図１５を参照して第７の実施形態の動作を説明するが、第７の実施形態の特徴は、補間処理の方法にあり、他の動作については、第１の実施形態と同じであるため、ここでは、補間処理の動作を中心に説明する。
【０１４５】
まず、補間処理部３０は、第１の実施形態と同様に補間対象空格子点を選択し（図１５Ｓ１）、補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を画像バッファメモリ１５から読み出す（図１５Ｓ２）。
なお、このようにして画像バッファメモリ１５から読み出された補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)は、類似度算出部３１に供給される。
【０１４６】
類似度算出部３１は、このようにして供給された格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて下記の式によって、補間対象空格子点の周辺部分の画像の特徴を示す値Ｑ（以下、「部分画像特徴値Ｑ」という。）を算出する（図１５Ｓ３）。
Ｑ＝Ｑ１−θ×Ｑ２ ・・・式１２
ただし、式１２において、
Ｑ１＝|(Ｇ(i,j-1)＋Ｇ(i,j+1))−(Ｇ(i-1,j)＋Ｇ(i+1,j))| ・・・式１３
Ｑ２＝(Ｃ１(i,j)＋Ｃ２(i,j)) ・・・式１４
であり、θは予め決められた定数である。
【０１４７】
式１４において、

である。
【０１４８】
式１５において、
Ｃt⁽³⁾(i,j)＝|Ｇ(i,j-1)−Ｇ(i,j+1)| ・・・式１７（式ｔ３と同一）
であり、ｔ１、ｔ２、ｔ３およびｔ４は、予め決められた定数である（全て「０」の場合も含む）。
式１６において、
Ｃy⁽³⁾(i,j)＝|Ｇ(i-1,j)−Ｇ(i+1,j)| ・・・式１８（式ｙ３と同一）
であり、ｙ１、ｙ２、ｙ３およびｙ４は、予め決められた定数である（全て「０」の場合も含む）。
【０１４９】
すなわち、部分画像特徴値Ｑは、「Ｇ(i,j-1)＋Ｇ(i,j+1)」と「Ｇ(i-1,j)＋Ｇ(i+1,j)」との差（Ｑ１）が大きい場合、補間対象空格子点に対して縦方向に隣接する格子点の色情報の和と、横方向に隣接する格子点の色情報の和とが掛け離れていることを意味する。
また、Ｃ１(i,j)とＣ２(i,j)との和（Ｑ２）が小さい場合、補間対象空格子点の周辺において、縦方向の色情報の傾斜と横方向の色情報の傾斜とが共に小さいことを意味する。
【０１５０】
類似度算出部３１は、上記の式によって部分画像特徴値Ｑを算出すると、部分画像特徴値Ｑについて、「Ｑ≦Ｑth」が成り立つか否かを判定する（図１５Ｓ４）。
なお、Ｑthは、予め決められた閾値であり、部分画像特徴値Ｑが閾値Ｑthを上回る場合（Ｑ１が大きくＱ２が小さい場合）は、補間対象空格子点の周辺部分の画像が白黒ナイキスト縞である可能性が高いことを意味する。
【０１５１】
類似度算出部３１は、「Ｑ≦Ｑth」が成り立つ場合、既に読み出されている格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用い、下記の式によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図１５Ｓ５）。
Ｃt(i,j)＝Ｃ１(i,j) ・・・式１９
Ｃy(i,j)＝Ｃ２(i,j) ・・・式２０
ただし、Ｃ１(i,j)およびＣ２(i,j)は、上記の式１５〜式１８によって算出される値である。
【０１５２】
一方、類似度算出部３１は、「Ｑ≦Ｑth」が成り立たない場合（「Ｑ＞Ｑth」となる場合）、既に読み出されている補間対象空格子点の色情報ＲＢ(i,j)および格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用い、下記の式によって縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図１５Ｓ６）。
【０１５３】
Ｃt(i,j)＝Ｄ１(i,j) ・・・式２１
Ｃy(i,j)＝Ｄ２(i,j) ・・・式２２
ただし、式２１において、

であり、式１１において、

である。
【０１５４】
式２３において、

または、

であり、ｕ１、ｕ２、ｕ３、ｕ４およびｔは、予め決められた定数である。
【０１５５】
式２４において、

または、

であり、ｖ１、ｖ２、ｖ３、ｖ４およびｙは、予め決められた定数である。
【０１５６】
すなわち、類似度算出部３１は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する際に、補間対象空格子点の色情報ＲＢ(i,j)を用いるか否かを部分画像特徴値Ｑの大小に応じて決定することができる。
なお、類似度算出部３１は、このように算出した縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を補間量算出部３２に供給する。
【０１５７】
補間量算出部３２は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が供給されると、既に補間処理部３０を介して供給されている格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて補間対象空格子点の補間量Ｇ'(i,j)を

によって算出する。
【０１５８】
ただし、

−１≦ｘ≦１のとき ｆ(x)＝ｘ
ｘ＞１のとき ｆ(x)＝１
ｘ＜−１のとき ｆ(x)＝−１
である。
【０１５９】
ここで、Ｔ１は「０≦Ｔ１≦１」を満たす定数であり、色情報を「０から２５５まで」の数値（８ビット）で示した場合、Ｔ０は「０から１００まで」の定数とする。また、Ｔ０とＴ１とは共に「０」となることはない。例えば、Ｔ１とＴ０との組み合わせ（t1，t0）としては、（0.3，0）、（0.5、10）、（0.7，0）、（0.3，40）、（0.5，40）、（0.7，40）が考えられる。
【０１６０】
このように、補間量算出部３２は、式２８によって得られるｘの値を補間対象空格子点の類似性の評価値とし、その評価値に応じて補間対象空格子点の補間量を算出する。ここで、「ｘ＞０」が成り立つ場合には横方向の類似性よりも縦方向の類似性が強く、「ｘ＜０」が成り立つ場合には縦方向の類似性よりも横方向の類似性が強いことを意味する。
【０１６１】
なお、ｆ(x)のグラフは、図１６に示す形状となる。
ところで、式２７は、「ｘ＞１」が成り立つ場合、「ｆ(x)＝１」であるため、
Ｇ'(i,j)＝(Ｇ(i,j-1)＋Ｇ(i,j+1))／２
と等価であり、「ｘ＜−１」が成り立つ場合、「ｆ(x)＝−１」であるため、
Ｇ'(i,j)＝(Ｇ(i-1,j)＋Ｇ(i+1,j))／２
と等価である。
【０１６２】
すなわち、補間量算出部３２は、「ｘ＞１」が成り立つか否かを判定することによって補間対象空格子点の縦方向の類似性の強さが突出しているか否かを判定し（図１５Ｓ７）、「ｘ＜−１」が成り立つか否かを判定することによって補間対象空格子点の横方向の類似性の強さが突出しているか否かを判定する（図１５Ｓ８）。
【０１６３】
また、補間量算出部３２は、補間対象空格子点の縦方向の類似性の強さが突出している場合、縦方向に隣接する２つの格子点の色情報の平均値を補間対象空格子点の補間量とし（図１５Ｓ９）、補間対象空格子点の横方向の類似性の強さが突出している場合、横方向に隣接する２つの格子点の色情報の平均値を補間対象空格子点の補間量とする（図１５Ｓ１０）。
【０１６４】
ところで、式２７は、「−１≦ｘ≦１」が成り立つ場合、

と等価である。
ここで、「(Ｇ(i,j-1)＋Ｇ(i,j+1))／２」は、縦方向に隣接する２つの格子点の色情報の平均値であり、「(１＋ｘ)／２」は、縦方向の類似度に対応する重み付け係数に相当する。また、「(Ｇ(i-1,j)＋Ｇ(i+1,j))／２」は、横方向に隣接する２つの格子点の色情報の平均値であり、「(１−ｘ)／２」は、横方向の類似度に対応する重み付け係数に相当する。
【０１６５】
すなわち、補間量算出部３２は、何れの方向の類似性の強さも突出していないことを認識した場合、補間対象空格子点の縦方向に隣接する２つの格子点の色情報の平均値および横方向に隣接する２つの格子点の色情報の平均値に対し、各方向の類似性の評価値に基づく加重加算を施すことによって補間対象空格子点の補間量を算出する（図１５Ｓ１１）。
【０１６６】
また、補間処理部３０は、全ての空格子点の補間処理が完了したか否かを判定する（図１５Ｓ１２）。なお、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図１５Ｓ１以降の処理）が繰り返される。
以上説明したように、第７の実施形態では、補間対象空格子点の周辺部分の画像が白黒ナイキスト縞のような画像（補間対象空格子点の縦方向に隣接する２つの格子点の色情報が酷似して横方向に隣接する２つの格子点の色情報が酷似し、かつ補間対象空格子点の縦方向に隣接する格子点の色情報と横方向に隣接する格子点の色情報との差違が大きい画像）である場合に限り、縦方向の類似度および横方向の類似度を算出する際に、その補間対象空格子点の色情報を確実に反映することができる。
【０１６７】
そのため、従来の補間処理によって双方向の類似性が均衡していると誤判定されてしまっていた画像（実際には、一方の類似性の強さが突出している画像）についても、第７の実施形態によって精度良く類似度を算出することができる。
また、第７の実施形態では、補間対象空格子点の周辺部分の画像が補間対象空格子点の色情報を用いることなく類似度を算出できる画像である場合には、補間対象空格子点に隣接する格子点の色情報のみを用いて類似度を算出することができる。
【０１６８】
すなわち、第７の実施形態によれば、補間対象空格子点の周辺部分の画像の特徴に応じて、的確に類似度を算出することができるため、補間処理の精度を確実に向上することができる。
ここで、画像の特徴を識別する方法について述べる。本発明において、画像の特徴を識別する目的は、「異常に変化の激しい部分」を識別することであり、上述の説明では、「Ｑ＞Ｑth」が成り立つ部分が「異常に変化の激しい部分」に相当する。このような画像の特徴を識別する方法については、様々な方法が可能であるため、その例を幾つか述べる。
【０１６９】
上述の式１３において、Ｑ１は、補間対象空格子点の縦方向に隣接する２つの格子点の色情報の平均値と、補間対象空格子点の横方向に隣接する２つの格子点の色情報の平均値との差の絶対値（の２倍）に相当する値である。したがって、Ｑ１が大きい部分は、白黒ナイキスト縞である可能性が高いことを示しており、Ｑ１だけで「異常に変化の激しい部分」を識別することが可能である。
【０１７０】
すなわち、「Ｑ＞Ｑth」が成り立つか否かを判定する代わりに、
「Ｑ１＞Ｑ１th ；Ｑ１thは定数」
が成り立つか否かを判定することによって、「異常に変化の激しい部分」を識別することが可能である。
また、第７の実施形態では、「Ｑ＞Ｑth」が成り立つか否かを判定することによって、Ｑ１が大きくＱ２が小さい部分を識別しているが、「Ｑ＞Ｑth」が成り立つか否かを判定する代わりに、
「Ｑ１＞Ｑ１th かつ Ｑ２＜Ｑ２th ；Ｑ１th、Ｑ２thは定数」
が成り立つか否かを判定しても良い。
【０１７１】
なお、「Ｑ＝Ｑ１−θ・Ｑ２＞Ｑth」は、「Ｑ１＞Ｑ１th かつ Ｑ２＜Ｑ２th」と同様の判定となっている。
ところで、上述したように、Ｃ１(i,j)とＣ２(i,j)との和（Ｑ２）が小さい場合、補間対象空格子点の周辺において、縦方向の色情報の傾斜と横方向の色情報の傾斜とが共に小さいことを意味する。このような場合、補間処理の対象となる部分は、変化が無く全く平坦な部分か、黒白ナイキスト縞の部分かの何れか一方である可能性が高い。
【０１７２】
なお、全く平坦な部分は、縦方向に隣接する格子点の色情報の平均で補間処理を行っても、横方向に隣接する格子点の色情報の平均で補間処理を行っても、補間処理の結果に大きな差が生じることがない。
そのため、Ｃ１(i,j)とＣ２(i,j)とが共に小さいことを判定することによって、全く平坦な部分まで含ませて「異常に変化の激しい部分」を識別することは、実害はない。
【０１７３】
すなわち、「Ｑ＞Ｑth」が成り立つか否かを判定する代わりに、
「Ｃ１(i,j)＜Ｃ１th かつ Ｃ２(i,j)＜Ｃ２th ；Ｃ１th、Ｃ２thは定数」が成り立つか否かを判定しても実質的には有効である。
また、「Ｑ２＝Ｃ１(i,j)＋Ｃ２(i,j)」であるため、「Ｑ＞Ｑth」が成り立つか否かを判定する代わりに、
「Ｃ２＜Ｑ２th2 ；Ｑ２th2は定数」
が成り立つか否かを判定しても良い。
【０１７４】
このように、画像の特徴を識別する方法については、様々な方法が可能であり、「異常に変化の激しい部分」を識別できれば、如何なる式を用いても良い。
なお、第７の実施形態では、ｆ(x)を図１６に示す形状としているが、縦方向の類似性と横方向の類似性との何れか一方の類似性の強さが突出する場合、類似性の強さが突出する方向に隣接する２つの格子点の色情報の平均値を補間対象空格子点の補間量とすることができれば、ｆ(x)は如何なる関数であっても良い。
【０１７５】
さらに、第７の実施形態では、補間量の算出時にｆ(x)の値を算出しているが、例えば、補間量算出部３２内にルックアップテーブルを設けて予め算出したｆ(x)の値を格納し、補間対象空格子点の縦方向の類似度Ｃt(i,j)や横方向の類似度Ｃy(i,j)に対応付けてルックアップテーブルを参照することによってｆ(x)の値を取得しても良い。
【０１７６】
また、ｘを算出する際の割り算を回避するために、分母に相当する値を算出した後、テーブルを参照してその値を「１／分母」に相当する値に置き換えることによって掛け算でｘを求めても良いし、分子の絶対値と分母とをテーブルの参照などにより対数化してから差をとり、これと所定値との大小を比較する方法（この場合、符号は別途判別する）に置き換えても良い。
【０１７７】
さらに、第７の実施形態では、類似性の強さが突出している方向の判定をｘの値に基づいて行っているが、例えば、縦方向の類似度Ｃt(i,j)が閾値Ｔｈ以下であり横方向の類似度Ｃy(i,j)が閾値Ｔｈを上回る場合には、縦方向の類似性の強さが突出していると判定し、横方向の類似度Ｃy(i,j)が閾値Ｔｈ以下であり縦方向の類似度Ｃt(i,j)が閾値Ｔｈを上回る場合には、横方向の類似性の強さが突出していると判定しても良い。
【０１７８】
また、第７の実施形態では、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が均衡する場合、各類似度に対応する重み付け係数に基づいて補間対象空格子点の補間量Ｇ'(i,j)を算出しているが、補間対象空格子点の補間量Ｇ'(i,j)は、
Ｇ'(i,j)＝｛Ｇ(i,j-1)＋Ｇ(i,j+1)＋Ｇ(i-1,j)＋Ｇ(i+1,j)｝／４
または
Ｇ'(i,j)＝median｛Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)｝
によって算出しても良い。
【０１７９】
ただし、median｛｝は、複数の要素のメディアンを算出する関数を示し、要素の数が偶数である場合、中央の２つの要素の平均値をとるものとする。
<<第８の実施形態>>
図１７は、第８の実施形態の補間処理の動作フローチャートである。
以下、図１７を参照して第８の実施形態における補間処理を説明する。
【０１８０】
ただし、第８の実施形態に対応する電子スチルカメラの筐体には、「モード切り換えスイッチ」が設けられ、操作者によって「白黒画像撮影モード」または「カラー画像撮影モード」が選択されるものとする。例えば、黒色の文字が書かれたホワイトボードなど無彩色とみなせる被写体を撮影する場合、操作者は、「モード切り換えスイッチ」によって「白黒画像撮影モード」を選択して、レリーズボタンを押下する。また、第８の実施形態では、「モード切り換えスイッチ」の状態を示す情報（以下、「モード情報」という。）は、インタフェース部１８を介して制御部１０に通知される。
【０１８１】
すなわち、第８の実施形態では、制御部１０は、レリーズボタンが押下されたことを認識すると、画像処理部１７内の補間処理部１９に対して、「モード情報」を通知すると共に、補間処理の実行を指示する。
補間処理部３０は、制御部１０によって補間処理の実行が指示されると、「モード情報」に基づき「白黒画像撮影モード」が選択されているか否かを判定する（図１７Ｓ１）。
【０１８２】
補間処理部３０は、このような判定によって「白黒画像撮影モード」が選択されていることを認識した場合、図１７Ｓ２〜Ｓ６の処理を繰り返し行う。また、「白黒画像撮影モード」が選択されていないことを認識した場合、図１７Ｓ７〜Ｓ１１の処理を繰り返し行う。
まず、「白黒画像撮影モード」が選択されていることを認識した場合の処理について説明する。
【０１８３】
補間処理部３０は、第１の実施形態と同様に補間対象空格子点を選択し（図１７Ｓ２）、補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を画像バッファメモリ１５から読み出し（図１７Ｓ３）、類似度算出部３１に供給する。
類似度算出部３１は、このようにして供給された色情報を用い、以下の式によって、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する。
【０１８４】
Ｃt(i,j)＝Ｄ１(i,j) ・・・式２１と同一
Ｃy(i,j)＝Ｄ２(i,j) ・・・式２２と同一
ただし、Ｄ１(i,j)およびＤ２(i,j)は、第７の実施形態（式２３〜式２６）と同様に算出される値である。
すなわち、類似度算出部３１は、補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図１７Ｓ４）。
【０１８５】
なお、類似度算出部３１は、このようにして算出した縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を補間量算出部２１に供給する。
補間量算出部３２は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が供給されると、第７の実施形態と同様に、補間量を算出する（図１７Ｓ５：図１５Ｓ７〜Ｓ１１に相当する）。
【０１８６】
補間処理部３０は、補間量算出部３２によって補間量が算出されると、全ての空格子点の補間処理が完了したか否かを判定する（図１７Ｓ６）。なお、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図１７Ｓ２以降の処理）が繰り返される。
次に、「白黒画像撮影モード」が選択されていないこと（「カラー画像撮影モード」が選択されていること）を認識した場合の処理について説明する。
【０１８７】
補間処理部３０は、図１７Ｓ２と同様に補間対象空格子点を選択し（図１７Ｓ７）、補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を画像バッファメモリ１５から読み出し（図１７Ｓ８）、類似度算出部３１に供給する。
類似度算出部３１は、このように供給された色情報を用い、以下の式によって、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する。
【０１８８】
Ｃt(i,j)＝Ｃ１(i,j) ・・・式１９と同一
Ｃy(i,j)＝Ｃ２(i,j) ・・・式２０と同一
ただし、Ｃ１(i,j)およびＣ２(i,j)は、第７の実施形態（式１５〜式１８）と同様に算出される値である。
すなわち、類似度算出部３１は、補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図１７Ｓ９）。
【０１８９】
なお、類似度算出部３１は、このようにして算出した縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を補間量算出部３２に供給する。
補間量算出部３２は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が供給されると、第７の実施形態と同様に、補間量を算出する（図１７Ｓ９：図１５Ｓ７〜Ｓ１１に相当する）。
【０１９０】
補間処理部３０は、補間量算出部３２によって補間量が算出されると、全ての空格子点の補間処理が完了したか否かを判定する（図１７Ｓ６）。なお、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図１７Ｓ７以降の処理）が繰り返される。
以上説明したように、第８の実施形態では、補間処理を行うべき画像が無彩色とみなせる画像である場合に限り、縦方向の類似度および横方向の類似度に、空格子点の色情報を確実に反映することができる。
【０１９１】
したがって、無彩色とみなせる画像の類似度を的確に算出することができるため、補間処理の精度を確実に向上することができる。
<<第９の実施形態>>
図１８は、第９の実施形態の補間処理の動作フローチャートである。
以下、図１８を参照して第９の実施形態の補間処理の動作を説明する。
【０１９２】
補間処理部３０は、第１の実施形態と同様に補間対象空格子点を選択し（図１７Ｓ１）、補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を画像バッファメモリ１５から読み出し（図１７Ｓ２）、類似度算出部３１に供給する。
類似度算出部３１は、このようにして供給された格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用い、第７の実施形態（式１２〜式１４）と同様に部分画像特徴値Ｑを算出する（図１７Ｓ３）。
【０１９３】
また、類似度算出部３１は、上述した式１５〜式１８によって算出されるＣ１(i,j)およびＣ２(i,j)と、上述した式２３〜式２６によって算出されるＤ１(i,j)およびＤ２(i,j)とを用い、かつ、既に算出した部分画像特徴値Ｑに応じて、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を下記の式によって算出する。
「Ｑ≦Ｑth」が成り立つ場合
Ｃt(i,j)＝Ａ₂・Ｃ１(i,j)＋(１−Ａ₂)・Ｄ１(i,j)
Ｃy(i,j)＝Ｂ₂・Ｃ２(i,j)＋(１−Ｂ₂)・Ｄ２(i,j)
「Ｑ＞Ｑth」が成り立つ場合
Ｃt(i,j)＝Ａ₁・Ｃ１(i,j)＋(１−Ａ₁)・Ｄ１(i,j)
Ｃy(i,j)＝Ｂ₁・Ｃ２(i,j)＋(１−Ｂ₁)・Ｄ２(i,j)
ただし、Ｑthは予め決められた閾値であり、
０≦Ａ₁＜Ａ₂≦１、０≦Ｂ₁＜Ｂ₂≦１
である。
【０１９４】
すなわち、類似度算出部３１は、「Ｑ≦Ｑth」が成り立つ場合には、Ｃ１(i,j)およびＣ２(i,j)の重み付け係数を（「Ｑ＞Ｑth」が成り立つ場合よりも）大きくして縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する（図１７Ｓ５）。
また、類似度算出部３１は、「Ｑ＞Ｑth」が成り立つ場合には、Ｄ１(i,j)およびＤ２(i,j)の重み付け係数を（「Ｑ≦Ｑth」が成り立つ場合よりも）大きくして縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出し（図１７Ｓ６）、補間量算出部３２に供給する。
【０１９５】
ところで、Ｄ１(i,j)およびＤ２(i,j)は、補間対象空格子点の色情報ＲＢ(i,j)および格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて算出される類似度成分である。したがって、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)に対する補間対象空格子点の色情報ＲＢ(i,j)の加重は、「Ｑ＞Ｑth」が成り立つ場合の方が「Ｑ≦Ｑth」が成り立つ場合よりも大きいことになる。
【０１９６】
補間量算出部３２は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が供給されると、第７の実施形態と同様に、補間量を算出する（図１７Ｓ７：図１４Ｓ７〜Ｓ１１に相当する）。
補間処理部３０は、補間量算出部３２によって補間量が算出されると、全ての空格子点の補間処理が完了したか否かを判定する（図１７Ｓ８）。なお、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図１７Ｓ１以降の処理）が繰り返される。
【０１９７】
以上説明したように、第９の実施形態では、縦方向の類似度および横方向の類似度に対する補間対象空格子点の色情報の加重を部分画像特徴値Ｑに応じて調整することができる。
勿論、画像の特徴を識別する条件は、Ｑに限らず、第７の実施形態で述べたように、様々な条件が使用可能である。
【０１９８】
したがって、第９の実施形態によれば、補間対象空格子点の周辺部分の画像の特徴に応じて、的確に類似度を算出することができるため、補間処理の精度を確実に向上することができる。
<<第１０の実施形態>>
図１９は、第１０の実施形態の補間処理の動作フローチャートである。
【０１９９】
以下、図１９を参照して第１０の実施形態の補間処理の動作を説明する。
ただし、第１０の実施形態に対応する電子スチルカメラの筐体には、第８の実施形態と同様に、「モード切り換えスイッチ」が設けられ、操作者によって「白黒画像撮影モード」または「カラー画像撮影モード」が選択されるものとする。また、「モード切り換えスイッチ」の状態を示す「モード情報」は、インタフェース部１８を介して制御部１０に通知される。
【０２００】
すなわち、第１０の実施形態では、制御部１０は、レリーズボタンが押下されたことを認識すると、画像処理部１７内の補間処理部３０に対して、「モード情報」を通知すると共に、補間処理の実行を指示する。
補間処理部３０は、制御部１０によって補間処理の実行が指示されると、「モード情報」に基づき「白黒画像撮影モード」が選択されているか否かを判定する（図１９Ｓ１）。なお、このような判定の結果は、類似度算出部３１に通知される。
【０２０１】
類似度算出部３１は、このような判定の結果に基づき、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する際に用いる重み付け係数を以下のように設定する。
なお、第１０の実施形態では、縦方向の類似度Ｃt(i,j)を算出する際のＣ１(i,j)の重み付け係数をＡとし、Ｄ１(i,j)の重み付け係数を(１−Ａ)とする。また、横方向の類似度Ｃy(i,j)を算出する際のＣ２(i,j)の重み付け係数をＢとし、Ｄ２(i,j)の重み付け係数を(１−Ｂ)とする。
【０２０２】
類似度算出部３１は、「白黒画像撮影モード」が選択されている場合、
Ａ＝Ａ１
Ｂ＝Ｂ１
とし、「白黒画像撮影モード」が選択されていない場合（「カラー画像撮影モード」が選択されている場合）
Ａ＝Ａ２
Ｂ＝Ｂ２
とする。
【０２０３】
ただし、
０≦Ａ１＜Ａ２≦１、０≦Ｂ１＜Ｂ２≦１
である。
すなわち、類似度算出部２０は、「白黒画像撮影モード」が選択されている場合には、Ｄ１(i,j)およびＤ２(i,j)の重み付け係数を（「カラー画像撮影モード」が選択されている場合よりも）大きい値にする（図１９Ｓ２）。
【０２０４】
一方、類似度算出部２０は、「カラー画像撮影モード」が選択されている場合には、Ｃ１(i,j)およびＣ２(i,j)の重み付け係数を（「白黒画像撮影モード」が選択されている場合よりも）大きい値にする（図１９Ｓ３）。
このようにして縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を算出する際に用いる重み付け係数が設定されると、補間処理部３０は、第１の実施形態と同様に補間対象空格子点を選択し（図１９Ｓ４）、補間対象空格子点の色情報ＲＢ(i,j)および補間対象空格子点に隣接する格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を読み出し（図１９Ｓ５）、類似度算出部３１に供給する。
【０２０５】
類似度算出部３１は、このようにして供給される色情報を用いて、第７の実施形態（式１５〜式１８、式２３〜式２６）と同様にして、Ｃ１(i,j)、Ｅ１(i,j)、Ｃ２(i,j)およびＥ２(i,j)を算出する。
また、類似度算出部３１は、上述した重み付け係数Ａに応じてＣ１(i,j)とＥ１(i,j)とを加重加算して縦方向の類似度Ｃt(i,j)を算出すると共に、上述した重み付け係数Ｂに応じてＣ２(i,j)とＥ２(i,j)とを加重加算して横方向の類似度Ｃy(i,j)を算出する（図１９Ｓ６）。
【０２０６】
すなわち、類似度算出部３１は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を下記の式によって算出する。
Ｃt(i,j)＝Ａ・Ｃ１(i,j)＋(１−Ａ)・Ｅ１(i,j)
Ｃy(i,j)＝Ｂ・Ｃ２(i,j)＋(１−Ｂ)・Ｅ２(i,j)
なお、類似度算出部３１は、このようにして算出した縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)を補間量算出部３２に供給する。
【０２０７】
ところで、Ｄ１(i,j)およびＤ２(i,j)は、補間対象空格子点の色情報ＲＢ(i,j)および格子点の色情報Ｇ(i,j-1)，Ｇ(i,j+1)，Ｇ(i-1,j)，Ｇ(i+1,j)を用いて算出される。したがって、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)に対する補間対象空格子点の色情報ＲＢ(i,j)の加重は、「カラー画像撮影モード」が選択されている場合（ＡおよびＢの値が大きい場合）よりも「白黒画像撮影モード」が選択されている場合（ＡおよびＢの値が小さい場合）の方が大きいことになる。
【０２０８】
補間量算出部３２は、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)が供給されると、第７の実施形態と同様に、補間量を算出する（図１９Ｓ７：図１４Ｓ７〜Ｓ１１に相当する）。
補間処理部３０は、補間量算出部３２によって補間量が算出されると、全ての空格子点の補間処理が完了したか否かを判定する（図１９Ｓ８）。なお、このような判定によって、全ての空格子点の補間処理が完了したことを認識するまで、上述した処理（図１９Ｓ４以降の処理）が繰り返される。
【０２０９】
以上説明したように、第１０の実施形態では、補間処理を行うべき画像が無彩色とみなせる画像である場合、縦方向の類似度Ｃt(i,j)および横方向の類似度Ｃy(i,j)に対する補間対象空格子点の色情報ＲＢ(i,j)の加重を大きくすることができる。
したがって、第１０の実施形態によれば、無彩色とみなせる画像の類似度を的確に算出することができるため、補間処理の精度を確実に向上することができる。
【０２１０】
<<第１１の実施形態>>
図２０は、第１１の実施形態の機能ブロック図である。
なお、第１１の実施形態は、請求項１３ないし請求項１８に記載の「補間処理プログラムを記録した記録媒体」を用い、パーソナルコンピュータによって補間処理を行うことに相当する。
【０２１１】
図２０において、機能が図１や図１４に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図２０に示す電子スチルカメラ５０と図１および図１４との構成の相違点は、制御部５１および画像処理部５２が制御部１０および画像処理部１７に代えて設けられ、制御部５１および画像処理部５２の出力に接続されたメモリカードドライバ５３が設けられた点である。
【０２１２】
また、図２０において、パーソナルコンピュータ６０は、ＣＰＵ６１、メモリカードドライバ６２および画像メモリ６３を有する。
ＣＰＵ６１は、メモリカードドライバ６２および画像メモリ６３に接続される。メモリカードドライバ６２の出力は、ＣＰＵ６１および画像メモリ６３に接続され、ＣＰＵ６１の出力は、メモリカードドライバ６２および画像メモリ６３に接続され、画像メモリ６３の出力は、メモリカードドライバ６２およびＣＰＵ６１に接続される。
【０２１３】
なお、ＣＰＵ６１には、ＣＤ−ＲＯＭ６４に記録された補間処理プログラムが予めインストールされている。
図２１は、第１１の実施形態の動作フローチャートである。
以下、図２０および図２１を参照して第１１の実施形態の動作を説明する。
まず、電子スチルカメラ６０の動作について説明する。
【０２１４】
電子スチルカメラ６０内の撮像素子１３は、上述した各実施形態と同様に、信号電荷を生成する。また、撮像素子１３は、このように生成した信号電荷を走査して画像信号を生成し、Ａ／Ｄ変換部１４に与える。
Ａ／Ｄ変換部１４は、このように与えられた画像信号をＡ／Ｄ変換して画像データを生成する（図２１Ｓ１）。このように生成された画像データは、画像バッファメモリ１５内に一時的に格納される（図２１Ｓ２）。
【０２１５】
なお、階調変換部１６は、このようにして画像バッファメモリ１５に格納された画像データに対して、階調変換（ｌｏｇ化やγ変換等）を行っても良い。
ところで、上述した処理（画像データの生成および格納）は、制御部５１によるタイミング制御に基づき繰り返し行われる。
【０２１６】
また、制御部５１は、インタフェース部１８を介して、電子スチルカメラ５０の筐体に設けられたレリーズボタン（図示されない）が押下されたか否かを判定する（図２１Ｓ３）。
制御部５１は、このような判定によってレリーズボタンが押下されていないことを認識すると、上述したタイミング制御によって画像データの生成（図２１Ｓ１）および格納（図２１Ｓ２）の処理を繰り返し指示する。
【０２１７】
一方、制御部５１は、レリーズボタンが押下されたことを認識すると、画像処理部５２およびメモリカードドライバ５３に対して、画像バッファメモリ１５に格納された画像データをメモリカード５４に記録することを指示する（図２１Ｓ４）。
画像処理部５２では、画像バッファメモリ１５に格納された画像データに対して、撮像素子１３の固有の問題点（例えば、暗レベルなど）を解決する調整を行い（ここで、補間処理は行われない。）、メモリカードドライバ５３に与える。
【０２１８】
メモリカードドライバ５３は、画像データを画像ファイルの形式でメモリカード５４に記録すると共に、画像ファイルのヘッダ部に設けられた「補間要求フラグ」（画像データが補間処理を必要とする旨を示すフラグ）を立てる。
ところで、電子スチルカメラ５０の筐体に「白黒画像撮影モード」と「カラー画像撮影モード」との「モード切り換えスイッチ」が設けられている場合、制御部５１は、レリーズボタンが押下された時点の「モード切り換えスイッチ」の状態を示す「モード情報」をインタフェース部１８を介して取得する。
【０２１９】
また、制御部５１は、このように取得した「モード情報」をメモリカードドライバ５３を介して画像ファイルのヘッダ部に格納する。
次に、パーソナルコンピュータ６０の動作について説明する。
パーソナルコンピュータ６０において、画像ファイルが記録されたメモリカード５４が装填されると、ＣＰＵ６１は、メモリカードドライバ６２を介して画像ファイルのヘッダ部を読み出す（図２１Ｓ５）。
【０２２０】
ＣＰＵ６１は、このようにして画像ファイルのヘッダ部を読み出すと、「補間要求フラグ」が立っているか否かを判定する（図２１Ｓ６）。
ＣＰＵ６１は、このような判定によって「補間要求フラグ」が立っていることを認識した場合に限り、メモリカードドライバ６２を介して画像データを読み出して画像メモリ６３に格納する（図２１Ｓ７）。
【０２２１】
また、ＣＰＵ６１は、画像メモリ６３に格納した画像データに対し、補間処理を行う（図２１Ｓ８）。
なお、ＣＰＵ６１が行う補間処理は、上述した各実施形態において図１および図１４の画像処理部１７が行う補間処理と同じであるため、ここでは説明を省略する。
【０２２２】
ところで、ＣＰＵ６１は、第８の実施形態および第１０の実施形態と同様の補間処理を行う場合、画像ファイルのヘッダ部から上述した「モード情報」を読み出して「白黒画像撮影モード」が選択されているか否かを判定する。
ＣＰＵ６１は、補間処理が終了した時点で、補間処理が施された画像データをメモリカードドライバ６２を介してメモリカード５４に再度記録する（図２１Ｓ９）。なお、補間処理が施された画像データをメモリカード５４に記録するか否かは、操作者がパーソナルコンピュータ６０の入力装置（例えば、キーボードなど）によって選択できるようにしても良い。
【０２２３】
すなわち、第１１の実施形態では、上述した各実施形態と同様の補間処理をパーソナルコンピュータ６０によって確実に行うことができる。
したがって、第１１の実施形態によれば、上述した各実施形態と同様にして類似度を算出することができるため、補間処理の精度を確実に向上することができる。
【０２２４】
なお、第１１の実施形態では、パーソナルコンピュータ６０は補間処理を行うべき画像データをメモリカード５４を介して取得しているが、このような画像データを取得する方法については、如何なる方法であっても良い。
例えば、通信手段を備えたパーソナルコンピュータに本発明を適用する場合、その通信手段を介して与えられる画像データに対して補間処理を行うことも可能である。
【０２２５】
【発明の効果】
上述したように、請求項１ないし請求項１８に記載の発明によれば、補間処理を精度良く行うことができる。
特に、請求項１ないし請求項２および請求項１３に記載の発明では、３色の色情報を用いて、複数の方向に対する類似度を算出するため、色調が変化する画像（３色の色情報の比率が変化する画像）であっても、類似性を的確に判定することができる。また、請求項１ないし請求項２および請求項１３に記載の発明では、３色の色情報として、補間対象空格子点の色情報や補間対象空格子点に隣接する格子点や空格子点の色情報を用い、類似度を算出することが可能であるため、空間周波数が高い画像であっても、類似性を的確に判定することができる。したがって、請求項１ないし請求項２および請求項１３に記載の発明によれば、補間処理を行うべき画像に「色調が変化する部分」や「空間周波数が高い部分」が混在する場合であっても、画像全体の調和を保ちつつ、精度良く補間処理を行うことができる。
【０２２６】
また、請求項３および請求項１４に記載の発明では、類似度を算出する際に補間対象空格子点とは異なる色成分を出力する空格子点の色情報を用いるため、従来の補間処理では偽色が発生していた画像に対し、類似性を的確に判定することが可能となり、補間処理の精度を向上することができる。
さらに、請求項４および請求項１５に記載の発明では、類似度を算出する際に他の空格子点における補間量を用いることがないため、補間処理によって万一偽色が発生しても、偽色の発生する範囲が拡大することがなく、従来の技術と比べて補間処理の精度を向上することができる。
【０２２７】
また、請求項７および請求項１７に記載の発明では、補間対象空格子点の周辺部分の画像の特徴に応じて、類似度の算出の方法を切り換えることによって、画像全体の調和を保ちつつ、精度良く補間処理を行うことができる。さらに、請求項７および請求項１７に記載の発明では、２種類の類似度成分を加重加算する際の重み付け係数を補間対象空格子点の周辺部分の画像の特徴に応じて決定することができるため、画像全体の調和を保ちつつ、精度良く補間処理を行うことができる。
【０２２８】
また、請求項８および請求項１８に記載の発明では、外部からの指示に基づき、２種類の類似度成分の何れの類似度成分を類似度とするかを決定したり、２種類の類似度成分を加重加算する際の重み付け係数を決定することができるため、補間処理の精度を向上することができる。
さらに、請求項１０に記載の発明によれば、補間対象空格子点と周辺部分との間で、類似性が強い方向の連続性を考慮しつつ、補間対象空格子点の類似度を算出することができるため、補間処理の精度を向上することができる。
【０２２９】
また、請求項１１に記載の発明によれば、ノイズなどによって発生する類似性の誤判定を低減することができるため、補間処理の精度を向上することができる。
【図面の簡単な説明】
【図１】第１の実施形態ないし第６の実施形態に対応する電子スチルカメラの機能ブロック図である。
【図２】格子点の色情報と空格子点の補間量とを示す図である。
【図３】電子スチルカメラの動作フローチャートである。
【図４】第１の実施形態ないし第５の実施形態の補間処理の動作フローチャートである。
【図５】第１の類似度成分ないし第５の類似度成分の算出時に用いる色情報を示す図である。
【図６】画像の例を示す図である。
【図７】第１の類似度成分ないし第５の類似度成分に対する偽色低減効果を示す概念図である。
【図８】縦方向の類似度成分の算出時に周辺の色情報を用いる例を示す図（１）である。
【図９】縦方向の類似度成分の算出時に周辺の色情報を用いる例を示す図（２）である。
【図１０】縦方向の類似度成分の算出時に周辺の色情報を用いる例を示す図（３）である。
【図１１】白黒ナイキスト縞に対する類似度成分の算出を説明する図である。
【図１２】シアンの縦ストライプに対する類似度成分の算出を説明する図である。
【図１３】第６の実施形態の補間処理の動作フローチャートである。
【図１４】第７の実施形態ないし第１０の実施形態に対応する電子スチルカメラの機能ブロック図である。
【図１５】第７の実施形態の補間処理の動作フローチャートである。
【図１６】ｆ（ｘ）のグラフの形状を示す図である。
【図１７】第８の実施形態の補間処理の動作フローチャートである。
【図１８】第９の実施形態の補間処理の動作フローチャートである。
【図１９】第１０の実施形態の補間処理の動作フローチャートである。
【図２０】第１１の実施形態の機能ブロック図である。
【図２１】第１１の実施形態の動作フローチャートである。
【図２２】撮像素子の構成を示す図である。
【符号の説明】
１０、５１ 制御部
１１ 撮影光学系
１２ ＯＬＰＦ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ 画像バッファメモリ
１６ 階調変換部
１７、５２ 画像処理部
１８ インタフェース部
１９、３０ 補間処理部
２０、３１ 類似度算出部
２１ 類似性判定部
２２、３２ 補間量算出部
５０ 電子スチルカメラ
５３、６２ メモリカードドライバ
５４ メモリカード
６０ パーソナルコンピュータ
６１ ＣＰＵ
６３ 画像メモリ
６４ ＣＤ−ＲＯＭ

Claims (18)

1. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点に対して、前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、「前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分を複数の方向毎に算出し、該２種類の類似度成分から前記類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と
   を備えたことを特徴とする補間処理装置。
2. 請求項１に記載の補間処理装置において、
   前記類似度算出手段は、
   前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、
   （ａ）「前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分と、
   （ｂ）「前記第１色成分の色情報のみを用いた類似度成分」と「前記第２色成分の色情報のみを用いた類似度成分」と「前記第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分と
   を合わせた３種類以上の類似度成分を前記複数の方向毎に算出し、該３種類以上の類似度成分から前記類似度を算出する
   ことを特徴とする補間処理装置。
3. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手段と、
   前記類似度算出手段によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と
   を備え、
   前記類似度算出手段は、
   前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、
   （ａ）「前記補間対象空格子点の色成分とは異なる色成分を出力する空格子点の色情報と、前記第１色成分の色情報とを用いた類似度成分」と、
   （ｂ）「前記第１色成分の色情報のみを用いた類似度成分」と「前記第２色成分の色情報のみを用いた類似度成分」と「前記第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分と
   を合わせた２種類以上の類似度成分を前記複数の方向毎に算出し、該２種類以上の類似度成分から前記類似度を算出する
   ことを特徴とする補間処理装置。
4. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手段と、
   前記類似度算出手段によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と
   を備え、
   前記類似度算出手段は、
   前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、
   （ａ）「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と、
   （ｂ）「前記第１色成分の色情報のみを用いた類似度成分」と「前記第２色成分の色情報のみを用いた類似度成分」と「前記第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分と
   を合わせた２種類以上の類似度成分を前記複数の方向毎に算出し、該２種類以上の類似度成分から前記類似度を算出し、
   「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」を
   ａ１｜Ｇ１−Ａ２｜＋ａ２｜Ｇ３−Ａ２｜
   によって算出する（ただし、Ｇ１、Ｇ３は前記補間対象空格子点を挟んで同一直線上に位置する２つの格子点の色情報であり、Ａ２は前記補間対象空格子点の色情報であり、ａ１、ａ２は定数であり、ａ１、ａ２の少なくとも一方は０でない。）
   ことを特徴とする補間処理装置。
5. 請求項１ないし請求項４の何れか１項に記載の補間処理装置において、
   前記類似度算出手段は、
   前記複数の方向毎に算出した複数種類の類似度成分を、同一方向毎に加重加算することによって組み合わせ、前記補間対象空格子点の複数の方向に対する類似度を算出する
   ことを特徴とする補間処理装置。
6. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、前記補間対象空格子点毎の複数の方向に対する類似度として、「前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度」と「前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度」と「前記第１色成分の色情報のみを用いた類似度」と「前記第２色成分の色情報のみを用いた類似度」と「前記第３色成分の色情報のみを用いた類似度」との少なくとも２種類の類似度を算出する類似度算出手段と、
   前記類似度算出手段によって前記補間対象空格子点毎に算出された複数の方向に対する複数種類の前記類似度のうち、同一種類の前記類似度の大小を各々の方向毎に比較して、各々の種類毎に類似性の強い方向を決定し、何れの方向が多数を占めるかによって、前記補間対象空格子点との類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と
   を備えたことを特徴とする補間処理装置。
7. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、前記補間対象空格子点の複数の方向に対する類似度の成分として、「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、前記補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と
   を備え、
   前記類似度算出手段は、
   前記補間対象空格子点の周辺部分の画像の特徴を抽出し、前記２種類の類似度成分のうち、該特徴に応じて決定した１種類の類似度成分を算出し、該１種類の類似度成分を前記類似度とする、もしくは、前記２種類の類似度を算出し、該２種類の類似度成分を該特徴に応じて重み比重を変えつつ加重加算して前記類似度を算出する
   ことを特徴とする補間処理装置。
8. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理を行う補間処理装置において、
   補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、前記補間対象空格子点の複数の方向に対する類似度の成分として、「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、前記補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手段と、
   前記類似性判定手段による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手段と、
   前記２種類の類似度成分のうち、何れか一方の類似度成分を算出するかを示す第１の指示、または、該２種類の類似度成分を加重加算する際の重み比重を示す第２の指示を受け付けるインタフェース手段と
   を備え、
   前記類似度算出手段は、
   前記インタフェース手段によって第１の指示が受け付けられた場合には、第１の指示に対応する１種類の類似度成分を算出して前記類似度とし、該インタフェース手段によって第２の指示が受け付けられた場合には、第２の指示に応じて前記２種類の類似度成分を加重加算して前記類似度を算出する
   ことを特徴とする補間処理装置。
9. 請求項７に記載の補間処理装置において、
   前記類似度算出手段は、
   補間対象空格子点の周辺部分の画像の特徴として、補間対象空格子点で直交する２つの方向のうち、第１の方向に位置する複数の格子点の色情報が酷似して第２の方向に位置する複数の格子点の色情報が酷似し、かつ第１の方向に位置する格子点の色情報と第２の方向に位置する格子点の色情報との差違が大きい場合、「補間対象空格子点の色情報と第１色成分の色情報とを用いた類似度」を算出する
   ことを特徴とする補間処理装置。
10. 請求項１ないし請求項９の何れか１項に記載の補間処理装置において、
    前記類似度算出手段は、
    補間対象空格子点の類似度として、補間対象空格子点の近傍に位置する空格子点の類似度の成分を含む値を算出する
    ことを特徴とする補間処理装置。
11. 請求項１ないし請求項５、請求項７ないし請求項１０の何れか１項に記載の補間処理装置において、
    前記類似性判定手段は、
    類似性が強い方向の判定に際し、各々の方向間の類似度の差違が所定の閾値を上回るか否かを判定し、該差違が該閾値を上回らない方向については類似性が同程度であると判定する
    ことを特徴とする補間処理装置。
12. 請求項１ないし請求項１１の何れか１項に記載の補間処理装置において、
    前記補間量算出手段は、
    前記類似性判定手段によって、前記複数の方向のうち、何れか１つの方向に対する類似性の強さが突出していると判定された場合、突出する方向に位置する２つの格子点の色情報の値の平均値を補間量とし、複数の方向に対する類似性が均衡していると判定された場合、何れか１つの方向に位置する２つの格子点の色情報の値の平均値を算出する以外の方法で補間量を決定する
    ことを特徴とする補間処理装置。
13. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点に対して、前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、「前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度成分」との２種類の類似度成分を複数の方向毎に算出し、該２種類の類似度成分から前記類似度を算出する類似度算出手順と、
    前記類似度算出手順によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と
    を備えたことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
14. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手順と、
    前記類似度算出手順によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と
    を備え、
    前記類似度算出手順は、
    前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、
    （ａ）「前記補間対象空格子点の色成分とは異なる色成分を出力する空格子点の色情報と、前記第１色成分の色情報とを用いた類似度成分」と、
    （ｂ）「前記第１色成分の色情報のみを用いた類似度成分」と「前記第２色成分の色情報のみを用いた類似度成分」と「前記第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分と
    を合わせた２種類以上の類似度成分を前記複数の方向毎に算出し、該２種類以上の類似度成分から前記類似度を算出する
    ことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
15. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点毎に、複数の方向に対する類似度を下記の通り算出する類似度算出手順と、
    前記類似度算出手順によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と
    を備え、
    前記類似度算出手順は、
    前記補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、
    （ａ）「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と、
    （ｂ）「前記第１色成分の色情報のみを用いた類似度成分」と「前記第２色成分の色情報のみを用いた類似度成分」と「前記第３色成分の色情報のみを用いた類似度成分」との少なくとも１種類の類似度成分と
    を合わせた２種類以上の類似度成分を前記複数の方向毎に算出し、該２種類以上の類似度成分から前記類似度を算出し、
    「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」を
    ａ１｜Ｇ１−Ａ２｜＋ａ２｜Ｇ３−Ａ２｜
    によって算出する（ただし、Ｇ１、Ｇ３は前記補間対象空格子点を挟んで同一直線上に位置する２つの格子点の色情報であり、Ａ２は前記補間対象空格子点の色情報であり、ａ１、ａ２は定数であり、ａ１、ａ２の少なくとも一方は０でない。）
    ことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
16. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される前記第１色成分ないし前記第３色成分の色情報に基づき、前記補間対象空格子点毎の複数の方向に対する類似度として、「前記第１色成分の色情報と前記第２色成分の色情報とを用いた類似度」と「前記第１色成分の色情報と前記第３色成分の色情報とを用いた類似度」と「前記第１色成分の色情報のみを用いた類似度」と「前記第２色成分の色情報のみを用いた類似度」と「前記第３色成分の色情報のみを用いた類似度」との少なくとも２種類の類似度を算出する類似度算出手順と、
    前記類似度算出手順によって前記補間対象空格子点毎に算出された複数の方向に対する複数種類の前記類似度のうち、同一種類の前記類似度の大小を各々の方向毎に比較して、各々の種類毎に類似性の強い方向を決定し、何れの方向が多数を占めるかによって、前記補間対象空格子点との類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と
    を備えたことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
17. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、前記補間対象空格子点の複数の方向に対する類似度の成分として、「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、前記補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手順と、
    前記類似度算出手順によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と
    を備え、
    前記類似度算出手順は、
    前記補間対象空格子点の周辺部分の画像の特徴を抽出し、前記２種類の類似度成分のうち、該特徴に応じて決定した１種類の類似度成分を算出し、該１種類の類似度成分を前記類似度とする、もしくは、前記２種類の類似度を算出し、該２種類の類似度成分を該特徴に応じて重み比重を変えつつ加重加算して前記類似度を算出する
    ことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。
18. 空間周波数が最も高い第１色成分の色情報を出力する複数の格子点と、該第１色成分の色情報を出力せず該第１色成分よりも空間周波数が低い第２色成分または第３色成分の色情報を出力する複数の空格子点とが２次元配列された撮像素子によって生成される画像に対し、各々の空格子点の前記第１色成分の色情報に相当する補間量を求める補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体において、
    補間処理の対象となる補間対象空格子点と該補間対象空格子点の近傍に位置する格子点および空格子点とから出力される色情報に基づき、前記補間対象空格子点の複数の方向に対する類似度の成分として、「前記補間対象空格子点の色情報と前記第１色成分の色情報とを用いた類似度成分」と「前記第１色成分の色情報のみを用いた類似度成分」との２種類の類似度成分のうち、少なくとも１種類の類似度成分を算出し、該少なくとも１種類の類似度成分から、前記補間対象空格子点毎の複数の方向に対する類似度を算出する類似度算出手順と、
    前記類似度算出手順によって算出された複数の方向に対する類似度に基づき、前記補間対象空格子点毎に類似性が強い方向を判定する類似性判定手順と、
    前記類似性判定手順による判定結果に応じて、前記補間対象空格子点毎に補間量を算出する補間量算出手順と、
    前記２種類の類似度成分のうち、何れか一方の類似度成分を算出するかを示す第１の指示、または、該２種類の類似度成分を加重加算する際の重み比重を示す第２の指示を受け付けるインタフェース手順と
    を備え、
    前記類似度算出手順は、
    前記インタフェース手順によって第１の指示が受け付けられた場合には、第１の指示に対応する１種類の類似度成分を算出して前記類似度とし、該インタフェース手順によって第２の指示が受け付けられた場合には、第２の指示に応じて前記２種類の類似度成分を加重加算して前記類似度を算出する
    ことを特徴とする補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体。

Images