JP4501070B2 - 画像処理装置および画像処理方法、並びに、プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びに、プログラムに関し、特に、カラー固体撮像素子を用いて得られたモザイク画像信号から、全画素に複数色を補間してカラー画像信号を獲得するデモザイク処理（色補間処理、または、同時化処理）が実行される場合に用いて好適な、画像処理装置および画像処理方法、並びに、プログラムに関する。

ＣＣＤイメージセンサやCMOSイメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばRGBなどの３チャネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と称される。

カラー固体撮像素子から得られる画像信号は１チャネル画像なので、１画素ごとに得られるのは、対応する受光素子のフィルタの色の強度のみである。すなわち、カラー固体撮像素子から得られる画像信号は、色に関してモザイク状の画像となる。単板カラー撮像装置のカラー固体撮像素子の出力画像であるモザイク画像から、多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を、その周囲の画素位置に補間することが必要である。このような画像処理は、一般に、色補間処理、デモザイク処理、または、同時化処理などと称される。このように、デモザイク処理は、カラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな技術が開発されてきた。

このデモザイク処理において問題となるのが、高周波の画像信号の再現特性である。固体撮像素子においては、２次元格子状に配置された受光素子に、それぞれ異なるオンチップカラーフィルタが貼られているために、同じ色、すなわち、同じ分光感度を持つ画素は、本来の受光素子の配列ピッチよりも大きいピッチでしか配列されていない。そのため、カラー固体撮像素子は、オンチップカラーフィルタがない白黒の固体撮像素子と比較すると、撮像した画像にエイリアシングが発生しやすい。画像の輝度成分にエイリアシングが発生した場合、それは、しばしば被写体輪郭部におけるジャギネスとして観察される。デモザイク処理においては、ジャギネスをいかに抑制するかということが重要な課題である。

現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列を図１に示す。ベイヤー配列では、Ｒ,Ｇ,Ｂの３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている（以降、原色系ベイヤー配列を単にベイヤー配列と称する）。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平、垂直にそれぞれ１ラインおきにしか存在しない。

ベイヤー配列では、ＲＧＢのうち、人の視感度特性に最も近い分光特性を持つＧが一番密に存在するので、従来用いられている技術によれば、もっぱらＧの画素情報から輝度成分を作り出す方法が主流である。この方法の場合、再現される輝度成分の限界周波数はベイヤー配列のＧのサンプリング周波数で決まり、水平および垂直方向には、０．５cycle/pixel、斜め45度方向には、１/（２×sqrt（２））cycle/pixelとなる。理論的には水平または垂直に最も限界が高いが、実際には水平・垂直方向には１画素おきにしかＧが存在しないので、０．５cycle/pixelの水平または垂直の波を再現するには、水平または垂直それぞれの波に、最適な補間フィルタを適用する必要がある。この問題に対し、水平方向および垂直方向それぞれの波に最適な補間フィルタを準備し、画像上の各局所領域での波の方向を判別し、判別した結果に応じて水平方向の補間フィルタの結果と垂直方向の補間フィルタの結果を合成した値を補間値とする技術がある（例えば、特許文献１および非特許文献１）。これらの技術を用いることによって、ベイヤー配列のＧの画素情報を用いて、水平および垂直方向に、理論的限界である０．５cycle/pixelに近い高周波の再現が可能となる。

特開平７−２３６１４７

村田、森、前中、岡田および千原、"ＰＳ−ＣＣＤにおける相関判別色分離方式"、映像情報メディア学会誌、Ｖｏｌ．５５，Ｎｏ．１，ｐｐ．１２０−１３２,２００１

一方、カラー固体撮像素子に用いられるオンチップカラーフィルタの分光特性を人の視覚の等色関数に一致させることが原理的に不可能であることから、例えば、ベイヤー配列の３原色に対して、更に１色追加した４色の強度を得るようにした撮像素子を用い、更に、このような撮像素子により取得された４色の強度値にリニアマトリックスを適用することによって、３原色の強度値を得て、撮像装置の色再現を向上させる方法がある。例えば、４色の強度を得るために従来の３原色に黄色のオンチップフィルタを追加した４色配列を持つカラー固体撮像素子を用いて、色再現性を向上させることができる技術がある（例えば、特許文献２）。

特開２００２−２７１８０４

しかしながら、４色配列のカラーフィルタを用いた従来技術においては、どのようなデモザイク処理を実行することによって、４色配列から各画素に同時化された４色強度を得ることができるかについては具体的に示されていなかった。

補色系（シアン、マゼンタ、イエロー、グリーン）の４色配列は、従来からビデオカメラ等の撮像素子に用いられているが、これと同様に、原色系４色の色配列を有するカラーフィルタも実用化されている。従来の原色系４色の色配列では、ベイヤー配列のように全画素の半分をＧに割り当てることができないため、市松状のＧ配列を利用して輝度成分の高周波を再現する従来技術は利用できなくなる。そのため、従来の原色系４色配列を用いると、色再現は向上するが、輝度の高周波成分を再現されずにジャギネスが顕著に現れるか、または平滑化されたような精彩のない画像になってしまう問題があった。

本発明はこのような状況に鑑みてなされたものであり、原色系の４色以上の色で構成されている配列を用いる単板カラー撮像装置において、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とするものである。

本発明の画像処理装置は、分光感度が異なる少なくとも４種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、画像取得手段により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理手段とを備え、画像取得手段の画像センサの色フィルタ配列は、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つものであって、画像処理手段は、市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出することを特徴とする。

画像取得手段の画像センサの色フィルタ配列は、複数種類のフィルタのうちの輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つ第１の色に対応する第１のフィルタが、水平および垂直に１ラインおきに配置され、第１の色とは異なる輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つ第２の色に対応する第２のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なるラインに配置され、画像処理手段は、モザイク画像のうちの注目画素位置における第１の色の強度推定値である第１の強度推定値を算出する第１の算出手段と、注目画素位置における第２の色の強度推定値である第２の強度推定値を算出する第２の算出手段と、第１の算出手段により算出された第１の強度推定値と、第２の算出手段により算出された第２の強度推定値とを合成する合成手段とを備えるものとすることができる。

第１の算出手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を含み、注目画素が第１の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第３の算出手段により第１の強度推定値を算出させるようにすることができる。

第３の算出手段には、注目画素近傍における、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段とを備えさせるようにすることができる。

第５の算出手段には、回帰演算を用いて注目画素位置における目標色に対応する強度推定値を算出させるようにすることができる。

第２の算出手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を含ませるようにすることができ、注目画素が第２の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、第３の算出手段により第２の強度推定値を算出させるようにすることができる。

第３の算出手段には、注目画素近傍における、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段とを備えさせるようにすることができる。

第５の算出手段には、回帰演算を用いて注目画素位置における目標色に対応する強度推定値を算出させるようにすることができる。

第１の算出手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を２以上含ませるようにすることができ、注目画素が第１の色でなかった場合、第１の第３の算出手段には、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、注目画素位置における第２の色に対応する強度値を算出させるようにすることができ、第２の第３の算出手段には、第２の色を既知色とし、第１の色を目標色として、第１の強度推定値を算出させるようにすることができる。

第３の算出手段には、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段とを備えさせるようにすることができる。

第５の算出手段には、回帰演算を用いて注目画素位置における目標色に対応する強度推定値を算出させるようにすることができる。

第２の算出手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を２以上含ませるようにすることができ、注目画素が第２の色でなかった場合、第１の第３の算出手段には、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、注目画素位置における第１の色に対応する強度値を算出させるようにすることができ、第２の第３の算出手段には、第１の色を既知色とし、第２の色を目標色として、第２の強度推定値を算出させるようにすることができる。

第３の算出手段には、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段とを備えさせるようにすることができる。

第５の算出手段には、回帰演算を用いて注目画素位置における目標色に対応する強度推定値を算出させるようにすることができる。

第１の算出手段には、第１の強度推定値の第１の推定値を算出する第１の強度推定手段と、第１の強度推定値の第２の推定値を算出する第２の強度推定手段と、注目画素近傍におけるテクスチャ方向を判別する判別手段と、判別手段による判別結果に基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択する選択手段とを備えさせるようにすることができ、第１の強度推定手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を含ませるようにすることができ、注目画素が第１の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第３の算出手段により第１の強度推定値の第１の推定値を算出させるようにすることができ、第２の強度推定手段には、２以上の第３の算出手段を含ませるようにすることができ、注目画素が第１の色でなかった場合、第１の第３の算出手段には、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、注目画素位置における第２の色に対応する強度値を算出させるようにすることができ、第２の第３の算出手段には、第２の色を既知色とし、第１の色を目標色として、第１の強度推定値の第２の推定値を算出させるようにすることができ、選択手段には、判別手段による判別結果、および、注目画素位置に対して、第１の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択させるようにすることができる。

第２の算出手段には、第２の強度推定値の第１の推定値を算出する第１の強度推定手段と、第２の強度推定値の第２の推定値を算出する第２の強度推定手段と、注目画素近傍におけるテクスチャ方向を判別する判別手段と、判別手段による判別結果に基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択する選択手段とを備えさせるようにすることができ、第１の強度推定手段には、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を含ませるようにすることができ、注目画素が第２の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、第３の算出手段により第２の強度推定値の第１の推定値を算出させるようにすることができ、第２の強度推定手段には、２以上の第３の算出手段を含ませるようにすることができ、注目画素が第２の色でなかった場合、第１の第３の算出手段には、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、注目画素位置における第１の色に対応する強度値を算出させるようにすることができ、第２の第３の算出手段には、第１の色を既知色とし、第２の色を目標色として、第２の強度推定値の第２の推定値を算出させるようにすることができ、選択手段には、判別手段による判別結果、および、注目画素位置に対して、第２の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択させるようにすることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なる水平ラインに配置され、フィルタのうちの第１の色、第２の色、および、第３の色とのうちのいずれとも異なる第４の色のフィルタが、水平および垂直に１ラインおき、かつ、第２のフィルタとは異なる水平ラインに配置されるものとすることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色および第４の色のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なる水平ラインに交互に配置されものとすることができ、フィルタのうちの第１の色、第２の色、第３の色、および、第４の色とのうちのいずれとも異なる第５の色および第６の色のフィルタが、水平および垂直に１ラインおき、かつ、第２のフィルタとは異なる水平ラインに交互に配置されものとすることができる。

第３の色および第４の色は、互いに高い相関を有する分光特性を持つものとすることができ、第５の色および第６の色は、互いに高い相関を有する分光特性を持つものとすることができる。

第３の色および第４の色は、同一の色であるものとすることができる。

第５の色および第６の色は、同一の色であるものとすることができる。

画像取得手段の画像センサの色フィルタ配列は、複数種類のフィルタのうちの輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つ第１の色に対応する第１のフィルタが、市松状に配置されるものとすることができ、画像処理手段には、モザイク画像のうちの注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第１の算出手段を含ませるようにすることができ、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第１の算出手段により第１の強度推定値を算出させるようにすることができる。

第１の算出手段には、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第２の算出手段と、第２の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段とを含ませるようにすることができる。

第２の算出手段には、回帰演算を用いて注目画素位置における目標色に対応する強度推定値を算出させるようにすることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色とは異なる第２の色のフィルタが、水平および垂直に１ラインおきに配置されるものとすることができ、フィルタのうちの第１の色および第２の色のフィルタが配置されていないフィルタ位置には、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色と第４の色のフィルタが、斜め方向に１画素おきの斜め格子状となるように配置されるものとすることができる。

第２の色は、第１の色より長波長側に感度を持つような分光特性のフィルタ色であるものとすることができ、第３の色および第２の色のうちの少なくとも一方は、第１の色より短波長側に感度を持つような分光特性のフィルタ色であるものとすることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色とは異なる第２の色、第３の色、第４の色、第５の色、のフィルタが、水平および垂直に２ラインおき、かつ、斜め方向に１画素おきの斜め格子状となり、第２の色および第３の色と、第４の色および第５の色とは、互いに異なる水平および垂直のライン上に位置するように配置されるようにすることができる。

第２の色および第３の色は、互いに高い相関を有する分光特性を持つものとすることができ、第４の色および第５の色は、互いに高い相関を有する分光特性を持つものとすることができる。

第２の色および第３の色は、同一の色であるものとすることができる。

第４の色および第５の色は、同一の色であるものとすることができる。

本発明の画像処理方法は、分光感度が異なる少なくとも４種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップと、取得ステップの処理により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップとを含み、取得ステップの処理では、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、画像処理ステップは、市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップを含むことを特徴とする。

本発明のプログラムは、分光感度が異なる少なくとも４種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップと、取得ステップの処理により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップとを含み、取得ステップの処理では、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、画像処理ステップは、市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップを含むことを特徴とする処理をコンピュータに実行させる。

本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、分光感度が異なる少なくとも４種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像が取得され、取得されたモザイク画像から、モザイク画像のうちの市松状に配置された輝度の分光特性(例えば、比視感度曲線)に強い相関を有するフィルタの色に対応する強度推定値が算出され、算出された強度推定値を基に、輝度値が算出され、更に、輝度値に基づいた演算により、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像が生成される。

本発明によれば、モザイク画像が取得されて、モザイク画像が処理されて、カラー画像が生成される。特に、取得されたモザイク画像から、モザイク画像のうちの市松状に配置された輝度の分光特性（例えば、比視感度曲線）に強い相関を有するフィルタの色に対応する強度推定値が算出され、算出された強度推定値を基に輝度値が算出され、更に輝度値に基づいた演算によって、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像が生成されるので、原色系の４色以上の色で構成されている配列を用いる単板カラー撮像装置において、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置を提供することができる。この画像処理装置（例えば、図２のデジタルスチルカメラ２０１）は、分光感度が異なる少なくとも４種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段（例えば、図２のＣＣＤイメージセンサ２１３）と、画像取得手段により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理手段（例えば、図５のデモザイク処理部２５３）とを含み、画像取得手段の画像センサの色フィルタ配列は、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば比視感度曲線）に強い相関を有する分光特性を持つものであって、画像処理手段は、市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出し、その輝度情報を用いて、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成することができる。

画像取得手段の画像センサの色フィルタ配列は、複数種類のフィルタのうちの輝度の分光特性に強い相関を有する分光特性（例えば、比視感度曲線）を持つ第１の色（例えば、Ｇ）に対応する第１のフィルタが、水平および垂直に１ラインおきに配置され、第１の色とは異なる、輝度の分光特性に強い相関を有する分光特性（例えば、比視感度曲線）を持つ第２の色（例えば、Ｅ）に対応する第２のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なるラインに配置され、画像処理手段は、モザイク画像のうちの注目画素位置における第１の色の強度推定値である第１の強度推定値を算出する第１の算出手段（例えば、図７のＧ強度推定部２９１）と、注目画素位置における第２の色の強度推定値である第２の強度推定値を算出する第２の算出手段（例えば、図７のＥ強度推定部２９２）と、第１の算出手段により算出された第１の強度推定値と、第２の算出手段により算出された第２の強度推定値とを合成する合成手段（例えば、図７の加算処理部２９３）とを備えることができる。

第１の算出手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段（例えば、図８の第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２）を含むことができ、注目画素が第１の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第３の算出手段により第１の強度推定値を算出させることができる。

第３の算出手段は、注目画素近傍における、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段（例えば、図１０の粗補間処理部３４１）と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段（例えば、図１０の統計量算出部３４２および図１６の傾き算出部３８１）と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段（例えば、図１６の画素強度推定部３８２）とを備えることができる。

第５の算出手段は、回帰演算（例えば、式（１０）、式（１１）、または、式（１２）による演算）を用いて注目画素位置における目標色に対応する強度推定値を算出することができる。

第２の算出手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段（例えば、第１の強度推定部３１１、図８の第２の強度推定部３２１、第３の強度推定部３２２）を含み、注目画素が第２の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、第３の算出手段により第２の強度推定値を算出することができる。

第３の算出手段は、注目画素近傍における、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段（例えば、図１０の粗補間処理部３４１）と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段（例えば、図１０の統計量算出部３４２および図１６の傾き算出部３８１）と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段（例えば、図１６の画素強度推定部３８２）とを備えることができる。

第５の算出手段は、回帰演算（例えば、式（１０）、式（１１）、または、式（１２）による演算）を用いて注目画素位置における目標色に対応する強度推定値を算出することができる。

第１の算出手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を２以上含み、注目画素が第１の色でなかった場合、第１の第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）は、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、注目画素位置における第２の色に対応する強度値を算出し、第２の第３の算出手段（例えば、図８の第４の強度推定部３２３）は、第２の色を既知色とし、第１の色を目標色として、第１の強度推定値を算出することができる。

第３の算出手段は、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段（例えば、図１０の粗補間処理部３４１）と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第４の算出手段（例えば、図１０の統計量算出部３４２および図１６の傾き算出部３８１）と、第４の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第５の算出手段（例えば、図１６の画素強度推定部３８２）とを備えることができる。

第５の算出手段は、回帰演算（例えば、式（１０）、式（１１）、または、式（１２）による演算）を用いて注目画素位置における目標色に対応する強度推定値を算出することができる。

第２の算出手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段を２以上含み、注目画素が第２の色でなかった場合、第１の第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）は、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、注目画素位置における第１の色に対応する強度値を算出し、第２の第３の算出手段（例えば、図８の第４の強度推定部３２３）は、第１の色を既知色とし、第２の色を目標色として、第２の強度推定値を算出することができる。

第３の算出手段は、前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段（例えば、図１０の粗補間処理部３４１）と、前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第４の算出手段（例えば、図１０の統計量算出部３４２および図１６の傾き算出部３８１）と、前記第４の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第５の算出手段（例えば、図１６の画素強度推定部３８２）とを備えることができる。

第５の算出手段は、回帰演算（例えば、式（１０）、式（１１）、または、式（１２）による演算）を用いて注目画素位置における目標色に対応する強度推定値を算出することができる。

第１の算出手段は、第１の強度推定値の第１の推定値を算出する第１の強度推定手段（例えば、図８の第２の処理ブロック３０３における第２の強度推定部３２１、または、第３の処理ブロック３０４における第３の強度推定部３２２）と、第１の強度推定値の第２の推定値を算出する第２の強度推定手段（例えば、図８の第２の処理ブロック３０３における第３の強度推定部３２２および第４の強度推定部３２３、または、第３の処理ブロック３０４における第２の強度推定部３２１および第４の強度推定部３２３）と、注目画素近傍におけるテクスチャ方向を判別する判別手段（例えば、図８のテクスチャ方向判定部３０５）と、判別手段による判別結果に基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択する選択手段（例えば、図８のスイッチ３２４）とを備えることができ、第１の強度推定手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）を含むことができ、注目画素が第１の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第３の算出手段により第１の強度推定値の第１の推定値を算出し、第２の強度推定手段は、２以上の第３の算出手段を含み、注目画素が第１の色でなかった場合、第１の第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）は、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、注目画素位置における第２の色に対応する強度値を算出し、第２の第３の算出手段（例えば、図８の第４の強度推定部３２３）は、第２の色を既知色とし、第１の色を目標色として、第１の強度推定値の第２の推定値を算出し、選択手段は、判別手段による判別結果、および、注目画素位置に対して、第１の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択することができる。

第２の算出手段は、第２の強度推定値の第１の推定値を算出する第１の強度推定手段（例えば、図８の第２の処理ブロック３０３における第２の強度推定部３２１、または、第３の処理ブロック３０４における第３の強度推定部３２２）と、第２の強度推定値の第２の推定値を算出する第２の強度推定手段（例えば、図８の第２の処理ブロック３０３における第３の強度推定部３２２および第４の強度推定部３２３、または、第３の処理ブロック３０４における第２の強度推定部３２１および第４の強度推定部３２３）と、注目画素近傍におけるテクスチャ方向を判別する判別手段（例えば、図８のテクスチャ方向判定部３０５）と、判別手段による判別結果に基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択する選択手段（例えば、図８のスイッチ３２４）とを備えることができ、第１の強度推定手段は、注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）を含むことができ、注目画素が第２の色でなかった場合、注目画素位置におけるフィルタの色を既知色とし、第２の色を目標色として、第３の算出手段により第２の強度推定値の第１の推定値を算出し、第２の強度推定手段は、２以上の前記第３の算出手段を含み、注目画素が第２の色でなかった場合、第１の第３の算出手段（例えば、図８の第２の強度推定部３２１、第３の強度推定部３２２）は、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、注目画素位置における第１の色に対応する強度値を算出し、第２の第３の算出手段（例えば、図８の第４の強度推定部３２３）は、第１の色を既知色とし、第２の色を目標色として、第２の強度推定値の第２の推定値を算出し、選択手段は、判別手段による判別結果、および、注目画素位置に対して、第２の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、第１の強度推定手段により推定された第１の推定値と、第２の強度推定手段により推定された第２の推定値のうち、適した推定値を選択することができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色（例えば、Ｒ）のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なる水平ラインに配置され、フィルタのうちの第１の色、第２の色、および、第３の色とのうちのいずれとも異なる第４の色（例えば、Ｂ）のフィルタが、水平および垂直に１ラインおき、かつ、第２のフィルタとは異なる水平ラインに配置されることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色（例えば、図５３のＲ１）および第４の色（例えば、図５３のＲ２）のフィルタが、水平および垂直に１ラインおき、かつ、第１のフィルタとは異なる水平ラインに交互に配置され、フィルタのうちの第１の色、第２の色、第３の色、および、第４の色とのうちのいずれとも異なる第５の色（例えば、図５３のＢ１）および第６の色（例えば、図５３のＢ２）のフィルタが、水平および垂直に１ラインおき、かつ、第２のフィルタとは異なる水平ラインに交互に配置されることができる。

第３の色および第４の色は、互いに高い相関を有する分光特性を持つことができ、第５の色および第６の色は、互いに高い相関を有する分光特性を持つことができる。

第３の色および第４の色は、同一の色であるようにすることができる。

第５の色および第６の色は、同一の色であるようにすることができる。

画像取得手段の画像センサの色フィルタ配列は、複数種類のフィルタのうちの輝度の分光特性（例えば、比視感度曲線）に強い相関を有する分光特性を持つ第１の色（例えば、Ｇ）に対応する第１のフィルタが、市松状に配置され、画像処理手段には、モザイク画像のうちの注目画素位置におけるすでに得られている既知色に対応する強度値と、注目画素近傍の画素より算出される既知色と推定したい目標色の間の相関関係とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第１の算出手段（例えば、図５６の第１の強度推定部６２１、第３の強度推定部６２２）を含み、注目画素位置におけるフィルタの色を既知色とし、第１の色を目標色として、第１の算出手段により第１の強度推定値を算出させるようにすることができる。

第１の算出手段には、既知色に対応する画素の画素強度と目標色に対応する画素の画素強度との組を複数生成する生成手段（例えば、図５７の粗補間処理部６３１）と、生成手段により生成された既知色に対応する画素の画素強度と目標色に対応する画素の画素強度の複数の組から、既知色と目標色間の色分布の重心および傾きを算出する第２の算出手段（例えば、図５７の統計量算出部３４２および図５７の回帰演算処理部３４３内の図１６の傾き算出部３８１）と、第２の算出手段により算出された色分布の重心および傾きと、注目画素位置における既知色に対応する強度値とに基づいて、注目画素位置における目標色に対応する強度推定値を算出する第３の算出手段（例えば、図５７の回帰演算処理部３４３内の図１６の画素強度推定部３８２）とを備えさせることができる。

第２の算出手段は、回帰演算（例えば、式（１０）、式（１１）、または、式（１２）による演算）を用いて注目画素位置における目標色に対応する強度推定値を算出することができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色とは異なる第２の色（例えば、Ｒ）のフィルタが、水平および垂直に１ラインおきに配置され、フィルタのうちの第１の色および第２の色のフィルタが配置されていないフィルタ位置には、フィルタのうちの第１の色および第２の色とのうちのいずれとも異なる第３の色（例えば、Ｂ）と第４の色（例えば、Ｅ）のフィルタが、斜め方向に１画素おきの斜め格子状となるように配置されるものとすることができる。

第２の色は、第１の色より長波長側に感度を持つような分光特性のフィルタ色であり、第３の色および第４の色のうちの少なくとも一方は、第１の色より短波長側に感度を持つような分光特性のフィルタ色であるものとすることができる。

画像取得手段の画像センサの複数種類のフィルタのフィルタ配列は、フィルタのうちの第１の色とは異なる第２の色（例えば、図６８のＲ１）、第３の色（例えば、図６８のＲ２）、第４の色（例えば、図６８のＢ１）、第５の色（例えば、図６８のＢ２）、のフィルタが、それぞれ、水平および垂直に２ラインおき、かつ、斜め方向に１画素おきの斜め格子状となり、第２の色および第３の色と、第４の色および第５の色とは、互いに異なる水平および垂直のライン上に位置するように配置されるものとすることができる。

第２の色および第３の色は、互いに高い相関を有する分光特性を持つものとすることができ、第４の色および第５の色は、互いに高い相関を有する分光特性を持つものとすることができる。

第２の色および第３の色は、同一の色であるものとすることができる。

第４の色および第５の色は、同一の色であるものとすることができる。

また、本発明によれば、画像処理方法が提供される。この画像処理方法は、分光感度が異なる少なくとも４種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップ（例えば、図２３のステップＳ１の処理）と、取得ステップの処理により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップ（例えば、図２３のステップＳ４の処理）とを含み、取得ステップの処理では、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば、比視感度曲線）に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、画像処理ステップは、前記市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップ（例えば、図２４のステップＳ２３、または、図６２のステップＳ４５３の処理）を含む。

また、本発明によれば、プログラムが提供される。このプログラムは、分光感度が異なる少なくとも４種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）を有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップ（例えば、図２３のステップＳ１の処理）と、取得ステップの処理により取得されたモザイク画像から、フィルタの分光感度により決まる複数の色に対応する画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップ（例えば、図２３のステップＳ４の処理）とを含み、取得ステップの処理では、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性（例えば、比視感度曲線）に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、画像処理ステップは、前記市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップ（例えば、図２４のステップＳ２３、または、図６２のステップＳ４５３の処理）を含むことを特徴とする処理をコンピュータに実行させる。

以下、図を参照して、本発明の実施の形態について説明する。

図２は、本発明を適用した演算処理を実行するデジタルスチルカメラ２０１の構成を示すブロック図である。

図２に示すように、デジタルスチルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ／Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ／Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えば、JPEG（Joint Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルスチルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

ところで、図２のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。例えば、ＲＧＢ（Red，Green，Blue：赤、緑、青）の３色に対して、第４の色（以下、Ｅと称する）を加えた原色４色の配列の例を、図３に示す。

図３に示される配列においては、ベイヤー配列のうちの、緑色（Ｇ）の光のみを透過するＧのフィルタのうちの一方をＥの光のみを透過するフィルタとし、赤（Ｒ）の光のみを透過するＲのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個の、合計４個を最小単位として構成されている。ＲＧＢのうち、Ｇは、人の視感度特性に最も近い分光特性を有している。図３に示される配列のＧとＥとは、輝度の分光特性（例えば、比視感度曲線）に強い相関を有する分光特性を有する。

ここで、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタの４色配列について更に説明する。ＣＣＤイメージセンサ２１３のオンチップカラーフィルタによって得られるモザイク画像の各画素の強度は、対応するオンチップフィルタの分光特性と入射光の分光特性の積に比例する。図３に示される原色系４色配列の各色の分光特性の１例を図４に示す。フィルタの分光特性は、センサ自体の分光特性およびノイズ特性、後述するリニアマトリックスの係数、フィルタに用いる材質の物理的制約等を考慮しながら注意深く設計する必要がある。本発明を適用する場合、これらのフィルタの分光感度特性に、効果が特に左右されることはないので、上述した色再現性とノイズの特性に配慮して、分光感度を設計するようにすればよい。例えば、図４では、第４の色Ｅの分光特性を、Ｇよりも短波長側にピークを持つような例を示したが、Ｅは、Ｇよりも長波長側にピークを持つ（少し黄色よりの色に見える）ような分光特性であってもかまわない。

このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに、図３に示される色配列のカラーフィルタが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。

図５は、図２のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、ガンマ逆補正部２５４、マトリックス処理部２５５、ガンマ補正部２５６、および、ＹＣ変換部２５７で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ、Ｇ、Ｂ、または、Ｅのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した原色４色配列）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、色分布形状を統計的に算出することにより、ガンマ補正がなされたモザイク画像の各画素位置にＲ,Ｇ,Ｂ，Ｅの全ての強度（強度情報）を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、Ｒ,Ｇ,Ｂ，Ｅの４つの色に対応する４つの画像信号となる。ガンマ逆補正部２５４は、後段のマトリックス処理部２５５においてマトリックス処理を施すために、デモザイク後の４チャネル画像に適用したガンマ特性の逆を適用して、リニア特性に直す処理を行う。

マトリックス処理部２５５は、予め設定された係数による３行４列のリニアマトリックスを、供給された各画素[Ｒ，Ｇ，Ｂ，Ｅ]に適用することにより、３原色の強度値[Ｒｍ，Ｇｍ，Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であるが、マトリックス処理はデモザイク処理後に適用されるので、リニアマトリックス係数の具体値は、デモザイク処理とは関係なく設計することができる。マトリックス処理部２５５の出力は、色補正されたＲｍ，Ｇｍ，Ｂｍの３つの色に対応する３つの画像となる。

マトリックス処理後、ガンマ補正部２５６は、色補正された３チャネル画像に対して再度ガンマ補正を行う。ＹＣ変換部２５７はＲ,Ｇ,Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（YCbCr画像信号）を生成し、出力する。

ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。

例えば、入力される画像が高コントラストな輪郭領域である場合、その色分布は、非常に明るい強度域と非常に暗い強度域に渡ってしまう。物理的に、物体反射光は、物体表面のばらつきに照明からの入射光強度が乗じられたものになることから、カメラへの入射光強度に比例する線形な画素強度空間においては、明るい強度域にある物体色の分布はスパースに（まばらに）広がり、暗い画素強度域にある物体色の分布はあまり広がらずにコンパクトに縮まる傾向にある。

デモザイク処理部２５３においては、色分布形状を統計的に算出することにより、デモザイク処理を実行する。しかしながら、高コントラストな輪郭領域では、明るい領域での画素強度のちらばりと暗い領域での画素強度のちらばりが大きく異なり、統計的な線形回帰が適用しにくくなる。したがって、入力されたデータに対して、デモザイク処理部２５３におけるデモザイク処理に先立って、ガンマ補正のような非線形の画素強度変換を施して、暗い画素強度域を持ち上げて（明るい画素強度領域に近づけて）、画素強度の分散をある程度抑制するようにすることにより、デモザイク処理部２５３において実行される線形回帰処理の信頼性を向上させることができる。

このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、略べき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。

また、デモザイク処理前に適用するガンマ補正部２５２のガンマ特性と、ＹＣ変換前に適用するガンマ補正部２５６のガンマ特性は同じである必要はない。また、もちろん、本発明を適用する上で、デモザイク処理前のガンマ補正が必須というわけではない。

次に、図６は、全画素位置でＲＧＢＥの全ての色が存在するように、画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図５のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。

デモザイク処理部２５３は、局所領域抽出部２８１、Ｇ＋Ｅ強度推定処理部２８２、Ｒ強度推定部２８３−１、Ｇ強度推定部２８３−２、Ｂ強度推定部２８３−３、および、Ｅ強度推定部２８３−４で構成される。

局所領域抽出部２８１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした９×９画素の矩形領域とする。Ｇ＋Ｅ強度推定処理部２８２は、局所領域内に存在する画素を用いて、注目画素位置におけるＧ＋Ｅ強度を算出する。Ｒ強度推定部２８３−１、Ｇ強度推定部２８３−２、Ｂ強度推定部２８３−３、および、Ｅ強度推定部２８３−４は、局所領域内に存在する画素と、Ｇ＋Ｅ強度推定処理部２８２が算出した注目画素位置のＧ＋Ｅ強度とを用いて、ＲＧＢＥのそれぞれの強度の推定値を演算する。Ｒ強度推定部２８３−１、Ｇ強度推定部２８３−２、Ｂ強度推定部２８３−３、および、Ｅ強度推定部２８３−４は、基本的に同様の構成を有しているので、以下、Ｒ強度推定部２８３−１、Ｇ強度推定部２８３−２、Ｂ強度推定部２８３−３、および、Ｅ強度推定部２８３−４を個別に区別する必要のない場合、Ｒ（Ｇ，Ｂ，またはＥ）強度推定部２８３と称するか、または、Ｒ強度推定部２８３−１、Ｇ強度推定部２８３−２、Ｂ強度推定部２８３−３、および、Ｅ強度推定部２８３−４の全てを、ＲＧＢＥ強度推定部２８３と称するものとする。

図７は、図６のＧ＋Ｅ強度推定処理部２８２の構成を示すブロック図である。

Ｇ＋Ｅ強度推定処理部２８２は、Ｇ強度推定部２９１、Ｅ強度推定部２９２、および、加算処理部２９３により構成される。

Ｇ強度推定部２９１は局所領域の画素を用いて注目画素位置のＧ強度の推定値を算出する。Ｅ強度推定部２９２は局所領域の画素を用いて注目画素位置のＥ強度の推定値を算出する。加算処理部２９３は算出されたＧ強度推定値とＥ強度推定値を加算することによって、注目画素位置の（Ｇ＋Ｅ)強度推定値を算出する。図３を用いて説明した原色４色配列のカラーフィルタによって得られるモザイク画像においては、ＧとＥとはどちらも１画素おきの間隔でしか信号が存在しないので、ＧのみまたはＥのみの補間処理だけでは高周波の画像信号を再現できずにジャギネスやジッパーノイズを発生させやすい。しかしながら、互いに水平および垂直に１画素ずれた位置に配置されていることを利用し、ＧとＥの信号を加算したような信号をすべての画素位置に再現することによって、それぞれの限界よりも高い高域の画像信号を再現することが可能になり、出力画像でジャギネスやノイズが発生するのを抑えることができる。

図８は、Ｇ強度推定部２９１およびＥ強度推定部２９２の構成を示すブロック図である。まず、Ｇ強度推定部２９１とＥ強度推定部２９２との共通点について説明し、その後、Ｇ強度推定部２９１とＥ強度推定部２９２との差異について説明する。

Ｇ強度推定部２９１およびＥ強度推定部２９２は、それぞれ、注目画素選択部３０１、第１の処理ブロック３０２、第２の処理ブロック３０３、第３の処理ブロック３０４、テクスチャ方向判定部３０５、および、スイッチ３０６で構成されている。また、第１の処理ブロック３０２は、第１の強度推定部３１１で構成され、第２の処理ブロック３０３および第３の処理ブロック３０４は、第２の強度推定部３２１、第３の強度推定部３２２、第４の強度推定部３２３、スイッチ３２４で構成される。

注目画素選択部３０１は９×９画素の局所領域から注目画素位置すなわち中心の画素を選んでその画素強度を出力する。テクスチャ方向判定部３０５は、局所領域における画像のテクスチャを調べ、それが主に縦縞か横縞かを判定した結果を出力する。第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、第４の強度推定部３２３は、局所領域の画素と注目画素位置における所定の色の強度推定値に基づいて推定すべき色の強度を算出するものである。ここで、推定すべき色とは、Ｇ強度推定部２９１であればＧ、Ｅ強度推定部２９２であればＥをさす。強度推定部が４種類存在するのは、与えられた注目画素位置の色強度が何色であるかということと、局所領域の色の配置によって処理の種類が４種類あるという理由による。スイッチ３２４は、テクスチャ方向判定部３０５が出力するテクスチャ方向の判定結果に基づき、入力された２つの強度推定値のどちらを使用するべきかを選択して出力する。スイッチ３０６は、本来のモザイク画像において注目画素位置の色が何色であるかに基づき、入力された４つの強度推定値のどれを使用するべきかを選択して出力する。スイッチ３０６の出力がＧ強度推定部２９１およびＥ強度推定部２９２の出力となる。

前述のように、Ｇ強度推定部２９１およびＥ強度推定部２９２の動作は、注目画素位置の色が本来何色であるかによって切り替わらなければならない。図８に示される構成では、注目画素の色に基づいた４種類の動作について、選択された注目画素をそのまま出力するか、または、第１の処理ブロック３０２、第２の処理ブロック３０３、第３の処理ブロック３０４において推定値を算出し、最後にスイッチ３０６によって、いずれの値を出力するかが選択されて出力されるようになされている。

４種類の動作について説明する。第１に、モザイク画像の注目画素位置が補間すべき色そのものであれば、特別な推定処理は必要なく、注目画素選択部３０１によって選択されたモザイク画像の注目画素の強度がそのまま出力されればよいので、注目画素選択部３０１の出力がスイッチ３０６から出力される（図中の入力ａが出力される）ようになされる。第２に、モザイク画像の注目画素位置がＧもしくはＥであるが補間すべき色ではない場合は、第１の処理ブロック３０２の第１の強度推定部３１１によって、局所領域のＧとＥの画素情報に基づいて算出された強度推定値が、スイッチ３０６のから出力される（図中の入力ｂが出力される）ようになされる。

第３に、モザイク画像の注目画素位置が補間すべき色の画素と水平に１画素ずれた状態である場合、すなわち、補間すべき色がＧならば注目画素位置がＢで、補間すべき色がＥならば注目画素位置がＲであるときである場合、第２の処理ブロック３０３の第２の強度推定部３２１、第３の強度推定部３２２、第４の強度推定部３２３、および、スイッチ３２４の処理により算出された強度推定値が、スイッチ３０６から出力される（図中の入力ｃが出力される）ようになされる。第４に、モザイク画像の注目画素位置が補間すべき色の画素と垂直に１画素ずれた状態であるとき、すなわち、補間すべき色がＧならば注目画素位置がＲで、補間すべき色がＥならば注目画素位置がＢであるときである場合、第３の処理ブロック３０４の第３の強度推定部３２２、第２の強度推定部３２１、第４の強度推定部３２３、およびスイッチ３２４により算出された強度推定値が、スイッチ３０６から出力される（図中の入力ｄが出力される）ようになされる。

ここで第２の処理ブロック３０３の動作について説明する。第２の強度推定部３２１は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第３の強度推定部３２２は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第３の強度推定部３２２による強度推定値に基づいて、第４の強度推定部３２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ３２４において、テクスチャ方向判定部３０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。

上述したように、第２の処理ブロック３０３の出力がスイッチ３０６で選択されるのは、モザイク画像の注目画素位置が補間すべき色の画素と水平に１画素ずれた状態である場合である。この時、画像が横縞のような水平方向に相関が高いようなテクスチャを持っているならば、注目画素位置の色は補間すべき色と強い相関を持っていることが期待できる。一方、画像が縦縞のような垂直方向に相関が高いようなテクスチャを持っているならば、注目画素位置の色は補間すべき色と強い相関を持っていることを期待することはできない。そこで、テクスチャが横縞に近い場合は、第２の強度推定部３２１によって注目画素位置の色から直接補間すべき色の強度を推定するようにし、逆に、テクスチャが縦縞に近い場合は、第３の強度推定部３２２によって注目画素位置の色から補間すべき色とは異なる色（Ｇに対するＥまたはＥに対するＧ）の強度を推定し、その後第４の強度推定部３２３によって算出された、補間すべき色の強度推定値が選択されるようになされている。

次に、第３の処理ブロック３０４の動作について説明する。第３の強度推定部３２２は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第２の強度推定部３２１は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第２の強度推定部３２１による強度推定値に基づいて、第４の強度推定部３２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ３２４において、テクスチャ方向判定部３０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。

上述したように、第３の処理ブロック３０４の出力がスイッチ３０６で選択されるのは、モザイク画像の注目画素位置が補間すべき色の画素と垂直に１画素ずれた状態である場合である。この時、画像がたて縞のような垂直方向に相関が高いようなテクスチャを持っているならば、注目画素位置の色は補間すべき色と強い相関を持っていることが期待できる。一方、画像が横縞のような水平方向に相関が高いようなテクスチャを持っているならば、注目画素位置の色は補間すべき色と強い相関を持っていることを期待することはできない。そこで、テクスチャがたて縞に近い場合は、第３の強度推定部３２２によって注目画素位置の色から直接補間すべき色の強度を推定するようにし、逆に、テクスチャが横縞に近い場合は、第２の強度推定部３２１によって注目画素位置の色から補間すべき色とは異なる色（Ｇに対するＥまたはＥに対するＧ）の強度を推定し、その後第４の強度推定部３２３によって算出された、補間すべき色の強度推定値が選択されるようになされている。

このようにすることによって、細かい縞模様のように高周波成分が大きい画像信号に対する再現性を向上させることができる。

以上、Ｇ強度推定部２９１およびＥ強度推定部２９２の動作の共通部分について説明したが、Ｇ強度推定部２９１とＥ強度推定部２９２との違いは、補間すべき色がＧかＥか、また、それによって、水平に隣接する色および垂直に隣接する色がＲかＢかの違いであって、それによってスイッチ３０６の振る舞いが異なる、という点のみである。図９を用いて、注目画素の色に対して、Ｇ強度推定部２９１とＥ強度推定部２９２のそれぞれのスイッチ３０６の出力について説明する。

図９に示されるように、Ｇ強度推定部２９１のスイッチ３０６は、注目画素がＲのとき、第３の処理ブロック３０４で算出された強度推定値を、スイッチ３０６から出力（図中の入力ｄを出力）し、注目画素がＧのとき、注目画素選択部３０１の出力をスイッチ３０６から出力（図中の入力aを出力）し、注目画素がＢのとき、第２の処理ブロック３０３で算出された強度推定値を、スイッチ３０６から出力（図中の入力ｃを出力）し、注目画素がＥのとき、第１の処理ブロック３０２で算出された強度推定値を、スイッチ３０６のから出力（図中の入力ｂを出力）する。また、図９に示されるように、Ｅ強度推定部２９２のスイッチ３０６は、注目画素がＲのとき、第２の処理ブロック３０３で算出された強度推定値を、スイッチ３０６から出力（図中の入力ｃを出力）し、注目画素がＧのとき、第１の処理ブロック３０２で算出された強度推定値を、スイッチ３０６のから出力（図中の入力ｂを出力）し、注目画素がＢのとき、第３の処理ブロック３０４で算出された強度推定値を、スイッチ３０６から出力（図中の入力ｄを出力）し、注目画素がＥのとき、注目画素選択部３０１の出力をスイッチ３０６から出力（図中の入力ａを出力）する。

図１０は、図８の第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、または、第４の強度推定部３２３の構成を示すブロック図である。図８の第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３は、粗補間処理部３４１において粗補間を実行する場合に取得される第２の色の選択方法が異なる以外は、基本的に同様の構成を有するものである。

粗補間処理部３４１は、所定の画素位置とその周辺の８画素を用いて、局所領域内の複数の画素位置において第１の色Ｃｒと第２の色Ｃｅとの強度の組が作れるよう、簡単な演算によって、第１の色と第２の色との画素強度の推定値（以下、ラフな推定値と称する）を、後述する補間方法を用いて算出する。本発明においては色分布形状を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部３４１は、局所領域内の複数の画素（ここでは、ｎ×ｎ画素の局所領域に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）画素）における第１の色と第２の色とのラフな推定値を算出する。

統計量算出部３４２は、粗補間処理部３４１により算出された局所領域内の各画素における第１の色と第２の色との強度の組を用いて、２色間の統計量を算出する。具体的には、統計量算出部３４２は、第１の色の平均値、第２の色の平均値、第１の色の分散値、および、第１の色と第２の色の共分散値を演算して出力する。

回帰演算処理部３４３は、注目画素の画素強度と、統計量算出部３４２が算出した統計量とに基づいて、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。

図８の第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３は、以上説明したように、２つの色の統計的関係に基づいて、第１の色の強度推定値から第２の色の強度推定値を算出するものである。４種類の強度推定部の違いは、この２つの色をどのように選ぶかの違いであって、それは粗補間処理部３４１が第１の色Ｃｒと第２の色Ｃｅとして２つの色を選択する方法の差であり、統計量算出部３４２および回帰演算処理部３４３の処理は共通である。第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３のそれぞれの粗補間処理部３４１の処理について、図１１乃至図１４を用いて説明する。

第１の強度推定部３１１の粗補間処理部３４１は、２つの色として、注目画素位置にある色とその斜めに隣接する色を選択する。図１１に注目画素がＥである場合の局所領域を示す。注目画素がＥである場合、斜めに存在するのはＧなので、第１の強度推定部３１１の粗補間処理部３４１は、ＧとＥの補間値の対を求める。

第２の強度推定部３２１の粗補間処理部３４１は、２つの色として注目画素位置にある色とその左右に隣接する色を選択する。図１２に注目画素がＢである場合の局所領域を示す。注目画素がＢである場合、左右に存在するのはＧなので、第２の強度推定部３２１の粗補間処理部３４１は、ＧとＢの補間値の対を求める。

第３の強度推定部３２２の粗補間処理部３４１は、２つの色として注目画素位置にある色とその上下に隣接する色を選択する。図１３に注目画素がＲである場合の局所領域を示す。注目画素がＲである場合、上下に存在するのはＧなので、第３の強度推定部３２２の粗補間処理部３４１は、ＧとＲの補間値の対を求める。

第４の強度推定部３２３の粗補間処理部３４１は、２つの色として注目画素位置の左右に隣接する色と上下に隣接する色の２つを選択する。図１４に注目画素がＲである場合の局所領域を示す。注目画素がＲである場合は左右および上下に存在するのはＥとＧなので、第４の強度推定部３２３の粗補間処理部３４１は、ＧとＥの補間値の対を求める。

図１５は、図１０の統計量算出部３４２の構成を示すブロック図である。

統計量算出部３４２は、平均値算出部３６１、平均値算出部３６３、分散算出部３６２、および、共分散算出部３６４によって構成されている。平均値算出部３６１は粗補間処理部３４１が算出した、局所領域におけるラフな２色の補間値のうちの第１の色の値の平均値を算出する。同様に、平均値算出部３６３は、粗補間処理部２８４が算出した、局所領域におけるラフな２色の補間値のうちの第２の平均値を算出する。分散算出部３６２は、平均値算出部３６１が算出した第１の色の平均値と、局所領域における第１の色のラフな補間値から、第１の色の分散値を算出する。共分散算出部３６４は、平均値算出部３６１が算出した第１の色の平均値と第１の色のラフな補間値、および、平均値算出部３６３が算出した第２の色の平均値と第２の色のラフな補間値から、第１の色と第２の色との共分散値を算出する。

平均値算出部３６１および平均値算出部３６３は、例えば、次の式（１）を用いて、平均値Ｍｃを計算する。

・・・（１）

式（１）において、C_roughiは、供給された色Ｃ（Ｒ，Ｇ，Ｂ、または、Ｅ）のラフな強度補間値のｉ（ｉ＝１乃至Ｎ）番目のデータである。色Ｃは、平均値算出部３６１においてはＧであり、平均値算出部３６３においてはＲである。また、ｗｉは、ｉ番目のデータに対する重み値（重み付け係数）である。

重み値ｗｉは、ｉ番目のデータの位置から注目画素位置への距離などを指標として、予め設定されている値である。重み値ｗｉは、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。

分散算出部３６２は、例えば次の式（２）に示される計算式によって第１の色強度の分散値Ｖ_C1C1を計算する。

・・・（２）

この式において、Ｃ_1roughiは、色Ｃ１のラフな強度補間値のｉ番目のデータ、Ｍ_C1は色Ｃ１の平均値、ｗｉはｉ番目のデータに対する重み値である。重み値ｗｉは、平均値算出部３６１および平均値算出部３６３が用いたものと同じものを用いればよい。

共分散算出部３６４は、例えば次の式（３）に示される計算式によって、第１の信号（ここではG）と、第２の信号（ここではＲ）の共分散値Ｖ_C1C2を計算する。

この式において、Ｃ_2roughiは色Ｃ２（ここでは、Ｒ）のラフな強度補間値のｉ番目のデータ、Ｍ_C2は色Ｃ２の平均値である。

・・・（３）

式（２）を用いて説明した分散値の計算、および、式（３）を用いて説明した共分散の計算が実行された場合、定義どおりの正確な統計量が得られる。しかしながら、式（２）および式（３）の計算が実行された場合、積算が多く出現するために計算時間が長くなり、この演算をハードウェアで実現したときの回路規模が増加してしまう。そこで、より簡易な計算で、分散および共分散を算出するようにしてもよい。

例えば、共分散の演算に、次の式（４）を用いるようにしても良い。

・・・（４）

ここで、関数sgn（ａ，ｂ）は、２変数ａとｂの符号の一致を調べるものである。sgn（ａ，ｂ）の出力は｛１,０,-1｝のうちのいずれかであるので、sgn｛ａ，ｂ｝の演算は、実際には積算を必要としない。式（４）の計算は、式（３）の計算の各ｉ番目のＧとＲとの偏差の積算を、ＧとＲとの絶対偏差の和算に置き換えたものである。式（４）を用いて積算を和算に置き換えても、本発明の目的とする局所領域の色分布形状推定には充分な精度を有する近似値を算出することができる。

また、例えば、共分散の演算に、次の式（５）を用いるようにしても良い。

・・・（５）

ここで、式（５）の計算は、式（３）の計算の各ｉ番目のＧとＲとの偏差の積算を、ＧとＲとの最小値の選択処理に置き換えたものである。なお、式（４）の計算より、式（５）の計算のほうが、式（３）における共分散演算への近似精度が良い。

式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることについて説明したが、式（２）を用いて説明した分散演算は、２つの入力が等しい場合の共分散と同等であるので、式（２）を用いて説明した分散演算も、式（４）または式（５）を用いて、同様にして近似演算することが可能であることは言うまでもない。具体的には、分散演算を近似した場合は、式（４）または式（５）のいずれを用いても、（Ｃ_1roughi−Ｍ_C1）²が（Ｃ_1roughi−Ｍ_C1）に近似される。

次に、図１６は、回帰演算処理部３４３の構成を示すブロック図である。回帰演算処理部２８６は、次の式（６）に示される回帰直線を求めることにより、所定の画素強度を推定する。

・・・（６）

回帰演算処理部３４３は、傾き算出部３８１、および、画素強度推定部３８２で構成されている。

傾き算出部３８１は、Ｒの平均値Ｍ_RとＧの平均値Ｍ_Gに基づいたＧ−Ｒ色分布の傾きＫｍを算出する。具体的には、回帰演算処理部２８６は、式（７）の数式に示されるように、２つの平均値の比率を計算する。ここでは、Ｃ１はＧ、Ｃ２はＲである。

・・・（７）

M_thresholdはゼロで除算することにより値が発散するのを回避するための定数であり、
十分に小さい正の値が予め設定されている。

または、傾き算出部３８１は、Ｃ１とＣ２の共分散値Ｖ_C1,C2とＣ１の分散値Ｖ_C1,C1に基づいたＣ１−Ｃ２の色分布の傾きＫｓを算出する。ここで、Ｃ１はＧ、Ｃ２はＲである。具体的には、傾き算出部３８１は、式（８）に示されるように、分散、共分散値の比率を計算する。

・・・（８）

V_thresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（８）におけるV_thresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、V_thresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。

すなわち、分母であるＣ１の分散は、その局所領域の輝度のばらつきを反映した値であり、その値が小さいことは、その局所領域が平坦であることと同義である。固体撮像素子のノイズは、画像が平坦であるほど良く目立つため、画像の平坦な部分に限ってノイズ低減処理を施すようにすると、全体の画像の品質を下げることなく、目立つノイズを効果的に低減させることができ、好適である。また、色分布の傾きＫｓの分母をクリップし、それ以上分母が小さくならないようにすることによって、Ｋｓの絶対値が元の値より小さい値となるように抑制することができる。傾きＫｓの絶対値が小さく抑制されることによって、Ｃ１に対するＣ２の変化率が小さくなり、結果的に、その局所領域でのＣ２の振幅を抑制することができるという効果が生じる。

以上のように、傾きＫｓの分母に対するクリッピング処理により、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。このように、本発明の色推定方法を用いれば、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

すなわち、傾き算出部３８１は、ＫｓまたはＫｍのいずれか一方を、回帰直線の傾きＫとして、画素強度推定部３８２に供給する。ここで、ＫｓよりもＫｍのほうが計算が簡易な反面、第１の色と第２の色との間に強い相関をあまり期待できない場合、Ｋｓを用いたほうがより正しい推定値が得られる。逆に、第１の色と第２の色との間に強い相関を期待してよい場合、Ｋｍを用いても十分な推定値を得ることができる。すなわち、図４を用いて説明したように、ＧとＥとの分光特性に強い相関がある場合には、得られるＧとＥの画像信号にも強い相関を期待してよいので、ＧとＥを第１の色と第２の色として用いる第１の強度推定部３１１および第４の強度推定部３２３では、傾きＫにＫｍを用いてより簡易な計算で強度推定を行うことが可能である。逆にＲもしくはＢのどちらを必ず用いる第２の強度推定部３２１および第３の強度推定部３２２では、傾きＫにＫｓを用いたほうがよい。

図１７は、図１６のＲ強度推定部２８３−１乃至Ｅ強度推定部２８３−４の構成を示すブロック図である。図１７においては、信頼度算出部４７１、粗補間処理部４７２、および、合成処理部４７３をそれぞれ１つずつ図示し、ＲＧＢＥ強度推定部２８３として図示しているが、Ｒ強度推定部２８３−１乃至Ｅ強度推定部２８３−４のそれぞれに、信頼度算出部４７１、粗補間処理部４７２、および、合成処理部４７３を設けるようにしてもよいことは言うまでもない。

信頼度算出部４７１は、局所領域抽出部２８１により抽出されたｎ×ｎ（例えば、９×９）画素の矩形局所領域の画素と、Ｇ＋Ｅ強度推定処理部２８２が算出した注目画素位置のＧ＋Ｅ強度とを用いて、注目画素位置における色分布形状推定の信頼度を算出する。本発明を適用したデモザイク処理における色分布形状推定では、抽出された局所領域内に、２種類の異なる色の領域があることを想定している。通常の物体輪郭領域に関しては、この仮定が当てはまることが多いので、この仮定で、充分正確な輪郭の色再現が可能である。しかしながら、画像の中にはその仮定が当てはまらず、局所領域内に異なる３色が存在するような場合もあり得る。典型的には、細い縞模様状のテクスチャにおける場合であり、このようなテクスチャにおいて、局所領域内に多くの色が含まれ易い。そこで、信頼度算出部４７１は、このような細い縞模様状のテクスチャを検出し、そのテクスチャの強度に基づいて、この局所領域における色分布形状の推定の正確さを予想する値である信頼度値を出力する。信頼度をどのように算出するかについては後述する。

粗補間処理部４７２は、局所領域内の複数の画素位置においてＲ,Ｇ,Ｂ,Ｅ各色の強度の組が作れるよう、簡単な演算によって、Ｒ,Ｇ,Ｂ,Ｅの画素強度の推定値（以下、ラフな推定値と称する）を、後述する補間方法を用いて算出する。本発明においては色分布形状を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部７４２は、局所領域内の複数の画素（ここでは、ｎ×ｎ画素の局所領域に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）画素）におけるＲ,Ｇ,Ｂ,Ｅのラフな推定値を算出する。

合成処理部４７３は、粗補間処理部４７２により算出されたＲ,Ｇ,Ｂ,Ｅのラフな推定値のうち、ＧとＥのラフな推定値を合成し、ＧＥの合成されたラフな推定値を算出する。

統計量算出部３４２−１乃至統計量算出部３４２−４は、図１５を用いて説明した統計量算出部３４２と基本的に同様の構成を有している。統計量算出部３４２−１は、合成処理部４７３から供給されたＧＥの合成されたラフな推定値と、粗補間処理部４７２により算出されたＲのラフな推定値を基に、統計量を算出し、回帰演算処理部４７４−１に供給する。統計量算出部３４２−２は、合成処理部４７３から供給されたＧＥの合成されたラフな推定値と、粗補間処理部４７２により算出されたＧのラフな推定値を基に、統計量を算出し、回帰演算処理部４７４−２に供給する。統計量算出部３４２−３は、合成処理部４７３から供給されたＧＥの合成されたラフな推定値と、粗補間処理部４７２により算出されたＢのラフな推定値を基に、統計量を算出し、回帰演算処理部４７４−３に供給する。統計量算出部３４２−４は、合成処理部４７３から供給されたＧＥの合成されたラフな推定値と、粗補間処理部４７２により算出されたＥのラフな推定値を基に、統計量を算出し、回帰演算処理部４７４−４に供給する。

回帰演算処理部４７４−１乃至４７４−４は、Ｇ＋Ｅ強度推定処理部２８２が算出した注目画素位置のＧ＋Ｅ強度、信頼度算出部４７１が算出した信頼度情報、および、統計量算出部３４２−１乃至統計量算出部３４２−４のうちのいずれか対応するものが算出した統計量を基に、回帰演算を行い、回帰演算処理部４７４−１はＲの推定値を、回帰演算処理部４７４−２はＧの推定値を、回帰演算処理部４７４−３はＢの推定値を、回帰演算処理部４７４−４はＥの推定値をそれぞれ算出して出力する。

図１８は、信頼度算出部４７１の構成を示すブロック図である。信頼度算出部４７１は、具体的には、細い縞模様状のテクスチャを検出するために、注目画素位置周囲の（Ｇ＋Ｅ）強度に対する方向別の低周波フィルタを算出して、注目画素位置の（Ｇ＋Ｅ）強度との差分演算処理を実行することにより、高周波抽出を行って、注目画素位置周囲において「明−暗−明」または「暗−明−暗」といった輝度変化がある場合、これを方向別に検出し、方向別の検出結果を統合することによって信頼度を算出する。信頼度算出部４７１は、高周波抽出部４８１−１乃至４８１−６、加算処理部４８２、および、クリップ処理部４８３で構成される。６つの高周波抽出部４８１−１乃至４８１−６は、注目画素を中心として、それぞれ異なる６つの方向の高周波抽出を行い、その強度を出力する。

信頼度算出部４７１の周波抽出部４８１−１乃至４８１−６による方向別高周波抽出の具体例について、図１９を用いて説明する。図１９は、局所領域抽出部２８１により抽出された、９×９画素の局所領域を示したものである。説明のため、図中、画素の行および列に１乃至９の番号が割り当てられている。図１９Ａは、注目画素（図中、５行５列目の位置にある画素）がＥである場合、図１９Ｂは、注目画素がＲである場合を示す。なお、信頼度の算出に関してはＧおよびＥの画素のみを用いるので、注目画素がＧである場合はＥである場合と同様の処理が実行されて、注目画素がＢである場合はＲである場合と同様の処理が実行される。

まず、画素から水平および垂直にちょうど１／２だけずれた（すなわち、４つの画素に囲まれる）位置であって、注目画素に近い位置から１２箇所の位置（図中、丸印で示される位置）の（Ｇ＋Ｅ）強度が算出される。具体的には、図１９に示した１２箇所の位置の全てにおいて、斜めにＧの画素とＥの画素とが隣接しているので、その２つの画素の強度の平均値を用いて、１２箇所それぞれの（Ｇ＋Ｅ）強度とする。ここで、注目画素がＧまたはＥである場合と、注目画素がＲまたはＢである場合とでは、隣接するＧの方向が異なるが、いずれの場合においても、それぞれの位置でＧおよびＥが存在する方向は、注目画素がＧもしくはＥであるか、または、ＲもしくはＢのいずれかであるかを基に判別することができる。

このようにして、１２箇所において（Ｇ＋Ｅ）強度が算出された後、それらを用いて６方向の低周波フィルタを計算する。図２０を用いてフィルタの方向について説明する。図２０においては、局所領域中、特に、注目画素付近の５×５画素のみが図示されている。

１２箇所の（Ｇ＋Ｅ）強度の算出位置は、注目画素位置（図２０における図中の３行３列目）を中心に点対称の配置となっていて、互いに対称の位置にある（Ｇ＋Ｅ）強度の対が、図中、Ａで示される（Ｇ＋Ｅ）強度の組、Ｄで示される（Ｇ＋Ｅ）強度の組、ＶＡで示される（Ｇ＋Ｅ）強度の組、ＶＤで示される（Ｇ＋Ｅ）強度の組、ＨＡで示される（Ｇ＋Ｅ）強度の組、および、ＨＤで示される（Ｇ＋Ｅ）強度の組の、合計６つできる。これらの６つの（Ｇ＋Ｅ）強度の対において、それぞれ平均値を算出するようなフィルタを用いれば、６方向の低周波フィルタが算出される。更に、それら低周波フィルタの出力と注目画素位置の（Ｇ＋Ｅ）強度の差分をとれば、方向別の高周波抽出ができる。

そして、加算処理部４８２は、６つの高周波抽出結果を適当なバランスで加算した値を出力する。クリップ処理部４８３は、加算処理部４８２による加算処理結果にクリッピング処理を施し、クリップされた高周波抽出の加算値を信頼度値として出力する。

算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高いということになる。

次に、粗補間処理部２８４は、局所領域内の複数の位置においてＲ,Ｇ,Ｂ,Ｅ各色の強度の組が作れるよう、複雑な計算方法でない方法で、Ｒ,Ｇ,Ｂ,Ｅの推定値（ラフな推定値）を、補間によって算出する。図２１を用いて、粗補間処理部２８４による粗補間処理について説明する。

図２１は、局所領域抽出部２８１により抽出された、９×９画素の局所領域の画素を示したものである。粗補間処理部２８４は、この９×９の画素領域のうち、２行目乃至８行目および２列目乃至８列目の７×７の画素位置上に、ラフな補間を用いてＲ,Ｇ,Ｂ,Ｅ強度を揃えるようにする。例えば、Ｅに注目すると、図中２行２列目の画素に示されるように、周囲斜め４方向の画素からＧの補間値を計算することができ、２行４列目の画素に示されるように、上下２画素からＲの補間値を計算することができ、また、２行６列目の画素に示されるように、左右２画素からＢの補間値を計算することができる。カラーフィルタの色配列がベイヤー配列である場合、このような斜め４画素、上下２画素、左右２画素からの補間はどの画素位置でも可能であり、自分自身の画素値を含めると、それぞれＲ,Ｇ,Ｂ,Ｅのいずれかの補間値となる。すなわち、各画素位置の信号の色（補正前の色）を含めると、各画素で必ずＲの補間値が１つ、Ｇの補間値が１つ、Ｂの補間値が１つ、Ｅの補間値が１つ得られる。このようにして、粗補間処理部２８４は、Ｒ,Ｇ,Ｂ,Ｅのラフな推定値を各画素位置で算出することができる。

ここで、粗補間処理部２８４で得られるＲ,Ｇ,Ｂ,Ｅの推定値は、同じ位置におけるＲ,Ｇ,Ｂ,Ｅの推定値の組が得られればよいのであって、必ずしも本来のセンサの画素位置上でなくてもかまわない。

次に、図２２は、回帰演算処理部４７４の構成を示すブロック図である。図２２においては、Ｒに関する回帰演算処理部４７４（すなわち、回帰演算処理部４７４−１）を示しているが、Ｇ，ＢおよびＥに関する動作は、ＲをＧ，ＢまたはＥに置き換えればよいだけであり、基本的に同一の処理が実行される。

回帰演算処理部４７４は、傾き算出部５０１、傾き算出部５０２、傾き合成部５０３、および、画素強度推定部５０４で構成されている。

傾き算出部５０１は、Ｒの平均値Ｍ_RとＧの平均値Ｍ_Gに基づいたＧ−Ｒ色分布の傾きＫｍを算出する。具体的には、回帰演算処理部４７４は、上述した式（７）を用いて、２つの平均値の比率を計算する。ここでは、Ｃ１はＧ、Ｃ２はＲである。

M_thresholdはゼロで除算することにより値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定されている。

傾き算出部５０２は、Ｃ１とＣ２の共分散値Ｖ_C1,C2とＣ１の分散値Ｖ_C1,C1に基づいたＣ１−Ｃ２の色分布の傾きＫｓを算出する。ここで、Ｃ１はＧ、Ｃ２はＲである。具体的には、傾き算出部５０２は、上述した式（８）を用いて、分散、共分散値の比率を計算する。

V_thresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（８）におけるV_thresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、V_thresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。

すなわち、分母であるＣ１の分散は、その局所領域の輝度のばらつきを反映した値であり、その値が小さいことは、その局所領域が平坦であることと同義である。固体撮像素子のノイズは、画像が平坦であるほど良く目立つため、画像の平坦な部分に限ってノイズ低減処理を施すようにすると、全体の画像の品質を下げることなく、目立つノイズを効果的に低減させることができ、好適である。また、色分布の傾きＫｓの分母をクリップし、それ以上分母が小さくならないようにすることによって、Ｋｓの絶対値が元の値より小さい値となるように抑制することができる。傾きＫｓの絶対値が小さく抑制されることによって、Ｃ１に対するＣ２の変化率が小さくなり、結果的に、その局所領域でのＣ２の振幅を抑制することができるという効果が生じる。

以上のように、傾きＫｓの分母に対するクリッピング処理により、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。このように、本発明の色推定方法を用いれば、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

傾き合成部５０３は、２つの傾き推定値ＫｍとＫｓとを、信頼度ｈに基づいて合成し、傾き推定値Ｋを算出する。上述したとおり、分散、共分散に基づく傾き推定値Ｋｓは、細い縞模様状のテクスチャがある領域では正しい推定ができるとは限らない。そこで、傾き合成部５０３は、細い縞模様状のテクスチャの強度を反映した信頼度ｈを用いて、例えば式（９）を用いて、平均値に基づく傾き推定値Ｋｍと合成して、傾き推定値Ｋを算出するようにする。

・・・（９）

そして、画素強度推定手段３５４は、得られた傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R、並びに、注目画素位置のＧ強度を、次の式（１０）の線形回帰式に当てはめることによって、注目画素位置のＲ強度の推定値を算出する。

・・・（１０）

ここで、Ｃ_1center、および、Ｃ_2centerは、それぞれ、注目画素位置の第１の信号に対応する色Ｃ１（すなわちＧ）の強度、および、注目画素位置の第２の信号に対応する色Ｃ２（すなわちＲ）の強度推定値である。

また、画素強度推定手段５０４は、式（１０）とは異なる回帰式を用いて、強度推定値を算出するようにしてもよい。例えば式（１１）に示されるように、適当な定数uを傾き推定値Ｋに乗算させて、線形回帰計算を行うようにしてもよい。

・・・（１１）

式（１１）において、第1項は第２の信号に対応する色Ｃ２（すなわち、Ｒ)強度の高周波成分、第２項は低周波成分と考えることができる。そして、式（１１）においては、その高周波成分を適当な定数uで少し増強することにより、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

以上においては、統計量算出部３４２において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部４７４において、回帰直線の傾きＫが算出される場合について説明したが、回帰直線の傾きは、これ以外の方法を用いて算出するようにしてもよい。

例えば、標準偏差および相関係数を用いて回帰直線の傾きを計算する定義式は以下の式（１２）に表される。

・・・（１２）

標準偏差Ｓｘ，Ｓｙは、データ値が平均の周囲にどれだけの幅で分布しているのかを表す統計量であり、２変数のｘｙ方向の変分を表すｄｘ、ｄｙに近い値であると考えられる。回帰直線は、この式（１２）を用いて求めるようにしてもよい。

また、特に、正の傾きの直線上にデータが分布し、Ｒｘｙが１になる場合、Ｓｘ，Ｓｙはｄｘ、ｄｙと等価になる。つまり、計算の複雑な標準偏差を用いる代わりに、データ分布幅を表し、演算がより簡単な他の統計量があれば、Ｓｘ，Ｓｙを、データ分布幅を表す他の統計量に置き換えても、回帰直線の傾きは、近い振る舞いを示すことが期待できる。

そこで、データ分布幅を表す他の統計量として、標準偏差と並んでデータの分布幅を表すために用いられる平均偏差を代替に用いる。ｘの平均偏差Ａｘの定義は、次の式（１３）で示される。

・・・（１３）

同様にして、ｙの平均偏差Ａｙも、次の式（１４）で示される。

・・・（１４）

平均偏差ＡｘおよびＡｙを用いて、Ｒｘｙを書き改めると、次の式（１５）が得られる。

・・・（１５）

標準偏差を用いた演算に平方根や乗算が必要であることと比較して、平均偏差は少ない計算量で算出することができる。そして、更に、Ｖｘｙの算出に用いられる乗算や、Ａｘ，Ａｙの乗算を近似演算することで、Ｒｘｙの近似を高速に算出することができる。

このように、統計量算出部３４２において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部４７４において、回帰直線の傾きＫを算出する処理に代わって、標準偏差および相関関数を用いて、２系統のデータの２次元分布における回帰直線の傾きを計算したり、または、偏差と相関に関してそれぞれ近似演算した後、２系統のデータの２次元分布における回帰直線の傾きを計算するようにしてもよい。

次に、図２３のフローチャートを参照して、図５のＤＳＰブロック２１６の処理について説明する。

ステップＳ１において、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。

ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように、第１のガンマ補正を行う。

ステップＳ４において、デモザイク処理部２５３により、図２４を用いて後述するデモザイク処理が実行される。

ステップＳ５において、ガンマ逆補正部２５４は、デモザイク処理部２５３からの出力であるＲ^γ，Ｇ^γ，Ｂ^γ，Ｅ^γの４チャネル画像に適用したガンマ特性の逆を適用してガンマ逆補正処理を施し、ガンマ特性をリニア特性に直す処理を行う。

ステップＳ６において、マトリックス処理部２５５は、係数が予め設定された３行４列のリニアマトリックスを、ガンマ逆補正部２５４から供給されたＲ，Ｇ，Ｂ，Ｅの４チャネル画像に適用し、３原色の強度値[Ｒｍ,Ｇｍ,Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要があるので、その処理の前段において、ガンマ逆補正部２５４によりガンマ逆補正が施される必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であり、マトリックス処理はデモザイク処理後に適用されるので、マトリックス処理部２５５により用いられるリニアマトリックス係数は、適宜設計される値であってよい。マトリックス処理部２５５の出力は、色補正されたＲｍ,Ｇｍ,Ｂｍの３つの色に対応する３つの画像となる。

ステップＳ７において、ガンマ補正部２５６は、色補正された３チャネル画像に対して第２のガンマ補正を行う。

ＹＣ変換部２５７は、ステップＳ８において、ガンマ補正部２５６から供給される、Ｒ,Ｇ,Ｂの３チャネル画像に、ＹＣマトリックス処理およびクロマ成分に対する帯域制限を行とで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ９において、生成したＹ画像およびＣ画像を出力し、処理が終了される。

このような処理により、ＤＳＰブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図２４のフローチャートを参照して、図２３のステップＳ４において実行されるデモザイク処理１について説明する。

局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（ｎ×ｎ）の画素を、局所領域として抽出し、Ｇ＋Ｅ強度推定処理部２８２、および、ＲＧＢＥ強度推定部２８３に供給する。

ステップＳ２３において、図２５のフローチャートを用いて後述するＧ＋Ｅ強度推定処理が実行される。

ステップＳ２４において、図５０のフローチャートを用いて後述する、色強度推定処理１が、図６のＲＧＢＥ強度推定部２８３のそれぞれにおいて並行して実行される。

ステップＳ２５において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２５において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２７において、全ての画素において処理が終了したと判断された場合、処理は、図２３のステップＳ５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２６の処理が終了された場合、処理が終了される。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。

次に、図２５のフローチャートを参照して、図２４のステップＳ２３において実行されるＧ＋Ｅ強度推定処理について説明する。

ステップＳ４１において、Ｇ強度推定部２９１は、図２６を用いて後述する、注目画素位置のＧ強度推定値算出処理を実行する。

ステップＳ４２において、Ｅ強度推定部２９２は、図２６を用いて後述する、注目画素位置のＥ強度推定値算出処理を実行する。

加算処理部２９３は、ステップＳ４３において、ステップＳ４１において算出されたＧ強度推定値と、ステップＳ４２において算出されたＥ強度推定値とを加算して、Ｇ＋Ｅ強度推定値を算出し、ステップＳ４４において、Ｇ＋Ｅ強度推定値を出力して、処理は、図２４のステップＳ２４に戻る。

このような処理により、市松状に配置されたＧとＥとからなる新たな強度推定値であるＧ＋Ｅ強度推定値を算出することができるので、後述するＲＧＢＥの各色の強度の推定演算に用いることが可能となる。

なお、ステップＳ４１の処理とステップＳ４２の処理とは、並行して実行されても、その処理の順番を逆にしてもよい。

次に、図２６のフローチャートを参照して、図２５のＧ＋Ｅ強度推定処理のステップＳ４１およびステップＳ４２において実行される注目画素位置のＧ強度推定値算出処理および注目画素位置のＥ強度推定値算出処理について説明する。

すなわち、Ｇ強度推定部２９１が実行する注目画素位置のＧ強度推定値算出処理と、Ｅ強度推定部２９２が実行する注目画素位置のＥ強度推定値算出処理とは、補間するべき色がＧであるかＥであるかが異なるだけで、基本的に同様の処理が実行される。

また、図８のＧ強度推定部２９１またはＥ強度推定部２９２のブロック図の説明においては、注目画素位置が何色であるかに基づいて異なる４種類の動作全てについて推定値を予め算出し、最後にスイッチ３０６によってどれを出力するかを選択するようにした。しかし同様の処理をソフトウェアで実現する場合では、まず注目画素が何色かを判別し、それにしたがって実行すべき動作を選択するような動作順序のほうが効率がよい。

ステップＳ６１において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、注目画素の色が補間するべき色（Ｇ強度推定部２９１の処理においてはＧ、Ｅ強度推定部２９２の処理においてはＥ）であるか否かを判断する。

ステップＳ６１において、注目画素の色が補間するべき色であると判断された場合、ステップＳ６２において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、注目画素位置の画素強度を出力して、処理は、図２５のステップＳ４２またはステップＳ４３に進む。

ステップＳ６１において、注目画素の色が補間するべき色ではないと判断された場合、ステップＳ６３において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、注目画素の色が補間するべき色ではないＧまたはＥのいずれか（Ｇ強度推定部２９１の処理においてはＥ、Ｅ強度推定部２９２の処理においてはＧ）であるか否かを判断する。

ステップＳ６３において、注目画素の色が補間するべき色ではないＧまたはＥのいずれかであると判断された場合、ステップＳ６４において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、第１の処理ブロック３０２により補間すべき強度推定値を算出し、出力して、処理は、図２５のステップＳ４２またはステップＳ４３に進む。

ステップＳ６３において、注目画素の色が補間するべき色ではないＧまたはＥのいずれかではないと判断された場合、ステップＳ６５において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、注目画素の色が補間するべき色の左右に配置された色（例えば、図３の４色配列がカラーフィルタとして用いられていた場合、Ｇ強度推定部２９１の処理においてはＢ、Ｅ強度推定部２９２の処理においてはＲ）であるか否かを判断する。

ステップＳ６５において、注目画素の色が補間するべき色の左右に配置された色であると判断された場合、ステップＳ６６において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、第２の処理ブロック３０３により補間すべき強度推定値を算出し、出力して、処理は、図２５のステップＳ４２またはステップＳ４３に進む。

ステップＳ６５において、注目画素の色が補間するべき色の左右に配置された色であると判断された場合、ステップＳ６７において、Ｇ強度推定部２９１またはＥ強度推定部２９２は、第３の処理ブロック３０４により補間すべき強度推定値を算出し、出力して、処理は、図２５のステップＳ４２またはステップＳ４３に進む。

このような処理により、Ｇ強度推定部２９１またはＥ強度推定部２９２は、注目画素位置におけるＧまたはＥの強度を推定することができる。

図２６のステップＳ６４、ステップＳ６６、または、ステップＳ６７の処理、すなわち、第１の処理ブロック３０２乃至第３の処理ブロック３０４がそれぞれ実行する処理においては、図１０を用いて説明した第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、または、第４の強度推定部３２３において、粗補間処理部３４１による粗補間処理１、統計量算出部３４２による２色分布形状の統計量算出処理、および、回帰演算処理部３４３による補間画素推定処理１が実行される。

図２７乃至図３４を用いて、粗補間処理部３４１による粗補間処理１、統計量算出部３４２による２色分布形状の統計量算出処理、および、回帰演算処理部３４３による補間画素推定処理１について説明する。

まず、図２７のフローチャートを参照して、粗補間処理１について説明する。

ここで、第１の強度推定部３１１の粗補間処理部３４１は、注目画素位置にある色を第１の色とし、その斜めに隣接する色を第２の色として選択するものとする。また、第２の強度推定部３２１の粗補間処理部３４１は、注目画素位置にある色を第１の色とし、その左右に隣接する色を第２の色として選択するものとする。第３の強度推定部３２２の粗補間処理部３４１は、注目画素位置にある色を第１の色とし、その上下に隣接する色を第２の色として選択するものとする。第４の強度推定部３２３の粗補間処理部３４１は、注目画素位置の左右に隣接する色と上下に隣接する色の２つを第１の色および第２の色として選択する。

粗補間処理部３４１は、ステップＳ７１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ７２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ７３において、粗補間処理部３４１は、画素（ｓ、ｔ）と、その周辺８画素から、第１の色の画素値を抽出し、その平均値を第１の画素の補間値として算出する。

ステップＳ７４において、粗補間処理部３４１は、画素（ｓ、t）と、その周辺８画素から、第２の色の画素値を抽出し、その平均値を第２の画素の補間値として算出する。

ステップＳ７５において、粗補間処理部３４１は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ７５において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ７６において、粗補間処理部３４１は、第２のレジスタの値ｔをｔ＝ｔ＋１とし、処理は、ステップＳ７３に戻り、それ以降の処理が繰り返される。

ステップＳ７５において、ｔ＝ｎ−１であると判断された場合、ステップＳ７７において、粗補間処理部３４１は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ７７において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ７８において、粗補間処理部３４１は、第１のレジスタの値ｓをｓ＝ｓ＋１とし、処理は、ステップＳ７２に戻り、それ以降の処理が繰り返される。

ステップＳ７７において、ｓ＝ｎ−１ではあると判断された場合、ステップＳ７９において、粗補間処理部３４１は、注目画素付近の（ｎ−２）×（ｎ−２）画素の第１の色および第２の色の補間値の組を出力して処理が終了される。

このような処理により、粗補間処理部３４１は、注目画素付近の画素から、第１の色のラフな補間値と第２の色のラフな補間値を算出することができる。

次に、図２８のフローチャートを参照して、統計量算出部３４２において実行される、２色分布形状の統計量算出処理について説明する。

ステップＳ９１において、統計量算出部３４２の平均値算出部３６１は、粗補間値処理部２８４から供給された粗補間値のうちの、第１の信号を取得する。

ステップＳ９２において、平均値算出部３６１は、図２９または図３０のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９３において、平均値算出部３６３は、粗補間値処理部２８４から供給された粗補間値のうちの、第２の信号を取得する。

ステップＳ９４において、平均値算出部３６３は、図２９または図３０のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９５において、分散算出部３６２は、図３５または図３６のフローチャートを用いて後述する、分散計算処理を実行する。

ステップＳ９６において、共分散算出部３６４は、図３７のフローチャートを用いて後述する、共分散近似計算処理を実行する。

次に、図２９のフローチャートを参照して、図２８のステップＳ９２またはステップＳ９４において実行される平均値計算処理１について説明する。

ステップＳ１１１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。

ステップＳ１１２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）を合計する。

ステップＳ１１３において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）で除算する。

ステップＳ１１４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１３の処理により算出された除算結果を出力する。

また、平均値を求める場合、粗補間された第１の色および第２の色のそれぞれの強度に、注目画素からの距離により、重み付けを施して、重み付けが施されたＲＧＢ強度を基に、平均値を求めるようにしても良い。

図３０のフローチャートを参照して、図２８のステップＳ９２またはステップＳ９４において実行される平均値計算処理２について説明する。

ステップＳ１２１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。

ステップＳ１２２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）に、例えば、図３１乃至図３４に示されるような重み付けを施し、重み付けられた値を合計する。

重み値ｗ_iは、ｉ番目のデータの位置から注目画素位置への距離などを指標に予め設定され、また、第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３のそれぞれで異なる重み値が設定されるようにしてもよい。図３１乃至図３４に、第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３のそれぞれで用いられる重み値の例を示す。図中の四角形は９×９の局所領域における画素位置を示し、四角形内の数字が、該当する位置のデータの重み値を示す。

ステップＳ１２３において、平均値算出部３６１または平均値算出部３６３は、重み付けの総和を演算する。

ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、上述した式（１）を演算する。すなわち、ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）と、ステップＳ１２３において算出された重み付けの総和との積で除算する。

ステップＳ１２５において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２４の処理により算出された除算結果を出力する。

このような処理により、式（１）を用いて説明した重み付け平均の演算が実行される。

次に、図３５のフローチャートを参照して、図２８のステップＳ９５において実行される分散計算処理１について説明する。

ステップＳ１４１において、統計量算出部３４２の分散算出部３６２は、演算結果であるとして出力する分散値Ｖｘｘ（ここでは、第１の色Ｃｒの分散値であるのでＶ_CrCrに置き換えられる。以下、省略する）を初期化する。

ステップＳ１４２において、分散算出部３６２は、平均値算出部３６１により算出された第１の信号の平均値Ｍ_x（ここでは、Ｍ_xの添え字ｘは、Ｃｒに置き換えられる。以下、省略する）を取得する。

分散算出部３６２は、ステップＳ１４３において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ'＝２とし、ステップＳ１４４において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ'＝２とする。

ステップＳ１４５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘ（すなわち、Ｃｒroughi、以下、省略する）から、ステップＳ１４２において取得された平均値Ｍ_Crを減算し、減算結果を２乗して、現在の分散値Ｖ_CrCrに加えた値を、分散値Ｖ_CrCrとして更新する。すなわち、分散算出部３６２は、Ｖ_CrCr＝Ｖ_CrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図１１または図１２を用いて説明したような重み付けを施すようにしても良い。

ステップＳ１４６において、分散算出部３６２は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ'＝ｎ−１であるか否かを判断する。

ステップＳ１４６において、ｔ'＝ｎ−１ではないと判断された場合、ステップＳ１４７において、分散算出部３６２は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ１４５に戻り、それ以降の処理が繰り返される。

ステップＳ１４６において、ｔ'＝ｎ−１であると判断された場合、ステップＳ１４８において、分散算出部３６２は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−１であるか否かを判断する。

ステップＳ１４８において、ｓ'＝ｎ−１ではないと判断された場合、ステップＳ１４９において、分散算出部３６２は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ１４８において、ｓ'＝ｎ−１であると判断された場合、ステップＳ１５０において、分散算出部３６２は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の粗補間値の分散値Ｖ_CrCrを出力し、処理は、図２８のステップＳ９６に戻る。

分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を重み係数の総和で除算することにより、分散値を算出することができる。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

また、図３５を用いて説明した分散計算処理１においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。

次に、図３６のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図２８のステップＳ９５において実行される分散計算処理２について説明する。

ステップＳ１７１乃至ステップＳ１７４においては、図３５を用いて説明したステップＳ１４１乃至ステップＳ１４４と同様の処理が実行される。

ステップＳ１７５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘから、ステップＳ１４２において取得された平均値Ｍ_Crを減算し、減算結果を２乗して、現在の分散値Ｖ_CrCrに加えた値を、分散値Ｖ_CrCrとして更新する。すなわち、分散算出部３６２は、Ｖ_CrCr＝Ｖ_CrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図３１乃至図３４に示されるように、平均値の演算と同様の重み付けを施すようにしても良い。

値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ²は｜ｐ｜で近似することが可能である。これは、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることと同様である。

そして、ステップＳ１７６乃至ステップＳ１８０においては、図３５を用いて説明したステップＳ１４６乃至ステップＳ１５０と同様の処理が実行され、処理は、図２８のステップＳ９６に戻る。

このように、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算を行う場合と同様の近似演算処理により、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。

次に、図３７のフローチャートを参照して、図２８のステップＳ９６において実行される、共分散計算処理について説明する。

ステップＳ２０１において、共分散算出部３６４は、出力される値である共分散値Ｖ_xy（ここでは、第１の色Ｃｒと第２の色Ｃｒとの共分散値であるのでＶ_CrCeに置き換えられる。以下、省略する）を初期化する。

ステップＳ２０２において、共分散算出部３６４は、平均値算出部３６１による図２８のステップＳ９２の処理により算出された第１の信号の平均値Ｍ_Cr、および、平均値算出部３６３による図２８のステップＳ９４の処理により算出された第２の平均値Ｍ_Ceを取得する。

ステップＳ２０３において、共分散算出部３６４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ’＝２とする。

ステップＳ２０４において、共分散算出部３６４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ’＝２とする。

ステップＳ２０５において、図３９または図４０を用いて後述する積算処理が実行される。

ステップＳ２０６において、共分散算出部３６４は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ’＝ｎ−１であるか否かを判断する。

ステップＳ２０６において、ｔ'＝ｎ−１ではないと判断された場合、ステップＳ２０７において、共分散算出部３６４は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ２０５に戻り、それ以降の処理が繰り返される。

ステップＳ２０６において、ｔ'＝ｎ−１であると判断された場合、ステップＳ２０８において、共分散算出部３６４は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−１であるか否かを判断する。

ステップＳ２０８において、ｓ'＝ｎ−１ではないと判断された場合、ステップＳ２０９において、共分散算出部３６４は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ２０４に戻り、それ以降の処理が繰り返される。

ステップＳ２０８において、ｓ'＝ｎ−１であると判断された場合、ステップＳ２０９において、共分散算出部３６４は、共分散値Ｖ_CrCeを出力して、処理は、終了される。

共分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍ_Ce｜）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、共分散値の算出において、重み付けが施された場合、式（３）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍ_Ce｜）を重み係数の総和で除算することにより、共分散値を算出することができる。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

上述した図３７の共分散計算処理のステップＳ２０５において実行される積算処理には、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される積算処理１と、近似演算を用いて共分散値が算出される場合に実行される積算処理２との、２種類の処理がある。

次に、図３８のフローチャートを参照して、図３７のステップＳ２０５において実行される積算処理１について説明する。積算処理１は、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される処理である。

ステップＳ２２１において、共分散算出部３６４は、（第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍ_Cr）と、（第２の信号の画素（ｓ’，ｔ’）の強度Ｙ（すなわち、Ｃｅroughi。以下、省略する）−第２の信号の平均値Ｍ_Ce）の積を演算する。

ステップＳ２２２において、共分散算出部３６４は、Ｖ_CrCe＝Ｖ_CrCe＋ｗｉ（積算結果）とし、処理は、図３７のステップＳ２０６に進む。ここで、ｗｉは、画素（ｓ’，ｔ’）における重み付けの値である。

このような積算処理が実行されることにより、上述した式（３）を用いて、定義どおり、共分散値が算出される。積算処理１が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。

次に、図３９のフローチャートを参照して、図３７のステップＳ２０５において実行される積算処理２について説明する。積算処理２は、上述した式（４）または式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２４１において、共分散算出部３６４は、｛第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍ_Cr｝をｐとする。

ステップＳ２４２において、共分散算出部３６４は、｛第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍ_Ce｝をｑとする。

ステップＳ２４３において、図４０、または、図４１を用いて後述する積算近似処理が実行される。

ステップＳ２４４において、共分散算出部３６４は、Ｖ_CrCe＝Ｖ_CrCe＋（ｐｑの近似値）とし、処理は、処理は、図３７のステップＳ２０６に進む。

次に、図４０のフローチャートを参照して、図３９のステップＳ２４３において実行される積算近似処理１について説明する。積算近似処理１は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２６１において、共分散算出部３６４は、図３９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ２６２において、共分散算出部３６４は、ｐ≧０であるか否かを判断する。

ステップＳ２６２において、ｐ≧０であると判断された場合、ステップＳ２６３において、共分散算出部３６４は、ｐｑの近似値＝＋ｑとし、処理は、図３９のステップＳ２４４に戻る。

ステップＳ２６２において、ｐ≧０ではないと判断された場合、ステップＳ２６４において、共分散算出部３６４は、ｐｑの近似値＝−ｑとし、処理は、図３９のステップＳ２４４に戻る。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ２６５において、共分散算出部３６４は、ｑ≧０であるか否かを判断する。

ステップＳ２６５において、ｑ≧０であると判断された場合、ステップＳ２６６において、共分散算出部３６４は、ｐｑの近似値＝＋ｐとし、処理は、図３９のステップＳ２４４に戻る。

ステップＳ２６５において、ｑ≧０ではないと判断された場合、ステップＳ２６７において、共分散算出部３６４は、ｐｑの近似値＝−ｐとし、処理は、図３９のステップＳ２４４に戻る。

この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。

図４０を用いて説明した処理により、上述した式（４）を用いて、共分散値を近似することが可能である。

次に、図４１のフローチャートを参照して、図３９のステップＳ２４３において実行される積算近似処理２について説明する。積算近似処理２は、上述した式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２８１において、共分散算出部３６４は、図３９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、ｐまたはｑが０であるか否かを判断する。

ステップＳ２８１において、ｐまたはｑが０であると判断された場合、ステップＳ２８１において、共分散算出部３６４は、ｐｑの近似値を０とし、処理は、図３９のステップＳ２４４に戻る。

ステップＳ２８１において、ｐおよびｑはいずれも０ではないと判断された場合、ステップＳ２８３において、共分散算出部３６４は、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であるか否かを判断する。

ステップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であると判断された場合、ステップＳ２８４において、共分散算出部３６４は、ｐｑの近似値を（｜ｐ｜＋｜ｑ｜）／２とし、処理は、図３９のステップＳ２４４に戻る。

テップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれでもないと判断された場合、ステップＳ２８５において、共分散算出部３６４は、ｐｑの近似値を、（−｜ｐ｜−｜ｑ｜）／２とし、処理は、図３９のステップＳ２４４に戻る。

なお、図３９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐまたはｑが、０の値を取ることは、信号の種類によってはまれな場合がある。そこで、ステップＳ２８１およびステップＳ２８２の処理を省略するようにしてもよい。このようにすることにより、演算処理速度を高速化したり、ハードウェアの実装規模を縮小するようにすることが可能である。

図４１を用いて説明した処理により、上述した式（５）を用いて、共分散値を近似することが可能である。

図３９乃至図４１を用いて説明した積算処理が実行されることにより、上述した式（４）または式（５）を用いて、共分散値を近似することが可能である。このようにした場合、式（３）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。

次に、図４２のフローチャートを参照して、図１６の回帰演算処理部３４３において実行される、補間画素推定処理１について説明する。

ステップＳ２９１において、傾き算出部３８１は、上述した式（７）または式（８）を用いて、分散値および共分散値に基づく傾きＫを算出する。

ここで、傾き算出部３８１は、上述した式（８）に示されるように、傾きＫをＫｓによって求める場合Ｋｓの分母に対するクリッピング処理を行う。このクリッピング処理は、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。この処理が実行されることにより、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

ステップＳ２９２において、画素強度推定部３８２は、ステップＳ２９１において算出された傾きＫ、２つの平均値Ｍ_CrおよびＭ_Ce、並びに、注目画素の画素強度とを基に、上述した式（６）の線形回帰式を用いて、注目画素位置の強度推定値を算出し、処理が終了される。

このような処理により、注目画素位置の各色の推定強度を算出することができる。特に、推定強度を算出する場合の線形回帰式に、上述した式（１１）と同様にして、傾きＫに、１より大きな適当な定数uを乗算することにより、その高周波成分を少し増強して、適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

次に、図４３のフローチャートを参照して、図８のテクスチャ方向判定部３０５が実行するテクスチャ方向判定処理について説明する。

ステップＳ３０１において、テクスチャ方向判定部３０５は、次の式（１６）を用いて注目画素（ｊ，ｋ）における横方向のグラディエント値ｄＨを算出するとともに、式（１７）を用いて縦方向のグラディエント値ｄＶを算出する。すなわち、テクスチャ強度算出処理部３３４は、注目画素（ｊ’，ｋ’）から左右（水平方向）に２つ離れた画素位置のモザイク画像信号Ｍと注目画素のモザイク画像信号Ｍの差の絶対値の平均に、注目画素の左右（水平方向）に１つ離れた画素位置のモザイク画像信号Ｍ同士の差の絶対値を加算したものをｄＨとして算出するとともに、注目画素の上下（垂直方向）に２つ離れた画素位置のモザイク画像信号Ｍと注目画素のモザイク画像信号Ｍの差の絶対値の平均に、注目画素の上下（垂直方向）に１つ離れた画素位置のモザイク画像信号Ｍ同士の差の絶対値を加算したものをｄＶとして算出する。

ｄＨ＝｛（｜Ｍ（ｊ'−２，ｋ'）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'＋２，ｋ'）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'−１，ｋ'）−Ｍ（ｊ'＋１，ｋ'）｜｝／２
・・・（１６）
ｄＶ＝｛（｜Ｍ（ｊ'，ｋ'−２）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'，ｋ'＋２）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'，ｋ'−１）−Ｍ（ｊ'，ｋ'＋１）｜｝／２
・・・（１７）

ステップＳ３０２において、テクスチャ方向判定部３０５は、テクスチャ強度ｄＨ＞テクスチャ強度ｄＶであるか否かを判定し、ｄＨ＞ｄＶであると判定された場合、ステップＳ２０３においてテクスチャ強度算出処理部３３４は、注目画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Hを０とし、注目画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Vを１とする。

ステップＳ３０２において、ｄＨ＞ｄＶでないと判定された場合、ステップＳ２０４において、テクスチャ方向判定部３０５は、注目画素Ｃのテクスチャ強度Ｔ_Hを１とし、注目画素（ｊ’，ｋ’）のテクスチャ強度Ｔ_Vを０とする。

ステップＳ３０３またはステップＳ３０４の処理の後、ステップＳ３０５において、テクスチャ方向判定部３０５は、注目画素のテクスチャ強度Ｔ_H，Ｔ_Vの組からテクスチャ方向を判定して出力し、処理が終了される。

このような処理により、注目画素位置におけるテクスチャが、横縞に近いものであるか、縦縞に近いものであるかの判定結果が得られて、スイッチ３２４に供給される。

次に、図４４のフローチャートを参照して、図８の第２の処理ブロック３０３の処理について説明する。

ステップＳ３１１において、第２の処理ブロック３０３の第２の強度推定部３２１は、注目画素とその左右にある画素を用いて注目画素の強度推定を行い、第１の推定値を算出する。

ステップＳ３１２において、第２の処理ブロック３０３の第３の強度推定部３２２は、注目画素とその上下にある画素を用いて注目画素の強度推定を行う。

ステップＳ３１３において、第２の処理ブロック３０３の第４の強度推定部３２３は、ステップＳ３１２において算出された注目画素とその上下にある画素を用いた注目画素の強度推定結果と、注目画素の上下左右の画素を用いて強度推定を行い、第２の推定値を算出する。

ステップＳ３１４において、第２の処理ブロック３０３のスイッチ３２４は、テクスチャ方向反転部３０５から供給されるテクスチャ方向の情報を取得する。

ステップＳ３１５において、第２の処理ブロック３０３のスイッチ３２４は、テクスチャ方向は、横方向に近いか否かを判断する。

ステップＳ３１５において、テクスチャ方向は、横方向に近いと判断された場合、ステップＳ３１６において、第２の処理ブロック３０３のスイッチ３２４は、注目画素とその左右にある画素を用いた注目画素の強度推定結果である第１の推定値を出力し、処理が終了される。

ステップＳ３１５において、テクスチャ方向は、横方向に近くない、すなわち、たて方向に近いと判断された場合、ステップＳ３１６において、第２の処理ブロック３０３のスイッチ３２４は、注目画素の上下左右の画素を用いた注目画素の強度推定結果である第２の推定値を出力して、処理が終了される。

このような処理により、テクスチャ方向に対応して信頼度が高い推定値が選択されて、スイッチ３０６に供給される。

次に、図４５のフローチャートを参照して、図８の第３の処理ブロック３０４の処理について説明する。

ステップＳ３３１において、第３の処理ブロック３０３の第３の強度推定部３２２は、注目画素とその上下にある画素を用いて注目画素の強度推定を行い、第１の推定値を算出する。

ステップＳ３３２において、第３の処理ブロック３０３の第２の強度推定部３２１は、注目画素とその左右にある画素を用いて注目画素の強度推定を行う。

ステップＳ３３３において、第３の処理ブロック３０３の第４の強度推定部３２３は、ステップＳ３３１において算出された注目画素とその左右にある画素を用いた注目画素の強度推定結果と、注目画素の上下左右の画素を用いて強度推定を行い、第２の推定値を算出する。

ステップＳ３３４において、第３の処理ブロック３０３のスイッチ３２４は、テクスチャ方向反転部３０５から供給されるテクスチャ方向の情報を取得する。

ステップＳ３３５において、第３の処理ブロック３０３のスイッチ３２４は、テクスチャ方向は、たて方向に近いか否かを判断する。

ステップＳ３３５において、テクスチャ方向は、たて方向に近いと判断された場合、ステップＳ３３６において、第３の処理ブロック３０３のスイッチ３２４は、注目画素とその上下にある画素を用いた注目画素の強度推定結果である第１の推定値を出力し、処理が終了される。

ステップＳ３３５において、テクスチャ方向は、たて方向に近くない、すなわち、横方向に近いと判断された場合、ステップＳ３３６において、第３の処理ブロック３０３のスイッチ３２４は、注目画素の上下左右の画素を用いた注目画素の強度推定結果である第２の推定値を出力して、処理が終了される。

このような処理により、テクスチャ方向に対応して信頼度が高い推定値が選択されて、スイッチ３０６に供給される。

図７を用いて説明したＧ＋Ｅ強度推定部２８２の構成は、図８を用いて説明したように、Ｇ強度推定部２９１とＥ強度推定部２９２がそれぞれに注目画素位置のＧ強度とＥ強度を推定するものであった。更に、図８を用いて説明したように、Ｇ強度推定部２９１とＥ強度推定部２９２は同一の構成を有するものであった。ここで、図９をに示されたスイッチ３０６の動作と、図８を用いて説明したＧ強度推定部２９１とＥ強度推定部２９２の構成とより、Ｇ強度推定部２９１とＥ強度推定部２９２で構成を共有できる部分がある。すなわち、注目画素位置の色がＧまたはＥである場合には、Ｇ強度推定２９１とＥ強度推定部２９２のスイッチ３０６の出力はａまたはｂであり、ＲまたはＢである場合にはスイッチ３０６の出力はｃまたはｄである。そして、Ｇ強度推定部４０１とＥ強度推定部４０２の出力は加算器によって加算されるので、注目画素位置の色がＧまたはＥである場合には（ａ＋ｂ）を、ＲまたはＢである場合には（ｃ＋ｄ）を出力するようにすれば、Ｇ強度推定部２９１とＥ強度推定部２９２の共通部分をまとめてシンプルな構成とすることができる。

そのように構成を変更したＧ＋Ｅ強度推定部５５１の構成を示すブロック図を図４６に示す。注目画素選択部３０１、第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、第４の強度推定部３２３、およびスイッチ３２４の構成は、図８を用いて説明したＧ強度推定部２９１とＥ強度推定部２９２の構成と同一である。

そして、注目画素選択部３０１により選択された注目画素と第１の強度推定部３１１により推定された強度推定値が、加算処理部５６１−１により加算処理されて、入力（ａ＋ｂ）としてスイッチ５６２に供給される。そして、第２の強度推定部３２１および第４の強度推定部３２３の処理により、テクスチャ方向が横方向に近い場合に信頼度が高い２つの推定値が加算処理部５６１−２により加算処理され、そして、第３の強度推定部３２１および第４の強度推定部３２３の処理により、テクスチャ方向がたて方向に近い場合に信頼度が高い２つの推定値が加算処理部５６１−３により加算処理され、テクスチャ方向判定部３０５によるテクスチャ方向の判定結果に基づいて、スイッチ３２４により選択された推定値の和が、入力（ｃ＋ｄ）としてスイッチ５６２に供給される。

この時のスイッチ５６２の動作は図４７のようになる。すなわち、注目画素の色がＲであるとき、スイッチ５６２の出力は（ｃ＋ｄ）であり、注目画素の色がＧであるとき、スイッチ５６２の出力は（ａ＋ｂ）であり、注目画素の色がＢであるとき、スイッチ５６２の出力は（ｃ＋ｄ）であり、注目画素の色がＥであるとき、スイッチ５６２の出力は（ａ＋ｂ）である。

また、第１の強度推定部３１１、第２の強度推定部３２１、第３の強度推定部３２２、および、第４の強度推定部３２３は、いずれも、その内部に図１０を用いて説明した粗補間処理部３４１、統計量算出部３４２、および、回帰演算処理部２４２を有している。したがって、図４６を用いて説明したＧ＋Ｅ強度推定部５５１に対して、粗補間処理部３４１、統計量算出部３４２、および、回帰演算処理部２４２の処理が共通する部分をまとめることにより、図４８に示されるＧ＋Ｅ強度推定部５７１を構成することが可能となる。Ｇ＋Ｅ強度推定部５７１は、もちろん、Ｇ＋Ｅ強度推定部５５１と同様の処理を実行することが可能なものである。

すなわち、Ｇ＋Ｅ強度推定部５５１における第１の強度推定部３１１と第４の強度推定部３２３との統計量の計算は共通のものであるので、Ｇ＋Ｅ強度推定部５７１においては、統計量算出部３４２−１として、１つの統計量算出部により実行されるような構成となされている。また、Ｇ＋Ｅ強度推定部５５１における第２の強度推定部３２１と第３の強度推定部３２２の出力は、注目画素の色がＲまたはＢのときに用いられるものであるので、Ｇ＋Ｅ強度推定部５７１においては、スイッチ５８１が、粗補間処理部４２７から供給されたＲのラフな補間値とＢのラフな補間値のうち、注目画素と一致する色の補間値を選択して、統計量算出部３４２−２および統計量算出部３４２−３に供給するようになされている。

粗補間処理部４２７は、図４９のフローチャートを用いて後述する処理により、ＲＧＢＥ４色のラフな補間値を算出する。また、スイッチ５６２の動作は、図４７を用いて説明した場合と同様である。

次に、図４９のフローチャートを参照して、図４８の粗補間処理部４７２において実行される粗補間処理（この処理は、図１７を用いて説明した粗補間処理部４７２においても、後述する図５０のステップＳ３７１で実行される）について説明する。

粗補間処理部４７２は、ステップＳ３５１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ３５２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ３５３において、粗補間処理部４７２は、画素（ｓ、ｔ）の画素強度を補間値α１とする。

ステップＳ３５４において、粗補間処理部４７２は、画素（ｓ、ｔ）の隣の画素である画素（ｓ−１、ｔ）と、画素（ｓ、ｔ）に対して画素（ｓ−１、ｔ）と逆方向の隣の画素である画素（ｓ＋１、ｔ）との平均強度を補間値α２とする。

ステップＳ３５５において、粗補間処理部４７２は、画素（ｓ、ｔ）に対して、画素（ｓ−１、ｔ）および画素（ｓ＋１、ｔ）の方向と垂直な方向の隣の画素である画素（ｓ、ｔ−１）と、画素（ｓ、ｔ）に対して画素（ｓ、ｔ−１）と逆方向の隣の画素である画素（ｓ、ｔ＋１）との平均強度を補間値α３とする。

例えば、画素（ｓ、ｔ）が、図８における画素（２，２）である場合、その画素はＧ強度を示し、画素（ｓ−１、ｔ）と画素（ｓ＋１、ｔ）とはＲ強度を示し、画素（ｓ、ｔ−１）と画素（ｓ、ｔ＋１）とはＢ強度を示す。

ステップＳ３５６において、粗補間処理部４７２は、注目画素に対して、右斜め上、右斜め下、左斜め上、および、左斜め下方向である画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）の平均強度を補間値α４とする。

例えば、画素（ｓ、ｔ）が、図８における画素（２，２）である場合、その画素はＧ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）も、それぞれＧ強度を示す。また、画素（ｓ、ｔ）が、図８における画素（２，３）である場合、その画素はＢ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）は、それぞれ、Ｒ強度を示す。そして、画素（ｓ、ｔ）が、図８における画素（３，２）である場合、その画素はＲ強度を示し、画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、画素（ｓ＋１、ｔ−１）、および、画素（ｓ＋１、ｔ＋１）は、それぞれ、Ｂ強度を示す。

ステップＳ３５７において、粗補間処理部４７２は、ステップＳ３５３乃至ステップＳ３５６の処理により算出された補間値α１乃至α４が、それぞれ、ＲＧＢＥのいずれに対応するかを判定する。

カラーフィルタの配列が、図３を用いて説明したような配列であった場合、画素（ｓ、ｔ）がＧの画素であるとき、補間値α１はＧに対する補間値であり、補間値α２はＢに対する補間値であり、補間値α３はＲに対する補間値であり、補間値α４はＥに対する補間値である。また、画素（ｓ、ｔ）がＲの画素であるとき、補間値α１はＲに対する補間値であり、補間値α２はＥに対する補間値であり、補間値α３はＧに対する補間値であり、補間値α４はＢに対する補間値となる。また、（ｓ、ｔ）がＢの画素であるとき、補間値α１はＢに対する補間値であり、補間値α２はＧに対する補間値であり、補間値α３はＥに対する補間値であり、補間値α４はＲに対する補間値となる。そして、（ｓ、ｔ）がＥの画素であるとき、補間値α１はＥに対する補間値であり、補間値α２はＲに対する補間値であり、補間値α３はＢに対する補間値であり、補間値α４はＧに対する補間値となる。

ステップＳ３５８において、粗補間処理部４７２は、Ｇに対応する２つの補間値の平均値を、画素（ｓ、ｔ）のＧ補間値とする。

ステップＳ３５９において、粗補間処理部４７２は、Ｒに対応する補間値を、画素（ｓ、ｔ）のＲ補間値とする。

ステップＳ３６０において、粗補間処理部４７２は、Ｂに対応する補間値を、画素（ｓ、ｔ）のＢ補間値とする。

ステップＳ３６１において、粗補間処理部４７２は、Ｅに対応する補間値を、画素（ｓ、ｔ）のＥ補間値とする。

ステップＳ３６２において、粗補間処理部４７２は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ３６２において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ３６３において、粗補間処理部４７２は、処理を実行する画素位置を示す第２のレジスタの値ｔを、ｔ＝ｔ＋１とし、処理は、ステップＳ３５３に戻り、それ以降の処理が繰り返される。

ステップＳ３６４において、粗補間処理部４７２は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ３６４において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ３６５において、粗補間処理部４７２は、処理を実行する画素位置を示す第１のレジスタの値ｓを、ｓ＝ｓ＋１とし、処理は、ステップＳ３５２に戻り、それ以降の処理が繰り返される。

ステップＳ３６４において、ｓ＝ｎ−１ではあると判断された場合、ステップＳ３６６において、粗補間処理部４７２は、注目画素付近の（ｎ−２）の２乗個の画素のＲＧＢの補間値の組を出力し、処理が終了される。

このような処理により、局所領域として抽出されたｎ×ｎの画素に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）個所の画素位置のそれぞれにおけるＲＧＢＥの補間値が算出される。

ただし、図４９を用いて説明した粗補間処理において、ステップＳ３５３乃至ステップＳ３５６の処理は相互に順序を入れ替えてもかまわなく、更にステップＳ３５８乃至ステップＳ３６１の処理も、相互に順序を入れ替えてもかまわない。

図４６を用いて説明したＧ＋Ｅ強度推定部５５１およびＧ＋Ｅ強度推定部５７１が、図６のＧ＋Ｅ強度推定部２８２と置き換えられた場合においても、その後段の、Ｒ（ＧＢまたはＥ）強度推定部２８３（またはＲＧＢＥ強度推定部２８３）が実行する処理は同一である。

次に、図５０のフローチャートを参照して、図１７を用いて説明したＲＧＢＥ強度推定部２８３が図２４のステップＳ２４において実行する色強度推定処理１について説明する。

ステップＳ３７１において、粗補間処理部４７２は、図４９を用いて説明した粗補間処理２を実行する。

ステップＳ３７２において、信頼度算出部４７１は、Ｇ＋Ｅ強度推定処理部２８２において算出されたＧ＋Ｅ強度を取得する。

ステップＳ３７３において、信頼度算出部４７１は、図５１のフローチャートを用いて後述する信頼度算出処理を実行する。

ステップＳ３７４において、統計量算出部４３２−１乃至４３２−４は、図２８を用いて説明した２色分布形状の統計量算出処理を実行する。

ステップＳ３７５において、回帰演算処理部４７４−１乃至４７４−４は、図５２を用いて説明する補間画素推定処理２を実行し、処理は、図２４のステップＳ２５に進む。

次に、図５１のフローチャートを参照して、図５０のステップＳ３７３において実行される信頼度算出処理について説明する。

ステップＳ４０１において、信頼度算出部４７１の高周波抽出部４８１−１乃至４８１−６は、図１９を用いて説明した、注目画素付近の所定の１２の位置のＧ補間値のうち、自分自身が抽出する高周波を求めるために必要な画素位置のＧ＋Ｅ補間値、すなわち、斜めに接しているＧとＥとの画素値の平均値を算出する。

ステップＳ４０２において、高周波抽出部４８１−１乃至４８１−６は、ステップＳ４０１の処理において算出されたＧ補間値を基に、注目画素を中心とした、６方向の高周波成分を、それぞれ抽出し、加算処理部４８２に供給する。

ステップＳ４０３において、加算処理部４８２は、高周波抽出部４８１−１乃至４８１−６から供給された、６つの高周波成分を加算して、クリッピング処理部４８３に出力する。

ステップＳ４０４において、クリッピング処理部４８３は、加算処理部４８２から供給された加算結果をクリッピングし、その値を信頼度値として、回帰演算処理部２８６−１乃至２８６−３に出力し、処理は、図５０のステップＳ３７４に進む。

このような処理により、注目画素近辺に高周波成分が存在するか否かを示す信頼度値が算出されて、回帰演算処理部４７４−１乃至４７４−４に出力される。算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高い。

次に、図５２のフローチャートを参照して、図５０のステップＳ３７５において実行される補間画素推定処理２について説明する。

ステップＳ４２１において、傾き算出部５０１は、上述した式（７）を用いて、平均値に基づく傾き推定値Ｋｍを算出し、傾き合成部５０３に出力する。

ステップＳ４２２において、傾き算出部５０２は、上述した式（８）を用いて、分散値および共分散値に基づく傾き推定値Ｋｓを算出し、傾き合成部５０３に出力する。

ここで、傾き算出部５０２は、上述した式（８）に示されるように、傾きＫｓの分母に対するクリッピング処理を行う。このクリッピング処理は、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。この処理が実行されることにより、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

ステップＳ４２３において、傾き合成部５０３は、ステップＳ４２１において算出された傾き推定値Ｋｍと、ステップＳ４２２において算出された傾き推定値Ｋｓとを、上述した式（９）を用いて、信頼度ｈに基づいて合成し、傾き推定値Ｋを算出し、画素強度推定部５０４に出力する。

ステップＳ４２４において、素強度推定部５０４は、ステップＳ４２３において算出された傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R（またはＭ_B）、並びに、注目画素位置のＧ強度とを基に、上述した式（１０）または式（１１）の線形回帰式を用いて、注目画素位置のＲ強度（またはＢ強度）の推定値を算出し、処理が終了される。

このような処理により、注目画素位置の各色の推定強度を算出することができる。特に、推定強度を算出する場合の線形回帰式に、上述した式（１１）を用いて、傾きＫに、１より大きな適当な定数uを乗算することにより、その高周波成分を少し増強して、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

上述した処理は、カラーフィルタに用いられるモザイクパターンが、図５３に示されるよう名６色配列である場合にも適用可能である。図５３に示される６色配列は、図３の４色配列のＲおよびＢの画素のうちの半分をそれぞれ、ＲとＢから若干分光特性が異なるものに置換した配列となっている（換言すれば、Ｒ１とＲ２，Ｂ１とＢ２の分光特性は、高い相関を有している）。すなわち、図５３に示されるカラーフィルタは、輝度値の推定に用いられるＧとＥとが、それぞれ水平方向および垂直方向に同一のラインとならないように市松状に並べられ、このＧとＥとは異なる色Ｒ１とＲ２が、Ｅと同一ライン（すなわち、Ｇとは異なるライン）に位置し、Ｇ，Ｅ，Ｒ１、Ｒ２とは異なる色Ｂ１とＢ２が、Ｇと同一のライン（すなわち、Ｅとは異なるライン）に位置するようになされているカラーフィルタである。

この６色配列において、ＧとＥの配列は、図３の４色配列と同じであるので、Ｇ＋Ｅ強度の推定値を用いた輝度成分の算出方法をそのまま適用することができるのは明らかである。また、図５３に示した６色配列はＲとＢの両方を２つの分光特性の近い色に分割したが、どちらか一方だけが分割された５色配列を構成しても、本発明は変わりなく適用可能であることは言うまでもない。このような６色配列を有するカラーフィルタを用いることにより、マルチスペクトル撮像によってより色再現に有利な画像信号を得ることが可能になる。更に、デモザイク処理は相関の高いＧとＥを用いてＧ＋Ｅを全画素に補間するので、輝度の高域成分まで正確に算出できる。

図６乃至図５３を用いて説明したデモザイク処理部２５３の処理においては、図３を用いて説明した４色のカラーフィルタ、または、図５３に示される６色のカラーフィルタを用いて得られたモザイク画像に対して、Ｇ＋Ｅ強度推定手段２８２、Ｇ＋Ｅ強度推定手段４０１、または、Ｇ＋Ｅ強度推定手段４３１において、Ｇ＋Ｅ強度を推定し、これを基に、ＲＧＢＥの４色の画像を得るようになされていた。これに対して、ある色が市松状に配置されているカラーフィルタが用いられている場合、Ｇ＋Ｅ強度に代わって、市松状に配置されている色の情報を用いて注目画素の輝度値を推定し、これを基に、ＲＧＢＥの４色の画像を得るようにしてもよい。

Ｇ＋Ｅ強度に代わって、注目画素の輝度値を推定する場合、図５を用いて説明したＤＳＰブロック２１６のデモザイク処理部２５３に代わって、図５４に示されるデモザイク処理部６０１が用いられる。

図５４のデモザイク処理部６０１は、Ｇ＋Ｅ強度推定手段２８２に代わって、輝度推定処理部６１１が備えられ、Ｒ強度推定部２８３−１乃至Ｅ強度推定部２８３−４に代わって、Ｒ強度推定部６１２−１乃至Ｅ強度推定部６１２−４が備えられている以外は、図６を用いて説明したデモザイク処理部２５３と同様の構成を有するものである。

図５４のデモザイク処理部６０１は、図１に示されるベイヤー配列のみならず、例えば、図５５に示されるように、図１に示されるベイヤー配列のＢの半分をＥに置き換え、Ｅの配置が、縦方向、横方向とも、１列おきに配置されるようになされている４色のカラーフィルタが用いられている場合に、好適なデモザイク処理を行うことができる。

輝度推定処理部６１１は、局所領域抽出部２８１が抽出した、ｎ×ｎ（例えば９×９など）の局所領域の画素の矩形領域の画素を用いて、注目画素位置の輝度推定値を算出する処理を行う。

Ｒ強度推定部６１２−１乃至Ｅ強度推定部６１２−４は、輝度推定処理部６１１が算出した輝度の推定値と、局所領域抽出部２８１が抽出した矩形領域の画素を用いて、ＲＧＢＥのそれぞれの強度の推定値を演算する。Ｒ強度推定部６１２−１、Ｇ強度推定部６１２−２、Ｂ強度推定部６１２−３、および、Ｅ強度推定部６１２−４は、基本的に同様の構成を有しているので、以下、Ｒ強度推定部６１２−１、Ｇ強度推定部６１２−２、Ｂ強度推定部６１２−３、および、Ｅ強度推定部６１２−４を個別に区別する必要のない場合、Ｒ（Ｇ，Ｂ，またはＥ）強度推定部６１２と称するか、または、Ｒ強度推定部６１２−１、Ｇ強度推定部６１２−２、Ｂ強度推定部６１２−３、および、Ｅ強度推定部６１２−４の全てを、ＲＧＢＥ強度推定部６１２と称するものとする。

図５６は、輝度推定処理部６１１の構成を示すブロック図である。

輝度推定処理部６１１は、注目画素選択部３０１、テクスチャ方向判定部３０５、第１の強度推定部６２１、第２の強度推定部６２２、スイッチ６２３、および、スイッチ６２４で構成されている。注目画素選択部３０１およびテクスチャ方向判定部３０５は、それぞれ、図８を用いて説明した場合度同様の機能を有するものである。第１の強度推定部６２１および第２の強度推定部６２２は、局所領域の画素と注目画素位置にある色の強度推定値に基づいて、推定すべき色の強度を算出するものである。ここで推定すべき色とは、図５５を用いて説明したカラーフィルタにおいて市松状に配置されているＧである。輝度推定処理部６１１は、Ｇが市松状に存在することを利用し、Ｇ強度を輝度成分として算出する。すなわち、輝度推定処理部６１１が実行する輝度推定処理は、Ｇ強度を推定するものであるが、デモザイク手段の出力結果としてのＧ強度は、これとは別に算出されるので、それとは区別して、輝度推定処理部６１１が推定するＧ強度を輝度と称するものとする。第１の強度推定部６２１は、注目画素の左右の画素の画素値を用いて輝度を算出し、第２の強度推定部６２２は、注目画素の上下の画素の画素値を用いて輝度を算出する。

スイッチ６２３は、テクスチャ方向判定部３０５が出力するテクスチャ方向の判定結果に基づき、入力された２つの強度推定値のどちらを使用するべきかを選択する。もしテクスチャの方向がより横縞に近いと判定された場合、第１の強度推定部６２１により算出された強度推定値が、スイッチ６２３から出力され、縦縞に近いと判定された場合、第２の強度推定部６２２により算出された強度推定値が、スイッチ６２３から出力されるようになされている。スイッチ６２４は、本来のモザイク画像において注目画素位置の色が何色であるかに基づき、入力された２つの強度推定値のどちらを使用するべきかを選択する。モザイク画像の注目画素位置がＧそのものであれば、特別な推定処理の必要なくそのままモザイク画像の注目画素の強度を出力すればよいので、注目画素選択部３０１の出力が、スイッチ６２４の出力となるように、モザイク画像の注目画素位置がＧではない場合は、スイッチ６２３の出力がスイッチ６２４の出力になるように、スイッチ６２４からの出力信号が選択される。

図５７は、図５の第１の強度推定部６２１または第２の強度推定部６２２の構成を示すブロック図である。粗補間処理部６３１は、モザイク画像を基に、第１の色と第２の色とのラフな補間値を求める処理を実行する。粗補間処理部６３１の詳細な処理については、図６４および図６５のフローチャートを参照して後述する。統計量算出部３４２、および、回帰演算処理部３４３は、図１０を用いて説明した場合と同様の機能を有するものである。

第１の強度推定部６２１と第２の強度推定部６２２との差異は、粗補間処理部６３１が実行する粗補間処理における第１の色と第２の色との選択の方法である。それらの違いについて、図５８および図５９を用いて説明する。図５８および図５９においては、注目画素がＲである場合について説明するが、注目画素がＢやＥである場合も同様である。

第１の強度推定部６２１は、図５８に示されるように、第１の色Ｃｒとして注目画素位置にある色（図５８においてはＲ）、第２の色ＣｅとしてＣｒの左右に隣接する色、すなわちＧを選択する。図中、ハッチがかけられている部分の画素であるＲとＧの画素が、第１の強度推定部６２１の粗補間処理部６３１で使用される画素である。一方、第２の強度推定部６２２は、図５９に示されるように、第１の色Ｃｒとして注目画素位置にある色（図５８においてはＲ）、第２の色ＣｅとしてＣｒの上下に隣接する色、すなわちＧを選択する。図中、ハッチがかけられている部分の画素であるＲとＧの画素が、第２の強度推定部６２２の粗補間処理部６３１で使用される画素である。

また、統計量算出部３４２において実行される平均値、分散値、共分散値の算出は、上述した場合と同様であり、例えば、その重み付け係数としては、図６０に示されるように、注目画素位置において最も重み付け係数が高く、注目画素位置から遠くになるにしたがって、重み付け係数が小さくなるように定められているものが用いられる。

図６１は、図５４のＲ強度推定部６１２−１乃至Ｅ強度推定部６１２−４の構成を示すブロック図である。図６０においては、信頼度算出部４７１および粗補間処理部６４１をそれぞれ１つずつ図示し、ＲＧＢＥ強度推定部６１２として図示しているが、Ｒ強度推定部６１２−１乃至Ｅ強度推定部６１２−４のそれぞれに、信頼度算出部４７１および粗補間処理部６４１を設けるようにしてもよいことは言うまでもない。なお、図１７を用いて説明したＲＧＢＥ強度推定部２８３と対応する部分には同一の符号を付してある。すなわち、図６０のＲＧＢＥ強度推定部６１２は、合成処理部４７３が省略され、粗補間処理部４７２に代わって粗補間処理部６４１が設けられている以外は、図１７のＲＧＢＥ強度推定部２８３と基本的に同様の構成を有するものである。

粗補間処理部６４１は、ｎ×ｎ画素の局所領域内にある画素を用いて、同一位置における異なる２つの色（第１の色をＣｒ、第２の色をＣｅとする）のラフな補間値の組を複数個生成する。粗補間処理部６４１が実行する処理の詳細は、図６７のフローチャートを用いて後述する。

次に、図６２のフローチャートを参照して、図２３のステップＳ４において、図５４のデモザイク処理部６０１が実行するデモザイク処理２について説明する。

局所領域抽出部２８１は、ステップＳ４５１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ４５２において、注目画素位置の周辺の所定数（ｎ×ｎ）の画素を、局所領域として抽出し、輝度推定処理部６１１、および、Ｒ（Ｇ，Ｂ，またはＥ）強度推定部６１２に供給する。

ステップＳ４５３において、図６２のフローチャートを用いて後述する輝度推定処理が実行される。

ステップＳ４５４において、図６３のフローチャートを用いて後述する、色強度推定処理が、図６１のＲ（Ｇ，Ｂ，またはＥ）強度推定部６１２のそれぞれにおいて並行して実行される。

ステップＳ４５５において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ４５７において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ４５１に戻り、それ以降の処理が繰り返される。ステップＳ４５５において、全ての画素において処理が終了したと判断された場合、処理は、図２３のステップＳ５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ４５１乃至ステップＳ４５６の処理が終了された場合、処理が終了される。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。

次に、図６３のフローチャートを参照して、図６１のステップＳ４５３において実行される輝度推定処理について説明する。

なお、図５６を用いて説明した処理では、注目画素の色がＧであるか否か、および、テクスチャの方向に基づいて、３つの推定値を予め求め、スイッチ６２３及ぶスイッチ６２４により、注目画素の色とテクスチャ方向に対応する輝度値の推定値を算出するものとして説明したが、ソフトウェアにより同様の処理が実行される場合は、注目画素の色がＧであるか否か、および、テクスチャの方向を検出してから、適した強度推定値の算出方法を用いるようにしたほうが好適である。

ステップＳ４７１において、スイッチ６２４は、注目画素の色がＧであるか否かを判断する。

ステップＳ４７１において、注目画素の色がＧであると判断された場合、ステップＳ４７２において、スイッチ６２４は、衆目画素選択部３０１によって選択された注目画素位置の画素強度を出力して、処理は、図６２のステップＳ４５４に進む。

ステップＳ４７１において、注目画素の色がＧではないと判断された場合、ステップＳ４７３において、スイッチ６２３は、局所領域のテクスチャ方向は、横縞に近いか否かを判断する。

ステップＳ４７３において、局所領域のテクスチャ方向は、横縞に近いと判断された場合、ステップＳ４７４において、スイッチ６２３は、第１の強度推定部６２１により補間すべき強度推定値を算出し、出力して、処理は、図６２のステップＳ４５４に進む。

ステップＳ４７３において、局所領域のテクスチャ方向は、横縞に近くない、すなわち、縦縞に近いと判断された場合、ステップＳ４７５において、スイッチ６２３は、第２の強度推定部６２２により補間すべき強度推定値を算出し、出力して、処理は、図６２のステップＳ４５４に進む。

このような処理により、注目画素の色がＧであるか否か、および、テクスチャの方向に対応した輝度値の推定値が算出されて出力される。

次に、図６４のフローチャートを参照して、図５７の第１の強度推定部６２１の粗補間処理部６３１が実行する粗補間処理３について説明する。

粗補間処理部６３１は、ステップＳ４８１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ４８２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ４８３において、粗補間処理部６３１は、画素（ｓ、ｔ）は、注目画素と同一の色であるか否かを判断する。ステップＳ４８３において、画素（ｓ、ｔ）は、注目画素と同一の色ではないと判断された場合、処理は、ステップＳ４８６に進む。

ステップＳ４８３において、画素（ｓ、ｔ）は、注目画素と同一の色であると判断された場合、ステップＳ４８４において、粗補間処理部６３１は、第１の色である画素（ｓ、ｔ）と、画素（ｓ、ｔ）の左側に位置する第２の色である画素の強度の組を作成する。

ステップＳ４８５において、粗補間処理部６３１は、第１の色である画素（ｓ、ｔ）と、画素（ｓ、ｔ）の右側に位置する第２の色である画素の強度の組を作成する。

ステップＳ４８６において、粗補間処理部６３１は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ４８６において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ４８７において、粗補間処理部６３１は、第２のレジスタの値ｔをｔ＝ｔ＋１とし、処理は、ステップＳ４８３に戻り、それ以降の処理が繰り返される。

ステップＳ４８６において、ｔ＝ｎ−１であると判断された場合、ステップＳ４８８において、粗補間処理部６３１は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ４８８において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ４８９において、粗補間処理部６３１は、第１のレジスタの値ｓをｓ＝ｓ＋１とし、処理は、ステップＳ４８２に戻り、それ以降の処理が繰り返される。

ステップＳ４８８において、ｓ＝ｎ−１ではあると判断された場合、ステップＳ４９０において、粗補間処理部６３１は、第１の色および第２の色の組を出力して処理が終了される。

このような処理により、横方向のテクスチャにおいて信頼度の高い輝度推定値が算出される。

次に、図６５のフローチャートを参照して、図５７の第２の強度推定部６２２の粗補間処理部６３１が実行する粗補間処理４について説明する。

粗補間処理部６３１は、ステップＳ４９１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ４９２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ４９３において、粗補間処理部６３１は、画素（ｓ、ｔ）は、注目画素と同一の色であるか否かを判断する。ステップＳ４９３において、画素（ｓ、ｔ）は、注目画素と同一の色ではないと判断された場合、処理は、ステップＳ４９６に進む。

ステップＳ４９３において、画素（ｓ、ｔ）は、注目画素と同一の色であると判断された場合、ステップＳ４９４において、粗補間処理部６３１は、第１の色である画素（ｓ、ｔ）と、画素（ｓ、ｔ）の上側に位置する第２の色である画素の強度の組を作成する。

ステップＳ４９５において、粗補間処理部６３１は、第１の色である画素（ｓ、t）と、画素（ｓ、t）の下側に位置する第２の色である画素の強度の組を作成する。

ステップＳ４９６において、粗補間処理部６３１は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ４９６において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ４９７において、粗補間処理部６３１は、第２のレジスタの値ｔをｔ＝ｔ＋１とし、処理は、ステップＳ４９３に戻り、それ以降の処理が繰り返される。

ステップＳ４９６において、ｔ＝ｎ−１であると判断された場合、ステップＳ４９８において、粗補間処理部６３１は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ４９８において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ４９９において、粗補間処理部６３１は、第１のレジスタの値ｓをｓ＝ｓ＋１とし、処理は、ステップＳ４９２に戻り、それ以降の処理が繰り返される。

ステップＳ４９８において、ｓ＝ｎ−１ではあると判断された場合、ステップＳ４９０において、粗補間処理部６３１は、第１の色および第２の色の組を出力して処理が終了される。

このような処理により、縦方向のテクスチャにおいて信頼度の高い輝度推定値が算出される。

次に、図６６のフローチャートを参照して、図６０を用いて説明したＲＧＢＥ強度推定部２８３が図６１のステップＳ４５４において実行する色強度推定処理２について説明する。

ステップＳ５０１において、粗補間処理部４７２は、図６７を用いて後述する粗補間処理５を実行する。

ステップＳ５０２において、信頼度算出部４７１は、輝度推定処理部６１１において算出された輝度の推定値を取得する。

ステップＳ５０３において、信頼度算出部４７１は、図５１のフローチャートを用いて説明した信頼度算出処理を実行する。

ステップＳ５０４において、統計量算出部４３２−１乃至４３２−４は、図２８を用いて説明した２色分布形状の統計量算出処理を実行する。

ステップＳ５０５において、回帰演算処理部４７４−１乃至４７４−４は、図５２を用いて説明した補間画素推定処理２を実行し、処理は、図６１のステップＳ４５５に進む。

次に、図６７のフローチャートを参照して、図６１の粗補間処理部６４１が図６６のステップＳ５１１において実行する粗補間処理５について説明する。

ステップＳ５３１において、粗補間処理部６４１は、供給された局所領域のうちの注目画素を中心とした（ｎ−２）×（ｎ−２）の領域のうち、所定の画素位置の画素の色がＧであるか否かを判断する。

ステップＳ５３１において、所定の画素位置の画素の色がＧであると判断された場合、ステップＳ５３２において、粗補間処理部６４１は、注目画素の強度Ｃｅと注目画素の強度Ｃｅとの組（Ｃｅ，Ｃｅ）を作る。

ステップＳ５３３において、粗補間処理部６４１は、（Ｃｅ，Ｃｅ）を、ＬｇとＧの組として追加して、処理は、図６２のステップＳ４５５に進む。

ステップＳ５３１において、所定の画素位置の画素の色がＧではないと判断された場合、ステップＳ５３４において、粗補間処理部６４１は、所定の画素の４近傍、すなわち、その画素の上下左右の画素からＧ強度の値を２つ抽出する。

ステップＳ５３５において、粗補間処理部６４１は、抽出したＧ強度をＬ１およびＬ２
とし、所定の画素の強度Ｃｅとの組（Ｌ１，Ｃｅ）および（Ｌ２，Ｃｅ）を作る。

ステップＳ５３６において、粗補間処理部６４１は、所定の画素の色がＲであるか否か
を判断する。

ステップＳ５３６において、所定の画素の色がＲであると判断された場合、ステップＳ５３７において、粗補間処理部６４１は、（Ｌ１，Ｃｅ）および（Ｌ２，Ｃｅ）を、ＬｒとＲの組として追加し、処理は、図６２のステップＳ４５５に進む。

ステップＳ５３６において、所定の画素の色がＲではないと判断された場合、ステップＳ５３８において、粗補間処理部６４１は、所定の画素の色がＢであるか否かを判断する。

ステップＳ５３８において、所定の画素の色がＢであると判断された場合、ステップＳ５３９において、粗補間処理部６４１は、（Ｌ１，Ｃｅ）および（Ｌ２，Ｃｅ）を、ＬｂとＢの組として追加し、処理は、図６２のステップＳ４５５に進む。

ステップＳ５３８において、所定の画素の色がＢではない、すなわち、Ｅであると判断された場合、ステップＳ５４０において、粗補間処理部６４１は、（Ｌ１，Ｃｅ）および（Ｌ２，Ｃｅ）を、ＬｅとＥの組として追加し、処理は、図６２のステップＳ４５５に進む。

粗補間処理部６４１は、このような処理によりラフな補間値の組を、局所領域のうちの注目画素を中心とした（ｎ−２）×（ｎ−２）の領域において全て算出し、（ｎ−２）×（ｎ−２）の領域において算出されたすべてのラフな補間値の組を、統計量算出部３４２−１乃至３４１−４に出力する。

図６７の処理においては、ステップＳ５３４において、粗補間処理部６４１は、所定の画素の４近傍、すなわち、その画素の上下左右の画素からＧ強度の値を２つ抽出するようになされているが、２つのＧ強度を選択する方法としては、異なる方法を用いるようにしてもよい、例えば、具体的には、上下のＧ強度と左右のＧ強度のそれぞれで差分値を算出し、上下かもしくは左右の２つのうち差分値が小さいほうを選択する。このようにすることによって、所定の画素の画素位置が、物体輪郭上など色変化が大きいところにあるときに、なるべく変化が小さい方向のＧを選択することができる。また、同様にして、なるべく色変化が小さい方向を選択するための第２の方法として、上下左右のＧ強度のうち最大値、最小値を除いた２つを選択する方法もある。第３の方法としては、輝度推定処理部５１中のテクスチャ方向判定部３０５によるテクスチャ方向の判定結果を流用し、横縞ならば左右のＧ強度、縦縞ならば上下のＧ強度を選択するようにしてもよい。また、所定の画素位置として、局所領域全てのｎ×ｎの画素を選択するようにした場合、画素位置が局所領域の角であるときには、隣接するＧは２つしかないのでそれを選択するようにすればよい。

また、図５４のデモザイク処理部６０１は、図１に示されるベイヤー配列や図５５に示される原色４色のカラーフィルタの配列のみならず、例えば、図６８に示されるような、５色のカラーフィルタが用いられている場合にも、好適なデモザイク処理を行うことができる。この５色配列は、３色のベイヤー配列のＲおよびＢの画素位置の半分をそれぞれ若干分光特性が異なるものに置換した配列となっている（換言すれば、Ｒ１とＲ２，Ｂ１とＢ２の分光特性は、高い相関を有している）。この５色配列において、Ｇの配列は図５５の４色配列と同じであるので、図５４のデモザイク処理部６０１によるＧを用いた輝度成分の算出方法を、そのまま適用することができる。

なお、図６８に示されるカラーフィルタ配列に対して、例えば、３色のベイヤー配列のＲ画素位置の半分をそれぞれ若干分光特性が異なるものに置換した４色配列や、３色のベイヤー配列のＢ画素位置の半分をそれぞれ若干分光特性が異なるものに置換した４色配列においても、本発明は適用可能であることはいうまでもない。

このように、本発明は、４色以上の色配列に対しても適用され、同様に、ジャギネスの低減および解像度感の向上を可能とする。

以上では、デジタルスチルカメラ２０１における画像処理について説明したが、動画像を撮像することが可能なデジタルビデオカメラについても、本発明は適用可能である。デジタルビデオカメラに本発明が適用される場合、コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）やMotionJPEGなどの、デジタル動画像データの圧縮または伸張アルゴリズムによる処理を実行する。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デジタルスチルカメラ２０１の処理の一部は、図６９に示されるようなパーソナルコンピュータ７０１により実行することが可能となる。

図６９において、ＣＰＵ（Central Processing Unit）７１１は、ＲＯＭ（Read Only Memory）７１２に記憶されているプログラム、または記憶部７１８からＲＡＭ（Random Access Memory）７１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ７１３にはまた、ＣＰＵ７１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７１１、ＲＯＭ７１２、およびＲＡＭ７１３は、バス７１４を介して相互に接続されている。このバス７１４にはまた、入出力インタフェース７１５も接続されている。

入出力インタフェース７１５には、キーボード、マウスなどよりなる入力部７１６、ディスプレイやスピーカなどよりなる出力部７１７、ハードディスクなどより構成される記憶部７１８、モデム、ターミナルアダプタなどより構成される通信部７１９が接続されている。通信部７１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１５にはまた、必要に応じてドライブ７２０が接続され、磁気ディスク７３１、光ディスク７３２、光磁気ディスク７３３、もしくは、半導体メモリ７３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３またはデモザイク処理部６０１）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図６９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７３１（フロッピディスクを含む）、光ディスク７３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク７３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ７３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７１２や、記憶部７１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

ベイヤー配列について説明するための図である。 本発明を適用したデジタルスチルカメラの構成を示すブロック図である。 図２のＣＣＤイメージセンサに用いられているカラーフィルタについて説明するための図である。 図３のカラーフィルタの分光特性の例を示す図である。 図１のＤＳＰブロックの構成を示すブロック図である。 図５のデモザイク処理部の構成を示すブロック図である。 図５のＧ＋Ｅ強度推定処理部の構成を示すブロック図である。 図７のＧ強度推定部およびＥ強度推定部の構成を示すブロック図である。 図８のスイッチの処理について説明するための図である。 図８の第１乃至第４の強度推定部の構成を示すブロック図である。 図１０の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 図１０の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 図１０の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 図１０の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 図１０の統計量算出部の構成を示すブロック図である。 図１０の回帰演算処理部の構成を示すブロック図である。 図６のＲＧＢＥ強度推定部の構成を示すブロック図である。 図１７の信頼度算出部の構成を示すブロック図である。 信頼度算出部における画素強度の抽出位置について説明するための図である。 信頼度算出部において高周波成分を抽出するための画素強度の組について説明するための図である。 図１７の粗補間処理部の処理について説明するための図である。 図１７の回帰演算処理部の構成を示すブロック図である。 図５のＤＳＰブロックが実行する画像処理についてについて説明するためのフローチャートである。 デモザイク処理１について説明するためのフローチャートである。 Ｇ＋Ｅ強度推定処理について説明するためのフローチャートである。 注目画素位置のＧ（Ｅ）強度推定値算出処理について説明するためのフローチャートである。 粗補間処理１について説明するためのフローチャートである。 ２色分布形状の統計量算出処理について説明するためのフローチャートである。 平均値計算処理１について説明するためのフローチャートである。 平均値計算処理２について説明するためのフローチャートである。 重み付け値について説明するための図である。 重み付け値について説明するための図である。 重み付け値について説明するための図である。 重み付け値について説明するための図である。 分散計算処理１について説明するためのフローチャートである。 分散計算処理２について説明するためのフローチャートである。 共分散計算処理について説明するためのフローチャートである。 積算処理１について説明するためのフローチャートである。 積算処理２について説明するためのフローチャートである。 積算近似処理１について説明するためのフローチャートである。 積算近似処理２について説明するためのフローチャートである。 補間画素推定処理１について説明するためのフローチャートである。 テクスチャ方向判定処理について説明するためのフローチャートである。 第２の処理ブロックの処理について説明するためのフローチャートである。 第３の処理ブロックの処理について説明するためのフローチャートである。 Ｇ＋Ｅ強度推定処理部の異なる構成を示すブロック図である。 図４６のスイッチの処理について説明するための図である。 Ｇ＋Ｅ強度推定処理部の異なる構成を示すブロック図である。 粗補間処理２について説明するためのフローチャートである。 色強度推定処理１について説明するためのフローチャートである。 信頼度算出処理について説明するためのフローチャートである。 補間画素推定処理２について説明するためのフローチャートである。 図２のＣＣＤイメージセンサに用いられているカラーフィルタの異なる例について説明するための図である。 図５のデモザイク処理部の異なる構成例を示すブロック図である。 図５４のデモザイク処理部を用いた場合に図２のＣＣＤイメージセンサに用いられるカラーフィルタの例について説明するための図である。 図５４の輝度推定処理部の構成を示すブロック図である。 図５４の第１および第２の強度推定部の構成を示すブロック図である。 図５７の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 図５７の粗補間処理部が選択する第１の色および第２の色について説明するための図である。 重み付け値について説明するための図である。 図５４のＲＧＢＥ強度推定部の構成を示すブロック図である。 デモザイク処理２について説明するためのフローチャートである。 輝度推定処理について説明するためのフローチャートである。 粗補間処理３について説明するためのフローチャートである。 粗補間処理４について説明するためのフローチャートである。 色強度推定処理２について説明するためのフローチャートである。 粗補間処理５について説明するためのフローチャートである。 図５４のデモザイク処理部を用いた場合に図２のＣＣＤイメージセンサに用いられるカラーフィルタの異なる例について説明するための図である。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２０１ デジタルスチルカメラ， ２１６ ＤＳＰブロック， ２４２ 信号処理用プロセッサ， ２５３ デモザイク処理部， ２８１ 局所領域抽出部， ２８２ Ｇ＋Ｅ強度推定処理部， ２８３ ＲＧＢＥ強度推定部， ２９１ Ｇ強度推定部， ２９２ Ｅ強度推定部， ２９３ 加算処理部， ３０１ 注目画素選択部， ，３０５ テクスチャ強度判定部 ３０６ スイッチ， ３１１ 第１の強度推定部， ３２１ 第２の強度推定部， ３２２ 第３の強度推定部， ３２３ 第４の強度推定部， ３２４ スイッチ， ３４１ 粗補間処理部， ３４２ 統計量算出部， ３４３ 回帰演算処理部， ３６１ 平均値算出部， ３６２ 分散値算出部， ３６３ 平均値算出部， ３６４ 共分散算出部， ３８１ 傾き算出部， ３８２ 画素強度推定部， ４７１ 信頼度算出部， ４７２ 粗補間処理部， ４７３ 回帰演算処理部， ４８１ 高周波抽出部， ４８２ 加算処理部， ４８３ クリップ処理部， ５０１，５０２ 傾き算出部， ５０３ 傾き合成部， ５０４ 画素強度推定部， ５５１ Ｇ＋Ｅ強度推定処理部， ５６２ スイッチ， ５７１ Ｇ＋Ｅ強度推定処理部， ５８１ スイッチ， ６０１ デモザイク処理部， ６１１ 輝度推定処理部， ６１２ ＲＧＢＥ強度推定部， ６２１ 第１の強度推定部， ６２２ 第２の強度推定部， ６２３ スイッチ， ６２４ スイッチ， ６３１ 粗補間処理部， ６４１ 粗補間処理部

Claims (32)

1. 画像を撮像して処理する画像処理装置において、
   分光感度が異なる少なくとも４種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記モザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理手段と
   を備え、
   前記画像取得手段の前記画像センサの色フィルタ配列は、全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性に強い相関を有する分光特性を持つものであり、
   前記画像処理手段は、
   前記市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの前記強度推定値に基づいて各画素の輝度値を算出する
   ことを特徴とする画像処理装置。
2. 前記画像取得手段の前記画像センサの色フィルタ配列は、
   複数種類の前記フィルタのうちの輝度の分光特性に強い相関を有する分光特性を持つ第１の色に対応する第１のフィルタが、水平および垂直に１ラインおきに配置され、
   前記第１の色とは異なる、輝度の分光特性に強い相関を有する分光特性を持つ第２の色に対応する第２のフィルタが、水平および垂直に１ラインおき、かつ、前記第１のフィルタとは異なるラインに配置され、
   前記画像処理手段は、
   前記モザイク画像のうちの注目画素位置における前記第１の色の強度推定値である第１の強度推定値を算出する第１の算出手段と、
   前記注目画素位置における前記第２の色の強度推定値である第２の強度推定値を算出する第２の算出手段と、
   前記第１の算出手段により算出された前記第１の強度推定値と、前記第２の算出手段により算出された前記第２の強度推定値とを合成する合成手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の算出手段は、
   前記注目画素位置におけるすでに得られている既知色に対応する強度値と、前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
   に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
   を含み、
   前記注目画素が前記第１の色でなかった場合、前記注目画素位置におけるフィルタの色を前記既知色とし、前記第１の色を前記目標色として、前記第３の算出手段により前記第１の強度推定値を算出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第３の算出手段は、
   前記注目画素近傍における、前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段と、
   前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第４の算出手段と、
   前記第４の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第５の算出手段と
   を備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記第５の算出手段は、回帰演算を用いて前記注目画素位置における前記目標色に対応する強度推定値を算出する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の算出手段は、
   前記注目画素位置におけるすでに得られている既知色に対応する強度値と、
   前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
   に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
   を含み、
   前記注目画素が前記第２の色でなかった場合、
   前記注目画素位置におけるフィルタの色を前記既知色とし、前記第２の色を前記目標色として、前記第３の算出手段により前記第２の強度推定値を算出する
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記第３の算出手段は、
   前記注目画素近傍における、前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段と、
   前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第４の算出手段と、
   前記第４の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第５の算出手段と
   を備えることを特徴とする請求項６に記載の画像処理装置。
8. 前記第５の算出手段は、回帰演算を用いて前記注目画素位置における前記目標色に対応する強度推定値を算出する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の算出手段は、
   前記注目画素位置におけるすでに得られている既知色に対応する強度値と、
   前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
   に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
   を２以上含み、
   前記注目画素が前記第１の色でなかった場合、
   第１の前記第３の算出手段は、
   前記注目画素位置におけるフィルタの色を前記既知色とし、前記第２の色を前記目標色として、前記注目画素位置における前記第２の色に対応する強度値を算出し、
   第２の前記第３の算出手段は、
   前記第２の色を前記既知色とし、前記第１の色を前記目標色として、前記第１の強度推定値を算出する
   ことを特徴とする請求項２に記載の画像処理装置。
10. 前記第３の算出手段は、
    前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段と、
    前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第４の算出手段と、
    前記第４の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第５の算出手段と
    を備えることを特徴とする請求項９に記載の画像処理装置。
11. 前記第５の算出手段は、回帰演算を用いて前記注目画素位置における前記目標色に対応する強度推定値を算出する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第２の算出手段は、
    前記注目画素位置におけるすでに得られている既知色に対応する強度値と、
    前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
    に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
    を２以上含み、
    前記注目画素が前記第２の色でなかった場合、
    第１の前記第３の算出手段は、
    前記注目画素位置におけるフィルタの色を前記既知色とし、前記第１の色を前記目標色として、前記注目画素位置における前記第１の色に対応する強度値を算出し、
    第２の前記第３の算出手段は、
    前記第１の色を前記既知色とし、前記第２の色を前記目標色として、前記第２の強度推定値を算出する
    ことを特徴とする請求項２に記載の画像処理装置。
13. 前記第３の算出手段は、
    前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段と、
    前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第４の算出手段と、
    前記第４の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第５の算出手段と
    を備えることを特徴とする請求項１２に記載の画像処理装置。
14. 前記第５の算出手段は、回帰演算を用いて前記注目画素位置における前記目標色に対応する強度推定値を算出する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記第１の算出手段は、
    前記第１の強度推定値の第１の推定値を算出する第１の強度推定手段と、
    前記第１の強度推定値の第２の推定値を算出する第２の強度推定手段と、
    前記注目画素近傍におけるテクスチャ方向を判別する判別手段と、
    前記判別手段による判別結果に基づいて、前記第１の強度推定手段により推定された前記第１の推定値と、前記第２の強度推定手段により推定された前記第２の推定値のうち、適した推定値を選択する選択手段と
    を備え、
    前記第１の強度推定手段は、
    前記注目画素位置におけるすでに得られている既知色に対応する強度値と、
    前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
    に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
    を含み、
    前記注目画素が前記第１の色でなかった場合、前記注目画素位置におけるフィルタの色を前記既知色とし、前記第１の色を前記目標色として、前記第３の算出手段により前記第１の強度推定値の前記第１の推定値を算出し、
    前記第２の強度推定手段は、
    ２以上の前記第３の算出手段を含み、
    前記注目画素が前記第１の色でなかった場合、
    第１の前記第３の算出手段は、前記注目画素位置におけるフィルタの色を前記既知色とし、前記第２の色を前記目標色として、前記注目画素位置における前記第２の色に対応する強度値を算出し、
    第２の前記第３の算出手段は、前記第２の色を前記既知色とし、前記第１の色を前記目標色として、前記第１の強度推定値の前記第２の推定値を算出し、
    前記選択手段は、前記判別手段による判別結果、および、前記注目画素位置に対して、前記第１の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、前記第１の強度推定手段により推定された前記第１の推定値と、前記第２の強度推定手段により推定された前記第２の推定値のうち、適した推定値を選択する
    ことを特徴とする請求項２に記載の画像処理装置。
16. 前記第２の算出手段は、
    前記第２の強度推定値の第１の推定値を算出する第１の強度推定手段と、
    前記第２の強度推定値の第２の推定値を算出する第２の強度推定手段と、
    前記注目画素近傍におけるテクスチャ方向を判別する判別手段と、
    前記判別手段による判別結果に基づいて、前記第１の強度推定手段により推定された前記第１の推定値と、前記第２の強度推定手段により推定された前記第２の推定値のうち、適した推定値を選択する選択手段と
    を備え、
    前記第１の強度推定手段は、
    前記注目画素位置におけるすでに得られている既知色に対応する強度値と、
    前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
    に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段
    を含み、
    前記注目画素が前記第２の色でなかった場合、前記注目画素位置におけるフィルタの色を前記既知色とし、前記第２の色を前記目標色として、前記第３の算出手段により前記第２の強度推定値の前記第１の推定値を算出し、
    前記第２の強度推定手段は、
    ２以上の前記第３の算出手段を含み、
    前記注目画素が前記第２の色でなかった場合、
    第１の前記第３の算出手段は、前記注目画素位置におけるフィルタの色を前記既知色とし、前記第１の色を前記目標色として、前記注目画素位置における前記第１の色に対応する強度値を算出し、
    第２の前記第３の算出手段は、前記第１の色を前記既知色とし、前記第２の色を前記目標色として、前記第２の強度推定値の前記第２の推定値を算出し、
    前記選択手段は、前記判別手段による判別結果、および、前記注目画素位置に対して、前記第２の色に対応するフィルタが、水平方向に位置しているか、垂直方向に位置しているかに基づいて、前記第１の強度推定手段により推定された前記第１の推定値と、前記第２の強度推定手段により推定された前記第２の推定値のうち、適した推定値を選択する
    ことを特徴とする請求項２に記載の画像処理装置。
17. 前記画像取得手段の前記画像センサの複数種類の前記フィルタのフィルタ配列は、
    前記フィルタのうちの前記第１の色および前記第２の色とのうちのいずれとも異なる第３の色のフィルタが、水平および垂直に１ラインおき、かつ、前記第１のフィルタとは異なる水平ラインに配置され、
    前記フィルタのうちの前記第１の色、前記第２の色、および、前記第３の色とのうちのいずれとも異なる第４の色のフィルタが、水平および垂直に１ラインおき、かつ、前記第２のフィルタとは異なる水平ラインに配置される
    ことを特徴とする請求項２に記載の画像処理装置。
18. 前記画像取得手段の前記画像センサの複数種類の前記フィルタのフィルタ配列は、
    前記フィルタのうちの前記第１の色および前記第２の色とのうちのいずれとも異なる第３の色および第４の色のフィルタが、水平および垂直に１ラインおき、かつ、前記第１のフィルタとは異なる水平ラインに交互に配置され、
    前記フィルタのうちの前記第１の色、前記第２の色、前記第３の色、および、第４の色とのうちのいずれとも異なる第５の色および第６の色のフィルタが、水平および垂直に１ラインおき、かつ、前記第２のフィルタとは異なる水平ラインに交互に配置される
    ことを特徴とする請求項２に記載の画像処理装置。
19. 前記第３の色および前記第４の色は、互いに高い相関を有する分光特性を持ち、
    前記第５の色および前記第６の色は、互いに高い相関を有する分光特性を持つ
    ことを特徴とする請求項１８に記載の画像処理装置。
20. 前記第３の色および前記第４の色は、同一の色である
    ことを特徴とする請求項１８に記載の画像処理装置
21. 前記第５の色および前記第６の色は、同一の色である
    ことを特徴とする請求項１８に記載の画像処理装置
22. 前記画像取得手段の前記画像センサの色フィルタ配列は、
    複数種類の前記フィルタのうちの輝度の分光特性に強い相関を有する分光特性を持つ第１の色に対応する第１のフィルタが、市松状に配置され、
    前記画像処理手段は、
    前記モザイク画像のうちの注目画素位置におけるすでに得られている既知色に対応する強度値と、前記注目画素近傍の画素より算出される前記既知色と推定したい目標色の間の相関関係と
    に基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第１の算出手段
    を含み、
    前記注目画素位置におけるフィルタの色を前記既知色とし、前記第１の色を前記目標色として、前記第１の算出手段により前記第１の強度推定値を算出する
    ことを特徴とする請求項１に記載の画像処理装置。
23. 前記第１の算出手段は、
    前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度との組を複数生成する生成手段と、
    前記生成手段により生成された前記既知色に対応する画素の画素強度と前記目標色に対応する画素の画素強度の複数の組から、前記既知色と前記目標色間の色分布の重心および傾きを算出する第２の算出手段と、
    前記第２の算出手段により算出された前記色分布の重心および傾きと、前記注目画素位置における前記既知色に対応する強度値とに基づいて、前記注目画素位置における前記目標色に対応する強度推定値を算出する第３の算出手段と
    を備えることを特徴とする請求項２２に記載の画像処理装置。
24. 前記第２の算出手段は、回帰演算を用いて前記注目画素位置における前記目標色に対応する強度推定値を算出する
    ことを特徴とする請求項２３に記載の画像処理装置。
25. 前記画像取得手段の前記画像センサの複数種類の前記フィルタのフィルタ配列は、
    前記フィルタのうちの前記第１の色とは異なる第２の色のフィルタが、水平および垂直に１ラインおきに配置され、
    前記フィルタのうちの前記第１の色および第２の色のフィルタが配置されていないフィルタ位置には、前記フィルタのうちの前記第１の色および前記第２の色とのうちのいずれとも異なる第３の色と第４の色のフィルタが、斜め方向に１画素おきの斜め格子状となるように配置される
    ことを特徴とする請求項２２に記載の画像処理装置。
26. 前記第２の色は、前記第１の色より長波長側に感度を持つような分光特性のフィルタ色であり、
    前記第３の色および前記第２の色のうちの少なくとも一方は、前記第１の色より短波長側に感度を持つような分光特性のフィルタ色である
    ことを特徴とする請求項２５に記載の画像処理装置。
27. 前記画像取得手段の前記画像センサの複数種類の前記フィルタのフィルタ配列は、
    前記フィルタのうちの前記第１の色とは異なる第２の色、第３の色、第４の色、第５の色、のフィルタが、水平および垂直に２ラインおき、かつ、斜め方向に１画素おきの斜め格子状となり、第２の色および第３の色と、第４の色および第５の色とは、互いに異なる水平および垂直のライン上に位置するように配置される
    を備えることを特徴とする請求項２２に記載の画像処理装置。
28. 前記第２の色および前記第３の色は、互いに高い相関を有する分光特性を持ち、
    前記第４の色および前記第５の色は、互いに高い相関を有する分光特性を持つ
    ことを特徴とする請求項２７に記載の画像処理装置。
29. 前記第２の色および前記第３の色は、同一の色である
    ことを特徴とする請求項２７に記載の画像処理装置。
30. 前記第４の色および前記第５の色は、同一の色である
    ことを特徴とする請求項２７に記載の画像処理装置。
31. 画像を撮像して処理する画像処理装置の画像処理方法において、
    分光感度が異なる少なくとも４種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップと、
    前記取得ステップの処理により取得された前記モザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップと
    を含み、
    前記取得ステップの処理では、
    全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、
    前記画像処理ステップは、
    前記市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップ
    を含むことを特徴とする画像処理方法。
32. 画像を撮像し、撮像した画像の処理を実行する処理をコンピュータに実行させるためのプログラムであって、
    分光感度が異なる少なくとも４種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する取得ステップと、
    前記取得ステップの処理により取得された前記モザイク画像から、前記フィルタの前記分光感度により決まる複数の色に対応する前記画素位置毎の強度情報が全画素でそろうようなカラー画像を生成する画像処理ステップと
    を含み、
    前記取得ステップの処理では、
    全画素の半分に市松状に配置されている画素が持つフィルタが、輝度の分光特性に強い相関を有する分光特性を持つような色配列をもつモザイク画像が取得され、
    前記画像処理ステップは、
    前記市松状に配置されている画素が持つ色の強度推定値を各画素で算出し、それらの強度推定値に基づいて各画素の輝度値を算出する算出ステップ
    を含むことを特徴とする処理をコンピュータに実行させるプログラム。

Images