JP4385282B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関し、特に、カラー固体撮像素子を用いて得られたモザイク画像信号から、全画素に複数色を補間してカラー画像信号を獲得するデモザイク処理（色補間処理、または、同時化処理）が実行される場合に用いて好適な画像処理装置および画像処理方法に関する。

ＣＣＤイメージセンサやCMOSイメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばRGBなどの３チャネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と称される。

カラー固体撮像素子から得られる画像信号は１チャネル画像なので、１画素ごとに得られるのは、対応する受光素子のフィルタの色の強度のみである。すなわち、カラー固体撮像素子から得られる画像信号は、色に関してモザイク状の画像となる。単板カラー撮像装置のカラー固体撮像素子の出力画像であるモザイク画像から、多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を、その周囲の画素位置に補間することが必要である。このような画像処理は、一般に、色補間処理、デモザイク処理、または、同時化処理などと称される。このように、デモザイク処理は、カラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな技術が開発されてきた。

このデモザイク処理において問題となるのが、高周波の画像信号の再現特性である。固体撮像素子においては、２次元格子状に配置された受光素子に、それぞれ異なるオンチップカラーフィルタが貼られているために、同じ色、すなわち、同じ分光感度を持つ画素は、本来の受光素子の配列ピッチよりも大きいピッチでしか配列されていない。そのため、カラー固体撮像素子は、オンチップカラーフィルタがない白黒の固体撮像素子と比較すると、撮像した画像にエリアシングが発生しやすい。画像の輝度成分にエリアシングが発生した場合、それは、しばしば被写体輪郭部におけるジャギネスとして観察される。また、画像の色度成分にエリアシングが発生した場合、それはしばしば被写体輪郭部に不自然な色がつく偽色、または細かい縞模様に色がついてみえる色モアレとして観察される。デモザイク処理においては、ジャギネスをいかに抑制するかということに加えて、偽色や色モアレを如何に抑制するかということが重要な課題である。

現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列を図１に示す。ベイヤー配列では、Ｒ,Ｇ,Ｂの３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている（以下、原色系ベイヤー配列を単にベイヤー配列と称する）。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平、垂直にそれぞれ１ラインおきにしか存在しない。

ベイヤー配列では、ＲＧＢのうち、人の視感度特性に最も近い分光特性を持つＧが一番密に存在するので、従来では一般的にＧの画素情報から輝度成分を作り出す方法が用いられている。この方法の場合、再現される輝度成分の限界周波数はベイヤー配列のＧのサンプリング周波数で決まり、水平および垂直方向には、０．５cycle/pixel、斜め45度方向には、１/（２×sqrt（２））cycle/pixelとなる。理論的には水平または垂直に最も限界が高いが、実際には水平・垂直方向には１画素おきにしかＧが存在しないので、０．５cycle/pixelの水平または垂直の波を再現するには、水平または垂直それぞれの波に、最適な補間フィルタを適用する必要がある。この問題に対し、水平方向および垂直方向それぞれの波に最適な補間フィルタを準備し、画像上の各局所領域での波の方向を判別し、判別した結果に応じて水平方向の補間フィルタの結果と垂直方向の補間フィルタの結果を合成した値を補間値とする技術がある（例えば、特許文献１および非特許文献１）。これらの技術を用いることによって、ベイヤー配列のＧの画素情報を用いて、水平および垂直方向に、理論的限界である０．５cycle/pixelに近い高周波の再現が可能となる。このようにＧが市松に配置される場合においては、輝度成分のエリアシングに起因するジャギネスを低減する方法が考案されている。

また、色度成分のエリアシングに起因する色モアレの低減については、以下のような方法が提案されている。

例えば、特許文献２および特許文献３には、RGBの３つの色フィルタをランダムに配置、すなわちサンプリング間隔を不均一にする方法が開示されており、この方法により、サンプリングの周期性に起因するモアレを低減しようとしている。特許文献２に開示されているRGBランダム配列の一例を図２に示す。このようにサンプリングをランダムにすると、高周波の入力信号に対してもその全位相を等確率で観測することができるため、エリアシングを低減することができる。

また例えば、非特許文献２には、図３または図４に示されるように、RGBの３原色の色フィルタのうちＧを市松状に配置し、Ｒ，Ｂを残りの画素位置に擬似的にランダムに配置する方法が開示されている。ここで、擬似的なランダム配置とは、大局的には周期性を持つが、局所的には一見周期性がないかのように見える配置を示す。この方法も、サンプリングの周期性に起因するモアレを低減することが目的である。ここで、高周波の再現限界に関しては市松配列がランダム配列より有利であるため、輝度信号再現への寄与が大きいＧのみ規則的な市松配列としたところに特徴がある。さらに、図３または図４に示されるような配列にすることにより、各色に対して上下左右に配置される別の色の数を一定に保つことができ、色相互の位置関係に起因する各画素の感度への影響を小さくできるという効果もある。

さらに、色度成分のエリアシングに起因する偽色の低減については、以下のような技術がある。

例えば、特許文献４には、RGBの３原色のカラー固体撮像素子において,Ｒ，Ｇ，Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線が全ての色を通過するようした色配列が提案されている。ある直線があるフィルタ色によって観測されない場合、その直線の正しい色再現が不可能になり偽色が発生するが、この方法は、任意の直線が全てのフィルタ色によって観測されることを保証することによって偽色の発生を抑えようとするものである。

一方、カラー固体撮像素子に用いられるオンチップカラーフィルタの分光特性を人の視覚の等色関数に一致させることが原理的に不可能であることから、例えば、ベイヤー配列の３原色に対して、更に１色追加した４色の強度を得るようにした撮像素子を用い、更に、このような撮像素子により取得された４色の強度値にリニアマトリックスを適用することによって、３原色の強度値を得て、撮像装置の色再現を向上させる方法がある。例えば、４色の強度を得るために従来の３原色に黄色のオンチップフィルタを追加した４色配列を持つカラー固体撮像素子を用いて、色再現性を向上させることができる技術がある（例えば、特許文献５）。
特開平７−２３６１４７号公報 特開平９−１６８１５７号公報 特開２０００−３１６１６８号公報 特開平１１−２８５０１２号公報 特開２００２−２７１８０４号公報 村田、森、前中、岡田および千原、"ＰＳ−ＣＣＤにおける相関判別色分離方式"、映像情報メディア学会誌、Ｖｏｌ．５５，Ｎｏ．１，ｐｐ．１２０−１３２,２００１ "The Color Filter Array FAQ",In the web site of FillFactory, http://www.fillfactory.com/htm/technology/htm/rgbfaq.htm

しかしながら、ジャギネス、偽色、および色モアレの低減の両立という観点からみれば、上述した様々な方法のそれぞれに以下に説明するような問題がある。

上述したランダム配列または擬似ランダム配列を用いる方法では、エリアシングが色度成分の低周波にまで及んだ色モアレに関しては有効であるが、エリアシングが色度成分の高周波において現れた結果である輪郭部の偽色に対してはそれほど有効な方法ではない。ランダム配列または擬似ランダム配列はサンプリング周波数以上の高周波の入力信号によって発生するエリアシングの振幅を低減することはできる。また、偽色という現象は色度信号の高周波域において生じるエリアシングだと捉えることができる。しかしながら、それはＧ信号とＲ，Ｂ信号のサンプリング周波数の差によって生じるので、各チャネルの入力のエリアシングを低減するだけでは偽色を低減させることができない。偽色を効果的に低減するには、Ｇ信号とＲ，Ｂ信号のサンプリング周波数をそろえるか、正しく再現された輝度信号の高周波成分を利用して色度信号の高周波成分を正しく算出できるデモザイク処理をおこなうか、のいずれかが必要である。前者の方法では、相対的にＧのサンプリング周波数が下がり、輝度信号の再現が劣化するという問題があるので、限られた画素配列の範囲で対処するには後者の方法のほうががよい。

しかしながら、前記ランダム配列または擬似ランダム配列を用いる方法を開示している上述した文献には、Ｒ，Ｂのランダム配列から色度信号を正しく再現する技術については述べられていない。例えば、特許文献３においては、ランダム配列における各色強度の補間方法として最近傍（NearestNeighbor）補間を用いるが、このような補間方法では各色強度の高周波成分の位相をそろえることは不可能である。また例えば、特許文献２においては、擬似逆行列を用いた色強度補間をおこなっているが、この方法が正しく機能するためには、画像に統計的白色性（異なる画素間の強度に相関がない）が必要であり、これは偽色を容認してしまう前提であるので、この方法では偽色低減の効果は期待できない。

また、非特許文献２には、Ｇ市松ＲＢランダム配列に適用できるデモザイク処理が２例開示されている。しかし、その第１の方法は色度成分に平滑化フィルタをかける方法であり、色度成分の高周波の再現は不可能である。平滑化フィルタによって偽色成分の振幅を小さくすることは可能であるが、偽色が発生する領域は逆に輪郭部の周りに広がってしまう。また、第２の方法は輝度成分と各色強度間の差分が一定である仮定をおく方法であり、この仮定は暗に各色強度間に常に正の相関があることを仮定してしまう。そのため、例えば、赤から緑に色が急激に変化するような輪郭部ではその仮定が崩れるために正しい色強度を算出することができず、偽色が発生する。

さらに例えば、特許文献４には、偽色を発生させないようにするために、任意の直線が全てのフィルタ色で観測できるような色配列、すなわち、単一の色の配置をみると垂直方向にジグザクに連続するような配置が提案されている。この手法では、そのような配列の特徴を実現するために、Ｒ，Ｇ，Ｂの存在頻度を均等にしているが、そのためＧの高周波再現性がベイヤー配列のそれに比べて劣化している（具体的にはtanθ＝２の方向）。高周波まで再現された輝度信号を得るようとすれば、ＧのほかにＲとＢの情報を使う必要があるが、この手法の色配列ではRGB全て同じパターンで位相のみが水平方向に１画素ずれた配置となっているため、エリアシングのポイントはRGB全て同じであって、かつ各フィルタの分光感度の相関があまり高くないとすれば、正しく再現された信号をRGBでお互いの相補することはできない。すなわち、この色配列では、ランダム配列と同様に、ベイヤー配列に匹敵する輝度信号の再現は難しいという問題がある。

本発明はこのような状況に鑑みてなされたものであり、単板カラー撮像装置において色度信号のエリアシングによって生じる色モアレを低減させるとともに、偽色を低減させることができるようにするものである。

本発明の画像処理装置は、分光感度が異なる複数種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、画像取得手段により取得されたモザイク画像から、画素ごとにフィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段とを備え、複数種類のフィルタにおいては、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第１の所定の周期とは異なる第２の所定の周期で交互に配置されていることを特徴とする。

画像処理手段は、注目画素の色の強度である注目画素色強度を取得する色強度取得手段と、注目画素の近傍の画素を用いて、注目画素と同一の第１の色の強度と、第１の色とは異なる第２の色の強度との組を複数個生成する生成手段と、生成手段により生成された強度の組に基づいて、第１の色と第２の色との空間における色分布形状を推定する色分布形状推定手段と、色分布形状推定手段により推定された色分布形状と色強度取得手段により取得された注目画素色強度に基づいて、注目画素の第２の色の強度を推定する強度推定手段とを備えるようにすることができる。

第１の所定の周期は、第１のフィルタと第２のフィルタを１画素ごとに交互に配置するものであり、第２の所定の周期は、第１のフィルタと第２のフィルタを２画素ごと、または３画素ごとに交互に配置するものとすることができる。

画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、および第３のフィルタにより構成され、第３のフィルタは、市松状に配置されているようにすることができる。

画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、第３のフィルタおよび第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されているようにすることができる。

画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、第３のフィルタおよび第４のフィルタは、画像センサの画像格子の一方の対角方向に第３の所定の周期で交互に配置されるとともに、他方の対角方向に、第３の所定の周期とは異なる第４の所定の周期で交互に配置されているようにすることができる。

本発明の画像処理方法は、分光感度が異なる複数種類のフィルタであって、そのうちの第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第１の所定の周期とは異なる第２の所定の周期で交互に配置されているフィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップと、画像取得ステップの処理により取得されたモザイク画像から、画素ごとに、フィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップとを含むことを特徴とする。

本発明においては、分光感度が異なる複数種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像が取得され、取得されたモザイク画像から、画素ごとにフィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像が生成され、複数種類のフィルタにおいては、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第１の所定の周期とは異なる第２の所定の周期で交互に配置されている。

本発明によれば、モザイク画像が取得されて、モザイク画像が処理されて、カラー画像が生成される。特に、単板カラー撮像装置において色度信号のエリアシングによって生じる色モアレを低減させることができる。また、偽色を低減させることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば、画像処理装置を提供することができる。この画像処理装置（例えば、図５のデジタルスチルカメラ２０１）は、分光感度が異なる複数種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）を有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段（例えば、図５のＣＣＤイメージセンサ２１３）と、前記画像取得手段により取得された前記モザイク画像から、前記画素ごとに前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段（例えば、図１８のデモザイク処理部２５３）とを備え、複数種類の前記フィルタにおいては、そのうち第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第１の所定の周期とは異なる第２の所定の周期で交互に配置されている。

画像処理手段は、注目画素の色の強度である注目画素色強度（例えば、Ｃｒ_center）を取得する色強度取得手段（例えば、図１８の注目画素選択部２８２）と、前記注目画素の近傍の画素を用いて、前記注目画素と同一の第１の色（例えば、Ｃｒ）の強度と、前記第１の色とは異なる第２の色（例えば、Ｃｅ（Ｒ，Ｇ，Ｂ、またはＥ））の強度との組を複数個生成する生成手段（例えば、図１８の粗補間処理部２８３）と、前記生成手段により生成された前記強度の組に基づいて、前記第１の色と前記第２の色との空間における色分布形状を推定する色分布形状推定手段（例えば、図１９の統計量算出部２８４）と、前記色分布形状推定手段により推定された前記色分布形状と前記色強度取得手段により取得された前記注目画素色強度に基づいて、前記注目画素の前記第２の色（例えば、Ｒ，Ｇ，Ｂ、またはＥ）の強度を推定する強度推定手段（例えば、図２１の画素強度推定部３８２）とをさらに含むものとすることができる。

第１の所定の周期は、第１のフィルタと第２のフィルタを１画素ごとに交互に配置するもの（例えば、図６または図７のＲとＢの右上がり方向の周期）であり、第２の所定の周期は、第１のフィルタと第２のフィルタを２画素ごと、または３画素ごとに交互に配置するもの（例えば、図６または図７のＲとＢの右下がり方向の周期）とすることができる。

画像取得手段の画像センサの複数種類のフィルタ（例えば、図６または図７に示される配列）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、および第３のフィルタ（例えば、図６のＧ）により構成され、第３のフィルタは、市松状に配置されている（例えば、図６または図７に示されるように配置されている）ようにすることができる。

画像取得手段の画像センサの複数種類のフィルタ（例えば、図１２または図１３）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、第３のフィルタ（例えば、Ｇ）、および第４のフィルタ（例えば、Ｅ）により構成され、第３のフィルタおよび第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されている（例えば、図１２または図１３のように配置されている）ようにすることができる。

画像取得手段の画像センサの複数種類のフィルタ（例えば、図１４または図１５）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、第３のフィルタ（例えば、Ｇ）、および第４のフィルタ（例えば、Ｅ）により構成され、第３のフィルタおよび第４のフィルタは、画像センサの画像格子の一方の対角方向に第３の所定の周期（例えば、図１４の場合、右上がり方向に２画素ごとの交互周期）で交互に配置されるとともに、他方の対角方向に、第３の所定の周期とは異なる第４の所定の周期（例えば、図１４の場合、右下がり方向に１画素ごとの交互周期）で交互に配置されている（例えば、図１４または図１５に示されるように配置されている）ようにすることができる。

また、本発明によれば、画像処理方法が提供される。この画像処理方法は、分光感度が異なる複数種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）であって、そのうちの第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第１の所定の周期とは異なる第２の所定の周期で交互に配置されている前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップ（例えば、図２２のステップＳ１）と、前記画像取得ステップの処理により取得された前記モザイク画像から、前記画素ごとに、前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップ（例えば、図２２のステップＳ４）とを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図５は、本発明を適用した演算処理を実行するデジタルスチルカメラ２０１の構成例を示すブロック図である。

図５に示すように、デジタルスチルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ／Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ／Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えば、JPEG（Joint Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルスチルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

ところで、図５のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。以下に、本発明を適用した３色のオンチップカラーフィルタ配列の例を、図６および図７を参照して説明する。

図６は、Ｇが市松配列であって、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に２画素ごとの交互周期となっているＲＧＢ（Red，Green，Blue：赤、緑、青）の３色配列を示している。

また、図７は、Ｇが市松配列であって、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に３画素ごとの交互周期となっているＲＧＢの３色配列を示している。

図６および図７の色配列と、図１に示されるベイヤー配列のＲ，Ｂの配置とを比較すると、図６および図７に示される色配列では、どの６×６画素の局所領域をみても全ての水平および垂直ラインにＲとＢの両方が存在するのに対し、図１に示されるベイヤー配列ではＲ，Ｂに関して、まったく存在しない水平および垂直ラインが１ラインおきにある。したがって、ベイヤー配列では水平または垂直に０．２５cycle/pixelの縞模様がある場合にはＲ，Ｂにおいてエリアシングが発生する可能性があるが、図６および図７に示されるような色配列では、０．２５cycle/pixel以上の縞模様がある場合でもエリアシングが発生を抑えることができる。

次に、図６および図７の色配列と、図２に示されるランダム配列とを比較する。図２に示されるランダム配列ではＲ，Ｇ，Ｂがどこをとってもなるべく等確率でかつ非周期的に配置されるようになっている。したがって、Ｒ，Ｂにとってはベイヤー配列のようなエリアシングの問題がないという利点があるが、ベイヤー配列と比較すると、Ｇの配置がまばらであるため、輝度信号の高周波成分の再現が難しい。一方、図６および図７に示される色配列では、Ｇに関しては市松状に配置できるため、ベイヤー配列と同等の輝度信号を再現することができる。

次に、図６および図７の色配列と、図３および図４に示されるＧ市松ＲＢランダム配列とを比較する。図６および図７の色配列と、図３および図４に示される色配列は、ともにＧを市松状に配置するので、輝度信号の再現特性については同等である。また、図３および図４に示される色配列では、Ｒ，Ｂに非周期性を持たせているので、色度成分のエリアシングを抑えることができる。しかしながら、そのＲ，Ｂの分布は、図６および図７に示されるＲ，Ｂの分布と比較すると、局所的にみたときの均一性がよくないことがわかる。すなわち、ある水平もしくは垂直ラインをみたとき、そのラインにＲもしくはＢが存在しない範囲は、図３および図４に示される色配列のほうが長い。以下に、Ｒ，Ｂが局所的に、より均一に配置されている方が偽色低減には有利である理由を説明する。

例えば、RGBの３原色のうちのＧを利用して画像の輝度信号が再現できるとして、注目画素近傍におけるＧと例えばＲ（またはＢ）の２色間の色分布形状を線形回帰することによって、色が変化する物体輪郭領域などでもＧとＲ（またはＢ）の間に偽色が生じないようにする場合の色分布形状の推定の様子を説明する。

図８は、２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分の７×７画素の局所領域を示す図である。ここで、上述したようなべイヤー配列（図１）のカラーフィルタにより得られるカラー画像は３色からなるが、ここで、輪郭部分における本発明の優位性を説明するには、２色における場合について説明すれば十分なため、説明の便宜上、図８に示される画像データは、Ｃ１とＣ２の２色で構成されるカラー画像であるものとして説明する。

ここで、図中の物体領域Ａの色を（Ｃ_1A,Ｃ_2A）とし、物体領域Ｂの色を（Ｃ_1B，Ｃ_2B）とする。物体領域の境目である輪郭部は、通常、ピントのボケ、画素の受光面積に起因する積分効果、光学的ローパスフィルタの存在等の理由から、両方の物体の色が混合した色になっており、その色（Ｃ_1C，Ｃ_2C）は、（Ｃ_1C，Ｃ_2C）＝Ｗ_A×（Ｃ_1A，Ｃ_2A）＋Ｗ_B×（Ｃ_1B，Ｃ_2B）とあらわすことができる。ここで、Ｗ_A、Ｗ_Bは混合の係数である。

もし、この局所領域の全画素の色が既知であれば、各画素の色を、図９に示されるように、Ｃ１−Ｃ２空間にプロットすることができる。図９において、各画素を示す点は、ノイズや物体のテクスチャに起因する輝度変動により多少散在するものの、輪郭上の画素の色が（Ｃ_1A，Ｃ_2A）、（Ｃ_1B，Ｃ_2B）の線形和であらわされる事実から、輪郭部を含むこの領域の画素が、（Ｃ_1A，Ｃ_2A）、（Ｃ_1B，Ｃ_2B）を結ぶ直線の近辺に分布することがわかる。したがって、ある画素におけるＣ１強度が既知であり、そのＣ１強度からＣ２強度を推定したいとき、この（Ｃ_1A，Ｃ_2A）からなるプロット群と、（Ｃ_1B，Ｃ_2B）からなるプロット群とを結ぶ直線が得られていれば、簡単にＣ２強度を推定できることがわかる。

この直線は、このような局所領域内の画素値のプロットが可能であれば、それを用いてＣ１とＣ２の線形回帰式を計算することにより得られる。ところが、デモザイク処理前の段階では、各画素における既知の色は、それぞれ１つしかない。しかし、注目画素近傍におけるＧと例えばＲ（またはＢ）の２色間の色分布形状を線形回帰することによって、色が変化する物体輪郭領域などでもＧとＲ（またはＢ）の間に偽色が生じないようにする方法では、まず周囲にある画素を利用してＣ１とＣ２の強度の組を生成する（粗補間を実行する）ので、図９のように、画素値のＣ１−Ｃ２空間へのプロットを作ることが可能であり、色分布の線形回帰による正しい色強度の推定を行うことが可能なようになっている。

このように、上述した２色間の色分布形状の線形回帰に基づいた色推定方法は、ベイヤー配列における偽色低減に有効であるが、実はこの方法ではある特徴をもった画像に対しては有効でないことがわかっている。以下にそれを説明する。

図１０は、画像中の０．２５cycle/pixelの周期の垂直方向の縦縞模様にかかる７×７画素の局所領域を示している。ここで、縞模様の一方の色を（Ｃ_1A,Ｃ_2A）とする。またもう一方の色を（Ｃ_1B,Ｃ_2B）とする。これら２色の境界はその中間の色（Ｃ_1C,Ｃ_2C）となっている。ここで、この模様がベイヤー配列のセンサで撮像されたとし、Ｃ１を市松状にあるＧに、Ｃ２をＲに対応させる。Ｃ１は市松状に存在するため、縞模様の強度Ｃ_1A，Ｃ_1B，Ｃ_1Cすべてを計測できる。一方、Ｃ２は水平方向に１画素おきに存在するため、縞模様の位置によって、縞模様の強度Ｃ_2A，Ｃ_2Bの２つを計測できるか、もしくはＣ_2Cの１つだけを計測できるかのどちらかとなり、場合によっては縞模様のＣ２の色変化を計測できない場合があり得る。

そのような状況で色分布形状を推測しようとＣ１−Ｃ２空間に各画素の色をプロットすると、図１１に示すような状態になる。Ｃ２に関してＣ_2Cしか計測できない位置であったため、本来、破線のように色分布の回帰直線が推定されるべきところが、実線のような回帰直線が得られてしまい、正しいＣ２強度の推定ができない状態となる。その結果、縞模様の色は本来（Ｃ_1A,Ｃ_2A）から（Ｃ_1B,Ｃ_2B）への色変化であるべきものが、（Ｃ_1A,Ｃ_2C）から（Ｃ_1B,Ｃ_2C）への色変化と誤推定されるので、それが偽色として見えてしまう。

このように、色分布線形回帰を用いるデモザイク手法をベイヤー配列に適応した場合、図１０に示されるように、垂直（または水平）の０．２５cycle/pixel周期の縞模様で偽色が低減できないという問題があった。しかし、本発明を適用した色配列のオンチップカラーフィルタを用いることで、以下に説明するようにこの問題が解決できる。

例えば、図６および図７に示される３色配列を用いた場合、ＲとＢの両方において、６×６の局所領域をとれば、その中のＲとＢの画素によって、図１０に示される縞模様をなす色を全て計測することができる。また、上述したように、図６および図７に示される色配列ではどの場所の６×６画素の局所領域でもそれが保証されている。このように、本発明を適用した色配列（図６および図７）によれば、Ｃ１−Ｃ２空間に正しい画素情報のプロットを作ることができ、図１１に破線で示される正しい回帰直線を算出することができる。もし仮に、上述した図３または図４に示される色配列を用いた場合、Ｒ，Ｂの局所的な均一性はあまり良くないため、たとえ色分布線形回帰を用いるデモザイク手法を適用したとしても、その偽色低減の効果を図６および図７に示されるような本発明の色配列ほどに期待できない。

なお本発明は、図６および図７に示されるような３色の色配列に限らず、例えば、ＲＧＢの３色に対して、第４の色（以下、Ｅと称する）を加えた４色配列に適用することもできる。本発明を適用した４色配列の例を、図１２および図１３に示す。

図１２および図１３は、図６および図７に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列したものである。

すなわち、図１２に示される４色配列は、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に２画素ごとの交互周期となっている。また、図６に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列している。

また、図１３に示される４色配列は、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に３画素ごとの交互周期となっている。また、図７に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列している。

図１２および図１３に示されるようなＧとＥの配列であれば、上述した色分布線形回帰を用いるデモザイク手法を用いた場合、ジャギネスの少ない輝度信号を生成することが可能である。さらに、図１４または図１５に示されるような色配列のように、ＧとＥに関してもＲ，Ｂのように非周期性を持たせた配置をとることができる。

ここで、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタの４色配列について更に説明する。ＣＣＤイメージセンサ２１３のオンチップカラーフィルタによって得られるモザイク画像の各画素の強度は、対応するオンチップフィルタの分光特性と入射光の分光特性の積に比例する。図１２および図１３に示される原色系４色配列の各色の分光特性の１例を図１６に示す。フィルタの分光特性は、センサ自体の分光特性およびノイズ特性、後述するリニアマトリックスの係数、フィルタに用いる材質の物理的制約等を考慮しながら注意深く設計する必要がある。本発明を適用する場合、これらのフィルタの分光感度特性に、効果が特に左右されることはないので、上述した色再現性とノイズの特性に配慮して、分光感度を設計するようにすればよい。例えば、図１６では、第４の色Ｅの分光特性を、Ｇよりも短波長側にピークを持つような例を示したが、Ｅは、Ｇよりも長波長側にピークを持つ（少し黄色よりの色に見える）ような分光特性であってもかまわない。

このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに、図１２および図１３に示される色配列のカラーフィルタが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。

図１７は、図５のＤＳＰブロック２１６の更に詳細な構成例を示すブロック図である。なお、以下においては、図１４に示される４色配列のカラーフィルタを用いた場合の例について説明する。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、ガンマ逆補正部２５４、マトリックス処理部２５５、ガンマ補正部２５６、および、ＹＣ変換部２５７で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ、Ｇ、Ｂ、または、Ｅのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図１２または図１３を用いて説明した原色４色配列）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、ガンマ補正がなされたモザイク画像Ｍ^γの各画素位置にＲ，Ｇ，Ｂ，Ｅの全ての強度（強度情報）を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、Ｒ^γ，Ｇ^γ，Ｂ^γ，Ｅ^γの４つの色に対応する４つの画像信号となる。ガンマ逆補正部２５４は、後段のマトリックス処理部２５５においてマトリックス処理を施すために、デモザイク後の４チャネル画像に適用したガンマ特性の逆を適用して、リニア特性に直す処理を行う。

マトリックス処理部２５５は、予め設定された係数による３行４列のリニアマトリックスを、供給された各画素[Ｒ，Ｇ，Ｂ，Ｅ]に適用することにより、３原色の強度値[Ｒｍ，Ｇｍ，Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であるが、マトリックス処理はデモザイク処理後に適用されるので、リニアマトリックス係数の具体値は、デモザイク処理とは関係なく設計することができる。マトリックス処理部２５５の出力は、色補正されたＲｍ，Ｇｍ，Ｂｍの３つの色に対応する３つの画像信号となる。

マトリックス処理後、ガンマ補正部２５６は、色補正された３（Ｒｍ，Ｇｍ，Ｂｍ）チャネル画像に対して再度ガンマ補正を行い、Ｒ^γ，Ｇ^γ，Ｂ^γの３チャネル画像を出力する。ＹＣ変換部２５７はＲ^γ，Ｇ^γ，Ｂ^γの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（YCbCr画像信号）を生成し、出力する。

ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。

このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、ほぼべき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。

さらに、デモザイク処理前に適用するガンマ補正部２５２のガンマ特性と、ＹＣ変換前に適用するガンマ補正部２５６のガンマ特性は同じである必要はない。また、もちろん、本発明を適用する上で、デモザイク処理前のガンマ補正が必須というわけではない。

図１８は、全画素位置でＲＧＢＥの全ての色が存在するように、画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図１７のデモザイク処理部２５３の更に詳細な構成例を示すブロック図である。

なお、図１８に示される各処理部では、所定の注目画素位置が決定されたときにその注目画素位置において実行する処理を説明している。そのため、実際のデモザイク処理部２５３の動作は、図１８に示される各処理部の処理を、全画素について繰り返し実行した場合に終了される。

デモザイク処理部２５３は、局所領域抽出部２８１、注目画素選択部２８２、粗補間処理部２８３−１乃至２８３−４、統計量算出部２８４−１乃至２８４−４、回帰演算処理部２８５−１乃至２８５−４で構成される。

局所領域抽出部２８１は、デモザイク処理部２５３への入力であるガンマ補正されたモザイク画像（モザイク画像Ｍ^γ）から、注目画素位置周囲の決まった大きさの局所領域［Ｍ^γｕ，ｖ］を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした７×７画素の矩形領域とする。注目画素選択部２８２は、局所領域から注目画素、すなわち７×７画素の領域の中心にある画素を選択し、選択した注目画素位置における強度（Ｃｒ_center）を出力する。

粗補間処理部２８３−１乃至２８３−４は、７×７画素の局所領域内にある画素を用いて、局所領域内の複数の画素位置において、異なる２つの色（第１の色および第２の色）の強度の組が作れるよう、簡単な演算によって、第１の色と第２の色との画素強度の補間値（以下、ラフな補間値と称する）を、後述する補間方法を用いて算出する。ここで、第１の色は注目画素位置の画素の色と同じ色（以下、第１の色をＣｒと称する）であり、第２の色は４つの粗補間処理部２８３−１乃至２８３−４によって、異なる色が割り当てられる。以下、第１の色をＣｒと称し、第２の色をＣｅと称する。第２の色Ｃｅは、粗補間処理部２８３−１乃至２８３−４の各処理部よって適宜Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。具体的には、粗補間処理部２８３−１には第２の色としてＲが設定され、粗補間処理部２８３−２には第２の色としてＧが設定され、粗補間処理部２８３−３には第２の色としてＢが設定され、粗補間処理部２８３−４には第２の色としてＥが設定されている。すなわち、粗補間処理部２８３−１は、第１の色Ｃｒ_roughiと第２の色Ｒ_roughiの補間値の組を出力し、粗補間処理部２８３−２は、第１の色Ｃｒ_roughiと第２の色Ｇ_roughiの補間値の組を出力し、粗補間処理部２８３−３は、第１の色Ｃｒ_roughiと第２の色Ｂ_roughiの補間値の組を出力し、粗補間処理部２８３−４は、第１の色Ｃｒ_roughiと第２の色Ｅ_roughiの補間値の組を出力する。なお、以下において、粗補間処理部２８３−１乃至２８３−４を個々に区別する必要がない場合、粗補間処理部２８３と称する。

本発明においては、各画素位置におけるＲ，Ｇ，Ｂ，Ｅの強度を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部２８３は、局所領域内の複数の画素における第１の色と第２の色とのラフな推定値を算出する。

統計量算出部２８４−１乃至２８４−４は、粗補間処理部２８３により算出された複数の補間値の組から、それらの第１の色の平均値（Ｍ_cr）、第２の色の平均値（Ｍ_ce）、第１の色の分散値（Ｖ_crcr）、第１の色および第２の色の共分散値（Ｖ_crce）を算出する。なお、第２の色の平均値Ｍｃｅの添え字ｃｅおよび第１の色および第２の色の共分散値Ｖ_crceの添え字ｃｅは、統計量算出部２８４−１が処理を実行する場合Ｒに、統計量算出部２８４−２が処理を実行する場合Ｇに、統計量算出部２８４−３が処理を実行する場合Ｂに、統計量算出部２８４−４が処理を実行する場合Ｂに、それぞれ置き換えられる。なお、以下において、統計量算出部２８４−１乃至２８４−４を個々に区別する必要がない場合、統計量算出部２８４と称する。

回帰演算処理部２８５−１乃至２８５−４は、注目画素選択部２８２から入力された注目画素位置における第１の色の強度推定値Ｃｒ_centerと、統計量算出部２８４から入力された統計量（第１の色の平均値Ｍ_cr、第２の色の平均値Ｍ_ce、第１の色の分散値Ｖ_crcr、第１の色および第２の色の共分散値Ｖ_crce）を用いて、線形回帰計算を行い、注目画素位置における第２の色の強度推定値Ｃｅ_centerをそれぞれ算出する。なお、以下において、回帰演算処理部２８５−１乃至２８５−４を個々に区別する必要がない場合、回帰演算処理部２８５と称する。

図１９は、図１８の統計量算出部２８４の構成例を示すブロック図である。

統計量算出部２８４は、平均値算出部３６１、平均値算出部３６３、分散算出部３６２、および共分散算出部３６４によって構成されている。平均値算出部３６１は、粗補間処理部２８３が算出した、局所領域におけるラフな２色の補間値のうちの第１の色Ｃｒの値の強度値Ｃｒ_roughiのセットに基づき、平均値Ｍ_crを算出する。同様に、平均値算出部３６３は、粗補間処理部２８３が算出した、局所領域におけるラフな２色の補間値のうちの第２の色Ｃｅの値Ｃｅ_roughiのセットに基づいて、平均値Ｍ_ceを算出する。分散算出部３６２は、平均値算出部３６１が算出した第１の色の平均値Ｍ_crと、局所領域における第１の色のラフな補間値Ｃｒ_roughiから、第１の色Ｃｒの分散値Ｖ_crcrを算出する。共分散算出部３６４は、平均値算出部３６１が算出した第１の色の平均値Ｍ_crと第１の色のラフな補間値Ｃｒ_roughi、および、平均値算出部３６３が算出した第２の色の平均値Ｍ_ceと第２の色のラフな補間Ｃｅ_roughi値から、第１の色と第２の色との共分散値Ｖ_crceを算出する。

平均値算出部３６１および平均値算出部３６３は、例えば、次の式（１）を用いて、平均値Ｍｃ（以下において、Ｍ_crおよびＭ_ceをまとめてＭｃと称する）を計算する。

式（１）において、Ｃ_roughiは、供給された色Ｃ（Ｒ，Ｇ，Ｂ、またはＥ）のラフな強度補間値のｉ（ｉ＝１乃至Ｎ）番目のデータである。色Ｃは、平均値算出部３６１においては第１の色Ｃｒであり、平均値算出部３６３においては第２の色Ｃｅである。また、ｗｉは、ｉ番目のデータに対する重み値（重み係数）である。

重み値ｗｉは、ｉ番目のデータを算出した画素位置から注目画素位置への距離などを指標として、予め設定されている値である。重み値ｗｉは、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。図２０に、このとき用いられる重み値の例を示す。図中、四角形は７×７の局所領域における画素位置を示し、四角形内の数字が該当する位置のデータの重み値を示す。この重みは、平均値算出部３６１および平均値算出部３６３、分散算出部３６２、並びに共分散算出部３６４で用いられる重み値の例である。

分散算出部３６２および共分散算出部３６４は、例えば、次の式（２）に示される計算式によって共分散値Ｖ_C1C2を計算する。

この式において、Ｃ_1roughiは、色Ｃ１のラフな強度補間値のｉ番目のデータ、Ｃ_2roughiは色Ｃ２のラフな強度補間値のｉ番目のデータ、Ｍ_C1は色Ｃ１の平均値、Ｍ_C2は色Ｃ２の平均値である。ｗｉはｉ番目のデータに対する重み値である。重み値ｗｉは、平均値算出部３６１および平均値算出部３６３が用いたものと同じものを用いればよい。

分散算出部３６２においては、色Ｃ１と色Ｃ２がともに第１の色Ｃｒであり、出力Ｖ_C1C2はＣｒの分散値Ｖ_crcrとなる。共分散算出部３６４においては、色Ｃ１が第１の色Ｃｒであり、色Ｃ２が第２の色Ｃｅであり、出力Ｖ_C1C2は第１の色Ｃｒと第２の色Ｃｅの共分散値Ｖ_crceとなる。

式（２）を用いて説明した共分散値および分散値の計算が実行された場合、定義どおりの正確な統計量が得られる。しかしながら、式（２）の計算が実行された場合、積算が多く出現するために計算時間が長くなり、この演算をハードウェアで実現したときの回路規模が増加してしまう。そこで、より簡易な計算で、分散および共分散を算出するようにしてもよい。

例えば、分散値または共分散値の演算に、次の式（３）を用いるようにしてもよい。

式（３）において、関数sgn（ａ，ｂ）は、２変数ａとｂの符号の一致を調べるものである。sgn（ａ，ｂ）の出力は｛１０,−１｝のうちのいずれかであるので、sgn｛ａ，ｂ｝への積算は実際には積算を必要としない。式（３）の計算は、式（２）の計算のｉ番目のＣｒ，Ｃｅの偏差の積算を、Ｃｒ，Ｃｅの絶対偏差の和算に置き換えたものである。このように積算を和算に置き換えても本発明の目的とする局所領域の色分布形状推定には充分な精度を有する近似値を算出することができる。

また、例えば、分散値または共分散値の演算に、次の式（４）を用いるようにしてもよい。

ここで、式（４）の計算は、式（２）の計算の各ｉ番目のＣｒとＣｅの偏差の積算を、ＣｒとＣｅの絶対偏差の最小値選択に置き換えたものである。もとの分散値または共分散値への近似精度としては、式（３）の計算より、式（４）の計算のほうが、式（２）における分散または共分散演算への近似精度がよい。

図２１は、図１８の回帰演算処理部２８５の構成例を示すブロック図である。

回帰演算処理部２８５は、傾き算出部３８１および画素強度推定部３８２で構成されている。

傾き算出部３８１は、統計量算出部２８４から供給される第１の色Ｃｒと第２の色Ｃｅの共分散値Ｖ_crceおよび第１の色の分散値Ｖ_crcrに基づいて、Ｃｒ−Ｃｅの色分布の傾きＫを算出する。具体的には、傾き算出部３８１は、式（５）に示されるように分散、共分散値の比率Ｋを演算する。

式（５）において、Ｖ_thresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（５）におけるV_thresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、V_thresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。

画素強度推定部３８２は、統計量算出部２８４から供給される第１の色Ｃｒの平均値Ｍ_crおよび第２の色Ｃｅの平均値Ｍ_Ce、傾き算出部３８１により算出された分散、共分散値の比率Ｋ、並びに注目画素選択部２８２から供給された注目画素位置における第１の色の強度推定値Ｃｒ_centerに基づいて、注目画素位置の第２の色Ｃｅの強度推定値Ｃｅ_centerを算出する。具体的には、画素強度推定部３８２は、式（６）に示されるように、注目画素位置の第２の色Ｃｅの推定値Ｃ_2centerを算出する。

式（６）において、Ｃ_1center、および、Ｃ_2centerは、それぞれ、注目画素位置の第１の信号に対応する色Ｃ１（すなわち第１の色Ｃｒ）の強度、および、注目画素位置の第２の信号に対応する色Ｃ２（すなわち第２の色Ｃｅ）の強度推定値である。なお、Ｋは、上述した数（５）により算出された値を用いる。

次に、図２２のフローチャートを参照して、図５のＤＳＰブロック２１６の処理について説明する。

ステップＳ１において、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図１４を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。

ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように、第１のガンマ補正を行う。ガンマ補正部２５２は、モザイク信号Ｍ^γを出力する。

ステップＳ４において、デモザイク処理部２５３により、図２３を用いて後述するデモザイク処理が実行される。

ステップＳ５において、ガンマ逆補正部２５４は、デモザイク処理部２５３からの出力であるＲ^γ，Ｇ^γ，Ｂ^γ，Ｅ^γの４チャネル画像に適用したガンマ特性の逆を適用してガンマ逆補正処理を施し、ガンマ特性をリニア特性に直す処理を行う。

ステップＳ６において、マトリックス処理部２５５は、係数が予め設定された３行４列のリニアマトリックスを、ガンマ逆補正部２５４から供給されたＲ，Ｇ，Ｂ，Ｅの４チャネル画像に適用し、３原色の強度値[Ｒｍ,Ｇｍ,Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要があるので、その処理の前段において、ガンマ逆補正部２５４によりガンマ逆補正が施される必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であり、マトリックス処理はデモザイク処理後に適用されるので、マトリックス処理部２５５により用いられるリニアマトリックス係数は、適宜設計される値であってよい。マトリックス処理部２５５の出力は、色補正されたＲｍ,Ｇｍ,Ｂｍの３つの色に対応する３つの画像となる。

ステップＳ７において、ガンマ補正部２５６は、色補正された３チャネル画像に対して第２のガンマ補正を行う。ガンマ補正部２５６は、Ｒ^γ，Ｇ^γ，Ｂ^γの３つの色に対応する３つの画像を出力する。

ＹＣ変換部２５７は、ステップＳ８において、ガンマ補正部２５６から供給される、Ｒ^γ，Ｇ^γ，Ｂ^γの３チャネル画像に、ＹＣマトリックス処理およびクロマ成分に対する帯域制限を行とで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ９において、生成したＹ画像およびＣ画像を出力し、処理が終了される。

このような処理により、ＤＳＰブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図２３のフローチャートを参照して、図２２のステップＳ４において実行されるデモザイク処理について説明する。

局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（ｎ×ｎ、ここでは７×７）の画素を、局所領域として抽出し、注目画素選択部２８２および粗補間処理部２８３のそれぞれに供給する。

ステップＳ２３において、注目画素選択部２８２は、局所領域抽出部２８１から供給された局所領域から注目画素（すなわち７×７画素の領域の中心にある画素）を選択し、選択した注目画素位置における強度（Ｃｒ_center）を回帰演算処理部２８５のそれぞれに出力する。

ステップＳ２４において、図２４のフローチャートを用いて後述する局所領域内の複数位置で処理画素位置の色Ｃｒ（第１の色Ｃｒ）とＣｅ（第２の色Ｃｅ）の強度の組を算出処理が実行される。この処理は、図１８の粗補間処理部２８３のそれぞれにおいて並行して実行される。

ステップＳ２５において、統計量算出部２８４は、第１の色Ｃｒと第２の色Ｃｅの色分布形状に関する統計量を算出する。この処理は、図１８の統計量算出部２８４のそれぞれにおいて並行して実行される。なお、この処理の詳細は、図２５を参照して後述する。

ステップＳ２６において、回帰演算処理部２８５は、ステップＳ２４で算出された第１の色Ｃｒと第２の色Ｃｅの色分布形状の統計量、ステップＳ２３で供給された注目画素位置における強度Ｃｒ_centerに基づいて、注目画素位置のＣｅ推定値を算出する。

ステップＳ２７において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２７において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２７において、全ての画素において処理が終了したと判断された場合、処理は、図２２のステップＳ５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２６の処理が終了された場合、処理が終了される。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。

次に、図２４のフローチャートを参照して、図２３のステップＳ２４において実行される局所領域内の複数位置で処理画素位置の色Ｃｒ（第１の色Ｃｒ）とＣｅ（第２の色Ｃｅ）の強度の組を算出する処理について説明する。

ここで、粗補間処理部２８３−１は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＲを第２の色Ｃｅとして選択する。粗補間処理部２８３−２は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＧを第２の色Ｃｅとして選択する。粗補間処理部２８３−３は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＢを第２の色Ｃｅとして選択する。粗補間処理部２８３−４は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＥを第２の色Ｃｅとして選択する。すなわち、以下の処理において、第２の色Ｃｅは、粗補間処理部２８３−１乃至２８３−４の各処理部よって適宜Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。

粗補間処理部２８３は、ステップＳ４１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ４２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ４３において、粗補間処理部２８３は、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じであるか否かを判定する。すなわち、この処理では、画素位置（ｓ、ｔ）が注目画素の色（第１の色Ｃｒ）と同じであるか否かが判定されている。

ステップＳ４３において、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じであると判定された場合、ステップＳ４４において、粗補間処理部２８３は、画素位置（ｓ、ｔ）と、その周辺８画素位置の計９画素を調べ、その中から第２の色Ｃｅがあれば、Ｃｅの強度と画素位置（ｓ、ｔ）のＣｒの強度との組を作る。例えば、図１４に示される色配列であった場合、任意の画素位置においてそのような組み合わせは必ず１乃至３存在するため、色がＣｒである１つの画素位置（ｓ、ｔ）に当たり、１つ、２つ、または３つのＣｒとＣｅの強度の組が生成される。

例えば、図１４において注目画素の色（第１の色Ｃｒ）をＲとすると、粗補間処理部２８３−１は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−１においては、Ｒ）の組を作る。このとき、処理画素のＲに隣接するＲは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。また、粗補間処理部２８３−２は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−２においては、Ｇ）の組を作る。このとき、処理画素のＲに隣接するＧは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。さらに、粗補間処理部２８３−３は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−３においては、Ｂ）の組を作る。このとき、注目画素のＲに隣接するＢは３つであるので、３組のＣｅ強度とＣｒ強度の組が作成される。また、粗補間処理部２８３−４は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−４においては、Ｅ）の組を作る。このとき、注目画素のＲに隣接するＥは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。このように、図１４に示される色配列であった場合、色がＣｒである１つの画素位置（ｓ、ｔ）に当たり、１つ、２つ、または３つのＣｒとＣｅの強度の組が生成される。

ステップＳ４４の処理の後、または、ステップＳ４３において、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じでない（異なる）と判定された場合、ステップＳ４５において、粗補間処理部２８３は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ４５において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ４６において、粗補間処理部２８３は、第２のレジスタの値ｔをｔ＝ｔ＋１とする。その後、処理はステップＳ４３に戻り、それ以降の処理が繰り返される。

ステップＳ４５において、ｔ＝ｎ−１であると判断された場合、ステップＳ４７において、粗補間処理部２８３は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ４７において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ４８において、粗補間処理部２８３は、第１のレジスタの値ｓをｓ＝ｓ＋１とする。その後、処理はステップＳ４２に戻り、それ以降の処理が繰り返される。

ステップＳ４７において、ｓ＝ｎ−１であると判断された場合、ステップＳ４９において、粗補間処理部２８３は、ステップＳ４４の処理の繰り返しにより全画素位置で算出した補間値の組を出力し、処理が終了される。

このような処理により、粗補間処理部２８３は、注目画素付近の画素から、注目画素位置と同じ色である第１の色Ｃｒと第２の色Ｃｅとの画素強度の補間値（ラフな補間値）を、算出することができる。

次に、図２５のフローチャートを参照して、図２３のステップＳ２５において実行されるＣｒとＣｅの色分布形状に関する統計量算出処理について説明する。

ステップＳ９１において、統計量算出部２８４の平均値算出部３６１は、粗補間値処理部２８３から供給された粗補間値のうちの、第１の信号（Ｃｒ_roughi）を取得する。

ステップＳ９２において、平均値算出部３６１は、図２６または図２７のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９３において、平均値算出部３６３は、粗補間値処理部２８３から供給された粗補間値のうちの、第２の信号（Ｃｅ_roughi）を取得する。

ステップＳ９４において、平均値算出部３６３は、図２６または図２７のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ９５において、分散算出部３６２は、図３２または図３３のフローチャートを用いて後述する、分散計算処理を実行する。

ステップＳ９６において、共分散算出部３６４は、図３４のフローチャートを用いて後述する、共分散近似計算処理を実行する。

これにより、第１の色Ｃｒと第２の色Ｃｅの色分布形状に関する統計量を算出することができる。

次に、図２６のフローチャートを参照して、図２５のステップＳ９２またはステップＳ９４において実行される平均値計算処理１について説明する。

ステップＳ１１１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。

ステップＳ１１２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値を合計する。

ステップＳ１１３において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１２において算出された合計値を、取得した値の数で除算する。

ステップＳ１１４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１３の処理により算出された除算結果を出力する。

また、平均値を求める場合、粗補間された第１の色Ｃｒおよび第２の色Ｃｅ（第１の色Ｃｒと第２の色Ｃｅの組）のそれぞれの強度に、注目画素からの距離により、重み付けを施して、重み付けが施されたＲＧＢＥ強度を基に、平均値を求めるようにしても良い。

次に、図２７のフローチャートを参照して、図２５のステップＳ９２またはステップＳ９４において実行される平均値計算処理２について説明する。

ステップＳ１２１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。

ステップＳ１２２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値に、例えば、図２０に示されるような重み付けを施し、重み付けられた値を合計する。

重み値ｗ_iは、ｉ番目のデータの位置から注目画素位置への距離などを指標に予め設定されている値である。重み値ｗｉは、例えば上述した図２０に示されるように、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。

ステップＳ１２３において、平均値算出部３６１または平均値算出部３６３は、重み付けの総和を演算する。

ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、上述した式（１）を演算する。すなわち、ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２２において算出された合計値を、取得した値の数と、ステップＳ１２３において算出された重み付けの総和との積で除算する。

ステップＳ１２５において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２４の処理により算出された除算結果を出力する。

このような処理により、式（１）を用いて説明した重み付け平均の演算が実行される。

次に、図２８のフローチャートを参照して、図２５のステップＳ９５において実行される分散計算処理１について説明する。

ステップＳ１４１において、統計量算出部２８４の分散算出部３６２は、演算結果であるとして出力する分散値Ｖｘｘ（ここでは、第１の色Ｃｒの分散値であるのでＶ_CrCrに置き換えられる。以下、省略する）を初期化する。

ステップＳ１４２において、分散算出部３６２は、平均値算出部３６１により算出された第１の信号の平均値Ｍ_x（ここでは、Ｍ_xの添え字ｘは、Ｃｒに置き換えられる。以下、省略する）を取得する。

分散算出部３６２は、ステップＳ１４３において、局所領域のうちの一部の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ'＝１とし、ステップＳ１４４において、局所領域のうちの一部の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ'＝１とする。

ステップＳ１４５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘ（すなわち、Ｃｒ_roughi、以下、省略する）から、ステップＳ１４２において取得された平均値Ｍ_Crを減算し、減算結果を２乗して、現在の分散値Ｖ_CrCrに加えた値を、分散値Ｖ_CrCrとして更新する。すなわち、分散算出部３６２は、Ｖ_CrCr＝Ｖ_CrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図２０を用いて説明したような重み付けを施すようにしても良い。

ステップＳ１４６において、分散算出部３６２は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ'＝ｎ−２であるか否かを判断する。

ステップＳ１４６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ１４７において、分散算出部３６２は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ１４５に戻り、それ以降の処理が繰り返される。

ステップＳ１４６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ１４８において、分散算出部３６２は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ１４８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ１４９において、分散算出部３６２は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ１４８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ１５０において、分散算出部３６２は、局所領域のうちの一部の粗補間値の分散値Ｖ_CrCrを出力し、処理は、図２５のステップＳ９６に進む。

分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）²を重み係数の総和で除算することにより、分散値を算出することができる。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

また、図２８を用いて説明した分散計算処理１においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。

次に、図２９のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図２５のステップＳ９５において実行される分散計算処理２について説明する。

ステップＳ１７１乃至ステップＳ１７４においては、図２８を用いて説明したステップＳ１４１乃至ステップＳ１４４と同様の処理が実行される。

ステップＳ１７５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘから、ステップＳ１７２において取得された平均値Ｍ_Crを減算し、減算結果を２乗して、現在の分散値Ｖ_CrCrに加えた値を、分散値Ｖ_CrCrとして更新する。すなわち、分散算出部３６２は、Ｖ_CrCr＝Ｖ_CrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図２０に示されるように、平均値の演算と同様の重み付けを施すようにしても良い。

値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ²は｜ｐ｜で近似することが可能である。これは、式（３）または式（４）を用いて、式（２）に示される共分散の演算に対する近似演算が可能であることと同様である。

そして、ステップＳ１７６乃至ステップＳ１８０においては、図２８を用いて説明したステップＳ１４６乃至ステップＳ１５０と同様の処理が実行され、処理は、図２５のステップＳ９６に進む。

このように、式（３）または式（４）を用いて、式（２）に示される共分散の演算に対する近似演算を行う場合と同様の近似演算処理により、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。

次に、図３０のフローチャートを参照して、図２５のステップＳ９６において実行される、共分散計算処理について説明する。

ステップＳ２０１において、共分散算出部３６４は、出力される値である共分散値Ｖ_xy（ここでは、第１の色Ｃｒと第２の色Ｃｒとの共分散値であるのでＶ_CrCeに置き換えられる。以下、省略する）を初期化する。

ステップＳ２０２において、共分散算出部３６４は、平均値算出部３６１による図２５のステップＳ９２の処理により算出された第１の信号の平均値Ｍ_Cr、および、平均値算出部３６３による図２５のステップＳ９４の処理により算出された第２の平均値Ｍ_Ceを取得する。

ステップＳ２０３において、共分散算出部３６４は、局所領域のうちの一部の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ’＝１とする

ステップＳ２０４において、共分散算出部３６４は、局所領域のうちの一部の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ’＝１とする

ステップＳ２０５において、図３２または図３３を用いて後述する積算処理が実行される。

ステップＳ２０６において、共分散算出部３６４は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ’＝ｎ−２であるか否かを判断する。

ステップＳ２０６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ２０７において、共分散算出部３６４は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ２０５に戻り、それ以降の処理が繰り返される。

ステップＳ２０６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ２０８において、共分散算出部３６４は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ２０８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ２０９において、共分散算出部３６４は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ２０４に戻り、それ以降の処理が繰り返される。

ステップＳ２０８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ２０９において、共分散算出部３６４は、共分散値Ｖ_CrCeを出力して、処理は、終了される。

共分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍ_Ce｜）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、共分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍ_Cr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍ_Ce｜）を重み係数の総和で除算することにより、共分散値を算出することができる。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

上述した図３０の共分散計算処理のステップＳ２０５において実行される積算処理には、上述した式（２）を用いて、定義どおり、共分散値が算出される場合に実行される積算処理１と、近似演算を用いて共分散値が算出される場合に実行される積算処理２との、２種類の処理がある。

次に、図３１のフローチャートを参照して、図３０のステップＳ２０５において実行される積算処理１について説明する。積算処理１は、上述した式（２）を用いて、定義どおり、共分散値が算出される場合に実行される処理である。

ステップＳ２２１において、共分散算出部３６４は、（第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍ_Cr）と、（第２の信号の画素（ｓ’，ｔ’）の強度Ｙ（すなわち、Ｃｅroughi。以下、省略する）−第２の信号の平均値Ｍ_Ce）の積を演算する。

ステップＳ２２２において、共分散算出部３６４は、Ｖ_CrCe＝Ｖ_CrCe＋ｗｉ（積算結果）とし、処理は、図３０のステップＳ２０６に進む。ここで、ｗｉは、画素（ｓ’，ｔ’）における重み付けの値である。

このような積算処理が実行されることにより、上述した式（２）を用いて、定義どおり、共分散値が算出される。積算処理１が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。

次に、図３２のフローチャートを参照して、図３０のステップＳ２０５において実行される積算処理２について説明する。積算処理２は、上述した式（３）または式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２４１において、共分散算出部３６４は、｛第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍ_Cr｝をｐとする。

ステップＳ２４２において、共分散算出部３６４は、｛第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍ_Ce｝をｑとする。

ステップＳ２４３において、図３３、または、図３４を用いて後述する積算近似処理が実行される。

ステップＳ２４４において、共分散算出部３６４は、Ｖ_CrCe＝Ｖ_CrCe＋（ｐｑの近似値）とし、処理は、図３０のステップＳ２０６に進む。

次に、図３３のフローチャートを参照して、図３２のステップＳ２４３において実行される積算近似処理１について説明する。積算近似処理１は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２６１において、共分散算出部３６４は、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ２６２において、共分散算出部３６４は、ｐ≧０であるか否かを判断する。

ステップＳ２６２において、ｐ≧０であると判断された場合、ステップＳ２６３において、共分散算出部３６４は、ｐｑの近似値＝＋ｑとし、処理は、図３２のステップＳ２４４に進む。

ステップＳ２６２において、ｐ≧０ではないと判断された場合、ステップＳ２６４において、共分散算出部３６４は、ｐｑの近似値＝−ｑとし、処理は、図３２のステップＳ２４４に進む。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ２６５において、共分散算出部３６４は、ｑ≧０であるか否かを判断する。

ステップＳ２６５において、ｑ≧０であると判断された場合、ステップＳ２６６において、共分散算出部３６４は、ｐｑの近似値＝＋ｐとし、処理は、図３２のステップＳ２４４に進む。

ステップＳ２６５において、ｑ≧０ではないと判断された場合、ステップＳ２６７において、共分散算出部３６４は、ｐｑの近似値＝−ｐとし、処理は、図３２のステップＳ２４４に進む。

この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。

図３３を用いて説明した処理により、上述した式（３）を用いて、共分散値を近似することが可能である。

次に、図３４のフローチャートを参照して、図３２のステップＳ２４３において実行される積算近似処理２について説明する。積算近似処理２は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２８１において、共分散算出部３６４は、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、ｐまたはｑが０であるか否かを判断する。

ステップＳ２８１において、ｐまたはｑが０であると判断された場合、ステップＳ２８１において、共分散算出部３６４は、ｐｑの近似値を０とし、処理は、図３２のステップＳ２４４に進む。

ステップＳ２８１において、ｐおよびｑはいずれも０ではないと判断された場合、ステップＳ２８３において、共分散算出部３６４は、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であるか否かを判断する。

ステップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であると判断された場合、ステップＳ２８４において、共分散算出部３６４は、ｐｑの近似値を（｜ｐ｜＋｜ｑ｜）／２とし、処理は、図３２のステップＳ２４４に進む。

テップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれでもないと判断された場合、ステップＳ２８５において、共分散算出部３６４は、ｐｑの近似値を、（−｜ｐ｜−｜ｑ｜）／２とし、処理は、図３２のステップＳ２４４に進む。

なお、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐまたはｑが、０の値を取ることは、信号の種類によってはまれな場合がある。そこで、ステップＳ２８１およびステップＳ２８２の処理を省略するようにしてもよい。このようにすることにより、演算処理速度を高速化したり、ハードウェアの実装規模を縮小するようにすることが可能である。

図３４を用いて説明した処理により、上述した式（４）を用いて、共分散値を近似することが可能である。

図３２乃至図３４を用いて説明した積算処理が実行されることにより、上述した式（３）または式（４）を用いて、共分散値を近似することが可能である。このようにした場合、式（２）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。

次に、図３５のフローチャートを参照して、図１６の回帰演算処理部６４３において実行される、補間画素推定処理について説明する。

ステップＳ２９１において、傾き算出部３８１は、上述した式（５）を用いて、分散値および共分散値に基づく傾きＫを算出する。

ステップＳ２９２において、画素強度推定部３８２は、ステップＳ２９１において算出された傾きＫ、２つの平均値Ｍ_CrおよびＭ_Ce、並びに、注目画素位置における第１の色の強度推定値Ｃｒ_centerに基づいて、上述した式（６）の線形回帰式を用いて、注目画素位置の第２の色Ｃｅの推定値強度推定値Ｃ_2centerを算出し、処理が終了される。

このような処理により、注目画素位置の各色の推定強度を算出することができる。

以上の処理により、デモザイク処理部２５３は、各画素位置において、Ｒ，Ｇ，Ｂ，Ｅの強度推定値を算出する。本発明では、フィルタ色のうちの２つの色に対して、その周期性を崩すと同時に、それらの色が全水平および垂直ラインになるべく均一に存在するような色配列を採用しているため、色モアレと偽色の低減に好適な信号のサンプリングが可能となる。

また、本発明においては、色分布の線形回帰を利用したデモザイク手法を用いている。このデモザイク手法は各色の配置に性能が依存しにくいという特徴を持っているので、非周期性を持たせた本発明の色配列にも適用でき、色度信号の高周波成分まで高精細に再現することが可能であり、偽色をより低減させる効果がある。

このように、色度信号のエリアシングによって生じる色モアレと偽色の２つ現象の両方を解決し、いままで以上に高画質な出力画像を提供することができる。

また本発明では、画素ごとに、分光感度（色）が異なる複数種類のフィルタのうちどれか１つを貼るようにしてつくった画像センサと、その画像センサによって得られたモザイク画像から、全画素で全色がそろうようなカラー画像を生成する図１８のデモザイク処理部２５３を備える画像処理装置において、画像センサの色フィルタ配列は、第１の色Ｃ１と第２の色Ｃ２が、画像センサの画素格子の一方の対角方向に、ある周期で交互に配置され、Ｃ１とＣ２が、他方の対角方向に、異なる周期で交互に配置される。このように、規則的な配列であっても、Ｃ１、Ｃ２が全水平および垂直ラインにうまく均一に存在するようにすれば、ランダム配列と同様にエリアシング低減の効果を出すことが可能である。また規則的な配列であればそのパターンをROM（Read Only Memory）などで記憶する必要はなく、簡単なロジックかまたはテーブルによって各画素の色が何かを算出できるという利点もある。

さらに、全画素で全色がそろうようなカラー画像を生成する図１８のデモザイク処理部２５３には、注目画素位置のある色Ｃｒ（Ｃｉ（ｉ＝１，２，３・・・））の強度Ｃｒ_centerを取得する注目画素選択部２８２と、注目画素位置の周囲にある画素を用いて、色Ｃｒ（Ｃｉ）とＣｅ（Ｃｊ（ｊ＝１または２，ｊとｉは異なる）の強度の組を複数個生成する粗補間処理部２８３−１乃至２８３−４と、Ｃｒ（Ｃｉ）とＣｅ（Ｃｊ）の強度の組から、注目画素位置近傍の色のＣｒ−Ｃｅ（Ｃｉ−Ｃｊ）空間における色分布形状を推定する統計量算出部２８４−１乃至２８４−４と、色分布形状と注目画素位置のＣｒ（Ｃｉ）強度Ｃｒ_centerに基づいて、注目画素位置のＣｅ（Ｃｊ）強度を推定する回帰演算処理部２８５−１乃至２８５−４を有している。このような構成をとることによって、色分布線形回帰を用いるデモザイク処理をおこなうことが可能となる。色分布線形回帰を用いるデモザイク処理は色配列に対する制約がゆるいので、本発明の色配列にも適用可能である。このデモザイク処理によって偽色低減の効果を得ることができる。さらに、本発明の色配列ではＣ１，Ｃ２が全水平および垂直ラインにうまく均一に存在するようになるので、ベイヤー配列のＲ，Ｂで解決できていなかった、０．２５cycle/pixel周期の縞模様で偽色効果が小さいという問題を解決することができる。

また、２つ対角方向の色Ｃ１とＣ２の周期は、そのうち一方が１画素ごとに交互であり、他方が２画素ごと、もしくは３画素ごとに交互である。このように、交互配置の周期をとることによって、Ｃ１およびＣ２の均一性が大きくなり、エリアシング低減の効果をなるべく大きくすることができる。

さらに、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３の３色からなる配列であって、対角に交互に配置されないＣ３は市松状に配置される。このように、Ｃ３を市松状にすることによって、Ｃ３に関しては高周波成分の再現が容易にできるようにする。例えばＣ１をＲ、Ｃ２をＢ、Ｃ３をＧとした場合、Ｇを用いて画像の輝度信号の高周波成分が正しく再現でき、対角方向に異なる周期で交互に配置されるＲとＢによって色度信号のエリアシングも低減され、高品質な画像出力を得ることができる。

また、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３，Ｃ４の４色からなる配列であって、対角に交互に配置されるＣ１およびＣ２とは異なる色Ｃ３およびＣ４は、それぞれ水平垂直方向に１画素おきの正方格子状に配置される。このように、４色配列においても本発明は適用可能である。例えばＣ１をＲ、Ｃ２をＢ、Ｃ３をＧ、Ｃ４をＧに類似した分光感度のフィルタ色を選択すれば、Ｃ３とＣ４の間の相関の強さを利用した高品質な輝度信号再現が可能となり、対角方向に異なる周期で交互に配置されるＲとＢによって色度信号のエリアシングも低減される。

さらに、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３，Ｃ４の４色からなる配列であって、対角に交互に配置されるＣ１およびＣ２とは異なる色Ｃ３およびＣ４は、Ｃ３とＣ４が画像センサの画素格子の一方の対角方向に、ある周期で交互に配置され、Ｃ３とＣ４が、他方の対角方向に、異なる周期で交互に配置される。このように、４色配列の２組の２色の組み合わせの両方に本発明を適用することができる。例えばＣ１をＲ、Ｃ２をＢとし、Ｃ３をＧとし、Ｃ４をＧに類似した分光感度のフィルタ色を選択すれば、Ｃ３とＣ４の間の相関の強さを利用して画像の輝度信号を再現するときに、本発明の特徴を活かして輝度信号のエリアシングを低減することが可能になる。

上述したデモザイク処理部２５３の構成および動作は、本発明を適用した色配列のバリエーションである図１２、図１３および図１５にも適用することができる。また、RGBの３色配列である図６および図７においても、単純にＥ強度の推定に関する処理を省略するだけで、適用することができる。

なお、RGBの３色配列である図６および図７では、Ｇが市松状に配置されているので、従来からあるベイヤー配列（図１）でＧ強度を補間する技術を用い、ＲとＢの強度推定に関して上記の処理を適用するようにしてもかまわない。また、ＲＧＢＥの４色配列である図１２および図１３では、ＧとＥが水平および垂直に１ラインごとに配置されているので、ＧおよびＥに基づいて画像の輝度成分として高精細、すなわち、各画素位置ごとに算出して、上述した実施の形態の第１の色Ｃｒとして用いれば、ＲとＢの強度を推定することができる。

以下に、図１２および図１３のＲＧＢＥ４色配列でＧおよびＥに基づいて画像の輝度成分を各画素位置ごとに算出して、これを上述した実施の形態の第１の色Ｃｒとして用いるようにした場合のデモザイク処理部２５３の構成と動作を説明する。

図３６は、デモザイク処理部２５３の他の構成を示すブロック図である。ＧおよびＥに基づいて輝度成分を算出するようにするデモザイク処理においては、上述した図１８の構成のかわりに図３６のデモザイク処理部２５３の構成を用いる。図３６を図１８と比較すると明らかなように、図３６の（Ｇ＋Ｅ）強度算出部５０１が図１８の注目画素選択部２８２に置き換えられ、図３６の粗補間処理部５０２が、図１８の４つの粗補間処理部２８３−１乃至２８３−４に置き換えられ、さらに図３６では、加算器５０３が設けられている。なお、図３６の粗補間処理部５０２は、図１８の４つの粗補間処理部２８３とは若干異なる処理を実行する。なお、図中、図１８と対応する部分については同一の符号を付してある。すなわち、図３６の局所領域抽出部２８１、４つの統計量算出部２８４−１乃至２８４−４、および４つの回帰演算処理部２８５−１乃至２８５−４については、図３６と図１８で共通の構成である。

Ｇ＋Ｅ強度算出部５０１は、局所領域抽出部２８１が抽出した局所領域内の画素の情報を用いて注目画素位置における（Ｇ＋Ｅ）強度を算出する。ここで（Ｇ＋Ｅ）は上述した色分布形状の回帰計算を用いた色強度推定方法の第１の色Ｃｒとして用いられる。そのため、粗補間処理部５０２と加算器５０３はこの（Ｇ＋Ｅ）強度とＲ，Ｇ，Ｂ，Ｅ各色の強度との組を局所領域内の画素情報を持ちいて作るように働く。すなわち、粗補間処理部５０２は局所領域内において、Ｒ，Ｇ，Ｂ，Ｅ各色強度のラフな補間値のセットを算出し、加算器５０３はそのうちＧ強度のラフな補間値のセットとＥ強度のラフな補間値のセットを加算することによって、（Ｇ＋Ｅ）強度のラフな補間値のセットを算出する。

４つの統計量算出部２８４−１乃至２８４−４は（Ｇ＋Ｅ）強度のラフな補間値のセットを第１の色Ｃｒのセットとして受け付けるとともに、Ｒ，Ｇ，Ｂ，Ｅのうちいずれか１つの強度のラフな補間値のセットを第２の色Ｃｅのセットとして受け付ける。そして、統計量算出部２８４−１乃至２８４−４は、上述した統計量算出部２８４−１乃至２８４−４と同様の動作により第１の色Ｃｒと第２の色Ｃｅの統計量を算出する。そして、４つの回帰演算処理部２８５−１乃至２８５−４が、これらの統計量と（Ｇ＋Ｅ）強度算出部５０１が算出した注目画素位置の（Ｇ＋Ｅ）強度値に基づいてＲ，Ｇ，Ｂ，Ｅ各色の注目画素位置の強度を回帰演算により算出するように動作する。

図３７は、図３６のＧ＋Ｅ強度推定処理部５０１の構成を示すブロック図である。

Ｇ＋Ｅ強度推定処理部５０１は、Ｇ強度推定部５２１、Ｅ強度推定部５２２、および、加算処理部５２３により構成される。

Ｇ強度推定部５２１は局所領域の画素を用いて注目画素位置のＧ強度の推定値を算出する。Ｅ強度推定部５２２は局所領域の画素を用いて注目画素位置のＥ強度の推定値を算出する。加算処理部５２３は算出されたＧ強度推定値とＥ強度推定値を加算することによって、注目画素位置の（Ｇ＋Ｅ）強度推定値を算出する。図１２乃至図１５を用いて説明した原色４色配列のカラーフィルタによって得られるモザイク画像においては、ＧまたはＥがどちらも１画素おきの間隔でしか信号が存在しないので、ＧのみまたはＥのみの補間処理だけでは高周波の画像信号を再現できずにジャギネスやジッパーノイズを発生させやすい。しかしながら、ＧまたはＥのいずれかが、互いに水平および垂直に１画素ずれた位置に配置されていることを利用し、ＧとＥの信号を加算したような信号をすべての画素位置に再現することによって、それぞれの限界よりも高い高域の画像信号を再現することが可能になり、出力画像でジャギネスやノイズが発生するのを抑えることができる。

図３８は、Ｇ強度推定部５２１およびＥ強度推定部５２２の構成を示すブロック図である。まず、Ｇ強度推定部５２１とＥ強度推定部５２２との共通点について説明し、その後、Ｇ強度推定部５２１とＥ強度推定部５２２との差異について説明する。

Ｇ強度推定部５２１およびＥ強度推定部５２２は、それぞれ、注目画素選択部６０１、第１の処理ブロック６０２、第２の処理ブロック６０３、第３の処理ブロック６０４、テクスチャ方向判定部６０５、および、スイッチ６０６で構成されている。また、第１の処理ブロック６０２は、第１の強度推定部６１１で構成され、第２の処理ブロック６０３および第３の処理ブロック６０４は、第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、およびスイッチ６２４で構成される。

注目画素選択部６０１は７×７画素の局所領域から注目画素位置すなわち中心の画素を選んでその画素強度を出力する。テクスチャ方向判定部６０５は、局所領域における画像のテクスチャを調べ、それが主に縦縞か横縞かを判定した結果を出力する。第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３は、局所領域の画素と注目画素位置における所定の色の強度推定値に基づいて推定すべき色の強度を算出するものである。ここで、推定すべき色とは、Ｇ強度推定部５２１であればＧ、Ｅ強度推定部５２２であればＥをさす。強度推定部が４種類存在するのは、与えられた注目画素位置の色強度が何色であるかということと、局所領域の色の配置によって処理の種類が４種類あるという理由による。スイッチ６２４は、テクスチャ方向判定部６０５が出力するテクスチャ方向の判定結果に基づき、入力された２つの強度推定値のどちらを使用するべきかを選択して出力する。スイッチ６０６は、本来のモザイク画像において注目画素位置の色が何色であるかに基づき、入力された４つの強度推定値のどれを使用するべきかを選択して出力する。スイッチ６０６の出力がＧ強度推定部５２１およびＥ強度推定部５２２の出力となる。

前述のように、Ｇ強度推定部５２１およびＥ強度推定部５２２の動作は、注目画素位置の色が本来何色であるかによって切り替わらなければならない。図３８に示される構成では、注目画素の色に基づいた４種類の動作について、選択された注目画素をそのまま出力するか、または、第１の処理ブロック６０２、第２の処理ブロック６０３、第３の処理ブロック６０４において推定値を算出し、最後にスイッチ６０６によって、いずれの値を出力するかが選択されて出力されるようになされている。

４種類の動作について説明する。第１に、モザイク画像の注目画素位置が補間すべき色そのものであれば、特別な推定処理は必要なく、注目画素選択部６０１によって選択されたモザイク画像の注目画素の強度がそのまま出力されればよいので、注目画素選択部６０１の出力がスイッチ６０６から出力される（図中の入力ａが出力される）ようになされる。第２に、モザイク画像の注目画素位置がＧもしくはＥであるが補間すべき色ではない場合は、第１の処理ブロック６０２の第１の強度推定部６１１によって、局所領域のＧとＥの画素情報に基づいて算出された強度推定値が、スイッチ６０６のから出力される（図中の入力ｂが出力される）ようになされる。

第３に、モザイク画像の注目画素位置が補間すべき色の画素と水平に１画素ずれた状態である場合、第２の処理ブロック６０３の第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、および、スイッチ６２４、または、第３の処理ブロック６０４の第３の強度推定部６２２、第２の強度推定部６２１、第４の強度推定部６２３、およびスイッチ６２４の処理により算出された強度推定値が、スイッチ６０６から出力される（図中の入力ｃまたはｄが出力される）ようになされる。第４に、モザイク画像の注目画素位置が補間すべき色の画素と垂直に１画素ずれた状態であるときには、第３の場合と同様に、第２の処理ブロック６０３の第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、および、スイッチ６２４、または、第３の処理ブロック６０４の第３の強度推定部６２２、第２の強度推定部６２１、第４の強度推定部６２３、およびスイッチ６２４の処理により算出された強度推定値が、スイッチ６０６から出力される（図中の入力ｃまたはｄが出力される）ようになされる。第３の場合と第４の場合、すなわち、注目画素の色がＲまたはＢであるとき、スイッチ６０６は、第２の処理ブロック６０３または第３の処理ブロック６０４の処理により算出された強度推定値を、フィルタの配列によって適宜選択する。

ここで第２の処理ブロック６０３の動作について説明する。第２の強度推定部６２１は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第３の強度推定部６２２は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第３の強度推定部６２２による強度推定値に基づいて、第４の強度推定部６２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ６２４において、テクスチャ方向判定部６０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。

次に、第３の処理ブロック６０４の動作について説明する。第３の強度推定部６２２は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第２の強度推定部６２１は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第２の強度推定部６２１による強度推定値に基づいて、第４の強度推定部６２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ６２４において、テクスチャ方向判定部６０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。

このようにすることによって、細かい縞模様のように高周波成分が大きい画像信号に対する再現性を向上させることができる。

以上、Ｇ強度推定部５２１およびＥ強度推定部５２２の動作の共通部分について説明したが、Ｇ強度推定部５２１とＥ強度推定部５２２との違いは、補間すべき色がＧかＥか、また、それによって、水平に隣接する色および垂直に隣接する色がＲかＢかの違いであって、それによってスイッチ６０６の振る舞いが異なる、という点のみである。図３９を用いて、注目画素の色に対して、Ｇ強度推定部５２１とＥ強度推定部５２２のそれぞれのスイッチ６０６の出力について説明する。

図３９に示されるように、Ｇ強度推定部５２１のスイッチ６０６は、注目画素がＲのとき、第３の処理ブロック６０４で算出された強度推定値または第２の処理ブロック６０３で算出された強度推定値をスイッチ６０６から出力（図中の入力ｄまたはｃを出力）し、注目画素がＧのとき、注目画素選択部６０１の出力をスイッチ６０６から出力（図中の入力aを出力）し、注目画素がＢのとき、第２の処理ブロック６０３または第３の処理ブロック６０４で算出された強度推定値をスイッチ６０６から出力（図中の入力ｃまたはｄを出力）し、注目画素がＥのとき、第１の処理ブロック６０２で算出された強度推定値を、スイッチ６０６のから出力（図中の入力ｂを出力）する。また、図３９に示されるように、Ｅ強度推定部５２２のスイッチ６０６は、注目画素がＲのとき、第２の処理ブロック６０３または第３の処理ブロック６０４で算出された強度推定値を、スイッチ６０６から出力（図中の入力ｃまたはｄを出力）し、注目画素がＧのとき、第１の処理ブロック６０２で算出された強度推定値をスイッチ６０６のから出力（図中の入力ｂを出力）し、注目画素がＢのとき、第３の処理ブロック６０４または第２の処理ブロック６０３で算出された強度推定値をスイッチ６０６から出力（図中の入力ｄまたはｃを出力）し、注目画素がＥのとき、注目画素選択部６０１の出力をスイッチ６０６から出力（図中の入力ａを出力）する。

図４０は、図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、または、第４の強度推定部６２３の構成を示すブロック図である。図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３は、粗補間処理部６５１において粗補間を実行する場合に取得される第２の色の選択方法が異なる以外は、基本的に同様の構成を有するものである。

粗補間処理部６５１は、上述した図１８の粗補間処理部２８３と同様の構成であり、例えば、７×７画素の局所領域内にある画素を用いて、局所領域内の複数の画素位置において、異なる２つの色（第１の色および第２の色）の強度の組が作れるよう、簡単な演算によって、第１の色と第２の色との画素強度の補間値を算出する。

統計量算出部６５２は、上述した図１８の統計量算出部２８４と同様の構成であり、粗補間処理部６５１により算出された局所領域内の各画素における第１の色と第２の色との強度の組を用いて、２色間の統計量を算出する。具体的には、統計量算出部６５２は、第１の色の平均値、第２の色の平均値、第１の色の分散値、および、第１の色と第２の色の共分散値を演算して出力する。

回帰演算処理部６５３は、上述した図１８の回帰演算処理部２８５と同様の構成であり、注目画素の画素強度と、統計量算出部６５２が算出した統計量とに基づいて、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。

図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３は、以上説明したように、２つの色の統計的関係に基づいて、第１の色の強度推定値から第２の色の強度推定値を算出するものである。４種類の強度推定部の違いは、この２つの色をどのように選ぶかの違いであって、それは粗補間処理部６５１が第１の色Ｃｒと第２の色Ｃｅとして２つの色を選択する方法の差であり、統計量算出部６５２および回帰演算処理部６５３の処理は共通である。第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３のそれぞれの粗補間処理部６５１の処理は、上述した図２４の処理と同様である。

次に、図４０のフローチャートを参照して、図３６の粗補間処理部５０２における粗補間処理を説明する。なお図３６の粗補間処理部５０２は、図１８の４つの租補間処理部２８３−１乃至２８３−４の動作をまとめたような動作を実行する。

粗補間処理部５０２は、ステップＳ３２１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ３２２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ３２３において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度、およびその８近傍の画素の強度を取得する。ここで取得された画素強度は、画素位置（ｓ、ｔ）の画素強度を含む９個の画素強度となる。

ステップＳ３２４において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｒ画素の強度の平均値を画素位置（ｓ、ｔ）のＲ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｒに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＲのラフな補間値とする。

ステップＳ３２５において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｇ画素の強度の平均値を画素位置（ｓ、ｔ）のＧ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｇに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＧのラフな補間値とする。

ステップＳ３２６において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｂ画素の強度の平均値を画素位置（ｓ、ｔ）のＢ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｂに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＢのラフな補間値とする。

ステップＳ３２７において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｅ画素の強度の平均値を画素位置（ｓ、ｔ）のＥ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｅに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＥのラフな補間値とする。

ステップＳ３２８において、粗補間処理部５０２は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ３２８において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ３２９において、粗補間処理部５０２は、第２のレジスタの値ｔをｔ＝ｔ＋１とする。その後、処理はステップＳ３２３に戻り、それ以降の処理が繰り返される。

ステップＳ３２８において、ｔ＝ｎ−１であると判断された場合、ステップＳ３３０において、粗補間処理部５０２は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ３３０において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ３３１において、粗補間処理部５０２は、第１のレジスタの値ｓをｓ＝ｓ＋１とする。その後、処理はステップＳ３２２に戻り、それ以降の処理が繰り返される。

ステップＳ３３０において、ｓ＝ｎ−１であると判断された場合、ステップＳ３３２において、粗補間処理部５０２は、ステップＳ３２３乃至ステップＳ３２７の処理の繰り返しにより補間した全画素位置の補間値の組を出力し、処理が終了される。

図４１の処理により、粗補間処理部５０２は、注目画素付近の画素から、注目画素位置におけるＲ，Ｇ，Ｂ，Ｅのラフな補間値を算出することができる。

なお、ステップＳ３２４乃至ステップＳ３２７の処理は、並行して実行されても、その処理の順番を不同としてもよい。

次に、図４２のフローチャートを参照して、図３７のＧ＋Ｅ強度推定処理部５０１が実行するＧ＋Ｅ強度推定処理について説明する。

ステップＳ３４１において、Ｇ強度推定部５２１は、局所領域の画素を用いて注目画素位置のＧ強度推定値を算出する。具体的には、Ｇ強度推定部５２１は、図３８を用いて説明した処理によって、注目画素位置のＧ強度推定値を算出する。

ステップＳ３４２において、Ｅ強度推定部５２２は、局所領域の画素を用いて注目画素位置のＥ強度推定値を算出する。具体的には、Ｅ強度推定部５２２は、図３８を用いて説明した処理によって、注目画素位置のＥ強度推定値を算出する。

加算処理部５２３は、ステップＳ３４３において、ステップＳ３４１において算出されたＧ強度推定値と、ステップＳ３４２において算出されたＥ強度推定値とを加算して、Ｇ＋Ｅ強度推定値を算出し、ステップＳ３４４において、Ｇ＋Ｅ強度推定値を回帰演算処理部２８５に出力する。

このような処理により、市松状に配置されたＧとＥからなる新たな強度推定値であるＧ＋Ｅ強度推定値を算出することができる。このＧ＋Ｅ推定値は、後段の回帰演算処理部２８５における、ＲＧＢＥの各色の強度の推定演算に用いることが可能となる。

なお、ステップＳ３４１の処理とステップＳ３４２の処理とは、並行して実行されても、その処理の順番を逆にしてもよい。

これにより、ＧとＥからなる新たな強度推定値であるＧ＋Ｅ強度推定値に基づいて、ＲとＢの強度を推定することができる。

なお、本発明は、４色以上の色配列に対しても適用され、同様に、ジャギネスの低減および解像度感の向上を可能とする。

以上では、デジタルスチルカメラ２０１における画像処理について説明したが、動画像を撮像することが可能なデジタルビデオカメラについても、本発明は適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デジタルスチルカメラ２０１の処理の一部は、図４３に示されるようなパーソナルコンピュータ７０１により実行することが可能となる。

図４３において、ＣＰＵ（Central Processing Unit）７１１は、ＲＯＭ（Read Only Memory）７１２に記憶されているプログラム、または記憶部７１８からＲＡＭ（Random Access Memory）７１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ７１３にはまた、ＣＰＵ７１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７１１、ＲＯＭ７１２、およびＲＡＭ７１３は、バス７１４を介して相互に接続されている。このバス７１４にはまた、入出力インタフェース７１５も接続されている。

入出力インタフェース７１５には、キーボード、マウスなどよりなる入力部７１６、ディスプレイやスピーカなどよりなる出力部７１７、ハードディスクなどより構成される記憶部７１８、モデム、ターミナルアダプタなどより構成される通信部７１９が接続されている。通信部７１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１５にはまた、必要に応じてドライブ７２０が接続され、磁気ディスク７３１、光ディスク７３２、光磁気ディスク７３３、もしくは、半導体メモリ７３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図４３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７３１（フロッピディスクを含む）、光ディスク７３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク７３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ７３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７１２や、記憶部７１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

ベイヤー配列について説明するための図である。 従来のランダム配列の例を説明するための図である。 従来のＧ市松ＲＢランダム配列の例を説明するための図である。 従来のＧ市松ＲＢランダム配列の他の例を説明するための図である。 本発明を適用したデジタルスチルカメラの構成を示すブロック図である。 本発明を適用した３色配列の例を説明するための図である。 本発明を適用した３色配列の他の例を説明するための図である。 ２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分について説明するための図である。 図８における場合の画素値をＣ１−Ｃ２空間にプロットした場合について説明するための図である。 画像中の細かい縦縞模様を含む７×７画素の局所領域の典型例を示す図である。 画像中の細かい縦縞模様の領域で得られる典型的な色分布形状とそれへの線形回帰の様子を説明するための図である。 本発明を適用した４色配列の例を説明するための図である。 本発明を適用した４色配列の他の例を説明するための図である。 本発明を適用した４色配列のさらに他の例を説明するための図である。 本発明を適用した４色配列の他の例を説明するための図である。 図１２および図１３のカラーフィルタの分光特性の例を示す図である。 図５のＤＳＰブロックの構成を示すブロック図である。 図１７のデモザイク処理部の構成を示すブロック図である。 図１８の統計量算出部の構成を示すブロック図である。 図１９の平均値算出部、分散算出部、および共分散算出部で用いられる重み値の例を示す図である。 図１８の回帰演算処理部の構成例を示すブロック図である。 図５のＤＳＰブロックが実行する画像処理についてについて説明するためのフローチャートである。 デモザイク処理について説明するためのフローチャートである。 局所領域内の複数位置で注目画素位置の色ＣｒとＣｒの強度の組を算出する処理を説明するためのフローチャートである。 ２色分布形状の統計量算出処理を説明するためのフローチャートである。 平均値算出処理１について説明するフローチャートである。 平均値計算処理２について説明するためのフローチャートである。 分散計算処理１について説明するためのフローチャートである。 分散計算処理２について説明するためのフローチャートである。 共分散計算処理について説明するためのフローチャートである。 積算処理１について説明するためのフローチャートである。 積算処理２について説明するためのフローチャートである。 積算近似処理１について説明するためのフローチャートである。 積算近似処理２について説明するためのフローチャートである。 補間画素推定処理１について説明するためのフローチャートである。 デモザイク処理部の他の構成例を示すブロック図である。 図３６のＧ＋Ｅ強度推定部の構成例を示すブロック図である。 図３７のＧ強度推定部およびＥ強度推定部の構成例を示すブロック図である。 図３８のスイッチの処理について説明するための図である。 図３８の第１乃至第４の強度推定部の構成を示すブロック図である。 図３６の粗補間処理部における粗補間処理を説明するためのフローチャートである。 Ｇ＋Ｅ強度推定処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２０１ デジタルスチルカメラ， ２１６ ＤＳＰブロック， ２４２ 信号処理用プロセッサ， ２５３ デモザイク処理部， ２８１ 局所領域抽出部， ２８２ 注目画素選択部， ２８３ 粗補間処理部， ２８４ 統計量算出部， ２８５ 回帰演算処理部

Claims (7)

1. 画像を撮像して処理する画像処理装置において、
   分光感度が異なる複数種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、
   前記画像取得手段により取得された前記モザイク画像から、前記画素ごとに前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段と
   を備え、
   複数種類の前記フィルタにおいては、そのうち第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に前記第１の所定の周期とは異なる第２の所定の周期で交互に配置されている
   ことを特徴とする画像処理装置。
2. 前記画像処理手段は、
   注目画素の色の強度である注目画素色強度を取得する色強度取得手段と、
   前記注目画素の近傍の画素を用いて、前記注目画素と同一の第１の色の強度と、前記第１の色とは異なる第２の色の強度との組を複数個生成する生成手段と、
   前記生成手段により生成された前記強度の組に基づいて、前記第１の色と前記第２の色との空間における色分布形状を推定する色分布形状推定手段と、
   前記色分布形状推定手段により推定された前記色分布形状と前記色強度取得手段により取得された前記注目画素色強度に基づいて、前記注目画素の前記第２の色の強度を推定する強度推定手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の所定の周期は、前記第１のフィルタと前記第２のフィルタを１画素ごとに交互に配置するものであり、
   前記第２の所定の周期は、前記第１のフィルタと前記第２のフィルタを２画素ごと、または３画素ごとに交互に配置するものである
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、および第３のフィルタにより構成され、前記第３のフィルタは、市松状に配置されている
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、前記第３のフィルタおよび前記第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されている
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、前記第３のフィルタおよび前記第４のフィルタは、前記画像センサの画像格子の一方の対角方向に第３の所定の周期で交互に配置されるとともに、他方の対角方向に、前記第３の所定の周期とは異なる第４の所定の周期で交互に配置されている
   ことを特徴とする請求項１に記載の画像処理装置。
7. 画像を撮像して処理する画像処理装置の画像処理方法において、
   分光感度が異なる複数種類のフィルタであって、そのうちの第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に前記第１の所定の周期とは異なる第２の所定の周期で交互に配置されている前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップと、
   前記画像取得ステップの処理により取得された前記モザイク画像から、前記画素ごとに、前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップと
   を含むことを特徴とする画像処理方法。

Images