JP4556102B2 - 画像処理装置および画像処理方法、並びに、プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、並びに、プログラムに関し、特に、間引き処理を行う場合に用いて好適な、画像処理装置および画像処理方法、並びに、プログラムに関する。

近年、半導体技術の進歩により数百万画素の固体撮像素子が開発され、これらの固体撮像素子は、例えば、デジタルカメラなどに用いられている。数百万画素の固体撮像素子を用いたデジタルカメラによって撮影される画像は高画質であるが、画像の撮影時以外の、例えば、デジタルカメラのモニタをファインダとして用いている状態における画像の表示、露出やホワイトバランス等の撮影条件決定時の画像の表示などにおいては、フレームレートを高くしたり、画像処理を高速化する必要が生じるが、必ずしも高解像度の画像は必要ではない。しかしながら、数百万画素の固体撮像素子が用いられている場合に、全画素の情報を高速で読み出すのは困難である。

これに対して、画像情報の読み出しや処理の高速化が求められている状況においては、固体撮像素子の信号を間引いて読み出し、実質的な画素数を減らすことで、読み出しおよび処理を高速化する方法が提案されている。

従来、ベイヤー配列カラーフィルタを有する固体撮像素子により得られた画像信号から、読み出し可能な画像信号の半分の画素を間引きして読み出す方法がある。ここで、ベイヤー配列のカラーフィルタを有する固体撮像素子により得られた画像信号から、水平に１行単位で半分のラインを間引く（すなわち、行ごとに読出し、スキップを交互に実行する）と、ＲまたはＢの色に対応する信号のいずれか一方が完全に欠落してしまう。このように、特定の色の情報が欠落してしまうことがないようにするために、例えば、図１に示されるように、ベイヤー配列１１の水平ラインに対して、２行読出し、２行スキップを交互に行うことにより間引きを行い、間引き後に、モザイク配列１２の画像信号を得るようになされている技術がある。（例えば、特許文献１）。この手法だと、間引きを行った後のモザイク画像においても、ベイヤー配列が維持されており、後段の処理をそのまま利用することができる。

特開平９−３１２８４９号公報

また、図２に示されるように、１行のデータに全ての色の情報を含んでいる色配列のカラーフィルタを有する高解像度の固体撮像素子から得られる画像信号（ＲＧＢストライプ配列２１、または、ＧストライプＲＢ完全市松配列２２のモザイク画像など）を間引きして、モザイク配列２３の低解像度画像信号に変換する技術がある（例えば、特許文献２）。

特許第３４２９０６１号

たしかに、特許文献１に記載の技術においては、図１に示されるように、間引いた後のモザイク配列１２の色配列も、間引く前のモザイク配列１１と同様のベイヤー配列になっているという利点がある。しかしながら、２行読出し、２行スキップを交互に設ける読出し方法のため、間引いた後のモザイク配列１２の１行目と２行目は、間引き前のモザイク配列１１においても隣接しているが、間引いた後のモザイク配列１２の２行目と３行目は、間引き前のモザイク配列１１の２行目と５行目に対応するため、実際には隣接した画素ではない。このため、間引き後のモザイク配列１２に対応する画像信号を用いたＲＧＢ同時化処理（デモザイク処理）において、上下に隣接ラインを使用して補間などの処理を実行する場合、サンプリング間隔が一定でないため、垂直方向に偽色等のノイズが発生しやすい。

また、特許文献２に記載の技術においては、図２に示されるように、間引き処理終了後のモザイク配列２３が、列ごとのＲＧＢストライプになってしまうため、ＲＢの水平方向における空間密度が、垂直方向と比較して疎になってしまい、解像度の方向によるばらつきや偽色が発生しやすい。

本発明はこのような状況に鑑みてなされたものであり、フレームレートを要求されない処理が実行される場合、全画素読出しを行うことができ、フレームレートを要求される処理が実行される場合、行毎に読出し、スキップを繰り返す間引き読出しを行うことで高速読み出しを実現し、全画素読み出し時においても、間引き読み出し時においても、モザイク画像を構成する各色が空間的に均等に分布するような色フィルタ配列を実現することにより、偽色などを極力抑えた高品質な画像信号を得ることができるようにするものである。

本発明の画像処理装置は、分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色に対応する画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置であり、画像センサからのモザイク画像信号の読み出しを制御する制御手段と、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、３種類の色のそれぞれに対応する単色画像データを生成する生成手段とを備え、画像センサは、第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置されたカラーフィルタであって、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されたカラーフィルタを有し、制御手段は、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する画像処理装置である。

制御手段には、画像センサからのモザイク画像信号の、２行ごとの読み出しおよびスキップによる間引き読み出しを制御させ、制御手段により画像センサからの間引き読み出しが制御されたとき、間引き読み出しにより得られたモザイク画像信号を基に生成手段により生成された、３種類の色のそれぞれに対応する単色画像データを水平方向に縮小する第１の水平方向縮小処理手段を更に備えさせるようにすることができる。

制御手段には、画像センサからのモザイク画像信号の、２行ごとの読み出しおよびスキップによる間引き読み出しを制御させ、制御手段により画像センサからの間引き読み出しが制御されたとき、間引き読み出しにより得られたモザイク画像信号を水平方向に縮小する第２の水平方向縮小処理手段を更に備えさせるようにすることができる。

制御手段には、画像センサからのモザイク画像信号の、２行ごとの読み出しおよびスキップによる間引き読み出しを制御させるようにすることができる。

本発明の画像処理方法は、分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色に対応する画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置の画像処理方法であり、画像センサからのモザイク画像信号の読み出しを制御する制御ステップと、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、３種類の色のそれぞれに対応する単色画像データを生成する生成ステップとを含み、画像センサは、第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置されたカラーフィルタであって、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されたカラーフィルタを有し、制御ステップの処理では、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する画像処理方法である。

本発明のプログラムは、分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色に対応する画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する処理をコンピュータに実行させるためのプログラムであり、画像センサからのモザイク画像信号の読み出しを制御する制御ステップと、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、３種類の色のそれぞれに対応する単色画像データを生成する生成ステップとを含み、画像センサは、第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置されたカラーフィルタであって、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されたカラーフィルタを有し、制御ステップの処理では、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する処理をコンピュータに実行させるためのプログラムである。

本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、画像センサからのモザイク画像信号の読み出しが制御され、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理が行われ、３種類の色のそれぞれに対応する単色画像データが生成され、画像センサが有するカラーフィルタには、第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置され、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されている。そして、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しが制御される。

本発明によれば、モザイク画像信号から、カラー画像を生成することができ、特に、画像信号の読み出し速度や処理速度と、得られる画像において必要な解像度とによって、高解像度画像を得るための全画素読み出しか、または、低解像度画像を得るための間引き読み出しが実行され、いずれの場合にも、偽色などの発生を防止して、高品質の画像を得ることができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置は、分光感度が異なる第１乃至第３のフィルタ（例えば、RGBの３色に対応するカラーフィルタ）が所定の位置に配置されたカラーフィルタを有し、第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサ（例えば、CCDイメージセンサ２１３）によって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色に対応する画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置において、画像センサからのモザイク画像信号の読み出しを制御する制御手段（例えば、図３のタイミングジェネレータ２１７）と、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、３種類の色のそれぞれに対応する単色画像データを生成する生成手段（例えば、図７のデモザイク処理部２５３、または、図３６のデモザイク処理部３７１）とを備え、画像センサは、第１のフィルタ（例えば、Gに対応するカラーフィルタ）が水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタ（例えば、RおよびBに対応するカラーフィルタ）が、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置されたカラーフィルタ（例えば、図４のモザイク配列２３１または図３４のモザイク配列３６１に対応するカラーフィルタ）であって、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されたカラーフィルタを有し、制御手段は、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する。

制御手段は、画像センサからのモザイク画像信号の、２行ごとの読み出しおよびスキップによる間引き読み出しを制御し、制御手段により画像センサからの間引き読み出しが制御されたとき、間引き読み出しにより得られたモザイク画像信号を基に生成手段により生成された、３種類の色のそれぞれに対応する単色画像データを水平方向に縮小する第１の水平方向縮小処理手段（例えば、図６の水平方向縮小処理部２５５）を更に備えることができる。

制御手段は、画像センサからのモザイク画像信号の、２行ごとの読み出しおよびスキップによる間引き読み出しを制御し、制御手段により画像センサからの間引き読み出しが制御されたとき、間引き読み出しにより得られたモザイク画像信号を水平方向に縮小する第２の水平方向縮小処理手段（例えば、図３９の水平方向縮小処理部３９８）を更に備えることができる。

本発明の画像処理方法は、分光感度が異なる第１乃至第３のフィルタ（例えば、RGBの３色に対応するカラーフィルタ）が所定の位置に配置されたカラーフィルタを有し、第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサ（例えば、CCDイメージセンサ２１３）によって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色に対応する画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置の画像処理方法において、画像センサからのモザイク画像信号の読み出しを制御する制御ステップ（例えば、図１６のステップＳ２またはステップＳ６の処理）と、画像センサによって得られたモザイク画像信号から、第１乃至第３のフィルタの分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、３種類の色のそれぞれに対応する単色画像データを生成する生成ステップ（例えば、図１６のステップＳ３またはステップＳ７の処理）とを含み、画像センサは、第１のフィルタ（例えば、Gに対応するカラーフィルタ）が水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、第２および第３のフィルタ（例えば、RおよびBに対応するカラーフィルタ）が、水平方向および垂直方向のそれぞれの方向で第１のフィルタの間に交互に配置されたカラーフィルタ（例えば、図４のモザイク配列２３１または図３４のモザイク配列３６１に対応するカラーフィルタ）であって、カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の第１乃至第３のフィルタが配置され、カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、所定の受光感度とは異なる他の受光感度の第１乃至第３のフィルタが配置されたカラーフィルタを有し、制御ステップの処理では、画像センサからのモザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する。

また、請求項６に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項５に記載の情報処理方法と同様である。

以下、図を参照して、本発明の実施の形態について説明する。

図３は、本発明を適用した演算処理を実行するデジタルスチルカメラ２０１の構成を示すブロック図である。

図３に示すように、デジタルスチルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ／Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ２２３、および、操作入力部２２４から構成される。

ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。

ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。

Ｄ／Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。

コーデック処理部２２１は、例えばJPEG（Joint Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルスチルカメラ２０１に対して着脱可能なようになされていても良い。

ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。

レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。

タイミングジェネレータ２１７は、シャッタボタンが押されたか否かかの、撮像中の状態に基づいて、ＣＣＤイメージセンサ２１３による画像の読み出しを制御し、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。

ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。

Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。

また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。

すなわち、通常の状態（シャッタボタンが押される前の状態）では、タイミングジェネレータ２１７の制御により、ＤＳＰブロック２１６の画像用ＲＡＭには、ＣＣＤイメージセンサ２１３から間引き処理された画像信号が、一定のフレームレートで絶えず上書きされるようになされている。ＤＳＰブロック２１６により処理された画像信号は、Ｄ／Ａコンバータ２１５に供給されてアナログ信号に変換され、ビデオエンコーダ２１９によってビデオ信号に変換されて、変換されたビデオ信号に対応する画像が表示部２２０に表示される。この時表示される画像は、間引き処理された画像信号に対応する画像であるため、ＣＣＤイメージセンサ２１３の解像度より低い解像度の画像となる。この状態において、表示部２２０は、ＣＣＤイメージセンサ２１３のファインダの役割を担っている。

そして、ユーザにより操作入力部２２４に含まれるシャッタボタンが押下された場合、ＣＰＵ２２３は、シャッタボタンが押下されたタイミングに基づいて、タイミングジェネレータ２１７にＣＣＤイメージセンサ２１３から全画素が読出されるように制御させるとともに、ＤＳＰブロック２１６の画像用ＲＡＭに新たな画像データが一定期間上書きされないように、すなわち、読み出された画像信号が処理されて保持されるように制御する。ＤＳＰブロック２１６により処理された画像信号は、コーデック処理部２２１により、所定の方式の符号化が施されて、メモリ２２２に記憶される。

図３のＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられているモザイク配列の第１の例、すなわち、図３のＣＣＤイメージセンサ２１３により得られるモザイク画像の色配列の第１の例を図４に、図４のモザイク配列に対して、１行ごとに読み出し、スキップを繰り返して間引き処理を行った場合に得られる間引きされたモザイク画像の色配列を図５に示す。

図４に示されるモザイク配列２３１は、ベイヤー配列と同様にＧ信号が市松上に配置されるようになされ、空間的に、縦方向と横方向に均等に分布しているので、画像の撮像時（全画素読み出し時）におけるＤＳＰブロック２１６におけるＲＧＢ同時化処理（デモザイク処理）で、精度良くＧの補間処理を行うことが可能となる。

また、図４に示されるモザイク配列２３１がＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられている場合、ＣＰＵ２２３は、間引き読み出し実行時に、タイミングジェネレータ２１７を制御して、１行おきに間引いて画像信号を読み出させる。すなわち、ＣＣＤイメージセンサ２１３において取得された画像信号のうち、奇数行または偶数行のみ画像信号が読み出される。したがって、間引き読出し時において、図５に示されるように、得られる色配列は、１列おきのＧストライプとなり、Ｇではない列には、ＲとＢが、それぞれ同一水平ラインに均一に混在し、かつ、同一垂直ラインに交互に配列されるようなモザイク配列２４１となる。

ここで、図５のモザイク配列２４１において、間引き後に残っているＧ信号の間引き前のモザイク配列２３１における位置を確認してみると、空間的に均等に分布している。すなわち、間引き画像は、原信号である全画素読み出し画像を等しい間隔でリサンプリングしたものと同等である。よって、間引き後のモザイク配列２４１を有する画像信号においても、ＤＳＰブロック２１６におけるＲＧＢ同時化処理（デモザイク処理）において、Ｇの補間精度の方向によるばらつきが発生しにくい。また、例えば、図２を用いて説明した従来の方法においては、間引いた後のＧストライプではない同一の列には、Ｒ、Ｂのいずれか一方しか存在しないが、図５のモザイク配列２４１では、間引き後に、Ｒ、Ｂが同一列内に混在し、空間的に均等に分布するようになされている。したがって、ＤＳＰブロック２１６におけるＲＧＢ同時化処理（デモザイク処理）において、ＲＢの補間精度の方向によるばらつきが発生しにくい。

以上から、図４のモザイク配列２３１に示されるオンチップカラーフィルタを図３のＣＣＤイメージセンサ２１３に用いることより、全画素読み出しはもちろん、偽色などのノイズが発生しにくい１行おきの間引き読出しを行っても、高品質な低解像度画像を得ることが可能となる。

図６は、図３のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。

ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、スイッチ２５４、水平方向縮小処理部２５５、階調変換処理部２５６、および、ＹＣ変換部２５７で構成される。

Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ、ＧまたはＢのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（図４を用いて説明したモザイク配列２３１）、または、間引きして得られた所定の配列（図５を用いて説明したモザイク配列２４１）の周期的なパターンの強度信号により構成されている。

ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。

デモザイク処理部２５３は、色分布形状を統計的に算出することにより、ガンマ補正がなされたモザイク画像の各画素位置にＲ，Ｇ，Ｂの全ての強度（強度情報）を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、Ｒ，Ｇ，Ｂの３つの色に対応する３つの画像信号となる。

スイッチ２５４は、ＣＰＵ２２３の制御に基づいて、供給された画像信号が間引きされていない画像信号、すなわち、モザイク配列２３１を有する画像信号を用いてデモザイク処理されたＲ，Ｇ，Ｂの３つの色に対応する３つの画像信号である場合、供給された信号を階調変換処理部２５６に供給し、供給された画像信号が間引きされた画像信号、すなわち、モザイク配列２４１を有する画像信号を用いてデモザイク処理されたＲ，Ｇ，Ｂの３つの色に対応する３つの画像信号である場合、供給された信号を水平方向縮小処理部２５５に供給する。

水平方向縮小処理部２５５には、モザイク配列２４１を有する画像信号を用いてデモザイク処理されたＲ，Ｇ，Ｂの３つの色に対応する３つの画像信号が供給される。１／２に水平ラインが間引きされた画像信号は、縦の画素数が原画像の１／２となっている。したがって、水平方向縮小処理部２５５は、間引きされた画像信号の縦横比が、原画像と同様の縦横比となるように、水平方向に縮小処理を施して、階調変換処理部２５６に供給する。

階調変換処理部２５６は、出力する画像データのビット数にあわせて、供給された画像信号の階調を圧縮する階調変換処理を実行し、階調変換された画像信号をＹＣ変換部２５７に供給する。

ＹＣ変換部２５７はＲ，Ｇ，Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（YCbCr画像信号）を生成し、出力する。

ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。

例えば、入力される画像が高コントラストな輪郭領域である場合、その色分布は、非常に明るい強度域と非常に暗い強度域に渡ってしまう。物理的に、物体反射光は、物体表面のばらつきに照明からの入射光強度が乗じられたものになることから、カメラへの入射光強度に比例する線形な画素強度空間においては、明るい強度域にある物体色の分布はスパースに（まばらに）広がり、暗い画素強度域にある物体色の分布はあまり広がらずにコンパクトに縮まる傾向にある。

デモザイク処理部２５３においては、色分布形状を統計的に算出することにより、デモザイク処理を実行する。しかしながら、高コントラストな輪郭領域では、明るい領域での画素強度のちらばりと暗い領域での画素強度のちらばりが大きく異なり、統計的な線形回帰が適用しにくくなる。したがって、入力されたデータに対して、デモザイク処理部２５３におけるデモザイク処理に先立って、ガンマ補正のような非線形の画素強度変換を施して、暗い画素強度域を持ち上げて（明るい画素強度領域に近づけて）、画素強度の分散をある程度抑制するようにすることにより、デモザイク処理部２５３において実行される線形回帰処理の信頼性を向上させることができる。

このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、略べき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。

次に、図７は、全画素位置でＲＧＢの全ての色が存在するように、各画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図６のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。

デモザイク処理部２５３は、局所領域抽出部２８１、Ｇ強度補間処理部２８２、信頼度算出部２８３、粗補間処理部２８４、統計量算出部２８５−１乃至２８５−３、および、回帰演算処理部２８６−１乃至２８６−３で構成される。

局所領域抽出部２８１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、間引きされていない画像信号においては、注目画素位置を中心とした、例えば、５×５画素、７×７画素、または、９×９画素などのｎ×ｎ画素の矩形領域とし、間引きされた画像信号においては、注目画素を中心とした、例えば、５×３画素、７×４画素、または、９×５画素などのｎ×ｍ画素の矩形領域とする。

Ｇ強度補間処理部２８２は、局所領域内に存在する画素を用いて、注目画素位置におけるＧ強度を補間処理によって算出する。信頼度算出部２８３は、局所領域内に存在する画素とＧ強度補間処理部２８２が算出した注目画素位置のＧ強度とを用いて、信頼度を算出する。ここで信頼度とは、この局所領域における色分布形状の推定の正確さを予想する値である。信頼度をどのように算出するかは後述する。

粗補間処理部２８４は、局所領域内の複数の画素位置においてＲ，Ｇ，Ｂ各色の強度の組が作れるよう、簡単な演算によって、Ｒ，Ｇ，Ｂの画素強度の推定値（以下、ラフな推定値と称する）を、後述する補間方法を用いて算出する。本発明においては色分布形状を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部２８４は、局所領域内の複数の画素（ここでは、ｎ×ｍ画素の局所領域に対して、注目画素を中心とした（ｎ−２）×（ｍ−２）画素であり、ｎ＝ｍのときは、（ｎ−２）×（ｎ−２）画素となる）におけるＲ，Ｇ，Ｂのラフな推定値を算出する。

なお、従来のデモザイク技術においては、このような粗補間処理部２８４に相当する処理がないため、正確な色分布形状推定を行うための情報が算出できないという問題があった。これに対して、本発明を適用したデモザイク処理部２５３においては、粗補間処理部２８４を用いて、正確な色分布形状推定を行うための情報として、ラフな推定値を求めることができるようになされている。

統計量算出部２８５−１乃至２８５−３は、粗補間処理部２８４により算出された局所領域内の各画素におけるＲ，Ｇ，Ｂ強度の組を用いて、２色間の統計量を算出する。統計量算出部２８５−１乃至２８５−３のいずれにおいても、第１の色はＧである。そして、統計量算出部２８５−１に供給される第２の色はＲであり、統計量算出部２８５−２に供給される第２の色は、第１の色と同じくＧであり、統計量算出部２８５−３に供給される第２の色はＢである。そして、統計量算出部２８５−１乃至２８５−３は、第１の色の平均値、第２の色の平均値、第１の色の分散値、および、第１の色と第２の色の共分散値を演算して出力する。デモザイク処理部２５３には、入力信号の色の違いによって３つの統計量算出部２８５−１乃至２８５−３が存在するが、それらの動作は全て等しいので、以下、特に区別しない場合、単に、統計量算出部２８５と称するものとする。

回帰演算処理部２８６−１乃至２８６−３は、Ｇ強度補間処理部２８２が算出した注目画素位置のＧ強度と、統計量算出部２８５−１乃至２８５−３のうちのいずれか対応するものが算出した統計量と、信頼度算出部２８３が算出した信頼度に基づいて、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。具体的には、回帰演算処理部２８６−１は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、ＧとＲのそれぞれの平均値、Ｇの分散値、および、ＧとＲとの共分散値の供給を受け、注目画素のＲ強度を推定して出力する。また、回帰演算処理部２８６−２は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、Ｇの平均値、Ｇの分散値の供給を受け、注目画素のＧ強度を推定して出力する。そして、回帰演算処理部２８６−３は、注目画素位置のＧ強度と信頼度算出部２８３が算出した信頼度に加えて、ＧとＢのそれぞれの平均値、Ｇの分散値、および、ＧとＢとの共分散値の供給を受け、注目画素のＢ強度を推定して出力する。デモザイク処理部２５３には、入力信号の色の違いによって３つの回帰演算処理部２８６−１乃至２８６−３が存在するが、それらの動作は全て等しいので、以下、特に区別しない場合、単に、回帰演算処理部２８６と称するものとする。

なお、デモザイク処理部２５３においては、デモザイク処理を行うために、Ｇの強度推定値を算出するための統計量算出部２８５−２および回帰演算処理部２８６−２を省略し、Ｇ強度補間処理部２８２が算出した注目画素位置のＧ強度を用いるようにしてもよい。しかしながら、図７に示されるように、統計量算出部２８５−２および回帰演算処理部２８６−２を用いて、Ｇに対して回帰計算を行って、推定値を算出し直すことによりＧの強度に対するノイズ低減効果や高域補正効果を奏することが可能となるので、Ｇの強度推定値を算出するための統計量算出部２８５−２および回帰演算処理部２８６−２を省略することなく、備えるようにするほうが、得られる画像の品質が向上し、好適である。

次に、デモザイク処理部２５３の各部の更に詳細な動作について説明する。

局所領域抽出部２８１は、注目画素位置近傍の所定の矩形領域内の画素情報を取得するものである。なお、画素情報の取得方法はいずれの方法であっても良く、例えば、本発明をソフトウェアとして実現する場合、注目画素位置近傍の矩形領域内の画素値を、配列として内部のメモリに保存するようにすれば良いし、ハードウェアで実現する場合、ディレイラインを用いて、注目画素の上下に隣接する画素信号を取得することができるようにすれば良い。通常、撮像装置の信号処理系においては、ＣＣＤイメージセンサ２１３から供給される信号が、水平ライン順次の画素強度の1次元系列となるように、ハードウェアが実装されることが多いので、通常、１水平ライン分の画素強度を保持できるディレイラインが用いられて、上下に隣接する水平ラインの画素へのアクセスが確保される。したがって、９×９の矩形領域の画像信号を取得するためには、最低８個のディレイラインを用意すればよい。

Ｇ強度補間処理部２８２は、局所領域抽出部２８１が抽出したｎ×ｎまたはｎ×ｍ（例えば、９×９や９×５）画素の矩形領域の画素を用いて、注目画素位置のＧ強度値を補間により算出する。Ｇ強度補間処理部２８２が注目画素の周囲の画素を用いてＧ強度を算出する方法は、いかなる方法であっても良く、例えば、「村田，森，前中，岡田、および、千原，“PS-ＣＣＤにおける相関判別色分離方式”，映像情報メディア学会誌，Vol.55，No.1，pp.120-132，2001」（非特許文献１）に記載されている方法などを用いることができる。

信頼度算出部２８３は、局所領域抽出部２８１により抽出されたｎ×ｎまたはｎ×ｍ（例えば、９×９や９×５）画素の矩形局所領域の画素と、Ｇ強度補間処理部２８２により算出された注目画素位置のＧ強度とを用いて、注目画素位置における色分布形状推定の信頼度を算出する。本発明を適用したデモザイク処理における色分布形状推定では、抽出された局所領域内に、２種類の異なる色の領域があることを想定している。通常の物体輪郭領域に関しては、この仮定が当てはまることが多いので、この仮定で、充分正確な輪郭の色再現が可能である。しかしながら、画像の中にはその仮定が当てはまらず、局所領域内に異なる３色が存在するような場合もあり得る。典型的には、細い縞模様状のテクスチャにおける場合であり、このようなテクスチャにおいて、局所領域内に多くの色が含まれ易い。そこで、信頼度算出部２８３は、このような細い縞模様状のテクスチャを検出し、そのテクスチャの強度に基づいて信頼度値を出力する。

信頼度値の供給を受ける回帰演算処理部２８６は、統計量算出部２８５により算出された色分布形状に関する統計量に対して、信頼度値に基づいた補正を施すようになされているため、抽出された局所領域内に、２種類の異なる色の領域があるという仮定から外れたことによる色強度の推定誤差を抑制することが可能となる。

図８は、信頼度算出部２８３の構成を示すブロック図である。信頼度算出部２８３は、具体的には、細い縞模様状のテクスチャを検出するために、注目画素位置周囲のＧ強度に対する方向別の低周波フィルタを算出して、注目画素位置のＧ強度との差分演算処理を実行することにより、高周波抽出を行って、注目画素位置周囲において「明−暗−明」あるいは「暗−明−暗」といった輝度変化がある場合、これを方向別に検出し、方向別の検出結果を統合することによって信頼度を算出する。信頼度算出部２８３は、高周波抽出部３２１−１乃至３２１−６、加算処理部３２２、および、クリップ処理部３２３で構成される。６つの高周波抽出部３２１−１乃至３２１−６は、注目画素を中心として、それぞれ異なる６つの方向の高周波抽出を行い、その強度を出力する。

間引きされていない画素信号が供給された場合の、信頼度算出部２８３の周波抽出部３２１−１乃至３２１−６による方向別高周波抽出の具体例について、図９を用いて説明する。図９は、局所領域抽出部２８１により抽出された、７×７画素の局所領域を示したものである図９Ａは、注目画素がＧである場合、図９Ｂは、注目画素がＲである場合を示す。なお、信頼度の算出に関してはＧの画素のみを用いるので、注目画素がＢである場合はＲである場合と同様の処理が実行される。

まず、画素から水平および垂直にちょうど１／２だけずれた（すなわち、４つの画素に囲まれる）位置であって、注目画素に近い位置から１２箇所の位置（図中、丸印で示される位置）のＧ強度が算出される。具体的には、図９に示した１２箇所の位置の全てにおいて、斜めにＧの画素が隣接しているので、その２つのＧ強度の平均値を用いて、１２箇所それぞれのＧ強度とする。ここで、注目画素がＧである場合と、注目画素がＲまたはＢである場合とでは、隣接するＧの方向が異なるが、いずれの場合においても、それぞれの位置でＧが存在する方向は、注目画素がＧであるかまたは、ＲもしくはＢのいずれかであるかを基に判別することができる。

間引きされた画素信号が供給された場合の、信頼度算出部２８３の周波抽出部３２１−１乃至３２１−６による方向別高周波抽出の具体例について、図１０を用いて説明する。図１０は、局所領域抽出部２８１により抽出された、７×５画素の局所領域を示したものである。説明のため、図１０Ａは、注目画素がＧである場合、図１０Ｂは、注目画素がＲである場合を示す。なお、信頼度の算出に関してはＧの画素のみを用いるので、注目画素がＢである場合はＲである場合と同様の処理が実行される。

まず、画素から水平および垂直にちょうど１／２だけずれた（すなわち、４つの画素に囲まれる）位置であって、注目画素に近い位置から１２箇所の位置（図中、丸印で示される位置）のＧ強度が算出される。具体的には、図１０に示した１２箇所の位置の全てにおいて、斜めにＧの画素が隣接しているので、その２つのＧ強度の平均値を用いて、１２箇所それぞれのＧ強度とする。ここで、注目画素がＧである場合と、注目画素がＲまたはＢである場合とでは、隣接するＧの方向が異なるが、いずれの場合においても、それぞれの位置でＧが存在する方向は、注目画素がＧであるかまたは、ＲもしくはＢのいずれかであるかを基に判別することができる。

このようにして、１２箇所においてＧ強度が算出された後、それらを用いて６方向の低周波フィルタを計算する。図１１を用いてフィルタの方向について説明する。図１１においては、局所領域中、特に、注目画素付近の５×５画素のみが図示されている。

１２箇所のＧ強度の算出位置は、間引きされていない画素信号、間引きされた画素信号のいずれにおいても、注目画素位置を中心に点対称の配置となっていて、互いに対称の位置にあるＧ強度の対が、図中、Ａで示されるＧ強度の組、Ｄで示されるＧ強度の組、ＶＡで示されるＧ強度の組、ＶＤで示されるＧ強度の組、ＨＡで示されるＧ強度の組、および、ＨＤで示されるＧ強度の組の、合計６つできる。これらの６つのＧ強度の対において、それぞれ平均値を算出するようなフィルタを用いれば、６方向の低周波フィルタが算出される。更に、それら低周波フィルタの出力と注目画素位置のＧ強度の差分をとれば、方向別の高周波抽出ができる。

そして、加算処理部３２２は、６つの高周波抽出結果を適当なバランスで加算した値を出力する。クリップ処理部３２３は、加算処理部３２２による加算処理結果にクリッピング処理を施し、クリップされた高周波抽出の加算値を信頼度値として出力する。

算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高いということになる。

次に、粗補間処理部２８４は、局所領域内の複数の位置においてＲ，Ｇ，Ｂ各色の強度の組が作れるよう、複雑な計算方法でない方法で、Ｒ，Ｇ，Ｂの推定値（ラフな推定値）を、補間によって算出する。例えば、間引きされていない画素信号、間引きされた画素信号のいずれにおいても、注目画素の周囲８画素から、Ｒ，Ｇ，Ｂの補間値を計算することができる。

具体的には、間引きされていない画素信号は、図４を用いて説明したモザイク配列２３１を有しているので、注目画素に対して、上および左に位置する画素のペア、右および下に位置する画素のペア、右斜め上および左斜め下に位置する画素のペア、左斜め上および右斜め下に位置する画素のペア、並びに、注目画素自身を用いて、Ｒ，Ｇ，Ｂのラフな推定値を少なくとも１つ作成することができる。また、間引きされた画像は、図５を用いて説明したモザイク配列２４１を有しているので、注目画素に対して、上および下に位置する画素のペア、左斜め上、右、および左斜め下に位置する３つの画素、右斜め上、左、および、右斜め下に位置する３つの画素、並びに、注目画素自身を用いて、Ｒ，Ｇ，Ｂのラフな推定値を少なくとも１つ作成することができる。このようにして、粗補間処理部２８４は、Ｒ，Ｇ，Ｂのラフな推定値を各画素位置で算出することができる。

ここで、粗補間処理部２８４で得られるＲ，Ｇ，Ｂの推定値は、同じ位置におけるＲ，Ｇ，Ｂの推定値の組が得られればよいのであって、必ずしも本来のセンサの画素位置上でなくてもかまわない。例えば、画素から水平および垂直にちょうど１／２だけずれた位置（すなわち、４つの画素に囲まれる位置）について補間値を求めるようにしてもよい。この位置は、周囲各画素から水平・垂直に１／２画素ずれた位置であるので、間引きされた画素信号においては、周囲４画素に必ずＲが１つ、Ｇが２つ、Ｂが１つ存在する。したがってＲ，Ｂに関してはNearestNeighbor補間（最近傍補間）を行い、Ｇに関しては近傍２画素の平均値を計算して、Ｒ，Ｇ，Ｂの３色に関するラフな推定値を各画素位置で算出することができるようにすればよい。

次に、図１２は、統計量算出部２８５の構成を示すブロック図である。ここでは、ＧとＲの統計量を計算する場合、すなわち、デモザイク処理部２５３のうち、統計量算出部２８５−１の処理を例として説明する。

統計量算出部２８５は、平均値算出部３３１、平均値算出部３３２、分散算出部３３３、および、共分散算出部３３４によって構成されている。平均値算出部３３１は、粗補間処理部２８４が算出した、局所領域におけるラフなＧ強度補間値のセットの供給を受け、その平均値を算出する。同様に、平均値算出部３３２は、粗補間処理部２８４が算出した、局所領域におけるラフなＲ強度補間値のセットの供給を受け、その平均値を算出する。分散算出部３３３は、平均値算出部３３１が算出したＧの平均値と、局所領域におけるラフなＧ強度補間値のセットの供給を受け、Ｇの分散値を算出する。共分散算出部３３４は、平均値算出部３３１が算出したＧの平均値とラフなＧ強度補間値のセット、および、平均値算出部３３２が算出したＲの平均値とラフなＲ強度補間値のセットを受け取り、ＧとＲの共分散値を算出する。

平均値算出部３３１および平均値算出部３３２は、例えば、次の式（１）を用いて、平均値Ｍｃを計算する。

・・・（１）

式（１）において、C_roughiは、供給された色Ｃ（Ｒ，Ｇ，または、Ｃ）のラフな強度補間値のｉ（ｉ＝１乃至Ｎ）番目のデータである。色Ｃは、平均値算出部３３１においてはＧであり、平均値算出部３３２においてはＲである。また、w_iは、ｉ番目のデータに対する重み値（重み付け係数）である。

重み値w_iは、ｉ番目のデータの位置から注目画素位置への距離などを指標として、予め設定されている値である。図１３および図１４に、重み付け係数w_iの例を示す。図１３は、間引き処理が施されていない画像信号に対する５×５の領域の重み値w_iを示すものであり、図１４においては、間引き処理が施された画像信号に対する５×３の領域の重み付け係数w_iの例を示すものである。これらの重み値の絶対値は、図１３または図１４に示されるものに制限されないことはいうまでもないが、これらに示されるように、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。

分散算出部３３２は、例えば次の式（２）に示される計算式によって第１の信号（ここではG）の分散値Ｖ_C1C1を計算する。

・・・（２）

この式において、Ｃ_1roughiは、色Ｃ１（ここでは、Ｇ）のラフな強度補間値のｉ番目のデータ、Ｍ_C1は色Ｃ１の平均値、w_iはｉ番目のデータに対する重み値である。重み値w_iは、平均値算出部３３１および平均値算出部３３３が用いたものと同じものを用いればよい。

共分散算出部３３４は、例えば次の式（３）に示される計算式によって、第１の信号（ここではG）と、第２の信号（ここではＲ）の共分散値Ｖ_C1C2を計算する。

この式において、Ｃ_2roughiは色Ｃ２（ここでは、Ｒ）のラフな強度補間値のｉ番目のデータ、Ｍ_C2は色Ｃ２の平均値である。

・・・（３）

式（２）を用いて説明した分散値の計算、および、式（３）を用いて説明した共分散の計算が実行された場合、定義どおりの正確な統計量が得られる。しかしながら、式（２）および式（３）の計算が実行された場合、積算が多く出現するために計算時間が長くなり、この演算をハードウェアで実現したときの回路規模が増加してしまう。そこで、より簡易な計算で、分散および共分散を算出するようにしてもよい。

例えば、共分散の演算に、次の式（４）を用いるようにしても良い。

・・・（４）

ここで、関数sgn（ａ，ｂ）は、２変数ａとｂの符号の一致を調べるものである。sgn（ａ，ｂ）の出力は｛1，0，-1｝のうちのいずれかであるので、sgn｛ａ，ｂ｝の演算は、実際には積算を必要としない。式（４）の計算は、式（３）の計算の各ｉ番目のＧとＲとの偏差の積算を、ＧとＲとの絶対偏差の和算に置き換えたものである。式（４）を用いて積算を和算に置き換えても、本発明の目的とする局所領域の色分布形状推定には充分な精度を有する近似値を算出することができる。

また、例えば、共分散の演算に、次の式（５）を用いるようにしても良い。

・・・（５）

ここで、式（５）の計算は、式（３）の計算の各ｉ番目のＧとＲとの偏差の積算を、ＧとＲとの最小値の選択処理に置き換えたものである。なお、式（４）の計算より、式（５）の計算のほうが、式（３）における共分散演算への近似精度が良い。

式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることについて説明したが、式（２）を用いて説明した分散演算は、２つの入力が等しい場合の共分散と同等であるので、式（２）を用いて説明した分散演算も、式（４）または式（５）を用いて、同様にして近似演算することが可能であることは言うまでもない。具体的には、分散演算を近似した場合は、式（４）または式（５）のいずれを用いても、（Ｃ_1roughi−Ｍ_C1）²が（Ｃ_1roughi−Ｍ_C1）に近似される。

次に、図１５は、回帰演算処理部２８６の構成を示すブロック図である。図１５においては、Ｒに関する回帰演算処理部２８６（すなわち、回帰演算処理部２８６−１）を示しているが、ＧおよびＢに関する動作は、ＲをＧまたはＢに置き換えればよいだけであり、基本的に同一の処理が実行される。

回帰演算処理部２８６は、傾き算出部３５１、傾き算出部３５２、傾き合成部３５３、および、画素強度推定部３５４で構成されている。

傾き算出部３５１は、Ｒの平均値Ｍ_RとＧの平均値Ｍ_Gに基づいたＧ−Ｒ色分布の傾きＫｍを算出する。具体的には、傾き算出部３５１は、式（６）の数式に示されるように、２つの平均値の比率を計算する。ここでは、Ｃ１はＧ、Ｃ２はＲである。

・・・（６）

M_thresholdはゼロで除算することにより値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定されている。

傾き算出部３５２は、Ｃ１とＣ２の共分散値Ｖ_C1,C2とＣ１の分散値Ｖ_C1,C1に基づいたＣ１−Ｃ２の色分布の傾きＫｓを算出する。ここで、Ｃ１はＧ、Ｃ２はＲである。具体的には、傾き算出部３５２は、式（７）に示されるように、分散、共分散値の比率を計算する。

・・・（７）

V_thresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（７）におけるV_thresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、V_thresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。

すなわち、分母であるＣ１の分散は、その局所領域の輝度のばらつきを反映した値であり、その値が小さいことは、その局所領域が平坦であることと同義である。固体撮像素子のノイズは、画像が平坦であるほど良く目立つため、画像の平坦な部分に限ってノイズ低減処理を施すようにすると、全体の画像の品質を下げることなく、目立つノイズを効果的に低減させることができ、好適である。また、色分布の傾きＫｓの分母をクリップし、それ以上分母が小さくならないようにすることによって、Ｋｓの絶対値が元の値より小さい値となるように抑制することができる。傾きＫｓの絶対値が小さく抑制されることによって、Ｃ１に対するＣ２の変化率が小さくなり、結果的に、その局所領域でのＣ２の振幅を抑制することができるという効果が生じる。

以上のように、傾きＫｓの分母に対するクリッピング処理により、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。このように、本発明の色推定方法を用いれば、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

傾き合成部３５３は、２つの傾き推定値ＫｍとＫｓとを、信頼度ｈに基づいて合成し、傾き推定値Ｋを算出する。上述したとおり、分散、共分散に基づく傾き推定値Ｋｓは、細い縞模様状のテクスチャがある領域では正しい推定ができるとは限らない。そこで、傾き合成部３５３は、細い縞模様状のテクスチャの強度を反映した信頼度ｈを用いて、例えば式（８）を用いて、平均値に基づく傾き推定値Ｋｍと合成して、傾き推定値Ｋを算出するようにする。

・・・（８）

そして、画素強度推定手段３５４は、得られた傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R、並びに、注目画素位置のＧ強度を、次の式（９）の線形回帰式に当てはめることによって、注目画素位置のＲ強度の推定値を算出する。

・・・（９）

ここで、Ｃ_1center、および、Ｃ_2centerは、それぞれ、注目画素位置の第１の信号に対応する色Ｃ１（すなわちＧ）の強度、および、注目画素位置の第２の信号に対応する色Ｃ２（すなわちＲ）の強度推定値である。

また、画素強度推定手段３５４は、式（９）とは異なる回帰式を用いて、強度推定値を算出するようにしてもよい。例えば式（１０）に示されるように、適当な定数uを傾き推定値Ｋに乗算させて、線形回帰計算を行うようにしてもよい。

・・・（１０）

式（１０）において、第1項は第２の信号に対応する色Ｃ２（すなわち、Ｒ)強度の高周波成分、第２項は低周波成分と考えることができる。そして、式（１０）においては、その高周波成分を適当な定数uで少し増強することにより、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

なお、上述した従来の第３の技術では、第２の信号に対応する色Ｃ２の強度の推定値をＣ２＝Ｍ_C2＋β×（Ｃ１−Ｍ_C1）という計算で求めるので、係数βが本発明のuに対応するかのようにみえる。しかしながら、従来の第３の技術においては、βは（Ｃ１−Ｍ_C1)、すなわちＣ１強度の高周波成分を強調しているにすぎないので、第２の信号に対応する色Ｃ２の強度の高域成分を正しく補正することができるというわけではない。

以上においては、統計量算出部２８５において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部２８６において、回帰直線の傾きＫが算出される場合について説明したが、回帰直線の傾きは、これ以外の方法を用いて算出するようにしてもよい。

例えば、標準偏差および相関係数を用いて回帰直線の傾きを計算する定義式は以下の式（１１）に表される。

・・・（１１）

標準偏差Ｓｘ，Ｓｙは、データ値が平均の周囲にどれだけの幅で分布しているのかを表す統計量であり、２変数のｘｙ方向の変分を表すｄｘ、ｄｙに近い値であると考えられる。回帰直線は、この式（１１）を用いて求めるようにしてもよい。

また、特に、正の傾きの直線上にデータが分布し、Ｒｘｙが１になる場合、Ｓｘ，Ｓｙはｄｘ、ｄｙと等価になる。つまり、計算の複雑な標準偏差を用いる代わりに、データ分布幅を表し、演算がより簡単な他の統計量があれば、Ｓｘ，Ｓｙを、データ分布幅を表す他の統計量に置き換えても、回帰直線の傾きは、近い振る舞いを示すことが期待できる。

そこで、データ分布幅を表す他の統計量として、標準偏差と並んでデータの分布幅を表すために用いられる平均偏差を代替に用いる。ｘの平均偏差Ａｘの定義は、次の式（１２）で示される。

・・・（１２）

同様にして、ｙの平均偏差Ａｙも、次の式（１３）で示される。

・・・（１３）

平均偏差ＡｘおよびＡｙを用いて、Ｒｘｙを書き改めると、次の式（１４）が得られる。

・・・（１４）

標準偏差を用いた演算に平方根や乗算が必要であることと比較して、平均偏差は少ない計算量で算出することができる。そして、更に、Ｖｘｙの算出に用いられる乗算や、Ａｘ，Ａｙの乗算を近似演算することで、Ｒｘｙの近似を高速に算出することができる。

このように、統計量算出部２８５において算出される、平均値、分散値、および共分散値を基に、回帰演算処理部２８６において、回帰直線の傾きＫを算出する処理に代わって、標準偏差および相関関数を用いて、２系統のデータの２次元分布における回帰直線の傾きを計算したり、または、偏差と相関に関してそれぞれ近似演算した後、２系統のデータの２次元分布における回帰直線の傾きを計算するようにしてもよい。

次に、図１６のフローチャートを参照して、デジタルスチルカメラ２０１が実行する撮像処理について説明する。

ステップＳ１において、ＣＰＵ２２３は、操作入力部２２４よりバス２２５を介して供給される信号を基に、ユーザによりシャッタボタンが押下されたか否かを判断する。

ステップＳ１において、シャッタボタンが押下されていないと判断された場合、ステップＳ２において、ＣＰＵ２２３は、タイミングジェネレータ２１７を制御して、ＣＣＤイメージセンサ２１３により取得される画像信号の一定のフレームレートでの間引き読み出しを実行させる。間引き読み出しされた画像信号は、相関２重サンプリング回路２１４によりノイズが除去され、Ａ／Ｄコンバータ２１５によりデジタル信号に変換されて、ＤＳＰブロック２１６の画像用ＲＡＭに格納される。

ステップＳ３において、図１７または図４１を用いて後述する画像処理が実行される。

ステップＳ４において、Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６により同時化されたデジタルの画像信号をアナログ信号に変換し、ビデオエンコーダ２１９は、Ｄ／Ａコンバータ２１８から供給されたアナログの画像信号をビデオ信号に変換し、表示部２２０に出力する。

ステップＳ５において、表示部２２０は、供給されたビデオ信号を表示する。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。

ステップＳ１において、シャッタボタンが押下されたと判断された場合、ステップＳ６において、ＣＰＵ２２３は、タイミングジェネレータ２１７を制御して、ＣＣＤイメージセンサ２１３により取得される画像信号の一定のフレームレートでの全画素読み出しを実行させる。全画素読み出しされた画像信号は、相関２重サンプリング回路２１４によりノイズが除去され、Ａ／Ｄコンバータ２１５によりデジタル信号に変換されて、ＤＳＰブロック２１６の画像用ＲＡＭに格納される。

ステップＳ７において、図１７または図４１を用いて後述する画像処理が実行される。

ステップＳ８において、コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化処理を実行する。

ステップＳ９において、メモリ２２２は、符号化された画像データの供給を受け、ユーザにより撮像された画像を記録する。

ステップＳ５、または、ステップＳ９の処理の終了後、ステップＳ１０において、ＣＰＵ２２３は、操作入力部２２４から供給される信号を基に、ユーザにより電源がＯＦＦされたか否かを判断する。ステップＳ１０において、電源がオフされていないと判断された場合、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ１０において、電源がオフされたと判断された場合、処理は終了される。

このような処理により、ユーザによりシャッタボタンが押下されていないときは、画像の読み出しおよび処理を高速に実行可能なように、間引き読み出しが実行され、処理された画像がビデオデータに変換されて表示されるので、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担うことが可能となり、ユーザによりシャッタボタンが押下されたときは、高解像度の画像を取得するために、全画素読み出しが実行されて、処理された画像が符号化されて、撮像された画像として記録される。

次に、図１７のフローチャートを参照して、図６のＤＳ２Ｐブロック２１６が、図１６のステップＳ３またはステップＳ７において実行する画像処理１について説明する。

ステップＳ２１において、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図４を用いて説明したモザイク配列２３１、または、図５を用いて説明したモザイク配列２４１）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。

ステップＳ２２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。

ステップＳ２３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。

ステップＳ２４において、デモザイク処理部２５３により、図１８を用いて後述するデモザイク処理が実行される。

ステップＳ２５において、スイッチ２５４は、供給されたＲＧＢの画像データが、間引きされた画像であるか否かを判断する。ステップＳ２５において、間引きされた画像ではないと判断された場合、スイッチ２５４は、供給された画像を階調変換処理部２５６に供給するので、処理は、ステップＳ２７に進む。

ステップＳ２５において、間引きされた画像であると判断された場合、ステップＳ２６において、スイッチ２５４は、供給された画像を水平方向縮小処理部２５５に供給する。水平方向縮小処理部２５５は、供給された画像の縦横比が、間引きされていない画像と同一になるように水平方向に画像を縮小する。

ステップＳ２５において、間引きされた画像ではないと判断された場合、または、ステップＳ２６の処理の終了後、ステップＳ２７において、階調変換処理部２５６は、供給された画像信号の階調を圧縮する階調変換処理を実行し、階調変換された画像信号をＹＣ変換部２５７に供給する。

ＹＣ変換部２５７は、ステップＳ２８において、階調変換処理部２５７からの出力であるＲ，Ｇ，Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ２９において、生成したＹ画像およびＣ画像を出力し、処理が終了される。

このような処理により、ＤＳ２Ｐブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。

次に、図１８のフローチャートを参照して、図１７のステップＳ２４において実行されるデモザイク処理１について説明する。

ステップＳ４１において、局所領域抽出部２８１は、未処理の画素のうちのいずれかを注目画素とする。

ステップＳ４２において、局所領域抽出部２８１は、供給されたモザイク画像データが、間引きされた画像であるか否かを判断する。ステップＳ４２において、間引きされた画像ではないと判断された場合、処理は、ステップＳ４５に進む。

ステップＳ４２において、間引きされた画像であると判断された場合、ステップＳ４３において、局所領域抽出部２８１は、注目画素位置の周辺の所定数（ｎ×ｎ）の画素を、局所領域として抽出し、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に供給する。

ステップＳ４４において、図１９のフローチャートを用いて後述する、粗補間処理１が実行される。

ステップＳ４２において、間引きされた画像ではないと判断された場合、ステップＳ４５において、局所領域抽出部２８１は、注目画素位置の周辺の所定数（ｎ×ｍ）の画素を、局所領域として抽出し、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に供給する。

ステップＳ４６において、図２０のフローチャートを用いて後述する、粗補間処理２が実行される。

ステップＳ４４またはステップＳ４６の処理の終了後、ステップＳ４７において、Ｇ強度補間処理部２８２は、局所領域抽出部２８１により抽出された局所領域内の画素を用いて、注目画素位置のＧ強度を算出し、信頼度算出部２８３、および、回帰演算処理部２８６−１乃至２８６−３に供給する

ステップＳ４８において、図２１のフローチャートを用いて後述する信頼度値算出処理が実行される。

ステップＳ４９において、図２２のフローチャートを用いて後述する２色分布形状の統計量算出処理が、統計量算出部２８５−１乃至２８５−３において並行して実行される。

ステップＳ５０において、図３２のフローチャートを用いて後述する補間画素推定処理が、回帰演算処理部２８６−１乃至２８６−３において並行して実行される。

ステップＳ５１において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ５１において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返される。ステップＳ５１において、全ての画素において処理が終了したと判断された場合、処理は、図１７のステップＳ２５に進む。

換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ４１乃至ステップＳ５０の処理が終了された場合、処理が終了される。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。

次に、図１９のフローチャートを参照して、図１８のステップＳ４４において実行される粗補間処理１について説明する。

粗補間処理部２８４は、ステップＳ６１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ６２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ６３において、粗補間処理部２８４は、画素（ｓ、ｔ）の画素強度を補間値α１とする。

ステップＳ６４において、粗補間処理部２８４は、画素（ｓ、ｔ）の左隣の画素である画素（ｓ−１、ｔ）と、画素（ｓ、ｔ）に対して上の位置の画素である画素（ｓ、ｔ−１）との平均強度を補間値α２とする。

図４を用いて説明したモザイク配列２３１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ−１、ｔ）と画素（ｓ、ｔ−１）とは、Ｒ強度またはＢ強度を示し、注目画素（ｓ、ｔ）がＲ強度またはＢ強度を示す画素であったとき、画素（ｓ−１、ｔ）と画素（ｓ、ｔ−１）とは、Ｇ強度を示す。

ステップＳ６５において、粗補間処理部２８４は、画素（ｓ、ｔ）の右隣の画素（ｓ＋１、ｔ）と、画素（ｓ、ｔ）の下の画素（ｓ、ｔ＋１）との平均強度を補間値α３とする。

図４を用いて説明したモザイク配列２３１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ＋１、ｔ）と画素（ｓ、ｔ＋１）とは、Ｒ強度またはＢ強度（ただし、ステップＳ６４により得られる画素の平均強度に対応する色と異なる色）を示し、注目画素（ｓ、ｔ）がＲ強度またはＢ強度を示す画素であったとき、画素（ｓ＋１、ｔ）と画素（ｓ、ｔ＋１）とは、Ｇ強度を示す。

ステップＳ６６において、粗補間処理部２８４は、注目画素に対して、左斜め上、および、右斜め下方向である画素（ｓ−１、ｔ−１）と、画素（ｓ＋１、ｔ＋１）との平均強度を補間値α４とする。

図４を用いて説明したモザイク配列２３１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ−１、ｔ−１）と画素（ｓ＋１、ｔ＋１）とは、同じくＧ強度を示し、例えば、注目画素（ｓ、ｔ）がＲ強度を示す画素であったとき、画素（ｓ−１、ｔ−１）と画素（ｓ＋１、ｔ＋１）とは、同じくＲ強度を示し、例えば、注目画素（ｓ、ｔ）がＢ強度を示す画素であったとき、画素（ｓ−１、ｔ−１）と画素（ｓ＋１、ｔ＋１）とは、同じくＢ強度を示す。

ステップＳ６７において、粗補間処理部２８４は、注目画素に対して、左斜め下、および、右斜め上方向である画素（ｓ−１、ｔ＋１）と、画素（ｓ＋１、ｔ−１）との平均強度を補間値α５とする。

図４を用いて説明したモザイク配列２３１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ−１、ｔ＋１）と画素（ｓ＋１、ｔ−１）とは、同じくＧ強度を示し、例えば、注目画素（ｓ、ｔ）がＲ強度を示す画素であったとき、画素（ｓ−１、ｔ＋１）と画素（ｓ＋１、ｔ−１）とは、Ｂ強度を示し、例えば、注目画素（ｓ、ｔ）がＢ強度を示す画素であったとき、画素（ｓ−１、ｔ＋１）と画素（ｓ＋１、ｔ−１）とは、Ｒ強度を示す。

ステップＳ６８において、粗補間処理部２８４は、ステップＳ６３乃至ステップＳ６６の処理により算出された補間値α１乃至α５が、それぞれ、ＲＧＢのいずれに対応するかを判定する。

ステップＳ６９において、粗補間処理部２８４は、Ｇに対応する２つの補間値の平均値を、画素（ｓ、ｔ）のＧ補間値とする。

ステップＳ７０において、粗補間処理部２８４は、Ｒに対応する補間値（２つであればその平均値）を、画素（ｓ、ｔ）のＲ補間値とする。

ステップＳ７１において、粗補間処理部２８４は、Ｂに対応する補間値（２つであればその平均値）を、画素（ｓ、ｔ）のＢ補間値とする。

ステップＳ７２において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。

ステップＳ７２において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ７３において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを、ｔ＝ｔ＋１とし、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返される。

ステップＳ７２において、ｔ＝ｎ−１であると判断された場合、ステップＳ７４において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ７４において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ７５において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを、ｓ＝ｓ＋１とし、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。

ステップＳ７４において、ｓ＝ｎ−１であると判断された場合、ステップＳ７６において、粗補間処理部２８４は、注目画素付近の（ｎ−２）の２乗個の画素のＲＧＢの補間値の組を、統計量算出部２８５−１乃至２８５−３のそれぞれに出力し、処理は、図１８のステップＳ４７に進む。

このような処理により、局所領域として抽出されたｎ×ｎの画素に対して、注目画素を中心とした（ｎ−２）×（ｎ−２）個所の画素位置のそれぞれにおけるＲＧＢの補間値が算出される。

ただし、図１９を用いて説明した粗補間処理において、ステップＳ６３乃至ステップＳ６７の処理は相互に順序を入れ替えてもかまわなく、更に、ステップＳ６９乃至ステップＳ７１の処理も、相互に順序を入れ替えてもかまわない。

次に、図２０のフローチャートを参照して、図１８のステップＳ４６において実行される粗補間処理２について説明する。

粗補間処理部２８４は、ステップＳ９１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ９２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。

ステップＳ９３において、粗補間処理部２８４は、画素（ｓ、ｔ）の画素強度を補間値α１とする。

ステップＳ９４において、粗補間処理部２８４は、画素（ｓ、ｔ）の上下の画素である画素（ｓ、ｔ−１）と、画素（ｓ、ｔ＋１）との平均強度を補間値α２とする。

図５を用いて説明したモザイク配列２４１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ、ｔ−１）と、画素（ｓ、ｔ＋１）とは、Ｇ強度を示し、注目画素（ｓ、ｔ）がＲ強度を示す画素であったとき、画素（ｓ、ｔ−１）と、画素（ｓ、ｔ＋１）とは、Ｂ強度を示し、注目画素（ｓ、ｔ）がＢ強度を示す画素であったとき、画素（ｓ、ｔ−１）と、画素（ｓ、ｔ＋１）とは、Ｒ強度を示す。

ステップＳ９５において、粗補間処理部２８４は、画素（ｓ、ｔ）の右斜め上の画素である画素（ｓ＋１、ｔ−１）、画素（ｓ、ｔ）の左の画素である画素（ｓ−１、ｔ）、および、画素（ｓ、ｔ）右斜め下の画素である画素（ｓ＋１、ｔ＋１）との平均強度を補間値α３とする。

図５を用いて説明したモザイク配列２４１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ＋１、ｔ−１）、画素（ｓ−１、ｔ）、および、画素（ｓ＋１、ｔ＋１）は、いずれもＲ強度を示すか、いずれもＢ強度を示し、例えば、注目画素（ｓ、ｔ）がＲ強度、または、Ｂ強度を示す画素であったとき、画素（ｓ＋１、ｔ−１）、画素（ｓ−１、ｔ）、および、画素（ｓ＋１、ｔ＋１）は、いずれもＧ強度を示す。

ステップＳ９６において、粗補間処理部２８４は、注目画素に対して、左斜め上、左斜め下、および、右の画素である画素（ｓ−１、ｔ−１）、画素（ｓ−１、ｔ＋１）、および、画素（ｓ＋１、ｔ）の平均強度を補間値α４とする。

図５を用いて説明したモザイク配列２４１が用いられている場合、例えば、注目画素（ｓ、ｔ）がＧ強度を示す画素であったとき、画素（ｓ＋１、ｔ−１）、画素（ｓ−１、ｔ）、および、画素（ｓ＋１、ｔ＋１）は、いずれもＲ強度を示すか、いずれもＢ強度を示し、例えば、注目画素（ｓ、ｔ）がＲ強度、または、Ｂ強度を示す画素であったとき、画素（ｓ＋１、ｔ−１）、画素（ｓ−１、ｔ）、および、画素（ｓ＋１、ｔ＋１）は、いずれもＧ強度を示す。

ステップＳ９７において、粗補間処理部２８４は、ステップＳ９３乃至ステップＳ９６の処理により算出された補間値α１乃至α４が、それぞれ、ＲＧＢのいずれに対応するかを判定する。

ステップＳ９８において、粗補間処理部２８４は、Ｇに対応する２つの補間値の平均値を、画素（ｓ、ｔ）のＧ補間値とする。

ステップＳ９９において、粗補間処理部２８４は、Ｒに対応する補間値を、画素（ｓ、ｔ）のＲ補間値とする。

ステップＳ１００において、粗補間処理部２８４は、Ｂに対応する補間値を、画素（ｓ、ｔ）のＢ補間値とする。

ステップＳ１０１において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｍ−１であるか否かを判断する。

ステップＳ１０１において、ｔ＝ｍ−１ではないと判断された場合、ステップＳ１０２において、粗補間処理部２８４は、処理を実行する画素位置を示す第２のレジスタの値ｔを、ｔ＝ｔ＋１とし、処理は、ステップＳ９３に戻り、それ以降の処理が繰り返される。

ステップＳ１０１において、ｔ＝ｍ−１であると判断された場合、ステップＳ１０３において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。

ステップＳ１０３において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ１０４において、粗補間処理部２８４は、処理を実行する画素位置を示す第１のレジスタの値ｓを、ｓ＝ｓ＋１とし、処理は、ステップＳ９２に戻り、それ以降の処理が繰り返される。

ステップＳ１０３において、ｓ＝ｎ−１であると判断された場合、ステップＳ１０５において、粗補間処理部２８４は、注目画素付近の（ｎ−２）（ｍ−２）の画素のＲＧＢの補間値の組を、統計量算出部２８５−１乃至２８５−３のそれぞれに出力し、処理は、図１８のステップＳ４７に進む。

このような処理により、局所領域として抽出されたｎ×ｎの画素に対して、注目画素を中心とした（ｎ−２）（ｍ−２）個所の画素位置のそれぞれにおけるＲＧＢの補間値が算出される。

ただし、図２０を用いて説明した粗補間処理において、ステップＳ９３乃至ステップＳ９６の処理は相互に順序を入れ替えてもかまわなく、更に、ステップＳ９８乃至ステップＳ１００の処理も、相互に順序を入れ替えてもかまわない。

次に、図２１のフローチャートを参照して、図１８のステップＳ４８において信頼度算出部２８３により実行される、信頼度算出処理について説明する。

ステップＳ１２１において、信頼度算出部２８３の高周波抽出部３２１−１乃至３２１−６は、図１０または図１１を用いて説明した、注目画素付近の所定の１２の位置のＧ補間値、すなわち、自分自身が抽出する高周波を求めるために必要な画素位置のＧ補間値を算出する。

ステップＳ１２２において、高周波抽出部３２１−１乃至３２１−６は、ステップＳ１２１の処理において算出されたＧ補間値を基に、注目画素を中心とした、６方向の高周波成分を、それぞれ抽出し、加算処理部３２２に供給する。

ステップＳ１２３において、加算処理部３２２は、高周波抽出部３２１−１乃至３２１−６から供給された、６つの高周波成分を加算して、クリッピング処理部３２３に出力する。

ステップＳ１２４において、クリッピング処理部３２３は、加算処理部３２２から供給された加算結果をクリッピングし、その値を信頼度値として、回帰演算処理部２８６−１乃至２８６−３に出力し、処理は、図１８のステップＳ４９に進む。

このような処理により、注目画素近辺に高周波成分が存在するか否かを示す信頼度値が算出されて、回帰演算処理部２８６−１乃至２８６−３に出力される。算出される信頼度値は、細い縞模様状のテクスチャの強度が大きいほど信頼度値が大きくなるので、信頼度値が小さいほうが統計量による色分布形状の推定が確かである可能性が高い。

次に、図２２のフローチャートを参照して、図１８のステップＳ４９において、統計量算出部２８５−１乃至２８５−３において実行される、２色分布形状の統計量算出処理について説明する。

なお、統計量算出部２８５−１乃至２８５−３においては、それぞれ、ＲＧＢのうち、２色の粗補間値の供給を受け（統計量算出部２８５−２においては、Ｇの粗補間値を２系統で供給される）、その統計量を同様の処理により算出することができるようになされているので、図２２のフローチャートにおいては、統計量算出部２８５に供給される２色の粗補間値を、それぞれ、第１の信号および第２の信号として説明する。

ステップＳ１３１において、統計量算出部２８５の平均値算出部３３１は、粗補間値処理部２８４から供給された粗補間値のうちの、第１の信号（統計量算出部２８５−１乃至２８５−３のいずれにおいてもＧの粗補間値）を取得する。

ステップＳ１３２において、平均値算出部３３１は、図２３または図２４のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ１３３において、平均値算出部３３３は、粗補間値処理部２８４から供給された粗補間値のうちの、第２の信号（統計量算出部２８５−１においては、Ｒの粗補間値であり、粗補間値処理部２８５−２においてはＧの粗補間値であり、粗補間値処理部２８５−３においてはＢの粗補間値である）を取得する。

ステップＳ１３４において、平均値算出部３３３は、図２３または図２４のフローチャートを用いて後述する平均値計算処理を実行する。

ステップＳ１３５において、分散算出部３３２は、図２５のフローチャートを用いて後述する、分散計算処理を実行する。

ステップＳ１３６において、共分散算出部３３４は、図２６のフローチャートを用いて後述する、共分散計算処理を実行し、処理は、図１８のステップＳ５０に戻る。

次に、図２３のフローチャートを参照して、図２２のステップＳ１３２またはステップＳ１３４において実行される平均値計算処理１について説明する。

ステップＳ１４１において、平均値算出部３３１または平均値算出部３３３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、Ｇ補間値の平均値が算出される場合Ｇに、Ｒ補間値の平均値が算出される場合Ｒに、Ｂ補間値の平均値が算出される場合Ｂに、それぞれ置き換えられる）を初期化する。

ステップＳ１４２において、平均値算出部３３１または平均値算出部３３３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）を合計する。

ステップＳ１４３において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１４２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）で除算する。

ステップＳ１４４において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１４３の処理により算出された除算結果を出力し、処理は、図２２のステップＳ１３３、または、ステップＳ１３５に進む。

また、平均値を求める場合、粗補間されたＲＧＢのそれぞれの強度に、例えば、図１３または図１４を用いて説明したように、注目画素からの距離により、重み付けを施して、重み付けが施されたＲＧＢ強度を基に、平均値を求めるようにしても良い。

図２４のフローチャートを参照して、図２２のステップＳ１３２またはステップＳ１３４において実行される平均値計算処理２について説明する。

ステップＳ１５１において、平均値算出部３３１または平均値算出部３３３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、Ｇ補間値の平均値が算出される場合Ｇに、Ｒ補間値の平均値が算出される場合Ｒに、Ｂ補間値の平均値が算出される場合Ｂに、それぞれ置き換えられる）を初期化する。

ステップＳ１５２において、平均値算出部３３１または平均値算出部３３３は、取得した補間値（ここでは、（ｎ−２）の２乗個の補間値）に、例えば、図１３または図１４を用いて説明したような重み付けを施し、重み付けられた値を合計する。

ステップＳ１５３において、平均値算出部３３１または平均値算出部３３３は、重み付けの総和を演算する。

ステップＳ１５４において、平均値算出部３３１または平均値算出部３３３は、上述した式（１）を演算する。すなわち、ステップＳ１５４において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１５２において算出された合計値を、取得した値の数（ここでは、（ｎ−２）の２乗個）と、ステップＳ１５３において算出された重み付けの総和との積で除算する。

ステップＳ１５５において、平均値算出部３３１または平均値算出部３３３は、ステップＳ１５４の処理により算出された除算結果を出力し、処理は、図２２のステップＳ１３３、または、ステップＳ１３５に進む。

次に、図２５のフローチャートを参照して、図２２のステップＳ１３５において実行される分散計算処理１について説明する。

ステップＳ１７１において、統計量算出部２８５の分散算出部３３２は、演算結果であるとして出力する分散値Ｖｘｘ（ここでは、第１の信号は、全てＧ強度であるので、Ｇ補間値の分散値が算出される。したがって、Ｖｘｘの添え字ｘは、Ｇに置き換えられる）を初期化する。

ステップＳ１７２において、分散算出部３３２は、平均値算出部３３１により算出された第１の信号の平均値Ｍｘ（ここでは、第１の信号は、全てＧ強度であるので、Ｍｘの添え字ｘは、Ｇに置き換えられる）を取得する。

分散算出部３３２は、ステップＳ１７３において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ'＝１とし、ステップＳ１７４において、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ'＝１とする。

ステップＳ１７５において、分散算出部３３２は、画素（ｓ’，ｔ’）の強度Ｘ（ここでは、Ｇ強度）から、ステップＳ１７２において取得された平均値Ｍｘを減算し、減算結果を２乗して、現在の分散値Ｖｘｘに加えた値を、分散値Ｖｘｘとして更新する。すなわち、分散算出部３３２は、Ｖｘｘ＝Ｖｘｘ＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を演算する。分散算出部３３２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図１３または図１４を用いて説明したような重み付けを施すようにしても良い。

ステップＳ１７６において、分散算出部３３２は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ'＝ｎ−２またはｍ−２であるか否か（間引きされていない画像信号に対しては、ｔ'＝ｎ−２であるか否か、間引きされている画像信号に対しては、ｔ'＝ｍ−２であるか否か）を判断する。

ステップＳ１７６において、ｔ'＝ｎ−２またはｍ−２ではないと判断された場合、ステップＳ１７７において、分散算出部３３２は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ１７５に戻り、それ以降の処理が繰り返される。

ステップＳ１７６において、ｔ'＝ｎ−２またはｍ−２であると判断された場合、ステップＳ１７８において、分散算出部３３２は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ１７８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ１７９において、分散算出部３３２は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１７４に戻り、それ以降の処理が繰り返される。

ステップＳ１７８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ１８０において、分散算出部３３２は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の粗補間値の分散値Ｖｘｘを出力し、処理は、図２２のステップＳ１３６に戻る。

分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）²を重み係数の総和で除算することにより、分散値を算出することができる。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

また、図２５を用いて説明した分散計算処理１においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。

次に、図２６のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図２２のステップＳ１３５において実行される分散計算処理２について説明する。

ステップＳ１９１乃至ステップＳ１９４においては、図２５を用いて説明したステップＳ１７１乃至ステップＳ１７４と同様の処理が実行される。

ステップＳ１９５において、分散算出部３３２は、画素（ｓ’，ｔ’）の強度Ｘ（ここでは、Ｇ強度）から、ステップＳ１４２において取得された平均値Ｍｘを減算し、減算結果を２乗して、現在の分散値Ｖｘｘに加えた値を、分散値Ｖｘｘとして更新する。すなわち、分散算出部３３２は、Ｖｘｘ＝Ｖｘｘ＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）を演算する。分散算出部３３２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図１３または図１４を用いて説明したような重み付けを施すようにしても良い。

値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ²は｜ｐ｜で近似することが可能である。これは、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算が可能であることと同様である。

そして、ステップＳ１９６乃至ステップＳ２００においては、図２５を用いて説明したステップＳ１７６乃至ステップＳ１８０と同様の処理が実行され、処理は、図２２のステップＳ１３６に戻る。

このように、式（４）または式（５）を用いて、式（３）に示される共分散の演算に対する近似演算を行う場合と同様の近似演算処理により、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。

次に、図２７のフローチャートを参照して、図２２のステップＳ１３６において実行される、共分散計算処理について説明する。

ステップＳ２１１において、共分散算出部３３４は、出力される値である共分散値Ｖｘｙ（ここでは、第１の信号は、全てＧ強度であるので、Ｖｘｙの添え字ｘは、Ｇに置き換えられる。そして、第２の信号がＲ強度であるときＶｘｙの添え字ｙはＲに置き換えられ、第２の信号がＧ強度であるときＶｘｙの添え字ｙはＧに置き換えられる）を初期化する。

ステップＳ２１２において、共分散算出部３３４は、平均値算出部３３１による図２２のステップＳ９２の処理により算出された第１の信号の平均値Ｍｘ、および、平均値算出部３３３による図２２のステップＳ９４の処理により算出された第２の平均値Ｍｙを取得する。

ステップＳ２１３において、共分散算出部３３４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ’＝１とする

ステップＳ２１４において、共分散算出部３３４は、局所領域のうちの一部（注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ’＝１とする

ステップＳ２１５において、図２８または図２９を用いて後述する積算処理が実行される。

ステップＳ２１６において、共分散算出部３３４は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ’＝ｎ−２またはｍ−２であるか否か（間引きされていない画像信号に対しては、ｔ'＝ｎ−２であるか否か、間引きされている画像信号に対しては、ｔ'＝ｍ−２であるか否か）を判断する。

ステップＳ２１６において、ｔ'＝ｎ−２またはｍ−２ではないと判断された場合、ステップＳ２１７において、共分散算出部３３４は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ２１５に戻り、それ以降の処理が繰り返される。

ステップＳ２１６において、ｔ'＝ｎ−２またはｍ−２であると判断された場合、ステップＳ２１８において、共分散算出部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。

ステップＳ２１８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ２１９において、共分散算出部３３４は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。

ステップＳ２１８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ２２０において、共分散算出部３３４は、共分散値Ｖｘｙを出力して、処理は、図１８のステップＳ５０に進む。

共分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍｙ｜）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

なお、共分散値の算出において、重み付けが施された場合、式（３）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値Ｍｘ｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値Ｍｙ｜）を重み係数の総和で除算することにより、共分散値を算出することができる。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。

上述した図２７の共分散計算処理のステップＳ２１５において実行される積算処理には、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される積算処理１と、近似演算を用いて共分散値が算出される場合に実行される積算処理２との、２種類の処理がある。

次に、図２８のフローチャートを参照して、図２７のステップＳ２１５において実行される積算処理１について説明する。積算処理１は、上述した式（３）を用いて、定義どおり、共分散値が算出される場合に実行される処理である。

ステップＳ２３１において、共分散算出部３３４は、（第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍｘ）と、（第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍｙ）の積を演算する。

ステップＳ２３２において、共分散算出部３３４は、Ｖｘｙ＝Ｖｘｙ＋ｗｉ（積算結果）とし、処理は、図２７のステップＳ２１６に進む。ここで、ｗｉは、画素（ｓ’，ｔ’）における重み付けの値である。

このような積算処理が実行されることにより、上述した式（３）を用いて、定義どおり、共分散値が算出される。積算処理１が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。

次に、図２９のフローチャートを参照して、図２７のステップＳ２１５において実行される積算処理２について説明する。積算処理２は、上述した式（４）または式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２４１において、共分散算出部３３４は、｛第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値Ｍｘ｝をｐとする。

ステップＳ２４２において、共分散算出部３３４は、｛第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値Ｍｙ｝をｑとする。

ステップＳ２４３において、図３０、または、図３１を用いて後述する積算近似処理が実行される。

ステップＳ２４４において、共分散算出部３３４は、Ｖｘｙ＝Ｖｘｙ＋（ｐｑの近似値）とし、処理は、処理は、図２７のステップＳ２１６に進む。

次に、図３０のフローチャートを参照して、図２９のステップＳ２４３において実行される積算近似処理１について説明する。積算近似処理１は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２６１において、共分散算出部３３４は、図２９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ２６２において、共分散算出部３３４は、ｐ≧０であるか否かを判断する。

ステップＳ２６２において、ｐ≧０であると判断された場合、ステップＳ２６３において、共分散算出部３３４は、ｐｑの近似値＝＋ｑとし、処理は、図２９のステップＳ２４４に戻る。

ステップＳ２６２において、ｐ≧０ではないと判断された場合、ステップＳ２６４において、共分散算出部３３４は、ｐｑの近似値＝−ｑとし、処理は、図２９のステップＳ２４４に戻る。

ステップＳ２６１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ２６５において、共分散算出部３３４は、ｑ≧０であるか否かを判断する。

ステップＳ２６５において、ｑ≧０であると判断された場合、ステップＳ２６６において、共分散算出部３３４は、ｐｑの近似値＝＋ｐとし、処理は、図２９のステップＳ２４４に戻る。

ステップＳ２６５において、ｑ≧０ではないと判断された場合、ステップＳ２６７において、共分散算出部３３４は、ｐｑの近似値＝−ｐとし、処理は、図２９のステップＳ２４４に戻る。

この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。

図３０を用いて説明した処理により、上述した式（４）を用いて、共分散値を近似することが可能である。

次に、図３１のフローチャートを参照して、図２９のステップＳ２４３において実行される積算近似処理２について説明する。積算近似処理１は、上述した式（５）を用いて、近似された共分散値が算出される場合に実行される処理である。

ステップＳ２８１において、共分散算出部３３４は、図２９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、ｐまたはｑが０であるか否かを判断する。

ステップＳ２８１において、ｐまたはｑが０であると判断された場合、ステップＳ２８１において、共分散算出部３３４は、ｐｑの近似値を０とし、処理は、図２９のステップＳ２４４に戻る。

ステップＳ２８１において、ｐおよびｑはいずれも０ではないと判断された場合、ステップＳ２８３において、共分散算出部３３４は、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であるか否かを判断する。

ステップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であると判断された場合、ステップＳ２８４において、共分散算出部３３４は、ｐｑの近似値を（｜ｐ｜＋｜ｑ｜）／２とし、処理は、図２９のステップＳ２４４に戻る。

テップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれでもないと判断された場合、ステップＳ２８５において、共分散算出部３３４は、ｐｑの近似値を、（−｜ｐ｜−｜ｑ｜）／２とし、処理は、図２９のステップＳ２４４に戻る。

なお、図２９のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐまたはｑが、０の値を取ることは、非常にまれである。そこで、ステップＳ２８１およびステップＳ２８２の処理を省略するようにしてもよい。このようにすることにより、演算処理速度を高速化したり、ハードウェアの実装規模を縮小するようにすることが可能である。

図３１を用いて説明した処理により、上述した式（５）を用いて、共分散値を近似することが可能である。

図２９乃至図３１を用いて説明した積算処理が実行されることにより、上述した式（４）または式（５）を用いて、共分散値を近似することが可能である。このようにした場合、式（３）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。

次に、図３２のフローチャートを参照して、図１８のステップＳ２７において実行される、補間画素推定処理について説明する。

ステップＳ３２１において、傾き算出部３５１は、上述した式（６）を用いて、平均値に基づく傾き推定値Ｋｍを算出し、傾き合成部３５３に出力する。

ステップＳ３２２において、傾き算出部３５２は、上述した式（７）を用いて、分散値および共分散値に基づく傾き推定値Ｋｓを算出し、傾き合成部３５３に出力する。

ここで、傾き算出部３５２は、上述した式（７）に示されるように、傾きＫｓの分母に対するクリッピング処理を行う。このクリッピング処理は、画像が平坦かどうかの判定と出力振幅の抑制との両方の処理を実行した場合と同様に、ノイズ低減の作用がある。この処理が実行されることにより、別途ノイズ低減処理を追加しなくても画像の平坦な部分で目立つノイズを抑制することができる。

ステップＳ３２３において、傾き合成部３５３は、ステップＳ３２１において算出された傾き推定値Ｋｍと、ステップＳ３２２において算出された傾き推定値Ｋｓとを、上述した式（８）を用いて、信頼度ｈに基づいて合成し、傾き推定値Ｋを算出し、画素強度推定部３５４に出力する。

ステップＳ３２４において、素強度推定部３５４は、ステップＳ３２３において算出された傾き推定値Ｋ、２つの平均値Ｍ_GおよびＭ_R（またはＭ_B）、並びに、注目画素位置のＧ強度とを基に、上述した式（９）または式（１０）の線形回帰式を用いて、注目画素位置のＲ強度（またはＢ強度）の推定値を算出し、処理は、図１８のステップＳ２８に戻る。

このような処理により、注目画素位置の各色の推定強度を算出することができる。特に、推定強度を算出する場合の線形回帰式に、上述した式（１０）を用いて、傾きＫに、１より大きな適当な定数uを乗算することにより、その高周波成分を少し増強して、Ｒに対する適切な高域補正を実行した場合と同様の効果を得ることができる。このようにすることにより、別途高域補正処理を追加しなくても高域が補正された画像を得ることができる。

以上説明したように、図４を用いて説明したモザイク配列２３１（全画素読み出し）は、Ｇ信号が市松上に配置されるようになされ、水平垂直方向のいずれにも均等に分布し、かつ、Ｒ信号およびＢ信号も、水平垂直方向のいずれにも均等に分布しており、更に、図５を用いて説明したモザイク配列２４１（間引き読み出し）においても、得られる色配列は、１列おきのＧストライプとなり、Ｇではない列には、ＲとＢが、それぞれ同一水平ラインに均一に混在し、かつ、同一垂直ラインに交互に配列されるようになされている。すなわち、図４および図５を用いて説明したフィルタ配列を用いた本発明のデジタルスチルカメラ２０１は、従来用いられてきたフィルタ配列により画像信号が取得される場合と比較して、全画素読み出しおよび間引き読み出しのいずれにおいても、精度良くＧの補間処理を行うことが可能となり、更に、ＲＢの補間精度の方向によるばらつきが発生しにくいため、偽色などの発生を抑えることができる。

以上の説明においては、ＲＧＢの同時化処理を、線形回帰直線を求めることにより実現するものとして説明したが、ＲＧＢの同時化処理を、線形回帰直線を求める以外の、例えば、以下のような方法で算出することで実現してもよい。

第１の方法・・・局所領域内で色の変化は少ないと仮定して、求める色の情報のみを用いて、重み付け平均で算出する。
第２の方法・・・局所領域内で低周波の色の比率と高周波の色の比率は、略等しいと仮定して算出する。
第３の方法・・・局所領域内のＧ強度信号と、Ｒ強度信号またはＢ強度信号との相関は高いと仮定して算出する。

次に、前記の具体的な方法について、図３３を用いて、間引きされた５×３のモザイク配列の中央の画素であるＧ５の位置に対応するＲを算出する場合を例として説明する。なお、図３３に対応する重み付け係数には、図１４を用いて説明した重み付け係数を使用する。

上述した第１の方法において、Ｇ５の位置のＲは次の式（１５）で示される。

Ｒ＝（Ｒ１×２＋Ｒ２×６＋Ｒ３×２）／１０・・・（１５）

上述した第２の方法において、Ｇ５の位置のＲは次の式（１６）で示される。

Ｒ＝Ｇ５×ＬＰＦ（Ｒ）／ＬＰＦ（Ｇ）・・・（１６）

なお、式（１６）において、ＬＰＦ（Ｒ）＝（Ｒ１×２＋Ｒ２×６＋Ｒ３×２）／１０であり、ＬＰＦ（Ｇ）＝（Ｇ１＋Ｇ３＋Ｇ７＋Ｇ９＋（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）×３＋Ｇ５×９）／２５である。

そして、上述した第３の方法において、Ｇ５の位置のＲは次の式（１７）で示される。

Ｒ＝ｋ×（Ｇ５―ＬＰＦ（Ｇ））＋ＬＰＦ（Ｒ）・・・（１７）

なお、式（１７）において、ＬＰＦ（Ｒ）＝（Ｒ１×２＋Ｒ２×６＋Ｒ３×２）／１０であり、ＬＰＦ（Ｇ）＝（Ｇ１＋Ｇ３＋Ｇ７＋Ｇ９＋（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）×３＋Ｇ５×９）／２５であり、ｋは、局所領域内のＲとＧの統計量から算出した回帰直線の傾きである。

上述したように、本発明を適用した図４のモザイク配列２３１を有するカラーフィルタを用いた場合、全画素読み出しおよび間引き読み出しのいずれにおいても、ＲＧＢの分布が従来における場合よりも特定方向に偏らず均一であるため、特定方向に解像度の劣化が生じてしまうことなく、偽色、および、方向による解像度のばらつきが抑えられ、高品質な画像を得ることができる。

また、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられているモザイク配列には、図４を用いて説明した第１の例のモザイク配列２３１以外にも、例えば、図３４に示されるように、色フィルタ配列は第１の例と同じであるが、それに加えて、行ごとに異なる感度を交互に適用しているモザイク配列３６１を用いるようにしても良い。

図３４においては、色情報に付加された数字において、１が明るい感度、０が暗い感度を示しているものとする。

図３４に示されるモザイク配列３６１がＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられている場合、第１の例のモザイク配列２３１がＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられている場合とは異なり、１行おきに間引き処理を行ってしまっては、間引き後のモザイク画像には、いずれか一方の感度の色強度信号しか残らなくなってしまう。したがって、ＣＰＵ２２３は、タイミングジェネレータ２１７を制御し、ＣＣＤイメージセンサ２１３において取得された画像信号の読み出しを、２行ごとに読出し、スキップが交互に実行されるようにする。

このような２行ごとの間引き読み出しにより得られる間引きされたモザイク配列を図３５に示す。図３５のモザイク配列３６２においては、１行ごとに、明るい感度の画像信号と暗い感度の画像信号を得ることが可能となる。したがって、第２の例に示されるモザイク配列のオンチップカラーフィルタを用いたデジタルスチルカメラ２０１は、ＤＳＰブロック２１６において、双方の感度の色強度情報を用いてデモザイク処理を行うことができるので、偽色などのノイズの発生を防止することができるのみならず、白とびや黒つぶれを防止して、より高画質の画像を得ることができる。

図３４に示されるモザイク配列３６１がＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられている場合、デジタルスチルカメラ２０１のＤＳＰブロック２１６は、図７を用いて説明したデモザイク処理部２５３に代わって、図３６のデモザイク処理部３７１が用いられる。

なお、図７と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図３６のデモザイク処理部３７１は、図３４および図３５を用いて説明したモザイク配列のモザイク画像データを処理するために必要な感度補償部３７５が新たに設けられている以外は、基本的に、図７のデモザイク処理部２５３と同様の構成を有するものである。

感度補償部３７５は、局所領域抽出部２８１により抽出された局所領域のモザイク画像の入力を受け、更に、ＣＰＵ２２３より、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに用いられているモザイク配列３６１の高感度と低感度との感度比の供給を受け、モザイク画像の各画素の信号強度が有効値（すなわち、白とびや黒つぶれをしていない値）であれば、低感度の画素の色成分信号を、高感度で撮影されたものに相当するように補償して、得られた感度補償済みの局所的な色モザイク画像を、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に供給する。

図３７は、感度補償部３７５の構成を示すブロック図である。

感度補償部３７５の乗算部３８１は、局所領域抽出部２８１から供給されたモザイク画像の各画素に対して、高感度で撮影された画素と低感度で撮影された画素の感度比を乗算し、セレクタ３８２に出力する。セレクタ３８２は、モザイク画像と、乗算部３８１が出力する感度補償されたモザイク画像の入力を受け、予め保持しているモザイク画像の感度配列を示す情報に基づき、高感度の画素位置の色強度信号については、モザイク画像の色強度信号を有効性判定部３８３にそのまま出力し、低感度の画素位置については、乗算部３８１から供給された、感度補償されたモザイク画像の色強度信号を、有効性判定部３８３に出力する。

有効性判定３８３は、セレクタ３８２から入力される、画素の撮影時の感度が高感度に統一された局所的なモザイク画像を構成する画素のうち、その画素値（色成分の値）が所定のノイズレベル以下（すなわち、黒つぶれ）であるもの、または、その画素値が所定の飽和レベル以上であるもの（すなわち、白とび）を無効な画素であると判定し、画素値を無効な画素であることを示す値（例えば、負の値）に置換して、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に出力する。

次に、図３８のフローチャートを参照して、図３６のデモザイク処理部３７１が実行するデモザイク処理２について説明する。

ステップＳ３５１において、局所領域抽出部２８１は、未処理の画素のうちのいずれかを注目画素とする。

ステップＳ３５２において、感度補償部３７５は、供給されたモザイク画像データの感度補償処理を行う。具体的には、図３７を用いて説明したように、乗算部３８１は、局所領域抽出部２８１から供給されたモザイク画像の各画素に対して、高感度で撮影された画素と低感度で撮影された画素の感度比を乗算し、セレクタ３８２は、予め保持しているモザイク画像の感度配列を示す情報に基づき、高感度の画素位置の色強度信号については、モザイク画像の色強度信号を有効性判定部３８３にそのまま出力し、低感度の画素位置については、乗算部３８１から供給された、感度補償されたモザイク画像の色強度信号を、有効性判定部３８３に出力する。有効性判定３８３は、画素値が所定のノイズレベル以下であるもの、または、その画素値が所定の飽和レベル以上であるものを無効な画素であると判定し、画素値を無効な画素であることを示す値に置換して、Ｇ強度補間処理部２８２、信頼度算出部２８３、および、粗補間処理部２８４に出力する。

ステップＳ３５３乃至ステップＳ３６２において図１８のステップＳ４２乃至ステップＳ５１と同等の処理が実行される。すなわち、間引きされた画像であるか否かが判断されて、間引きされていない、全画素読み出し画像に対しては、注目画素位置の周辺の所定数（ｎ×ｎ）の画素が局所領域として抽出され、図１９のフローチャートを用いて説明した粗補間処理１が実行される。

そして、間引きされた画像であると判断された場合、注目画素位置の周辺の所定数（ｎ×ｍ）の画素が局所領域として抽出され、図２０のフローチャートを用いて説明した粗補間処理２が実行される。

粗補間処理１または粗補間処理２の終了後、注目画素位置のＧ強度が算出され、図２１のフローチャートを用いて説明した値算出処理が実行され、図２２のフローチャートを用いて説明した２色分布形状の統計量算出処理が実行され、図３２のフローチャートを用いて説明した補間画素推定処理が実行される。

そして、全ての画素において処理が終了したか否かを判断する。ステップＳ３５１に戻り、それ以降の処理が繰り返される。全ての画素において処理が終了したと判断された場合、処理は、図１７のステップＳ２５に戻る。

このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間され、かつ、黒つぶれや色とびが無い画像データを得ることができる。

また、本発明を適用したデジタルスチルカメラ２０１は、図６を用いて説明したＤＳＰブロック２１６に代わって、図３９に示されるＤＳＰブロック３９１を備えるようにしても良い。

なお、図６と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図３９のＤＳＰブロック３９１は、信号処理用プロセッサ２４２に代わって、信号処理用プロセッサ３９５が設けられている以外は、基本的に、図６を用いて説明したＤＳＰブロック２１６と同様の構成を有しており、信号処理用プロセッサ３９５は、スイッチ２５４がガンマ補正部２５２の後段に設けられ、水平方向縮小処理部２５５に代わって、水平方向縮小処理部３９８が設けられ、スイッチ２５４の一方の出力と水平方向縮小処理部３９８の出力がデモザイク処理部２５３に供給されている以外は、基本的に、図６を用いて説明した信号処理用プロセッサ２４２と同様の構成を有しているものである。

水平方向縮小処理部３９８は、スイッチ２５４から供給された間引きされたモザイク画像の縦横比を、間引きされていないモザイク画像と同一にするために、水平方向の縮小処理を実行する。ここで、水平方向縮小処理部３９８は、スイッチ２５４から供給された間引きされたモザイク画像のモザイク配列を変更することなく、縦横比を間引きされていないモザイク配列と同一になるように変更する。

具体的には、水平方向縮小処理部３９８は、供給された間引き後のモザイク配列２４１またはモザイク配列３６２を４列ごとに間引いたり、所定のフィルタを用いることにより、水平方向に縮小された同一配列のモザイク画像データを作成する。

水平方向の間引きに用いられるフィルタの例について、図４０を用いて説明する。

水平方向縮小処理部３９８は、モザイク配列を変更することなく水平方向の画素数を１／２に減少させるために、１行に配置された画素の色強度信号を用いて、元のモザイク配列のＢの強度信号を有する画素の位置にＧの強度信号を生成し、元のモザイク配列のＲの強度信号を有する画素の位置にＲまたはＢの強度信号を生成する。

このとき、水平方向縮小処理部３９８は、作成される強度信号と同一の列の近傍の同色の色信号を用いて、重み付け平均演算により、ＲＧＢのそれぞれの色強度を有する画素の値を演算する。

例えば、水平方向縮小処理部３９８は、Ｇの色強度を有する画素信号を作成するために、画素の補間位置の近傍の４画素Ｇ１，Ｇ２，Ｇ３，Ｇ４を用いて、次の式（１８）を用いて、色強度を演算し、Ｒの色強度を有する画素信号を作成するために、画素の補間位置の近傍の５画素Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５を用いて、次の式（１９）を用いて、色強度を演算し、Ｂの色強度を有する画素信号を作成するために、画素の補間位置の近傍の４画素Ｂ１，Ｂ２，Ｂ３，Ｂ４を用いて、次の式（２０）を用いて、色強度を演算することができる。

Ｇ＝（Ｇ１＋Ｇ２×３＋Ｇ３×３＋Ｇ４）／８ ・・・（１８）
Ｒ＝（Ｒ１＋Ｒ２×４＋Ｒ４×６＋Ｒ４×４＋Ｒ５）／１６ ・・・（１９）
Ｂ＝（Ｂ１＋Ｂ２×３＋Ｂ３×３＋Ｂ４）／８ ・・・（２０）

このようにして、水平方向縮小処理部３９８は、供給されたモザイク画像のモザイク配列を変更することなく、画素信号の縦横比を間引きされていないモザイク画像と同一にするために、水平方向の縮小処理を実行することができる。

次に、図４１のフローチャートを参照して、図３９に示されるＤＳＰブロック３９１が実行する画像処理２について説明する。

ステップＳ４０１乃至ステップＳ４０３において、図１７のステップＳ２１乃至ステップＳ２３と同様の処理が実行される。すなわち、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存し、ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行い、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。

ステップＳ４０４において、スイッチ２５４は、供給されたＲＧＢの画像データが、間引きされた画像であるか否かを判断する。ステップＳ４０４において、間引きされた画像ではないと判断された場合、スイッチ２５４は、供給された画像をデモザイク処理部２５３に供給するので、処理は、ステップＳ４０６に進む。

ステップＳ４０４において、間引きされた画像であると判断された場合、ステップＳ４０５において、スイッチ２５４は、供給された画像を水平方向縮小処理部３９８に供給する。水平方向縮小処理部３９８は、供給された画像の縦横比が、間引きされていない画像と同一になるように水平方向に画像を縮小する。

ステップＳ４０４において、間引きされた画像ではないと判断された場合、または、ステップＳ４０５の処理の終了後、ステップＳ４０６において、デモザイク処理部２５３により、図１８を用いて説明したデモザイク処理が実行される。

ステップＳ４０７乃至ステップＳ４０９において、図１７のステップＳ２７乃至ステップＳ２９と同様の処理が実行される。すなわち、階調変換処理部２５６は、供給された画像信号の階調を圧縮する階調変換処理を実行し、階調変換された画像信号をＹＣ変換部２５７に供給する。そして、ＹＣ変換部２５７は、Ｒ，Ｇ，Ｂの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成して出力し、処理が終了される。

このような処理により、ＤＳＰブロック３９１は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給することができる。

以上説明したように、本発明によれば、水平ラインがＲＧＢの３色で構成され、Ｇが市松配置され、かつＲＢが斜め方向に配置された、図４に示される色フィルタ配列のカラー固体撮像素子を用いたデジタルスチルカメラ２０１においては、例えば、静止画像の撮像モードにおいて、方向による解像度のばらつきが少ないために高画質な高解像度画像を得ることができるとともに、間引き後の色配列においても、従来と比較して、Ｒ強度信号やＢ強度信号がより均等に分布されているので、モニタ表示等の撮像モードにおいて、１行ごとに読出し、スキップを繰り返す間引き読み出しを行うことにより、読出しおよび画像処理を高速化することができ、偽色などが抑えられた高品質な低解像度画像を得ることが可能となる。また、水平ラインがＲＧＢの３色で構成され、Ｇが市松配置され、かつＲＢが斜め方向に配置され、更に、１行おきに感度が異なるようになされている、図２２に示される色フィルタ配列のカラー固体撮像素子を用いたデジタルスチルカメラ２０１においても、同様に、従来と比較して、偽色などが抑えられた高品質な低解像度画像を得ることが可能となるとともに、撮像された画像の白とびや黒つぶれを防止することが可能となる。このように、本発明を適用したデジタルスチルカメラ２０１においては、高品質かつ高速な低解像度画像出力、高品質な高解像度画像出力の両方に対応することが可能となる。

更に、従来のデモザイク技術は、いずれも、本発明を適用した、図７または図３６のの粗補間処理部２８４のようなＣ１とＣ２の強度の組を生成する手段を持たないので、色分布が正の相関を有していない場合などにおいて、正しい色強度の推定を行いことはできない。これに対して、本発明を適用したデモザイク処理部２５３においては、色分布の右下がり、右上がりにかかわらず（すなわち、色間が正の相関を有しているか、不の相関を有しているかにかかわらず）、正しい推定を行うことができるという、顕著な効果を奏することができる。

更に、本発明では、分散、共分散、相関係数等の、計算コストが大きい統計量計算を簡易な計算に置き換えて近似演算することができるようになされている。本発明で用いるこれらの統計量計算の簡易化は、デモザイク処理における２色間の相関関係推定において妥当な近似値を獲得するのに十分な精度をもっている。

また、従来は、高域補正やノイズ低減処理を行うためのプロセスまたは回路を別途付加していたが、本発明を用いた場合、高域補正やノイズ低減処理を行うためのプロセスまたは回路を別途付加することなく、デモザイク処理で色を推定して補間すると同時に、高域補正やノイズ低減の効果を得ることができる。したがって、本発明を適用することにより、高域補正やノイズ低減処理などの性能を有する、簡素なカメラシステムを構築することが可能となる。

以上説明した処理においては、３色配列を用いたデジタルスチルカメラ２０１における画像処理において演算近似が実行される場合について説明したが、動画像を撮像することが可能なデジタルビデオカメラについても、本発明は適用可能である。デジタルビデオカメラに本発明が適用される場合、コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。

また、本発明は、撮像素子にＣＣＤイメージセンサを用いたデジタルスチルカメラ２０１のみならず、撮像素子として、全画素読み出しおよびラインごとの間引き読み出しが可能であり、所定の色配列のモザイク画像を撮像することが可能な撮像素子であれば、例えば、ＣＭＯＳや、他の画像センサなど、いかなるものが用いられていても適用可能であることはいうまでもない。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。

この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デジタルスチルカメラ２０１の処理の一部は、図４２に示されるようなパーソナルコンピュータ４０１により実行することが可能となる。

図４２において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ（Read Only Memory）４１２に記憶されているプログラム、または記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。

入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ディスプレイやスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４３１、光ディスク４３２、光磁気ディスク４３３、もしくは、半導体メモリ４３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図４２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク４３１（フロッピディスクを含む）、光ディスク４３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク４３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ４３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ４１２や、記憶部４１８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。

従来用いられているベイヤー配列と、ベイヤー配列を用いた場合の間引きされたモザイク配列について説明するための図である。 １行のデータに全ての色の情報を含んでいる色配列のカラーフィルタの配列と、その場合において間引きされたモザイク配列について説明するための図である。 本発明を適用したデジタルスチルカメラの構成を示すブロック図である。 本発明を適用したデジタルスチルカメラで用いられているカラーフィルタのモザイク配列の第１の例について説明するための図である。 図４のモザイク配列を間引きした場合のモザイク配列について説明するための図である。 図３のＤＳＰブロックの構成を示すブロック図である。 図６のデモザイク処理部の構成を示すブロック図である。 図６の信頼度算出部の構成を示すブロック図である。 信頼度算出部における画素強度の抽出位置について説明するための図である。 信頼度算出部における画素強度の抽出位置について説明するための図である。 信頼度算出部において高周波成分を抽出するための画素強度の組について説明するための図である。 図６の統計量算出部の構成を示すブロック図である。 重み付け係数の例について説明するための図である。 重み付け係数の例について説明するための図である。 図６の回帰演算処理部の構成を示すブロック図である。 撮像処理について説明するためのフローチャートである。 図６のＤＳＰブロックが実行する画像処理１についてについて説明するためのフローチャートである。 デモザイク処理１について説明するためのフローチャートである。 粗補間処理１について説明するためのフローチャートである。 粗補間処理２について説明するためのフローチャートである。 信頼度算出処理について説明するためのフローチャートである。 ２色分布形状の統計量算出処理について説明するためのフローチャートである。 平均値計算処理１について説明するためのフローチャートである。 平均値計算処理２について説明するためのフローチャートである。 分散計算処理１について説明するためのフローチャートである。 分散計算処理２について説明するためのフローチャートである。 共分散計算処理について説明するためのフローチャートである。 積算処理１について説明するためのフローチャートである。 積算処理２について説明するためのフローチャートである。 積算近似処理１について説明するためのフローチャートである。 積算近似処理２について説明するためのフローチャートである。 補間画素推定処理について説明するためのフローチャートである。 重み付け平均演算について説明するための図である。 本発明を適用したデジタルスチルカメラで用いられているカラーフィルタのモザイク配列の第２の例について説明するための図である。 図３４のモザイク配列を間引きした場合のモザイク配列について説明するための図である。 図６のデモザイク処理部の異なる構成を示すブロック図である。 図３６の感度補償部の構成を示すブロック図である。 デモザイク処理２について説明するためのフローチャートである。 図３のＤＳＰブロックの異なる構成を示すブロック図である。 図３９の水平方向縮小処理部の処理について説明するための図である。 図３９のＤＳＰブロックが実行する画像処理２についてについて説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

２０１ デジタルスチルカメラ， ２１６ ＤＳＰブロック， ２３１モザイク配列， ２４１ モザイク配列， ２４２ 信号処理用プロセッサ， ２５３ デモザイク処理部， ２５４ スイッチ， ２５５ 水平方向縮小処理部， ２８１ 局所領域抽出部， ２８２ Ｇ強度補間処理部， ２８３ 信頼度算出部， ２８４ 粗補間処理部， ２８５ 統計量算出部， ２８６ 回帰演算処理部， ３２１ 高周波抽出部， ３２２ 加算処理部， ３２３ クリップ処理部， ３３１ 平均値算出部， ３３２ 分散値算出部， ３３３ 平均値算出部， ３３４ 共分散算出部， ３５１，３５２ 傾き算出部， ３５３ 傾き合成部， ３５４ 画素強度推定部， ３６１，３６２ モザイク配列， ３７５ 感度補償部， ３９１ 信号処理用プロセッサ， ３９８ 水平方向縮小処理部

Claims (6)

1. 分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、前記第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色に対応する前記画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置において、
   前記画像センサからの前記モザイク画像信号の読み出しを制御する制御手段と、
   前記画像センサによって得られた前記モザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、前記３種類の色のそれぞれに対応する単色画像データを生成する生成手段と
   を備え、
   前記画像センサは、
   第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、
   第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で前記第１のフィルタの間に交互に配置された
   カラーフィルタであって、
   前記カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の前記第１乃至第３のフィルタが配置され、
   前記カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、前記所定の受光感度とは異なる他の受光感度の前記第１乃至第３のフィルタが配置された
   前記カラーフィルタを有し、
   前記制御手段は、前記画像センサからの前記モザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する
   画像処理装置。
2. 前記制御手段は、前記画像センサからの前記モザイク画像信号の、２行ごとの読み出しおよびスキップによる前記間引き読み出しを制御し、
   前記制御手段により前記画像センサからの前記間引き読み出しが制御されたとき、前記間引き読み出しにより得られた前記モザイク画像信号を基に前記生成手段により生成された、前記３種類の色のそれぞれに対応する前記単色画像データを水平方向に縮小する第１の水平方向縮小処理手段を更に備える
   請求項１に記載の画像処理装置。
3. 前記制御手段は、前記画像センサからの前記モザイク画像信号の、２行ごとの読み出しおよびスキップによる前記間引き読み出しを制御し、
   前記制御手段により前記画像センサからの前記間引き読み出しが制御されたとき、前記間引き読み出しにより得られた前記モザイク画像信号を水平方向に縮小する第２の水平方向縮小処理手段を更に備える
   請求項１に記載の画像処理装置。
4. 前記制御手段は、前記画像センサからの前記モザイク画像信号の、２行ごとの読み出しおよびスキップによる前記間引き読み出しを制御する
   請求項１に記載の画像処理装置。
5. 分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、前記第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色に対応する前記画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する画像処理装置の画像処理方法において、
   前記画像センサからの前記モザイク画像信号の読み出しを制御する制御ステップと、
   前記画像センサによって得られた前記モザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、前記３種類の色のそれぞれに対応する単色画像データを生成する生成ステップと
   を含み、
   前記画像センサは、
   第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、
   第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で前記第１のフィルタの間に交互に配置された
   カラーフィルタであって、
   前記カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の前記第１乃至第３のフィルタが配置され、
   前記カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、前記所定の受光感度とは異なる他の受光感度の前記第１乃至第３のフィルタが配置された
   前記カラーフィルタを有し、
   前記制御ステップの処理では、前記画像センサからの前記モザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する
   画像処理方法。
6. 分光感度が異なる第１乃至第３のフィルタが所定の位置に配置されたカラーフィルタを有し、前記第１乃至第３のフィルタのうちのいずれかが画素ごとに用いられている画像センサによって得られたモザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色に対応する前記画素の位置毎の強度情報が全画素で揃うようなカラー画像を生成する処理をコンピュータに実行させるためのプログラムであって、
   前記画像センサからの前記モザイク画像信号の読み出しを制御する制御ステップと、
   前記画像センサによって得られた前記モザイク画像信号から、前記第１乃至第３のフィルタの前記分光感度により決まる３種類の色のそれぞれに対応する強度情報を全画素で揃えるデモザイク処理を行い、前記３種類の色のそれぞれに対応する単色画像データを生成する生成ステップと
   を含み、
   前記画像センサは、
   第１のフィルタが水平方向および垂直方向のそれぞれの方向で１画素おきに配置され、
   第２および第３のフィルタが、水平方向および垂直方向のそれぞれの方向で前記第１のフィルタの間に交互に配置された
   カラーフィルタであって、
   前記カラーフィルタを構成する水平ラインのうち、偶数番目の水平ラインには、所定の受光感度の前記第１乃至第３のフィルタが配置され、
   前記カラーフィルタを構成する水平ラインのうち、奇数番目の水平ラインには、前記所定の受光感度とは異なる他の受光感度の前記第１乃至第３のフィルタが配置された
   前記カラーフィルタを有し、
   前記制御ステップの処理では、前記画像センサからの前記モザイク画像信号の、全画素読み出しおよび間引き読み出しを制御する
   処理をコンピュータに実行させるためのプログラム。

Images