JP5106221B2 - 撮像装置 - Google Patents

Description

本発明は、ベイヤ配列の画素を備えた撮像装置に関する。

従来、ＣＭＯＳイメージセンサを用いたカラーカメラではＲＧＢの原色フィルタを市松状に配列させた、いわゆるベイヤ（Bayer）配列の色フィルタが用いられてきた。ベイヤ配列では、先ずＧ画素を市松状に配列させ、残りの部分にＲ画素とＢ画素とをそれぞれ市松状に配列させている。

これに対して、Ｇ画素の一つをＷ画素に置き換えることにより、光の透過率をよくしてＳ／Ｎ改善を図ったイメージセンサが最近発表されている（非特許文献１〜３参照）。

非特許文献１，２は、この色フィルタ配列において、Ｗ画素の画素位置に、以下の（１）〜（３）式に基づいてＲＧＢ画素値（ＲＷ、ＧＷ、ＢＷ）を生成して、ＲＧＢ信号のＳ／Ｎの改善を図っている。
ＲＷ＝Ｗ×Ｒaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（１）
ＧＷ＝Ｗ×Ｇaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（２）
ＢＷ＝Ｗ×Ｂaverage／（Ｒaverage＋Ｇaverage＋Ｂaverage） …（３）
ここで、Ｒaverageは、Ｗ画素周辺の２つのＲ画素の平均から算出される。同様に、ＢaverageはＷ画素周辺２つのＢ画素の平均から算出され、ＧaverageはＷ画素周辺４つのＧ画素の平均から算出される。
Hiroto Honda, et al : A novel Bayer-like WRGB color filter array for CMOS Image Sensors, Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol.6492, pp. 64921J-1-10, 2007. Hiroto Honda, et al : High Sensitivity Color CMOS Image Sensor with WRGB Color Filter Array and Color Separation Process using Edge Detection, 2007 International Image Sensor Workshop, June 7-10, 2007. Eastman Kodak News Release June 14,2007.

非特許文献１〜３では、Ｗ画素を有するイメージセンサを使用することを前提としており、センサのコストが高くなるおそれがある。また、既存のベイヤ配列のセンサを使用できないため、普及に時間がかかることが予想され、また、Ｗ画素を有するセンサの電気的特性についての検証も必要となる。特に、Ｗ画素とそれ以外の画素との感度差やフィルタ特性のばらつきなどの不具合が生じる可能性もある。

本発明は、既存のベイヤ配列のセンサを用いて、色信号のＳ／Ｎと画質を向上可能な撮像装置を提供するものである。

本発明の一態様によれば、レンズと、
画素ごとに設けられ、ベイヤ配列で配置される第１の色フィルタ、第２の色フィルタおよび第３の色フィルタと、
前記レンズを経由して前記第１〜第３の色フィルタを通過した光を光電変換して、前記第１の色フィルタに対応する第１の色信号と、前記第２の色フィルタに対応する第２の色信号と、前記第３の色フィルタに対応する第３の色信号とを生成するイメージセンサと、
前記第１〜第３の色信号に対して信号処理を行う信号処理部と、を備え、
前記第１の色フィルタは市松状に配置されて、前記第１の色フィルタに対応する画素のうち一つが基準画素として用いられ、
前記信号処理部は、
前記基準画素の周囲に位置する複数画素の前記第２の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する第４の色信号を生成する第１の色生成手段と、
前記基準画素の周囲に位置する複数画素の前記第３の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する第５の色信号を生成する第２の色生成手段と、
前記第１〜第５の色信号に基づいて、所定の画像処理を行ってカラー信号を生成する特性変換手段と、を有し、
前記第１の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第２の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算し、
前記第２の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第３の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算することを特徴とする撮像装置が提供される。

本発明によれば、既存のベイヤ配列のセンサを用いて、色信号のＳ／Ｎと画質を向上できる。

以下、図面を参照しながら、本発明の一実施形態について説明する。

図１は本発明の一実施形態による撮像装置の概略構成を示すブロック図である。図１の撮像装置は、レンズ１と、画素ごとに光電変換素子を有するＣＭＯＳイメージセンサ２と、センサ２の各光電変換素子の上に配置される色フィルタアレイ３と、信号処理回路４とを備えている。

信号処理回路４は、３×３画素からなる画素ブロック単位で画素値を並列出力する同時化回路１１と、後に詳述する仮想画素演算回路（第１の色生成手段、第２の色生成手段）１２と、カラー信号を生成する特性変換回路（特性変換手段）１３とを有する。

被写体の光学像は、レンズ１を通過して、ＣＭＯＳイメージセンサ２の撮像面に結像される。撮像面には、色フィルタアレイ３が設けられており、色フィルタアレイ３を通過した波長の光が光電変換素子で光電変換されてカラー情報が得られる。

ＣＭＯＳイメージセンサ２から出力される信号は色フィルタアレイ３に対応したＲＧＢ色信号であり、通常は不図示のＡ／Ｄ変換器によりデジタル信号に変換された後に、信号処理回路４に入力される。

信号処理回路４に入力されるＲＧＢ色信号は点順次信号（シリアル信号）である。同時化回路１１は、画素ブロックを構成する３×３画素分の色信号を同タイミングで並列出力する。仮想画素演算回路１２は、Ｒ信号、Ｇ信号およびＢ信号から新たに仮想Ｒ信号と仮想Ｂ信号を生成して、特性変換回路１３に供給する。

特性変換回路１３は、仮想画素演算回路１２で生成された仮想Ｒ信号および仮想Ｂ信号と、信号処理回路４に入力された色信号とを用いて、マトリックス演算、輪郭補正、ガンマ補正などの非直線処理を行い、カラー信号を例えばＹＵＶ信号またはＲＧＢ信号の形式で出力する。

次に、仮想画素演算回路１２を詳細に説明する。図２は本実施形態による色フィルタアレイ３の色配置を示す図、図３は単板式カラーカメラで使われている各色信号の分光感度特性を示す図である。

イメージセンサ２から出力されるＲＧＢ各色信号の大きさは図３の色フィルタの波長特性とイメージセンサ２の分光感度特性との掛け算を波長ごとに積分した値になる。現在、多くの単板式カラーカメラで使われている各色信号の分光感度特性は図３に示すような曲線となっている。

ここで、各色特性は主として信頼性の観点から染料が限定されるため、シャープカットオフではなく、他の色特性の領域まで入り込んでいる。特に、図３に示すように、Ｇ色フィルタではこれが顕著であり、Ｇ成分に対応する本来の波長の他に、Ｒ成分とＢ成分がかなり入り込んでいる。一般に使用されているＧ色フィルタでも、実際の波長特性は、ブロードな特性になっており、Ｇ色フィルタに対応する画素にはＲとＢ成分も含まれている。

一方、各画素には１つの色フィルタと、それに対応した信号配線しか設けられていないため、Ｇフィルタが配列された画素からはＧ信号しか得られない。ベイヤ配列では、Ｒ，Ｂの色フィルタはＧフィルタに比べて半分の数しか設けられていないため、Ｒ信号とＢ信号はＧ信号に比べて信号量が少なくなる。

そこで、本実施形態では、ベイヤ配列の色フィルタアレイ３を用いた場合に、基準画素の色フィルタの色とは異なる色の色信号を類推して基準画素の位置に設定する。このようにして、類推された画素を仮想画素と呼ぶことにする。

このような本実施形態の処理は一般に、画像情報では隣接画素の相関が強いこと、多くの被写体では特定の波長成分だけが形成されることはなく、ある程度ブロードな波長特性を持っているという事実に基づいている。

図４は仮想Ｂ信号と仮想Ｒ信号の生成を説明する図であり、図４（ａ）はベイヤ配列の色フィルタアレイ３を示し、図４（ｂ）は基準画素Ｇ２２から仮想画素Ｂｖ２２を生成する例を示し、図４（ｃ）は基準画素Ｇ２２から仮想画素Ｒｖ２２を生成する例を示している。

先ず、図４（ｂ）に示すように、基準画素Ｇ２２から仮想画素ＢＶ２２を生成する方法を説明する。基準画素Ｇ２２の周囲には４つの画素Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３と２つの画素Ｂ２１、Ｂ２３が存在する。基準画素Ｇ２２の位置のＢ信号、すなわち仮想画素ＢＶ２２の色信号は、前述したように、隣接画素である２つのＢ画素Ｂ２１、Ｂ２３の色信号から大きくかけ離れていることはない。しかし色信号の大きさは正確にはわからない。

そこで、本実施形態では、基準画素Ｇ２２の色信号の大きさを基準にして、２つの隣接画素のＢ信号Ｂ２１、Ｂ２３と周辺の４画素のＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３を用いて、Ｂ成分とＧ成分の比率を算出して、基準画素位置にＢ成分を生成する。

より具体的には、以下の（４）式に示すように、隣接画素である２つのＢ信号Ｂ２１、Ｂ２３の平均値（Ｂ２１＋Ｂ２３）／２と、４つのＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３の平均値（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）／４との比率２（Ｂ２１＋Ｂ２３）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３）に、Ｇ２２信号を乗じた値を仮想Ｂｖとする。
Ｂｖ＝Ｇ２２×２（Ｂ２１＋Ｂ２３）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３） …（４）

同様にして、図４（ｃ）に示すように、基準画素Ｇ２２を用いて仮想Ｒｖを算出する。Ｇ２２の周囲には４つのＧ信号Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３と２つのＲ１２、Ｒ３２が存在する。そこで、基準画素であるＧ２２の位置のＲ信号、すなわち仮想ＲｖはＧ２２信号の大きさを基準にして、周辺のＲ成分とＧ成分の比率を算出してＧ成分をＲ成分に置き換えることができる。この演算を行うと、基準画素Ｇ２２の位置での仮想Ｒｖは以下の（５）式で求められる。
Ｒｖ＝Ｇ２２×２（Ｒ１２＋Ｒ３２）／（Ｇ１１＋Ｇ１３＋Ｇ３１＋Ｇ３３） …（５）

上記（４）（５）式により、基準画素Ｇ２２の位置での仮想Ｂｖ信号、仮想Ｒｖ信号が求められる。

その後、横方向に２画素ずらした新たな画素ブロックの基準画素Ｇ３３の位置での仮想Ｂｖ信号、仮想Ｒｖ信号を算出する。図２に示すように、基準Ｇ３３の周囲には４つの画素Ｇ２２、Ｇ２４、Ｇ４２、Ｇ４４と２つの画素Ｒ３２、Ｒ３４が存在する。そこで、基準画素Ｇ３３の位置のＲ信号、すなわち仮想Ｒｖは以下の（６）式で求められる。
Ｒｖ＝Ｇ３３×２（Ｒ３２＋Ｒ３４）／（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４） …（６）

同様にして、基準画素Ｇ３３の位置での仮想Ｂｖ信号を算出する。基準画素Ｇ３３の周囲には４つの画素Ｇ２２、Ｇ２４、Ｇ４２、Ｇ４４と２つの画素Ｂ２３、Ｂ４３が存在する。そこで、基準画素Ｇ３３の位置のＢ信号、すなわち仮想Ｂｖは以下の（７）式で求められる。
Ｂｖ＝Ｇ３３×２（Ｂ２３＋Ｂ４３）／（Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４） …（７）

上記（６）（７）式により、基準Ｇ３３の位置での仮想Ｒｖ信号、仮想Ｂｖ信号が求められる。

このようにして、Ｒ画素とＢ画素が存在しないＧ画素（基準画素）の画素位置に、Ｇ画素自身の画素値と、周囲のＲ、Ｂ画素の画素値とによって、仮想Ｒ信号、仮想Ｂ信号を算出することができる。

これにより、図５（ａ）と図５（ｂ）に示すように、３×３画素からなる画素ブロック内にそれぞれ５つの仮想Ｒｖ画素と５つの仮想Ｂｖ画素の色信号を算出することができる。

本実施形態によれば、画素ブロック内のＲ画素とＢ画素を各々２画素から７画素に増やすことができ、Ｒ信号とＢ信号の色解像度とＳ／Ｎを大きく向上させることができる。

上述した仮想画素ＲｖとＢｖは、通常の補間処理で生成した見かけの画素Ｂａとは物理的な性質が大きく相違している。以下、この相違点を詳述する。

通常の補間処理にて、図４（ａ）の基準画素Ｇ２２の位置にＢ画素情報Ｂａを割り当てる場合、Ｇ２２画素位置にはＢ画素が存在しないため、Ｇ２２画素に隣接する２画素Ｂ２１，Ｂ２３を用いて、以下の（８）式により補間処理を行う。
Ｂａ ＝ （Ｂ２１＋Ｂ２３）／２ …（８）

上記（８）式は単なる平均化処理であり、新たな画素情報を追加しているわけではない。このような補間処理にて追加された画素情報Ｂａは、周囲のＢ信号Ｂ２１、Ｂ２３を平均化したにすぎず、Ｂ２１信号とＢ２３信号に含まれていたノイズも平均化され、決してＳ／Ｎは向上しない。

これに対して、本実施形態による仮想画素は、上記（４）〜（７）式に示すように、仮想Ｒｖ信号または仮想Ｂｖ信号を生成する画素位置の基準画素Ｇ２２やＧ３３の画素値をそのまま用いて画素値を計算している。また、周囲のＲ信号またはＢ信号を平均化するだけでなく、周囲のＲ信号またはＢ信号の平均値と周囲のＧ信号の平均値との比率を計算している。

すなわち、本実施形態では、上記比率と基準画素の画素値とを乗じることにより仮想画素Ｂｖ、Ｒｖを算出している。これにより、本実施形態では、周囲の画素を平均化して仮想画素を求めるのではなく、新たな画素情報を創出している。

上記の手順により、新たな画素情報を創出できる理由は、明るさ情報がＲ信号、Ｇ信号、Ｂ信号から成り立っていることと、画像の多くが水平垂直に相関を持っていることとによる。すなわち、多くの被写体では明るさが変化するとＲ信号、Ｇ信号、Ｂ信号がほぼ比例して変化する。したがって、Ｒ、Ｇ、Ｂ信号の１つ、例えばＧ信号が大きくなれば残りのＲ信号、Ｂ信号も大きくなる場合がほとんどであり、これはすなわちＧ信号からＲ信号とＢ信号を生成できることに他ならない。

一方、多くの画像では、Ｒ信号、Ｇ信号、Ｂ信号が２次元の空間で、水平方向と垂直方向に各々強い相関を有している。ＰＣ等による特殊な人工的に作られたパターンを除くと、Ｒ信号、Ｇ信号、Ｂ信号がイメージセンサ２の画素ごとに大きく変化することはない。細かい変化は明暗の白黒情報であり、色情報が含まれることは少ない。

そこで、個々の画素から得られるＲＧＢ信号成分の比率とその周囲のＲＧＢ信号成分の比率とは大きく異なることは少ない。したがって、Ｒ／ＧやＢ／Ｇの比率は画素ごとに変化することは少なく、何画素かにまたがって緩やかに変化する。

Ｇ信号の大きさを基準にして、その周辺のＢ信号とＧ信号の比率を乗じると、Ｇ信号が有していた明るさの情報を維持したままで、Ｂ信号を創り出すことができる。すなわち、明るさの情報をＧ信号から得て、色情報は周辺のＢとＧの割合、各々の画素平均値から演算により得ている。同様に、Ｇ信号の大きさを基準にして、その周辺のＲ信号とＧ信号の比率をかけてやればＲ信号が創出される。これらの演算は仮想画素演算回路１２により行われる。

図６は仮想画素演算回路１２の内部構成の一例を示すブロック図である。図示のように、仮想画素演算回路１２は、周辺Ｂ信号抽出回路２１と、周辺Ｒ信号抽出回路２２と、周辺Ｇ信号抽出回路２３と、演算回路２４とを有する。なお、以下の説明および図６では、基準画素をＧ２２としている。

周辺Ｂ信号抽出回路２１は、仮想Ｒ信号と仮想Ｂ信号を生成する対象となる基準画素Ｇ２２の周囲の２画素Ｂ２１、Ｂ２３信号を抽出する。周辺Ｒ信号抽出回路２２は、基準画素Ｇ２２の周囲の２画素Ｇ２１、Ｇ２３信号を抽出する。周辺Ｇ信号抽出回路２３は、基準画素Ｇ２２の周囲の４画素Ｇ１２、Ｇ１３、Ｇ３１、Ｇ３３信号を抽出する。

演算回路２４は、例えば（４）式に従って仮想Ｂｖ信号を生成する。同様にして、演算回路２４は（５）式に従って仮想Ｒｖ信号も生成する。

図７は図１に示した同時化回路１１と仮想画素演算回路１２の詳細構成の一例を示すブロック図である。図示のように、同時化回路１１は、１Ｈ遅延回路３１と、２Ｈ遅延回路３２と、１画素遅延回路３３，３４とを有する。仮想画素演算回路１２は、周辺Ｂ信号抽出回路２１と、周辺Ｒ信号抽出回路２２と、周辺Ｇ信号抽出回路２３と、演算回路２４とを有する。周辺Ｂ信号抽出回路２１は、Ｂ加算回路３５と、１／２回路３６とを有する。周辺Ｒ信号抽出回路２２は、Ｒ加算回路３７と、１／２回路３８とを有する。周辺Ｇ信号抽出回路２３は、Ｇ加算回路３９と、１／４回路４０とを有する。演算回路２４は、Ｂ：Ｇ演算回路４１と、Ｒ：Ｇ演算回路４２と、Ｂｖ算出回路４３と、Ｒｖ算出回路４４とを有する。

同時化回路１１は、イメージセンサ２から出力された信号を、３×３画素からなる画素ブロック単位で並列処理できるように、画素ブロック内の画素位置に応じて、１Ｈ遅延回路３１と２Ｈ遅延回路３２で１ラインか２ライン分遅延させ、その後に１画素遅延回路３３，３４にて、１画素か２画素分遅延させる。これにより、図４に示すように、基準画素Ｇ２２を中心とした周囲８画素の信号を同時に処理することができる。

仮想画素演算回路１２内の周辺Ｂ信号抽出回路２１は、Ｂ加算回路３５にて基準画素の周囲２画素のＢ信号を加算し、１／２回路３６にてこれら２画素のＢ信号を平均化する。同様に、周辺Ｒ信号抽出回路２２は、Ｒ加算回路３７にて基準画素の周囲２画素のＲ信号を加算し、１／２回路３８にてこれら２画素のＲ信号を平均化する。同様に、周辺Ｇ信号抽出回路２３は、Ｇ加算回路３９にて基準画素の周囲４画素のＧ信号を加算し、１／４回路４０にてこれら４画素のＧ信号を平均化する。

仮想画素演算回路１２内のＢ：Ｇ演算回路４１は、基準画素の周囲２画素のＢ信号の平均値と周囲４画素のＧ信号の平均値との比率を計算する。Ｒ：Ｇ演算回路４２は、基準画素の周囲２画素のＧ信号の平均値と周囲４画素のＧ信号の平均値との比率を計算する。Ｂｖ算出回路４３は、Ｂ：Ｇ演算回路４１で計算した比率に基準画素Ｇ２２のＧ信号を乗じた値を仮想Ｂｖ信号として出力する。Ｒｖ算出回路４４は、Ｒ：Ｇ演算回路４２で計算した比率に基準画素Ｇ２２のＧ信号を乗じた値を仮想Ｒｖ信号として出力する。

仮想Ｂｖ信号、Ｒｖ信号は、元のＲＧＢ信号とともに特性変換回路１３に入力されて、カラー信号ＹＵＶまたはＲＧＢが生成される。

一つの画素ブロックについての処理が終了すると、縦または横方向に２画素分シフトして、新たな３×３画素からなる画素ブロックを単位として、その中心の基準画素に対応する仮想Ｂｖ信号、Ｒｖ信号を計算する。

図８は仮想画素演算回路１２の処理動作の一例を示すフローチャートである。まず、基準画素Ｇ２２を中心に含む３×３画素からなる画素ブロックのＲＧＢ信号を抽出する（ステップＳ１）。次に、基準画素の周囲の２画素Ｂ２１、Ｂ２３信号を抽出する処理（ステップＳ２）と、基準画素の周囲の２画素Ｒ１２、Ｒ３２信号を抽出する処理（ステップＳ３）と、基準画素のＧ２２信号を抽出する処理（ステップＳ４）と、基準画素の周囲の４画素Ｇ１１、Ｇ１３、Ｇ３１、Ｇ３３信号を抽出する処理（ステップＳ５）とを並行して行う。

次に、ステップＳ２で抽出したＢ２１、Ｂ２３信号を加算する処理（ステップＳ６）と、ステップＳ３で抽出したＲ２１、Ｒ２３信号を加算する処理（ステップＳ７）と、ステップＳ５で抽出したＧ１１、Ｇ１３、Ｇ３１、Ｇ３３信号を加算する処理（ステップＳ８）とを並行して行う。

次に、ステップＳ６の加算結果を１／２して平均化する処理（ステップＳ９）と、ステップＳ７の加算結果を１／２して平均化する処理（ステップＳ１０）と、ステップＳ８の加算結果を１／４して平均化する処理（ステップＳ１１）とをｊ並行して行う。

次に、基準画素の周囲２画素のＢ信号と周囲４画素のＧ信号との比率を計算する処理（ステップＳ１２）と、基準画素の周囲２画素のＲ信号と周囲４画素のＧ信号との比率を計算する処理（ステップＳ１３）とを並行して行う。

次に、ステップＳ１２の演算結果にＧ２２信号を乗じて仮想Ｂｖ信号を算出する処理（ステップＳ１４）と、ステップＳ１３の演算結果にＧ２２信号を乗じて仮想Ｒｖ信号を算出する処理（ステップＳ１５）とを並行して行う。

上記では仮想Ｒｖと仮想Ｂｖの一例を示したが、以下では仮想Ｒｖと仮想Ｂｖの一般式について説明する。

基準画素Ｇa,bが図２の偶数列にある場合、すなわち、基準画素Ｇa,bがＧ２２、Ｇ２４、…、Ｇ４２、Ｇ４４、…などの場合は、Ｂ画素は基準画素Ｇa,bの水平両隣のＢa,b-1信号、Ｂa,b+1信号を用い、Ｒ画素は基準画素Ga,bの垂直両隣のＲa-1,b信号とＲa+1,b信号を用いることになる。したがって、偶数列の仮想Ｒｖと仮想Ｂｖは、以下の（９）式と（１０）式で表される。
Ｂｖa,b＝２Ｇa,b（Ｂa,b-1＋Ｂa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（９）
Ｒｖa,b＝２Ｇa,b（Ｒa,b-1＋Ｒa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１０）

一方、基準画素Ga,bが図２の奇数列にある場合、すなわち、基準画素Ｇa,bがＧ１１、Ｇ１３、…、Ｇ３１、Ｇ３３、…などの場合は、Ｂ画素は基準画素Ｇa,bの垂直両隣のＢa-1,b信号、Ｂa+1,b信号を用い、Ｒ画素は基準画素Ｇa,bの水平両隣のＲa,b-1信号、Ｒa,b+1信号を用いることになる。したがって、奇数列の仮想Ｒｖと仮想Ｂｖは、以下の（１１）式と（１２）式で表される。
Ｂｖa,b＝２Ｇa,b（Ｂa-1,b＋Ｂa+1,b）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１１）
Ｒｖa,b＝２Ｇa,b（Ｒa,b-1＋Ｒa,b+1）
／（Ｇa-1,b-1＋Ｇa-1,b+1＋Ｇa+1,b-1＋Ｇa+1,b+1） …（１２）

上記（９）〜（１２）式に従って仮想Ｒｖと仮想Ｂｖを生成することにより、ＲとＢの画素数が本来の画素数の３．５倍となり、色信号のＳ／Ｎは１０．９dB向上する。

なお、上述した手法で仮想Ｒｖと仮想Ｂｖを生成すると、図９（ａ）に示すように仮想Ｂｖに隣接するＲ画素（図示の空白領域）にはＢ画素成分は割り当てられず、図９（ｂ）に示すように仮想Ｒｖに隣接するＢ画素（図示の空白領域）にはＲ画素成分は割り当てられない。すべての画素にＲ画素成分またはＢ画素成分を割り当てるには、画素ブロックのサイズを３×３画素よりも大きく、例えば３×５画素まで広げればよい。

例えば、図１０の太実線で示す３×５画素の画素ブロック内の中心であるＲ３４画素についてＢ画素成分Ｂｖ34を生成する例を説明する。Ｒ３４画素を中心とした水平５画素、垂直３画素の領域を見ると、ここにはＲ３４画素の他にＲが２画素、Ｂが4画素含まれている。そこでこれら6画素から比率を算出すると上式と同様に、Ｒ３４画素位置での仮想Ｂｖ34画素は、以下の（１３）式で表される。
Ｂｖ34＝Ｒ３４（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）／２（Ｒ３２＋Ｒ３６）
…（１３）

この（１３）式では、画素ブロック内の４つのＢ画素の平均値と２つのＲ画素の平均値との比率に、基準画素であるＲ３４画素値を乗じて、基準画素位置での仮想Ｂｖ34を生成している。

同様にして、Ｂ２３画素を中心とした図１０の破線で示す縦３×横５画素の画素ブロック内には、Ｂ２３画素の他にＢが２画素、Ｒが4画素含まれている。そこでこれら6画素から比率を算出すると上式と同様に、Ｂ２３画素位置での仮想Ｒｖ23画素信号は、以下の（１４）式で表される。
Ｒｖ23＝Ｂ２３（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）／２（Ｂ２１＋Ｂ２５）
…（１４）

上記では、縦３×横５画素の画素ブロックについて説明したが、図１０の基準画素を中心とする縦５×横５画素の画素ブロック内の画素値を用いて、基準画素位置での仮想Ｒｖまたは仮想Ｂｖを生成してもよい。この場合、仮想Ｂｖ34を生成するのに用いるＲ画素が２画素から４画素に増えるため、Ｂ／Ｒの比率をＳ／Ｎ比を高くして得ることができる。

なお、３×５画素あるいは５×５画素の画素ブロックについて、上記（１３）式や（１４）式等を用いて仮想Ｒｖと仮想Ｂｖを生成すると、計算が煩雑になる可能性がある。これを避けるための簡易的な手法として、周囲画素からの加算平均で補間することも可能である。例えば、図１０のＲ３２画素位置での仮想Ｂａ32は以下の（１５）式または（１６）式で補間することができる。仮想Ｒｖについても同様である。
Ｂａ32＝（Ｂ２１＋Ｂ２３＋Ｂ４１＋Ｂ４３）／４ …（１５）
Ｂａ32＝（Ｂ３１＋Ｂ３３＋Ｂ２２＋Ｂ４２）／４ …（１６）

上記（１３）式と（１４）式の演算処理は、図１の同期化回路１１と仮想画素演算回路１２が行う。図１１は上記（１３）式と（１４）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示すブロック図である。同期化回路１１は、縦続接続された３つの１Ｈ遅延回路５１〜５３と、縦続接続された５つの１画素遅延回路５４〜５８とを有する。

仮想画素演算回路１２は、仮想Ｒｖ画素を計算するためのＲ加算回路５９、Ｂ加算回路６０、２倍回路６１、Ｒ：Ｂ演算回路６２および乗算回路６３と、仮想Ｂｖ画素を計算するためのＢ加算回路６４、Ｒ加算回路６５、２倍回路６６、Ｂ：Ｒ演算回路６７および乗算回路６８と、特性変換回路１３とを有する。

以下では、図１０の仮想Ｒｖ23画素と仮想Ｂｖ34画素を生成する場合を例に取って、図１１の回路の動作を説明する。１Ｈ遅延回路５１はＢ２１画素値を出力する。１Ｈ遅延回路５２はＧ３１画素値を出力する。１Ｈ遅延回路５３はＢ４１画素値を出力する。１画素遅延回路５４は、上から順にＲ１２，Ｇ２２，Ｒ３２，Ｇ４２の各画素値を出力する。１画素遅延回路５５は、上から順にＧ１３，Ｂ２３，Ｇ３３，Ｂ４３の各画素値を出力する。１画素遅延回路５６は、上から順にＲ１４，Ｇ２４，Ｒ３４，Ｇ４４の各画素値を出力する。１画素遅延回路５７は、上から順にＢ２５，Ｇ３５，Ｂ４５の各画素値を出力する。１画素遅延回路５８は、Ｒ３６画素値を出力する。

Ｒ加算回路５９は、（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）を計算する。Ｂ加算回路６０は、（Ｂ２１＋Ｂ２５）を計算する。２倍回路６１は、２（Ｂ２１＋Ｂ２５）を計算する。Ｒ：Ｂ演算回路６２は、（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４）／２（Ｂ２１＋Ｂ２５）を計算する。乗算回路６３は最終的に（１４）式の計算を行ってＲｖ23を生成する。

Ｂ加算回路６４は、（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）を計算する。Ｒ加算回路６５は、（Ｒ３２＋Ｒ３６）を計算する。２倍回路６６は、２（Ｒ３２＋Ｒ３６）を計算する。Ｂ：Ｒ演算回路６７は、（Ｂ２３＋Ｂ２５＋Ｂ４３＋Ｂ４５）／２（Ｒ３２＋Ｒ３６）を計算する。乗算回路６８は、最終的に（１３）式の計算を行ってＢｖ34を生成する。

生成された仮想Ｒｖ23信号と仮想Ｂｖ23信号は、特性変換回路１３に入力されて、カラー信号ＹＵＶまたはＲＧＢが生成される。

上記では、仮想Ｒ信号と仮想Ｂ信号が基準のＧ画素の周囲にあれば、水平垂直のどちらの方向からでも平均化の演算を行う例を説明した。これに対して、水平方向だけ、あるいは垂直方向だけについて、平均化の演算を行うようにしてもよい。

図１２は水平方向だけについて仮想画素の演算を行う例を示す図である。図１２（ａ）はベイヤ配列、図１２（ｂ）は仮想Ｂｖ画素の生成を説明する図、図１２（ｃ）は仮想Ｒｖ画素の生成を説明する図である。図１２の場合は、一つの画素ブロックの基準画素には、仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一つだけが生成される。すなわち、仮想Ｒｖ画素と仮想Ｂｖ画素は互いに異なる画素ブロックから生成される。したがって、図１３に示すように、元のＧ画素の位置に、Ｒ信号とＢ信号が垂直方向に交互に設定されることになる。図１３（ａ）は仮想Ｂｖ画素の生成後の画素配列を示す図、図１３（ｂ）は仮想Ｒｖ画素の生成後の画素配列を示す図である。

一方、図１４は垂直方向だけについて仮想画素の演算を行う場合を示している。この場合も、一つの画素ブロックの基準画素には、仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一つだけが生成される。したがって、図１５に示したように、Ｒ信号、Ｂ信号が水平方向に交互に設定されることになる。

図１２〜図１５の場合、一つの画素ブロックからは仮想Ｒｖ画素と仮想Ｂｖ画素のいずれか一方のみが生成される。すなわち仮想Ｒｖ画素を生成する画素ブロックと仮想Ｂｖ画素を生成する画素ブロックとは異なっている。この点でも、図４のように一つの画素ブロックから仮想Ｒｖ画素と仮想Ｂｖ画素を生成する方式とは異なっている。

図１２〜図１５の方式は、偽信号を考慮してデモザイキングを行う際にＲ信号とＢ信号を得やすいという特徴がある。すなわち、垂直方向と水平方向の相関をとる場合に、画素の関連が明確になっているので、デモザイキングの処理を簡易化できると共に、偽信号発生による妨害信号が出にくくなる。

自然画像ではあまり起こりえないが、場合によっては赤や青の単一波長に近い被写体を撮像する場合があり得る。このような被写体を撮像すると、赤信号や青信号に比べてＧ信号成分が極端に小さくなる。このときに上記の仮想画素演算によって赤信号や青信号を算出すると、かえってノイズの大きな信号になる場合がある。このような場合は、上記の演算処理を停止してＳ／Ｎ低下を抑制してもよい。すなわち、信号に閾値を設けておいて、Ｇ信号が一定レベル以下の小さなレベルになったときは上記演算処理を停止して、仮想Ｂｖ信号、Ｒｖ信号を生成しないようにしてもよい。あるいは、これと同様に、Ｒｖ信号、Ｂｖ信号が本来のＲ信号、Ｂ信号と比較して、Ｓ／Ｎが低下している場合には加算をしないという選択回路を設けることも可能である。

上述の演算では、基準のＧ画素の周囲８画素だけで仮想Ｂｖ信号とＲｖ信号を生成したが、もっと広い範囲の画素情報を用いて仮想Ｂｖ信号とＲｖ信号を生成してもよい。範囲を広げるほど、信号レベルが小さい場合に平均化の際のノイズの影響を低減できる。

上述の説明では、基準画素の周囲の画素の平均値を演算して、その演算結果に基づいて比率を求めているが、単なる平均値を演算する代わりに、重み付け加算やその他の種々の関数を利用して演算した結果を用いて比率を求めてもよい。

上記ではイメージセンサ２としてＣＭＯＳセンサ２を用いる例を説明したが、ベイヤ方式の色フィルタを有するＣＣＤを用いた場合にも、同様の処理を行うことができる。

このように、本実施形態では、特定色の色フィルタが設けられていない画素位置に、その特定色の色情報を追加できるという大きな特徴がある。これによって、色解像度が向上し、色信号のＳ／Ｎを向上できる。

また、本実施形態では、Ｗ画素を備えた特殊なイメージセンサではなく、ベイヤ配列の通常のイメージセンサ２を用いるため、色特性もよく、色再現のよいカラー画像が得られる。

さらに、従来の単なる補間処理では、画素の平均化を行うだけであり、新たな画素を生成するわけではないが、本実施形態では、単に平均化を行うわけではなく、基準画素位置に他の色の新たな画素を生成できるという効果が得られる。

以下、本実施形態の効果を具体的に説明する。
（１）イメージセンサ２がＷＲＧＢ配列だと、入力光のレベルがＷで制限されて、標準状態のＳ／Ｎが低下するのに対し、本実施形態ではＲＧＢ配列を採用するため、Ｗ画素がない分、信号出力のバランスがよくなり、標準状態でもＳ／Ｎを改善できる。
（２）Ｗ画素を用いると、色フィルタで得られたＲ＋Ｇ＋Ｂは厳密にはＷとならないので、演算してＲＧＢ信号が得られたとしても正しいＲＧＢ信号にはならない。これに対し、正しいＧ信号を基準にして、ＲＢ信号を算出することから、特性の正しいＲＧＢ信号が得られ、色再現性を向上できる。
（３）Ｇ信号については仮想Ｇを生成せずに直接取得するため、従来のベイヤ方式と同様に、精度のよいＧ成分が得られ、正しいＧ信号になる。そのため、正確な分光特性を持つＧ信号が得られ、色再現性が向上する。また、ベイヤ方式と同等の優れた色再現性が保たれる。
（４）Ｒ、Ｂの算出が等しくできる。

Ｗ画素の場合にはＲ信号は水平平均、Ｂ信号は垂直平均で得られるので、垂直方向、水平方向に相関がある場合に誤差が生じるおそれがあるが、仮想Ｒｖ信号と仮想Ｂｖ信号をそれぞれ水平方向の隣接Ｒ信号の平均と隣接Ｂ信号の平均から算出することで、誤差を低減できる。

同様に、仮想Ｒｖ信号と仮想Ｂｖ信号をそれぞれ垂直方向の隣接Ｒ信号の平均と隣接Ｂ信号の平均から算出することで、誤差を低減できる。

図１６はＷ画素を含むセンサのＢ画素のピッチとその空間周波数を示す図、図１７は本実施形態による仮想画素演算を行った後のＢ画素のピッチとその空間周波数を示す図である。

従来のベイヤ方式では図１６（ａ）に示したように、B画素はピッチ２ａで水平垂直に配置されているから、空間周波数は図１６（ｂ）に示したように、水平、垂直ともに１／２ａの正方形の範囲で分布される。

これに対し、本実施形態によれば、図１７（ａ）に示すように、Ｂ画素が実効的に増加し、Ｇ画素と同じように、斜め成分が増加する。Ｂ画素のピッチはａとなるから、空間周波数は図１７（ｂ）に示すように、水平、垂直ともに１／ａの正方形の範囲で分布される。図１７（ｂ）の点線は図１６（ｂ）の空間周波数を示しており、空間周波数が広がっていることがわかる。これにより、本実施形態によれば、解像度の向上が図れる。

また、従来、ベイヤ方式の撮像装置では、色偽信号の発生が大きな問題となっていた。ベイヤ配列では、Ｇ画素がＲ、Ｂ画素の２倍の数だけ市松状に配置されているので、空間周波数は図１７（ｂ）と同様に広範囲であるのに対し、Ｒ、Ｂ信号は図１６（ｂ）に示すように範囲が狭く、しかも正方形で形が異なっていた。このため、Ｒ、Ｂ信号とＧ信号とで、特性が異なり、光学ＬＰＦの設計が難しくなる。光学ＬＰＦの設計をＧ信号にあわせると、Ｒ、Ｂの偽信号が大きく発生して画質を著しく低下する。また、Ｒ、Ｂ信号に合わせて光学ＬＰＦのカットオフ周波数を下げると、全体の解像度が低下して、鮮明な画像が得られなくなるという欠点があった。

これに対し、本実施形態によれば、ＲＧＢの各信号で、空間周波数の形が等しくなるために、サンプリングに伴う偽信号の発生も同等となる。そこで、光学ＬＰＦの設計が容易になり、偽信号をほとんど完全に除去でき、偽信号の発生が小さくなり、画質が著しく向上するという大きな効果がある。また、光学ＬＰＦのカットオフ周波数を高い方に設定できるため、カラー画像の解像度がよくなり、鮮明な画像が得られるという大きな特徴がある。

上述した（４）〜（７）式では、仮想Ｂｖ信号と仮想Ｒｖ信号を生成する際に、中心画素の周囲３×３画素からなる画素ブロック内の画素値を用いたが、画素ブロックのサイズを３×５画素または５×５画素に拡大することにより、比率計算のＳ／Ｎ比を改善することができる。しかしながら、画素ブロックのサイズを大きくすると、画像の変化が大きい場合には誤差が増大するという欠点がある。したがって、画素ブロックのサイズをどの程度に設定するかは、画像の内容に応じて選択できるようにしてもよい。

例えば、図１８は基準画素Ｇ３３の周囲に縦３×横５画素からなる画素ブロックを設定する例を示す図である。基準画素Ｇ３３の位置での仮想画素Ｂｖ33とＲｖ33は、以下の（１７）式と（１８）式で表される。
Ｂｖ33＝Ｇ３３（Ｂ２１＋Ｂ２３＋Ｂ２５＋Ｂ４１＋Ｂ４３＋Ｂ４５）
／（Ｇ２２＋Ｇ２４＋Ｇ３１＋Ｇ３５＋Ｇ４２＋Ｇ４４） …（１７）
Ｒｖ33＝３Ｇ３３（Ｒ３２＋Ｒ３４）
／（Ｇ２２＋Ｇ２４＋Ｇ３１＋Ｇ３５＋Ｇ４２＋Ｇ４４） …（１８）

上記（１７）式では、画素ブロック内の６つのＢ画素の平均値と６つのＧ画素の平均値との比率に基準画素Ｇ３３を乗じることにより、仮想Ｂｖ33画素を生成する。

上記（１８）式では、画素ブロック内の２つのＲ画素の平均値と６つのＧ画素の平均値との比率に基準画素Ｇ３３を乗じることにより、仮想Ｒｖ33画素を生成する。

仮想Ｂｖ33画素は、６画素分のＢの平均値を用いて比率を算出するため、２画素分のＲの平均値を用いる仮想Ｒｖ33画素よりも、Ｂ／Ｇの比率のＳ／Ｎ比が６ｄＢ程度よくなる。

Ｒｖ33画素についても、図１９の太実線の画素ブロックに基づいて画素値を計算すれば、６画素分のＲの平均値を用いて比率を算出できるため、（１７）式の仮想Ｂｖ33と同様のＳ／Ｎ比を得ることができる。

例えば、図１９の太実線で示す縦５×横３画素からなる画素ブロックに基づいて、基準画素Ｇ３３の位置での仮想画素Ｂｖ33とＲｖ33は以下の（１９）式と（２０）式で表される。
Ｂｖ33＝３Ｇ３３（Ｂ２３＋Ｒ４３）
／（Ｇ１３＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ５３） …（１９）
Ｒｖ33＝Ｇ３３（Ｒ１２＋Ｒ１４＋Ｒ３２＋Ｒ３４＋Ｒ５２＋Ｒ５４）
／（Ｇ１３＋Ｇ２２＋Ｇ２４＋Ｇ４２＋Ｇ４４＋Ｇ５３） …（２０）

このように、画素ブロックは縦３×横５画素でも、縦５×横３画素でもよく、基準画素が奇数列か偶数列かによって、画素ブロックのサイズを決定してもよい。例えば、基準画素が奇数列の場合は、縦方向の上下にＢ画素があるため、仮想Ｂｖ信号の算出には、縦３×横５画素の画素ブロックを用い、仮想Ｒｖ信号の算出には、横方向の左右にＲ画素があるため、縦５×横３画素の画素ブロックを用いることが考えられる。一方、基準画素が偶数列の場合は、縦方向の上下にＲ画素があるため、仮想Ｒｖ信号の算出には縦３×横５画素の画素ブロックを用い、仮想Ｂｖ信号の算出には、横方向の左右にＢ画素があるため、縦５×横３画素の画素ブロックを用いる。このようにすると、少ない画素数で効率よく仮想Ｒｖ信号と仮想Ｂｖ信号を生成することができる。

図２０は上記（１７）式と（１８）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図である。図２０の同期化回路１１は、縦続接続された１Ｈ遅延回路７１〜７３と、縦続接続された１画素遅延回路７４〜７７を有する。仮想画素演算回路１２は、Ｒ加算回路７８と、Ｇ加算回路７９と、Ｂ加算回路８０と、Ｂ：Ｇ演算回路８１と、乗算回路８２と、３倍回路８３と、Ｒ：Ｇ演算回路８４と、乗算回路８５とを有する。乗算回路８２から（１７）式の演算結果であるＢｖ33信号が出力され、乗算回路８５から（１８）式の演算結果であるＲｖ33信号が出力される。

図２１は上記（１９）式と（２０）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図である。図２１の同期化回路１１は、縦続接続された１Ｈ遅延回路９１〜９４と、縦続接続された１画素遅延回路９５，９６とを有する。仮想画素演算回路１２は、Ｒ加算回路９７と、Ｇ加算回路９８と、Ｂ加算回路９９と、Ｂ：Ｇ演算回路１００と、３倍回路１０１と、乗算回路１０２と、Ｒ：Ｇ演算回路１０３と、乗算回路１０４とを有する。乗算回路１０１から（１９）式の演算結果であるＢｖ33信号が出力され、乗算回路１０４から（２０）式の演算結果であるＲｖ33信号が出力される。

なお、仮想画素を生成するための同期化回路１１と仮想画素演算回路１２の内部構成は、図７、図１１、図２０および図２１に図示したものに限定されない。

本発明の一実施形態による撮像装置の概略構成を示すブロック図。 本実施形態による色フィルタアレイ３の色配置を示す図。 単板式カラーカメラで使われている各色信号の分光感度特性を示す図。 （ａ）はベイヤ配列の色フィルタアレイ３を示し、（ｂ）は基準画素Ｇ２２から仮想画素Ｂｖ２２を生成する例を示し、（ｃ）は基準画素Ｇ２２から仮想画素Ｒｖ２２を生成する例を示す図。 （ａ）は仮想Ｂｖのパターン配列を示す図、（ｂ）は仮想Ｒｖのパターン配列を示す図。 仮想画素演算回路１２の内部構成の一例を示すブロック図。 図１に示した同時化回路１１と仮想画素演算回路１２の詳細構成の一例を示すブロック図。 仮想画素演算回路１２の処理動作の一例を示すフローチャート。 （ａ）は仮想Ｂｖを生成した例を示す図、（ｂ）は仮想Ｒｖを生成した例を示す図。 ３×５画素からなる画素ブロックの一例を示す図。 （１３）式と（１４）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示すブロック図。 （ａ）〜（ｃ）は水平方向だけについて仮想画素の演算を行う例を示す図。 （ａ）〜（ｃ）は図１１の処理結果を示す図。 （ａ）〜（ｃ）は垂直方向だけについて仮想画素の演算を行う例を示す図。 （ａ）〜（ｃ）は図１３の処理結果を示す図。 Ｗ画素を含むセンサのＢ画素のピッチとその空間周波数を示す図。 本実施形態による仮想画素演算を行った後のＢ画素のピッチとその空間周波数を示す図。 基準画素Ｇ３３の周囲に縦３×横５画素からなる画素ブロックを設定する例を示す図。 基準画素Ｇ３３の周囲に縦５×横３画素からなる画素ブロックを設定する例を示す図。 （１７）式と（１８）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図。 （１９）式と（２０）式の演算を行う同期化回路１１と仮想画素演算回路１２の内部構成の一例を示す図。

符号の説明

１ レンズ
２ ＣＭＯＳイメージセンサ
３ 色フィルタアレイ
１１ 同時化回路
１２ 仮想画素演算回路
１３ 特性変換回路
１４ 信号処理回路
２１ 周辺Ｂ信号抽出回路
２２ 周辺Ｒ信号抽出回路
２３ 周辺Ｇ信号抽出回路
２４ 演算回路
３１ １Ｈ遅延回路
３２ ２Ｈ遅延回路
３３，３４ １画素遅延回路

Claims (9)

1. レンズと、
   画素ごとに設けられ、ベイヤ配列で配置される第１の色フィルタ、第２の色フィルタおよび第３の色フィルタと、
   前記レンズを経由して前記第１〜第３の色フィルタを通過した光を光電変換して、前記第１の色フィルタに対応する第１の色信号と、前記第２の色フィルタに対応する第２の色信号と、前記第３の色フィルタに対応する第３の色信号とを生成するイメージセンサと、
   前記第１〜第３の色信号に対して信号処理を行う信号処理部と、を備え、
   前記第１の色フィルタは市松状に配置されて、前記第１の色フィルタに対応する画素のうち一つが基準画素として用いられ、
   前記信号処理部は、
   前記基準画素の周囲に位置する複数画素の前記第２の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する第４の色信号を生成する第１の色生成手段と、
   前記基準画素の周囲に位置する複数画素の前記第３の色信号の平均値と、前記基準画素の周囲に位置する複数画素の前記第１の色信号の平均値との比率に、前記基準画素の前記第１の色信号を乗じることにより、前記基準画素に対応する第５の色信号を生成する第２の色生成手段と、
   前記第１〜第５の色信号に基づいて、所定の画像処理を行ってカラー信号を生成する特性変換手段と、を有し、
   前記第１の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第２の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算し、
   前記第２の色生成手段は、前記基準画素を中心に含む縦横複数画素からなる画素ブロックごとに、前記画素ブロック内の複数画素の前記第３の色信号の平均値と、前記画素ブロック内の前記基準画素以外の複数画素の前記第１の色信号の平均値との比率を計算することを特徴とする撮像装置。
2. 前記第１の色生成手段は、前記基準画素の左右に隣接する２画素が前記第２の色信号である場合に前記第２の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算し、
   前記第２の色生成手段は、前記基準画素の左右に隣接する２画素が前記第３の色信号である場合に前記第３の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の色生成手段は、前記基準画素の上下に隣接する２画素が前記第２の色信号である場合に前記第２の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算し、
   前記第２の色生成手段は、前記基準画素の上下に隣接する２画素が前記第３の色信号である場合に前記第３の色信号の平均値と、前記基準画素に隣接する４画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の色生成手段と前記第２の色生成手段とは、互いに異なる前記基準画素を用いて前記比率を計算することを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の色生成手段と前記第２の色生成手段とは、縦または横方向に２画素ずらすか、ままたは縦横に１画素ずつずらして生成される前記画素ブロックごとに前記比率を計算することを特徴とする請求項１に記載の撮像装置。
6. 前記第１の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列に隣接する行または列内の計６画素の前記第２の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。
7. 前記第１の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列内において前記基準画素を挟んで両側に隣接する計２画素の前記第２の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。
8. 前記第２の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列に隣接する行または列内の計６画素の前記第３の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。
9. 前記第２の色生成手段は、前記画素ブロック内の前記基準画素が属する行または列内において前記基準画素を挟んで両側に隣接する計２画素の前記第３の色信号の平均値と、前記画素ブロック内の６画素の前記第１の色信号の平均値との比率を計算することを特徴とする請求項１に記載の撮像装置。

Images