JPWO2013100032A1 - 画像処理装置及び撮像装置 - Google Patents

Abstract

本発明の一態様に係る画像処理方法は、複数の色の画素を含むモザイク画像の混色補正の対象画素に隣接する周辺画素の混色率であって、周辺画素の方位方向及び色をそれぞれ示す第１及び第２のパラメータの組合せに対応する混色率を記憶する記憶手段（２６）を準備し、任意の対象画素及びその周辺画素の色信号を取得して、周辺画素の方位方向及び色に基づいて記憶手段から対応する混色率を読み出し、対象画素及びその周辺画素の色信号と、周辺画素の混色率に基づいて任意の対象画素に含まれる混色成分を除去する。

Description

本発明は画像処理装置及び方法並びに撮像装置に係り、特に単板の撮像素子に配設されているカラーフィルタ配列に対応するモザイク画像の各画素間の混色等の影響を排除する技術に関する。

一般に、モザイク状のカラーフィルタ配列を有する撮像素子では、隣接する画素からの光の漏れ込みによる混色が発生する。

混色の多いＲＧＢの色信号をデジタル信号処理して画像を生成すると、色再現性（画質）が低下する。また、混色の多いＲＧＢの色信号からはホワイトバランス（ＷＢ）補正用のＷＢゲインを精度よく算出することができないという問題がある。

従来、混色成分を含む色信号から混色成分を除去する技術として、特許文献１、２に記載のものがある。

特許文献１に記載の信号処理装置は、補正対象画素の信号に対し、その補正対象画素に辺で隣接する４個の周囲画素の各信号を基に、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを用いて混色補正処理を行うようにしている。上記４つの補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄは、それぞれ独立して設定可能になっている。これにより、注目画素に対する周囲画素からの混色に方向性があっても、その方向性に応じた混色補正を実現できるようにしている。

特許文献２に記載の撮像装置は、複数の画素が行方向及び列方向に配列された画素配列における画素の位置毎に、その画素への周辺画素から混入する信号成分に関する補正係数を対応付けて記憶する係数テーブルを有する。特許文献２に記載の撮像装置は、補正対象画素の位置に応じて前記係数テーブルから対応する補正係数を読み出し、補正対象画素の周辺画素の信号と補正係数とを用いることにより、補正対象画素の信号を補正するようにしている。

特開２００７−１４２６９７号公報 特開２０１０−１３０５８３号公報

特許文献１に記載の発明は、補正対象画素に辺で隣接する４個の周囲画素に対する４つの補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄをそれぞれ独立して設定できる構成に特徴がある。混色が等方的に発生する場合（方向性がない場合）には、前記補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄを同じ値に設定し、方向性がある場合には、その方向性に応じた値に設定することができるようになっている。これらの補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄは、外部（カメラ制御部）からリアルタイムにコントロールできるようになっている。しかしながら、特許文献１には、個々の補正対象画素の位置に対して、補正パラメータＫａ，Ｋｂ，Ｋｃ，Ｋｄをどのように制御するかを示す記載がない。

特許文献２に記載の発明は、センサ面内の画素の位置毎に、その画素への周辺画素から混入する信号成分に関する補正係数を対応付けて記憶する係数テーブルを設けるようにしたため、センサ面内の画素の位置毎に適正な補正係数を使用することができる。しかしながら、この場合には、補正係数のデータ量が膨大となるという問題がある。また、特許文献２には、係数テーブルの代わりに関係式を記憶し、データ量を低減する記載がある。しかしながら、補正係数のセンサ面内での変化が特定の関係式に当てはまらない場合には、適正な補正係数を算出することができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、モザイク画像（カラーフィルタ配列）の種類に依存せずに、予め記憶する混色率のデータ量を最小限にすることができ、混色補正を良好に行うことができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、複数の色の画素を含むモザイク画像を取得する画像取得手段と、モザイク画像の混色補正の対象画素に隣接する各周辺画素からの混色率を記憶する記憶手段であって、周辺画素の方位方向を示す第１のパラメータと、周辺画素の色を示す第２のパラメータとの組合せに対応する混色率を記憶する記憶手段と、画像取得手段により取得したモザイク画像の各画素の色信号から、色信号に含まれる周辺画素からの混色成分を除去する混色補正手段と、を備え、混色補正手段は、任意の対象画素の混色補正時に、対象画素の色信号及びその周辺画素の色信号を取得するとともに、周辺画素の方位方向及び色に基づいて記憶手段から対応する混色率を読み出し、混色補正の対象画素の色信号及び対象画素に隣接する各周辺画素の色信号と読み出した各周辺画素の混色率とに基づいて任意の対象画素に含まれる混色成分を除去するようにしている。

本発明の一の態様によれば、混色補正の対象画素に隣接する複数の周辺画素の色信号と、その色信号による混色の影響（混色率）とに基づいて、任意に対象画素に含まれる周辺画素からの混色成分を除去する。各周辺画素の混色率は、対象画素に対して周辺画素が、方位方向（例えば、上下左右方向）のいずれの方向の画素か、また、その周辺画素の色は何色かに応じて決定する。これは、混色の影響は、周辺画素の方位方向及び色に依存するからである。記憶手段は、周辺画素の方位方向を示す第１のパラメータと、周辺画素の色を示す第２のパラメータとの組合せに対応する混色率を記憶している。任意の対象画素の混色補正時には、その対象画素の周辺画素毎に、その周辺画素の方位方向及び色に基づいて記憶手段から対応する混色率を読み出すようにしている。

記憶手段には、モザイク画像（カラーフィルタ配列）の種類にかかわらず、周辺画素の方位方向の数と周辺画素の色の数とを組み合わせた数だけ混色率を記憶させればよく、予め記憶する混色率のデータ量を最小限にすることができる。

本発明の他の態様に係る画像処理装置において、モザイク画像は、Ｍ×Ｎ（Ｍ，Ｎ：２以上の整数で、少なくとも一方は３以上）画素からなる基本配列パターンの画素群を含み、基本配列パターンの画素群が水平及び垂直方向に繰り返して配置された画像であることが好ましい。

前述したように記憶手段に予め記憶させる混色率は、モザイク画像の種類に依存しないため、基本配列パターンの画素サイズが大きく、複雑なモザイク画像ほど大きな効果が得られる。

本発明の更に他の態様に係る画像処理装置において、混色補正手段は、モザイク画像上の任意の対象画素の位置に基づいて、対象画素に対応する各周辺画素の第１、第２のパラメータを取得するパラメータ取得手段を含み、取得した第１、第２のパラメータに基づいて記憶手段から対応する混色率を読み出すようにしている。即ち、対象画素の位置が特定されれば、その対象画素の周辺画素に関する第１、第２のパラメータも取得することができ、これらの第１、第２のパラメータに対応する混色率を記憶手段から読み出すことができる。

本発明の更に他の態様に係る画像処理装置において、モザイク画像は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子から出力される画像であり、記憶手段は、混色補正の対象画素が、アンプを共有する画素群内のいずれの位置の画素かを示す位置情報を第３のパラメータとし、第１、第２及び第３のパラメータの組合せに対応する混色率を記憶し、パラメータ取得手段は、モザイク画像上の任意の対象画素の位置に基づいて、周辺画素毎に第１、第２及び第３のパラメータを取得し、混色補正手段は、取得した第１、第２及び第３のパラメータに基づいて、周辺画素毎に記憶手段から対応する混色率を読み出すようにしている。

所定の画素群毎にアンプを共有する素子構造を有する撮像素子は、アンプと各画素との位置関係に応じて出力特性に差異が生じる。記憶手段は、この差異も考慮した混色率を記憶している。即ち、記憶手段は、アンプを共有する画素群内における対象画素の位置（自画素位置）を示す位置情報を第３のパラメータとし、第１、第２及び第３のパラメータの組合せに対応する混色率を記憶している。混色補正手段は、対象画素に関連して取得した第１、第２、第３のパラメータに基づいて、対象画素の周辺画素毎に記憶手段から対応する混色率を読み出し、対象画素の混色補正に使用する。

本発明の更に他の態様に係る画像処理装置において、記憶手段は、モザイク画像の全領域を複数の分割領域に分割したときの分割領域毎に混色率を記憶し、混色補正手段は、対象画素の位置が複数の分割領域のうちのいずれの分割領域に含まれているかに応じて記憶手段から対応する混色率を読み出すことが好ましい。モザイク画像の中央部と周辺部とでは、撮像素子の各画素へ被写体光の入射角が異なるため混色率が異なる。そこで、モザイク画像の全領域を複数の分割領域に分割し、分割領域毎に混色率を変更できるようにしている。

本発明の更に他の態様に係る画像処理装置において、混色補正手段は、混色補正の対象画素に隣接する各周辺画素の色信号と、記憶手段から読み出した周辺画素の位置毎に設定された混色率とを積和演算して混色成分を算出し、算出した混色成分を対象画素の色信号から減算するようにしている。

本発明の更に他の態様に係る画像処理装置において、混色補正手段により混色成分が除去されたモザイク画像の各画素の色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、混色補正手段により混色成分が除去されたモザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、を更に備えることが好ましい。混色補正後のモザイク画像に基づいてホワイトバランス（ＷＢ）補正用のＷＢゲインを算出するようにしたため、混色等の影響を排除した適正なＷＢゲインを算出することができる。これによりホワイトバランス補正を良好に行うことができる。

本発明の更に他の態様に係る画像処理方法は、複数の色の画素を含むモザイク画像を取得する画像取得工程と、モザイク画像の混色補正の対象画素に隣接する各周辺画素からの混色率を記憶する記憶手段であって、周辺画素の方位方向を示す第１のパラメータと、周辺画素の色を示す第２のパラメータとの組合せに対応する混色率を記憶する記憶手段を準備する工程と、画像取得工程により取得したモザイク画像の各画素の色信号から、色信号に含まれる周辺画素からの混色成分を除去する混色補正工程と、を含み、混色補正工程は、任意の対象画素の混色補正時に、対象画素の色信号及びその周辺画素の色信号を取得するとともに、周辺画素の方位方向及び色に基づいて記憶手段から対応する混色率を読み出し、混色補正の対象画素の色信号及び対象画素に隣接する各周辺画素の色信号と、読み出した各周辺画素の混色率とに基づいて任意の対象画素に含まれる混色成分を除去するようにしている。

本発明の更に他の態様に係る撮像装置は、撮影光学系とその撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、撮像手段から出力されるモザイク画像を取得する画像取得手段と、前述した画像処理装置と、を備えている。

本発明の更に他の態様に係る撮像装置において、撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、基本配列パターンが水平及び垂直方向に繰り返して配置され、基本配列パターンは、Ｍ×Ｎ（Ｍ，Ｎ：２以上の整数で、少なくとも一方は３以上）画素に対応する配列パターンであることが好ましい。上記カラーフィルタ配列を有する撮像素子から出力されるモザイク画像は、色の組合せが複雑なモザイク画像になるが、記憶手段に予め記憶させる混色率は、モザイク画像の種類に依存しないため、基本配列パターンの画素サイズが大きくても問題がない。

本発明の更に他の態様に係る撮像装置において、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいことが好ましい。

上記カラーフィルタ配列を撮像素子によれば、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に配置するようにしたため、高周波領域での同時化処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色に対応する第２のフィルタについても、基本配列パターン内にカラーフィルタ配列の水平及び垂直方向の各ライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を低減して高解像度化を図ることができる。また、カラーフィルタ配列は、所定の基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段での同時化処理を行う際に、繰り返しパターンに従って処理を行うことができる。更に、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るために最も寄与する第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。

本発明の更に他の態様に係る撮像装置において、基本配列パターンは、３×３画素に対応する正方配列パターンであり、中心と４隅に前記第１のフィルタが配置されていることが好ましい。

本発明の更に他の態様に係る撮像装置において、第１の色は、緑（Ｇ）色であり、第２の色は、赤（Ｒ）色及び青（Ｂ）であり、所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されていることが好ましい。

本発明の更に他の態様に係る撮像装置において、撮像素子は、所定の画素群毎にアンプを共有する素子構造を有し、所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有することが好ましい。

本発明によれば、混色補正の対象画素の色信号に含まれる混色成分の大小に影響を及ぼす複数のパラメータの組合せに対応する混色率を予め記憶手段に記憶しておき、任意の対象画素の混色補正時に、隣接する各周辺画素の混色率をそれぞれ記憶手段から読み出して混色補正に使用するようにした。このため、モザイク画像（カラーフィルタ配列）の種類に依存せずに、予め記憶する混色率のデータ量を最小限にすることができ、混色補正を良好に行うことができる。

本発明に係る撮像装置の実施形態を示すブロック図 撮像素子に配置されたモザイク状の新規のカラーフィルタ配列を示す図 図２に示した基本配列パターンを３×３画素に４分割した状態に関して示した図 図１に示した画像処理部の内部構成を示す要部ブロック図 混色補正を説明するために用いた図 ２×２の４画素が１つのアンプを共有している撮像素子の一例を示す図 混色率を示す補正テーブルの一例を示す図表 モザイク画像の８×８の分割領域を示す図 図４に示した混色補正部の内部構成の実施形態を示すブロック図 本発明に係る画像処理方法の実施形態を示すフローチャート Ｒフィルタ（赤フィルタ）、Ｇ１フィルタ（第１の緑フィルタ）、Ｇ２フィルタ（第２の緑フィルタ）及びＢフィルタ（青フィルタ）を備える撮像素子の分光感度特性を示すグラフ Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタ（透明フィルタ）を備える撮像素子の分光感度特性を示すグラフ Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＥフィルタ（エメラルドフィルタ）を備える撮像素子の分光感度特性を示すグラフ

以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について詳説する。

［撮像装置の実施形態］
図１は、本発明に係る撮像装置の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、画像取得手段として機能する撮像素子２２を制御するとともに、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含んでいる。レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。

撮像素子２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のカラーイメージセンサである。撮像素子２２の受光面には、多数の受光素子（フォトダイオード）が２次元配列されている。各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。

＜撮像素子の実施形態＞
図２は、上記撮像素子２２の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されている新規のカラーフィルタ配列に関して示している。

この撮像素子２２のカラーフィルタ配列は、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されて構成されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子２２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。

ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となる。長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

また、図２に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、それぞれ基本配列パターンの水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。尚、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

更に、図２に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

図３は、図１に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列される。一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory；記憶手段）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（デモザイク処理）、ＲＧＢ／ＹＣ変換等の所定の信号処理を行う。ここで、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、色補間処理又はデモザイキング処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。尚、本発明に係る画像処理装置（画像処理部２８）の詳細については後述する。

画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure Adjustment）動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、前記決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図２に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部２６に一時的に記憶される。

メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、ここで、混色補正、ホワイトバランス補正、ガンマ補正、同時化処理（色補間処理）、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）に従って圧縮される。圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Exchangeable image file format）ファイル）形式で内部メモリや外部メモリに記録される。

［画像処理］
図４は、図１に示した画像処理部２８の内部構成を示す要部ブロック図である。

図４に示すように、画像処理部２８は、混色補正部（混色補正手段）１００、ホワイトバランス（ＷＢ）補正部（ホワイトバランス補正手段）２００、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換等の信号処理を行う信号処理部３００、ＲＧＢ積算部４００、及びホワイトバランス（ＷＢ）ゲイン算出部（ホワイトバランスゲイン算出手段）５００を備えている。

前述したように撮影時に撮像素子２２から出力されたカラーフィルタ配列のままのＲＡＷデータ（モザイク画像）は、一旦メモリ部２６に格納される。画像処理部２８は、メモリ部２６からモザイク画像（ＲＧＢの色信号）を取得する。

取得したＲＧＢの色信号は、点順次で混色補正部１００に加えられる。混色補正部１００は、点順次で入力する混色補正の対象画素の色信号に含まれる周辺画素からの混色成分を除去する。尚、混色補正部１００の詳細については後述する。

混色補正部１００により混色成分が除去されたモザイク画像の各画素の色信号は、ＷＢ補正部２００に加えられるとともに、ＲＧＢ積算部４００に加えられる。

ＲＧＢ積算部４００は、１画面を８×８又は１６×１６に分割した分割領域毎に、ＲＧＢの色信号毎の積算平均値を算出し、ＲＧＢ毎の積算平均値の比（Ｒ／Ｇ，Ｂ／Ｇ）からなる色情報を算出する。例えば、１画面を８×８の６４の分割領域に分割する場合には、６４個の色情報（Ｒ／Ｇ，Ｂ／Ｇ）を算出する。

ＷＢゲイン算出部５００は、ＲＧＢ積算部４００から入力する分割領域毎の色情報（Ｒ／Ｇ，Ｂ／Ｇ）に基づいてＷＢゲインを算出する。具体的には、６４個の分割領域毎の色情報の、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上の分布の重心位置を算出し、その重心位置が示す色情報から環境光の色温度を推定する。尚、色温度の代わりに、その重心位置が示す色情報を有する光源種、例えば、青空、日陰、晴れ、蛍光灯（昼光色、昼白色、白色、温白色）、タングステン、低タングステン等を求めることで撮影時の光源種を推定してもよいし（特開２００７−５３４９９参照）、また、推定した光源種から色温度を推定してもよい。

ＷＢゲイン算出部５００には、予め環境光の色温度又は光源種に対応して、適正なホワイトバランス補正を行うためのＲＧＢ毎、又はＲＢ毎のＷＢゲインが用意されている。ＷＢゲイン算出部５００は、前記推定した環境光の色温度又は光源種に基づいて対応するＲＧＢ毎、又はＲＢ毎のＷＢゲインを読み出し、この読み出したＷＢゲインをＷＢ補正部２００に出力する。

ＷＢ補正部２００は、混色補正部１００から入力するＲ，Ｇ，Ｂの色信号毎に、それぞれＷＢゲイン算出部５００から入力する色毎のＷＢゲインをかけることによりホワイトバランス補正を行う。

ＷＢ補正部２００から出力されたＲ、Ｇ、Ｂの色信号は、信号処理部３００に加えられ、ここで、ガンマ補正、撮像素子２２のカラーフィルタ配列に伴うＲ、Ｇ、Ｂの色信号の空間的なズレを補間してＲ、Ｇ、Ｂの色信号を同時式に変換する同時化処理、同時化されたＲ、Ｇ、Ｂの色信号を輝度信号Ｙ，色差信号Ｃｒ，Ｃｂに変換するＲＧＢ／ＹＣ変換等の信号処理を行い、信号処理した輝度信号Ｙ，色差信号Ｃｒ，Ｃｂを出力する。

画像処理部２８から出力された輝度データＹ、及び色差データＣｒ，Ｃｂは、圧縮処理された後、内部メモリや外部メモリに記録される。

＜混色補正＞
図５は、図２、図３に示したカラーフィルタ配列内の２×２の４つのＧフィルタの右上のＧフィルタに対応するＧ画素（混色補正の対象画素）と、この対象画素（自画素）に隣接する上下左右の周辺画素（上画素（Ｂ画素）、下画素（Ｇ画素）、左画素（Ｇ画素）、右画素（Ｒ画素））を示している。

図５に示す対象画素の場合、その対象画素を基準にした上下左右の各方位方向の隣接画素の色は、それぞれＢ、Ｇ、Ｇ、及びＲとなっている。

図３に示すように６×６画素の基本配列パターンのうちの、３×３画素のＡ配列の９画素及びＢ配列の９画素は、いずれの画素を対象画素にした場合でも、その対象画素の上下左右に隣接する４つの画素の色の組合せは異なるものとなる。

自画素に対する周辺画素からの混色の影響は、その周辺画素の方位方向（上下左右）、及び周辺画素の色（ＲＧＢ）により異なる。

対象画素の４つの周辺画素の色は、ＲＧＢの３色のいずれの色も取り得るため、４つの周辺画素の色の組合せ（重複順列）は、３^４＝８１通り存在する。尚、この実施形態のカラーフィルタ配列の場合、４つの周辺画素の組合せは、Ａ配列及びＢ配列の１８画素に対応する１８通り存在する。

基本配列パターンの画素サイズが大きくなり、３色のＲＧＢの画素の配列の自由度が上がると、隣接する周辺画素の色配置の組合せが増える。また、ＲＧＢの３色以外に、エメラルドやイエローの画素が存在する場合には、更に色配置の組合せが増えることになる。

４つの周辺画素別の混色率を１セットにして、周辺画素の色の組合せ毎に混色率を記憶する場合、混色率のデータ量が大きくなる。尚、上下左右の４方向の他に、斜め方向（左上、右上、左下、右下）の周辺画素の色も考慮すると、色配置の組合せの数は更に増え、混色率のデータ量が増大する。

また、この実施形態の撮像素子２２は、ＣＭＯＳ型の撮像素子であり、図６に示すようにＣＭＯＳの下地に画素共有アンプＡが埋め込まれており、Ｋ×Ｌ（２×２）画素が１つのアンプＡを共有している。この撮像素子２２の素子構造により、アンプＡに対する画素（自画素）の位置１〜４（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じる。

メモリ部２６は、図７に示す補正テーブルを記憶している。この補正テーブルには、対象画素（自画素）に対する周辺画素の４つの方位方向（上下左右）を第１パラメータＰ_１とし、周辺画素の３つの色（ＲＧＢ）を第２パラメータＰ_２とし、アンプＡを共有している２×２画素のうちの自画素の位置（図６上の位置１〜４）を第３パラメータＰ_３とし、これらのパラメータＰ_１〜Ｐ_３の組合せに対応する混色率Ａ_１〜Ａ_１２、Ｂ_１〜Ｂ_１２、Ｃ_１〜Ｃ_１２、Ｄ_１〜Ｄ_１２の合計４８個の混色率が、パラメータＰ_１〜Ｐ_３に関連づけて記憶されている。メモリ部２６への補正テーブルの保存は、予め製品出荷前の検査時に上記パラメータの組合せに対応する混色率を求め、製品別に保存することが好ましい。

また、モザイク画像の中央部と周辺部とでは、撮像素子２２の各画素へ被写体光の入射角が異なるため混色率が異なる。そこで、図８に示すようにモザイク画像の全領域を、例えば、８×８の分割領域に分割し、分割領域[0][0]〜[7][7]毎に、図７に示した補正テーブルをメモリ部２６に記憶させる。以下、６４（＝８×８）の分割領域のうちのいずれかを特定するパラメータを第４パラメータＰ_４という。

図９は、図４に示した混色補正部１００の内部構成の実施形態を示すブロック図である。

この混色補正部１００は、遅延処理部１１０と、減算器１１２と、乗算器１１４〜１２０と、加算器１２２と、パラメータ取得部（パラメータ取得手段）１３０と、混色率設定部１４０とを備えている。

図９において、撮像素子２２を介して取得したモザイク画像（ＲＧＢの色信号）は、点順次で遅延処理部１１０に加えられる。遅延処理部１１０は、１Ｈ（水平ライン）のラインメモリ１１０ａ〜１１０ｃを有している。点順次で入力するＲＧＢの色信号は、１画素の処理を行うインターバルで順次ラインメモリ１１０ａ〜１１０ｃ内をシフトさせられる。ラインメモリ１１０ｂの斜線で示した位置の色信号を、混色補正の対象画素の色信号とすると、ラインメモリ１１０ａ，１１０ｃ上の同じ位置の色信号は、それぞれ上画素、下画素の色信号となり、ラインメモリ１１０ｂの斜線で示した位置の左右の位置の色信号は、それぞれ左画素、右画素の色信号となる。

このようにして遅延処理部１１０は、点順次で入力するＲＧＢの色信号を適宜遅延させ、混色補正の対象画素と、その対象画素の上下左右の周辺画素（上画素、下画素、左画素、右画素）とを同時に出力する。遅延処理部１１０から出力される対象画素の色信号は、減算器１１２に加えられ、上画素、下画素、左画素、及び右画素の色信号は、それぞれ乗算器１１４〜１２０に加えられる。

パラメータ取得部１３０には、遅延処理部１１０から出力される、モザイク画像内における対象画素の位置(x,y)を示す情報が加えられている。パラメータ取得部１３０は、対象画素の位置(x,y)を示す情報に基づいて第１〜第４パラメータＰ_１〜Ｐ_４を取得する。尚、対象画素の位置(x,y)を示す情報は、モザイク画像の画素毎に信号処理を指示するＣＰＵ１２又は画像処理部２８から取得することができる。

モザイク画像内における対象画素の位置(x,y)が特定されると、対象画素（自画素）の位置（図６上の位置１〜４）を示す第３パラメータＰ_３と、自画素が属する分割領域（図８参照）を示す第４パラメータＰ_４とを決定することができる。また、モザイク画像内における対象画素の位置(x,y)が特定されると、対象画素の周辺画素（上画素、下画素、左画素、及び右画素）の色を決定することができる。即ち、周辺画素の方位方向を示す第１パラメータＰ_１に対応する周辺画素の色を示す第２パラメータＰ_２を決定することができる。パラメータ取得部１３０は、上記のようにしてモザイク画像内における対象画素の位置(x,y)の情報に基づいて第１〜第４パラメータＰ_１〜Ｐ_４を決定し、混色率設定部１４０に出力する。尚、第１パラメータＰ_１と第２パラメータＰ_２とは、周辺画素の方位方向に対応して４組出力される。

混色率設定部１４０は、パラメータ取得部１３０から入力する第１〜第４パラメータＰ_１〜Ｐ_４に基づいて、メモリ部２６から対応する４つの混色率Ａ〜Ｄを読み出し、これらの混色率Ａ〜Ｄをそれぞれ乗算器１１４〜１２０の他の入力に加える。即ち、混色率設定部１４０は、第４パラメータＰ_４に基づいて対象画素が属する分割領域に対応する補正テーブルを選択し、選択した補正テーブルから第１〜第３パラメータＰ_１〜Ｐ_３に基づいて、周辺画素の方位方向別の４つの混色率Ａ〜Ｄ（図７参照）を読み出す。

乗算器１１４〜１２０は、それぞれ入力する上画素、下画素、左画素、及び右画素の色信号と混色率Ａ〜Ｄとを乗算し、乗算値を加算器１２２に出力する。加算器１２２は、入力する４つの乗算値を加算し、加算値を減算器１１２の他の入力に加える。この加算値は、混色補正の対象画素の色信号に含まれる混色成分に対応する。

減算器１１２の一方の入力には、混色補正の対象画素の色信号が加えられており、減算器１１２は、対象画素の色信号から加算器１２２から入力する加算値（混色成分）を減算し、混色成分が除去（混色補正）された対象画素の色信号を出力する。

上記減算器１１２、乗算器１１４〜１２０、及び加算器１２２による計算を数式で示すと、次式で表すことができる。

［数１］
補正後の色信号＝補正前の色信号
−（上画素×混色率Ａ＋下画素×混色率Ｂ＋左画素×混色率Ｃ＋右画素×混色率Ｄ）
上記のようにして混色補正部１００により混色補正された色信号は、後段のＷＢ補正部２００及びＲＧＢ積算部４００に出力される（図４）。

＜画像処理方法＞
図１０は本発明に係る画像処理方法の実施形態を示すフローチャートである。

図１０において、混色補正部１００は、まず、混色補正開始前に混色補正の対象画素の位置(x,y)を、初期値(０,０)に設定する（ステップＳ１０）。

続いて、対象画素(x,y)の色信号（画素値）と、対象画素(x,y)の上下左右の周辺画素の色信号（画素値）を取得する（ステップＳ１２）。

パラメータ取得部１３０は、対象画素の位置(x,y)に基づいて、前述したように第１〜第４パラメータＰ_１〜Ｐ_４を取得する（ステップＳ１４）。

混色率設定部１４０は、パラメータ取得部１３０により取得された第１〜第４パラメータＰ_１〜Ｐ_４に基づいてメモリ部２６から対応する混色率Ａ〜Ｄを読み出す（ステップＳ１６）。

次に、ステップＳ１２で取得した対象画素の画素値及び周辺画素の画素値と、ステップＳ１６で読み出した混色率Ａ〜Ｄとに基づいて、［数１］式で示した演算処理を行い、対象画素の画素値から混色成分を除去する混色補正を行う（ステップＳ１８）。

続いて、全ての対象画素の混色補正が終了したか否かを判別し（ステップＳ２０）、終了していない場合（「No」の場合）には、ステップＳ２２に遷移させる。

ステップＳ２２では、対象画素の位置(x,y)を１画素移動させ、また、対象画素の位置(x,y)が水平方向の左端に達した場合には、水平方向の右端に戻すとともに、垂直方向に１画素移動させてステップＳ１４に遷移させ、上記ステップＳ１２からステップＳ２０の処理を繰り返し実行させる。

一方、ステップＳ２０において、全ての対象画素の混色補正が終了したと判別されると（「Yes」の場合）、本混色補正の処理を終了する。

［その他］
本発明は、図２に示したカラーフィルタ配列のモザイク画像に限らず、種々のカラーフィルタ配列のモザイク画像に対して適用することができ、図３に示したＡ配列、又はＢ配列のみのモザイク画像であってもよい。本発明が適用される基本配列パターンのサイズＮ×Ｍは、好ましくは５×５以上、より好ましくは１０×１０以下が望ましい。尚、基本配列パターンを有さず、ＲＧＢの画素がランダムに配列されたものでも本発明は適用される。また、この場合、混色補正のハードウエアを変更することなく本発明を適用することができる。

また、画素共有アンプが埋め込まれていない撮像素子から取得されるモザイク画像に対しては、アンプに対する自画素の位置を示す第３パラメータＰ_３は不要になり、モザイク画像の中央部と周辺部とで混色率の変化が少ない場合には、分割領域毎に混色率の補正テーブルを持たなくてもよい。

＜カラーフィルタ配列の追加の実施の形態＞
また、上述の各実施形態では、第１の色として緑（Ｇ）を採用し、第２の色として赤（Ｒ）及び青（Ｂ）を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではない。上記各実施形態では、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。

＜第１のフィルタ（第１の色）の条件＞
例えば、上記各実施形態において、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。

〔条件（１）〕
条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

例えば、Ｇ色は、輝度（Ｙ）信号（輝度データ）を得るための寄与率がＲ色、Ｂ色よりも高い。すなわち、Ｇ色よりもＲ色及びＢ色の方の寄与率が低い。具体的に説明すると、上述の画像処理部２８は、画素毎にＲＧＢ全ての色情報を有するＲＧＢ画素信号から、下記式（１）に従って輝度信号（Ｙ信号）を生成する。下記式（１）はカラー撮像素子２２でのＹ信号の生成に一般的に用いられる式である。この式（１）ではＧ色の輝度信号への寄与率が６０％になるため、Ｇ色は、Ｒ色（寄与率３０％）やＢ色（寄与率１０％）よりも寄与率が高くなる。したがって、Ｇ色が３原色のうち最も輝度信号に寄与する色となる。

Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ・・・式（１）
Ｇ色の寄与率は上記式（１）に示したように６０％となるので条件（１）を満たす。また、Ｇ色以外の色の寄与率についても実験やシミュレーションにより取得可能である。したがって、Ｇ色以外で寄与率が５０％以上となる色を有するフィルタについても、上記各実施形態において第１のフィルタとして用いることができる。尚、寄与率が５０％未満となる色は、上記各実施形態において第２の色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが上記各実施形態において第２のフィルタとなる。

〔条件（２）〕
条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば、分光光度計で測定された値が用いられる。この波長範囲は、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。尚、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが上記各実施形態に係る第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。

〔条件（３）〕
条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、上記各実施形態に係る第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。

〔条件（４）〕
条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。

＜複数種類の第１のフィルタ（Ｇフィルタ）＞
したがって、第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタを第１のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、第１ＧフィルタＧ１または第２ＧフィルタＧ２に適宜置き換えられてもよい。第１ＧフィルタＧ１は第１の波長帯域のＧ光を透過し、第２ＧフィルタＧ２は第１ＧフィルタＧ１と相関の高い第２の波長帯域のＧ光を透過する（図１１参照）。

第１ＧフィルタＧ１としては、現存のＧフィルタ（例えば第１実施形態のＧフィルタＧ）を用いることができる。また、第２ＧフィルタＧ２としては、第１ＧフィルタＧ１と相関の高いフィルタを用いることができる。この場合に、第２ＧフィルタＧ２が配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。尚、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば、特開２００３−２８４０８４号に記載されている方法が用いられる。

このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。

なお、第１及び第２ＧフィルタＧ１、Ｇ２の透過率は、第１実施形態のＧフィルタＧの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、第１及び第２ＧフィルタＧ１、Ｇ２は前述の条件（１）を満たす。

また、カラーフィルタ配列（受光素子）の分光感度特性を示す図１１において、各ＧフィルタＧ１、Ｇ２の透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。各ＧフィルタＧ１、Ｇ２の透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、各ＧフィルタＧ１、Ｇ２は前述の条件（２）、（３）も満たしている。

なお、各ＧフィルタＧ１、Ｇ２の配置や個数は適宜変更してもよい。また、ＧフィルタＧの種類を３種類以上に増加してもよい。

＜透明フィルタ（Ｗフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタからなるカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタＷ（白色画素）としてもよい。特に第１のフィルタ（ＧフィルタＧ）の一部に代えて透明フィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。

透明フィルタＷは、透明色（第１の色）のフィルタである。透明フィルタＷは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタＷの透過率は、ＧフィルタＧよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。

カラーフィルタ配列（受光素子）の分光感度特性を示す図１２において、透明フィルタＷの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタＷの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、透明フィルタＷは前述の条件（２）、（３）も満たしている。尚、ＧフィルタＧについても透明フィルタＷと同様に前述の条件（１）〜（３）を満たしている。

このように透明フィルタＷは、前述の条件（１）〜（３）を満たしているので、上記各実施形態において第１のフィルタとして用いることができる。なお、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタＧの一部を透明フィルタＷに置き換えているので、前述の条件（４）も満たしている。

＜エメラルドフィルタ（Ｅフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタＥ（エメラルド画素）としてもよい。特に第１のフィルタ（ＧフィルタＧ）の一部に代えてエメラルドフィルタ（Ｅフィルタ）を配置することが好ましい。このようにＧフィルタＧの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

カラーフィルタ配列（受光素子）の分光感度特性を示す図１３において、エメラルドフィルタＥの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、エメラルドフィルタＥの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタＲ、Ｂの透過率よりも高くなる。このため、エメラルドフィルタＥは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタＧの一部をエメラルドフィルタＥに置き換えているので、前述の条件（４）も満たしている。

なお、図１３に示した分光特性では、エメラルドフィルタＥがＧフィルタＧよりも短波長側にピークを持つが、ＧフィルタＧよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにエメラルドフィルタＥとしては、上記の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。

＜他の色の種類＞
上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）〜（４）のいずれかを満たすカラーフィルタを上記各実施形態に係る第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。

＜ハニカム配置＞
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向（Ｈ）及び垂直方向（Ｖ）に２次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されてなるが、本発明はこれに限定されるものではない。

例えば、上述の各実施形態の基本配列パターンを光軸回りに４５°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向（ＮＥ、ＮＷ）に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…中央処理装置（ＣＰＵ）、１４…操作部、１８…レンズ部、２２…撮像素子、２６…メモリ部、２８…画像処理部、１００…混色補正部、１１０…遅延処理部、１１２…減算器、１１４〜１２０…乗算器、１２２…加算器、１３０…パラメータ取得部、１４０…混色率設定部、２００…ＷＢ補正部、４００…ＲＧＢ積算部、５００…ＷＢゲイン算出部

Claims (14)

1. 複数の色の画素を含むモザイク画像を取得する画像取得手段と、
   前記モザイク画像の混色補正の対象画素に隣接する各周辺画素からの混色率を記憶する記憶手段であって、前記周辺画素の方位方向を示す第１のパラメータと、前記周辺画素の色を示す第２のパラメータとの組合せに対応する混色率を記憶する記憶手段と、
   前記画像取得手段により取得したモザイク画像の各画素の色信号から、該色信号に含まれる周辺画素からの混色成分を除去する混色補正手段と、を備え、
   前記混色補正手段は、任意の対象画素の混色補正時に、該対象画素の色信号及びその周辺画素の色信号を取得するとともに、前記周辺画素の方位方向及び色に基づいて前記記憶手段から対応する混色率を読み出し、混色補正の対象画素の色信号及び該対象画素に隣接する各周辺画素の色信号と、前記読み出した各周辺画素の混色率とに基づいて前記任意の対象画素に含まれる混色成分を除去する画像処理装置。
2. 前記モザイク画像は、Ｍ×Ｎ（Ｍ，Ｎ：２以上の整数で、少なくとも一方は３以上）画素からなる基本配列パターンの画素群を含み、該基本配列パターンの画素群が水平及び垂直方向に繰り返して配置された画像である請求項１に記載の画像処理装置。
3. 前記混色補正手段は、前記モザイク画像上の任意の対象画素の位置に基づいて、該対象画素に対応する各周辺画素の第１、第２のパラメータを取得するパラメータ取得手段を含み、前記取得した第１、第２のパラメータに基づいて前記記憶手段から対応する混色率を読み出す請求項１又は２に記載の画像処理装置。
4. 前記モザイク画像は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子から出力される画像であり、
   前記記憶手段は、前記混色補正の対象画素が、前記アンプを共有する画素群内のいずれの位置の画素かを示す位置情報を第３のパラメータとし、前記第１、第２及び第３のパラメータの組合せに対応する混色率を記憶し、
   前記パラメータ取得手段は、前記モザイク画像上の任意の対象画素の位置に基づいて、前記周辺画素毎に第１、第２及び第３のパラメータを取得し、
   前記混色補正手段は、前記取得した第１、第２及び第３のパラメータに基づいて、前記周辺画素毎に前記記憶手段から対応する混色率を読み出す請求項３に記載の画像処理装置。
5. 前記記憶手段は、前記モザイク画像の全領域を複数の分割領域に分割したときの分割領域毎に前記混色率を記憶し、
   前記混色補正手段は、前記対象画素の位置が前記複数の分割領域のうちのいずれの分割領域に含まれているかに応じて前記記憶手段から対応する混色率を読み出す請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記混色補正手段は、混色補正の対象画素に隣接する各周辺画素の色信号と前記記憶手段から読み出した前記周辺画素の位置毎に設定された混色率とを積和演算して混色成分を算出し、前記算出した混色成分を前記対象画素の色信号から減算する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記混色補正手段により混色成分が除去された前記モザイク画像の各画素の色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、
   前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて、前記混色補正手段により混色成分が除去された前記モザイク画像の各画素の色信号をホワイトバランス補正するホワイトバランス補正手段と、
   を更に備えた請求項１から６のいずれか１項に記載の画像処理装置。
8. 複数の色の画素を含むモザイク画像を取得する画像取得工程と、
   前記モザイク画像の混色補正の対象画素に隣接する各周辺画素からの混色率を記憶する記憶手段であって、前記周辺画素の方位方向を示す第１のパラメータと、前記周辺画素の色を示す第２のパラメータとの組合せに対応する混色率を記憶する記憶手段を準備する工程と、
   前記画像取得工程により取得したモザイク画像の各画素の色信号から、該色信号に含まれる周辺画素からの混色成分を除去する混色補正工程と、を含み、
   前記混色補正工程は、任意の対象画素の混色補正時に、該対象画素の色信号及びその周辺画素の色信号を取得するとともに、前記周辺画素の方位方向及び色に基づいて前記記憶手段から対応する混色率を読み出し、混色補正の対象画素の色信号及び該対象画素に隣接する各周辺画素の色信号と、前記読み出した各周辺画素の混色率とに基づいて前記任意の対象画素に含まれる混色成分を除去する画像処理方法。
9. 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
   前記撮像手段から出力されるモザイク画像を取得する前記画像取得手段と、
   請求項１から７のいずれか１項に記載の画像処理装置と、
   を備えた撮像装置。
10. 前記撮像素子は、水平方向及び垂直方向に配列された光電変換素子からなる複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設され、
    前記カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと、輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された所定の基本配列パターンを含み、該基本配列パターンが水平及び垂直方向に繰り返して配置され、
    前記基本配列パターンは、Ｍ×Ｎ（Ｍ，Ｎ：２以上の整数で、少なくとも一方は３以上）画素に対応する配列パターンである請求項９に記載の撮像装置。
11. 前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上、及び斜め右下方向の各ライン内に１つ以上配置され、
    前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
    前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい請求項１０に記載の撮像装置。
12. 前記基本配列パターンは、３×３画素に対応する正方配列パターンであり、中心と４隅に前記第１のフィルタが配置されている請求項１０に記載の撮像装置。
13. 前記第１の色は、緑（Ｇ）色であり、前記第２の色は、赤（Ｒ）色及び青（Ｂ）であり、
    前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、
    前記フィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されている請求項１０に記載の撮像装置。
14. 前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有し、
    前記所定の画素群は、Ｋ×Ｌ（Ｋ≦Ｍ，Ｌ≦Ｎ，Ｋ，Ｌは自然数）画素のサイズを有する請求項１０に記載の撮像装置。

Images