JPWO2013100039A1 - カラー撮像素子及び撮像装置 - Google Patents

Abstract

カラー撮像素子４１の撮像面上に、第１群の画素４６Ａを所定ピッチｐで水平、及び垂直方向にマトリクス状に配列する。第２群の画素４６Ｂを、第１群の画素４６Ａに対して、水平、及び垂直方向にそれぞれ１／２ｐずらした位置に配列する。第１群及び第２群の画素上に、ＲＧＢフィルタ３４Ｒ，３４Ｇ，３４Ｂを同一のカラーフィルタ配列で配列する。カラーフィルタ配列を、フィルタ３４Ｒ，３４Ｇ，３４Ｂが配列されてなる基本配列パターンＰ１を水平方向及び垂直方向に繰り返し配置することにより構成する。Ｇフィルタ３４Ｇをカラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置する。Ｒ、Ｂフィルタ３４Ｒ，３４Ｂを、基本配列パターンＰ１内においてカラーフィルタ配列の水平、垂直方向の各ライン内にそれぞれ１以上配置する。

Description

本発明はカラー撮像素子及び撮像装置に係り、特に色モワレの発生の低減及び高解像度化が可能なカラー撮像素子及び撮像装置に関する。

ＣＣＤカラー撮像素子やＣＭＯＳカラー撮像素子などのカラー撮像素子を備え、デジタル画像を取得するデジタルカメラ（撮像装置）が普及している。近年、デジタルカメラは、カラー撮像素子の種類に応じて様々な画像データを生成することができる。

例えば、特許文献１から３に記載のデジタルカメラでは、カラー撮像素子の全画素が所定パターンで配列された第１群のＲＧＢ画素と、第１群のＲＧＢ画素と同一配列パターンを有し、かつ第１群のＲＧＢ画素にそれぞれ隣接するように配置された第２群の画素とにより構成されている。具体的には、第２群のＲＧＢ画素が第１群のＲＧＢ画素に対してそれぞれ水平、垂直方向に１／２画素間隔ずらして配置されている。これにより、第１群又は第２群の一方のＲＧＢ画素により構成される通常撮影画像、第１群及び第２群の両方のＲＧＢ画素により構成される高解像度画像が得られる。また、第１群及び第２群のＲＧＢ画素の信号電荷蓄積時間（電気的な露光時間）を異ならせることにより感度が異なる画像が得られるので、これら感度の異なる２種類の画像に基づきダイナミックレンジ（ＤＲ）が拡張（拡大）された広ＤＲ画像が得られる。

また、特許文献４から８に記載のデジタルカメラでは、第１群のＲＧＢ画素と第２群のＲＧＢ画素との面積を異ならせることにより感度が異なる画像が得られるので、広ＤＲ画像が得られる。

さらに、第１群の画素と第２群の画素とをそれぞれ異なる方向からの入射光に対して感度が高くなる位相差画素とすることによって、視差のある２視点の視点画像により構成される立体視可能な視差画像が得られる。

このような各種のデジタルカメラには、単板式のカラー撮像素子が設けられることが多い。単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、単板カラー撮像素子の出力画像はＲＡＷ画像（モザイク画像）となるので、欠落している色の画素を、周囲の画素から補間する処理（デモザイキング処理）により多チャネル画像を得ている。この場合に問題となるのが、高周波の画像信号の再現特性であり、カラー撮像素子は白黒用の撮像素子と比較して、撮像した画像にエリアシングが発生し易いため、色モワレ（偽色）の発生を抑圧しつつ再現帯域を広げて高解像化するということが重要な課題である。

デモザイキング処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。

単板カラー撮像素子で最も広く用いられているカラーフィルタの色配列である原色系ベイヤー配列は、緑（Ｇ）画素を市松状に、赤（Ｒ）、青（Ｂ）を線順次に配置しているため、Ｇ信号は斜め方向で、Ｒ、Ｂ信号は水平、垂直方向の高周波信号を生成する際の再現精度が問題である。

図３５のＡ部分に示すような白黒の縦縞模様（高周波画像）が、図３５のＢ部分に示すベイヤー配列のカラーフィルタを有するカラー撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図３５のＣ部分からＥ部分に示すようにＲは薄い平坦、Ｂは濃い平坦、Ｇは濃淡のモザイク状の色画像となり、本来、白黒画像であるのに対し、ＲＧＢ間に濃度差（レベル差）は起きないものが、色配列と入力周波数によっては色が付いた状態となってしまう。

同様に、図３６のＡ部分に示すような斜めの白黒の高周波画像が、図３６Ｂ部分に示すベイヤー配列のカラーフィルタを有する撮像素子に入射した場合、これをベイヤーの色配列に振り分けて色毎に比較すると、図３６のＣ部分からＥ部分に示すようにＲとＢは薄い平坦、Ｇは濃い平坦の色画像となり、仮に黒の値を０、白の値を２５５とすると、斜めの白黒の高周波画像は、Ｇのみ２５５となるため、緑色になってしまう。このようにベイヤー配列では、斜めの高周波画像を正しく再現することができない。

一般に単板式のカラー撮像素子を使用する撮像装置では、水晶などの複屈折物質からなる光学ローパスフィルタをカラー撮像素子の前面に配置し、高周波を光学的に落とすことで回避していた。しかし、この方法では、高周波信号の折り返りによる色付は軽減できるが、その弊害で解像度が落ちてしまうという問題がある。

このような問題を解決するために、カラー撮像素子のカラーフィルタ配列を、任意の着目画素が着目画素の色を含む３色と着目画素の４辺のいずれかにおいて隣接する配列制限条件を満たす３色ランダム配列としたカラー撮像素子が提案されている（特許文献９）。

また、分光感度が異なる複数のフィルタを有し、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているカラーフィルタ配列の画像センサが提案されている（特許文献１０）。

さらに、ＲＧＢの３原色のカラー固体撮像素子において、Ｒ、Ｇ、Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線（水平、垂直、斜めの直線）が全ての色を通過するようにした色配列が提案されている（特許文献１１）。

さらにまた、ＲＧＢの３原色のうちのＲ，Ｂを水平方向及び垂直方向にそれぞれ３画素置きに配置し、これらのＲ，Ｂの間にＧを配置したカラー撮像素子が提案されている（特許文献１２）。

特開２００４−５５７８６号公報 特開２００４−３３６４６８号公報 特開２００８−１６０６７４号公報 特開２００４−３３６４６８号公報 特開２００５−２８６１０４号公報 特開２００７−３０６０６４号公報 特開２００７−３２５１４５号公報 特開２００８−１９３７１４号公報 特開２０００−３０８０８０号公報 特開２００５−１３６７６６号公報 特開平１１−２８５０１２号公報 特開平８−２３５４３号公報

特許文献９に記載のカラー撮像素子は、フィルタ配列がランダムとなるため後段でのデモザイキング処理を行う際に、ランダムパターン毎に最適化する必要があり、デモザイキング処理が煩雑になるという問題がある。また、ランダム配列では、低周波の色モアレには有効であるが、高周波部の偽色に対しては有効でない。

また、特許文献１０に記載の画像センサは、Ｇ画素（輝度画素）が市松状に配置されているため、限界解像度領域（特に斜め方向）での画素再現精度が良くないという問題がある。

特許文献１１に記載のカラー固体撮像素子は、任意の直線上に全ての色のフィルタが存在するため、偽色の発生を抑えることができる利点があるが、ＲＧＢの画素数の比率が等しいため、高周波再現性がベイヤー配列に比べて低下するという問題がある。なお、ベイヤー配列の場合、輝度信号を得るために最も寄与するＧの画素数の比率が、Ｒ、Ｂそれぞれの画素数の２倍になっている。

一方、特許文献１２に記載のカラー撮像素子は、Ｒ、Ｂそれぞれの画素数に対するＧの画素数の比率がベイヤー配列よりも高いが、水平又は垂直方向にＧ画素のみのラインが存在するため、水平又は垂直方向に高周波部の偽色に対しては有効でない。

本発明はこのような事情に鑑みてなされたもので、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができるカラー撮像素子及び撮像装置を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る発明は、水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第１群の画素と、第１群の画素の各光電変換素子に対して水平方向及び垂直方向にそれぞれ所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第２群の画素と、第１及び第２画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、第１のフィルタは、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、第２の色の各色に対応する第２のフィルタは、基本配列パターン内にカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、第１のフィルタに対応する第１の色の画素数の比率は、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きい。

本発明の一の態様に係る発明によれば、輝度信号を得るための寄与率の高い第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に配置するようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させることができる。また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタについてもカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。

また、カラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返して配置されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

さらに、第１のフィルタに対応する第１の色の画素数と第２のフィルタに対応する２色以上の第２の色の各色の画素数との比率を異ならせ、特に輝度信号を得るための寄与率の高い第１の色の画素数の比率を、第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きくするようにしたため、エリアシングを抑制することができ高周波再現性もよい。

本発明の他の態様に係るカラー撮像素子において、第１群の画素は、撮影光学系の互いに異なる２つの領域の一方を透過した被写体光を選択的に受光し、第２群の画素は、２つの領域の他方を透過した被写体光を選択的に受光する。これにより、立体視可能な視差画像が得られる。

本発明のさらに他の態様に係るカラー撮像素子において、２つの領域は、撮影光学系の光軸に対して対称な領域であることが好ましい。これにより、立体視可能な視差画像が得られる。

本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素の感度は、第１群の画素の感度よりも低い。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。

本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素の面積は、第１群の画素の面積よりも小さくなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。

本発明のさらに他の態様に係るカラー撮像素子において、第２群の画素上のカラーフィルタの光透過率は、第１群画素上のカラーフィルタの光透過率よりも低くなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。

第１及び第２のフィルタの上方にはそれぞれマイクロレンズが設けられており、第２群の画素上に位置するマイクロレンズは、第１群の画素上に位置するマイクロレンズよりも小さくなる。これにより、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像が得られる。

本発明の一の態様に係る撮像装置において、本発明の一の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、を備える。これにより、偽色の発生の抑圧及び高解像度化を図ることができるとともに、従来のランダム配列に比べて後段の処理を簡略化することができる。

本発明の他の態様に係る撮像装置において、互いに斜め右上方向又は斜め右下方向に隣接しかつ同色のカラーフィルタの下方に配置されている第１群及び第２群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第１画像生成手段を備える。これにより、低ノイズの高感度画像が得られる。

本発明のさらに他の態様に係る撮像装置において、第１群の画素からの出力信号と第２群の画素からの出力信号に基づき、第１群及び第２群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第２画像生成手段を備える。これにより、高解像度画像が得られる。

本発明のさらに他の態様に係る撮像装置において、第２群の画素の電荷蓄積時間を第１群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段とを備える。これにより、第１群の画素及び第２群の画素の面積を異ならせることなく、ダイナミックレンジが拡張された画像が得られる。

本発明のさらに他の態様に係る撮像装置において、撮影光学系の２つ領域をそれぞれ透過した被写体光を選択的に受光する第１群及び第２群の画素を有する本発明の他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第１群の画素からの出力信号によって構成される第１画像と、第２群の画素からの出力信号によって構成される第２画像とを含む視差画像を生成する第４画像生成手段と、を備えることを特徴とする。これにより、立体視可能な視差画像が得られる。

本発明のさらに他の態様に係る撮像装置において、高感度画素及び低感度画素を有する本発明のさらに他の態様に係るカラー撮像素子と、カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、第１群の画素からの出力信号により構成される画像と、第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段と、を備える。

本発明によれば、輝度信号を得るための寄与率の高い第１の色に対応する第１のフィルタを、カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各フィルタライン内に１つ以上配置するとともに、第１のフィルタに対応する第１の色の画素数の比率を、第１の色以外の２色以上の第２のフィルタに対応する第２の色の画素数の比率よりも大きくするようにしたため、高周波領域でのデモザイキング処理の再現精度を向上させ、かつエリアシングを抑制することができる。

また、第１の色以外の２色以上の第２の色の各色に対応する第２のフィルタを、基本配列パターン内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置するようにしたため、色モワレ（偽色）の発生を抑圧して高解像度化を図ることができる。

さらに、本発明に係るカラーフィルタ配列は、基本配列パターンが水平方向及び垂直方向に繰り返されているため、後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第１の実施形態を示す図である。 第１の実施形態のデジタルカメラのカラー撮像素子の画素配列を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる６×６画素の基本配列パターンを３×３画素のＡ配列とＢ配列に分割し、これらを配置した様子を示す図である。 第１の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法を説明するために使用した図である。 カラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンの概念を説明するために使用した図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第２の実施形態を示す図である。 第２の実施形態のデジタルカメラのカラー撮像素子の画素配列を示す図である。 第２の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のＡ面カラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のＢ面カラーフィルタ配列を示す図である。 第２の実施形態のカラー撮像素子のカラーフィルタ配列に含まれる基本配列パターンを示す図である。 光学ローパスフィルタを配置する必要がある従来のカラーフィルタ配列を示す図である。 は広ＤＲ画像撮影モード時における第２の実施形態のカラー撮像素子の制御を説明するための説明図である。 高感度画像生成部による高感度画像データ生成処理を説明するための図である。 高感度画像データ生成処理（画素混合）を説明するための説明図である。 高解像度画像生成部による高解像度画像データ生成処理を説明するための図である。 広ＤＲ画像生成部による広ＤＲ画像データ生成処理を説明するための図である。 第２の実施形態のデジタルカメラの作用を説明するための図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第３の実施形態を示す図である。 第３の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 図２２中のＡＡ線に沿う断面を示す図である。 図２２中のＢＢ線に沿う断面を示す図である。 視差画像生成部による視差画像データ（Ｒ，Ｌ視点画像データ）生成処理を説明するための図である。 第３の実施形態のデジタルカメラの作用を説明するための図である。 本発明に係る単板式のカラー撮像素子を備えるデジタルカメラの第４の実施形態を示す図である。 第４の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 第４−１の実施形態のカラー撮像素子のカラーフィルタ配列を示す図である。 図２９中のＣＣ線に沿う断面を示す図である。 第４−２の実施形態のカラー撮像素子の断面を示す図である。 Ｒフィルタ（赤フィルタ）、Ｇ１フィルタ（第１の緑フィルタ）、Ｇ２フィルタ（第２の緑フィルタ）及びＢフィルタ（青フィルタ）が配置される受光素子の分光感度特性を示すグラフである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びＷフィルタ（透明フィルタ）が配置される受光素子の分光感度特性を示すグラフである。 Ｒフィルタ、Ｇフィルタ、Ｂフィルタ及びエメラルドフィルタＥ（Ｅフィルタ）が配置される受光素子の分光感度特性を示すグラフである。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した図である。 従来のベイヤー配列のカラーフィルタを有するカラー撮像素子の課題を説明するために使用した他の図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

［第１の実施形態のデジタルカメラの全体構成］
図１は本発明に係るカラー撮像素子を備える第１の実施形態のデジタルカメラ（撮像装置）１０のブロック図である。デジタルカメラ１０のＣＰＵ１１は、シャッタボタンや各種操作ボタンを含む操作部１２からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。

レンズユニット（撮影光学系）１３には、ズームレンズ１４、フォーカスレンズ１５、メカシャッタ１６などが組み込まれている。ズームレンズ１４及びフォーカスレンズ１５は、それぞれズーム機構１７、フォーカス機構１８により駆動され、光軸Ｏ１に沿って前後移動される。

メカシャッタ１６は、カラー撮像素子２０への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１６は、可動部を各位置に移動させることによって、各レンズ１４，１５からカラー撮像素子２０へと至る光路を開放／遮断する。なお、メカシャッタ１６には、カラー撮像素子２０に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１６，ズーム機構１７、及びフォーカス機構１８は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。

レンズユニット１３の背後にはカラー撮像素子２０が配置されている。カラー撮像素子２０は、各レンズ１４，１５からの被写体光を電気的な出力信号に変換して出力する。撮像素子ドライバ２３は、ＣＰＵ１１の制御の下でカラー撮像素子２０の駆動を制御する。

画像処理回路２２は、カラー撮像素子２０から入力される出力信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して画像データを生成する。以下、通常の撮影モード時（以下、通常撮影モードという）に画像処理回路２２が生成する画像データを通常撮影画像データという。

圧縮伸長処理回路２９は、画像処理回路２２で処理された各画像データに対して圧縮処理を施す。また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する各画像データの記録及び読み出しなどを行う。表示部３２は、液晶ディスプレイなどが用いられ、スルー画像や再生画像などを表示する。

なお、図示は省略するが、デジタルカメラ１０にはオートフォーカス用のＡＦ検出回路やＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＦ検出回路の検出結果に基づき、レンズドライバ２１を介してフォーカス機構１８を駆動することでＡＦ処理を実行する。また、ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２１を介してメカシャッタ１６を駆動することでＡＥ処理を実行する。

［カラー撮像素子の第１の実施形態］
図２及び図３は本発明に係る単板式のカラー撮像素子の第１の実施形態を示す図であり、図２はカラー撮像素子２０に設けられている画素の画素配列に関して示し、図３はカラーフィルタのカラーフィルタ配列に関して示している。なお、カラー撮像素子２０は、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子であってもよい。

図２に示すように、カラー撮像素子２０は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子ＰＤを有する複数の画素３３と、各画素の受光面の上方に配置された、図３に示すカラーフィルタ配列のカラーフィルタとから構成されている。各画素の上方には、ＲＧＢの３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）３４Ｒ，３４Ｇ，３４Ｂのうちのいずれかが配置される。以下、Ｒフィルタ３４Ｒが配置された画素を「Ｒ画素」、Ｇフィルタ３４Ｇが配置された画素を「Ｇ画素」、Ｂフィルタ３４Ｂが配置された画素を「Ｂ画素」という。ここで、「上方」とは、カラー撮像素子２０の撮像面に対して被写体光が入射してくる側の方向を指す。

＜カラーフィルタ配列の特徴＞
第１の実施形態のカラー撮像素子２０のカラーフィルタ配列は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

〔特徴（１）〕
図３に示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（図中の太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが周期性をもって配列されている。

このようにＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが周期性をもって配列されているため、カラー撮像素子２０から読み出されるＲ、Ｇ、Ｂ信号のデモザイキング処理等を行う際に、繰り返しパターンに従って処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴（２）〕
図３に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内に１つ以上配置されている。ここで、ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各フィルタライン内に配置されるため、高周波となる方向によらず高周波領域でのデモザイキング処理の再現精度を向上させることができる。

〔特徴（３）〕
図３に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲＧＢフィルタ３４Ｒ，３４Ｇ，３４Ｂに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素のそれぞれの画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにしたため、デモザイキング処理時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

〔特徴（４）〕
図３に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ３４Ｒ、Ｂフィルタ３４Ｂが、それぞれ基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に１つ以上配置されている。

Ｒフィルタ３４Ｒ及びＢフィルタ３４Ｂがそれぞれカラーフィルタ配列の水平、及び垂直方向の各フィルタライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

図４は、図３に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。

図４に示すように基本配列パターンＰは、図中の実線の枠で囲んだ３×３画素のＡ配列３５ａと、図中の破線の枠で囲んだ３×３画素のＢ配列３５ｂとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列３５ａ及びＢ配列３５ｂは、それぞれ輝度系画素であるＧフィルタ３４Ｇが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列３５ａは、中央のＧフィルタ３４Ｇを挟んでＲフィルタ３４Ｒが水平方向に配列され、Ｂフィルタ３４Ｂが垂直方向に配列されている。一方、Ｂ配列３５ｂは、中央のＧフィルタ３４Ｇを挟んでＢフィルタ３４Ｂが水平方向に配列され、Ｒフィルタ３４Ｒが垂直方向に配列されている。即ち、Ａ配列３５ａとＢ配列３５ｂとは、Ｒフィルタ３４ＲとＢフィルタ３４Ｂとの位置関係が逆転しているが、その他の配置は同様になっている。

また、Ａ配列３５ａとＢ配列３５ｂの４隅のＧフィルタ３４Ｇは、図５に示すようにＡ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタ３４Ｇとなる。

これは、輝度系画素であるＧフィルタ３４Ｇが、Ａ配列３５ａ又はＢ配列３５ｂにおける３×３画素において４隅と中央に配置され、この３×３画素が水平方向、垂直方向に交互に配置されることで２×２画素に対応する正方配列のＧフィルタ３４Ｇが形成されるためである。なお、このような配列とすることで、前述の特徴（１）、（２）、（３）、及び後述の特徴（５）が満たされる。

〔特徴（５）〕
図３に示すカラーフィルタ配列は、Ｇフィルタ３４Ｇが設けられた２×２画素に対応する正方配列３６（以下、単にＧ正方配列３６という、図６参照）を含んでいる。

図６に示すように、Ｇフィルタ３４Ｇが設けられた２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値を求めることにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周囲の画素から補間する処理（デモザイキング処理）に使用することができる。これにより、画像処理回路２２によるデモザイキング処理が実行可能となる。

また、図５に示すように３×３画素のＡ配列３５ａ又はＢ配列３５ｂの画素をデモザイキング処理の対象画素とし、Ａ配列３５ａ又はＢ配列３５ｂを中心に５×５画素（モザイク画像の局所領域）を抽出した場合、５×５画素の４隅に２×２画素のＧ画素が存在することになる。これらの２×２画素のＧ画素の画素値を使用することにより、４方向の相関方向の判別を最小画素間隔のＧ画素の情報を使用して精度よく行うことができる。

〔特徴（６）〕
図３に示すカラーフィルタ配列の基本配列パターンＰは、その中心（４つのＧフィルタ３４Ｇの中心）に対して点対称になっている。また、図４に示したように、基本配列パターンＰ内のＡ配列３５ａ及びＢ配列３５ｂも、それぞれ中心のＧフィルタ３４Ｇに対して点対称になっている。

このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

図７に示すように太枠で示した基本配列パターンＰにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＢＧＧＲＧであり、第２のラインのカラーフィルタ配列は、ＲＧＲＢＧＢであり、第４及び第６のラインのカラーフィルタ配列は、ＧＲＧＧＢＧであり、第５のラインのカラーフィルタ配列は、ＢＧＢＲＧＲとなっている。

いま、図７において、基本配列パターンＰを水平方向、及び垂直方向にそれぞれ１画素ずつシフトした基本配列パターンをＰα、それぞれ２画素ずつシフトした基本配列パターンをＰβとすると、これらの基本配列パターンＰα、Ｐβを水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列になる。

即ち、基本配列パターンを水平方向及び垂直方向に繰り返し配置することで、図７に示すカラーフィルタ配列を構成することができる基本配列パターンは複数存在する。第１の実施形態では、基本配列パターンが点対称になっている基本配列パターンＰを、便宜上、基本配列パターンという。

なお、後述する他の実施形態のカラーフィルタ配列においても、各カラーフィルタ配列に対して複数の基本配列パターンが存在するが、その代表的なものをそのカラーフィルタ配列の基本配列パターンという。

［第２の実施形態のデジタルカメラの全体構成］
図８は本発明に係るカラー撮像素子を備える第２の実施形態のデジタルカメラ（撮像装置）３９のブロック図である。上記第１の実施形態では、１種類の撮影モード（通常撮影モード）を有するデジタルカメラ１０について説明したが、デジタルカメラ３９は複数種類の撮影モードを有している。

デジタルカメラ３９は、前述の通常撮影モードの他に、ノイズが少なくかつ高感度撮影された画像（以下、高感度画像という）を生成する高感度画像撮影モードと、通常撮影画像よりも解像度が高い（画素数が大きい）画像（以下、高解像度画像という）を生成する高解像度画像撮影モードと、通常撮影画像よりもダイナミックレンジが拡張（拡大）された画像（以下、広ＤＲ画像という）を生成する広ＤＲ画像撮影モードとを有している。各撮影モードの切り替えは操作部１２で行われる。

なお、デジタルカメラ３９は、第１の実施形態のデジタルカメラ１０とは異なるカラー撮像素子４１及び画像処理回路４３を有しており、かつＣＰＵ１１が電荷蓄積時間調整部（電荷蓄積時間調整手段）４４として機能する点を除けば、基本的には第１の実施形態と同じ構成である。このため、第１の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

［カラー撮像素子の第２の実施形態］
図９に示すように、カラー撮像素子４１の撮像面上には、第１群の画素４６Ａと第２群の画素４６Ｂとが設けられている。第１群の画素４６Ａは、水平、及び垂直方向にそれぞれ所定画素間隔ｐでマトリクス状に配列された光電変換素子ＰＤ_Ａにより構成される。また、第２群の画素４６Ｂは、第１群の画素４６Ａと同じく画素間隔ｐでマトリクス状に配列された光電変換素子ＰＤ_Ｂにより構成される。

第１群の画素４６Ａ（光電変換素子ＰＤ_Ａ）は、カラー撮像素子４１の奇数画素ライン上に配列されている。一方、第２群の画素４６Ｂ（光電変換素子ＰＤ_Ｂ）は、カラー撮像素子４１の偶数画素ライン上に配列されている。また、各光電変換素子ＰＤ_Ｂは、各光電変換素子ＰＤ_Ａに対して、水平、及び垂直方向にそれぞれ１／２ｐ（所定画素間隔の半分）ずらした位置に配列されている。なお、光電変換素子ＰＤ_Ａ，ＰＤ_Ｂは配列位置を除けば基本的には同じものである。以下、カラー撮像素子４１の撮像面のうち、第１群の画素４６Ａが配列されている領域を「Ａ面」といい、第２群の画素４６Ｂが配列されている領域を「Ｂ面」という。

第１群の画素４６Ａ、及び第２群の画素４６Ｂからそれぞれ出力される出力信号は、画像処理回路４３に入力される。

図１０に示すように、第１群の画素４６Ａ及び第２群の画素４６Ｂの上方には、それぞれ同一のカラーフィルタ配列でＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂが配列されている。このため、カラー撮像素子４１のカラーフィルタ配列は、同一のカラーフィルタ配列を水平、垂直方向にそれぞれ１／２ｐずらして配置してなる配列パターン（以下、特殊配列パターンという）を有している。

以下、Ａ面上のＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂを「Ｒ_Ａ、Ｇ_Ａ、Ｂ_Ａフィルタ３４Ｒ，３４Ｇ，３４Ｂ」、Ｂ面上のＲ、Ｇ、Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂを「Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂ」という。また、Ａ面上のＲ_Ａ、Ｇ_Ａ、Ｂ_Ａフィルタ３４Ｒ，３４Ｇ，３４Ｂのカラーフィルタ配列を「Ａ面カラーフィルタ配列」、Ｂ面上のＲ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂのカラーフィルタ配列を「Ｂ面カラーフィルタ配列」という。

図１１及び図１２に示すように、Ａ面カラーフィルタ配列とＢ面カラーフィルタ配列は、それぞれ第１の実施形態のカラーフィルタ配列と基本的に同じで配列である。このため、Ａ面カラーフィルタ配列は６×６画素に対応する正方配列パターンである基本配列パターンＰ_Ａを含み、Ｂ面カラーフィルタ配列も同じ正方配列パターンである基本配列パターンＰ_Ｂを含む。そして、Ａ面、Ｂ面カラーフィルタ配列は、それぞれ基本配列パターンＰ_Ａ、基本配列パターンＰ_Ｂが水平方向及び垂直方向に繰り返し配置されている。

基本配列パターンＰ_Ａ，Ｐ_Ｂは、第１の実施形態の基本配列パターンＰと基本的に同じ配列パターンである。このため、第１の実施形態で述べたように、Ａ面及びＢ面カラーフィルタ配列は、それぞれ前述の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

図１０に戻って、カラー撮像素子４１のカラーフィルタ配列は、Ａ面カラーフィルタ配列とＢ面カラーフィルタ配列とにより構成される。Ａ面及びＢ面カラーフィルタ配列は前述の特徴（２）及び（３）を有しているので、カラー撮像素子４１のカラーフィルタ配列も同様に前述の特徴（２）及び（３）を有する。

さらに、Ａ面及びＢ面カラーフィルタ配列は、それぞれ基本配列パターンＰ_Ａ，Ｐ_Ｂが水平方向及び垂直方向に繰り返し配置されてなる。このため、カラー撮像素子４１のカラーフィルタ配列は、基本配列パターンＰ１を含み、この基本配列パターンＰ１が水平方向及び垂直方向に繰り返し配置されている。このため、カラー撮像素子４１のカラーフィルタ配列も前述の特徴（１）を有する。

図１３に示すように、基本配列パターンＰ１は、基本配列パターンＰ_Ａと、この基本配列パターンＰ_Ａに対して水平及び垂直方向に１／２ｐずれた位置にある基本配列パターンＰ_Ｂとにより構成されている。Ａ面及びＢ面カラーフィルタ配列は前述の特徴（４）を有しているので、カラー撮像素子４１のカラーフィルタ配列も同様に前述の特徴（４）を有する。

なお、第２の実施形態では、基本配列パターンＰ１はその中心に対して点対称となっていない。

上記のようにカラー撮像素子４１のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）と同じ特徴を有している。

〔特徴（７）〕
また、カラー撮像素子４１のカラーフィルタ配列では、斜め（ＮＥ，ＮＷ）方向の各フィルタライン（一部のラインを除く）に、Ｒ_Ａ，Ｂフィルタ３４Ｒ、Ｇ_Ａ，Ｂフィルタ３４Ｇ、Ｂ_Ａ，Ｂフィルタ３４Ｂがそれぞれ１つ以上配置される。このため、斜め（ＮＥ，ＮＷ）方向の解像度が高くなる。

一方、比較例を示す図１４のように、カラーフィルタ配列が第２の実施形態と同様の「特殊配列パターン」を有するが、Ａ面及びＢ面配列パターンがそれぞれベイヤー配列である場合に、斜め（ＮＥ）方向の解像度が低下する。具体的には、カラーフィルタ配列がＧフィルタ３４Ｇのみの斜め（ＮＷ）方向のラインＬ_Ｇと、Ｒ、Ｂフィルタ３４Ｒ，３４Ｂのみの斜め（ＮＷ）方向のラインＬ_ＲＢとが斜め（ＮＥ）方向に交互に配置されたパターンとなるので、例えばＧフィルタ３４Ｇの斜め（ＮＥ）方向の画素間隔が水平、垂直方向の画素間隔よりも拡がってしまう。なお、Ｒ、Ｂフィルタ３４Ｒ，３４Ｂについても同様である。このため、カラーフィルタ配列は斜め（ＮＥ）方向の解像度が低下するので、斜め（ＮＥ）方向に異方性を有する光学ローパスフィルタを別途設けることが好ましい。

これに対して、カラー撮像素子４１のカラーフィルタ配列では、斜め（ＮＥ，ＮＷ）方向の解像度が高くなるので、斜め（ＮＥ）方向に異方性を有する光学ローパスフィルタを配置しなくとも、斜め方向に高周波成分を有する入力像により発生しうる色モワレ（偽色）を抑えることができる。

〔特徴（５’）〕
さらに、カラー撮像素子４１のカラーフィルタ配列は、第１実施形態のＧ正方配列３６の代わりに、Ｇ_Ａ、Ｇ_Ｂフィルタ３４Ｇが水平、垂直、及び斜め方向に最小間隔で４つ配置されてなるＧ配列４８を有している（図１０、図１３参照）。このため、Ｇ配列４８が設けられた４画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（ＮＥ、ＮＷ）のＧ画素の画素値の差分絶対値を求めることにより、差分絶対値の小さい方向に相関があると判断することができる。これにより、カラー撮像素子４１のカラーフィルタ配列は、前述の特徴（５）とほぼ同じ特徴を有している。

［第２の実施形態のデジタルカメラの各構成］
電荷蓄積時間調整部４４（図８参照）は、第１群の画素４６Ａ（Ａ面）と第２群の画素４６Ｂ（Ｂ面）との電荷蓄積時間（露光時間）を独立して制御する。電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード以外の撮影モード時には、第１群の画素４６Ａと第２群の画素４６Ｂとの電荷蓄積時間を同じに設定する。

また、図１５に示すように、電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード時には、第２群の画素４６Ｂの電荷蓄積時間を、第１群の画素４６Ａの電荷蓄積時間よりも短く設定する（逆でも可）。これにより、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。その結果、第１群の画素４６Ａからは感度の高い画像（以下、高感度画像という）が得られ、第２群の画素４６Ｂからは感度の低い画像（以下、低感度画像という）が得られる。

図８に戻って、画像処理回路４３は、基本的には第１の実施形態の画像処理回路２２と同じであるが、通常撮影モード時には通常撮影画像データを生成し、高感度画像撮影モード時には高感度画像データを生成し、高解像度画像撮影モード時には高解像度画像データを生成し、広ＤＲ画像撮影モード時には広ＤＲ画像データを生成する。この画像処理回路４３は、通常画像生成部５０、高感度画像生成部（第１画像生成手段）５１、高解像度画像生成部（第２画像生成手段）５２、広ＤＲ画像生成部（第３画像生成手段）５３を備える。

通常画像生成部５０は、通常撮影モード時に例えば第１群の画素４６Ａ（第２群の画素４６Ｂでも可）から出力される出力信号に基づき、通常撮影画像データを生成する。

図１６に示すように、高感度画像生成部５１は、高感度画像撮影モード時に同色でかつ互いに斜め方向（本実施形態ではＮＷ方向）に隣接する第１群の画素４６Ａからの出力信号と第２群の画素４６Ｂからの出力信号を混合（加算）する、いわゆる画素混合を行う。これにより、図１７に示すように、斜め方向（ＮＷ）に隣接する同色の第１群及び第２群の画素４６Ａ，４６Ｂを１画素とみなして信号処理することができる。このような画素混合により感度が２倍相当となるので、高感度画像データが得られる。この高感度画像データは、ゲインアップすることなく得られるので、ノイズも少なくなる。なお、図示は省略するが同色の第１群の画素４６Ａと第２群の画素４６Ｂとが斜め方向（ＮＥ）に隣接している場合であっても、同様にして高感度画像データが得られる。

図１８に示すように、高解像度画像生成部５２は、高解像度画像撮影モード時に第１群の画素４６Ａと第２群の画素４６Ｂの両方からそれぞれ出力される出力信号に基づき、高解像度画像データを生成する。高解像度画像データは、通常撮影画像データ生成時の２倍の画素を用いて生成されるので、通常撮影画像データよりも高解像度な画像データとなる。

図１９に示すように、広ＤＲ画像生成部５３は、広ＤＲ画像撮影モード時に信号電荷蓄積時間が異なる第１群及び第２群の画素４６Ａ，４６Ｂの各々の出力信号に基づき、高感度画像データ、低感度画像データを生成する。次いで、広ＤＲ画像生成部５３は、高感度画像データと低感度画像データとに基づいて広ＤＲ画像データを生成する。なお、感度の異なる画像データを用いて広ＤＲ画像データを生成する方法は周知技術であるので、ここでは具体的な説明は省略する。

［第２の実施形態のデジタルカメラの作用］
次に、図２０を用いて上記構成のデジタルカメラ３９の作用について説明する。操作部１２にて撮影モードが通常撮影モード、高感度画像撮影モード、高解像度画像撮影モード、広ＤＲ画像撮影モードのいずれかに設定されると、ＣＰＵ１１はレンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、撮像素子ドライバ２３を介してカラー撮像素子４１を駆動する。

所定のシャッタ速度でメカシャッタ１６が開閉され、カラー撮像素子４１の各画素４６Ａ，４６Ｂに信号電荷が蓄積する。この際に、電荷蓄積時間調整部４４は、広ＤＲ画像撮影モード以外の撮影モード時には、第１群の画素４６Ａと第２群の画素４６Ｂとの電荷蓄積時間を同じに調整し、広ＤＲ画像撮影モード時には両者の電荷蓄積時間を異ならせる。そして、撮像素子ドライバ２３の制御の下、各画素４６Ａ，４６Ｂの出力信号が画像処理回路４３へ出力される。

［通常撮影モード］
撮影モードとして通常撮影モードが設定されている場合には、通常画像生成部５０が作動する。通常画像生成部５０は、第１群の画素４６Ａからの出力信号に基づき、通常撮影画像データを生成し、これを一定のタイミングで表示部３２へ出力する。これにより、表示部３２にスルー画像が表示される。また、同時にＡＦ処理やＡＥ処理などの撮影準備処理も同時に行われる。

操作部１２で撮影指示がなされると、通常画像生成部５０にて１フレーム分の通常撮影画像データが生成される。この通常撮影画像データは、圧縮伸長処理回路２９にて圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。

［高感度画像、高解像度画像、広ＤＲ画像撮影モード、］
撮影モードとして高感度画像撮影モードが設定されている場合には、高感度画像生成部５１が作動して、図１６に示したように、いわゆる画素混合を行うことで高感度画像データを生成する。また、撮影モードとして高解像度画像撮影モードが設定されている場合には、高解像度画像生成部５２が作動して、図１８に示したように全画素４６Ａ，４６Ｂからの出力信号に基づき、高解像度画像データが生成される。

さらに、撮影モードとして広ＤＲ画像撮影モードが設定されている場合には、広ＤＲ画像生成部５３が作動して、図１９に示したように全画素４６Ａ，４６Ｂの各々からの出力信号により構成される高感度、低感度画像データに基づき、広ＤＲ画像データが生成される。以下、通常撮影モード時と同様に、操作部１２で撮影指示がなされたときに、高感度画像データ、高解像度画像データ、及び広ＤＲ画像データがそれぞれ圧縮処理された後にメモリカード３１に記録される。

カラー撮像素子４１が図１０などに示したカラーフィルタ配列を有しているので、通常撮影画像データ、高感度画像データ、高解像度画像データ、及び広ＤＲ画像データのいずれにおいても色モワレ（偽色）の発生が抑制され、高画質な画像データが得られる。また、光学ローパスフィルタを配置しない、あるいは高周波数成分をカットする働きの弱いものを適用することができるので、各画像データの解像度を損なわないようにすることができる。これにより、高解像度な画像データが得られる。さらに、カラーフィルタ配列は、基本配列パターンＰ１が水平方向及び垂直方向に繰り返して配置されているため、画像処理回路などの後段でのデモザイキング処理を行う際に、繰り返しパターンに従って処理を行うことができ、従来のランダム配列に比べて後段の処理を簡略化することができる。

［第３の実施形態のデジタルカメラの全体構成］
図２１は本発明に係るカラー撮像素子を備える第３の実施形態のデジタルカメラ（撮像装置）５５のブロック図である。上記第２の実施形態では、高感度画像、高解像度画像、及び広ＤＲ画像を生成可能なデジタルカメラ３９について説明したが、デジタルカメラ５５では立体視可能な視差画像を生成する。

デジタルカメラ５５は、前述の高感度画像撮影モード、高解像度画像撮影モード、及び広ＤＲ画像撮影モードの代わりに、視差画像を生成する３Ｄ撮影モードを有している。また、デジタルカメラ５５は、第２の実施形態のデジタルカメラ３９とは異なるカラー撮像素子５８、画像処理回路５９、及び表示部６０を有している点を除けば、基本的には第２の実施形態と同じ構成であり、第２の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

［カラー撮像素子の第３の実施形態］
図２２に示すように、カラー撮像素子５８の画素配列及びカラーフィルタ配列は第２実施形態のカラー撮像素子４１の画素配列、カラーフィルタ配列と同じである。ただし、カラー撮像素子５８では、第１群の画素４６Ａ、第２群の画素４６Ｂがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるように構成されている。

図２２中のＡＡ線に沿う断面を示す図２３、及びＢＢ線に沿う断面を示す図２４において、半導体基板（ｓｕｂ）６２の表層には、各画素４６Ａ，４６Ｂをそれぞれ構成する光電変換素子ＰＤ_Ａ，ＰＤ_Ｂがそれぞれ形成されている。なお、半導体基板６２には、図示は省略するが、各画素４６Ａ，４６Ｂの駆動や信号出力に用いられる各種回路が設けられている。

半導体基板６２上には、例えば酸化シリコンで形成された光透過性の絶縁膜６３が設けられている。絶縁膜６３上には、例えばタングステンで形成された遮光膜６４が設けられている。遮光膜６４は、光電変換素子ＰＤ_Ａ上に形成された第１偏心開口６４ａと、光電変換素子ＰＤ_Ｂ上に形成された第２偏心開口６４ｂとを有している。

第１偏心開口６４ａは、光電変換素子ＰＤ_Ａの中心に対して図中左方向にずれた位置に形成されている。これにより、光電変換素子ＰＤ_Ａの略右半分の領域（以下、単に右領域という）は遮光膜６４で覆われ、逆に略左半分の領域（以下、単に左領域という）は露呈している。一方、第２偏心開口６４ｂは、光電変換素子ＰＤ_Ｂの中心に対して図中右方向にずれた位置に形成されている。これにより、光電変換素子ＰＤ_Ｂの左領域は遮光膜６４で覆われ、逆に右領域は露呈している。

遮光膜６４上には、表面が平坦な光透過性の平坦化層６５が設けられている。平坦化層６５上には、図２２に示したカラーフィルタ配列で各フィルタ３４Ｒ，３４Ｇ，３４Ｂがそれぞれ設けられている。

各フィルタ３４Ｒ，３４Ｇ，３４Ｂ上には、各光電変換素子ＰＤ_Ａ，ＰＤ_Ｂの直上位置にそれぞれマイクロレンズ６６が設けられている。なお、図中の符号Ｏ２は、マイクロレンズ６６の光軸である。マイクロレンズ６６の光軸Ｏ２は、各光電変換素子ＰＤ_Ａ，ＰＤ_Ｂの中心上に位置している。

マイクロレンズ６６に図中右斜め方向から入射した被写体光６７Ｒは、マイクロレンズ６６により第１偏心開口６４ａを介して光電変換素子ＰＤ_Ａの左領域に集光されるが、遮光膜６４で覆われている光電変換素子ＰＤ_Ｂの左領域には集光されない。逆に、マイクロレンズ６６に図中右斜め方向から入射した被写体光６７Ｌは、マイクロレンズ６６により第２偏心開口６４ｂを介して光電変換素子ＰＤ_Ｂの右領域に集光されるが、遮光膜６４で覆われている光電変換素子ＰＤ_Ａの右領域には集光されない。

このように、光電変換素子ＰＤ_Ａ（第１群の画素４６Ａ）は被写体光６７Ｒに対して感度が高くなり、光電変換素子ＰＤ_Ｂ（第２群の画素４６Ｂ）は被写体光６７Ｌに対して感度が高くなる。なお、被写体光６７Ｒ，６７Ｌは、レンズユニット１３（ズームレンズ１４及びフォーカスレンズ１５）の光軸Ｏ１に対して対称な領域、及びマイクロレンズ６６の光軸Ｏ２に対して対称な領域をそれぞれ通過している。なお、レンズユニット１３の光軸Ｏ１に対して対称な領域とは、レンズユニット１３を、光軸Ｏ１に直交しかつ画素配列の垂直方向（図９参照）に対して平行な線分で分割してなる領域（レンズユニット１３の左右領域）である。

［第３の実施形態のデジタルカメラの各構成］
図２１に戻って、画像処理回路５９は、通常撮影モード時には通常撮影画像データを生成し、３Ｄ撮影モード時には２視点（Ｒ視点、Ｌ視点）の視点画像により構成される視差画像データを生成する。この画像処理回路５９は、高感度画像生成部５１、高解像度画像生成部５２、及び広ＤＲ画像生成部５３の代わりに、視差画像生成部（第４画像生成手段）６９が設けられている点を除けば、第２の実施形態の画像処理回路４３と基本的に同じである。

図２５に示すように、視差画像生成部６９は、３Ｄ撮影モード時に第１群の画素４６Ａからの出力信号に基づき被写体をＲ視点側から見たときのＲ視点画像データ（第１画像）を生成し、第２群の画素４６Ｂからの出力信号に基づき被写体をＬ視点側から見たときのＬ視点画像データ（第２画像）を生成する。Ｒ視点画像データとＬ視点画像データには視差が生じているので立体視が可能である。

表示部６０（図２１参照）は、Ｒ視点画像データ及びＬ視点画像データに基づき立体画像の観察が可能な各種モニタが用いられる。なお、立体画像の表示方式は、レンチキュラ方式、視差バリア方式、パララックスバリア方式、アナグリフ方式、フレームシーケンシャル方式、ライトディレクション方式などの周知の各種方式を用いてよい。

［第３の実施形態のデジタルカメラの作用］
次に、図２６を用いて上記構成のデジタルカメラ５５の作用について説明する。なお、撮影モードが通常撮影モードに設定されているときの処理の流れは第２の実施形態と同じであるのでここでは具体的な説明を省略する。

［３Ｄ撮影モード］
撮影モードとして３Ｄ撮影モードが設定されている場合には、視差画像生成部６９が作動して、図２５に示したように第１群の画素４６Ａ及び第２群の画素４６Ｂのそれぞれからの出力信号に基づき、Ｒ視点画像データ、Ｌ視点画像データを生成する。視差画像生成部６９は、Ｒ視点画像データ及びＬ視点画像データの少なくとも一方を一定のタイミングで表示部６０へ出力する。これにより、表示部６０にスルー画像が表示される。

操作部１２で撮影指示がなされると、視差画像生成部６９にて１フレーム分のＲ視点画像データ、Ｌ視点画像データが生成される。これらＲ視点画像データ及びＬ視点画像データは、圧縮伸長処理回路２９にて視差画像データとして圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。なお、メモリカード３１に記録された視差画像データは、デジタルカメラ５５の動作モードを再生モードに切り替えることにより、表示部６０に立体視可能に表示される。

前述の構成のカラーフィルタ配列によって、第２の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。

なお、メカシャッタ１６に設けられた絞りを絞り込むことにより、Ｒ視点画像データとＬ視点画像データとの視差量が小さくなるので、第２の実施形態と同様に、高感度画像データ、高解像度画像データ、広ＤＲ画像データを生成してもよい。

また、上記第３の実施形態では、遮光膜６４に形成された第１及び第２偏心開口６４ａ，６４ｂにより第１群及び第２群の画素４６Ａ，４６Ｂがそれぞれ異なる方向から入射する被写体光に対して感度が高くなるようにしているが、別の方法を用いてもよい。例えば遮光膜に偏心開口を形成する代わりに、第１群及び第２群の画素４６Ａ，４６Ｂ上のマイクロレンズの位置をそれぞれ異なる方向に偏心させてもよい。

［第４の実施形態のデジタルカメラの全体構成］
図２７は本発明に係るカラー撮像素子を備える第４の実施形態のデジタルカメラ（撮像装置）７１のブロック図である。上記第２の実施形態では、広ＤＲ撮影モード時に第１群の画素４６Ａ（Ａ面）と第２群の画素４６Ｂ（Ｂ面）との電荷蓄積時間を独立して制御することにより、広ＤＲ画像データ（高感度画像データ、低感度画像データ）を生成している。これに対して、デジタルカメラ７１では、Ａ面とＢ面の電荷蓄積時間を変えることなく、広ＤＲ画像データを生成する。

デジタルカメラ７１は、第２の実施形態のデジタルカメラ３９とは異なるカラー撮像素子７２及び画像処理回路７３を有している点を除けば、基本的には第２の実施形態と同じ構成であり、第２の実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

［カラー撮像素子の第４の実施形態］
図２８に示すように、カラー撮像素子７２の画素配列は第２実施形態のカラー撮像素子４１の画素配列と同じである。ただし、カラー撮像素子７２では、第２群の画素４６Ｂ（光電変換素子ＰＤ_Ｂ）の面積が第１群の画素４６Ａ（光電変換素子ＰＤ_Ａ）の面積よりも小さくなる。このため、第２群の画素４６Ｂの信号電荷の蓄積量は、第１群の画素４６Ａの信号電荷の蓄積量よりも小さくなる。これにより、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。

また、Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒｓ，３４Ｇｓ，３４Ｂｓの面積についても、Ｒ_Ａ、Ｇ_Ａ、Ｂ_Ａフィルタ３４Ｒ，３４Ｇ，３４Ｂの面積よりも小さくなる。このため、カラー撮像素子７２のカラーフィルタ配列は、Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒｓ，３４Ｇｓ，３４Ｂｓの面積が小さく形成されている点を除けば、第２の実施形態のカラーフィルタ配列と基本的に同じである。従って、カラー撮像素子７２のカラーフィルタ配列は、第１の実施形態のカラーフィルタ配列の特徴（１）、（２）、（３）、（４）と同じ特徴に加えて、第２の実施形態のカラーフィルタ配列の特徴（７）を有する。

このようにカラー撮像素子７２では、Ａ面とＢ面の電荷蓄積時間を変えることなく、第１群の画素４６Ａからの出力信号に基づき高感度画像が得られるとともに、第２群の画素４６Ｂからの出力信号に基づき低感度画像が得られる。

図２７に戻って、画像処理回路７３の広ＤＲ画像生成部５３は、広ＤＲ画像生成モード時に作動して、第１及び第２群の画素４６Ａ，４６Ｂの各々の出力信号に基づき、高感度画像データと低感度画像データを生成し、これら両画像データに基づき広ＤＲ画像データを生成する。上記構成のカラーフィルタ配列により、第２の実施形態と同様に高画質でかつ高解像度な画像データが得られる。また、従来のランダム配列に比べて後段のデモザイキング処理などを簡略化することができる。

なお、デジタルカメラ７１の作用については、第２の実施形態のデジタルカメラ３９と基本的に同じであるので、ここでは説明を省略する。

［カラー撮像素子の第４−１の実施形態］
上記第４の実施形態のデジタルカメラ７１では、第１及び第２群の画素４６Ａ，４６Ｂの面積を異ならせることにより広ＤＲ画像データを生成しているが、面積を異ならせる以外の方法で第１及び第２群の画素４６Ａ，４６Ｂに入射する被写体光の光量を異ならせてもよい。

例えば、図２９、及び図２９中のＣＣ線に沿う断面を示す図３０において、カラー撮像素子７５は、第２の実施形態のカラー撮像素子４１と基本的に同じ構成である。ただし、カラー撮像素子７５では、第２群の画素４６Ｂ（光電変換素子ＰＤ_Ｂ）の上方に位置するマイクロレンズ７６の大きさが、第１群の画素４６Ａ（光電変換素子ＰＤ_Ａ）の上方に位置するマイクロレンズ６６の大きさよりも小さく形成されている。

マイクロレンズ７６を小さく形成することで、第２群の画素４６Ｂに集光される被写体光の光量が第１群の画素４６Ａに集光される被写体光の光量よりも減少する。このため、第２群の画素４６Ｂの信号電荷の蓄積量が第１群の画素４６Ａの信号電荷の蓄積量よりも小さくなる。これにより、第４の実施形態と同様に、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。

このように、第４の実施形態のカラー撮像素子７２をカラー撮像素子７５に置き換えた場合においても、第４の実施形態と同様に広ＤＲ画像データが得られる。また、カラーフィルタ配列は第２及び第３の実施形態と同じ配列であるので、高画質でかつ高解像度な広ＤＲ画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。

［カラー撮像素子の第４−２の実施形態］
また、上記第４−１の実施形態のカラー撮像素子７５では、マイクロレンズ６６，７６の大きさを異ならせることにより広ＤＲ画像データが得られるが、例えば図３１に示すカラー撮像素子７７のように、Ｒ_Ａ、Ｇ_Ａ、Ｂ_Ａフィルタ３４Ｒ，３４Ｇ，３４Ｂと、Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂとの光透過率を異ならせてもよい。

具体的には、Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率がＲ_Ａ、Ｇ_Ａ、Ｂ_Ａフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率よりも低くなる。なお、図３１中ではＧフィルタ３４Ｇを代表例として図示しているが、他のＲフィルタ３４Ｒ、Ｂフィルタ３４Ｂについても同様である。

Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂフィルタ３４Ｒ，３４Ｇ，３４Ｂの光透過率を低くすることで、第２群の画素４６Ｂに集光される被写体光の光量が第１群の画素４６Ａに集光される被写体光の光量よりも減少する。このため、第４−１の実施形態と同様に、第１群の画素４６Ａは相対的に「高感度画素」となり、第２群の画素４６Ｂは相対的に「低感度画素」となる。

このように、第４の実施形態のカラー撮像素子７２をカラー撮像素子７７に置き換えた場合においても、第４及び第４−１の実施形態と同様に、高画質でかつ高解像度な広ＤＲ画像データが得られ、さらに後段のデモザイキング処理などを簡略化することができる。

［その他］
上記第２の実施形態から上記第４−２の実施形態では、基本配列パターンＰ１が１２×１２画素（基本配列パターンＰ_Ａ，Ｐ_Ｂがそれぞれ６×６画素）に対応する配列パターンを有しているが、カラーフィルタ配列が少なくとも前述の特徴（１）から（４）を満たす範囲内において基本配列パターンＰ１が任意のＭ×Ｎ（Ｍ＝Ｎ、Ｍ≠Ｎのいずれも可）画素に対応する配列パターンを有していてもよい。この場合に、基本配列パターンＰ_Ａ，Ｐ_Ｂは（Ｍ／２）×（Ｎ／２）画素に対応する配列パターンとなる。

なお、Ｍ及びＮは２０以下であることが好ましい。これはＭ及びＮが２０を超える場合には、デモザイキング等の信号処理が複雑化するのに対し、基本配列パターンのサイズを大きくすることによる格別な効果が得られないからである。

上記各実施形態のＲフィルタ３４Ｒ及びＢフィルタ３４Ｂの配置は、前述の各図に示した配置に限定されず、少なくとも前述の特徴（４）を満たす範囲内で適宜変更してもよい。また、上記各実施形態では、同色の第１群の画素と第２群の画素（同色のカラーフィルタ）とが斜め方向（ＮＷ）に隣接して配置されているが、斜め方向（ＮＥ）に隣接して配置されていてもよい。

［変形例］
また、上述の各実施形態では、第１の色として緑（Ｇ）を採用し、第２の色として赤（Ｒ）及び青（Ｂ）を採用した例について説明したが、カラーフィルタで使用しうる色はこれらの色に限定されるものではなく、以下の条件を満たす色に対応するカラーフィルタを用いることもできる。

＜第１のフィルタ（第１の色）の条件＞
上記各実施形態では、本発明の第１の色を有する第１のフィルタとしてＧ色のＧフィルタを例に挙げて説明を行ったが、Ｇフィルタの代わりに、あるいはＧフィルタの一部に代えて、下記条件（１）から条件（４）のいずれかを満たすフィルタを用いてもよい。

〔条件（１）〕
条件（１）は、輝度信号を得るための寄与率が５０％以上であることである。この寄与率５０％は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定めた値であって、輝度データを得るための寄与率がＲ色、Ｂ色などよりも相対的に高くなる色が「第１の色」に含まれるように定めた値である。

なお、寄与率が５０％未満となる色は本発明の第２色（Ｒ色、Ｂ色など）となり、この色を有するフィルタが本発明の第２のフィルタとなる。

〔条件（２）〕
条件（２）は、フィルタの透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるＲ色、Ｂ色などのピークが含まれず、かつ寄与率が相対的に高くなるＧ色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にあるフィルタを第１のフィルタとして用いることができる。なお、透過率のピークが波長４８０ｎｍ以上５７０ｎｍ以下の範囲外となるフィルタが本発明の第２のフィルタ（Ｒフィルタ、Ｂフィルタ）となる。

〔条件（３）〕
条件（３）は、波長５００ｎｍ以上５６０ｎｍ以下の範囲内での透過率が第２のフィルタ（ＲフィルタやＢフィルタ）の透過率よりも高いことである。この条件（３）においても、フィルタの透過率は例えば分光光度計で測定された値が用いられる。この条件（３）の波長範囲も、本発明の第１の色（Ｇ色など）と、第２の色（Ｒ、Ｂ色など）とを区別するために定められた範囲であって、Ｒ色やＢ色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、ＲＢフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長５００ｎｍ以上５６０ｎｍ以下の範囲内で相対的に高いフィルタを第１のフィルタとして用い、透過率が相対的に低いフィルタを第２のフィルタとして用いることができる。

〔条件（４）〕
条件（４）は、３原色のうち最も輝度信号に寄与する色（例えばＲＧＢのうちのＧ色）と、この３原色とは異なる色とを含む２色以上のフィルタを、第１のフィルタとして用いることである。この場合には、第１のフィルタの各色以外の色に対応するフィルタが第２のフィルタとなる。

＜複数種類の第１のフィルタ（Ｇフィルタ）＞
したがって、第１のフィルタとしてのＧ色のＧフィルタは一種類に限定されるものではなく、例えば複数種類のＧフィルタ（Ｇ１フィルタ、Ｇ２フィルタ）を第１のフィルタとして用いることもできる。すなわち上述の各実施形態に係るカラーフィルタ（基本配列パターン）のＧフィルタが、Ｇ１フィルタまたはＧ２フィルタに適宜置き換えられてもよい。Ｇ１フィルタは第１の波長帯域のＧ光を透過し、Ｇ２フィルタはＧ１フィルタと相関の高い第２の波長帯域のＧ光を透過する（図３２参照）。

Ｇ１フィルタとしては、現存のＧフィルタ（例えば第１実施形態のＧフィルタ）を用いることができる。また、Ｇ２フィルタとしては、Ｇ１フィルタと相関の高いフィルタを用いることができる。この場合に、Ｇ２フィルタが配置される受光素子の分光感度曲線のピーク値は、例えば波長５００ｎｍから５３５ｎｍの範囲（現存のＧフィルタが配置される受光素子の分光感度曲線のピーク値の近傍）にあることが望ましい。なお、４色（Ｒ、Ｇ１、Ｇ２、Ｂ）のカラーフィルタを決定する方法は、例えば特開２００３−２８４０８４号に記載されている方法が用いられる。

このようにカラー撮像素子により取得される画像の色を４種類とし、取得される色情報を増やすことにより、３種類の色（ＲＧＢ）のみが取得される場合と較べて、より正確に色を表現することができる。すなわち、眼で違うものに見える色は違う色に、同じものに見える色は同じ色にそれぞれ再現すること（「色の判別性」を向上させること）ができる。

なお、Ｇ１、Ｇ２フィルタの透過率は、第１実施形態のＧフィルタの透過率と基本的には同じであるので、輝度信号を得るための寄与率は５０％よりは高くなる。したがって、Ｇ１、Ｇ２フィルタは前述の条件（１）を満たす。

また、カラーフィルタ配列（受光素子）の分光感度特性を示す図３２において、各Ｇ１、Ｇ２フィルタの透過率のピーク（各Ｇ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。各Ｇ１、Ｇ２フィルタの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、各Ｇ１、Ｇ２フィルタは前述の条件（２）、（３）も満たしている。

なお、各Ｇ１、Ｇ２フィルタの配置や個数は適宜変更してもよい。また、Ｇフィルタの種類を３種類以上に増加してもよい。

＜透明フィルタ（Ｗフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタＷ（白色画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えて透明フィルタＷを配置することが好ましい。このようにＧ画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。

透明フィルタＷは、透明色（第１の色）のフィルタである。透明フィルタＷは、可視光の波長域に対応する光を透過可能であり、例えばＲＧＢの各色の光の透過率が５０％以上となるフィルタである。透明フィルタＷの透過率は、Ｇフィルタよりも高くなるので、輝度信号を得るための寄与率もＧ色（６０％）よりは高くなり、前述の条件（１）を満たす。

カラーフィルタ配列（受光素子）の分光感度特性を示す図３３において、透明フィルタＷの透過率のピーク（白色画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、透明フィルタＷの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、透明フィルタＷは前述の条件（２）、（３）も満たしている。なお、Ｇフィルタについても透明フィルタＷと同様に前述の条件（１）〜（３）を満たしている。

このように透明フィルタＷは、前述の条件（１）〜（３）を満たしているので、本発明の第１のフィルタとして用いることができる。なお、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部を透明フィルタＷに置き換えているので、前述の条件（４）も満たしている。

＜エメラルドフィルタ（Ｅフィルタ）＞
上述の実施形態では、主としてＲＧＢ色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド（Ｅ）色に対応するフィルタＥ（エメラルド画素）としてもよい。特に第１のフィルタ（Ｇフィルタ）の一部に代えてエメラルドフィルタ（Ｅフィルタ）を配置しても良い。このようにＧフィルタの一部をＥフィルタで置き換えた４色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。

カラーフィルタ配列（受光素子）の分光感度特性を示す図３４において、エメラルドフィルタＥの透過率のピーク（Ｅ画素の感度のピーク）は波長４８０ｎｍ以上５７０ｎｍ以下の範囲内にある。また、エメラルドフィルタＥの透過率は波長５００ｎｍ以上５６０ｎｍ以下の範囲内で、ＲＢフィルタの透過率よりも高くなる。このため、エメラルドフィルタＥは前述の条件（２）、（３）を満たしている。また、カラーフィルタ配列では、ＲＧＢの３原色のうち最も輝度信号に寄与するＧ色に対応するＧフィルタの一部をエメラルドフィルタＥに置き換えているので、前述の条件（４）も満たしている。

なお、図３４に示した分光特性では、エメラルドフィルタＥがＧフィルタよりも短波長側にピークを持つが、Ｇフィルタよりも長波長側にピークを持つ（少し黄色よりの色に見える）場合もある。このようにエメラルドフィルタＥとしては、本発明の各条件を満たすものを選択可能であり、例えば、条件（１）を満たすようなエメラルドフィルタＥを選択することもできる。

＜他の色の種類＞
上述の各実施形態では、原色ＲＧＢのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）に、Ｇを加えた４色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件（１）〜（４）のいずれかを満たすカラーフィルタを本発明の第１のフィルタとし、他のカラーフィルタを第２のフィルタとする。

＜ハニカム配置＞
上記各実施形態の各カラーフィルタ配列は、各色のカラーフィルタが水平方向（Ｈ）及び垂直方向（Ｖ）に２次元配列されてなる基本配列パターンを含み、かつこの基本配列パターンが水平方向（Ｈ）及び垂直方向（Ｖ）に繰り返し配置されてなるが、本発明はこれに限定されるものではない。

例えば、上述の各実施形態の基本配列パターンを光軸回りに４５°回転させた所謂ハニカム配列状の基本配列パターンを用いて、基本配列パターンを斜め方向（ＮＥ、ＮＷ）に繰り返し配置してなる配列パターンによってカラーフィルタを構成してもよい。

上記の各実施形態では、本発明のカラー撮像素子を備える撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば内視鏡などの各種の撮像装置に本発明を適用することができる。

さらにまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０，５５，７１…デジタルカメラ、２０，４１，５８，７２，７５，７７…カラー撮像素子、２２，４３，５９，７３…画像処理回路、３３…画素、３４Ｒ，３４Ｇ，３４Ｂ…Ｒ、Ｇ、Ｂフィルタ、４４…電荷蓄積時間調整部、４６Ａ…第１群の画素、４６Ｂ…第２群の画素、５１…高感度画像生成部、５２…高解像度画像生成部、５３…広ＤＲ画像生成部、６６，７６…マイクロレンズ、６９…視差画像生成部、Ｐ，Ｐ１…基本配列パターン

Claims (13)

1. 水平方向及び垂直方向にそれぞれ所定画素間隔でマトリクス状に配列された光電変換素子で構成される第１群の画素と、前記第１群の画素の各光電変換素子に対して前記水平方向及び垂直方向にそれぞれ前記所定画素間隔の半分ずらした位置に配列された光電変換素子で構成される第２群の画素と、前記第１及び第２画素群上にそれぞれ同一の特定のカラーフィルタ配列で配列されてなるカラーフィルタとを備えるカラー撮像素子であって、
   前記カラーフィルタ配列は、１色以上の第１の色に対応する第１のフィルタと輝度信号を得るための寄与率が前記第１の色よりも低い２色以上の第２の色に対応する第２のフィルタとが配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、
   前記第１のフィルタは、前記カラーフィルタ配列の水平、垂直、斜め右上及び斜め右下方向の各ライン内に１つ以上配置され、
   前記第２の色の各色に対応する前記第２のフィルタは、前記基本配列パターン内に前記カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置され、
   前記第１のフィルタに対応する第１の色の画素数の比率は、前記第２のフィルタに対応する第２の色の各色の画素数の比率よりも大きいカラー撮像素子。
2. 前記第１群の画素は、撮影光学系の互いに異なる２つの領域の一方を透過した被写体光を選択的に受光し、前記第２群の画素は、前記２つの領域の他方を透過した被写体光を選択的に受光する請求項１記載のカラー撮像素子。
3. 前記２つの領域は、前記撮影光学系の光軸に対して対称な領域である請求項２記載のカラー撮像素子。
4. 前記第２群の画素の感度は、前記第１群の画素の感度よりも低い請求項１記載のカラー撮像素子。
5. 前記第２群の画素の面積は、前記第１群の画素の面積よりも小さい請求項４記載のカラー撮像素子。
6. 前記第２群の画素上の前記カラーフィルタの光透過率は、前記第１群の画素上の前記カラーフィルタの光透過率よりも低い請求項４記載のカラー撮像素子。
7. 前記第１及び第２のフィルタの上方にはそれぞれマイクロレンズが設けられており、
   前記第２群の画素上に位置する前記マイクロレンズは、前記第１群の画素上に位置する前記マイクロレンズよりも小さい請求項４記載のカラー撮像素子。
8. 請求項１記載のカラー撮像素子と、
   前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
   を備える撮像装置。
9. 互いに前記斜め右上方向または斜め右下方向に隣接しかつ同色の前記カラーフィルタの下方に配置されている前記第１及び第２群の画素からそれぞれ出力される出力信号を加算して、画像を生成する第１画像生成手段を備える請求項８に記載の撮像装置。
10. 前記第１群の画素からの出力信号と前記第２群の画素からの出力信号に基づき、前記第１及び第２群の画素のそれぞれの画素数よりも大きい画素数を有する画像を生成する第２画像生成手段を備える請求項８または９記載の撮像装置。
11. 前記第２群の画素の電荷蓄積時間を前記第１群の画素の電荷蓄積時間よりも短くする電荷蓄積時間調整手段と、
    前記第１群の画素からの出力信号により構成される画像と、前記第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段とを備える請求項８から１０のいずれか１項に記載の撮像装置。
12. 請求項２または３記載のカラー撮像素子と、
    前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
    前記第１群の画素からの出力信号によって構成される第１画像と、前記第２群の画素からの出力信号によって構成される第２画像とを含む視差画像を生成する第４画像生成手段と、
    を備える撮像装置。
13. 請求項４から７のいずれか１項に記載のカラー撮像素子と、
    前記カラー撮像素子の撮像面に被写体光を結像する撮影光学系と、
    前記第１群の画素からの出力信号により構成される画像と、前記第２群の画素からの出力信号により構成される画像とに基づいてダイナミックレンジが拡張された画像を生成する第３画像生成手段と、
    を備える撮像装置。

Images