JP5663573B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

これまで、それぞれ感度の異なる信号が得られる２種類の光電変換素子群を持つ固体撮像素子を搭載した撮像装置が種々提案されている（例えば特許文献１〜３参照）。

特許文献１に記載の撮像装置は、それぞれ選択波長性の異なる赤色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対と、それぞれ選択波長性の異なる緑色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対と、それぞれ選択波長性の異なる青色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対とを含む固体撮像素子を有する。そして、この撮像装置は、各画素部対の２つの光電変換素子からそれぞれ得られる信号を合成することで、色再現性の向上を実現している。

特許文献１に記載の撮像装置で撮像を行う場合、撮像装置で撮像する対象となる被写体の明るさは環境によって変化するため、明るさによって最適な色再現性を得られることが求められる。しかし、特許文献１は、明るさによって最適な色再現性を得ることについては特に考慮していない。

特許文献２は、それぞれ異なる分光特性のカラーフィルタを上方に持ち、受光面積がそれぞれ異なる主感光部及び副感光部を有する固体撮像素子を開示している。しかし、特許文献２は、照明光源の識別精度向上を主たる目的とするものであり、色再現性の向上については特に考慮していない。

特許文献３には、それぞれの光電変換感度が同一又は異なる２つの光電変換素子のペアを複数有する固体撮像素子が開示されている。しかし、特許文献３は、ダイナミックレンジの拡大にしか言及しておらず、色再現性の向上についての記載はない。

日本国特開２００９−２６８０７８号公報 日本国特開２００４−２８９７２８号公報 日本国特開２００８−２７０８３２号公報

本発明は、上記事情に鑑みてなされたものであり、幅広い光量条件下で最適な色再現性の画像を得ることが可能な撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を備える撮像装置であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成部と、前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成部と、各第一の光電変換素子及び各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光部とを備え、前記第二の信号生成部は、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光部による測光結果に応じて変更するものである。

本発明の撮像方法は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を用いた撮像方法であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成ステップと、前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成ステップと、各第一の光電変換素子及び各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光ステップとを備え、前記第二の信号生成ステップでは、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光ステップによる測光結果に応じて変更するものである。

本発明によれば、幅広い光量条件下で最適な色再現性の画像を得ることが可能な撮像装置及び撮像方法を提供することができる。

本発明の一実施形態を説明するための撮像装置の概略構成を示す図 図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図 図２に示した固体撮像素子における光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性を示した図 図１に示したデジタルカメラにおけるデジタル信号処理部の内部構成を示す図 図１に示したデジタルカメラの撮像モード時の動作を説明するためのフローチャート 図５に示したフローチャートにおけるナロー優先処理（ステップＳ４）の詳細を示すフローチャート 図５に示したフローチャートにおけるワイド優先処理（ステップＳ７）の詳細を示すフローチャート 図５に示したフローチャートにおけるナロー・ワイド加算処理（ステップＳ９）の詳細を示すフローチャート 図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するワイド優先駆動を説明するための図 図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するナロー優先駆動を説明するための図 図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するワイド優先駆動を説明するための図 図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するナロー優先駆動を説明するための図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等がある。以下ではデジタルカメラを例にして説明する。

図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。また、撮影レンズ１の前方には、図示しないメカニカルシャッタも設けられている。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。撮像素子駆動部１０は、メカニカルシャッタの開閉制御も行う。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６及びＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、補間演算やガンマ補正演算、同時化処理、ＲＧＢ／ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、固体撮像素子５から出力される撮像信号に基づいて測光を行う測光部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備える。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、測光部１９、外部メモリ制御部２０、及び表示制御部２２は、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す平面模式図である。

図２に示したように、固体撮像素子５は、複数の光電変換素子５１Ｗからなる第一グループと、複数の光電変換素子５１Ｎからなる第二グループと、複数の垂直電荷転送部５４と、水平電荷転送部５２と、出力部５３とを備える。

固体撮像素子５に含まれる全ての光電変換素子は、半導体基板表面の列方向Ｙとこれに交差する（図２の例では直交する）行方向Ｘとに二次元状に配置されている。この全ての光電変換素子は、列方向Ｙに並ぶ複数の光電変換素子５１Ｗからなる第一の光電変換素子列と、列方向Ｙに並ぶ複数の光電変換素子５１Ｎからなる第二の光電変換素子列とを有する。これら第一の光電変換素子列と第二の光電変換素子列は、行方向Ｘに交互に一定ピッチで並べられている。更に、第一の光電変換素子列は、第二の光電変換素子列に対して、各光電変換素子列の光電変換素子の列方向Ｙにおける配列ピッチの１／２だけ列方向Ｙにずらして配置されている。このような配列は、正方格子状に配置した各光電変換素子５１Ｗに対して斜め４５°方向にずれた位置に光電変換素子５１Ｎを配置することで得ることができる。

このように、各光電変換素子５１Ｗに対して所定方向の隣には、光電変換素子５１Ｎが配置されている。各光電変換素子５１Ｗと、各光電変換素子５１Ｗに対して所定方向に隣接する光電変換素子５１Ｎとにより、画素のペアが構成される。

固体撮像素子５に含まれる全ての光電変換素子は、略同一構成（設計上同一構成）となっている。略同一構成とは、半導体基板内に形成される光電変換領域（フォトダイオード）のサイズが略同じ（設計上同じ）であり、その光電変換領域の上方に形成される遮光膜の開口サイズも略同じ（設計上同じ）であることを意味する。

光電変換素子５１Ｗからなる第一グループの露光時間と、光電変換素子５１Ｎからなる第二グループの露光時間は、独立に制御可能となっている。

この固体撮像素子５は、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎが、次の条件を満たしている。

（１）光電変換素子５１Ｗの分光感度特性と光電変換素子５１Ｎの分光感度特性が互いに異なる。
（２）光電変換素子５１Ｗが主として分光感度を有する波長範囲と、光電変換素子５１Ｎが主として分光感度を有する波長範囲（例えば光電変換素子５１Ｎの分光感度特性における半値幅）とが、可視光のうちの特定の色の光の波長範囲に入っている。
（３）光電変換素子５１Ｎの分光感度特性における半値幅が、光電変換素子５１Ｗの分光感度特性における半値幅よりも狭い。
（４）光電変換素子５１Ｗが主として分光感度を有する波長範囲の各波長における分光感度の値が、光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。
（５）光電変換素子５１Ｗの分光感度特性における半値幅に対する、光電変換素子５１Ｗの分光感度のピーク値の比（半値幅／ピーク値）が、光電変換素子５１Ｎの分光感度特性における半値幅に対する、光電変換素子５１Ｎの分光感度のピーク値の比（半値幅／ピーク値）より大きい。

なお、光電変換素子が主として分光感度を有する波長範囲とは、その光電変換素子から出力される信号のうちの大部分が、その波長範囲の光に応じた信号であることを意味し、その波長範囲以外の光に応じた信号成分が、その光電変換素子から出力される信号の色に対してほとんど影響を与えないような範囲のことを示す。以下では、各光電変換素子の分光感度特性における半値幅を、その各光電変換素子が主として分光感度を有する波長範囲として説明する。

ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎとで分光感度特性を異ならせる方法としてはいくつか挙げられる。この固体撮像素子５では、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎの各々の上方に設けるカラーフィルタの分光感度特性を異ならせる方法を採用している。

各光電変換素子５１Ｗの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ１と、緑色光を透過するカラーフィルタＧ１と、青色光を透過するカラーフィルタＢ１とが設けられている。

図２においては、カラーフィルタＲ１が上方に設けられた光電変換素子５１Ｗに“Ｒ１”の文字を付してある。また、カラーフィルタＧ１が上方に設けられた光電変換素子５１Ｗに“Ｇ１”の文字を付してある。また、カラーフィルタＢ１が上方に設けられた光電変換素子５１Ｗに“Ｂ１”の文字を付してある。

各光電変換素子５１Ｎの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ２と、緑色光を透過するカラーフィルタＧ２と、青色光を透過するカラーフィルタＢ２とが設けられている。

図２においては、カラーフィルタＲ２が上方に設けられた光電変換素子５１Ｎに“Ｒ２”の文字を付してある。また、カラーフィルタＧ２が上方に設けられた光電変換素子５１Ｎに“Ｇ２”の文字を付してある。また、カラーフィルタＢ２が上方に設けられた光電変換素子５１Ｎに“Ｂ２”の文字を付してある。

以下の説明では、カラーフィルタＲ１とカラーフィルタＲ２を総称して赤色フィルタともいう。また、カラーフィルタＧ１とカラーフィルタＧ２を総称して緑色フィルタともいう。また、カラーフィルタＢ１とカラーフィルタＢ２を総称して青色フィルタともいう。

このように、ペアを構成する光電変換素子５１Ｗ及び光電変換素子５１Ｎの各々の上方には同一色のフィルタ（赤色フィルタ、緑色フィルタ、又は青色フィルタ）が配置されている。したがって、固体撮像素子５には、上方に設けられるフィルタの色がそれぞれ異なる３種類のペア（赤色フィルタを上方に持つＲペア、緑色フィルタを上方に持つＧペア、青色フィルタを上方に持つＢペア）が含まれる。

なお、Ｒペアの各光電変換素子に対する上記条件（２）における特定の色は赤色になる。Ｇペアの各光電変換素子に対する上記条件（２）における特定の色は緑色になる。Ｂペアの各光電変換素子に対する上記条件（２）における特定の色は青色になる。

Ｒペアの各光電変換素子では、カラーフィルタＲ１とカラーフィルタＲ２のそれぞれの分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

Ｇペアの各光電変換素子では、カラーフィルタＧ１とカラーフィルタＧ２のそれぞれの分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

Ｂペアの各光電変換素子では、カラーフィルタＢ１とカラーフィルタＢ２のそれぞれの分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

以下では、Ｒペアの各光電変換素子、Ｇペアの各光電変換素子、Ｂペアの各光電変換素子の分光感度特性の具体例を説明する。

図３は、図２に示した固体撮像素子５における光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性の一例を示した図である。図３において、符号Ｒ１（λ），Ｇ１（λ），Ｂ１（λ）で示した特性が、それぞれカラーフィルタＲ１，Ｇ１，Ｂ１が設けられた光電変換素子５１Ｗの分光感度特性を示す。また、符号Ｒ２（λ），Ｇ２（λ），Ｂ２（λ）で示した特性が、それぞれカラーフィルタＲ２，Ｇ２，Ｂ２が設けられた光電変換素子５１Ｎの分光感度特性を示す。

図３に示した例では、Ｒペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｒペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｒ２（λ）における半値幅は、分光感度特性Ｒ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。更に、分光感度特性Ｒ１（λ）における半値幅が、赤色の波長範囲に入っている。また、分光感度特性Ｒ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｒ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。なお、分光感度特性Ｒ１（λ），Ｒ２（λ）における各半値幅は、可視光の波長範囲における値とした。

図３に示した例では、Ｇペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｇペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｇ２（λ）における半値幅は、分光感度特性Ｇ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。更に、分光感度特性Ｇ１（λ）における半値幅が、緑色の波長範囲に入っている。更に、分光感度特性Ｇ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｇ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。

図３に示した例では、Ｂペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｂペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｂ２（λ）における半値幅は、分光感度特性Ｂ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。更に、分光感度特性Ｂ１（λ）における半値幅が、青色の波長範囲に入っている。更に、分光感度特性Ｂ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｂ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。なお、分光感度特性Ｂ１（λ），Ｂ２（λ）における各半値幅は、可視光の波長範囲における値とした。

このように、図３に示した分光感度特性にすることで、上記（１）〜（５）の条件を満たすことができる。

各ペアを構成する光電変換素子５１Ｗは、当該各ペアを構成する光電変換素子５１Ｎよりも半値幅が広いワイドな分光感度特性を持つ。このため、以下では第一グループの光電変換素子５１Ｗのことをワイド素子群ともいう。また、このワイド素子群の各光電変換素子５１Ｗから出力される撮像信号の集合である撮像画像信号のことを以下ではワイド信号とも言う。

また、各ペアを構成する光電変換素子５１Ｎは、当該各ペアを構成する光電変換素子５１Ｗよりも半値幅が狭いナローな分光感度特性を持つ。このため、以下では第二グループの光電変換素子５１Ｎのことをナロー素子群ともいう。また、このナロー素子群の各光電変換素子５１Ｎから出力される撮像信号の集合である撮像画像信号のことを以下ではナロー信号とも言う。

第一グループの光電変換素子５１Ｗの分光特性は、第二グループの光電変換素子５１Ｎよりもワイドな分光を持つ。このため、光源に依存せずに安定した色再現性が得られるという利点がある。また、この分光特性は、光吸収量が多いため、高感度かつ低ノイズを実現できるという利点がある。

これに対し、第二グループの光電変換素子５１Ｎは、第一グループの光電変換素子５１Ｗよりもナローな分光を持つ。このため、彩度の高い画像が得られるという利点がある。また、この分光特性は、光吸収量が少ないため、色弁別性がよく、色再現域が広いという利点がある。

図２に戻り、複数の垂直電荷転送路５４は、各光電変換素子列に対応して１つずつ設けられている。各垂直電荷転送路５４は、対応する光電変換素子列の各光電変換素子から読み出した電荷を、列方向Ｙに転送する。

垂直電荷転送部５４は、半導体基板内に形成された電荷転送チャネル５４ａと、この上方に列方向Ｙに並べて設けられた転送電極Ｖ１〜Ｖ８とで構成されている。転送電極Ｖ１〜Ｖ８には、撮像素子駆動部１０から駆動パルスが供給されるようになっている。この駆動パルスによって、垂直電荷転送部５４が駆動される。

電荷転送チャネル５４ａと、これに対応する光電変換素子列の各光電変換素子との間には、電荷読み出し領域５６（図２では模式的に矢印で示した）が形成されている。

転送電極Ｖ３は、第一グループの光電変換素子５１Ｗのうち、固体撮像素子５の水平電荷転送部５２が設けられた側とは反対側の端部（上端部）から数えて奇数行目の光電変換素子５１Ｗの電荷読み出し領域５６も覆っている。つまり、転送電極Ｖ３は、前記奇数行目の光電変換素子５１Ｗから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ７は、第一グループの光電変換素子５１Ｗのうち、固体撮像素子５の上端部から数えて偶数行目の光電変換素子５１Ｗの電荷読み出し領域５６も覆っている。つまり、転送電極Ｖ７は、前記偶数行目の光電変換素子５１Ｗから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ５は、第二グループの光電変換素子５２Ｎのうち、固体撮像素子５の上端部から数えて奇数行目の光電変換素子５２Ｎの電荷読み出し領域５６も覆っている。つまり、転送電極Ｖ５は、前記奇数行目の光電変換素子５２Ｎから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ１は、第二グループの光電変換素子５２Ｎのうち、固体撮像素子５の上端部から数えて偶数行目の光電変換素子５２Ｎの電荷読み出し領域５６も覆っている。つまり、転送電極Ｖ１は、前記偶数行目の光電変換素子５２Ｎから電荷を読み出すための読み出し電極も兼ねている。

水平電荷転送部５２は、複数の垂直電荷転送部５４を転送されてきた電荷を、行方向Ｘに転送する。

出力部５３は、水平電荷転送部５２を転送されてきた電荷を、その電荷量に応じた信号に変換して出力する。

図１に戻り、測光部１９は、ワイド素子群から出力されるワイド信号を利用して測光値（ワイド測光値）を算出する。また、測光部１９は、ナロー素子群から出力されるナロー信号を利用して測光値（ナロー測光値）を算出する。

システム制御部１１は、ナロー測光値又はワイド測光値に基づいて適正露出値を決定するＡＥ（自動露出）機能を有する。

次に、図１に示したデジタルカメラにおけるデジタル信号処理部１７の詳細構成について説明する。

図４は、図１に示したデジタルカメラにおけるデジタル信号処理部の内部構成を示す図である。図４に示すように、デジタル信号処理部１７は、同時化処理部１７１Ｗ，１７１Ｎと、輝度・色差信号生成部１７２Ｗ，１７２Ｎと、輝度・色差信号生成部１７３とを備える。

同時化処理部１７１Ｗは、ワイド素子群から出力され、メインメモリ１６に記憶されたワイド信号に同時化処理を施してワイド撮像画像データを生成する。

同時化処理とは、撮像画像信号を構成する各撮像信号のメモリ上の位置に、当該撮像信号の色成分以外の色成分の撮像信号を、周囲の撮像信号を用いて補間する処理である。この処理により、ワイド素子群の各光電変換素子５１Ｗに対応するメモリ位置に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの色成分の撮像信号からなる撮像画素信号が生成される。この撮像画素信号の集合によってワイド撮像画像データが生成される。

同時化処理部１７１Ｎは、ナロー素子群から出力され、メインメモリ１６に記憶されたナロー信号に同時化処理を施してナロー撮像画像データを生成する。この同時化処理により、ナロー素子群の各光電変換素子５１Ｎに対応するメモリ位置に、Ｒ、Ｇ、Ｂの３つの色成分の撮像信号からなる撮像画素信号が生成される。この撮像画素信号の集合によってナロー撮像画像データが生成される。

輝度・色差信号生成部１７２Ｗは、同時化処理部１７１Ｗで生成されたワイド撮像画像データの各撮像画素信号を利用して、周知の演算により、輝度信号Ｙ_Ｗと、色信号である色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。

輝度・色差信号生成部１７２Ｎは、同時化処理部１７１Ｎで生成されたナロー撮像画像データの各撮像画素信号を利用して、周知の演算により、輝度信号Ｙ_Ｎと、色信号である色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。

輝度・色差信号生成部１７３は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎの少なくとも一方を利用して、記録媒体２１に記録用の輝度信号である輝度信号Ｙを生成する。また、輝度・色差信号生成部１７３は、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎの少なくとも一方を利用して、記録媒体２１に記録用の色信号である色差信号Ｃｒを生成する。また、輝度・色差信号生成部１７３は、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎの少なくとも一方を利用して、記録媒体２１に記録用の色信号である色差信号Ｃｂを生成する。

輝度・色差信号生成部１７３で生成された輝度信号Ｙと色差信号Ｃｒ，Ｃｂで構成される撮像画像データは、圧縮伸張処理部１８で圧縮された後に、記録媒体２１に記録される。

このデジタルカメラの特徴は、輝度・色差信号生成部１７３が、輝度信号Ｙと色差信号Ｃｒ，Ｃｂの生成方法を、測光部１９による測光結果に応じて変更することにある。

具体的に、輝度・色差信号生成部１７３は、以下の式（１）、（２）、（３）にしたがって、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。

Ｙ＝ε_１Ｙ_Ｎ＋ε_２Ｙ_Ｗ （１）
Ｃｒ＝α_１Ｃｒ_Ｎ＋α_２Ｃｒ_Ｗ （２）
Ｃｂ＝α_１Ｃｂ_Ｎ＋α_２Ｃｂ_Ｗ （３）
ε_１、ε_２、α_１、α_２は、それぞれ係数

以下、輝度・色差信号生成部１７３による輝度信号Ｙと色差信号Ｃｒ，Ｃｂの生成処理を具体的に説明する。

ナロー測光値が、それに基づいて決定される適正露出値である閾値Ｔｈ１以上であった場合は、ナロー素子群で適正露出が得られる（ナロー素子群で露光量が十分に足りている）ことになる。この場合には、輝度・色差信号生成部１７３が、ε_１＝１、ε_２＝０、０＜α_１≦１、α_２＝（１−α_１）として、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。

具体的には、輝度・色差信号生成部１７３は、次の第一の処理と第二の処理のいずれかを、ナロー測光値を求める際に用いたナロー信号に応じて選択して実行する。

第一の処理は、輝度信号Ｙ_Ｎそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎと色差信号Ｃｒ_Ｗを所定割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎと色差信号Ｃｂ_Ｗを所定割合で加算したものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第一の処理は、式（１）においてε_１＝１、ε_２＝０とし、式（２）、（３）においてα_１を０＜α_１＜１とし、α_２を（１−α_１）として演算する処理に相当する。

第二の処理は、輝度信号Ｙ_Ｎそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎそのものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎそのものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第二の処理は、式（１）においてε_１＝１、ε_２＝０とし、式（２）、（３）においてα_１＝１、α_２＝０として演算する処理に相当する。

ナロー測光値が閾値Ｔｈ１以上であっても、ナロー測光値を求める際に用いたナロー信号から同時化処理によって生成されるナロー撮像画像データにおいて、色飽和している撮像画素信号の占める割合が大きくなると、第二の処理を実行した場合に、色飽和した撮像画像データが得られてしまう。

そこで、輝度・色差信号生成部１７３は、ナロー測光値を求める際に用いたナロー信号に基づくナロー撮像画像データのうち、色飽和している撮像画素信号の割合が閾値以上になる場合には第一の処理を実行する。また、輝度・色差信号生成部１７３は、当該色飽和している撮像画素信号の割合が閾値未満になる場合には第二の処理を実行する。つまり、輝度・色差信号生成部１７３は、ナロー測光値を求める際に用いたナロー信号に基づくナロー撮像画像データの色飽和度合に応じて、第一の処理と第二の処理のいずれかを選択して実行する。

このようにすることで、ナロー撮像画像データの大部分が色飽和している場合でも、第一の処理を実行することで色差信号Ｃｒ，Ｃｂのダイナミックレンジを変更（彩度を変更）して色飽和を防ぎ、色再現性を向上させることができる。なお、このときのαの値は、色飽和を防ぐことができる値に設定すればよい。

また、ナロー測光値が閾値Ｔｈ１未満であり、かつ、ワイド測光値がそれに基づいて決定される適正露出値である閾値Ｔｈ２以上であった場合は、ナロー素子群では適正露出を得られないが、ワイド素子群では適正露出を得られる（ワイド素子群で露光量が十分に足りている）ことになる。このため、この場合には、輝度・色差信号生成部１７３が、ε_１＝０、ε_２＝１、０≦α_１＜１、α_２＝（１−α_１）として、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。

具体的には、輝度・色差信号生成部１７３は、次の第三の処理と第四の処理のいずれかを、ワイド測光値を求める際に用いたワイド信号に応じて選択して実行する。

第三の処理は、輝度信号Ｙ_Ｗそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎと色差信号Ｃｒ_Ｗを所定割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎと色差信号Ｃｂ_Ｗを所定割合で加算したものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第三の処理は、式（１）においてε_１＝０、ε_２＝１とし、式（２）、（３）においてα_１を０＜α_１＜１とし、α_２を（１−α_１）として演算する処理に相当する。

第四の処理は、輝度信号Ｙ_Ｗそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗそのものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗそのものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第四の処理は、式（１）においてε_１＝０、ε_２＝１とし、式（２）、（３）においてα_１＝０、α_２＝１として演算する処理に相当する。

ワイド測光値が閾値Ｔｈ２以上であっても、ワイド測光値を求める際に用いたワイド信号から同時化処理によって生成されるワイド撮像画像データにおいて、色飽和している撮像画素信号の占める割合が大きくなると、第四の処理を実行した場合に色飽和した撮像画像データが得られてしまう。

そこで、輝度・色差信号生成部１７３は、ワイド測光値を求める際に用いたワイド信号に基づくワイド撮像画像データのうち、色飽和している撮像画素信号の割合が閾値以上になる場合には第三の処理を実行する。また、輝度・色差信号生成部１７３は、当該色飽和している撮像画素信号の割合が閾値未満になる場合には第四の処理を実行する。つまり、輝度・色差信号生成部１７３は、ワイド測光値を求める際に用いたワイド信号に基づくワイド撮像画像データの色飽和度合に応じて、第三の処理と第四の処理のいずれかを選択して実行する。

このようにすることで、ワイド撮像画像データの大部分が色飽和している場合でも、第三の処理を実行することで、色差信号Ｃｒ，Ｃｂのダイナミックレンジを変更（彩度を変更）して色飽和を防ぎ、色再現性を向上させることができる。なお、このときのαの値は、色飽和を防ぐことができる値に設定すればよい。

また、ワイド測光値が閾値Ｔｈ２未満であった場合、この場合は、ナロー素子群、ワイド素子群のいずれでも適正露出を得られないほど暗いシーンであることが分かる。このため、この場合には、輝度・色差信号生成部１７３が、０＜ε_１≦１、０＜ε_２≦１、０＜α_１≦１、０＜α_２≦１として、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する。

具体的には、輝度・色差信号生成部１７３は、次の第五の処理と第六の処理と第七の処理のいずれかを、被写体シーンに応じて切り替えて実行する。

第五の処理は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを所定割合で加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを、色差信号Ｃｒ_Ｎの比率を多くした割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを、色差信号Ｃｂ_Ｎの比率を多くした割合で加算したものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第五の処理は、式（１）において０＜ε_１＜１、０＜ε_２＜１とし、式（２）、（３）において０＜α_１＜１、０＜α_２＜１、α_２＜α_１として演算する処理に相当する。

第六の処理は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを所定割合で加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを、色差信号Ｃｒ_Ｗの比率を多くした割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを、色差信号Ｃｂ_Ｗの比率を多くした割合で加算したものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第六の処理は、式（１）において０＜ε_１＜１、０＜ε_２＜１とし、式（２）、（３）において０＜α_１＜１、０＜α_２＜１、α_２＞α_１として演算する処理に相当する。

第七の処理は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを単純加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｗを単純加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを単純加算したものを色差信号Ｃｂとすることで、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する処理である。第七の処理は、式（１）においてε_１＝１、ε_２＝１とし、式（２）、（３）においてα_１＝α_２＝１として演算する処理に相当する。

第五の処理は、色差信号Ｃｒ，Ｃｂに含まれる色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎの割合が多いため、最終的に生成される撮像画像データの彩度は高くなる。このため、色鮮やかな被写体を再現するのに適した処理となる。

第六の処理は、色差信号Ｃｒ，Ｃｂに含まれる色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗの割合が多いため、最終的に生成される撮像画像データの彩度は低くなる。このため、肌色等、色鮮やかでない被写体を再現するのに適した処理となる。

第七の処理は、色差信号Ｃｒ，Ｃｂに含まれる色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎの割合が同じである。このため、彩度の変化はほとんどないが、輝度信号Ｙ、色差信号Ｃｒ，Ｃｂ共に感度を上げることができ、夜景等の暗いシーンに適した処理となる。

第五の処理から第七の処理は、このような特徴を持つ。このため、輝度・色差信号生成部１７３は、被写体シーンが感度を優先する被写体シーン（例えば夜景を含むシーン）であるときには第七の処理を実行する。また、輝度・色差信号生成部１７３は、被写体シーンが色再現性を優先する被写体シーン（例えば風景や人物を含むシーン）であるときには第五の処理又は第六の処理を実行する。このようにすることで、被写体シーンに応じて最適な画質を得ることができる。

なお、第五の処理と第六の処理における、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを加算する際の輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎの比率は、輝度信号Ｙが、適正露出値Ｔｈ２に基づく露光量に相当する信号レベルと同じかそれ以上になるように設定すればよい。

以下、図１に示したデジタルカメラの撮像モード時の動作について説明する。

図５は、図１に示したデジタルカメラの撮像モード時の動作を説明するためのフローチャートである。

操作部１４に含まれるシャッタボタンが半押しされると、システム制御部１１は、ＡＥ（自動露出制御）、ＡＦ（自動焦点調節制御）を行うための準備撮像を固体撮像素子５により実行する（ステップＳ１）。システム制御部１１は、この準備撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

次に、測光部１９が、準備撮像で固体撮像素子５から得られたナロー信号を取得し、ナロー信号に基づいて第一の測光値を算出する（ステップＳ２）。

次に、システム制御部１１が、第一の測光値に基づいて適正露出値（閾値Ｔｈ１）を決定し、第一の測光値が閾値Ｔｈ１以上か否かを判定する（ステップＳ３）。

第一の測光値が閾値Ｔｈ１以上であった場合（ステップＳ３：ＹＥＳ）、ナロー優先処理が実行される（ステップＳ４）。

第二の測光値が閾値Ｔｈ１未満であった場合（ステップＳ３：ＮＯ）、測光部１９が、準備撮像で固体撮像素子５から得られたワイド信号を取得し、このワイド信号に基づいて第二の測光値を算出する（ステップＳ５）。

次に、システム制御部１１が、第二の測光値に基づいて適正露出値（閾値Ｔｈ２）を決定し、第二の測光値が閾値Ｔｈ２以上か否かを判定する（ステップＳ６）。

第二の測光値が閾値Ｔｈ２以上であった場合（ステップＳ６：ＹＥＳ）、ワイド優先処理が実行される（ステップＳ７）。

第二の測光値が閾値Ｔｈ２未満であった場合（ステップＳ６：ＮＯ）、ナロー・ワイド加算処理が実行される（ステップＳ９）。

次に、図５に示したフローチャートにおけるナロー優先処理、ワイド優先処理、ナロー・ワイド加算処理の詳細について説明する。

図６は、図５に示したフローチャートにおけるステップＳ４の内容を示すフローチャートである。

ナロー優先処理が開始されると、システム制御部１１が、彩度ダイナミックレンジ（色差信号Ｃｒ，Ｃｂのダイナミックレンジ）を変更するか否かを、準備撮像で得られたナロー信号に基づいて判定する（ステップＳ４１）。

具体的には、システム制御部１１は、準備撮像で得られたナロー信号をデジタル信号処理部１７で同時化処理してナロー撮像画像データを生成する。そして、システム制御部１１は、このナロー撮像画像データのうち、色飽和している撮像画素信号の当該ナロー撮像画像データ全体に占める割合を算出する。システム制御部１１は、この割合が閾値以上であった場合には、彩度ダイナミックレンジを変更すべきと判定し、この割合が閾値未満であった場合には、彩度ダイナミックレンジを変更しなくてよいと判定する。

ステップＳ４１の判定がＹＥＳであった場合は、システム制御部１１が撮像素子駆動部１０を駆動し、第一の測光値に基づいて決定した適正露出値Ｔｈ１にしたがって本撮像を実行する（ステップＳ４２）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ４２の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ４３）。

次に、デジタル信号処理部１７は、ステップＳ４３で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ４３で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第一の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ４４）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｎそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎと色差信号Ｃｒ_Ｗを所定割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎと色差信号Ｃｂ_Ｗを所定割合で加算したものを色差信号Ｃｂとする。

一方、ステップＳ４１の判定がＮＯであった場合、システム制御部１１は、撮像素子駆動部１０を駆動し、第一の測光値に基づいて決定した適正露出値Ｔｈ１にしたがって本撮像を実行する（ステップＳ４５）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ４５の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ４６）。

次に、デジタル信号処理部１７は、ステップＳ４６で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ４６で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第二の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ４７）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｎそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎそのものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎそのものを色差信号Ｃｂとする。

ステップＳ４４、ステップＳ４７で生成された、輝度信号Ｙと色差信号Ｃｒ，Ｃｂで構成される撮像画像データは、圧縮された後に、記録媒体２１に記録される。そして、撮像動作が終了する。

図７は、図５に示したフローチャートにおけるステップＳ７の内容を示すフローチャートである。

ワイド優先処理が開始されると、システム制御部１１が、彩度ダイナミックレンジを変更するか否かを、準備撮像で得られたワイド信号に基づいて判定する（ステップＳ７１）。

具体的には、システム制御部１１は、準備撮像で得られたワイド信号をデジタル信号処理部１７で同時化処理してワイド撮像画像データを生成する。そして、システム制御部１１は、このワイド撮像画像データのうち、色飽和している撮像画素信号の当該ワイド撮像画像データ全体に占める割合を算出する。更に、システム制御部１１は、この割合が閾値以上であった場合には、彩度ダイナミックレンジを変更すべきと判定し、この割合が閾値未満であった場合には、彩度ダイナミックレンジを変更しなくてよいと判定する。

ステップＳ７１の判定がＹＥＳであった場合、システム制御部１１が撮像素子駆動部１０を駆動し、第二の測光値に基づいて決定した適正露出値Ｔｈ２にしたがって本撮像を実行する（ステップＳ７２）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ７２の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ７３）。

次に、デジタル信号処理部１７は、ステップＳ７３で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ７３で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第三の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ７４）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｗそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｎと色差信号Ｃｒ_Ｗを所定割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｎと色差信号Ｃｂ_Ｗを所定割合で加算したものを色差信号Ｃｂとする。

一方、ステップＳ７１の判定がＮＯであった場合、システム制御部１１が撮像素子駆動部１０を駆動し、第二の測光値に基づいて決定した適正露出値Ｔｈ２にしたがって本撮像を実行する（ステップＳ７５）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ７５の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ７６）。

次に、デジタル信号処理部１７は、ステップＳ７６で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ７６で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第四の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ７７）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｗそのものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗそのものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗそのものを色差信号Ｃｂとする。

ステップＳ７４、ステップＳ７７で生成された、輝度信号Ｙと色差信号Ｃｒ，Ｃｂで構成される撮像画像データは、圧縮された後に、記録媒体２１に記録されて、撮像動作が終了する。

図８は、図５に示したフローチャートにおけるステップＳ９の内容を示すフローチャートである。

ナロー・ワイド加算処理が開始されると、システム制御部１１が、彩度ダイナミックレンジを変更するか否かを、準備撮像で得られたナロー信号又はワイド信号に基づいて判定する（ステップＳ９１）。

具体的には、システム制御部１１は、準備撮像で得られたナロー信号又はワイド信号に基づいて、撮像中の被写体シーンを周知の方法により判別する。そして、システム制御部１１は、被写体シーンが色再現性を優先する被写体シーン（風景や人物を含むシーン）であるときには、彩度ダイナミックレンジを変更すべきと判定し、被写体シーンが感度を優先する被写体シーン（夜景を含むシーン）であるときには、彩度ダイナミックレンジを変更しなくてよいと判定する。なお、システム制御部１１は、被写体シーンを判別できなかったときには、彩度ダイナミックレンジを変更しなくてよいと判定する。

ステップＳ９１の判定がＹＥＳであった場合は、システム制御部１１が更に、被写体シーンが主要被写体として風景を含むシーンと主要被写体として人物を含むシーンのどちらであるかを判定する（ステップＳ９２）。

ステップＳ９２の判定で、被写体シーンが風景を含むシーンであった場合、システム制御部１１は、撮像素子駆動部１０を駆動し、第二の測光値に基づいて決定した適正露出値Ｔｈ２にしたがって本撮像を実行する（ステップＳ９３）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ９３の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ９４）。

次に、デジタル信号処理部１７は、ステップＳ９４で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ９４で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第五の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ９５）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを所定割合で加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを、色差信号Ｃｒ_Ｎの比率を多くした割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを、色差信号Ｃｂ_Ｎの比率を多くした割合で加算したものを色差信号Ｃｂとする。

一方、ステップＳ９２の判定で、被写体シーンが人物を含むシーンであった場合、システム制御部１１が撮像素子駆動部１０を駆動し、第二の測光値に基づいて決定した適正露出値Ｔｈ２にしたがって本撮像を実行する（ステップＳ９６）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ９６の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ９７）。

次に、デジタル信号処理部１７は、ステップＳ９７で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ９７で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第六の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ９８）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを所定割合で加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを、色差信号Ｃｒ_Ｗの比率を多くした割合で加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを、色差信号Ｃｂ_Ｗの比率を多くした割合で加算したものを色差信号Ｃｂとする。

ステップＳ９１の判定がＮＯのとき、システム制御部１１は、撮像素子駆動部１０を駆動し、第二の測光値に基づいて決定した適正露出値Ｔｈ２にしたがって本撮像を実行する（ステップＳ９９）。システム制御部１１は、この本撮像を、ナロー素子群とワイド素子群とで露光時間を同じにして行う。

ステップＳ９９の撮像で固体撮像素子５から得られたナロー信号とワイド信号は、それぞれ、デジタル信号処理部１７で同時化処理されて、ナロー撮像画像データとワイド撮像画像データが生成される（ステップＳ１００）。

次に、デジタル信号処理部１７は、ステップＳ１００で生成したナロー撮像画像データから輝度信号Ｙ_Ｎと色差信号Ｃｒ_Ｎ，Ｃｂ_Ｎを生成する。また、デジタル信号処理部１７は、ステップＳ１００で生成したワイド撮像画像データから輝度信号Ｙ_Ｗと色差信号Ｃｒ_Ｗ，Ｃｂ_Ｗを生成する。続いて、デジタル信号処理部１７は、第七の処理により、輝度信号Ｙと色差信号Ｃｒ，Ｃｂを生成する（ステップＳ１０１）。即ち、デジタル信号処理部１７は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを単純加算したものを輝度信号Ｙとし、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを単純加算したものを色差信号Ｃｒとし、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを単純加算したものを色差信号Ｃｂとする。

ステップＳ９５、ステップＳ９８、ステップＳ１０１で生成された、輝度信号Ｙと色差信号Ｃｒ，Ｃｂで構成される撮像画像データは、圧縮された後に、記録媒体２１に記録されて、撮像動作が終了する。

以上のように、図１に示したデジタルカメラは、被写体が明るいとき（第一の測光値が閾値Ｔｈ１以上のとき）には、ナロー素子群から得たナロー信号を主体にして撮像画像データを生成する。このため、明るい被写体に対して良好な色再現性を実現することができる。また、色飽和が発生しているときには、ワイド信号の情報を利用して彩度を変更することで色飽和を防ぐことができる。

また、図１に示したデジタルカメラは、被写体が暗いとき（第一の測光値が閾値Ｔｈ１未満かつ第二の測光値が閾値Ｔｈ以上のとき）には、ワイド素子群から得たワイド信号を主体にして撮像画像データを生成する。このため、暗い被写体に対しても良好な色再現性を実現することができる。また、色飽和が発生しているときには、ナロー信号の情報を利用して彩度を変更することで色飽和を防ぐことができる。

また、図１に示したデジタルカメラは、被写体が更に暗いとき（第二の測光値が閾値Ｔｈ２未満のとき）には、ナロー素子群から得たナロー信号とワイド素子群から得たワイド信号の両方を用いて撮像画像データを生成する。このため、非常に暗い被写体に対しても、高感度かつ良好な色再現性を実現することができる。また、被写体シーンに応じて、ナロー信号とワイド信号の利用比率を変更することができるため、被写体シーンに応じて最適な画質を得ることができる。

このように、図１に示したデジタルカメラによれば、明るい被写体から非常に暗い被写体までを、色再現性を確保しながら良好に撮像することができる。このため、デジタルカメラの使い方に慣れないユーザであっても、画角を決めてシャッタボタンを押すだけで、あらゆる光量下でも最適な画質を得ることができるようになる。この結果、使い勝手のよいカメラを実現することができる。

なお、図５のステップＳ３：ＹＥＳのとき（被写体が明るいとき）に、ナロー優先処理ではなく、ワイド優先処理を行ってもよい。この場合、適正露出が、ナロー素子群の受光量から決められたものであるため、ワイド素子群の受光量に基づいて適正露出を計算しなおす必要がある。このように適正露出を再計算してから、ワイド優先処理を行うと、ナロー素子群にとっては露光不足となり（Ｓ／Ｎが低くなり）、ナロー優先処理を行う場合よりも色ノイズが増える。そのため、図５に示したように、被写体が明るいときは、ナロー優先処理を実施することが好ましい。

なお、以上の説明では、撮像素子駆動部１０が、本撮像時に、ナロー素子群とワイド素子群とで露光時間を同じにする駆動を行っている。しかし、撮像素子駆動部１０は、本撮像時において、ナロー素子群とワイド素子群とで露光時間を異ならせる駆動を採用してもよい。

例えば、図６のステップＳ４２における撮像時には、ワイド素子群の露光時間をナロー素子群の露光時間よりも短くすることが好ましい。

図６のステップＳ４２の撮像の後は、ステップＳ４４に示したように、彩度を変更するための第一の処理が行われる。この第一の処理を実行するにあたり、ワイド素子群から得られたワイド信号が飽和していると、第一の処理による色再現性向上の効果が薄れてしまう。ワイド素子群は、ナロー素子群よりも高感度である。このため、ワイド素子群の露光時間とナロー素子群の露光時間を同じにしておくと、ワイド素子群がナロー素子群よりも多くの電荷を蓄積することになり、ワイド素子群が飽和しやすい。そこで、ワイド素子群の露光時間をナロー素子群の露光時間よりも短くしておくことで、ワイド素子群の飽和を防ぐことが可能となる。勿論、ワイド素子群が飽和しないことを前提にすれば、前述してきたように、ワイド素子群とナロー素子群とで露光時間を同じにしておいてもよい。

なお、図６のステップＳ４５における撮像時には、ワイド素子群の露光時間を、ナロー素子群の露光時間と同じにしても、ナロー素子群の露光時間より短くしても、どちらでもよい。駆動のシンプルさから考えると、ワイド素子群とナロー素子群の露光時間を同じにしておくことが好ましい。また、図６のステップＳ４５における撮像時には、ワイド素子群からは信号を読み出さないようにしてもよい。

また、図７のステップＳ７２における撮像時には、ナロー素子群の露光時間をワイド素子群の露光時間よりも短くすることが好ましい。

図７のステップＳ７２の撮像の後は、ステップＳ７４に示したように、彩度を変更するための第三の処理が行われる。この第三の処理を実行するにあたり、ナロー素子群から得られたナロー信号が飽和していると、第三の処理による色再現性向上の効果が薄れてしまう。そこで、ナロー素子群の露光時間をワイド素子群の露光時間よりも短くしておくことで、ナロー素子群の飽和を防ぐことが可能となる。勿論、ナロー素子群が飽和しないことを前提にすれば、前述してきたように、ワイド素子群とナロー素子群とで露光時間を同じにしておいてもよい。

なお、図７のステップＳ７５における撮像時には、ナロー素子群の露光時間を、ワイド素子群の露光時間と同じにしても、ワイド素子群の露光時間より短くしても、どちらでもよい。駆動のシンプルさから考えると、ワイド素子群とナロー素子群の露光時間を同じにしておくことが好ましい。また、図７のステップＳ７５における撮像時には、ナロー素子群からは信号を読み出さないようにしてもよい。

また、以上の説明では、デジタル信号処理部１７が、輝度信号Ｙと色差信号Ｃｒ，Ｃｂの生成方法を演算によって変更するものとした。しかし、ナロー・ワイド加算処理に限っては、ナロー素子群とワイド素子群の露光時間制御によって輝度信号Ｙと色差信号Ｃｒ，Ｃｂの生成方法を変更することも可能である。

例えば、図８のステップＳ９３、ステップＳ９６の撮像時には、システム制御部１１が、ナロー素子群とワイド素子群の露光時間比を被写体シーンや必要なダイナミックレンジに応じて決めた上で、撮像を行う。つまり、ステップＳ９３の撮像時には、システム制御部１１が、ナロー素子群の露光時間をワイド素子群の露光時間よりも長くして撮像を行い、ステップＳ９６の撮像時には、ワイド素子群の露光時間をナロー素子群の露光時間よりも長くして撮像を行えばよい。

このようにした場合、輝度・色差信号生成部１７３は、輝度信号Ｙ_Ｗと輝度信号Ｙ_Ｎを単純加算することで輝度信号Ｙを生成し、色差信号Ｃｒ_Ｗと色差信号Ｃｒ_Ｎを単純加算して色差信号Ｃｒを生成し、色差信号Ｃｂ_Ｗと色差信号Ｃｂ_Ｎを単純加算して色差信号Ｃｂを生成する。

次に、ナロー素子群とワイド素子群で露光時間を変える具体例について説明する。以下では、ナロー素子群の露光時間をワイド素子群の露光時間よりも長くする駆動をナロー優先駆動といい、ワイド素子群の露光時間をナロー素子群の露光時間よりも長くする駆動をワイド優先駆動という。

図９は、図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するワイド優先駆動を説明するための図である。

ワイド優先駆動時には、撮像指示があると、撮像素子駆動部１０がメカニカルシャッタ（メカシャッタ）を開にし、それまで固体撮像素子５の半導体基板に印加していた電子シャッタパルスの供給を停止する。この電子シャッタパルスの停止をもって、各光電変換素子５１Ｗの露光期間ａを開始する。次に、撮像素子駆動部１０は、露光期間ａの途中で、転送電極Ｖ１，Ｖ５に読み出しパルスを印加して、各光電変換素子５１Ｎから垂直電荷転送部５４に電荷を読み出す。この読み出しパルスの印加の停止をもって、各光電変換素子５１Ｎの露光期間ｂを開始する。

露光期間ｂ開始後、撮像素子駆動部１０は、転送電極Ｖ１〜Ｖ８にパルスを印加して、各光電変換素子５１Ｎから読み出した電荷を掃き出す転送を行う。

次に、露光期間ａの終了タイミングになると、撮像素子駆動部１０がメカニカルシャッタを閉じる。これにより、露光期間ａを終了すると共に、露光期間ｂも同時に終了する。

その後は、撮像素子駆動部１０が、転送電極Ｖ１，Ｖ３，Ｖ５，Ｖ７に読み出しパルスを印加し、各光電変換素子５１Ｗ，５１Ｎから垂直電荷転送部５４に電荷を読みだす。続いて、撮像素子駆動部１０が、転送電極Ｖ１〜Ｖ８にパルスを印加して、各光電変換素子５１Ｗ，５１Ｎから読み出した電荷に応じた信号を、固体撮像素子５から出力させる。

このようにして、ワイド素子群の光電変換素子５１Ｗをナロー素子群の光電変換素子５１Ｎよりも長い時間露光する駆動を実現することができる。

図１０は、図１に示したデジタルカメラにおける撮像素子駆動部１０が実行するナロー優先駆動を説明するための図である。

ナロー優先駆動時には、撮像指示があると、撮像素子駆動部１０がメカニカルシャッタを開にし、それまで固体撮像素子５の半導体基板に印加していた電子シャッタパルスの供給を停止する。この電子シャッタパルスの停止をもって、各光電変換素子５１Ｎの露光期間ａと各光電変換素子５１Ｗの露光期間ｂを同時に開始する。

次に、撮像素子駆動部１０は、露光期間ａの途中で、転送電極Ｖ３，Ｖ７に読み出しパルスを印加して、各光電変換素子５１Ｗから垂直電荷転送部５４に電荷を読み出す。この読み出しパルスの印加の停止をもって、各光電変換素子５１Ｗの露光期間ｂを終了する。

次に、露光期間ａの終了タイミングになると、撮像素子駆動部１０が、メカニカルシャッタを閉じる。これにより、露光期間ａを終了する。

その後は、撮像素子駆動部１０が、転送電極Ｖ１，Ｖ５に読み出しパルスを印加して、各光電変換素子５１Ｎから垂直電荷転送部５４に電荷を読みだす。続いて、撮像素子駆動部１０が、転送電極Ｖ１〜Ｖ８にパルスを印加して、各光電変換素子５１Ｗ，５１Ｎから読み出した電荷に応じた信号を、固体撮像素子５から出力させる。

このようにして、ナロー素子群の光電変換素子５１Ｎをワイド素子群の光電変換素子５１Ｗよりも長い時間露光する駆動を実現することができる。

以上の説明では、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎが、上記（１）〜（５）の条件を満たすものとしたが、幅広い光量下で最適な画質を得られるようにするには、少なくとも（１）〜（３）の条件を満たしていればよい。

条件（１）、（３）を満たしていないと色再現性の光量に応じた最適化といった効果は得られず、条件（２）を満たしていないとペアから得られる信号の相関性が低くなってしまうためである。なお、上記（４）の条件を満たした場合には、画質を更に向上させることができる。また、上記（５）の条件を満たした場合には、画質を更に向上させることができる。

また、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎとで分光感度特性を異ならせる方法としては、次のような方法を採用してもよい。

すなわち、カラーフィルタＲ１とカラーフィルタＲ２の各々の分光感度特性は同じとし、カラーフィルタＧ１とカラーフィルタＧ２の各々の分光感度特性は同じとし、カラーフィルタＢ１とカラーフィルタＢ２の各々の分光感度特性は同じとする。そして、ペアの光電変換素子５１Ｗと光電変換素子５１Ｎの構造を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性に差をつける。例えば、ペアを構成する光電変換素子５１Ｗ，５１Ｎのうち、光電変換素子５１Ｗを構成するフォトダイオードのｐｎ接合面の深さと、光電変換素子５１Ｎを構成するフォトダイオードのｐｎ接合面の深さとを変える方法等がある。

また、固体撮像素子５の各光電変換素子５１Ｗ，５１Ｎの配列は、図１１及び図１２に示したようなものであってもよい。

図１１は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの奇数列を光電変換素子５１Ｗとし、偶数列を光電変換素子５１Ｎとしたものである。

図１２は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの一方の市松位置に光電変換素子５１Ｗを配置し、他方の市松位置に光電変換素子５１Ｎを配置した構成である。

図１１に示したような配列であっても、各光電変換素子５１Ｗと、各光電変換素子５１Ｗに対して下方向に隣接する光電変換素子５１Ｎとをペアとして扱うことで、前述してきた処理を適用することができる。また、図１２に示したような配列であっても、奇数列においては、各光電変換素子５１Ｗと、各光電変換素子Ｗに対して右方向に隣接する光電変換素子５１Ｎをペアとして扱い、偶数列においては、各光電変換素子５１Ｗと、各光電変換素子Ｗに対して左方向に隣接する光電変換素子５１Ｎをペアとして扱うことで、前述してきた処理を適用することができる。

なお、これまでの説明では、固体撮像素子５が３種類のペアを有し、この３種類のペアでＲ，Ｇ，Ｂの三原色を検出するものとしたが、これに限らない。例えば、３種類のペアでそれぞれシアン、マゼンタ、イエローの補色を検出する構成としてもよい。また、ペアの種類は３種類に限らず、少なくとも２種類あれば、カラー撮像を実行することができる。

また、固体撮像素子５はＣＣＤ型に限らず、ＭＯＳ型であってもよい。この場合は、特開２００７−１２４１３７号公報に記載のように、第一グループと第二グループとで別々に走査回路とＣＤＳ回路を設けておけばよい。また、この場合は、アナログ信号処理部６において信号増幅処理のみ行うようにすればよい。

また、本発明は、図２に示した固体撮像素子５に限らず、裏面照射型や積層型（シリコン基板上方に光電変換層を有する撮像素子）等、周知の固体撮像素子に適用することができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を備える撮像装置であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成部と、前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成部と、前記各第一の光電変換素子及び前記各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光部とを備え、前記第二の信号生成部は、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光部による測光結果に応じて変更するものである。

開示された撮像装置は、前記複数の第一の光電変換素子で測光して得られる第一の測光値が当該第一の測光値に基づいて決まる適正露出値である第一の閾値以上である第一の場合には、前記第二の信号生成部は、前記複数の第一の光電変換素子から出力される撮像信号に応じて、第一の処理と第二の処理を切り替えて行い、前記第一の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、前記第二の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号そのものを前記第三の色信号とする処理である。

開示された撮像装置は、前記第一の測光値が前記第一の閾値未満であり、かつ、前記複数の第二の光電変換素子で測光して得られる第二の測光値が当該第二の測光値に基づいて決まる適正露出値である第二の閾値以上である第二の場合には、前記第二の信号生成部は、前記複数の第二の光電変換素子から出力される撮像信号に応じて、第三の処理と第四の処理を切り替えて行い、前記第三の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、前記第四の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第二の色信号そのものを前記第三の色信号とする処理である。

開示された撮像装置は、前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成部は、第五の処理と第六の処理と第七の処理とを、被写体シーンに応じて切り替えて実行し、前記第五の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第一の色信号の比率を前記第二の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、前記第六の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第二の色信号の比率を前記第一の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、前記第七の処理は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号と前記第二の色信号を単純加算したものを前記第三の色信号とする処理である。

開示された撮像装置は、前記第三の場合において、前記第二の信号生成部は、色再現性を優先する被写体シーンのときには前記第五の処理及び前記第六の処理のいずれかを実行し、感度を優先する被写体シーンのときには前記第七の処理を実行するものである。

開示された撮像装置は、前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、前記感度を優先する被写体シーンが、夜景を含むシーンを含み、前記第二の信号生成部は、前記風景を含むシーンのときには前記第五の処理を実行し、前記人物を含むシーンのときには前記第六の処理を実行するものである。

開示された撮像装置は、前記固体撮像素子を駆動する駆動部を備え、前記駆動部は、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二のグループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、前記駆動部は、前記第二の信号生成部により前記第一の処理が実行される場合には前記第一の駆動を実行し、前記第二の信号生成部により前記第三の処理が実行される場合には前記第二の駆動を実行し、前記第二の信号生成部により前記第七の処理が実行される場合には前記第三の駆動を実行するものである。

開示された撮像装置は、前記固体撮像素子を駆動する駆動部を備え、前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成部は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を単純加算したものを前記第三の色信号とする第八の処理を実行し、前記駆動部は、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二のグループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、前記駆動部は、前記第三の場合において、色再現性を優先する被写体シーンのときには前記第一の駆動及び前記第二の駆動のいずれかを実行し、感度を優先する被写体シーンのときには前記第三の駆動を実行するものである。

開示された撮像装置は、前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、前記感度を優先する被写体シーンが、夜景を含むシーンを含み、前記駆動部は、前記風景を含むシーンのときには前記第一の駆動を実行し、前記人物を含むシーンのときには前記第二の駆動を実行するものである。

開示された撮像装置は、前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られているものである。

開示された撮像装置は、前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、前記各第一の光電変換素子とそれに対して所定方向に隣接する前記第二の光電変換素子とが前記各ペアを構成するものである。

開示された撮像装置は、前記固体撮像素子に含まれる全ての前記第一の光電変換素子及び前記第二の光電変換素子の構成が略同一であるものである。

開示された撮像方法は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を用いた撮像方法であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成ステップと、前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成ステップと、各第一の光電変換素子及び各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光ステップとを備え、前記第二の信号生成ステップでは、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光ステップによる測光結果に応じて変更するものである。

開示された撮像方法は、前記複数の第一の光電変換素子で測光して得られる第一の測光値が当該第一の測光値に基づいて決まる適正露出値である第一の閾値以上である第一の場合には、前記第二の信号生成ステップでは、前記複数の第一の光電変換素子から出力される撮像信号に応じて、第一の処理と第二の処理を切り替えて行い、前記第一の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、前記第二の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号そのものを前記第三の色信号とする処理である。

開示された撮像方法は、前記第一の測光値が前記第一の閾値未満であり、かつ、前記複数の第二の光電変換素子で測光して得られる第二の測光値が当該第二の測光値に基づいて決まる適正露出値である第二の閾値以上である第二の場合には、前記第二の信号生成ステップでは、前記複数の第二の光電変換素子から出力される撮像信号に応じて、第三の処理と第四の処理を切り替えて行い、前記第三の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、前記第四の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第二の色信号そのものを前記第三の色信号とする処理である。

開示された撮像方法は、前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成ステップでは、第五の処理と第六の処理と第七の処理とを、被写体シーンに応じて切り替えて実行し、前記第五の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第一の色信号の比率を前記第二の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、前記第六の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第二の色信号の比率を前記第一の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、前記第七の処理は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号と前記第二の色信号を単純加算したものを前記第三の色信号とする処理である。

開示された撮像方法は、前記第三の場合において、前記第二の信号生成ステップでは、色再現性を優先する被写体シーンのときには前記第五の処理及び前記第六の処理のいずれかを実行し、感度を優先する被写体シーンのときには前記第七の処理を実行するものである。

開示された撮像方法は、前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、前記感度を優先する被写体シーンが、夜景を含むシーンを含み、前記第二の信号生成ステップでは、前記風景を含むシーンのときには前記第五の処理を実行し、前記人物を含むシーンのときには前記第六の処理を実行するものである。

開示された撮像方法は、前記固体撮像素子を駆動する駆動ステップを備え、前記駆動ステップでは、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二のグループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、前記駆動ステップでは、前記第二の信号生成ステップで前記第一の処理が実行される場合には前記第一の駆動を実行し、前記第二の信号生成ステップで前記第三の処理が実行される場合には前記第二の駆動を実行し、前記第二の信号生成ステップで前記第七の処理が実行される場合には前記第三の駆動を実行するものである。

開示された撮像方法は、前記固体撮像素子を駆動する駆動ステップを備え、前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成ステップでは、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を単純加算したものを前記第三の色信号とする第八の処理を実行し、前記駆動ステップでは、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二のグループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、前記駆動ステップでは、前記第三の場合において、色再現性を優先する被写体シーンのときには前記第一の駆動及び前記第二の駆動のいずれかを実行し、感度を優先する被写体シーンのときには前記第三の駆動を実行するものである。

開示された撮像方法は、前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、前記感度を優先する被写体シーンが、夜景を含むシーンを含み、前記駆動ステップでは、前記風景を含むシーンのときには前記第一の駆動を実行し、前記人物を含むシーンのときには前記第二の駆動を実行するものである。

開示された撮像方法は、前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、前記ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られているものである。

開示された撮像方法は、前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、前記各第一の光電変換素子とそれに対して所定方向に隣接する前記第二の光電変換素子とが前記各ペアを構成するものである。

開示された撮像方法は、前記固体撮像素子に含まれる全ての前記第一の光電変換素子及び前記第二の光電変換素子の構成が略同一であるものである。

本発明によれば、幅広い光量条件下で最適な色再現性の画像を得ることが可能な撮像装置及び撮像方法を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年６月２２日出願の日本出願（特願２０１０−１４２０００）に基づくものであり、その内容はここに参照として取り込まれる。

５ 固体撮像素子
１０ 撮像素子駆動部
５１Ｗ，５１Ｎ 光電変換素子

Claims (24)

1. それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を備える撮像装置であって、
   各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、
   前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、
   各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、
   前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成部と、
   前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成部と、
   各第一の光電変換素子及び各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光部とを備え、
   前記第二の信号生成部は、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光部による測光結果に応じて変更する撮像装置。
2. 請求項１記載の撮像装置であって、
   前記複数の第一の光電変換素子から出力される撮像信号を用いて測光して得られる第一の測光値が当該第一の測光値に基づいて決まる適正露出値である第一の閾値以上である第一の場合には、前記第二の信号生成部は、前記複数の第一の光電変換素子から出力される撮像信号に応じて、第一の処理と第二の処理を切り替えて行い、
   前記第一の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、
   前記第二の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号そのものを前記第三の色信号とする処理である撮像装置。
3. 請求項２記載の撮像装置であって、
   前記第一の測光値が前記第一の閾値未満であり、かつ、前記複数の第二の光電変換素子から出力される撮像信号を用いて測光して得られる第二の測光値が当該第二の測光値に基づいて決まる適正露出値である第二の閾値以上である第二の場合には、前記第二の信号生成部は、前記複数の第二の光電変換素子から出力される撮像信号に応じて、第三の処理と第四の処理を切り替えて行い、
   前記第三の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする第三の処理であり、
   前記第四の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第二の色信号そのものを前記第三の色信号とする処理である撮像装置。
4. 請求項３記載の撮像装置であって、
   前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成部は、第五の処理と第六の処理と第七の処理とを、被写体シーンに応じて切り替えて実行し、
   前記第五の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第一の色信号の比率を前記第二の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、
   前記第六の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第二の色信号の比率を前記第一の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、
   前記第七の処理は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号と前記第二の色信号を単純加算したものを前記第三の色信号とする処理である撮像装置。
5. 請求項４記載の撮像装置であって、
   前記第三の場合において、前記第二の信号生成部は、色再現性を優先する被写体シーンのときには前記第五の処理及び前記第六の処理のいずれかを実行し、感度を優先する被写体シーンのときには前記第七の処理を実行する撮像装置。
6. 請求項５記載の撮像装置であって、
   前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、
   前記感度を優先する被写体シーンが、夜景を含むシーンを含み、
   前記第二の信号生成部は、前記風景を含むシーンのときには前記第五の処理を実行し、前記人物を含むシーンのときには前記第六の処理を実行する撮像装置。
7. 請求項４〜６のいずれか１項記載の撮像装置であって、
   前記固体撮像素子を駆動する駆動部を備え、
   前記駆動部は、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二グループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、
   前記駆動部は、前記第二の信号生成部により前記第一の処理が実行される場合には前記第一の駆動を実行し、前記第二の信号生成部により前記第三の処理が実行される場合には前記第二の駆動を実行し、前記第二の信号生成部により前記第七の処理が実行される場合には前記第三の駆動を実行する撮像装置。
8. 請求項３記載の撮像装置であって、
   前記固体撮像素子を駆動する駆動部を備え、
   前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成部は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を単純加算したものを前記第三の色信号とする第八の処理を実行し、
   前記駆動部は、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二グループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、
   前記駆動部は、前記第三の場合において、色再現性を優先する被写体シーンのときには前記第一の駆動及び前記第二の駆動のいずれかを実行し、感度を優先する被写体シーンのときには前記第三の駆動を実行する撮像装置。
9. 請求項８記載の撮像装置であって、
   前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、
   前記感度を優先する被写体シーンが、夜景を含むシーンを含み、
   前記駆動部は、前記風景を含むシーンのときには前記第一の駆動を実行し、前記人物を含むシーンのときには前記第二の駆動を実行する撮像装置。
10. 請求項１〜９のいずれか１項記載の撮像装置であって、
    前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、
    前記ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られている撮像装置。
11. 請求項１〜１０のいずれか１項記載の撮像装置であって、
    前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、
    前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、
    前記各第一の光電変換素子とそれに対して所定方向に隣接する前記第二の光電変換素子とが前記各ペアを構成する撮像装置。
12. 請求項１〜１１のいずれか１項記載の撮像装置であって、
    前記固体撮像素子に含まれる全ての前記第一の光電変換素子及び前記第二の光電変換素子の構成が略同一である撮像装置。
13. それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を用いた撮像方法であって、
    各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、
    前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、
    各ペアの前記第二の光電変換素子の分光感度特性における半値幅が、当該各ペアの前記第一の光電変換素子の分光感度特性における半値幅よりも広くなっており、
    前記複数の第一の光電変換素子から出力された撮像信号を利用して第一の輝度信号と第一の色信号を生成し、前記複数の第二の光電変換素子から出力された撮像信号を利用して第二の輝度信号と第二の色信号を生成する第一の信号生成ステップと、
    前記第一の輝度信号及び前記第二の輝度信号の少なくとも一方を利用して記録媒体への記録用の第三の輝度信号を生成し、前記第一の色信号及び前記第二の色信号の少なくとも一方を利用して前記記録媒体への記録用の第三の色信号を生成する第二の信号生成ステップと、
    各第一の光電変換素子及び各第二の光電変換素子から出力される撮像信号を取得して測光を行う測光ステップとを備え、
    前記第二の信号生成ステップでは、前記第三の輝度信号の生成方法と前記第三の色信号の生成方法を、前記測光ステップによる測光結果に応じて変更する撮像方法。
14. 請求項１３記載の撮像方法であって、
    前記複数の第一の光電変換素子から出力される撮像信号を用いて測光して得られる第一の測光値が当該第一の測光値に基づいて決まる適正露出値である第一の閾値以上である第一の場合には、前記第二の信号生成ステップでは、前記複数の第一の光電変換素子から出力される撮像信号に応じて、第一の処理と第二の処理を切り替えて行い、
    前記第一の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、
    前記第二の処理は、前記第一の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号そのものを前記第三の色信号とする処理である撮像方法。
15. 請求項１４記載の撮像方法であって、
    前記第一の測光値が前記第一の閾値未満であり、かつ、前記複数の第二の光電変換素子から出力される撮像信号を用いて測光して得られる第二の測光値が当該第二の測光値に基づいて決まる適正露出値である第二の閾値以上である第二の場合には、前記第二の信号生成ステップでは、前記複数の第二の光電変換素子から出力される撮像信号に応じて、第三の処理と第四の処理を切り替えて行い、
    前記第三の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を所定割合で加算したものを前記第三の色信号とする処理であり、
    前記第四の処理は、前記第二の輝度信号そのものを前記第三の輝度信号とし、前記第二の色信号そのものを前記第三の色信号とする処理である撮像方法。
16. 請求項１５記載の撮像方法であって、
    前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成ステップでは、第五の処理と第六の処理と第七の処理とを、被写体シーンに応じて切り替えて実行し、
    前記第五の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第一の色信号の比率を前記第二の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、
    前記第六の処理は、前記第一の輝度信号及び前記第二の輝度信号を所定割合で加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を前記第二の色信号の比率を前記第一の色信号よりも高くした割合で加算したものを前記第三の色信号とする処理であり、
    前記第七の処理は、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号と前記第二の色信号を単純加算したものを前記第三の色信号とする処理である撮像方法。
17. 請求項１６記載の撮像方法であって、
    前記第三の場合において、前記第二の信号生成ステップでは、色再現性を優先する被写体シーンのときには前記第五の処理及び前記第六の処理のいずれかを実行し、感度を優先する被写体シーンのときには前記第七の処理を実行する撮像方法。
18. 請求項１７記載の撮像方法であって、
    前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、
    前記感度を優先する被写体シーンが、夜景を含むシーンを含み、
    前記第二の信号生成ステップでは、前記風景を含むシーンのときには前記第五の処理を実行し、前記人物を含むシーンのときには前記第六の処理を実行する撮像方法。
19. 請求項１６〜１８のいずれか１項記載の撮像方法であって、
    前記固体撮像素子を駆動する駆動ステップを備え、
    前記駆動ステップでは、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二グループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、
    前記駆動ステップでは、前記第二の信号生成ステップで前記第一の処理が実行される場合には前記第一の駆動を実行し、前記第二の信号生成ステップで前記第三の処理が実行される場合には前記第二の駆動を実行し、前記第二の信号生成ステップで前記第七の処理が実行される場合には前記第三の駆動を実行する撮像方法。
20. 請求項１５記載の撮像方法であって、
    前記固体撮像素子を駆動する駆動ステップを備え、
    前記第二の測光値が前記第二の閾値未満である第三の場合には、前記第二の信号生成ステップでは、前記第一の輝度信号及び前記第二の輝度信号を単純加算したものを前記第三の輝度信号とし、前記第一の色信号及び前記第二の色信号を単純加算したものを前記第三の色信号とする第八の処理を実行し、
    前記駆動ステップでは、前記複数の第二の光電変換素子からなる第二グループの露光時間よりも、前記複数の第一の光電変換素子からなる第一グループの露光時間を長くした第一の駆動と、前記第一グループの露光時間よりも前記第二グループの露光時間を長くした第二の駆動と、前記第一グループと前記第二グループとで露光時間を同じにした第三の駆動と切り替えて行い、
    前記駆動ステップでは、前記第三の場合において、色再現性を優先する被写体シーンのときには前記第一の駆動及び前記第二の駆動のいずれかを実行し、感度を優先する被写体シーンのときには前記第三の駆動を実行する撮像方法。
21. 請求項２０記載の撮像方法であって、
    前記色再現性を優先する被写体シーンが、主要被写体として人物を含むシーンと主要被写体として風景を含むシーンを含み、
    前記感度を優先する被写体シーンが、夜景を含むシーンを含み、
    前記駆動ステップでは、前記風景を含むシーンのときには前記第一の駆動を実行し、前記人物を含むシーンのときには前記第二の駆動を実行する撮像方法。
22. 請求項１３〜２１のいずれか１項記載の撮像方法であって、
    前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、
    前記ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られている撮像方法。
23. 請求項１３〜２２のいずれか１項記載の撮像方法であって、
    前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、
    前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、
    前記各第一の光電変換素子とそれに対して所定方向に隣接する前記第二の光電変換素子とが前記各ペアを構成する撮像方法。
24. 請求項１３〜２３のいずれか１項記載の撮像方法であって、
    前記固体撮像素子に含まれる全ての前記第一の光電変換素子及び前記第二の光電変換素子の構成が略同一である撮像方法。

Images