JP5589073B2

JP5589073B2 - 撮像装置及びホワイトバランスゲイン算出方法

Info

Publication number: JP5589073B2
Application number: JP2012517219A
Authority: JP
Inventors: 哲郎芦田; 智行河合; 誠二田中; 恒史遠藤; 武弘河口
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-05-28
Filing date: 2011-05-13
Publication date: 2014-09-10
Anticipated expiration: 2031-05-13
Also published as: CN102918845B; JPWO2011148799A1; US20130088623A1; WO2011148799A1; CN102918845A; US8836815B2

Description

本発明は、撮像装置及びホワイトバランスゲイン算出方法に関する。

これまで、ダイナミックレンジ（Ｄレンジ）を拡大するために、感度の異なる信号が得られる２つの光電変換素子を対にして持つ固体撮像素子を搭載した撮像装置が種々提案されている（例えば特許文献１参照）。

特許文献１に記載の撮像装置は、それぞれ選択波長性の異なる赤色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対と、それぞれ選択波長性の異なる緑色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対と、それぞれ選択波長性の異なる青色のカラーフィルタを上方に持つ２つの光電変換素子の画素部対とを含む固体撮像素子を有する。そして、各画素部対の２つの光電変換素子からそれぞれ得られる信号を合成することで、色再現性の向上を実現している。さらに、各画素部対の２つの光電変換素子間に感度差を設ける（２つの光電変換素子の構造を変える又は２つの光電変換素子の露光時間を変える）ことで、ダイナミックレンジの拡大を実現している。

特許文献１に記載された構成の固体撮像素子の場合、画素部対の２つの光電変換素子の分光特性が異なるため、ホワイトバランス調整の方法を工夫する必要がある。しかし、特許文献１には、ホワイトバランス調整の方法については記載されていない。

特許文献２〜４は、ホワイトバランス調整についての技術を開示している。しかし、特許文献２〜４は、いずれも、特許文献１に記載された構成の固体撮像素子とは異なる構成の固体撮像素子を前提とした技術を開示するものであり、色再現性の向上とホワイトバランス調整の精度向上とを両立できるものではない。

日本国特開２００９−２６８０７８号公報日本国特開２００９−１７４５７号公報日本国特開２００３−１０２０２２号公報日本国特開２００６−２２２６７２号公報

本発明は、上記事情に鑑みてなされたものであり、色再現性を向上しながら、ホワイトバランスを適切に調整することのできる撮像装置及びホワイトバランスゲイン算出方法を提供することを目的とする。

本発明の撮像装置は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの前記第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、所定の色空間における色温度による物体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部と、前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成部と、前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得部と、前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定部と、前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備えるものである。

本発明のホワイトバランスゲイン算出方法は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置におけるホワイトバランスゲイン算出方法であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの前記第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、前記撮像装置が、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、前記撮像装置が、所定の色空間における色温度による物体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部を有し、前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成ステップと、前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得ステップと、前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定ステップと、前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップとを備えるものである。

本発明によれば、色再現性を向上しながら、ホワイトバランスを適切に調整することのできる撮像装置及びホワイトバランスゲイン算出方法を提供することができる。

本発明の一実施形態を説明するための撮像装置（デジタルカメラ）の概略構成を示す図図１に示したデジタルカメラにおける固体撮像素子の概略構成を示す平面模式図図２に示した固体撮像素子における光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性を示した図図１に示したデジタルカメラの黒体軌跡データ記憶部に記憶される黒体軌跡データの一例を示す図図１に示したデジタルカメラの動作を説明するためのフローチャート図１に示したデジタルカメラの第一の変形例のデジタルカメラの特徴を説明するための図図１に示したデジタルカメラの第一の変形例のデジタルカメラの動作を説明するためのフローチャート図１に示したデジタルカメラの第二の変形例のデジタルカメラの特徴を説明するための図図１に示したデジタルカメラの第二の変形例のデジタルカメラの特徴を説明するための図図１に示したデジタルカメラの第二の変形例のデジタルカメラの動作を説明するためのフローチャート図１に示したデジタルカメラの第三の変形例のデジタルカメラの特徴を説明するための図図１に示したデジタルカメラの第三の変形例のデジタルカメラの動作を説明するためのフローチャート図１に示したデジタルカメラの第四の変形例のデジタルカメラの動作を説明するためのフローチャート図１に示したデジタルカメラの第五の変形例のデジタルカメラの動作を説明するためのフローチャート図２に示した固体撮像素子の変形例を示す図図２に示した固体撮像素子の変形例を示す図

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の概略構成を示す図である。撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール、等があり、ここではデジタルカメラを例にして説明する。

図示するデジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりする。また、システム制御部１１は、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体像を撮像信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号（点順次の撮像信号）をデジタル信号に変換するＡ／Ｄ変換回路７とを備える。アナログ信号処理部６とＡ／Ｄ変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、デジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、積算平均算出部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、モード判定部２２と、黒体軌跡データ記憶部２３と、ＷＢ（ホワイトバランス）ゲイン算出部２４とを備える。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、積算平均算出部１９、外部メモリ制御部２０、モード判定部２２、黒体軌跡データ記憶部２３、及びＷＢゲイン算出部２４は、制御バス２５及びデータバス２６によって相互に接続され、システム制御部１１からの指令によって制御される。

デジタル信号処理部１７は、固体撮像素子５から出力されてメインメモリ１６に記憶された点順次の撮像信号に、システム制御部１１の指令にしたがってデジタル信号処理を施す。より具体的には、デジタル信号処理部１７は、同時化処理（１サンプリングポイントにＲ（赤），Ｇ（緑），Ｂ（青）の色情報を補間によって生成する処理）、ホワイトバランス調整処理、ガンマ補正処理、輝度色差信号生成処理等を実施して記録媒体２１に記録する形式の画像データを生成する。

積算平均算出部１９は、ホワイトバランス調整処理で使用するＷＢゲインを算出するために必要なデータを算出する。具体的には、積算平均算出部１９は、固体撮像素子５から出力されてメインメモリ１６に記憶された撮像信号をｎ個のブロック（ｎは２以上の自然数）に分割する。そして、積算平均算出部１９は、分割ブロック毎に色別の積算平均値（Ｒ信号の積算平均値、Ｇ信号の積算平均値、Ｂ信号の積算平均値）を算出する。

黒体軌跡データ記憶部２３は、所定の色空間における色温度による黒体の色変化の軌跡である黒体軌跡データを記憶する。ここに記憶される黒体軌跡データの詳細については後述する。

モード判定部２２は、デジタルカメラの動作モードを判定する。詳細は後述するが、このデジタルカメラは、ＨＲ（解像度優先）モード、ＤＲ（ダイナミックレンジ優先）モード、及びＳＮ（高感度、低ノイズ優先）モードの３つのモードを設定可能となっている。モード判定部２２は、この３つのモードのうちのどれで撮像がなされたかを判定する。

ＷＢゲイン算出部２４は、積算平均算出部１９で算出された積算平均値と、黒体軌跡データ記憶部２３に記憶されている黒体軌跡データと、モード判定部２２の判定結果とに基づいてＷＢゲインを算出する。ここで算出されたＷＢゲインにしたがって、デジタル信号処理部１７がＷＢ調整処理を実施する。

図２は、図１に示したデジタルカメラにおける固体撮像素子５の概略構成を示す平面模式図である。

図２に示したように、固体撮像素子５は、複数の光電変換素子５１Ｗからなる第一グループと、複数の光電変換素子５１Ｎからなる第二グループと、複数の垂直電荷転送部５４と、水平電荷転送部５２と、出力部５３とを備える。

固体撮像素子５に含まれる全ての光電変換素子は、半導体基板表面の列方向Ｙとこれに交差する（図２の例では直交する）行方向Ｘとに二次元状に配置されている。この全ての光電変換素子は、列方向Ｙに並ぶ複数の光電変換素子５１Ｗからなる第一の光電変換素子列と、列方向Ｙに並ぶ複数の光電変換素子５１Ｎからなる第二の光電変換素子列とを有する。そして、第一の光電変換素子列と第二の光電変換素子列が行方向Ｘに交互に一定ピッチで並べられている。さらに、第一の光電変換素子列は、第二の光電変換素子列に対して、各光電変換素子列の光電変換素子の列方向Ｙにおける配列ピッチの１／２だけ列方向Ｙにずらして配置されている。このような配列は、正方格子状に配置した各光電変換素子５１Ｗに対して斜め４５°方向にずれた位置に光電変換素子５１Ｎを配置することで得ることができる。

このように、各光電変換素子５１Ｗには、各光電変換素子５１Ｗに対して同一の位置関係（同一方向）で光電変換素子５１Ｎが隣接して配置されている。そして、各光電変換素子５１Ｗと、各光電変換素子５１Ｗに対して同一の位置関係で隣接する（同一の方向に隣接する）光電変換素子５１Ｎとで、ペアを構成している。

固体撮像素子５に含まれる全ての光電変換素子は、略同一構成（設計上の値が同一）となっている。略同一構成とは、半導体基板内に形成される光電変換領域（フォトダイオード）のサイズが略同じであり、その光電変換領域の上方に形成される遮光膜の開口サイズも略同じであることを意味する。

光電変換素子５１Ｗからなる第一グループと光電変換素子５１Ｎからなる第二グループは、露光時間を独立に制御可能となっている。このデジタルカメラでは、撮像素子駆動部１０が、第一グループの露光時間と第二グループの露光時間を異ならせる制御を行うことで、第一グループの光電変換素子５１Ｗと第二グループ光電変換素子５１Ｎから感度の異なる信号を得ている。

この固体撮像素子５では、ペアを構成する（同一の位置関係で隣接する）光電変換素子５１Ｗと光電変換素子５１Ｎが、次の条件を満たしている。

（１）光電変換素子５１Ｗと光電変換素子５１Ｎの各々の分光感度特性が異なる。
（２）光電変換素子５１Ｗが主として分光感度を有する波長範囲（例えば光電変換素子５１Ｗの分光感度特性における半値幅）と、光電変換素子５１Ｎが主として分光感度を有する波長範囲（例えば光電変換素子５１Ｎの分光感度特性における半値幅）とが、可視光のうちの特定の色の光の波長範囲に入っている。
（３）光電変換素子５１Ｎの分光感度特性における半値幅が、光電変換素子５１Ｗの分光感度特性における半値幅よりも狭い。
（４）光電変換素子５１Ｗが主として分光感度を有する波長範囲の各波長における分光感度の値が、光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。
（５）光電変換素子５１Ｗの分光感度特性における半値幅に対する、光電変換素子５１Ｗの分光感度のピーク値の比（半値幅／ピーク値）が、光電変換素子５１Ｎの分光感度特性における半値幅に対する、光電変換素子５１Ｎの分光感度のピーク値の比（半値幅／ピーク値）より大きい。

なお、光電変換素子が主として分光感度を有する波長範囲とは、その光電変換素子から出力される信号のうちの大部分が、その波長範囲の光に応じた信号であることを意味し、その波長範囲以外の光に応じた信号が、その光電変換素子から出力される信号に対してほとんど影響を与えないような範囲のことを示す。以下では、各光電変換素子の分光感度特性における半値幅を、その各光電変換素子が主として分光感度を有する波長範囲として説明する。

ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎとで分光感度特性を異ならせる方法としてはいくつか挙げられるが、この固体撮像素子５では、これらの上方に設けるカラーフィルタの分光感度特性を異ならせる方法を採用している。

各光電変換素子５１Ｗの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ１と、緑色光を透過するカラーフィルタＧ１と、青色光を透過するカラーフィルタＢ１とが設けられている。

図２においては、カラーフィルタＲ１が上方に設けられた光電変換素子５１Ｗに“Ｒ１”の文字を付してある。また、カラーフィルタＧ１が上方に設けられた光電変換素子５１Ｗに“Ｇ１”の文字を付してある。また、カラーフィルタＢ１が上方に設けられた光電変換素子５１Ｗに“Ｂ１”の文字を付してある。

各光電変換素子５１Ｎの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ２と、緑色光を透過するカラーフィルタＧ２と、青色光を透過するカラーフィルタＢ２とが設けられている。

図２においては、カラーフィルタＲ２が上方に設けられた光電変換素子５１Ｎに“Ｒ２”の文字を付してある。また、カラーフィルタＧ２が上方に設けられた光電変換素子５１Ｎに“Ｇ２”の文字を付してある。また、カラーフィルタＢ２が上方に設けられた光電変換素子５１Ｎに“Ｂ２”の文字を付してある。

以下の説明では、カラーフィルタＲ１とカラーフィルタＲ２を総称して赤色フィルタともいい、カラーフィルタＧ１とカラーフィルタＧ２を総称して緑色フィルタともいい、カラーフィルタＢ１とカラーフィルタＢ２を総称して青色フィルタともいう。

このように、ペアを構成する光電変換素子５１Ｗ及び光電変換素子５１Ｎの各々の上方には同一色のフィルタ（赤色フィルタ、緑色フィルタ、又は青色フィルタ）が配置されている。したがって、この固体撮像素子５には、上方に設けられるフィルタの色が異なる３種類のペア（赤色フィルタを上方に持つＲペア、緑色フィルタを上方に持つＧペア、青色フィルタを上方に持つＢペア）が含まれるものということができる。

なお、Ｒペアの各光電変換素子に対する上記条件（２）における特定の色は赤色になる。Ｇペアの各光電変換素子に対する上記条件（２）における特定の色は緑色になる。Ｂペアの各光電変換素子に対する上記条件（２）における特定の色は青色になる。

Ｒペアの各光電変換素子では、カラーフィルタＲ１とカラーフィルタＲ２の分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

Ｇペアの各光電変換素子では、カラーフィルタＧ１とカラーフィルタＧ２の分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

Ｂペアの各光電変換素子では、カラーフィルタＢ１とカラーフィルタＢ２の分光感度特性を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎとに分光感度特性の差を設けている。

以下では、Ｒペアの各光電変換素子、Ｇペアの各光電変換素子、Ｂペアの各光電変換素子の分光感度特性の具体例を説明する。

図３は、図２に示した固体撮像素子５における光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性を示した図である。図３において、符号Ｒ１（λ），Ｇ１（λ），Ｂ１（λ）で示した特性が、それぞれカラーフィルタＲ１，Ｇ１，Ｂ１が設けられた光電変換素子５１Ｗの分光感度特性を示す。また、符号Ｒ２（λ），Ｇ２（λ），Ｂ２（λ）で示した特性が、それぞれカラーフィルタＲ２，Ｇ２，Ｂ２が設けられた光電変換素子５１Ｎの分光感度特性を示す。

図３に示した例では、Ｒペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｒペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｒ２（λ）における半値幅は、分光感度特性Ｒ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。さらに、分光感度特性Ｒ１（λ）における半値幅が、赤色の波長範囲に入っている。また、分光感度特性Ｒ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｒ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。なお、分光感度特性Ｒ１（λ），Ｒ２（λ）における各半値幅は、可視光の波長範囲における値とした。

図３に示した例では、Ｇペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｇペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｇ２（λ）における半値幅は、分光感度特性Ｇ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。さらに、分光感度特性Ｇ１（λ）における半値幅が、緑色の波長範囲に入っている。さらに、分光感度特性Ｇ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｇ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。

図３に示した例では、Ｂペアの光電変換素子５１Ｗが主として分光感度を有する波長範囲（半値幅）の各波長における分光感度の値は、Ｂペアの光電変換素子５１Ｎの当該各波長における分光感度の値よりも大きくなっている。また、分光感度特性Ｂ２（λ）における半値幅は、分光感度特性Ｂ１（λ）における半値幅よりも狭く、かつ、それよりも内側となっている。さらに、分光感度特性Ｂ１（λ）における半値幅が、青色の波長範囲に入っている。さらに、分光感度特性Ｂ１（λ）の半値幅に対するピーク値の比が、分光感度特性Ｂ２（λ）の半値幅に対するピーク値の比よりも大きくなっている。なお、分光感度特性Ｂ１（λ），Ｂ２（λ）における各半値幅は、可視光の波長範囲における値とした。

このように、図３に示した分光感度特性にすることで、上記（１）〜（５）の条件を満たすことができる。

複数の垂直電荷転送部５４は、各光電変換素子列に対応して１つずつ設けられており、対応する光電変換素子列の各光電変換素子から読み出した電荷を、列方向Ｙに転送する。

垂直電荷転送部５４は、半導体基板内に形成された電荷転送チャネル５４ａと、この上方に列方向Ｙに並べて設けられた転送電極Ｖ１〜Ｖ８とで構成されている。転送電極Ｖ１〜Ｖ８には、撮像素子駆動部１０から駆動パルスが供給されるようになっており、この駆動パルスによって、垂直電荷転送部５４が駆動される。

電荷転送チャネル５４ａと、これに対応する光電変換素子列の各光電変換素子との間には、電荷読み出し領域５６（図２では模式的に矢印で示した）が形成されている。

転送電極Ｖ３は、第一グループの光電変換素子５１Ｗのうち、固体撮像素子５の水平電荷転送部５２が設けられた側とは反対側の端部（上端部）から数えて奇数行目の光電変換素子５１Ｗの電荷読み出し領域５６も覆っており、この光電変換素子５１Ｗから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ７は、第一グループの光電変換素子５１Ｗのうち、固体撮像素子５の上端部から数えて偶数行目の光電変換素子５１Ｗの電荷読み出し領域５６も覆っており、この光電変換素子５１Ｗから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ５は、第二グループの光電変換素子５２Ｎのうち、固体撮像素子５の上端部から数えて奇数行目の光電変換素子５２Ｎの電荷読み出し領域５６も覆っており、この光電変換素子５２Ｎから電荷を読み出すための読み出し電極も兼ねている。

転送電極Ｖ１は、第二グループの光電変換素子５２Ｎのうち、固体撮像素子５の上端部から数えて偶数行目の光電変換素子５２Ｎの電荷読み出し領域５６も覆っており、この光電変換素子５２Ｎから電荷を読み出すための読み出し電極も兼ねている。

水平電荷転送部５２は、複数の垂直電荷転送部５４を転送されてきた電荷を、行方向Ｘに転送する。

出力部５３は、水平電荷転送部５２を転送されてきた電荷を、その電荷量に応じた信号に変換して出力する。

以上のように構成されたデジタルカメラは、上述したように、ＤＲモードとＨＲモードとＳＮモードの３つのモードを、シーンに応じて又は手動操作に応じて切り替える。

ＤＲモードでは、撮像素子駆動部１０がＤＲ駆動を実施する。ＤＲ駆動とは、第一グループと第二グループの露光時間を異なるものとし、固体撮像素子５の全ての光電変換素子から信号を読み出す駆動である。このモードでは、デジタル信号処理部１７が、第一グループの各光電変換素子から読み出した信号群（以下、Ａ面という）と、第二グループの各光電変換素子から読み出した信号群（以下、Ｂ面という）とに独立にデジタル信号処理を施して２つの画像データ（Ａ面処理後の画像データとＢ面処理後の画像データと）を生成する。そして、デジタル信号処理部１７は、これら２つの画像データを合成することで、ダイナミックレンジを拡大し、かつ、色再現性を向上させたＤＲ画像データ（全ての光電変換素子のうちの半分の光電変換素子の各々に対応する画素データで構成される画像データ）を生成する。

ＨＲモードでは、撮像素子駆動部１０がＨＲ駆動を実施する。ＨＲ駆動とは、第一グループと第二グループの露光時間を同一とし、固体撮像素子５に含まれる全ての光電変換素子から信号を読み出す駆動である。このモードでは、デジタル信号処理部１７が、全ての光電変換素子から読み出した信号群（Ａ面とＢ面で構成される信号）にデジタル信号処理を施して、高解像度の１つのＨＲ画像データ（全ての光電変換素子の各々に対応する画素データで構成される画像データ）を生成する。なお、このモードでは、Ａ面とＢ面で色味が異なるため、デジタル信号処理部１７にてこの色味を合わせる補正を行ってもよい。

ＳＮモードでは、撮像素子駆動部１０がＳＮ駆動を実施する。ＳＮ駆動とは、第一グループと第二グループの露光時間を同一とし、ペアを構成する光電変換素子５１Ｗ，５１Ｎから読み出した電荷を固体撮像素子５内（例えば水平電荷転送部５２内）で混合して、全てのペアに対応する信号群（以下、ＡＢ面という）を固体撮像素子５から読み出す駆動である。このモードでは、デジタル信号処理部１７が、ＡＢ面にデジタル信号処理を施して、１つのＳＮ画像データ（全てのペアに対応する画素データで構成される画像データ）を生成する。このモードでは、ペアの電荷を固体撮像素子５内で混合してから信号に変換するため、低ノイズでありながら感度を向上させることができ、高感度かつ低ノイズのＳＮ画像データを生成することができる。

ＤＲモードでは、デジタル信号処理部１７が、Ａ面とＢ面で独立にホワイトバランス調整処理を行う。Ａ面とＢ面は色味が異なるデータであるため、Ａ面とＢ面それぞれに最適なＷＢゲインを算出するためには、Ａ面用の黒体軌跡データと、Ｂ面用の黒体軌跡データとを持っておく必要がある。

ＨＲモードでは、デジタル信号処理部１７が、Ａ面とＢ面で構成される信号群に対してホワイトバランス調整処理を行う。この場合も、Ａ面とＢ面は色味が異なるデータであるため、最適なホワイトバランスにするには、Ａ面とＢ面で独立にＷＢ調整を行う必要がある。つまり、このモードでも、Ａ面用の黒体軌跡データと、Ｂ面用の黒体軌跡データとを持っておく必要がある。

ＳＮモードでは、デジタル信号処理部１７が、ＡＢ面に対してホワイトバランス調整処理を行うため、Ａ面用の黒体軌跡データ及びＢ面用の黒体軌跡データとは別のＡＢ面用の黒体軌跡データを持っておく必要がある。

そこで、このデジタルカメラでは、黒体軌跡データ記憶部２３が、黒体軌跡データを、Ａ面用とＢ面用とＡＢ面用の３種類記憶している。

Ａ面用の黒体軌跡データは、光源の色温度を変化させながらＤＲモード又はＨＲモードで撮像したときのＡ面における黒体の色変化の軌跡を示すデータである。図４には、Ａ面用の黒体軌跡データ（符号ＡＤを付した）の一例が示されている。色空間としては、ここでは縦軸をＢ／Ｇとし、横軸をＲ／Ｇとしたもの（Ｂ／Ｇ，Ｒ／Ｇ色空間と称する）とするが、これに限らない。

Ｂ面用の黒体軌跡データは、光源の色温度を変化させながらＤＲモード又はＨＲモードで撮像したときのＢ面における黒体の色変化の軌跡を示すデータである。図４には、Ｂ面用の黒体軌跡データ（符号ＢＤを付した）の一例が示されている。

ＡＢ面用の黒体軌跡データは、光源の色温度を変化させながらＳＮモードで撮像したときのＡＢ面における黒体の色変化の軌跡を示すデータである。図４には、ＡＢ面用の黒体軌跡データ（符号ＡＢＤを付した）の一例が示されている。

図４に示した例では、（Ｂ／Ｇ）と（Ｒ／Ｇ）の比が１：１になる基準点Ｏにおいて、Ａ面用の黒体軌跡データＡＤ、Ｂ面用の黒体軌跡データＢＤ、及びＡＢ面用の黒体軌跡データＡＢＤがそれぞれ交わるように、正規化を行ってある。

なお、図４に示した黒体軌跡データＡＤ，ＢＤは、それぞれ、光電変換素子５１Ｗ，５１Ｎの分光感度特性と１０００Ｋ〜１００００Ｋの照明光の波長スペクトルに基づいてシミュレーションした結果を示している。このシミュレーション結果によれば、（Ｂ／Ｇ）と（Ｒ／Ｇ）の比が１：１となる基準点Ｏよりも（Ｒ／Ｇ）の値が小さくなる領域では、黒体軌跡データＡＤの曲線が黒体軌跡データＢＤの曲線よりも軸Ｂ／Ｇから離れた位置にあり、基準点Ｏよりも（Ｒ／Ｇ）の値が大きくなる領域では、黒体軌跡データＡＤの曲線が黒体軌跡データＢＤの曲線よりも軸Ｒ／Ｇに近づく位置にある黒体軌跡データＡＤ，ＢＤが得られる。

次に、ＷＢゲイン算出部２４によるＷＢゲインの算出方法の詳細について説明する。

図５は、図１に示すデジタルカメラにおけるＷＢゲインの算出方法を説明するためのフローチャートである。

固体撮像素子５により撮像が実施されると、その撮像によって得られる撮像信号がメインメモリ１６に記憶される。次に、モード判定部２２が、その撮像時のデジタルカメラのモードを判定する（ステップＳ１）。このモードは、システム制御部１１が被写体又は操作部１４の操作に応じて決定したものである。このため、モード判定部２２は、システム制御部１１からどのモードで撮像したかの情報を取得して、モードを判定する。

判定の結果、モードがＳＮモードであった場合（ステップＳ１：ＹＥＳ）は、メインメモリ１６にＡＢ面が記憶されているため、積算平均算出部１９が、ＡＢ面をｎ個のブロックに分割し、各ブロックにあるＲ信号、Ｇ信号、Ｂ信号の各々の積算平均を算出する。

続いて、ＷＢゲイン算出部２４が、分割ブロック毎に積算平均の比（（Ｂ信号の積算平均／Ｇ信号の積算平均）と（Ｒ信号の積算平均／Ｇ信号の積算平均））を算出し、当該算出した２つの比を座標とする点をＢ／Ｇ，Ｒ／Ｇ色空間に色情報としてプロットする（ステップＳ２）。この処理により、Ｂ／Ｇ，Ｒ／Ｇ色空間には、ｎ個の分割ブロックに対応したｎ個の色情報がプロットされ、ｎ個の色情報が生成される。

次に、ＷＢゲイン算出部２４が、黒体軌跡データＡＢＤを黒体軌跡データ記憶部２３から取得し、黒体軌跡データＡＢＤとステップＳ２で生成したｎ個の色情報の分布とに基づいて、当該ｎ個の色情報の中から、撮像時の周囲の光源の色情報（以下、光源情報という）を決定する（ステップＳ３）。これら光源情報の決定方法としては、周知の方法を用いる。

次に、ＷＢゲイン算出部２４は、決定した光源情報と黒体軌跡データＡＢＤとに基づいてＡＢ面用のＷＢゲインを算出する（ステップＳ４）。具体的には、ＷＢゲイン算出部２４は、決定した光源情報を黒体軌跡データＡＢＤの基準点Ｏに移動させるために必要なゲインを、ＡＢ面用のＷＢゲインとして算出する。

ステップＳ１の判定の結果、モードがＨＲモード又はＤＲモードであった場合（ステップＳ１：ＮＯ）は、メインメモリ１６にＡ面とＢ面が記憶されているため、積算平均算出部１９が、Ａ面とＢ面をそれぞれｎ個のブロックに分割し、各ブロックにあるＲ信号、Ｇ信号、Ｂ信号の各々の積算平均を算出する。

続いて、ＷＢゲイン算出部２４が、Ａ面の分割ブロック毎に積算平均の比を算出し、当該算出した２つの比を座標とする点をＢ／Ｇ，Ｒ／Ｇ色空間に色情報としてプロットする（ステップＳ５）。

次に、ＷＢゲイン算出部２４が、Ｂ面の分割ブロック毎に積算平均の比を算出し、当該算出した２つの比を座標とする点をＢ／Ｇ，Ｒ／Ｇ色空間に色情報としてプロットする（ステップＳ６）。

ステップＳ５，Ｓ６の処理により、Ｂ／Ｇ，Ｒ／Ｇ色空間には、Ａ面のｎ個の分割ブロックに対応したｎ個の色情報と、Ｂ面のｎ個の分割ブロックに対応したｎ個の色情報とがプロットされ、計（２×ｎ）個の色情報が生成される。

次に、ＷＢゲイン算出部２４が、黒体軌跡データ記憶部２３から黒体軌跡データＡＤ及び黒体軌跡データＢＤを取得し、黒体軌跡データＡＤと、黒体軌跡データＢＤと、ステップＳ５，Ｓ６で取得した（２×ｎ）個の色情報とに基づいて、Ａ面とＢ面で別々に光源情報を決定する（ステップＳ７）。

具体的には、ＷＢゲイン算出部２４は、黒体軌跡データＡＤとＡ面に対応するｎ個の色情報の分布とに基づいて、このｎ個の色情報の中から、Ａ面に対する撮像時の周囲の光源の色情報（以下、光源情報ＡＰという）を決定する。

また、ＷＢゲイン算出部２４は、黒体軌跡データＢＤとＢ面に対応するｎ個の色情報の分布とに基づいて、このｎ個の色情報の中から、Ｂ面に対する撮像時の周囲の光源の色情報（以下、光源情報ＢＰという）を決定する。

これら光源情報ＡＰ，ＢＰの決定方法としては、周知の方法を用いる。

次に、ＷＢゲイン算出部２４が、ステップＳ７で決定した光源情報ＡＰと黒体軌跡データＡＤとに基づいてＡ面用のＷＢゲインを算出し、光源情報ＢＰと黒体軌跡データＢＤとに基づいてＢ面用のＷＢゲインを算出する（ステップＳ８）。

具体的には、ＷＢゲイン算出部２４が、光源情報ＡＰを黒体軌跡データＡＤの基準点Ｏに移動させるために必要なゲインをＡ面用のＷＢゲインとして算出し、光源情報ＢＰを黒体軌跡データＢＤの基準点Ｏに移動させるために必要なゲインをＢ面用のＷＢゲインとして算出する。

以上のように、このデジタルカメラによれば、Ａ面、Ｂ面、ＡＢ面で独立に、最適なＷＢゲインを算出することができる。このため、ＤＲモードとＨＲモードとＳＮモードのいずれでも、適切なホワイトバランスを実現することができ、広Ｄレンジ撮像、高解像度撮像、高感度かつ低ノイズ撮像を、色再現性を向上させながら実現することができる。

また、このデジタルカメラによれば、ペアの光電変換素子５１Ｎの主として分光感度を有する波長範囲が、当該ペアの光電変換素子５１Ｗの主として分光感度を有する波長範囲に完全に含まれている。このため、ペアから得られる信号同士の相関性を高めることができ、ＤＲモードにおいては品質の高い広Ｄレンジ画像データを生成することができ、ＳＮモードにおいては品質の高い高感度かつ低ノイズ画像データを生成することができる。

なお、このデジタルカメラでは、ＳＮモード以外のモードとしては、ＤＲモードとＨＲモードの両方がなくてもよく、これらのいずれかだけが設定可能となっていてもよい。

また、ＳＮモードにおいては、各ペアの光電変換素子から読み出した電荷を水平電荷転送部５２内で電荷を混合せずに、当該電荷に応じた信号をアナログ信号処理部６でアナログ信号の状態で加算してから、加算後の信号をＡＢ面とし、このＡＢ面にデジタル信号処理してＳＮ画像データを生成してもよい。各ペアの光電変換素子から読み出した電荷を水平電荷転送部５２内で混合して得られる当該ペアに対応する信号と、各ペアの光電変換素子から読み出した信号をアナログ信号処理部６でアナログ信号の状態で加算して得られる当該ペアに対応する信号とは、そのノイズ量が異なるだけであり、ほぼ同じ信号と言うことができる。このため、各ペアの光電変換素子から読み出した電荷を固体撮像素子５内で混合する処理は、当該ペアの光電変換素子から読み出した信号を固体撮像素子５内で加算する処理と言い換えることができる。

また、以上の説明では、黒体軌跡データ記憶部２３に、黒体軌跡データＡＢＤを記憶しているが、これは必須ではない。黒体軌跡データＡＢＤを記憶しておかない場合には、ＷＢゲイン算出部２４が、黒体軌跡データＡＤと黒体軌跡データＢＤから黒体軌跡データＡＢＤを演算により生成して、黒体軌跡データＡＢＤを取得すればよい。

次に、図１に示したデジタルカメラの変形例について説明する。

（第一の変形例）
図６は、図５のステップＳ７で決定された光源情報ＡＰ，ＢＰのＢ／Ｇ，Ｒ／Ｇ色空間における位置の一例を示した図である。図６に示すように、光源情報ＡＰと光源情報ＢＰのＢ／Ｇ，Ｒ／Ｇ色空間における距離Ｌ１が大きい場合、この場合には、どちらかの光源情報が誤って決定されている可能性が高い。

そこで、第一の変形例のデジタルカメラでは、ＤＲモード及びＨＲモードのときに、ＷＢゲイン算出部２４が、距離Ｌ１が閾値を越える場合には、光源情報ＡＰと黒体軌跡データＡＤとの距離Ｌ２と、光源情報ＢＰと黒体軌跡データＢＤとの距離Ｌ３とを比較し、その比較結果に応じて、光源情報ＡＰと光源情報ＢＰのいずれかを変更する。

具体的には、ＷＢゲイン算出部２４は、図６に示すようにＬ３＞Ｌ２のときには、光源情報ＢＰを光源情報ＡＰに基づいて変更し、Ｌ２＞Ｌ３のときには、光源情報ＡＰを光源情報ＢＰに基づいて変更する。

以下、第一の変形例のデジタルカメラのＷＢゲイン算出動作について説明する。この動作は、図５に示したフローチャートにおけるステップＳ８のみを変更してものであるため、以下ではこの変更部分についてのみ説明する。

図７は、図１に示したデジタルカメラの第一の変形例のデジタルカメラの動作を説明するためのフローチャートであり、図５に示したフローチャートにおけるステップＳ８の変形例を示したものである。

ＷＢゲイン算出部２４は、図５のステップＳ７で光源情報ＡＰと光源情報ＢＰを決定すると、次に、光源情報ＡＰと光源情報ＢＰとの間のＢ／Ｇ，Ｒ／Ｇ色空間における距離Ｌ１を算出する（ステップＳ７１）。

次に、ＷＢゲイン算出部２４は、算出した距離Ｌ１が閾値Ｔｈ１を越えるか否かを判定する（ステップＳ７２）。閾値Ｔｈ１は、これ以上になると、光源情報の決定精度が維持できなくなる値である。

ステップＳ７２の判定がＮＯであった場合、ＷＢゲイン算出部２４は、ステップＳ７で決定した光源情報ＡＰと黒体軌跡データＡＤとに基づいてＡ面用のＷＢゲインを算出し、ステップＳ７で決定した光源情報ＢＰと黒体軌跡データＢＤとに基づいてＢ面用のＷＢゲインを算出する（ステップＳ７９）。

ステップＳ７２の判定がＹＥＳであった場合、ＷＢゲイン算出部２４は、光源情報ＡＰと黒体軌跡データＡＤの距離Ｌ２と、光源情報ＢＰと黒体軌跡データＢＤの距離Ｌ３とを算出する（ステップＳ７３）。

なお、距離Ｌ２は、光源情報ＡＰと黒体軌跡データＡＤとを最短距離で結ぶ直線の長さであり、距離Ｌ３は、光源情報ＢＰと黒体軌跡データＢＤとを最短距離で結ぶ直線の長さである。

次に、ＷＢゲイン算出部２４は、算出した距離Ｌ２と距離Ｌ３を比較する（ステップＳ７４）。比較の結果、Ｌ２＜Ｌ３であった場合（ステップＳ７４：ＹＥＳ）、ＷＢゲイン算出部２４は、ステップＳ７で決定した光源情報ＡＰを黒体軌跡データＡＤの基準点Ｏに移動させるために必要なゲインをＡ面用のＷＢゲインとして算出する（ステップＳ７５）。

続いて、ＷＢゲイン算出部２４は、光源情報ＡＰが得られたＡ面のブロックと同一座標のＢ面のブロックから得た色情報を光源情報ＢＰとし、この光源情報ＢＰを黒体軌跡データＢＤの基準点Ｏに移動させるために必要なゲインをＢ面用のＷＢゲインとして算出する（ステップＳ７６）。

ステップＳ７４の比較の結果、Ｌ２＞Ｌ３であった場合（ステップＳ７４：ＮＯ）、ＷＢゲイン算出部２４は、ステップＳ７で決定した光源情報ＢＰを黒体軌跡データＢＤの基準点Ｏに移動させるために必要なゲインをＢ面用のＷＢゲインとして算出する（ステップＳ７７）。

続いて、ＷＢゲイン算出部２４は、光源情報ＢＰが得られたＢ面のブロックと同一座標のＡ面のブロックから得た色情報を光源情報ＡＰとし、この光源情報ＡＰを黒体軌跡データＡＤの基準点Ｏに移動させるために必要なゲインをＡ面用のＷＢゲインとして算出する（ステップＳ７８）。

このように、第一の変形例のデジタルカメラは、光源情報の誤決定の可能性がある場合には、黒体軌跡データにより近い方の光源情報はそのままとし、黒体軌跡データから遠い方の光源情報を、当該近い方の光源情報とほぼ一致する光源情報に変更する。黒体軌跡データに近い光源情報は信頼性が高いと考えられるため、このようにすることで、光源情報の決定精度を向上させることができ、ＷＢゲインを適切に算出することが可能となる。

（第二の変形例）
図８は、撮像時の光源が輝線を持たない通常光源であるときの、図５のステップＳ７で決定された光源情報ＡＰ，ＢＰのＢ／Ｇ，Ｒ／Ｇ色空間における位置の一例を示した図である。図９は、図８に対し光源を蛍光灯等の輝線を持つ輝線光源にしたときの光源情報ＡＰ，ＢＰの位置の一例を示した図である。図８，９において示した領域Ｒ１，Ｒ２は、それぞれ、青空及び昼白色蛍光灯の色情報がプロットされる領域、緑及び白色蛍光灯の色情報がプロットされる領域を示す。

領域Ｒ２内に光源情報ＡＰ，ＢＰがある場合、光源が通常光源のときは、光源情報ＡＰと黒体軌跡データＡＤの距離Ｌ２と、光源情報ＢＰと黒体軌跡データＢＤの距離Ｌ３との差は小さい。これに対し、光源が輝線光源の場合には、図９に示すように、光源情報ＢＰが輝線の影響を受けて黒体軌跡データＢＤから離れ、距離Ｌ２と距離Ｌ３との差が大きくなる。このような現象は、領域Ｒ１に光源情報ＡＰ，ＢＰがある場合でも同様に発生する。このような現象は、ペアの光電変換素子５１Ｎと光電変換素子５１Ｗが、上述した（１）〜（４）の条件を満たしているために発生する。

光源が青空又は昼白色蛍光灯の場合、光源情報ＡＰ，ＢＰは領域Ｒ１内に入り、光源が緑又は白色蛍光灯の場合、光源情報ＡＰ，ＢＰは領域Ｒ２内に入る。つまり、青空と昼白色蛍光灯、緑と白色蛍光灯は、それぞれ誤判別されやすい。

図１に示したデジタルカメラでは、光電変換素子５１Ｗと光電変換素子５１Ｎで分光特性を変えている。このため、図８，９に示したように、輝線を持つ光源（昼白色蛍光灯、白色蛍光灯）と、輝線を持たない光源（青空、緑）とを、距離Ｌ２，Ｌ３の大きさを見ることで区別することが可能である。

そこで、第二の変形例のデジタルカメラでは、ＤＲモード及びＨＲモード時において、ＷＢゲイン算出部２４が、光源情報ＡＰ及び光源情報ＢＰが領域Ｒ１及び領域Ｒ２のいずれかにある場合に、その光源情報ＡＰと黒体軌跡データＡＤの距離Ｌ２と、その光源情報ＢＰと黒体軌跡データＢＤの距離Ｌ３とを比較し、その比較結果に応じて、Ａ面及びＢ面のホワイトバランスゲインの算出方法を変更する。

具体的には、ＷＢゲイン算出部２４は、距離Ｌ３から距離Ｌ２を減算した値が閾値Ｔｈ２以下のときには、当該値が閾値Ｔｈ２を越えるときに比べて、Ａ面用のＷＢゲインとＢ面用のＷＢゲインを小さめに算出する。

以下、第二の変形例のデジタルカメラのＷＢゲイン算出動作について説明する。この動作は、図５に示したフローチャートにおけるステップＳ８のみを変更したものであるため、以下ではこの変更部分についてのみ説明する。

図１０は、図１に示したデジタルカメラの第二の変形例のデジタルカメラの動作を説明するためのフローチャートであり、図５に示したフローチャートにおけるステップＳ８の変形例を示したものである。

ＷＢゲイン算出部２４は、図５のステップＳ７で光源情報ＡＰと光源情報ＢＰを決定した後、光源情報ＡＰと光源情報ＢＰが領域Ｒ１，Ｒ２に入っているか否かを判定する（ステップＳ１０１）。

ステップＳ１０１の判定がＮＯであった場合、ＷＢゲイン算出部２４は、図７に示したステップＳ７１以降の処理を実施する。

ステップＳ１０１の判定がＹＥＳであった場合、ＷＢゲイン算出部２４は、光源情報ＡＰと黒体軌跡データＡＤの距離Ｌ２と、光源情報ＢＰと黒体軌跡データＢＤの距離Ｌ３とを算出する（ステップＳ１０２）。

次に、ＷＢゲイン算出部２４は、Ｌ３からＬ２を減算した値が閾値Ｔｈ２を越えるか否かを判定する（ステップＳ１０３）。閾値Ｔｈ２は、これ以上であれば輝線の影響を受けていると判断できる程度の値である。

ステップＳ１０３の判定がＹＥＳであった場合、この場合は、図９に示した状態、つまり、光源が蛍光灯であると判断することができる。この場合には、ＷＢゲイン算出部２４は、光源情報ＡＰを黒体軌跡データＡＤの基準点Ｏに移動させるために必要なゲインをＡ面用のＷＢゲインとして算出し、光源情報ＢＰを黒体軌跡データＢＤの基準点Ｏに移動させるために必要なゲインをＢ面用のＷＢゲインとして算出する（ステップＳ１０４）。

ステップＳ１０３の判定がＮＯであった場合、この場合は、図８に示した状態、つまり、光源が緑、青空等の物体色であると判断することができる。この場合には、ＷＢゲイン算出部２４は、物体色が残るように、ステップＳ１０４で算出するＷＢゲインよりもゲインを小さくしたＷＢゲインを算出する（ステップＳ１０５）。どれくらいゲインを下げるかは、経験的に決めておけばよい。

以上のように、第二の変形例のデジタルカメラによれば、光源が蛍光灯と物体色とのどちらとも判断できるような場合でも、距離Ｌ３と距離Ｌ２の比較によって、蛍光灯と物体色を明確に区別することができる。このため、ホワイトバランス調整の精度を向上させることができる。

（第三の変形例）
図１１は、図５のステップＳ７で決定された光源情報ＡＰ，ＢＰのＢ／Ｇ，Ｒ／Ｇ色空間における位置の一例を示した図である。図１１に示すように、光源情報ＡＰがほぼ黒体軌跡データＡＤ上もしくは黒体軌跡データＡＤから一定の誤差距離内にあり、光源情報ＢＰがほぼ黒体軌跡データＢＤ上もしくは黒体軌跡データＢＤから一定の誤差距離内にあり、かつ、これら光源情報ＡＰと光源情報ＢＰが同一のブロックから得られたものであった場合、この場合には、これら光源情報ＡＰと光源情報ＢＰが正確な光源である確率が高い。

そこで、第三の変形例のデジタルカメラでは、ＷＢゲイン算出部２４が、光源情報ＡＰ，ＢＰを決定する際に、黒体軌跡データＡＤに乗るＡ面の色情報があり、黒体軌跡データＢＤに乗るＢ面の色情報があり、これらの色情報が同一のブロックの色情報であるときには、これら２つの色情報を撮像時の光源情報として決定する。

以下、第三の変形例のデジタルカメラのＷＢゲイン算出動作について説明する。この動作は、図５に示したフローチャートにおけるステップＳ７のみを変更したものであるため、以下ではこの変更部分についてのみ説明する。

図１２は、図１に示したデジタルカメラの第三の変形例のデジタルカメラの動作を説明するためのフローチャートであり、図５に示したフローチャートにおけるステップＳ７の変形例を示したものである。

図５に示したステップＳ５，６で色情報を生成した後、ＷＢゲイン算出部２４は、黒体軌跡データＡＤ，ＢＤにＡ面とＢ面の色情報がそれぞれ乗る同一ブロックがあるかどうかを判定する（ステップＳ１２１）。

ステップＳ１２１の判定がＮＯであった場合、この場合には、ＷＢゲイン算出部２４が、黒体軌跡データ記憶部２３から黒体軌跡データＡＤ及び黒体軌跡データＢＤを取得し、黒体軌跡データＡＤと、黒体軌跡データＢＤと、Ａ面の色情報の分布と、Ｂ面の色情報の分布とに基づいて、Ａ面とＢ面で別々に光源情報を決定する（ステップＳ１２３）。ここでの光源情報の決定は周知の方法で行う。

ステップＳ１２１の判定がＹＥＳであった場合、この場合には、ＷＢゲイン算出部２４が、上記同一ブロックの色情報を光源情報ＡＰ，ＢＰとして決定する（ステップＳ１２２）。

ステップＳ１２２，Ｓ１２３の後、ＷＢゲイン算出部２４は、決定した光源情報ＡＰ、ＢＰと黒体軌跡データＡＤと黒体軌跡データＢＤに基づいて、Ａ面用のＷＢゲインとＢ面用のＷＢゲインを算出する（ステップＳ８）。

以上のように、第三の変形例のデジタルカメラによれば、黒体軌跡データに色情報が乗る同一ブロックがあった場合には、そのブロックの色情報を光源情報として決定するため、光源情報決定までの処理量を減らすことが可能となる。また、このような色情報がある場合には、その色情報が光源の色情報である確率が高いため、光源情報を正確に決定することができる。

（第四の変形例）
図１３は、図１に示すデジタルカメラの第四の変形例のデジタルカメラのＷＢゲイン算出動作を説明するためのフローチャートである。図１３に示すフローチャートは、ステップＳ１：ＮＯ以降の処理が異なる点を除いては、図５に示したフローチャートと同じである。

ステップＳ１の判定がＮＯであった場合、ＷＢゲイン算出部２４は、図１２に示したステップＳ１２１〜Ｓ１２３の方法で、光源情報ＡＰ，ＢＰを決定する（ステップＳ１３１）。

次に、ＷＢゲイン算出部２４は、図７に示したステップＳ７１〜Ｓ７９の方法でＷＢゲインを算出する（ステップＳ１３２）。

このように、図１に示したデジタルカメラにおいて、第一の変形例と第三の変形例の処理内容を組み合わせることで、処理速度の向上、光源決定精度の向上、ホワイトバランス調整精度の向上を実現することができる。

（第五の変形例）
図１４は、図１に示すデジタルカメラの第五の変形例のデジタルカメラのＷＢ算出動作を説明するためのフローチャートである。図１４に示すフローチャートは、ステップＳ１：ＮＯ以降の処理が異なる点を除いては、図５に示したフローチャートと同じである。

ステップＳ１の判定がＮＯであった場合、ＷＢゲイン算出部２４は、図１２に示したステップＳ１２１〜Ｓ１２３の方法で、光源情報ＡＰ，ＢＰを決定する（ステップＳ１４１）。

次に、ＷＢゲイン算出部２４は、図１０に示したステップＳ１０１〜Ｓ１０５、図７に示したＳ７１〜Ｓ７９の方法でＷＢゲインを算出する（ステップＳ１４２）。

このように、図１に示したデジタルカメラにおいて、第二の変形例と第三の変形例の処理内容を組み合わせることで、処理速度の向上、光源決定精度の向上、ホワイトバランス調整精度の向上を実現することができる。

なお、以上の説明では、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎが、上記（１）〜（５）の条件を満たすものとしたが、１つの固体撮像素子５で色味の異なる２つの画質を得るという目的から言えば、上記（１）〜（５）のうち少なくとも（１），（２）の条件を満たしていればよい。

条件（１）を満たしていないと色再現性の向上効果は得られず、条件（２）を満たしていないとペアから得られる信号の相関性が低くなってしまうためである。

また、ペアを構成する光電変換素子５１Ｗと光電変換素子５１Ｎとで分光感度特性を異ならせる方法としては、次のような方法を採用してもよい。

すなわち、カラーフィルタＲ１とカラーフィルタＲ２の各々の分光感度特性は同じとし、カラーフィルタＧ１とカラーフィルタＧ２の各々の分光感度特性は同じとし、カラーフィルタＢ１とカラーフィルタＢ２の各々の分光感度特性は同じとする。そして、ペアの光電変換素子５１Ｗと光電変換素子５１Ｎの構造を異ならせることで、光電変換素子５１Ｗと光電変換素子５１Ｎの分光感度特性に差をつける。例えば、ペアを構成する光電変換素子５１Ｗ，５１Ｎのうち、光電変換素子５１Ｗを構成するフォトダイオードのｐｎ接合面の深さと、光電変換素子５１Ｎを構成するフォトダイオードのｐｎ接合面の深さとを変える方法等がある。

また、固体撮像素子５の各光電変換素子５１Ｗ，５１Ｎの配列は、図１５及び図１６に示したようなものであってもよい。

図１５は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの奇数行を光電変換素子５１Ｗとし、偶数行を光電変換素子５１Ｎとしたものである。

図１６は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの一方の市松位置に光電変換素子５１Ｗを配置し、他方の市松位置に光電変換素子５１Ｎを配置した構成である。

図１５に示したような配列であっても、各光電変換素子５１Ｗと、各光電変換素子Ｗに対して同一の位置関係で隣接する（同一方向に隣接する）光電変換素子５１Ｎとをペアとして扱うことで、色再現性の向上を図ることができる。また、図１６に示したような配列であっても、奇数列においては、各光電変換素子５１Ｗと、各光電変換素子Ｗに対して同一の位置関係で隣接する（右方向に隣接する）光電変換素子５１Ｎをペアとして扱い、偶数列においては、各光電変換素子５１Ｗと、各光電変換素子Ｗに対して同一の位置関係で隣接する（左方向に隣接する）光電変換素子５１Ｎをペアとして扱うことで、色再現性の向上を図ることができる。

なお、これまでの説明では、固体撮像素子５が３種類のペアを有し、この３種類のペアでＲ，Ｇ，Ｂの三原色を検出するものとしたが、これに限らない。例えば、３種類のペアでそれぞれシアン、マゼンタ、イエローの補色を検出する構成としてもよい。また、ペアの種類は３種類に限らず、少なくとも２種類あれば、カラー撮像を実施することができる。

また、固体撮像素子５はＣＣＤ型に限らず、ＭＯＳ型であってもよい。この場合は、特開２００７−１２４１３７号公報に記載のように、第一グループと第二グループとで別々に走査回路とＣＤＳ回路を設けておけばよい。また、この場合には、ＳＮモードにおいて、アナログ信号処理部６でペアからの信号同士を加算する方法を採用することで、各ペアに対応する信号（ＡＢ面）を得ることができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの前記第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、所定の色空間における色温度による物体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部と、前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成部と、前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得部と、前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定部と、前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備えるものである。

開示された撮像装置は、前記第一の光源情報と前記第二の光源情報との間の前記色空間における距離を算出し、当該距離が第一の閾値を越えるときには、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第一の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第二の距離とを比較し、その比較結果に応じて、前記第一の光源情報と前記第二の光源情報のいずれかを変更する光源情報変更部を更に備えるものである。

開示された撮像装置は、前記光源情報変更部が、前記第二の距離が前記第一の距離よりも大きいときには、前記第二の光源情報を前記第一の光源情報に基づいて変更し、前記第一の距離が前記第二の距離よりも大きいときには、前記第一の光源情報を前記第二の光源情報に基づいて変更するものである。

開示された撮像装置は、前記第一の処理において、前記第一の信号用の黒体軌跡データに乗る前記第一の色情報があり、前記第二の信号用の黒体軌跡データに乗る前記第二の色情報があり、当該第一の色情報と当該第二の色情報とが同一の前記ブロックから生成された色情報であるときには、前記光源情報決定部が、前記第一の信号用の黒体軌跡データに乗る当該第一の色情報及び前記第二の信号用の黒体軌跡データに乗る当該第二の色情報を前記撮像時の光源情報として決定するものである。

開示された撮像装置は、各ペアの前記第一の光電変換素子の分光感度特性における半値幅が、前記各ペアの前記第二の光電変換素子の分光感度特性における半値幅よりも広くなっており、各ペアの前記第一の光電変換素子の主として分光感度を有する波長範囲の各波長における各ペアの前記第一の光電変換素子の分光感度が、前記各ペアの前記第二の光電変換素子の前記各波長における分光感度よりも高くなっているものである。

開示された撮像装置は、前記ホワイトバランスゲイン算出部は、前記第一の光源情報と前記第二の光源情報とが特定領域内にある場合に、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第三の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第四の距離とを比較し、その比較結果に応じて、前記第一の信号及び前記第二の信号のホワイトバランスゲインの算出方法を変更するものである。

開示された撮像装置は、前記ホワイトバランスゲイン算出部は、前記第四の距離から前記第三の距離を減算した値が第二の閾値以下のときには、当該値が前記第二の閾値を越えるときに比べて、算出する前記ホワイトバランスゲインを小さくするものである。

開示された撮像装置は、前記複数種類のペアが、前記特定の色が第一の色であるペアと、前記特定の色が第二の色であるペアと、前記特定の色が第三の色であるペアの３種類あり、縦軸を（前記第三の色）／（前記第二の色）とし、横軸を（前記第一の色）／（前記第二の色）とした色空間において、前記第一の信号用の黒体軌跡データと前記第二の信号用の黒体軌跡データが交差する基準点よりも（前記第一の色）／（前記第二の色）の値が小さくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記縦軸から離れた位置にあり、前記基準点よりも（前記第一の色）／（前記第二の色）の値が大きくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記横軸に近づく位置にあるものである。

開示された撮像装置は、前記記憶部が、前記加算信号用の黒体軌跡データを記憶し、前記黒体軌跡データ取得部は、前記記憶部から前記加算信号用の黒体軌跡データを取得するものである。

開示された撮像装置は、前記黒体軌跡データ取得部は、前記第一の信号用の前記黒体軌跡データと前記第二の信号用の前記黒体軌跡データとから、前記加算信号用の黒体軌跡データを生成することで、当該黒体軌跡データを取得するものである。

開示された撮像装置は、前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、各ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られているものである。

開示された撮像装置は、前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、前記各第一の光電変換素子とそれに対して同一の位置関係で隣接する前記第二の光電変換素子とが前記各ペアを構成するものである。

開示されたホワイトバランスゲイン算出方法は、それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置におけるホワイトバランスゲイン算出方法であって、各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの前記第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、前記撮像装置が、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、前記撮像装置が、所定の色空間における色温度による物体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部を有し、前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成ステップと、前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得ステップと、前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定ステップと、前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップとを備えるものである。

開示されたホワイトバランスゲイン算出方法は、前記第一の光源情報と前記第二の光源情報との間の前記色空間における距離を算出し、当該距離が第一の閾値を越えるときには、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第一の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第二の距離とを比較し、その比較結果に応じて、前記第一の光源情報と前記第二の光源情報のいずれかを変更する光源情報変更ステップを更に備えるものである。

開示されたホワイトバランスゲイン算出方法は、前記光源情報変更ステップでは、前記第二の距離が前記第一の距離よりも大きいときには、前記第二の光源情報を前記第一の光源情報に基づいて変更し、前記第一の距離が前記第二の距離よりも大きいときには、前記第一の光源情報を前記第二の光源情報に基づいて変更するものである。

開示されたホワイトバランスゲイン算出方法は、前記光源情報決定ステップでは、前記第一の処理において、前記第一の信号用の黒体軌跡データに乗る前記第一の色情報があり、前記第二の信号用の黒体軌跡データに乗る前記第二の色情報があり、当該第一の色情報と当該第二の色情報とが同一の前記ブロックから生成される色情報であるときには、前記第一の信号用の黒体軌跡データに乗る当該第一の色情報及び前記第二の信号用の黒体軌跡データに乗る当該第二の色情報を前記撮像時の光源情報として決定するものである。

開示されたホワイトバランスゲイン算出方法は、各ペアの前記第一の光電変換素子の分光感度特性における半値幅が、前記各ペアの前記第二の光電変換素子の分光感度特性における半値幅よりも広くなっており、各ペアの前記第一の光電変換素子の主として分光感度を有する波長範囲の各波長における各ペアの前記第一の光電変換素子の分光感度が、前記各ペアの前記第二の光電変換素子の前記各波長における分光感度よりも高くなっているものである。

開示されたホワイトバランスゲイン算出方法は、前記ホワイトバランスゲイン算出ステップでは、前記第一の光源情報と前記第二の光源情報とが特定領域内にある場合に、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第三の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第四の距離とを比較し、その比較結果に応じて、前記第一の信号及び前記第二の信号のホワイトバランスゲインの算出方法を変更するものである。

開示されたホワイトバランスゲイン算出方法は、前記ホワイトバランスゲイン算出ステップでは、前記第四の距離から前記第三の距離を減算した値が第二の閾値以下のときには、当該値が前記第二の閾値を越えるときに比べて、算出する前記ホワイトバランスゲインを小さくするものである。

開示されたホワイトバランスゲイン算出方法は、前記複数種類のペアが、前記特定の色が第一の色であるペアと、前記特定の色が第二の色であるペアと、前記特定の色が第三の色であるペアの３種類あり、縦軸を（前記第三の色）／（前記第二の色）とし、横軸を（前記第一の色）／（前記第二の色）とした色空間において、前記第一の信号用の黒体軌跡データと前記第二の信号用の黒体軌跡データが交差する基準点よりも（前記第一の色）／（前記第二の色）の値が小さくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記縦軸から離れた位置にあり、前記基準点よりも（前記第一の色）／（前記第二の色）の値が大きくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記横軸に近づく位置にあるものである。

開示されたホワイトバランスゲイン算出方法は、前記記憶部が、前記加算信号用の黒体軌跡データを記憶し、前記黒体軌跡データ取得ステップでは、前記記憶部から前記加算信号用の黒体軌跡データを取得するものである。

開示されたホワイトバランスゲイン算出方法は、前記黒体軌跡データ取得ステップでは、前記第一の信号用の前記黒体軌跡データと前記第二の信号用の前記黒体軌跡データとから、前記加算信号用の黒体軌跡データを生成することで、当該黒体軌跡データを取得するものである。

開示されたホワイトバランスゲイン算出方法は、前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、各ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られているものである。

開示されたホワイトバランスゲイン算出方法は、前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、前記各第一の光電変換素子とそれに対して同一の位置関係で隣接する前記第二の光電変換素子とが前記各ペアを構成するものである。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年５月２８日出願の日本出願（特願２０１０−１２３５８５）に基づくものであり、その内容はここに参照として取り込まれる。

５固体撮像素子
１０撮像素子駆動部
５１Ｗ，５１Ｎ光電変換素子

Claims

それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置であって、
各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、
前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、
前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、
所定の色空間における色温度による黒体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部と、
前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成部と、
前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得部と、
前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定部と、
前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える撮像装置。
請求項１記載の撮像装置であって、
前記第一の光源情報と前記第二の光源情報との間の前記色空間における距離を算出し、当該距離が第一の閾値を越えるときには、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第一の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第二の距離とを比較し、その比較結果に応じて、前記第一の光源情報と前記第二の光源情報のいずれかを変更する光源情報変更部を更に備える撮像装置。
請求項２記載の撮像装置であって、
前記光源情報変更部が、前記第二の距離が前記第一の距離よりも大きいときには、前記第二の光源情報を前記第一の光源情報に基づいて変更し、前記第一の距離が前記第二の距離よりも大きいときには、前記第一の光源情報を前記第二の光源情報に基づいて変更する撮像装置。
請求項１〜３のいずれか１項記載の撮像装置であって、
前記第一の処理において、前記第一の信号用の黒体軌跡データに乗る前記第一の色情報があり、前記第二の信号用の黒体軌跡データに乗る前記第二の色情報があり、当該第一の色情報と当該第二の色情報とが同一の前記ブロックから生成された色情報であるときには、前記光源情報決定部が、前記第一の信号用の黒体軌跡データに乗る当該第一の色情報及び前記第二の信号用の黒体軌跡データに乗る当該第二の色情報を前記撮像時の光源情報として決定する撮像装置。
請求項１〜４のいずれか１項記載の撮像装置であって、
各ペアの前記第一の光電変換素子の分光感度特性における半値幅が、前記各ペアの前記第二の光電変換素子の分光感度特性における半値幅よりも広くなっており、
各ペアの前記第一の光電変換素子の主として分光感度を有する波長範囲の各波長における各ペアの前記第一の光電変換素子の分光感度が、前記各ペアの前記第二の光電変換素子の前記各波長における分光感度よりも高くなっている撮像装置。
請求項５記載の撮像装置であって、
前記ホワイトバランスゲイン算出部は、前記第一の光源情報と前記第二の光源情報とが特定領域内にある場合に、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第三の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第四の距離とを比較し、その比較結果に応じて、前記第一の信号及び前記第二の信号のホワイトバランスゲインの算出方法を変更する撮像装置。
請求項６記載の撮像装置であって、
前記ホワイトバランスゲイン算出部は、前記第四の距離から前記第三の距離を減算した値が第二の閾値以下のときには、当該値が前記第二の閾値を越えるときに比べて、算出する前記ホワイトバランスゲインを小さくする撮像装置。
請求項５〜７のいずれか１項記載の撮像装置であって、
前記複数種類のペアが、前記特定の色が第一の色であるペアと、前記特定の色が第二の色であるペアと、前記特定の色が第三の色であるペアの３種類あり、
縦軸を（前記第三の色）／（前記第二の色）とし、横軸を（前記第一の色）／（前記第二の色）とした色空間において、前記第一の信号用の黒体軌跡データと前記第二の信号用の黒体軌跡データが交差する基準点よりも（前記第一の色）／（前記第二の色）の値が小さくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記縦軸から離れた位置にあり、前記基準点よりも（前記第一の色）／（前記第二の色）の値が大きくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記横軸に近づく位置にある撮像装置。
請求項１〜８のいずれか１項記載の撮像装置であって、
前記記憶部が、前記加算信号用の黒体軌跡データを記憶し、
前記黒体軌跡データ取得部は、前記記憶部から前記加算信号用の黒体軌跡データを取得する撮像装置。
請求項１〜８のいずれか１項記載の撮像装置であって、
前記黒体軌跡データ取得部は、前記第一の信号用の前記黒体軌跡データと前記第二の信号用の前記黒体軌跡データとから、前記加算信号用の黒体軌跡データを生成することで、当該黒体軌跡データを取得する撮像装置。
請求項１〜１０のいずれか１項記載の撮像装置であって、
前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、
各ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られている撮像装置。
請求項１〜１１のいずれか１項記載の撮像装置であって、
前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、
前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、
前記各第一の光電変換素子とそれに対して同一の位置関係で隣接する前記第二の光電変換素子とが前記各ペアを構成する撮像装置。
それぞれ分光感度特性が異なる第一の光電変換素子及び第二の光電変換素子のペアを複数有する固体撮像素子を有する撮像装置におけるホワイトバランスゲイン算出方法であって、
各ペアの前記第一の光電変換素子が主として分光感度を有する波長範囲と前記各ペアの前記第二の光電変換素子が主として分光感度を有する波長範囲とが、それぞれ可視光の特定の色の波長範囲に入っており、
前記複数のペアは、前記特定の色がそれぞれ異なる複数種類のペアを含み、
前記撮像装置が、前記ペアの前記第一の光電変換素子及び前記第二の光電変換素子から得られる信号同士を加算して得られる前記ペアに対応する加算信号を処理して１つの画像データを生成する第一のモードと、前記複数の第一の光電変換素子及び前記複数の第二の光電変換素子から得られる信号を処理して１つの画像データを生成する第二のモードとを有し、
前記撮像装置が、所定の色空間における色温度による黒体の色変化の軌跡を表す黒体軌跡データを、前記複数の第一の光電変換素子からなる第一グループから得られる第一の信号用と、前記複数の第二の光電変換素子からなる第二グループから得られる第二の信号用とでそれぞれ記憶する記憶部を有し、
前記第一の信号を複数のブロックに分割して各ブロックの第一の信号から当該ブロックの第一の色情報を生成し、前記第二の信号を前記複数のブロックに分割して各ブロックの第二の信号から当該ブロックの第二の色情報を生成し、前記加算信号を前記複数のブロックに分割して各ブロックの信号から当該ブロックの第三の色情報を生成する色情報生成ステップと、
前記加算信号用の黒体軌跡データを取得する黒体軌跡データ取得ステップと、
前記第一の色情報の分布と前記第一の信号用の黒体軌跡データと前記第二の色情報の分布と前記第二の信号用の黒体軌跡データとに基づいて、前記第一の信号に対する撮像時の第一の光源情報と前記第二の信号に対する撮像時の第二の光源情報とを独立に決定する第一の処理を前記第二のモード時に実施し、前記第三の色情報の分布と前記加算信号用の黒体軌跡データとに基づいて、前記加算信号に対する撮像時の第三の光源情報を決定する第二の処理を前記第一のモード時に実施する光源情報決定ステップと、
前記第一の光源情報及び前記第二の光源情報に基づいて、前記第一の信号及び前記第二の信号のホワイトバランスゲインを算出し、前記第三の光源情報に基づいて前記加算信号のホワイトバランスゲインを算出するホワイトバランスゲイン算出ステップとを備えるホワイトバランスゲイン算出方法。
請求項１３記載のホワイトバランスゲイン算出方法であって、
前記第一の光源情報と前記第第二の光源情報との間の前記色空間における距離を算出し、当該距離が第一の閾値を越えるときには、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第一の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第二の距離とを比較し、その比較結果に応じて、前記第一の光源情報と前記第二の光源情報のいずれかを変更する光源情報変更ステップを備えるホワイトバランスゲイン算出方法。
請求項１４記載のホワイトバランスゲイン算出方法であって、
前記光源情報変更ステップでは、前記第二の距離が前記第一の距離よりも大きいときには、前記第二の光源情報を前記第一の光源情報に基づいて変更し、前記第一の距離が前記第二の距離よりも大きいときには、前記第一の光源情報を前記第二の光源情報に基づいて変更するホワイトバランスゲイン算出方法。
請求項１３〜１５のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記光源情報決定ステップでは、前記第一の処理において、前記第一の信号用の黒体軌跡データに乗る前記第一の色情報があり、前記第二の信号用の黒体軌跡データに乗る前記第二の色情報があり、当該第一の色情報と当該第二の色情報とが同一の前記ブロックから生成された色情報であるときには、前記第一の信号用の黒体軌跡データに乗る当該第一の色情報及び前記第二の信号用の黒体軌跡データに乗る当該第二の色情報を前記撮像時の光源情報として決定するホワイトバランスゲイン算出方法。
請求項１３〜１６のいずれか１項記載のホワイトバランスゲイン算出方法であって、
各ペアの前記第一の光電変換素子の分光感度特性における半値幅が、前記各ペアの前記第二の光電変換素子の分光感度特性における半値幅よりも広くなっており、
各ペアの前記第一の光電変換素子の主として分光感度を有する波長範囲の各波長における各ペアの前記第一の光電変換素子の分光感度が、前記各ペアの前記第二の光電変換素子の前記各波長における分光感度よりも高くなっているホワイトバランスゲイン算出方法。
請求項１７記載のホワイトバランスゲイン算出方法であって、
前記ホワイトバランスゲイン算出ステップでは、前記第一の光源情報と前記第二の光源情報とが特定領域内にある場合に、前記第一の光源情報と前記第一の信号用の黒体軌跡データとの間の前記色空間における第三の距離と、前記第二の光源情報と前記第二の信号用の黒体軌跡データとの間の前記色空間における第四の距離とを比較し、その比較結果に応じて、前記第一の信号及び前記第二の信号のホワイトバランスゲインの算出方法を変更するホワイトバランスゲイン算出方法。
請求項１８記載のホワイトバランスゲイン算出方法であって、
前記ホワイトバランスゲイン算出ステップでは、前記第四の距離から前記第三の距離を減算した値が第二の閾値以下のときには、当該値が前記第二の閾値を越えるときに比べて、算出する前記ホワイトバランスゲインを小さくするホワイトバランスゲイン算出方法。
請求項１７〜１９のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記複数種類のペアが、前記特定の色が第一の色であるペアと、前記特定の色が第二の色であるペアと、前記特定の色が第三の色であるペアの３種類あり、
縦軸を（前記第三の色）／（前記第二の色）とし、横軸を（前記第一の色）／（前記第二の色）とした色空間において、前記第一の信号用の黒体軌跡データと前記第二の信号用の黒体軌跡データが交差する基準点よりも（前記第一の色）／（前記第二の色）の値が小さくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記縦軸から離れた位置にあり、前記基準点よりも（前記第一の色）／（前記第二の色）の値が大きくなる領域では、前記第一の信号用の黒体軌跡データの曲線が前記第二の信号用の黒体軌跡データの曲線よりも前記横軸に近づく位置にあるホワイトバランスゲイン算出方法。
請求項１３〜２０のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記記憶部が、前記加算信号用の黒体軌跡データを記憶し、
前記黒体軌跡データ取得ステップでは、前記記憶部から前記加算信号用の黒体軌跡データを取得するホワイトバランスゲイン算出方法。
請求項１３〜２０のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記黒体軌跡データ取得ステップでは、前記第一の信号用の前記黒体軌跡データと前記第二の信号用の前記黒体軌跡データとから、前記加算信号用の黒体軌跡データを生成することで、当該黒体軌跡データを取得するホワイトバランスゲイン算出方法。
請求項１３〜２２のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記固体撮像素子が、前記各第一の光電変換素子の上方と前記各第二の光電変換素子の上方に設けられたカラーフィルタを備え、
各ペアの前記第一の光電変換素子と前記第二の光電変換素子のそれぞれの分光感度特性の違いが、それぞれの上方の前記カラーフィルタの分光感度特性の違いによって得られているホワイトバランスゲイン算出方法。
請求項１３〜２３のいずれか１項記載のホワイトバランスゲイン算出方法であって、
前記各第一の光電変換素子及び前記各第二の光電変換素子の配置が、前記第一の光電変換素子を列方向に複数並べた第一の光電変換素子列と前記第二の光電変換素子を列方向に複数並べた第二の光電変換素子列とを前記列方向に交差する行方向に交互に並べた配置となっており、
前記第一の光電変換素子列に対して、前記第二の光電変換素子列が、前記第一の光電変換素子及び前記第二の光電変換素子の各々の前記列方向における配列ピッチの１／２だけ前記列方向にずれて配置され、
前記各第一の光電変換素子とそれに同一の位置関係で隣接する前記第二の光電変換素子とが前記各ペアを構成するホワイトバランスゲイン算出方法。