JP4306306B2

JP4306306B2 - ホワイトバランス制御方法及び撮像装置

Info

Publication number: JP4306306B2
Application number: JP2003105648A
Authority: JP
Inventors: 玄太佐藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-04-09
Filing date: 2003-04-09
Publication date: 2009-07-29
Anticipated expiration: 2023-04-09
Also published as: JP2004312553A

Description

【０００１】
【発明の属する技術分野】
本発明はホワイトバランス制御方法及び撮像装置に係り、特にデジタルカメラやビデオカメラなどに好適なホワイトバランス制御技術に関する。
【０００２】
【従来の技術】
特許文献１には、デジタルカメラに搭載されるＣＣＤ部の分光特性のばらつきに起因する色再現への影響を抑制するために、カメラ個体ごとに分光感度特性を検出し、検出した分光感度特性に基づいてホワイトバランスの調整値を算出して、その調整値をカメラにセットする調整方法及び装置が開示されている。
【０００３】
また、特許文献２においては、長時間露光時における暗電流の蓄積効果によって発生する画素欠陥を補うために、暗出力レベル値が大きいものから一定数以下の画素を欠陥画素として検出し、これら欠陥画素に関して、その近傍画素情報によって補償する技術が開示されている。
【０００４】
【特許文献１】
特開２００１−３２０７１５号公報
【０００５】
【特許文献２】
特開２００１−１７７７６８号公報
【０００６】
【発明が解決しようとする課題】
ところで、現在市販されているデジタルカメラの多くは、撮影感度を選択できる構成になっている。例えば、ＩＳＯ１００／２００／４００／８００／１６００相当の５段階に感度を切り替えることができるものがある。この種のデジタルカメラシステムにおいては、暗いシーンなどを撮影する場合には高感度モードで撮影すれば問題ないが、ＩＳＯ１００又は２００相当などの標準感度モードで撮影を行った場合、ＣＣＤ出力画素レベルが非常に低くなってしまう。ＣＣＤ出力レベルが低いと色ノイズが発生し、色が混合して正確なＲＧＢ情報でホワイトバランスがとりにくくなっている。
【０００７】
そのため、仮にグレーチャートのような色情報一定レベルのシーンを撮影したとしても、それぞれの画素のＲＧＢ分布は同じ値に安定せず、その積算値でホワイトバランスをとるために色まわりを起した画像になってしまう。
【０００８】
本発明はこのような事情に鑑みてなされたもので、暗いシーン或いは過度に明るいシーンを撮影した場合においても、正確なホワイトバランス補正を行うことができるホワイトバランス制御方法及び撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するために本発明に係るホワイトバランス制御方法は、相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記高感度画素及び前記低感度画素からそれぞれ画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、前記撮像手段を介して取得される画像を複数のブロックに分割するブロック分け工程と、前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出工程と、前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定工程と、前記明るさ算出工程で算出された各ブロックの明るさを示す値と前記閾値とを比較する比較工程と、前記比較工程の比較結果に従い、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御工程と、前記切替制御工程によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出工程と、前記ゲイン算出工程で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整工程と、を含むことを特徴とする。
【００１０】
本発明に用いられる撮像手段は、高感度画素と低感度画素とを組み合わせた複合画素の構造を有している。これら感度の異なる２種類の画素（光電変換部）により、一度の撮像で光学的に同位相の画像情報（高感度画像情報と低感度画像情報）を取得することができる。該撮像手段から出力される画像信号を基にホワイトバランス調整用のゲインが算出されるが、本発明ではホワイトバランス演算の前段階において、高感度画素の情報を使うか低感度画素の情報を使うかを選択的に切り替えている。
【００１１】
撮像した画像を複数のブロックに分割し、画像内で閾値よりも暗い部分のブロックでは高感度画素の情報を用い、閾値よりも明るい部分のブロックでは低感度画素の情報を用いて、ホワイトバランス演算を行うようにしたので、各ブロックについて情報の安定性がアップし、正確な情報を基にしてホワイトバランスゲインを決定することができる。
【００１２】
上記方法発明を具現化する装置を提供するため、本発明に係る撮像装置は、相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号と前記従感光画素で光電変換された信号とをそれぞれ取り出すことができる構造を有する撮像手段と、前記撮像手段によって撮像された画像を複数のブロックに分割するブロック分け設定手段と、前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出手段と、前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定手段と、前記明るさ算出手段で算出された各ブロックの明るさを示す値と前記閾値とを比較し、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御手段と、前記切替制御手段によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出手段と、前記ゲイン算出手段で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整手段と、を備えたことを特徴とする。
【００１３】
本発明の一態様によれば、前記撮像手段は、各受光セルが少なくとも前記高感度画素及び前記低感度画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記高感度画素及び前記低感度画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴としている。
【００１４】
かかる構造の撮像手段は、同一受光セル（画素セル）内の高感度画素と低感度画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の二つの画像情報を１回の撮像で取得することができる。
【００１５】
本発明の他の態様によれば、前記明るさ算出手段は、前記撮像手段から得られるＲ，Ｇ，Ｂの色信号の積算値を算出することを特徴としている。Ｒ（赤），Ｇ（緑），Ｂ（青）の３原色に色分解された画像信号の場合、Ｇを基準とするＲ，Ｂのゲインを算出してもよいし、ＲＧＢ各色についてそれぞれゲインを算出してもよい。分割された各ブロックについてＲ，Ｇ，Ｂの各色の積算値を算出し、この積算値を用いてホワイトバランス演算を行う態様がある。
【００１６】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００１７】
〔撮像素子の構造〕
まず、撮像素子の構造について説明する。図１は本発明の実施に用いられるＣＣＤ固体撮像素子（以下、ＣＣＤという。）の一例を示す平面模式図であり、図２はその要部拡大図である。これらの図面に示すように、ＣＣＤ１０は、多数の受光セル２０が水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配置された二次元撮像デバイス（イメージセンサ）である。図示した構成はハニカム配列と呼ばれる画素配列であり、受光セル２０の幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたものとなっている。すなわち、互いに隣接する受光セル２０の行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００１８】
各受光セル２０は、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、感度の高い主たる感光部（以下、「高感度画素」という。）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、感度の低い従たる感光部（以下、「低感度画素」という。）を構成する。
【００１９】
各受光セル２０について、高感度画素２１と低感度画素２２には同色のカラーフィルタが配置されている。つまり、各受光セル２０に対応してそれぞれＲＧＢの何れか１色の原色カラーフィルタが割り当てられている。図１のように、水平方向についてＧＧＧＧ…の行の次段にＢＲＢＲ…の行が配置され、その次段にＧＧＧＧ…の行、更にその次の行にＲＢＲＢ…という具合に配列される。また、列方向についてみれば、ＧＧＧＧ…の列と、ＢＲＢＲ…の列と、ＧＧＧＧ…の列と、ＲＢＲＢ…の列とが循環式に繰り返される配列パターンとなっている。
【００２０】
受光セル２０の開口形状は四角形に限定されず、六角形や八角形などの多角形、或いは円形であってもよい。更に、受光セル２０の分離形状（分割形態）についても、図１に示した形状に限定されず、各分割領域から蓄積電荷を別々に読み出すことができればよく、その形状や分割数、面積の大小関係などは適宜設計される。例えば、１つの受光セル２０を３つ以上の受光領域に分割してもよい。なお、本発明の実施に際しては、Ｒ，Ｇ，Ｂの３原色に色分解する態様に限らず、イエロー（Ｙ），マゼンタ（Ｍ），シアン（Ｃ）の補色系のカラーフィルタを用いて色分解する態様も可能である。
【００２１】
受光セル２０の右側には垂直転送路（ＶＣＣＤ）３０が形成されている。垂直転送路３０は、受光セル２０の各列に近接して受光セル２０を避けながらジグザグ状に蛇行して垂直方向に伸びている。
【００２２】
垂直転送路３０上には４相駆動（φ1,φ2,φ3,φ4)に必要な転送電極３１、３２、３３、３４が配置される。転送電極３１〜３４は、受光セル２０の各行に近接して受光セル２０の開口を避けながら蛇行して図１の水平方向に伸びるように設けられている。例えば、２層ポリシリコンで転送電極を形成する場合、φ1 のパルス電圧が印加される第１の転送電極３１とφ3 のパルス電圧が印加される第３の転送電極３３は第１層ポリシリコン層で形成され、φ2 のパルス電圧が印加される第２の転送電極３２とφ4 のパルス電圧が印加される第４の転送電極３４は第２層ポリシリコン層で形成される。もちろん、本発明の実施に際して電荷転送方式や転送電極の構成は上記の例に限定されない。
【００２３】
図１において受光セル２０が並んだ撮像エリア４０の右側には、転送電極３１〜３４にパルス電圧を印加するＶＣＣＤ駆動回路４２が配置される。また、撮像エリア４０の下側（垂直転送路３０の下端側）には、垂直転送路３０から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４４が設けられている。
【００２４】
水平転送路４４は、２相駆動の転送ＣＣＤで構成されており、水平転送路４４の最終段（図１上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子４８に出力する。こうして、各受光セル２０で光電変換した信号が、点順次の信号列として出力される。
【００２５】
本例のＣＣＤ１０においては、一度の露光により高感度画素２１及び低感度画素２２で蓄積された信号電荷をそれぞれ独立に読み出すことが可能である。すなわち、図２に示したように、高感度画素２１及び低感度画素２２でそれぞれ生成された信号電荷は、当該受光セル２０の右側に隣接した垂直転送路３０に別々に読み出され、混ざり合うことなく転送される。
【００２６】
また、図３に示すように、受光セル２０の上方には各受光セル２０について１つのマイクロレンズ５０が配置されており、入射する光を効率的に受光セル２０に入射させるようになっている。
【００２７】
図４に受光セル２０の断面図を示す。同図では、図３の４−４線に沿う断面図を示している。図４によれば、ｎ型半導体基板６０の上にｐ型ウエル６２が形成されており、このｐ型ウエル６２の表面領域に２つのｎ型領域６３、６４が形成され、フォトダイオードを構成している。符号６３で示したｎ型領域のフォトダイオードが高感度画素２１に相当し、図４の符号６４で示したｎ型領域のフォトダイオードが低感度画素２２に相当している。
【００２８】
２つのｎ型領域６３、６４の間には、ｐ⁺型の分離領域６５が形成されている。分離領域６５はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、図４において符号６６で示したｐ⁺型領域は、受光セル２０と垂直転送路３０等の電気的な分離を行うためのチャネルストッパである。
【００２９】
フォトダイオードを構成するｎ型領域６３、６４の更に上層面には、高感度画素２１及び低感度画素２２に相当するそれぞれのフォトダイオード領域への光入射開口を画定する開口を有した遮光膜６８が形成されている。そして、遮光膜６８を覆うように、半導体基板の上層面には、ホスホシリケートガラス等からなる層間絶縁膜７０が形成されている。
【００３０】
層間絶縁膜７０の上面は高精度に平坦化されており、その上に色分解フィルタとして機能するカラーフィルタ層（オンチップカラーフィルタ）７２が形成されている。また、カラーフィルタ層７２の上には各受光セル２０に対応してマイクロレンズ（オンチップマイクロレンズ）５０が配設される。マイクロレンズ５０は上方より入射する光を遮光膜６８が画定する開口内に集光させる機能を有する。
【００３１】
マイクロレンズ５０を介して入射した光は、カラーフィルタ層７２によって色分解され、高感度画素２１及び低感度画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域（２１、２２）に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路３０に読み出される。なお、高感度画素２１と低感度画素２２は、分離領域６５によって区画されているため、それぞれのフォトダイオード領域に蓄積された信号電荷が受光セル２０内で混合されることはない。
【００３２】
図４では垂直転送路３０を示していないが、ｐ⁺型領域（チャネルストッパ）６６の外側に垂直転送路３０を構成するｎ型領域が形成されている。このｎ型領域と高感度画素２１及び低感度画素２２のｎ型領域及びこれらの間のｐ型ウエル６２によって読み出しトランジスタが構成される。垂直転送路３０の上層面には酸化シリコン膜等の絶縁層が形成され、その上に転送電極が垂直転送路３０の上方を覆うように配置される。転送電極の上には更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路３０を覆う遮光膜（遮光膜６８と一体の膜）が形成されている。
【００３３】
このように、隣接する受光セル２０どうしの間には、電荷転送路や転送電極などが形成され、電荷転送路や転送電極を介してそれぞれの受光セル２０が区画されるが、１つの受光セル２０内については分離領域６５（チャネルストッパ）のみによって受光領域が区画されている。したがって、１画素として取り扱われる１つの受光セル２０の中に更に細かな２つの独立した受光領域を形成することができ、１つの受光セル２０から感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）を別々に取り出すことが可能であり、光学的に同位相の画像信号を得ることができる。
【００３４】
図５は高感度画素２１と低感度画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００３５】
同図に示すように、高感度画素２１と低感度画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。高感度画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝4095）に達する。以後、入射光量が増加しても高感度画素２１の出力は一定となる。この「ｃ」を高感度画素２１の飽和光量と呼ぶことにする。
【００３６】
一方、低感度画素２２の感度は、高感度画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝4095／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を低感度画素２２の飽和光量と呼ぶ。
【００３７】
このように、異なる感度と飽和を持つ高感度画素２１と低感度画素２２とを組み合わせることにより、高感度画素のみの構成よりも撮像素子のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。高感度画素２１のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では低感度画素２２を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００３８】
〔デジタルカメラの構成例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤ１０を搭載したカメラについて説明する。
【００３９】
図６は本実施形態に係るデジタルカメラのブロック図である。カメラ１００の撮影レンズ１１０は、単焦点レンズでもよいし、ズームレンズ等の焦点距離可変のものでもよい。撮影レンズ１１０及び絞り１１２を通過した光はＣＣＤ１０に入射する。ＣＣＤ１０の受光面には多数のフォトセンサ（受光素子）が二次元的に配列され、各フォトセンサに対応して赤（Ｒ），緑（Ｇ），青（Ｂ）の原色カラーフィルタが所定の配列形態で配置されている。
【００４０】
ＣＣＤ１０の受光面に結像された被写体像は、ＣＣＤ１０上の各センサで光の入射光量に応じた量の信号電荷に変換される。
【００４１】
このようにして蓄積された信号電荷は、ＣＣＤ駆動回路１１６から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号として順次読み出される。このＣＣＤ１０は、蓄積した信号電荷をシャッターゲートパルスによって掃き出すことができ、これにより電荷の蓄積時間（シャッタースピード）を制御する、いわゆる電子シャッター機能を有している。
【００４２】
ＣＣＤ１０から順次読み出された電圧信号（画像信号）は、相関二重サンプリング回路（ＣＤＳ回路）１１８に加えられ、ここで各受光素子（画素）ごとのＲ，Ｇ，Ｂ信号がサンプリングホールドされ、Ａ／Ｄ変換器１２０に加えられる。Ａ／Ｄ変換器１２０は、ＣＤＳ回路１１８から順次加えられるＲ，Ｇ，Ｂ信号をデジタル信号に変換して出力する。ＣＣＤ駆動回路１１６、ＣＤＳ回路１１８及びＡ／Ｄ変換器１２０は、タイミング発生回路１２２から加えられるタイミング信号によって同期して駆動されるようになっている。
【００４３】
Ａ／Ｄ変換器１２０から出力されたＲ，Ｇ，Ｂ信号は、一旦メモリ１２４に格納され、その後、メモリ１２４に格納されたＲ，Ｇ，Ｂ信号は、デジタル信号処理回路１２６に加えられる。デジタル信号処理回路１２６は、同時化回路１２８、ホワイトバランス調整回路１３０、ガンマ補正回路１３２、輝度・色差信号（ＹＣ信号）作成回路１３４、及びメモリ１３６から構成されている。
【００４４】
同時化回路１２８は、メモリ１２４から読み出された点順次のＲ，Ｇ，Ｂ信号を同時式に変換し、Ｒ，Ｇ，Ｂ信号をホワイトバランス調整回路１３０に出力する。ホワイトバランス調整回路１３０は、Ｒ，Ｇ，Ｂ信号のデジタル値をそれぞれ増減するための乗算器１３０Ｒ、１３０Ｇ、１３０Ｂから構成されており、Ｒ，Ｇ，Ｂ信号は、それぞれ乗算器１３０Ｒ、１３０Ｇ、１３０Ｂに加えられる。
【００４５】
乗算器１３０Ｒ、１３０Ｇ、１３０Ｂの他の入力には、中央処理装置（ＣＰＵ）１３８からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）Ｒｇ，Ｇｇ，Ｂｇが加えられており、乗算器１３０Ｒ、１３０Ｇ、１３０Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’，Ｇ’，Ｂ’信号をガンマ補正回路１３２に出力する。ＣＰＵ１３８からホワイトバランス調整回路１３０に加えられるホワイトバランス補正値Ｒｇ，Ｇｇ，Ｂｇの詳細については後述する。
【００４６】
ガンマ補正回路１３２は、ホワイトバランス調整されたＲ’，Ｇ’，Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路１３４に出力する。ＹＣ信号作成回路１３４は、ガンマ補正されたＲ，Ｇ，Ｂ信号から輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ，Ｃｂ（ＹＣ信号）は、メモリ１２４と同じメモリ空間のメモリ１３６に格納される。
【００４７】
ここで、メモリ１３６内のＹＣ信号を読み出し、液晶モニタ１５２に出力することにより、撮像中の動画映像（スルー画）又は記録した静止画を液晶モニタ１５２に表示させることができる。また、操作部１４０に含まれるシャッターボタンの押下に応動して撮影され、メモリ１３６に格納されたＹＣ信号は、圧縮／伸張回路１５４によってＪＰＥＧなど所定のフォーマットに従って圧縮された後、メモリカード１５６その他の記録媒体に記録される。
【００４８】
画像データを保存する手段（記録部）としての記録媒体としては、スマートメディア（Ｓｏｌｉｄ−ＳｔａｔｅＦｌｏｐｐｙＤｉｓｋＣａｒｄ）（登録商標）、ＰＣカード、コンパクトフラッシュ（登録商標）、磁気ディスク、光ディスク、光磁気ディスク、メモリスティックなどを適用でき、電子的、磁気的、若しくは光学的、又はこれらの組み合わせによる方式に従って読み書き可能な種々の媒体を用いることができる。使用される媒体に応じた信号処理手段とインターフェースが適用される。異種、同種の記録メディアを問わず、複数の媒体を装着可能な構成にしてもよい。また、画像を保存する手段は、カメラ本体に着脱可能なリムーバブルメディアに限らず、カメラ１００に内蔵された記録媒体（内部メモリ）であってもよい。
【００４９】
再生モード時には、メモリカード１５６に記録されている画像データが読み出され、圧縮／伸張回路１５４によって伸張処理された後、液晶モニタ１５２に出力される。こうして、液晶モニタ１５２に再生画像が表示される。
【００５０】
カメラ１００にはユーザが各種の指令を入力するための操作部１４０が設けられている。操作部１４０は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ1 スイッチと、全押し時にＯＮするＳ2 スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ1 オンにより、ＡＥ及びＡＦ処理などの撮影準備動作が行われ、Ｓ2 オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【００５１】
また、操作部１４０には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、液晶モニタ１５２にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、液晶モニタ１５２のＯＮ／ＯＦＦや表示方法の切り替え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り替えなどを行うための表示ボタン、ダイナミックレンジ拡大処理（画像合成) を実施するか否かの選択を行うＤレンジ拡大モードスイッチなどの操作手段も含まれる。
【００５２】
なお、操作部１４０の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００５３】
操作部１４０からの信号はＣＰＵ１３８に入力される。ＣＰＵ１３８は操作部１４０からの入力信号に基づいてカメラ１００の各回路を制御し、例えば、オートフォーカス（ＡＦ）、自動露出制御（ＡＥ）、オートホワイトバランス（ＡＷＢ）等の制御、レンズ駆動制御、撮影動作制御、ＣＣＤ１０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、メモリカード１５６内のファイル管理、液晶モニタ１５２の表示制御などを行う。
【００５４】
また、本例のカメラ１００はストロボ装置１４６を有し、図示せぬストロボキーの操作に応じて、低輝度時にストロボ装置１４６を自動的に発光させる自動発光モード、被写体輝度にかかわらずストロボ装置１４６を発光させる強制発光モード、又はストロボ装置１４６の発光を禁止させる発光禁止モード等に設定される。
【００５５】
ＣＰＵ１３８はユーザが選択したストロボモードに応じて図示しないメインコンデンサの充電制御や発光管（例えば、キセノン管）への放電（発光）タイミング等を制御する。また、ＣＰＵ１３８はストロボモードの設定に応じたホワイトバランス制御を行うようになっている。
【００５６】
ＥＥＰＲＯＭ１５８には、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納されている。ＥＥＰＲＯＭ１５８の情報は必要に応じてデータの書き換えが可能であるとともに、電源ＯＦＦ時においても情報内容が保持される。ＣＰＵ１３８は必要に応じてＥＥＰＲＯＭ１５８のデータを参照して演算等を行う。
【００５７】
カメラ１００のＡＦ制御は、例えばＧ信号の高周波成分が最大になるように撮影レンズ１１０を移動させるコントラストＡＦであり、シャッターボタンの半押し時にＧ信号の高周波成分が最大になるようにレンズ駆動部１４２を介して撮影レンズ１００を合焦位置に移動させる。
【００５８】
ＡＥ制御は、図７に示すように予め決めた露出▲１▼〜▲４▼にて複数回（最大４回）Ｒ，Ｇ，Ｂ信号を取り込み、これらのＲ，Ｇ，Ｂ信号を積算した積算値に基づいて被写体輝度（撮影ＥＶ値）を求める。こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。また、ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００５９】
次に、上記撮影ＥＶ値の測定の詳細について説明する。
【００６０】
図８に示すように、１画面を複数のエリア（例えば、８×８）に分割し、各分割エリア（ブロック）ごとにＲ，Ｇ，Ｂ信号から求めた輝度信号を積算し、その積算値に基づいて各分割エリアのＥＶ値（ＥＶｉ）を求める。続いて、図８に示すように撮影モードに対応して各分割エリアのＥＶ値に重み付けを行い、画面全体のＥＶ′値を次式によって算出する。
【００６１】
【数１】
ＥＶ′＝log₂｛Σ（Ｗ_i×２^EVi）／ΣＷ_i｝
ただし、ｉ：０〜６３（８×８の分割エリアを示す添え字）
Ｗ_i：撮影モードに応じた各分割エリアごとの重み係数
すなわち、撮影モードがオート撮影モード又は人物撮影モードの場合には、図８（Ａ）の重み付け係数に示すように中央重点測光方式となり、風景撮影モードの場合には、図８（Ｂ）に示すように最外周に位置する分割エリアの重み付けを減じた測光方式となり、夜景撮影モードの場合には、図８（Ｃ）に示すように平均測光方式となる。
【００６２】
上記のように算出したＥＶ′に対し、更に、次式に示すように撮影モードに応じた露出補正ΔＥＶを行って撮影ＥＶ値を求める。
【００６３】
【数２】
ＥＶ＝ＥＶ′−ΔＥＶ
なお、ΔＥＶは、例えば、人物撮影モードの場合にはΔＥＶ＝０、風景撮影モード、夜景撮影モードの場合にはΔＥＶ＝０．３とする。
【００６４】
上記のようにして求めた撮影ＥＶ値に基づいて撮影時の絞り値とシャッタースピードを最終的に決定する。
【００６５】
そして、シャッターボタンの全押し時に、前記決定した絞り値になるように図６の絞り駆動部１４４を介して絞り１１２を駆動し、また、決定したシャッタースピードとなるように電子シャッターによって電荷の蓄積時間を制御する。
【００６６】
本例のカメラ１００は、スルー画中は高感度画素２１のみからデータの読み出しを行い、高感度画素２１の画像信号からスルー画用の画像を作成する。また、シャッターボタンのＳ1 ＝ＯＮに伴うＡＥ処理及びＡＦ処理は高感度画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ記録を行うモードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）などに基づき自動的に広ダイナミックレンジ記録モードが選択された場合には、シャッターボタンのＳ2 ＝ＯＮに応動してＣＣＤ１０の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、高感度画素２１の電荷を読み出し、その後、低感度画素２２の電荷の読み出しを行う。
【００６７】
次に、オートホワイトバランス制御方法について説明する。
【００６８】
本例のカメラ１００では、撮像画面の全体を複数のエリアブロック（例えば、図９のように８×８）に分割し、ＣＣＤ１０から得られた各画素ごとのＲＧＢレベルを各ブロックごとに積算し、色別に一画素当たりの平均値を求める。そして、各ブロックについてＲ信号の積算平均値とＧ信号の積算平均値との比Ｒ／Ｇ、及びＢ信号の積算平均値とＧ信号の積算平均値との比Ｂ／Ｇを求める。
【００６９】
なお、各ブロックごとのＲ，Ｇ，Ｂ信号の平均積算値は、図６に示した積算回路１４８によって算出され、ＣＰＵ１３８に送られている。また、積算回路１４８とＣＰＵ１３８との間には乗算器１５０Ｒ、１５０Ｇ、１５０Ｂが設けられており、乗算器１５０Ｒ、１５０Ｇ、１５０Ｂには、機器のバラツキを調整するための調整ゲイン値が加えられるようになっている。
【００７０】
こうして求めた各ブロックの値Ｒ／Ｇ、Ｂ／Ｇを用いてホワイトバランスのゲイン値を算出するが、本実施形態においては、その前段階でＣＣＤ１０の高感度画素２１のデータを使うか、低感度画素２２のデータを使うかを輝度に基づいて判断している。判断基準となる輝度情報の閾値はカメラ１００内のＥＥＰＲＯＭ１５８に設定されている。ＣＰＵ１３８はＥＥＰＲＯＭ１５８内に設定されている輝度情報の閾値を参照してどちらの画素のデータを用いるかを判断して、利用情報を切り替える制御を行う。
【００７１】
画像の中で閾値よりも暗い部分のブロックについては高感度画素の情報を用い、逆に明るすぎる部分のブロックでは低感度画素の情報を用いることにより正確なＲＧＢ積算値を算出し得る。
【００７２】
図１０はカメラ１００の要部構成を示すブロック図である。
【００７３】
ＣＣＤ１０から出力された画像信号はＡ／Ｄ変換器１２０によってデジタル信号に変換される。シャッターボタンのＳ1 オン時に取得された画像データは、ＡＥ積算値演算部１７０に送られ、ここでＥＶ値が計算される。ここで求められたＥＶ値から露光条件（絞り及びシャッタースピード）が決定されるとともに、該ＥＶ値の情報は、ホワイトバランス調整部１７２における明るさ判別部１７４に送られる。
【００７４】
その一方、シャッターボタンのＳ2 オンによって取得された画像データは、Ａ／Ｄ変換後にオフセット処理され、リニアマトリックス回路１７６に送られる。オフセット処理はＣＣＤ出力の暗電流成分を補正する処理であり、ＣＣＤ１０上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の積算値（平均値）を画素値から減算する演算を行う。ＯＢ積算値算出部１７８は、ＣＣＤ１０上の遮光画素から得られるＯＢ信号の積算値を求め、その値を記憶する。オフセット処理時にはこのＯＢ積算値が参照される。
【００７５】
リニアマトリックス回路１７６において補正された低感度画素２２のＲＧＢデータは、高感度画素用の積算値演算部１８２に送られる。この積算値演算部１８２は、低感度画素２２から得た１画面分の画像全体を８×８ブロックに分割して、各ブロックのＲＧＢ積算値を算出する。
【００７６】
また、リニアマトリックス回路１７６において補正された高感度画素２１のＲＧＢデータは、高感度画素用の積算値演算部１８０に送られる。この積算値演算部１８０は、高感度画素２１から得た１画面分の画像全体を８×８ブロックに分割して、各ブロックのＲＧＢ積算値を算出する。
【００７７】
高感度画素用の積算値演算部１８０において算出された情報は閾値判別部１８４に送られ、各ブロックの明るさと所定の閾値とが比較される。ブロックの明るさが所定の閾値よりも低い場合には、そのブロックについては高感度画素２１から求めた積算値情報を用いるものとする。ブロックの明るさが所定の閾値よりも高い場合には、そのブロックについては低感度画素２２から求めた積算値情報を用いるものとする。
【００７８】
例えば、０〜２５５の値で明るさを評価する場合に、輝度の閾値を「２４０」に設定し、２４０以上の輝度を有するブロックについては、低感度画素２２から得た積算値の情報を利用し、２４０よりも低い輝度のブロックについては高感度画素２１の積算値情報を利用する。
【００７９】
こうして、各ブロックについて明るさを判断して、高感度画素２１又は低感度画素２２の何れの積算値を利用するかを決定する。閾値判別部１８４の判別に従い８×８の各ブロックについてホワイトバランス演算に使用する積算値が選択され、これら選択された各ブロックの積算値情報がメモリ１８６に記憶される（高感度画素２１の情報を使用するブロックと、低感度画素２２の情報を使用するブロックとが混在し得る）。なお、メモリ１８６は図６で説明したメモリ２４と同じメモリ空間であってもよいし、別のメモリ空間であってもよい。
【００８０】
メモリ１８６に記憶された８×８ブロックの積算値情報は、図１０のＲ／Ｇ，Ｂ／Ｇ値検出部１８８に送られ、各ブロックごとにＲ信号の積算平均値とＧ信号の積算平均値値との比Ｒ／Ｇ、及びＢ信号の積算平均値とＧ信号の積算平均値との比Ｂ／Ｇが算出される。
【００８１】
各ブロックごとに求められた色情報Ｒ／Ｇ，Ｂ／Ｇは、光源判別部１９０に送られ、光源の検出に用いられる。光源判別部１９０と明るさ判別部１７４の判別結果に基づいてホワイトバランスゲイン算出部１９２においてホワイトバランスゲインが算出される。なお、光源の判別及びホワイトバランスゲインの算出処理の詳細については更に後述する。
【００８２】
決定されたゲイン値（ホワイトバランス補正値）により図６で説明したホワイトバランス調整回路１３０において各色信号のバランスが調整される。ホワイトバランス調整回路１３０でホワイトバランス調整が施された画像信号は、図１０に示したガンマ変換部１９４においてガンマ変換が施されるなど所要の処理を経て最終画像に変換された後、液晶モニタ１５２やメモリカード１５６などの出力部１９６に出力される。
【００８３】
広ダイナミックレンジ記録モードで撮影された場合には、高感度画素２１から得られた高感度画像データと低感度画素２２から得られた低感度画像データとがデジタル信号処理回路１２６内の合成処理部（不図示）において合成（加算）され、広ダイナミックレンジ画像が作成される。合成処理部は、高感度画像データに係数を乗算する乗算部と、低感度画像データに係数を乗算する乗算部と、係数乗算後の高感度画像データと低感度画像データとを加算（合成）する加算部と、を含む処理部である。高感度画像データ及び低感度画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ１３８によって可変設定される。
【００８４】
本例では、広ダイナミックレンジ記録時のダイナミックレンジを何％までにするかという設定情報を所定のユーザインターフェースを通して入力することができる。指定されたダイナミックレンジの情報に応じて、ガンマ係数や加算時の合成パラメータ、色差信号マトリックス回路のゲイン係数などが制御される。カメラ１００内の不揮発性メモリ（図示せぬＲＯＭ又はＥＥＰＲＯＭ１５８）には、指定されるダイナミックレンジに対応した各種パラメータ、係数等を規定したテーブルデータが格納されている。
【００８５】
図１１は高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフである。相対的被写体輝度は、高感度画像データが飽和するときのレベルを与える被写体輝度を100 ％として、これを基準に被写体輝度を表したものである。図１１では、画像データを８ビット（０〜 255）で表現しているが、ビット数はこれに限定されない。
【００８６】
本例では、ダイナミックレンジをＤ0 からＤ5 までの６段階に設定できるものとする。例えば、相対被写体輝度で１００％−１３０％−１７０％−２２０％−３００％−４００％という具合にダイナミックレンジを段階的に切り替えることができるように構成されている。もちろん、ダイナミックレンジの設定段数は本例に限定されず、任意の段階数に設計することが可能であるし、連続的な設定（無段階）も可能である。また、撮影シーンによって必要とされるダイナミックレンジが異なるので、撮像した画像を解析してダイナミックレンジを自動設定する態様もある。更に、ポートレートモード、夜景モードなどの撮影モードに応じて自動的にダイナミックレンジの設定を切り替える態様も可能である。
【００８７】
図１２にオートホワイトバランス制御の全体的なフローを示す。
【００８８】
なお、図６で説明したストロボ装置１４６を発光させる場合には、ストロボ光に対して良好なホワイトバランスを行うためのホワイトバランス補正値Ｒｇ，Ｇｇ，Ｂｇがホワイトバランス調整回路１３０に加えられるため、以下、ストロボが発光しない場合のホワイトバランス制御について説明する。
【００８９】
図１２に示したように、ＣＣＤ１０から画像信号が出力されると（ステップＳ１０）、高感度画素２１及び低感度画素２２のそれぞれについて８×８ブロックの積算値が算出される（ステップＳ１２）。各積算ブロックについて高感度画素２１の積算値を輝度閾値と比較し、閾値よりも暗いか否かが判断される（ステップＳ１４）。
【００９０】
ステップＳ１４において、閾値よりも暗いと判断したブロックについては高感度画素２１から得られた信号の積算値を使用するものとし（ステップＳ１６）、逆に閾値よりも明るいと判断したブロックについては低感度画素２２から得られた信号の積算値を使用するものとする（ステップＳ１８）。
【００９１】
ステップＳ１６又はステップＳ１８によってホワイトバランス計算用の８×８ブロックの積算値が決定される（ステップＳ２０）。この積算値情報を基にホワイトバランスゲイン（各色信号に乗算する係数）が算出され、ホワイトバランスの調整が行われる（ステップＳ２２）。
【００９２】
こうして、画像作成が完了したら、次の画像の取り込みが行われるか否かを判定する（ステップＳ２４）。次の撮影が行われる場合には、ステップＳ１０に戻って、上述の処理を繰り返す。その一方、ステップＳ２４において、撮影モードが解除されるなど、次の画像の取り込みが行われない場合には、本シーケンスを終了する（ステップＳ２６）。
【００９３】
図１３は、ホワイトバランス係数（ゲイン）の演算例を示すフローチャートである。なお、図１３は撮影モードとしてオート撮影モード又は人物撮影モードが選択された場合のオートホワイトバランス制御例を示す。
【００９４】
まず、シャッターボタンの半押し時に求めた撮影ＥＶ値を取得する（ステップＳ３０）。図１０で説明したように、ＡＥ積算値演算部１７０において算出されたＥＶ値の情報が明るさ判別部１７４に送られる。
【００９５】
続いて、シャッターボタンの全押し時にＡ／Ｄ変換器１２０から出力された１画面分のＲ，Ｇ，Ｂ信号について８×８ブロックに分割し、各ブロックについて積算値を求めて閾値判別部１８４において閾値との比較を行い、高感度画素２１又は低感度画素２２の情報を選択してブロックごとにＲ／Ｇ，Ｂ／Ｇを求める（図１３のステップＳ３２）。
【００９６】
上記のようにして各ブロックごとに求められる色情報Ｒ／Ｇ、Ｂ／Ｇは、それぞれのブロックが図１４の表色座標上に表された検出枠のうちの何れの検出枠内に入るかを判別するために使用される。なお、図１４上における日陰−曇り検出枠、昼光色検出枠等の検出枠は、横軸をＲ／Ｇ、縦軸をＢ／Ｇとする表色座標上に表された枠であり、各検出枠ごとに光源種などの色分布の範囲を規定するものである。
【００９７】
図１４では、青空検出枠、日陰−曇り検出枠、昼光色検出枠、緑検出枠、６領域に分割された昼白色−白色蛍光灯検出枠、温白色検出枠、肌色検出枠、２領域に分割されたタングステン検出枠が示されているが、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【００９８】
図１４に示した検出枠を用い、撮像画面の各分割エリアに対応する６４点（Ｒ／Ｇ、Ｂ／Ｇ）の分布を得て、各検出枠に出力された点の個数を検出する。
【００９９】
次に、日陰−曇りの評価値、蛍光灯（昼光色、昼白色−白色、温白色）の評価値、及びタングステン電球の評価値を、次式、
【０１００】
【数３】
日陰−曇りの評価値＝Ｆ（屋外らしさ）×Ｆ（日陰−曇りらしさ）×Ｆ（青空）
【０１０１】
【数４】
昼光色の評価値＝Ｆ₁(屋内らしさ）×Ｆ（昼光色蛍光灯らしさ）
【０１０２】
【数５】
昼白色−白色の評価値＝Ｆ₁(屋内らしさ）×Ｆ（昼白色−白色蛍光灯らしさ）
【０１０３】
【数６】
温白色の評価値＝Ｆ₁(屋内らしさ）×Ｆ（温白色蛍光灯らしさ）×Ｆ（肌）
【０１０４】
【数７】
電球の評価値＝Ｆ₂(屋内らしさ）×Ｆ（電球らしさ）×Ｆ（肌）
に基づいて算出する。
【０１０５】
上記〔数３〕式において、Ｆ（屋外らしさ）は、図１５に示すようにＥＶ値を変数とする屋外らしさを表すメンバシップ関数の値であり、図１３のステップＳ３０で取得したＥＶ値に基づいて求めることができる。
【０１０６】
〔数３〕式におけるＦ（日陰−曇りらしさ）は、分割エリアのＥＶ値Ｅviが１２以下の分割エリアであって、図１６に示すように日陰−曇り検出枠内に入る分割エリアの個数を変数とする日陰−曇りらしさを表すメンバシップ関数の値である。Ｆ（青空）は、分割エリアのＥＶ値Ｅviが１２．５を越えるエリアであって、図１７に示すように青空検出枠内に入る分割エリアの個数を変数とする青空を表すメンバシップ関数の値である。なお、Ｆ（青空）は、青空検出枠に入るエリアの個数が多い程、日陰らしさの評価値を下げる方向に作用する値をとる。
【０１０７】
ここで、上記各分割エリアの輝度（ＥＶ値Ｅvi）は、次式、
【０１０８】
【数８】
Ｅvi＝Ｅv＋log₂（Ｇi／４５）
ただし、Ｅv：撮影ＥＶ値
Ｇi：各エリアのＧの平均積算値
に基づいて計算する。上記式中の４５は、Ａ／Ｄ変換後の値の中での適正値である（ただし、８ビットのデジタル値（０〜２５５）で表した場合とする）。
【０１０９】
また、〔数４〕式乃至〔数６〕式におけるＦ₁(屋内らしさ）は、図１８に示すようにＥＶ値を変数とする屋内（蛍光灯）らしさを表すメンバシップ関数の値であり、〔数７〕式におけるＦ₂(屋内らしさ）は、図１８に示すようにＥＶ値（カッコ内の数値）を変数とする屋内（タングステン電球）らしさを表すメンバシップ関数の値である。なお、図１５及び図１８に示したＥＶ値は、撮影モードにかかわらず、オート／人物撮影モードにおける中央重点測光モードで測定した値を使用する。
【０１１０】
また、同様に〔数４〕式乃至〔数７〕式におけるＦ（昼光色蛍光灯らしさ）、Ｆ（昼白色−白色蛍光灯らしさ）、Ｆ（温白色蛍光灯らしさ）及びＦ（電球らしさ）は、それぞれ図１４に示した昼光色検出枠、昼白色−白色検出枠、温白色検出枠、及びタングステン電球検出枠内に入るエリアの個数を変数とする図１９に示す電球・蛍光灯らしさを表すメンバシップ関数の値である。
【０１１１】
また、〔数６〕式及び〔数７〕式におけるＦ（肌）は、図１４に示した肌色検出枠内に入るエリアの個数を変数とする図２０に示す肌色を表すメンバシップ関数の値である。なお、Ｆ（肌）は、肌色検出枠内のエリア数が多くなるにしたがって電球らしさの評価値を下げるように作用する。これは、肌色があるシーンで、タングステン電球色に対するホワイトバランス制御を強くかけると、赤味が飛んで白っぽくなり顔色が悪くなるからである。
【０１１２】
さて、上述のように、日陰−曇りの評価値、及び昼光色の評価値、昼白色−白色の評価値、温白色の評価値、電球の評価値が算出されると（図１３のステップＳ３４）、これらの５つの評価値のうちの最大値が所定の基準値（この例では０．４）以上か否かを判別する（図１３のステップＳ３６）。そして、最大値が０．４以上の場合には、その最大値をとる評価値の光源色に適したホワイトバランス補正値に基づくホワイトバランス制御を行う（ステップＳ３８）。
【０１１３】
一方、最大値が、０．４未満の場合には、デーライト（晴れ）と判別し、デーライトに適したホワイトバランス補正値に基づくホワイトバランス制御を行う（ステップＳ４０）。
【０１１４】
ここで、上記ホワイトバランス補正値は、次式、
【０１１５】
【数９】
ホワイトバランス補正値＝（オート設定値−晴れ）×評価値＋晴れ
だたし、晴れは、１．０である。また、オート設定値は、各光源色ごとに予めＥＥＰＲＯＭ１５８に準備されている。予め設定される光源種別のオート設定値（ＲＧＢ色別のゲイン値）は、光源色の雰囲気を残すようなゲインバランスで経験的に設定される。
【０１１６】
なお、本例において、日陰−曇り、昼白色−白色、及びタングステン電球のオート設定値は、次のようにして選択される。
【０１１７】
（１）日陰−曇りが選択された場合
図１４に示す曇り検出枠内に入る分割エリアの個数と、日陰検出枠内に入る分割エリアの個数とを比べ、個数の多い方のオート設定値を採用する。または、２つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【０１１８】
（２）昼白色−白色が選択された場合
図１４に示す６領域に分割された昼白色−白色検出枠内に入る分割エリアの個数を比べ、一番個数の多い領域のオート設定値を採用する。または、６つのオート設定値に対し、個数の多い順に重みを大きくしてオート設定値を算出する。
【０１１９】
（３）タングステン電球が選択された場合
図１４に示す２領域に分割されたタングステン検出枠内に入る分割エリアの個数を比べ、個数の多い方のオート設定値を採用する。または、２つのオート設定値に対し、個数の多い領域に重みを大きくしてオート設定値を算出する。
【０１２０】
〔数９〕式によって求めたホワイトバランス補正値をＲｇ，Ｇｇ，Ｂｇ、補正する信号をＲ，Ｇ，Ｂとすると、前記ホワイトバランス調整回路１３０での補正結果をＲ’，Ｇ’，Ｂ’とすると、Ｒ’，Ｇ’，Ｂ’は、次式、
【０１２１】
【数１０】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
によって表される。
【０１２２】
なお、ホワイトバランス補正値の算出に際して、上記の例では図１４に示した検出枠ごとに予め設定されているオート設定値を用いたが、検出枠内に入る分割ブロックの（Ｒ／Ｇ、Ｂ／Ｇ）の分布の平均値を基に、ホワイトバランス補正値を算出する態様も可能である。
【０１２３】
また、各検出枠に入った個数と各検出枠での平均座標との重み付けによって分布の重心点を計算し、重心点の座標と目標点の座標からホワイトバランス補正用のゲインを算出してもよい。
【０１２４】
上述した本実施形態によれば、画素の集合体である撮像画面を複数のブロックに分け、各ブロックの明るさ（輝度値）を一定レベルの閾値と比較して明るさを判定し、画像内に閾値よりも暗い部分が存在している場合にはその暗い部分に該当するブロックについては高感度画素２１のデータを用いてホワイトバランス計算用のＲＧＢ積算値を算出する一方、閾値よりも明るいブロック（明るすぎてとび気味の画素ブロック）が存在している場合には、その明るい部分に該当するブロックについて低感度画素２２からの信号を使ってホワイトバランス計算用のＲＧＢ積算値を算出するため、各ブロックから正確な積算値情報を得ることができる。
【０１２５】
こうして得られる正確な積算値情報を基にしてホワイトバランスゲインを決定できるため、従来と比較してホワイトバランスゲインの算出精度が向上する。
【０１２６】
上述の実施形態では、主に静止画を記録するデジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、動画記録可能なデジタルカメラ、ビデオカメラ、ＤＶＤカメラなどの電子カメラ、或いは、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮像装置についても本発明を適用できる。
【０１２７】
【発明の効果】
以上説明したように本発明によれば、高感度画素と低感度画素とを有する撮像手段を用いて撮像された画像を複数のブロックに分割し、画像内で閾値よりも暗い部分のブロックについては高感度画素の情報を利用する一方、閾値よりも明るい部分のブロックでは低感度画素の情報を利用してホワイトバランス演算を行うようにしたので、各ブロックについて正確な情報を得ることができ、ホワイトバランス演算の精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施に用いられるＣＣＤの一例を示す平面模式図
【図２】図１の要部拡大図
【図３】受光セルの拡大図
【図４】図３の４−４線に沿う断面図
【図５】高感度画素と低感度画素の光電変換特性を示すグラフ
【図６】本発明の実施形態に係るデジタルカメラの構成を示すブロック図
【図７】撮影ＥＶ値の求め方を説明するために用いた図
【図８】撮影モード別の測光方式を説明するために用いた図
【図９】オートホワイトバランス処理時の画像分割の例を示す図
【図１０】本例のカメラの要部構成を示すブロック図
【図１１】高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフ
【図１２】オートホワイトバランス制御の手順を示すフローチャート
【図１３】ホワイトバランス係数（ゲイン）の演算例を示すフローチャート
【図１４】光源種などの色分布の範囲を示す検出枠を示すグラフ
【図１５】屋外らしさを表すメンバシップ関数を示すグラフ
【図１６】日陰−曇りらしさを表すメンバシップ関数を示すグラフ
【図１７】青空を表すメンバシップ関数を示すグラフ
【図１８】屋内らしさを表すメンバシップ関数を示すグラフ
【図１９】電球・蛍光灯らしさを表すメンバシップ関数を示すグラフ
【図２０】肌色を表すメンバシップ関数を示すグラフ
【符号の説明】
１０…ＣＣＤ、２０…受光セル、２１…高感度画素、２２…低感度画素、５０…マイクロレンズ、７２…カラーフィルタ層、１２６…デジタル信号処理回路、１３０…ホワイトバランス調整回路、１３８…ＣＰＵ、１４８…積算回路、１５２…液晶モニタ、１５６…メモリカード

Claims

相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記高感度画素及び前記低感度画素からそれぞれ画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、
前記撮像手段を介して取得される画像を複数のブロックに分割するブロック分け工程と、
前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出工程と、
前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定工程と、
前記明るさ算出工程で算出された各ブロックの明るさを示す値と前記閾値とを比較する比較工程と、
前記比較工程の比較結果に従い、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御工程と、
前記切替制御工程によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出工程と、
前記ゲイン算出工程で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整工程と、
を含むことを特徴とするホワイトバランス制御方法。
相対的に感度の高い高感度画素と、相対的に感度の低い低感度画素とが所定の配列形態に従って多数配置され、前記主感光画素で光電変換された信号と前記従感光画素で光電変換された信号とをそれぞれ取り出すことができる構造を有する撮像手段と、
前記撮像手段によって撮像された画像を複数のブロックに分割するブロック分け設定手段と、
前記分割された各ブロックについて前記撮像手段から得られる画像信号に基づきブロックの明るさを示す値を算出する明るさ算出手段と、
前記各ブロックの明るさの評価基準となる閾値を設定する閾値設定手段と、
前記明るさ算出手段で算出された各ブロックの明るさを示す値と前記閾値とを比較し、前記閾値よりも暗いブロックについては前記高感度画素から得られる画像信号を利用する一方、前記閾値よりも明るいブロックについては前記低感度画素から得られる画像信号を利用するようにホワイトバランス演算用の画像信号を切り替える切替制御手段と、
前記切替制御手段によって選択されたホワイトバランス演算用の画像信号に基づいて、ホワイトバランス調整用のゲインを算出するゲイン算出手段と、
前記ゲイン算出手段で求めたゲインに基づき色信号を補正してホワイトバランス調整を行うホワイトバランス調整手段と、
を備えたことを特徴とする撮像装置。
前記撮像手段は、各受光セルが少なくとも前記高感度画素及び前記低感度画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記高感度画素及び前記低感度画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする請求項２記載の撮像装置。
前記明るさ算出手段は、前記撮像手段から得られるＲ，Ｇ，Ｂの色信号の積算値を算出することを特徴とする請求項２又は３記載の撮像装置。