JP5855035B2 - 固体撮像装置 - Google Patents

Description

本発明の実施形態は、固体撮像装置に関する。

近年、固体撮像装置は、画素数の増加や画素の微細化により、画素のダイナミックレンジが低下してきている。固体撮像装置は、被写体のうち輝度が高い部分において、入射光量に対する出力電荷の飽和が生じやすくなっている。かかる出力電荷の飽和に対しては、例えば、出力ゲインの減少、電荷蓄積時間の短縮などの措置が取られることがある。この場合、輝度が高い部分について出力電荷の飽和を低減できる一方、輝度が低い部分において最適な出力を得ることが困難となる。

ハイダイナミックレンジ（high dynamic range；ＨＤＲ）合成は、通常の撮影に比べて幅広いダイナミックレンジを表現するための撮影技法として知られている。ＨＤＲ合成の手法として、例えば、水平方向へ画素を並列させてなる水平ラインごとに、電荷蓄積時間や出力ゲインを異ならせるものがある。この手法によると、通常の撮影の場合に対して垂直方向における解像度を実質的に半減させることになるため、解像度の低下が問題となる。

また、ＨＤＲ合成の他の手法としては、例えば、電荷蓄積時間や出力ゲインを互いに異ならせて取得された二以上の画像を合成するものがある。この手法によると、イメージセンサの出力周期に対して、合成画像のフレームレートに遅れが生じることとなる。このため、特に動画を撮影する場合に、被写体像のブレ（モーションブラー）が生じ易くなることが課題となる。また、複数の画像についてフレームタイミングを同時化させるためのフレームメモリが必要であることから、回路規模の増大によるコストの増加、消費電力の増加が問題となる。

特開平８−３４０４８６号公報 特開２０１１−４０９２６号公報

本発明の一つの実施形態は、それぞれ光感度が異なる複数の小画素を含む小画素群を備える画素構成とし、効果的なハイダイナミックレンジ合成を実施可能とする固体撮像装置を提供することを目的とする。

本発明の一つの実施形態によれば、固体撮像装置は、画素アレイ及びハイダイナミックレンジ合成回路を有する。画素アレイは、複数の画素を備える。複数の画素は、水平方向及び垂直方向へ配列されている。画素アレイは、各画素への入射光量に応じた信号電荷を生成する。ハイダイナミックレンジ合成回路は、画素アレイからの画像信号を使用してハイダイナミックレンジ合成を実施する。画素は、小画素群として構成されている、小画素群は、複数の小画素からなる。複数の小画素は、それぞれ信号電荷を読み出し可能である。小画素群は、互いに光感度を異ならせた二以上の小画素を含む。小画素は、開口を備える。二以上の小画素は、開口の面積、電子シャッター時間及びアナログゲインの少なくとも一つを変えることにより、互いの光感度が異なる。ハイダイナミックレンジ合成回路は、有効画素選択部、感度比補正部及び演算処理部を有する。有効画素選択部は、小画素群から、ハイダイナミックレンジ合成における信号値の使用を有効とする１つ又は２以上の小画素を、有効画素として選択する。感度比補正部は、小画素ごとの信号値に対する感度比補正を実施する。感度比補正は、小画素同士における光感度の比に応じた、信号値の補正である。演算処理部は、ハイダイナミックレンジ合成のための演算を実施する。演算処理部は、感度比補正部からの小画素ごとの信号値のうち、有効画素の信号値を、演算に使用する。

第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図。 画素アレイ、画素及び小画素について説明する図。 画素アレイに配列されている小画素を示す模式図。 ＨＤＲ合成回路によるＨＤＲ合成について説明する図。 ＨＤＲ合成回路によるＨＤＲ合成について説明する図。 ＨＤＲ合成回路の構成を示すブロック図。 有効画素の選択のための閾値について説明する図。 有効画素選択部の構成を示すブロック図。 小画素の出力特性とＨＤＲ合成とについて説明する図。 第２の実施形態にかかる固体撮像装置に含まれるＨＤＲ合成回路の構成を示すブロック図。 小画素の出力特性と、有効画素選択部における有効画素の選択について説明する図。 感度比補正によって生じ得る出力特性のずれについて説明する図。 図１３の一部を拡大して示す図。 出力判定部の構成を示すブロック図。 有効判定手段における判定について説明する図。 有効判定手段の構成を示すブロック図。 演算処理部の構成を示すブロック図。 演算処理部の変形例を示すブロック図。 有効判定手段の変形例を示すブロック図。 第３の実施形態にかかる固体撮像装置の概略構成を示すブロック図。 第３の実施形態にかかる固体撮像装置を備えるデジタルカメラの概略構成を示す図。 撮像領域に設定されている領域を示す図。 第２出力補正部による信号値の補正について説明する図。 第３の実施形態にかかる固体撮像装置の変形例を示すブロック図。

以下に添付図面を参照して、実施形態にかかる固体撮像装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図２は、図１に示す固体撮像装置を備えるデジタルカメラの概略構成を示すブロック図である。

デジタルカメラ１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、撮像光学系４及び固体撮像装置５を有する。後段処理部３は、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）６、記憶部７及び表示部８を有する。カメラモジュール２は、デジタルカメラ１以外に、例えばカメラ付き携帯端末等の電子機器に適用される。

撮像光学系４は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置５は、被写体像を撮像する。ＩＳＰ６は、固体撮像装置５での撮像により得られた画像信号の信号処理を実施する。記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。

固体撮像装置５は、信号処理回路１１、及び撮像素子であるイメージセンサ１０を備える。イメージセンサ１０は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。イメージセンサ１０は、ＣＭＯＳイメージセンサの他、ＣＣＤ（charge coupled device）であっても良い。

イメージセンサ１０は、画素アレイ１２、垂直シフトレジスタ１３、水平シフトレジスタ１４、タイミング制御部１５、相関二重サンプリング部（ＣＤＳ）１６、自動利得制御部（ＡＧＣ）１７及びアナログデジタル変換部（ＡＤＣ）１８を有する。

画素アレイ１２は、イメージセンサ１０の撮像領域に設けられている。画素アレイ１２は、水平方向（行方向）及び垂直方向（列方向）へアレイ状に配置された複数の画素からなる。各画素は、光電変換素子であるフォトダイオードを備える。画素アレイ１２は、各画素への入射光量に応じた信号電荷を生成する。

図３は、画素アレイ、画素及び小画素について説明する図である。画素２０は、小画素群２１を構成する。小画素群２１は、４つの小画素２２からなる。各小画素群２１において、小画素２２は、水平方向へ２つ、垂直方向へ２つのマトリクスをなして配置されている。各小画素２２は、それぞれ信号電荷を読み出し可能に構成されている。小画素群２１は、互いに光感度が異なる二以上の小画素２２を含む。

タイミング制御部１５は、画素アレイ１２の各小画素２２からの信号を読み出すタイミングを指示するタイミング信号を、垂直シフトレジスタ１３及び水平シフトレジスタ１４へ供給する。垂直シフトレジスタ１３は、タイミング制御部１５からのタイミング信号である垂直同期信号に応じて、画素アレイ１２内の小画素２２を行ごとに選択する。垂直シフトレジスタ１３は、選択した行の各小画素２２へ読み出し信号を出力する。

垂直シフトレジスタ１３から読み出し信号が入力された小画素２２は、入射光量に応じて蓄積した信号電荷を出力する。画素アレイ１２は、小画素２２からの信号を、垂直信号線を介してＣＤＳ１６へ出力する。垂直シフトレジスタ１３は、画素アレイ１２のうち、信号電荷を読み出す行を選択する行選択回路として機能する。

ＣＤＳ１６は、画素アレイ１２からの信号に対し、固定パターンノイズの低減のための相関二重サンプリング処理を行う。ＡＧＣ１７は、ＣＤＳ１６における相関二重サンプリング処理を経た信号を増幅する。ＡＤＣ１８は、ＡＧＣ１７における増幅を経た信号を、アナログ方式からデジタル方式へ変換する。水平シフトレジスタ１４は、ＡＤＣ１８にてデジタル方式へ変換された信号を、タイミング制御部１５からのタイミング信号である水平同期信号に応じて、順次読み出す。

信号処理回路１１は、水平シフトレジスタ１４によって読み出されたデジタル画像信号に対し、各種の信号処理を実施する。信号処理回路１１は、ハイダイナミックレンジ（ＨＤＲ）合成回路１９を有する。ＨＤＲ合成回路１９は、信号処理回路１１へ入力されたデジタル画像信号に対し、ＨＤＲ合成を実施する。信号処理回路１１は、ＨＤＲ合成回路１９によるＨＤＲ合成の他、例えば、キズ補正、ノイズリダクション、シェーディング補正、ホワイトバランス調整等の信号処理を実施する。固体撮像装置５は、信号処理回路１１での信号処理を経たデジタル画像信号を出力する。

図４は、画素アレイに配列されている小画素を示す模式図である。画素アレイ１２は、例えば、赤色（Ｒ）光を検出する小画素群２１Ｒ、緑色（Ｇ）光を検出する小画素群２１Ｇ、青色（Ｂ）光を検出する小画素群２１Ｂがベイヤー配列をなしている。

小画素群２１を構成する４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄは、互いに光感度を異ならせて構成されている。本実施形態では、４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄのうち、小画素２２Ａは、最も高い光感度をなす。小画素２２Ａに次いで、小画素２２Ｂ，２２Ｃ，２２Ｄの順序で、光感度は低くなる。なお、互いに光感度を異ならせた小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの配置の態様は、本実施形態のとおりである場合に限られず、任意であるものとする。

各小画素２２は、受光面の上に、入射光が通過する開口を備える。小画素群２１を構成する４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄは、開口の面積がそれぞれ異なる。各小画素２２は、開口の面積に応じた光感度を持つ。なお、固体撮像装置５は、開口の面積に応じて各小画素２２の光感度を異ならせたものである場合に限られない。固体撮像装置５は、開口の面積のほか、例えば電子シャッター時間やアナログゲインなどに応じて、各小画素２２の光感度を異ならせたものとしても良い。

固体撮像装置５は、開口の面積、電子シャッター時間、アナログゲインなどのうちの二以上を組み合わせて、各小画素２２の光感度を調整することとしても良い。各小画素２２の光感度の設定において、開口の面積、電子シャッター時間およびアナログゲインは、それぞれ個別に変更可能であるものとする。例えば、固体撮像装置５の出荷時までにおいて、開口の面積、電子シャッター時間およびアナログゲインはそれぞれ調整される。

図５及び図６は、ＨＤＲ合成回路によるＨＤＲ合成について説明する図である。図５及び図６に示すグラフにおいて、縦軸は出力レベル、横軸は入射光量を表す。小画素２２Ａの入射光量が所定の飽和光量Ｌ１となったとき、小画素２２Ａで発生する信号電荷がフォトダイオードの蓄積容量に達するとする。図５に示すように、入射光量が飽和光量Ｌ１より大きいとき、小画素２２Ａの出力電荷が飽和することで、小画素２２Ａからの信号Ｓ１の出力レベルは一定となる。

小画素２２Ｂの入射光量が所定の飽和光量Ｌ２（Ｌ２＞Ｌ１とする）となったとき、小画素２２Ｂで発生する信号電荷がフォトダイオードの蓄積容量に達するとする。入射光量が飽和光量Ｌ２より大きいとき、小画素２２Ｂの出力電荷が飽和することで、小画素２２Ｂからの信号Ｓ２の出力レベルは一定となる。

小画素２２Ｃの入射光量が所定の飽和光量Ｌ３（Ｌ３＞Ｌ２とする）となったとき、小画素２２Ｃで発生する信号電荷がフォトダイオードの蓄積容量に達するとする。入射光量が飽和光量Ｌ３より大きいとき、小画素２２Ｃの出力電荷が飽和することで、小画素２２Ｃからの信号Ｓ３の出力レベルは一定となる。小画素２２Ｄからの信号Ｓ４の出力レベルは、小画素２２Ｃの飽和光量Ｌ３より入射光量が大きい場合も、入射光量の増加に比例して高くなる。

ここで、小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの光感度の比ＳＲ１：ＳＲ２：ＳＲ３：ＳＲ４を、感度比とする。本実施形態では、ＳＲ１＞ＳＲ２＞ＳＲ３＞ＳＲ４であるものとする。ＨＤＲ合成回路１９は、小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの出力レベルを一致させるために、感度比補正を実施する。

ＨＤＲ合成回路１９は、入射光量がＬ１より大きくかつＬ２以下であるとき、Ｓ１とＳ２との加算によるＨＤＲ合成を実施する。ＨＤＲ合成の際、ＨＤＲ合成回路１９は、小画素２２Ｂの出力レベルを小画素２２Ａの出力レベルに一致させるために、感度比補正のための補正値Ｍ２（＝ＳＲ１／ＳＲ２）をＳ２に乗算する。

ＨＤＲ合成回路１９は、入射光量がＬ２より大きくかつＬ３以下であるとき、（Ｓ１＋Ｍ２×Ｓ２）にＳ３を加算するＨＤＲ合成を実施する。ＨＤＲ合成の際、ＨＤＲ合成回路１９は、小画素２２Ｃの出力レベルを小画素２２Ａの出力レベルに一致させるために、感度比補正のための補正値Ｍ３（＝ＳＲ１／ＳＲ３）をＳ３に乗算する。

ＨＤＲ合成回路１９は、入射光量がＬ３より大きいとき、（Ｓ１＋Ｍ２×Ｓ２＋Ｍ３×Ｓ３）にＳ４を加算するＨＤＲ合成を実施する。ＨＤＲ合成の際、ＨＤＲ合成回路１９は、小画素２２Ｄの出力レベルを小画素２２Ａの出力レベルに一致させるために、感度比補正のための補正値Ｍ４（＝ＳＲ１／ＳＲ４）をＳ４に乗算する。

以上により、ＨＤＲ合成回路１９は、ＨＤＲ合成信号を得る。なお、ＨＤＲ合成回路１９は、入射光量がＬ１以下であるとき、ＨＤＲ合成を実施せず、Ｓ１を出力する。Ｓ１に対する補正値Ｍ１は１であるものとする。例えば、ＳＲ１＝１に対し、ＳＲ２＝１／２，ＳＲ３＝１／４，ＳＲ４＝１／８と設定した場合、Ｍ２＝２，Ｍ３＝４，Ｍ４＝８となる。

固体撮像装置５は、ＨＤＲ合成回路１９でのＨＤＲ合成により、幅広いダイナミックレンジでの撮像が可能となる。被写体のうち輝度が低い部分における露出不足と、輝度が高い部分における露出過多との双方を低減可能とすることで、固体撮像装置５は、高品質な画像を得ることができる。小画素２２を使用するＨＤＲ合成の実施により、固体撮像装置５は、画素アレイ１２における画素２０と同等の解像度を持つ合成画像を得ることができる。

図７は、ＨＤＲ合成回路の構成を示すブロック図である。ＨＤＲ合成回路１９は、ＳＲＡＭ（static random access memory）３１、フリップフロップ（ＦＦ）３２，３３、有効画素選択部３４、感度比補正部３５および演算処理部３６を有する。

ＳＲＡＭ３１は、ＨＤＲ合成回路１９へ入力されたデジタル画像信号を保持する。ＳＲＡＭ３１は、１本の水平ラインを保持するラインメモリである。水平ラインは、小画素２２を水平方向へ並列させてなる行からの画像信号とする。ＳＲＡＭ３１は、垂直方向についての遅延を画像信号に施す。

ＦＦ３２，３３は、小画素２２ごとの信号を順次遅延させる。ＦＦ３２，３３は、水平方向についての遅延を画像信号に施す。ＳＲＡＭ３１及びＦＦ３２，３３は、小画素群２１ごとに、４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄからの信号を同時刻化させる。

有効画素選択部３４には、同時刻化された４つの信号が入力される。有効画素選択部３４は、小画素群２１の４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄから、１つ又は２以上の有効画素を選択する。有効画素は、ＨＤＲ合成における信号値の使用を有効とする小画素２２であるものとする。

図８は、有効画素の選択のための閾値について説明する図である。入射光量がゼロから増加するに従い、小画素２２の出力レベルは入射光量にほぼ比例して増加していく。入射光量が所定の飽和光量ＬＬに到達してからは、小画素２２の出力レベルは一定値へと収束する。

図示するグラフにおいて、実線ＡＡは、小画素２２の理想的な出力特性を示す。理想的な出力特性によると、入射光量がゼロからＬＬの間では、小画素２２の出力レベルと入射光量とは良好な比例関係を示す。また、小画素２２の理想的な出力特性によると、入射光量がＬＬを超えた時点で、小画素２２の出力レベルは直ちに一定となる。

入射光量がゼロに近いとき、小画素２２の出力レベルは、ノイズ成分の影響を大きく受けることとなる。このため、小画素２２の出力レベルは、入射光量がゼロに近いときは、入射光量との十分な比例関係が保たれないことや、ノイズ成分に埋もれることが起こり得る。

入射光量がＬＬに対し少し小さいときと、ＬＬを少し超えたときとの間に示す破線ＡＢは、小画素２２の現実的な出力特性を表すものとする。現実的な出力特性の場合において、ＬＬより小さいレベルから入射光量を増加させていくとする。入射光量がＬＬより少し小さいレベルに到達してから、小画素２２の出力レベルには、比例関係の直線に対して低レベル側へのずれが生じる。

小画素２２の出力レベルは、入射光量がＬＬに到達してからも、理想的な出力特性に対して乖離したままなだらかに増加していく。入射光量がＬＬを少し超えてから、小画素２２の出力レベルは一定となる。理想的な出力特性に対するこのような乖離は、例えば、knee特性の影響によるものとする。

Ｔｈ１は、入射光量がゼロに近いときの、低い出力レベルについて設定された第１の閾値とする。Ｔｈ１は、ノイズ成分の影響を受け易い程度にまで低い出力レベルの小画素２２を、ＨＤＲ合成の対象から除外するために設定されている。Ｔｈ２は、入射光量がＬＬに近いときの、高い出力レベルについて設定された第２の閾値とする。Ｔｈ２は、入射光量との比例関係が悪化し易い程度にまで高い出力レベルの小画素２２を、ＨＤＲ合成の対象から除外するために設定されている。

有効画素選択部３４は、Ｔｈ１と、Ｔｈ１より高い出力レベルに設定されたＴｈ２との間の範囲内に信号値が含まれる小画素２２を、有効画素として選択する。ＨＤＲ合成回路１９は、例えば、あらかじめ設定されたＴｈ１及びＴｈ２を保持する。

図９は、有効画素選択部の構成を示すブロック図である。有効画素選択部３４は、比較器３７，３８、ＡＮＤ回路３９を有する。有効画素選択部３４には、入力データ４０として、同時刻化された４つの信号が入力される。比較器３７は、入力データ４０とＴｈ１とを比較する。例えば、入力データ４０がＴｈ１より大きい場合、比較器３７は、「１」を出力する。入力データ４０がＴｈ１以下である場合、比較器３７は、「０」を出力する。

比較器３８は、入力データ４０とＴｈ２とを比較する。例えば、入力データ４０がＴｈ２より小さい場合、比較器３８は、「１」を出力する。入力データ４０がＴｈ２以上である場合、比較器３８は、「０」を出力する。

ＡＮＤ回路３９は、比較器３７からの出力と比較器３８からの出力との論理積を算出する。ＡＮＤ回路３９は、入力データである４つの信号のそれぞれに対し、論理積を算出する。論理積「１」は、その信号を出力した小画素２２が有効画素であることを示す。論理積「０」は、その信号を出力した小画素２２は有効画素ではないことを示す。有効画素選択部３４は、小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄが有効画素であるか否かを示す４ビットの情報を、選択信号４１として出力する。

なお、有効画素選択部３４が有効画素を選択する条件としては、信号値がＴｈ１より大きいこと、信号値がＴｈ２より小さいこととの少なくとも一方を満たせば良いものとする。有効画素選択部３４は、小画素２２の信号値と、あらかじめ設定されたＴｈ１及びＴｈ２の少なくとも一方とを比較した結果に応じて、有効画素を選択するものであれば良い。

感度比補正部３５には、同時刻化された４つの信号が入力される。感度比補正部３５は、４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの各信号値に対し、感度比補正を実施する。感度比補正部３５は、小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの信号値に、それぞれ補正値Ｍ１，Ｍ２，Ｍ３，Ｍ４を乗算する。

演算処理部３６は、感度比補正部３５からの小画素２２ごとの信号値のうち、有効画素の信号値を使用して、ＨＤＲ合成のための演算を実施する。演算処理部３６は、小画素２２ごとの信号値のうち、選択信号４１において「１」と表されている信号値を抽出し、さらに平均化するフィルタ演算を実施する。ＨＤＲ合成回路１９は、演算処理部３６での演算結果を、ＨＤＲ合成信号として出力する。

図１０は、小画素の出力特性とＨＤＲ合成とについて説明する図である。図１０では、３つの小画素２２Ａ，２２Ｂ，２２Ｃの信号Ｓ１，Ｓ２，Ｓ３について、出力レベルと入射光量との関係を示している。

小画素２２ＢのＳ２が低出力レベルとなる入射光量の範囲は、小画素２２Ａが入射光量に応じたＳ１を出力可能な全範囲と重なる。その入射光量の範囲のうちＬ１２では、Ｓ１及びＳ２の出力レベルがいずれもＴｈ１からＴｈ２の範囲内であって、有効画素の条件を満足する。入射光量がＬ１２の範囲内であるとき、ＨＤＲ合成回路１９は、Ｓ１及びＳ２を使用するＨＤＲ合成を実施する。入射光量がＬ１２の範囲より低い場合、ＨＤＲ合成回路１９は、Ｓ１を使用するＨＤＲ合成を実施する。

小画素２２ＣのＳ３が低出力レベルとなる入射光量の範囲は、小画素２２Ｂが入射光量に応じたＳ２を出力可能な全範囲と重なる。その入射光量の範囲のうちＬ２３では、Ｓ２及びＳ３の出力レベルがいずれもＴｈ１からＴｈ２の範囲内であって、有効画素の条件を満足する。入射光量がＬ２３の範囲内であるとき、ＨＤＲ合成回路１９は、Ｓ２及びＳ３を使用するＨＤＲ合成を実施する。入射光量がＬ１２の範囲より高く、かつＬ２３の範囲より低い場合、ＨＤＲ合成回路１９は、Ｓ２を使用するＨＤＲ合成を実施する。入射光量がＬ２３の範囲より高い場合、ＨＤＲ合成回路１９は、Ｓ３を使用するＨＤＲ合成を実施する。

小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄの出力特性は、入射光量に応じた信号を出力可能な入射光量の範囲が重なり合う小画素２２同士において、いずれの小画素２２も有効画素の条件を満足する範囲が存在するように設定されている。小画素２２Ａ，２２Ｂを例とすると、小画素２２Ａ，２２Ｂの双方が入射光量に応じた信号を出力可能な入射光量の範囲内には、小画素２２Ａ，２２Ｂの双方が有効画素の条件を満足する範囲Ｌ１２が含まれている。

なお、ＨＤＲ合成回路１９は、小画素群２１のうち１つの小画素２２からの信号によるＨＤＲ合成と、２つの小画素２２からの信号によるＨＤＲ合成とを実施するものに限られない。ＨＤＲ合成回路１９は、３つ以上の小画素２２からの信号によるＨＤＲ合成を実施することとしても良い。

小画素群２１に含まれる小画素２２は４つである場合に限られない。小画素群２１は、互いに光感度が異なる二以上の小画素２２を含むものであれば良い。小画素群２１は、複数の小画素２２のうちいずれかについては、信号を加算することとしても良い。この場合、加算の対象とする小画素２２同士は、同じ光感度としても良い。

固体撮像装置５は、例えば、小画素群２１を構成する４つの小画素２２Ａ，２２Ｂ，２２Ｃ，２２Ｄのうち、小画素２２Ａからの出力による信号と、小画素２２Ｃからの出力による信号とを加算する。かかる信号の加算は、例えば信号処理回路１１が行う。固体撮像装置５は、小画素２２Ａ，２２Ｃについての加算を経た信号を、高感度な光検出による画像信号として、ＨＤＲ合成に使用する。この場合も、固体撮像装置５は、ＨＤＲ合成回路１９でのＨＤＲ合成により、幅広いダイナミックレンジでの撮像が可能となる。

第１の実施形態によれば、ＨＤＲ合成回路１９は、有効画素選択部３４において有効画素として選択された小画素２２の信号値をＨＤＲ合成に使用することで、ＨＤＲ合成の精度を高めることができる。ＨＤＲ合成に使用される小画素２２が入射光量に応じて切り換わる際には、ＨＤＲ合成回路１９は、ＨＤＲ合成後の出力について、入射光量に対する十分な連続性を確保することが可能となる。

ＨＤＲ合成回路１９は、第１の閾値Ｔｈ１を使用して有効画素を選択することで、ノイズ成分の影響が低減されたＨＤＲ合成信号を得ることが可能となる。ＨＤＲ合成回路１９は、第２の閾値Ｔｈ２を使用して有効画素を選択することで、入射光量が飽和光量に近いときに生じ得る出力特性のぶれによる悪影響を抑制可能とする。

ＨＤＲ合成回路１９は、２以上の小画素２２からの信号によるＨＤＲ合成を実施する場合に、いずれの小画素２２も有効画素であることを条件とする。ＨＤＲ合成に信号値を使用する小画素２２が入射光量の変化によって切り換わっていく過程において、有効画素である２以上の小画素２２の信号をＨＤＲ合成に使用することで、入射光量の変化に対しＨＤＲ合成の高い精度を常に維持することができる。

以上により、固体撮像装置５は、ＨＤＲ合成回路１９における効果的なＨＤＲ合成を可能とし、高品質なＨＤＲ合成画像を得ることができるという効果を奏する。

（第２の実施形態）
図１１は、第２の実施形態にかかる固体撮像装置に含まれるＨＤＲ合成回路の構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

出力判定部５１は、感度比補正部３５での感度比補正を経た信号値に対する出力判定を実施する。演算処理部５２は、出力判定部５１からの小画素２２ごとの信号値を使用して、ＨＤＲ合成のための演算を実施する。

図１２は、小画素の出力特性と、有効画素選択部における有効画素の選択について説明する図である。入射光量がＬ１１の範囲内であるとき、有効画素選択部３４は、Ｓ１を出力する小画素２２Ａを、有効画素として選択する（第１選択パターン）。入射光量がＬ１２の範囲内であるとき、有効画素選択部３４は、小画素２２Ａと、Ｓ２を出力する小画素２２Ｂとの２つを、有効画素として選択する（第２選択パターン）。

入射光量がＬ２２の範囲内であるとき、有効画素選択部３４は、小画素２２Ｂを有効画素として選択する（第３選択パターン）。入射光量がＬ２３の範囲内であるとき、有効画素選択部３４は、小画素２２Ｂと、Ｓ３を出力する小画素２２Ｃとの２つを、有効画素として選択する（第４選択パターン）。入射光量がＬ３３の範囲内であるとき、有効画素選択部３４は、小画素２２Ｃを有効画素として選択する（第５選択パターン）。

入射光量がＬ３４の範囲内であるとき、有効画素選択部３４は、小画素２２Ｃと、Ｓ４を出力する小画素２２Ｄとの２つを、有効画素として選択する（第６選択パターン）。入射光量がＬ４４の範囲内であるとき、有効画素選択部３４は、小画素２２Ｄを有効画素として選択する（第７選択パターン）。

図１３は、感度比補正によって生じ得る出力特性のずれについて説明する図である。図１４は、図１３の一部を拡大して示す図である。小画素２２の信号における出力レベルと入射光量との関係は、感度比補正の影響によって若干ずれを生じる場合がある。

小画素２２ＢのＳ２を例とすると、Ｓ２への感度比補正によって得られた信号ＳＳ２と、小画素２２ＡのＳ１とで、出力レベルと入射光量との関係を比較した場合に、Ｓ１に対するずれがＳＳ２に現れることがある。このようなずれは、Ｌ１１とＬ１２との境界において、ＳＳ２のグラフとＳ１のグラフとの接続部分が不連続となるように表される。図１４は、図１３のうち破線で囲った部分を拡大したものである。

このような感度比補正の影響による出力特性のずれは、感度比補正のための補正値によっては顕著となることがある。出力判定部５１は、感度比補正によるずれが顕著である小画素２２を、ＨＤＲ合成の対象から除外するための出力判定を実施する。

図１５は、出力判定部の構成を示すブロック図である。出力判定部５１は、デコーダ５３、有効判定手段５４，５５，５６、出力選択器５７を有する。出力判定部５１には、有効画素選択部３４からの選択信号４１と、感度比補正部３５からの信号ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４が入力される。ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４は、それぞれ感度比補正部３５を経たＳ１，Ｓ２，Ｓ３，Ｓ４とする。

デコーダ５３は、有効画素選択部３４からの４ビットの選択信号４１を、３ビットの信号へ変換する。有効画素選択部３４による第１から第７の選択パターンのいずれであるかが、デコーダ５３からの３ビットの選択信号４１によって表される。

有効判定手段５４には、ＳＳ１とＳＳ２が入力される。有効判定手段５４は、２つの小画素２２Ａ，２２Ｂが有効画素と選択された場合に小画素２２ＢをＨＤＲ合成の対象として含めるか否かを判定する。

図１６は、有効判定手段における判定について説明する図である。有効判定手段５４は、小画素２２Ａ，２２Ｂのうち感度が高いほうの小画素２２Ａを、判定の基準として設定している。有効判定手段５４は、小画素２２ＡのＳＳ１を基準として、プラス側にＴｈＡ、およびマイナス側にＴｈＢの範囲内に、小画素２２ＢのＳＳ２が含まれるか否かを判定する。出力判定部５１は、判定用閾値であるＴｈＡ及びＴｈＢをあらかじめ保持する。

ＳＳ２がＴｈＡからＴｈＢの範囲内に含まれている場合、有効判定手段５４は、小画素２２ＢをＨＤＲ合成の対象として含めるものと判定する。ＳＳ２がＴｈＡからＴｈＢの範囲内に含まれていない場合、有効判定手段５４は、小画素２２ＢをＨＤＲ合成の対象に含めないものと判定する。なお、出力判定部５１は、プラス側とマイナス側とについて、同じ判定用閾値を設定することとしても良い。

出力判定部５１は、基準とする有効画素の信号値ＳＳ１を含めて設定された出力レベルの範囲内に、感度比補正を経た他の有効画素の信号値ＳＳ２が含まれない場合、当該他の有効画素である小画素２２Ｂを、ＨＤＲ合成の対象として無効であるものと判定する。

図１７は、有効判定手段の構成を示すブロック図である。有効判定手段５４は、加算器５８、減算器５９、比較器６０，６１、ＡＮＤ回路６２及びセレクタ６３を有する。加算器５８は、ＳＳ１にＴｈＡを加算する。減算器５９は、ＳＳ１からＴｈＢを減算する。

比較器６０は、加算器５８での加算結果（ＳＳ１＋ＴｈＡ）とＳＳ２とを比較する。例えば、（ＳＳ１＋ＴｈＡ）＞ＳＳ２が成立する場合、比較器６０は、「１」を出力する。（ＳＳ１＋ＴｈＡ）＞ＳＳ２が成立しない場合、比較器６０は、「０」を出力する。

比較器６１は、減算器５９での減算結果（ＳＳ１−ＴｈＢ）とＳＳ２とを比較する。例えば、ＳＳ２＞（ＳＳ１−ＴｈＢ）が成立する場合、比較器６１は、「１」を出力する。ＳＳ２＞（ＳＳ１−ＴｈＢ）が成立しない場合、比較器６１は、「０」を出力する。

ＡＮＤ回路６２は、比較器６０からの出力と比較器６１からの出力との論理積を算出する。論理積「１」は、ＳＳ２が判定用閾値ＴｈＡ，ＴｈＢの範囲内に含まれていることを示す。論理積「０」は、ＳＳ２が判定用閾値ＴｈＡ，ＴｈＢの範囲内に含まれていないことを示す。

セレクタ６３は、ＡＮＤ回路６２からの信号を選択制御入力信号として、ＳＳ１と、ゼロレベル信号（１０’ｈ０）とのいずれかを選択する。ゼロレベル信号は、最低階調である黒レベル又は黒レベル以下を表す信号である。セレクタ６３は、選択制御入力信号「１」に応じて、ＳＳ１を選択する。セレクタ６３は、選択制御入力信号「０」に応じて、ゼロレベル信号を選択する。有効判定手段５４は、セレクタ６３における選択結果を、信号ＳＳ１＿２として出力する。

有効判定手段５５，５６は、有効判定手段５４と同様の構成を備える。有効判定手段５５には、ＳＳ２とＳＳ３が入力される。有効判定手段５５は、２つの小画素２２Ｂ，２２Ｃが有効画素と選択された場合に小画素２２ＣをＨＤＲ合成の対象として含めるか否かを、演算によって判定する。有効判定手段５５は、小画素２２Ｂ，２２Ｃのうち感度が高いほうの小画素２２Ｂを、判定の基準として設定している。

ＳＳ３がＴｈＡからＴｈＢの範囲内に含まれている場合、有効判定手段５５は、小画素２２ＣをＨＤＲ合成の対象として含めるものと判定する。ＳＳ３が判定用閾値ＴｈＡからＴｈＢの範囲内に含まれていない場合、有効判定手段５５は、小画素２２ＣをＨＤＲ合成の対象に含めないものと判定する。有効判定手段５５は、ＳＳ３及びゼロレベル信号のうち選択された一方を、信号ＳＳ２＿３として出力する。

有効判定手段５６には、ＳＳ３とＳＳ４が入力される。有効判定手段５６は、２つの小画素２２Ｃ，２２Ｄが有効画素と選択された場合に小画素２２ＤをＨＤＲ合成の対象として含めるか否かを、演算によって判定する。有効判定手段５６は、小画素２２Ｃ，２２Ｄのうち感度が高いほうの小画素２２Ｃを、判定の基準として設定している。

ＳＳ４がＴｈＡからＴｈＢの範囲内に含まれている場合、有効判定手段５６は、小画素２２ＤをＨＤＲ合成の対象として含めるものと判定する。ＳＳ４がＴｈＡからＴｈＢの範囲内に含まれていない場合、有効判定手段５５は、小画素２２ＤをＨＤＲ合成の対象に含めないものと判定する。有効判定手段５５は、ＳＳ４及びゼロレベル信号のうち選択された一方を、信号ＳＳ３＿４として出力する。

出力選択器５７には、デコーダ５３からの選択信号４１と、ＳＳ１，ＳＳ１＿２，ＳＳ２，ＳＳ２＿３，ＳＳ３，ＳＳ３＿４，ＳＳ４が入力される。第１選択パターンを示す選択信号４１がデコーダ５３から入力されると、出力選択器５７は、出力としてＳＳ１を選択する。第３選択パターンを示す選択信号４１がデコーダ５３から入力されると、出力選択器５７は、出力としてＳＳ２を選択する。第５選択パターンを示す選択信号４１がデコーダ５３から入力されると、出力選択器５７は、出力としてＳＳ３を選択する。第７選択パターンを示す選択信号４１がデコーダ５３から入力されると、出力選択器５７は、出力としてＳＳ４を選択する。

第２選択パターンを示す選択信号４１が入力された場合であって、ＳＳ１＿２としてＳＳ１が入力された場合、出力選択器５７は、出力としてＳＳ１とＳＳ２を選択する。第２選択パターンを示す選択信号４１が入力された場合であって、ＳＳ１＿２としてゼロレベル信号が入力された場合、出力選択器５７は、出力としてＳＳ１とゼロレベル信号とを選択する。出力判定部５１は、小画素２２ＢがＨＤＲ合成の対象として無効と判定した場合に、小画素２２Ｂについては、ＳＳ２に換えてゼロレベル信号を出力する。

第４選択パターンを示す選択信号４１が入力された場合であって、ＳＳ２＿３としてＳＳ２が入力された場合、出力選択器５７は、出力としてＳＳ２とＳＳ３を選択する。第４選択パターンを示す選択信号４１が入力された場合であって、ＳＳ２＿３としてゼロレベル信号が入力された場合、出力選択器５７は、出力としてＳＳ２とゼロレベル信号とを選択する。出力判定部５１は、小画素２２ＣがＨＤＲ合成の対象として無効と判定した場合に、小画素２２Ｃについては、ＳＳ３に換えてゼロレベル信号を出力する。

第６選択パターンを示す選択信号４１が入力された場合であって、ＳＳ３＿４としてＳＳ３が入力された場合、出力選択器５７は、出力としてＳＳ３とＳＳ４を選択する。第６選択パターンを示す選択信号４１が入力された場合であって、ＳＳ３＿４としてゼロレベル信号が入力された場合、出力選択器５７は、出力としてＳＳ３とゼロレベル信号とを選択する。出力判定部５１は、小画素２２ＤがＨＤＲ合成の対象として無効と判定した場合に、小画素２２Ｄについては、ＳＳ４に換えてゼロレベル信号を出力する。

図１８は、演算処理部の構成を示すブロック図である。演算処理部５２は、フィルタ演算器６４、無効判定手段６５及びセレクタ６６を有する。フィルタ演算器６４は、入力された信号を平均化するフィルタ演算を実施する。無効判定手段６５は、フィルタ演算器６４での演算結果を無効と扱うか否かを、ゼロレベル信号の有無に応じて判断する。セレクタ６６は、フィルタ演算器６４でのフィルタ演算を経た信号と、フィルタ演算器６４への入力前の信号とのいずれかを選択する。

演算処理部５２には、出力判定部５１からの１つの信号あるいは２つの信号が入力される。出力判定部５１から１つの信号ＳＳ１が入力された場合、フィルタ演算器６４及びセレクタ６６は、ＳＳ１をそのまま通過させる。これにより、演算処理部５２は、第１の選択パターンにおいて、ＳＳ１を出力する。出力判定部５１から１つの信号ＳＳ２が入力された場合、フィルタ演算器６４及びセレクタ６６は、ＳＳ２をそのまま通過させる。これにより、演算処理部５２は、第３の選択パターンにおいて、ＳＳ２をＨＤＲ合成信号として出力する。

出力判定部５１から１つの信号ＳＳ３が入力された場合、フィルタ演算器６４及びセレクタ６６は、ＳＳ３をそのまま通過させる。これにより、演算処理部５２は、第５の選択パターンにおいて、ＳＳ３をＨＤＲ合成信号として出力する。出力判定部５１から１つの信号ＳＳ４が入力された場合、フィルタ演算器６４及びセレクタ６６は、ＳＳ４をそのまま通過させる。これにより、演算処理部５２は、第７の選択パターンにおいて、ＳＳ４をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ１及びＳＳ２が入力された場合、フィルタ演算器６４は、ＳＳ１とＳＳ２のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されていないことに応じて、例えば「１」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「１」に応じて、フィルタ演算器６４からの信号を選択する。これにより、演算処理部５２は、第２の選択パターンであって、出力判定部５１がＳＳ２を有効と判定した場合に、ＳＳ１とＳＳ２との平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ１及びゼロレベル信号が入力された場合、フィルタ演算器６４は、ＳＳ１とゼロレベル信号のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されたことに応じて、例えば「０」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「０」に応じて、フィルタ演算器６４への入力前のＳＳ１を選択する。これにより、演算処理部５２は、第２の選択パターンであって、出力判定部５１がＳＳ２を有効ではないと判定した場合に、ＳＳ１をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ２及びＳＳ３が入力された場合、フィルタ演算器６４は、ＳＳ２とＳＳ３のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されていないことに応じて、「１」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「１」に応じて、フィルタ演算器６４からの信号を選択する。これにより、演算処理部５２は、第４の選択パターンであって、出力判定部５１がＳＳ３を有効と判定した場合に、ＳＳ２とＳＳ３の平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ２及びゼロレベル信号が入力された場合、フィルタ演算器６４は、ＳＳ２とゼロレベル信号のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されたことに応じて、「０」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「０」に応じて、フィルタ演算器６４への入力前のＳＳ２を選択する。これにより、演算処理部５２は、第４の選択パターンであって、出力判定部５１がＳＳ３を有効ではないと判定した場合に、ＳＳ２をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ３及びＳＳ４が入力された場合、フィルタ演算器６４は、ＳＳ３とＳＳ４のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されていないことに応じて、「１」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「１」に応じて、フィルタ演算器６４からの信号を選択する。これにより、演算処理部５２は、第６の選択パターンであって、出力判定部５１がＳＳ４を有効と判定した場合に、ＳＳ３とＳＳ４との平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ３及びゼロレベル信号が入力された場合、フィルタ演算器６４は、ＳＳ３とゼロレベル信号のフィルタ演算を実施する。無効判定手段６５は、出力判定部５１からゼロレベル信号が入力されたことに応じて、「０」を出力する。セレクタ６６は、無効判定手段６５からの選択制御入力信号「０」に応じて、フィルタ演算器６４への入力前のＳＳ３を選択する。これにより、演算処理部５２は、第６の選択パターンであって、出力判定部５１がＳＳ４を有効ではないと判定した場合に、ＳＳ３をＨＤＲ合成信号として出力する。

なお、ＨＤＲ合成回路５０は、出力判定部５１での判定に応じてＨＤＲ合成への使用を無効とすることを表す信号として、ゼロレベル信号を使用する場合に限られない。無効であることを表す信号としては、例えば最高階調信号を使用しても良い。最高階調信号は、出力電荷の飽和を表す信号である。ゼロレベル信号及び最高階調信号は、いずれもＨＤＲ合成において有効なデータとして扱い得ない信号であるため、無効であることを表す信号の例とし得る。

第２の実施形態によれば、ＨＤＲ合成回路５０は、小画素群２１のうち複数の小画素２２を有効画素として選択した場合に、複数の小画素２２のうち光感度が最も高い小画素２２の信号を基準として、他の小画素２２をＨＤＲ合成の対象として含めるか否かを判定する。光感度が高い小画素２２の信号と、感度比補正を経た他の小画素２２の信号とでは、光感度が高い小画素２２の信号のほうが、本来の信号量が高い。このため、光感度が高い小画素２２は、他の小画素２２に比べ、高いリニアリティ精度の出力特性を持つこととなる。

ＨＤＲ合成回路５０は、有効画素として選択した複数の小画素２２に対し、さらに光感度が高い小画素２２を基準として有効と判定した他の小画素２２の信号をＨＤＲ合成に使用することで、高精度なＨＤＲ合成を実施することができる。第２の実施形態にかかる固体撮像装置は、ＨＤＲ合成回路５０における高精度なＨＤＲ合成によって、高品質なＨＤＲ合成画像を得ることができるという効果を奏する。

図１９は、演算処理部の変形例を示すブロック図である。この変形例の演算処理部６７は、図１８に示す演算処理部５２が備える要素に加えて、乗算器６８が設けられている。乗算器６８は、出力判定部５１へ入力された２つの信号のうち、光感度が高いほうの小画素２２の信号に対し係数を乗算する。乗算器６８及びフィルタ演算器６４は、有効画素として選択された複数の小画素２２の信号に対し、光感度の高さに応じた加重平均フィルタ処理を施す加重平均手段として機能する。

出力判定部５１へ入力された２つの信号に対し、例えば、３：１の重み付けをする場合、乗算器６８は、光感度が高いほうの小画素２２の信号に３を乗算する。フィルタ演算器６４は、乗算器６８での乗算を経た信号と、もう一方の信号とを加算し、加算結果をさらに１／４とする。

ＨＤＲ合成回路５０は、この変形例の演算処理部６７を備えることで、光感度が高い小画素２２に由来する信号成分に重みを持たせたＨＤＲ合成信号を得ることができる。これにより、ＨＤＲ合成回路５０は、ＨＤＲ合成の精度を高めることが可能となる。本変形例の演算処理部６７は、第１及び第３の実施形態のＨＤＲ合成回路に適用しても良い。

図２０は、有効判定手段の変形例を示すブロック図である。この変形例の有効判定手段７０は、図１７に示す有効判定手段５４におけるゼロレベル信号（１０’ｈ０）に代えて、ＳＳ２がセレクタ６３へ入力される。有効判定手段７０には、ＳＳ１とＳＳ２が入力されるものとする。

セレクタ６３は、ＡＮＤ回路６２からの信号を選択制御入力信号として、ＳＳ１とＳＳ２とのいずれかを選択する。セレクタ６３は、選択制御入力信号「１」に応じて、ＳＳ２を選択する。セレクタ６３は、選択制御入力信号「０」に応じて、ＳＳ１を選択する。有効判定手段７０は、セレクタ６３における選択結果を、信号ＳＳ１＿２として出力する。出力判定部５１は、小画素２２ＢがＨＤＲ合成の対象として無効と判定した場合に、小画素２２Ｂについては、ＳＳ２に換えてＳＳ１を出力する。

この変形例の有効判定手段７０と組み合わせられる演算処理部５２は、出力判定部５１から２つの信号が入力されるときは、２つの信号の平均化処理の結果をＨＤＲ合成信号として出力する。出力判定部５１から２つの信号ＳＳ１，ＳＳ２が入力された場合、フィルタ演算器６４は、ＳＳ１とＳＳ２のフィルタ演算を実施する。これにより、演算処理部５２は、第２の選択パターンであって、出力判定部５１がＳＳ２を有効と判定した場合に、ＳＳ１とＳＳ２との平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ１，ＳＳ１が入力された場合、フィルタ演算器６４は、ＳＳ１とＳＳ１のフィルタ演算を実施する。これにより、演算処理部５２は、第２の選択パターンであって、出力判定部５１がＳＳ２を有効ではないと判定した場合に、ＳＳ１をＨＤＲ合成信号として出力する。

本変形例によると、ＳＳ２とＳＳ３が入力される有効判定手段、ＳＳ３とＳＳ４が入力される有効判定手段も、有効判定手段７０と同様の構成とする。出力判定部５１から２つの信号ＳＳ２，ＳＳ３が入力された場合、フィルタ演算器６４は、ＳＳ２とＳＳ３のフィルタ演算を実施する。これにより、演算処理部５２は、第４の選択パターンであって、出力判定部５１がＳＳ３を有効と判定した場合に、ＳＳ２とＳＳ３との平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ２，ＳＳ２が入力された場合、フィルタ演算器６４は、ＳＳ２とＳＳ２のフィルタ演算を実施する。これにより、演算処理部５２は、第４の選択パターンであって、出力判定部５１がＳＳ３を有効ではないと判定した場合に、ＳＳ２をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ３，ＳＳ４が入力された場合、フィルタ演算器６４は、ＳＳ３とＳＳ４のフィルタ演算を実施する。これにより、演算処理部５２は、第６の選択パターンであって、出力判定部５１がＳＳ４を有効と判定した場合に、ＳＳ３とＳＳ４との平均化処理の結果をＨＤＲ合成信号として出力する。

出力判定部５１から２つの信号ＳＳ３，ＳＳ３が入力された場合、フィルタ演算器６４は、ＳＳ３とＳＳ３のフィルタ演算を実施する。これにより、演算処理部５２は、第６の選択パターンであって、出力判定部５１がＳＳ４を有効ではないと判定した場合に、ＳＳ３をＨＤＲ合成信号として出力する。

ＨＤＲ合成回路５０は、この変形例の有効判定手段７０を備える場合も、高精度なＨＤＲ合成を実施することができる。この変形例の有効判定手段７０には、図１９に示す加重平均手段を備える演算処理部６７を組み合わせることとしても良い。

（第３の実施形態）
図２１は、第３の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。固体撮像装置８０は、撮像素子である測光センサ８１及び信号処理回路８２を備える。測光センサ８１は、例えば、ＣＭＯＳイメージセンサまたはＣＣＤである。

図２２は、第３の実施形態にかかる固体撮像装置を備えるデジタルカメラの概略構成を示す図である。被写体からデジタルカメラ１００の撮像光学系４へ入射した光は、メインミラー１０１、サブミラー１０２及びメカシャッタ１０６を経て撮像素子１０７へ進行する。デジタルカメラ１００は、撮像素子１０７において被写体像を撮像する。

サブミラー１０２で反射した光は、オートフォーカス（ＡＦ）センサ１０３へ進行する。デジタルカメラ１００は、ＡＦセンサ１０３での検出結果を使用するフォーカス調整を行う。メインミラー１０１で反射した光は、レンズ１０４及びプリズム１０５を経て測光センサ８１及びファインダー１０８へ進行する。

測光センサ８１は、撮像光学系４（図２参照）による撮像領域の光量を計測する。測光センサ８１は、第１の実施形態のイメージセンサ１０と同様の構成を備える。画素アレイ１２（図１参照）は、測光センサ８１を構成する。測光センサ８１の画素２０は、小画素群２１（図３参照）を構成する。小画素群２１は、４つの小画素２２からなる。

信号処理回路８２は、ＨＤＲ合成回路８３、タイミング生成器８４及び領域カウンタ８５を備える。ＨＤＲ合成回路８３は、図７に示す第１実施形態のＨＤＲ合成回路１９に含まれる要素に加えて、メモリ８６、第１出力補正部８７及び第２出力補正部８８が設けられている。

第１出力補正部８７は、撮像光学系４による撮像領域に設定されている複数の領域ごとに、ＨＤＲ合成信号を補正する。第２出力補正部８８は、デジタルカメラ１００の個体情報に応じて、ＨＤＲ合成信号を補正する。メモリ８６は、第１出力補正部８７における領域ごとの補正のためのパラメータ、第２出力補正部８８における個体情報に応じた補正のためのパラメータを保持する。なお、個体情報とは、例えば、レンズ等の部品の製造誤差や、部品同士の組立誤差等、製品ごとの個体差に関する情報とする。信号処理回路８２は、第２出力補正部８８での補正を経た信号を出力する。

タイミング生成器８４は、個体撮像装置８０のシステム全体のタイミングを制御するタイミング信号を生成する。タイミング生成器８４は、測光センサ８１、ＨＤＲ合成回路８３及び領域カウンタ８５へタイミング信号を出力する。

領域カウンタ８５は、タイミング生成器８４からのタイミング信号である垂直同期信号及び水平同期信号から、信号のタイミングごとの領域を判定する。領域カウンタ８５は、領域判定結果を第１出力補正部８７へ出力する。

第１出力補正部８７は、例えば、領域ごとのシェーディング補正を実施する。シェーディング補正は、撮像素子の特性や、撮像光学系４のレンズ収差などの影響によって被写体像に生じる濃度レベルのむら（光学シェーディング）を補正するものである。

図２３は、撮像領域に設定されている領域を示す図である。撮像光学系４による撮像領域には、例えば、３５個の領域９１が設定されている。３５個の領域９１は、垂直方向に５個、水平方向に７個のマトリクスをなす。第１出力補正部８７は、領域判定結果に応じた領域９１についてのシェーディング補正パラメータをメモリ８６から読み出す。第１出力補正部８７は、シェーディング補正パラメータを基に、領域９１ごとのシェーディング補正を実施する。

第１出力補正部８７は、各領域９１の頂点９２に設定されているシェーディング補正パラメータを基に、シェーディング補正を実施しても良い。第１出力補正部８７は、領域９１ごとに、４つの頂点９２のシェーディング補正パラメータの線形補間を実施する。また、第１出力補正部８７は、垂直同期信号及び水平同期信号から領域９１内の位置を特定し、位置ごとの線形補間を実施することとしても良い。第１出力補正部８７は、いずれの方式によりシェーディング補正を実施することとしても良い。

図２４は、第２出力補正部による信号値の補正について説明する図である。例えば、第２出力補正部８８は、補正のためのパラメータとして、個体情報に応じた設計上の出力値を使用する。設計上の出力値は、複数の入射光量に対してあらかじめ設定されている。また、設計上の出力値は、デジタルカメラ１００ごと、あるいは測光センサ８１ごとに設定される。

第２出力補正部８８は、かかるパラメータをメモリ８６から読み出し、実測値Ｖ１とパラメータとの線形補間により、補正値Ｖ２を算出する。第２出力補正部８８は、いずれの方式により、個体情報に応じた補正を実施することとしても良い。

第２出力補正部８７は、ＨＤＲ合成回路８３内のメモリ８６からパラメータを読み出す以外に、後段処理部３内の要素、例えばＩＳＰ６（図２参照）からパラメータを受信することとしても良い。

図２５は、第３の実施形態にかかる固体撮像装置の変形例を示すブロック図である。本変形例の固体撮像装置８０を備えるデジタルカメラ１００は、例えばレンズ交換式カメラとする。撮像光学系４におけるレンズ交換がなされると、例えばＩＳＰ６は、交換用レンズがあらかじめ保持する各種パラメータを取得する。メモリ８６は、シェーディング補正パラメータと、個体情報に応じた補正のためのパラメータとを含む情報８９を、ＩＳＰ６から受信する。メモリ８６は、保持するパラメータの内容を、受信した情報８９の内容へと書き換える。

本変形例の固体撮像装置８０は、第１出力補正部８７における領域９１ごとの補正のためのパラメータと、第２出力補正部８８における個体情報に応じた補正のためのパラメータとを、レンズ交換に応じて切り換える。これにより、固体撮像装置８０は、交換用レンズの特性に応じて、高品質なＨＤＲ合成画像を得ることができる。

また、固体撮像装置８０は、第１出力補正部８７における領域９１ごとの補正のためのパラメータを、光源の色温度の変化に応じて切り換えることとしても良い。デジタルカメラ１００が光源の色温度の変化を検知したとき、メモリ８６は、色温度に応じたシェーディング補正パラメータを、例えばＩＳＰ６から受信する。これにより、固体撮像装置８０は、光源の色温度に応じて、高品質なＨＤＲ合成画像を得ることができる。

第３の実施形態によれば、ＨＤＲ合成回路８３は、撮像領域内の領域９１ごとのＨＤＲ合成信号の補正と、固体撮像装置８０を備える電気機器の個体情報に応じたＨＤＲ合成信号の補正とを実施する。ＨＤＲ合成回路８３は、電気機器の組み立て時のばらつきや部品の製造誤差、レンズの特性等による信号値のずれを低減させ、高精度なＨＤＲ合成を実施することができる。第３の実施形態にかかる固体撮像装置８０は、ＨＤＲ合成回路８３における高精度なＨＤＲ合成によって、高品質なＨＤＲ合成画像を得ることができるという効果を奏する。

ＨＤＲ合成回路８３は、第１出力補正部８７及び第２出力補正部８８との双方を備える場合に限られない。ＨＤＲ合成回路８３は、第１出力補正部８７及び第２出力補正部８８のうちの一方を備えるものとしても良い。第３の実施形態にかかる固体撮像装置８０は、第２の実施形態の出力判定部５１（図１１参照）を備えるものとしても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

４ 撮像光学系、５ 固体撮像装置、１０ イメージセンサ、１１ 信号処理回路、１２ 画素アレイ、１９ ＨＤＲ合成回路、２０ 画素、２１ 小画素群、２２ 小画素、３４ 有効画素選択部、３５ 感度比補正部、３６ 演算処理部、５０ ＨＤＲ合成回路、５１ 出力判定部、５２ 演算処理部、６４ フィルタ演算器、６７ 演算処理部、６８ 乗算器、８０ 固体撮像装置、８１ 測光センサ、８２ 信号処理回路、８３ ＨＤＲ合成回路、８６ メモリ、８７ 第１出力補正部、８８ 第２出力補正部、９１ 領域。

Claims (3)

1. 水平方向及び垂直方向へ配列された複数の画素を備え、各画素への入射光量に応じた信号電荷を生成する画素アレイと、
   前記画素アレイからの画像信号を使用してハイダイナミックレンジ合成を実施するハイダイナミックレンジ合成回路と、を有し、
   前記画素は、それぞれ前記信号電荷を読み出し可能な複数の小画素からなる小画素群として構成され、
   前記小画素群は、前記小画素が備える開口の面積、電子シャッター時間及びアナログゲインの少なくとも一つを変えることにより互いに光感度を異ならせた二以上の前記小画素を含み、
   前記ハイダイナミックレンジ合成回路は、
   前記小画素群から、前記ハイダイナミックレンジ合成における信号値の使用を有効とする１つ又は２以上の前記小画素を、有効画素として選択する有効画素選択部と、
   前記小画素ごとの信号値に対し、前記小画素同士における前記光感度の比に応じた感度比補正を実施する感度比補正部と、
   前記感度比補正部からの前記小画素ごとの信号値のうち、前記有効画素の信号値を使用して、前記ハイダイナミックレンジ合成のための演算を実施する演算処理部と、を有し、
   前記有効画素選択部は、第１の閾値と、前記第１の閾値より高い出力レベルに設定された第２の閾値との間の範囲内に信号値が含まれる前記小画素を、前記有効画素として選択することを特徴とする固体撮像装置。
2. 水平方向及び垂直方向へ配列された複数の画素を備え、各画素への入射光量に応じた信号電荷を生成する画素アレイと、
   前記画素アレイからの画像信号を使用してハイダイナミックレンジ合成を実施するハイダイナミックレンジ合成回路と、を有し、
   前記画素は、それぞれ前記信号電荷を読み出し可能な複数の小画素からなる小画素群として構成され、
   前記小画素群は、前記小画素が備える開口の面積、電子シャッター時間及びアナログゲインの少なくとも一つを変えることにより互いに光感度を異ならせた二以上の前記小画素を含み、
   前記ハイダイナミックレンジ合成回路は、
   前記小画素群から、前記ハイダイナミックレンジ合成における信号値の使用を有効とする１つ又は２以上の前記小画素を、有効画素として選択する有効画素選択部と、
   前記小画素ごとの信号値に対し、前記小画素同士における前記光感度の比に応じた感度比補正を実施する感度比補正部と、
   前記感度比補正部からの前記小画素ごとの信号値のうち、前記有効画素の信号値を使用して、前記ハイダイナミックレンジ合成のための演算を実施する演算処理部と、
   前記感度比補正部での前記感度比補正を経た信号値に対する出力判定を実施する出力判定部と、を有し、
   前記有効画素選択部が前記小画素群から２以上の有効画素を選択した場合に、前記出力判定部は、前記２以上の有効画素のうち信号値が最も大きい有効画素を基準として、他の有効画素を前記ハイダイナミックレンジ合成の対象として有効か否かを判定し、
   前記演算処理部は、前記出力判定部で有効と判定された有効画素の信号値に基づく演算結果を出力することを特徴とする固体撮像装置。
3. 前記ハイダイナミックレンジ合成回路は、
   前記ハイダイナミックレンジ合成を経た信号値に対し、撮像光学系による撮像領域に設定されている領域ごとの補正を実施する第１出力補正部と、
   前記ハイダイナミックレンジ合成を経た信号値に対し、前記固体撮像装置を備える電気機器の個体情報に応じた補正を実施する第２出力補正部と、をさらに有することを特徴とする請求項１または２に記載の固体撮像装置。

Images