JP5150795B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

被写体を撮像する固体撮像素子として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型等が普及している。これらの固体撮像素子の入射光に対するダイナミックレンジは、半導体技術の進歩により着々と向上しつつある。しかしながら、実際に固体撮像素子が利用される状況において、予め設定されているダイナミックレンジを超えた入射光が発生することはそれほど珍しいことではない。このため、ダイナミックレンジを拡大するための技術が盛んに研究されている。

例えば、特許文献１には、長時間露光を行う画素と、長時間露光を行っている期間の途中で短時間露光を開始する画素とを有し、長時間露光で得られる画像と短時間露光で得られる画像を合成してダイナミックレンジを拡大する撮像装置が記載されている。

特許文献２には、長時間露光を行う画素と、長時間露光を行っている期間中に短時間露光を複数回行いその都度出力する画素とが市松状に配置された固体撮像素子を搭載する撮像装置が記載されている。この撮像装置は、複数の短時間露光で得られる画像を平均してカメラブレ補正を行い、この平均後の画像と長時間露光で得られる画像を合成して、ダイナミックレンジを拡大している。

特許文献３には、長時間露光を行う画素と短時間露光を行う画素を有する固体撮像素子を用い、長時間露光を行う画素での露光中に、短時間露光を行う画素で複数回の露光を行って、ダイナミックレンジ拡大を図ることが記載されている。

日本国特開２００９−３０２６５３号公報 日本国特開２０１０−６２７８５号公報 日本国特開２００７−２１４８３２号公報

これらのいずれの撮像装置も、同じ被写体に対しダイナミックレンジの異なる画像データを得るには、長時間露光と短時間露光の比を変更して撮影を複数回行う必要がある。しかし、撮影と撮影の間に被写体が動いたり、太陽が雲に隠れてしまったり等、撮影環境は刻々と変化する。このため、同一被写体に対してダイナミックレンジの異なる画像データを得ることは容易ではない。

撮影（撮像画像信号の取得）が終わった後に、ダイナミックレンジを決定することができれば、期待する画像データを得られるようになるが、このような機能を持つ撮像装置は今まで存在していない。

本発明は、上記事情に鑑みてなされたものであり、撮影後にダイナミックレンジを決定することが可能な撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を有する撮像装置であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動部と、前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理部とを備え、各第二の露光期間は、前記第一の露光期間と重なりを有しており、前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含むものである。

この構成により、感度の異なる少なくとも３つの撮像画像信号（１つの第一の撮像画像信号と、２つの第二の撮像画像信号）を１度の撮影で得ることができる。例えば、複数回が２回の場合、第一の撮像画像信号から生成される画像データと２つの第二の撮像画像信号のいずれかから生成される画像データとを合成して第一のダイナミックレンジの画像データを生成する処理と、第一の撮像画像信号から生成される画像データと２つの第二の撮像画像信号の合成信号から生成される画像データとを合成して第ニのダイナミックレンジの画像データを生成する処理とを画像処理部が選択して実行することで、撮影後にダイナミックレンジを決定することができ、撮像装置の利便性を向上させることができる。

本発明の撮像方法は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を用いた撮像方法であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動部と、前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理ステップとを備え、各第二の露光期間は、前記第一の露光期間と重なりを有しており、前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含むものである。

本発明によれば、撮影後にダイナミックレンジを決定することが可能な撮像装置及び撮像方法を提供することができる。

本発明の実施形態を説明するための撮像装置の機能ブロック図 図１に示した撮像装置における固体撮像素子５の概略構成を示す平面模式図 図１に示した撮像装置の撮影動作時のタイミングチャートを示す図 撮像装置１００のＤＲ撮影モード時の動作を説明するためのフローチャート 撮像装置１００のＤＲ撮影モード時の動作の変形例を説明するためのフローチャート 図５に示すフローチャートにおけるステップＳ１４を具体的に説明した図 図５に示すフローチャートにおけるステップＳ１８を具体的に説明した図 図５に示すフローチャートにおけるステップＳ２１を具体的に説明した図 図５に示すフローチャートにおけるステップＳ２２を具体的に説明した図 図１に示した撮像装置の変形例を示す図 図１０に示した撮像装置の撮影時の動作を説明するためのタイミングチャート 図１０に示した撮像装置の撮影時の別の動作を説明するためのタイミングチャート １つの信号読出し回路によって図３に示した駆動方法を実現するためのタイミングチャートの一例を示す図 １つの信号読出し回路によって図３に示した駆動方法を実現するためのタイミングチャートの一例を示す図 図２に示した固体撮像素子の変形例を示す図 図２に示した固体撮像素子の変形例を示す図 図１に示した撮像装置における固体撮像素子をＣＣＤ型にしたときの撮影動作を説明するためのタイミングチャート

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置１００の機能ブロック図である。撮像装置１００の撮像系は、撮影レンズ系１と、絞り２と、固体撮像素子５と、アナログデジタル（ＡＤ）変換部６とを備える。

撮影レンズ系１の背部には、絞り２が配置されている。撮影レンズ系１と絞り２により撮影光学系を構成している。

絞り２の背部には、詳細は後述するＭＯＳ型の固体撮像素子５が配置されている。撮影レンズ系１及び絞り２をこの順に通って固体撮像素子５の受光面に入射した被写体光像に対応する撮像画像信号が、ＡＤ変換部６でデジタルデータに変換され、バス１７に出力される。

バス１７には、この撮像装置１００の全体を統括制御する中央制御部（ＣＰＵ）７と、シャッタレリーズボタンを含む操作ボタン等で構成される操作部１６と、ＤＳＰ等で構成されＣＰＵ７の指示の基に撮像画像信号に対して画像処理を施す画像処理部９と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ１５と、ビデオエンコーダ１５で変換された撮像画像データを表示部１４に表示するドライバ１３と、メモリ１０と、メディア制御部１２とが接続される。メディア制御部１２には、着脱自在に記録媒体（メモリカード）１１が装着される。

ＣＰＵ７には、デバイス制御部８が接続される。デバイス制御部８は、ＣＰＵ７からの指示に従い、固体撮像素子５の駆動制御、絞り２の開口量調整制御、撮影レンズ系１のフォーカス位置制御やズーム位置制御を行う。

図２は、図１に示した撮像装置１００における固体撮像素子５の概略構成を示す平面模式図である。

図２に示したように、固体撮像素子５は、複数の光電変換素子５１ａ（ハッチングを付したもの）からなる第一グループと、複数の光電変換素子５１ｂからなる第二グループと、第一グループに対応して設けられた信号読出し回路６２ａと、第二グループに対応して設けられた信号読出し回路６２ｂとを備える。

固体撮像素子５に含まれる全ての光電変換素子は、半導体基板表面の行方向Ｘとこれに交差する（図２の例では直交する）列方向Ｙとに二次元状に配置されている。この全ての光電変換素子は、行方向Ｘに一定ピッチで並ぶ複数の光電変換素子５１ａからなるラインと、行方向Ｘに当該一定ピッチと同一ピッチで並ぶ複数の光電変換素子５１ｂからなるラインとを列方向Ｙに交互に一定ピッチで並べた配置となっている。

さらに、第一グループのラインは、第二グループのラインに対して、各ラインの各光電変換素子の行方向Ｘにおける配列ピッチの１／２だけ行方向Ｘにずらして配置されている。このような配列は、正方格子状に配置した光電変換素子５１ａに対して斜め４５°方向にずれた位置に光電変換素子５１ｂを配置することで得ることができる。

このように、全ての光電変換素子５１ａには、同一の位置関係で光電変換素子５１ｂが隣接して配置された構成となっている。各光電変換素子５１ａと、各光電変換素子５１ａに対して同一の位置関係（同一方向）に隣接する光電変換素子５１ｂとで、ペアを構成している。

固体撮像素子５に含まれる全ての光電変換素子は、略同一構成（設計上の値が同一）となっている。略同一構成とは、半導体基板内に形成される光電変換領域（フォトダイオード）のサイズが略同じであり、その光電変換領域の上方に形成される遮光膜の開口サイズも略同じであることを意味する。

各光電変換素子５１ａの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ１と、緑色光を透過するカラーフィルタＧ１と、青色光を透過するカラーフィルタＢ１とが設けられている。

図２においては、カラーフィルタＲ１が上方に設けられた光電変換素子５１ａに“Ｒ１”の文字を付してある。また、カラーフィルタＧ１が上方に設けられた光電変換素子５１ａに“Ｇ１”の文字を付してある。また、カラーフィルタＢ１が上方に設けられた光電変換素子５１ａに“Ｂ１”の文字を付してある。

各光電変換素子５１ｂの上方には、全体としてベイヤ状に配置された赤色光を透過するカラーフィルタＲ２と、緑色光を透過するカラーフィルタＧ２と、青色光を透過するカラーフィルタＢ２とが設けられている。

図２においては、カラーフィルタＲ２が上方に設けられた光電変換素子５１ｂに“Ｒ２”の文字を付してある。また、カラーフィルタＧ２が上方に設けられた光電変換素子５１ｂに“Ｇ２”の文字を付してある。また、カラーフィルタＢ２が上方に設けられた光電変換素子５１ｂに“Ｂ２”の文字を付してある。

このように、同一の位置関係で隣接する光電変換素子５１ａ及び光電変換素子５１ｂ（図２の例では、光電変換素子５１ａとこれに斜め右上方向で隣接する光電変換素子５１ｂ）の各々の上方には同一色のフィルタ（赤色フィルタ、緑色フィルタ、又は青色フィルタ）が配置されている。したがって、この固体撮像素子５には、上方に設けられるフィルタの色が異なる３種類のペア（赤色フィルタを上方に持つＲペア、緑色フィルタを上方に持つＧペア、青色フィルタを上方に持つＢペア）が含まれる。

図２に示したように、第一グループのラインについては、図２において一番上から順に、１ライン、２ライン、３ライン、・・・、ｎラインと呼ぶ。第二グループのラインについても、図２において一番上から順に、１ライン、２ライン、３ライン、・・・、ｎラインと呼ぶ。第一グループのｋライン（ｋ＝１，２，３、・・・、ｎ）に含まれる各光電変換素子５１ａとペアを組む光電変換素子５１ｂで構成されるラインが第二グループのｋラインとなっている。

固体撮像素子５に含まれる全ての光電変換素子の各々には、図示しないＣＭＯＳ回路がその近傍に対応して設けられている。

信号読出し回路６２ａは、ＣＤＳ回路５５ａと、トランジスタ５６ａと、Ｈドライバ５７ａと、信号出力線５８ａと、配線５９ａ（一部のみ図示）と、Ｖドライバ６０ａと、配線６１ａ（一部のみ図示）とを備える。信号読出し回路６２ａは、図１に示したデバイス制御部８によって制御される。

第一グループの各ラインに対応するＭＯＳ回路には配線６１ａが接続されている。この配線６１ａが、Ｖドライバ６０ａに接続されている。

Ｖドライバ６０ａは、第一グループのラインを１つずつ選択して、選択したラインに対応するＭＯＳ回路から配線５９ａに信号を読み出す駆動を行う。また、Ｖドライバ６０ａは、第一グループの光電変換素子５１ａに対応するＭＯＳ回路のリセットトランジスタを制御して、第一グループの光電変換素子５１ａの蓄積電荷をリセットする駆動（光電変換素子の電荷をＭＯＳ回路のリセットトランジスタのドレインに排出する駆動）も行う。

ＣＤＳ回路５５ａは、列方向Ｙに並ぶ複数の光電変換素子５１ａからなる光電変換素子列に対応して設けられている。ＣＤＳ回路５５ａは、これに対応する光電変換素子列のＭＯＳ回路に配線５９ａを介して接続されている。ＣＤＳ回路５５ａは、入力された信号に相関二重サンプリング処理を施す。

Ｈドライバ５７ａは、各ＣＤＳ回路５５ａにトランジスタ５６ａを介して接続されている。Ｈドライバ５７ａは、トランジスタ５６ａを順次オンしていくことで、ＣＤＳ回路５５ａで処理後の信号を信号出力線５８ａに出力させる。

信号読出し回路６２ｂは、ＣＤＳ回路５５ｂと、トランジスタ５６ｂと、Ｈドライバ５７ｂと、信号出力線５８ｂと、配線５９ｂ（一部のみ図示）と、Ｖドライバ６０ｂと、配線６１ｂ（一部のみ図示）とを備える。信号読出し回路６２ｂは、図１に示したデバイス制御部８によって制御される。

第二グループの各ラインに対応するＭＯＳ回路には配線６１ｂが接続されている。この配線６１ｂが、Ｖドライバ６０ｂに接続されている。

Ｖドライバ６０ｂは、第二グループのラインを１つずつ選択して、選択したラインに対応するＭＯＳ回路から配線５９ｂに信号を読み出す駆動を行う。また、Ｖドライバ６０ｂは、第二グループの光電変換素子５１ｂに対応するＣＭＯＳ回路のリセットトランジスタを制御して、第二グループの光電変換素子５１ｂの蓄積電荷をリセットする駆動（光電変換素子の電荷をＭＯＳ回路のリセットトランジスタのドレインに排出する駆動）も行う。

ＣＤＳ回路５５ｂは、列方向Ｙに並ぶ複数の光電変換素子５１ｂからなる光電変換素子列に対応して設けられている。ＣＤＳ回路５５ｂは、これに対応する光電変換素子列のＭＯＳ回路に配線５９ｂを介して接続されている。ＣＤＳ回路５５ｂは、入力された信号に相関二重サンプリング処理を施す。

Ｈドライバ５７ｂは、各ＣＤＳ回路５５ｂにトランジスタ５６ｂを介して接続されている。Ｈドライバ５７ｂは、トランジスタ５６ｂを順次オンしていくことで、ＣＤＳ回路５５ｂで処理後の信号を信号出力線５８ｂに出力させる。

このような構成により、第一グループと第二グループとで同時並行して撮像画像信号を読み出すことができる。

このような固体撮像素子５を搭載する撮像装置１００は、デバイス制御部８が、光電変換素子５１ａを第一の露光期間で露光すると共に、第一の露光期間と重なりを有する期間中に、複数回の第二の露光期間で光電変換素子５１ｂを順次露光し、第一の露光期間中に光電変換素子５１ａに蓄積された電荷に応じた第一の撮像画像信号と、複数回の第二の露光期間の各々において光電変換素子５１ｂに蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行うＤＲ撮影モードを有する。なお、各第二の露光期間は、第一の露光期間と重なりを有する。

また、このＤＲ撮影モード時には、画像処理部９が、第一の露光期間で得られた第一の撮像画像信号と、複数の第二の露光期間で得られた複数の第二の撮像画像信号の少なくとも１つとを用いて、所定のダイナミックレンジの撮像画像データを生成するＤＲ処理を行う。

このＤＲ処理には、撮像画像データを生成する際に用いる第二の撮像画像信号の数が異なる複数種類のＤＲ処理が含まれる。このため、画像処理部９が実行するＤＲ処理の種類を変えることで、生成される撮像画像データのダイナミックレンジを変えることができる。

例えば、露光時間が等しい４回の第二の露光期間を行う場合を例にすると、画像処理部９は、以下に示す４種類のＤＲ処理を選択的に実行して、所定のダイナミックレンジの撮像画像データを生成する。

（第一のＤＲ処理）
画像処理部９は、第一の撮像画像信号を画像処理して長時間露光の画像データを生成し、４つの第二の撮像画像信号のいずれか１つを画像処理して短時間露光の画像データを１つ生成し、これら２つの画像データを合成して、ダイナミックレンジ４００％の撮像画像データを生成する。

（第二のＤＲ処理）
画像処理部９は、第一の撮像画像信号を画像処理して長時間露光の画像データを生成し、４つの第二の撮像画像信号のいずれか２つをそれぞれ画像処理して短時間露光の画像データを２つ生成し、これら３つの画像データを合成して、ダイナミックレンジ２００％の撮像画像データを生成する。

（第三のＤＲ処理）
画像処理部９は、第一の撮像画像信号を画像処理して長時間露光の画像データを生成し、４つの第二の撮像画像信号のいずれか３つをそれぞれ画像処理して短時間露光の画像データを３つ生成し、これら４つの画像データを合成して、ダイナミックレンジ１３３％の撮像画像データを生成する。

（第四のＤＲ処理）
画像処理部９は、第一の撮像画像信号を画像処理して長時間露光の画像データを生成し、４つの第二の撮像画像信号の各々を画像処理して短時間露光の画像データを４つ生成し、これら５つの画像データを合成して、ダイナミックレンジ１００％の撮像画像データを生成する。

画像処理部９は、このような複数種類のＤＲ処理の少なくとも１つで生成した撮像画像データに基づいて、どのＤＲ処理で生成した撮像画像データをメモリカード１１に記録するかを決定する。そして、画像処理部９は、このようにして決定した撮像画像データを、メディア制御部１２からメモリカード１１に記録させる。

以下、ＤＲ撮影モード時の撮像装置１００の詳細な動作について説明する。

図３は、図１に示した撮像装置１００のＤＲ撮影モード時の固体撮像素子の駆動タイミングチャートを示す図である。図３は、第一グループの光電変換素子５１ａの露光期間と、第二グループの光電変換素子５１ｂの露光期間との関係を具体的に示している。

図３では、第一の露光期間中に第二の露光期間を４つ設けた例を示している。図３において、“第一の露光期間Ａ”と記した四角形（平行四辺形）が、第一グループ全体の第一の露光期間を示している。また、“Ｂ（１）”、“Ｂ（２）”、“Ｂ（３）”、“Ｂ（４）”を記した四角形（平行四辺形）が、それぞれ第二グループ全体の第二の露光期間を示している。４つの第二の露光期間の長さ（各ラインの露光時間）は同じになっている。

撮影指示があると、デバイス制御部８は、第一グループの光電変換素子５１ａの蓄積電荷を第一グループのライン毎にタイミングをずらしてリセットするローリングリセット駆動をＶドライバ６０ａで実施する。また、デバイス制御部８は、第二グループの光電変換素子５１ｂの蓄積電荷を第二グループのライン毎にタイミングをずらしてリセットするローリングリセット駆動をＶドライバ６０ｂで実施する。Ｖドライバ６０ａとＶドライバ６０ｂは、蓄積電荷をリセットするタイミングを、第一グループのｋラインと第二グループのｋラインとで同期させて行う。

図３の例では、時刻ｔ１から時刻ｔ２の間に、第一グループの各ラインの光電変換素子５１ａのリセットが順次行われると共に、第二グループの各ラインの光電変換素子５１ｂのリセットが順次行われる。第一グループの各ラインでは、蓄積電荷のリセットが終了した時点で、第一の露光期間Ａの露光が開始される。第二グループの各ラインでは、蓄積電荷のリセットが終了した時点で、第二の露光期間Ｂ（１）の露光が開始される。

時刻ｔ１で第一グループの１ラインと第二グループの１ラインの露光が開始されてから所定時間経過後の時刻ｔ３になると、デバイス制御部８が、第二グループの光電変換素子５１ｂの蓄積電荷に応じた信号を第二グループのライン毎にタイミングをずらして読み出すローリング読出し駆動を信号読出し回路６２ｂで実施する。

図３の例では、時刻ｔ３から時刻ｔ４の間に、第二グループの各ラインの光電変換素子５１ｂの蓄積電荷に応じた信号が固体撮像素子５から出力される。第二グループの各ラインでは、光電変換素子５１ｂの蓄積電荷に応じた信号の読み出しが終了された時点で、第二の露光期間Ｂ（１）の露光が終了される。

時刻ｔ４で第二グループのｎラインの信号読み出しが完了すると、デバイス制御部８は、ローリングリセット駆動をＶドライバ６０ｂで実施する。図３に示すように、時刻ｔ４〜ｔ５の間に第二グループの各ラインの光電変換素子５１ｂの蓄積電荷のリセットが行われる。第二グループの各ラインでは、時刻ｔ４〜ｔ５の間に行われるリセットが終了した時点で、第二の露光期間Ｂ（２）の露光が開始される。

その後は、ローリング読み出し駆動が行われて第二の露光期間Ｂ（２）の露光が終了され、その後ローリングリセット駆動が行われて第二の露光期間Ｂ（３）の露光が開始される。続いて、ローリング読み出し駆動が行われて第二の露光期間Ｂ（３）の露光が終了され、その後ローリングリセット駆動が行われて第二の露光期間Ｂ（４）の露光が開始される。

第一の露光期間Ａの露光終了タイミングである時刻ｔ７になると、デバイス制御部８が、ローリング読み出し駆動を信号読出し回路６２ａで実施すると共に、ローリング読み出し駆動を信号読出し回路６２ｂで実施する。Ｖドライバ６０ａとＶドライバ６０ｂは、時刻ｔ７〜ｔ８の間は、光電変換素子の蓄積電荷に応じた信号を読み出すタイミングを、第一グループのｋラインと第二グループのｋラインとで同期させて行う。

図３の例では、時刻ｔ７から時刻ｔ８の間に、第一グループの各ラインの光電変換素子５１ａの蓄積電荷に応じた信号が固体撮像素子５から出力され、第二グループの各ラインの光電変換素子５１ｂの蓄積電荷に応じた信号が固体撮像素子５から出力される。

第一グループの各ラインでは、光電変換素子５１ａの蓄積電荷に応じた信号の読み出しが終了された時点で、第一の露光期間Ａの露光が終了される。第二グループの各ラインでは、光電変換素子５１ｂの蓄積電荷に応じた信号の読み出しが終了された時点で、第二の露光期間Ｂ（４）の露光が終了される。

以上のような駆動により、第一の露光期間Ａの露光中に、第二の露光期間Ｂ（１）〜Ｂ（４）の露光を順次実施し、これら４つの第二の露光期間の露光で得られる４つの第二の撮像画像信号と、第一の露光期間Ａの露光で得られる第一の撮像画像信号との計５つの撮像画像信号を固体撮像素子５から出力することができる。

次に、以上のような駆動で固体撮像素子５から出力された撮像画像信号から撮像画像データを生成して記録するまでの動作について説明する。

図４は、撮像装置１００のＤＲ撮影モード時の動作を説明するためのフローチャートである。

撮影が終了し、第一の撮像画像信号と４つの第二の撮像画像信号がメモリ１０に記憶されると、画像処理部９が、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が最も多いＤＲ処理（上記第四のＤＲ処理）を実行して、ＤＲ１００％の撮像画像データを生成する（ステップＳ１）。

次に、画像処理部９は、ステップＳ１で生成した撮像画像データを複数エリアに分割し、分割エリア毎に、その分割エリアに含まれる画素データの輝度の平均値を算出する（ステップＳ２）。

次に、画像処理部９は、ステップＳ１で生成した撮像画像データに輝度平均値が飽和している分割エリア（飽和エリア）があるか否かを判定する（ステップＳ３）。

具体的には、画像処理部９は、ステップＳ２で算出した輝度平均値が最大となる分割エリアの輝度平均値が飽和レベルに達しているかどうかを判定する。当該輝度平均値が飽和レベル未満であれば、全ての分割エリアで輝度平均値は飽和していないため、画像処理部９は、飽和エリアがないと判定する。一方、当該輝度平均値が飽和レベルに達していれば、画像処理部９は、飽和エリアがあると判定する。

ステップＳ３の判定で、飽和エリアがなかった場合（判定：ＹＥＳ）、画像処理部９は、ステップＳ１で生成したＤＲ１００％の撮像画像データをメモリカード１１に記録させ（ステップＳ９）、処理を終了する。

一方、ステップＳ３の判定で、飽和エリアがあった場合（判定：ＮＯ）、画像処理部９は、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が、直前に実行したＤＲ処理の次に多い処理（上記第三のＤＲ処理）を実行して、ＤＲ１３３％の撮像画像データを生成する（ステップＳ４）。

次に、画像処理部９は、ステップＳ４で生成した撮像画像データを複数エリアに分割し、分割エリア毎に輝度平均値を算出する（ステップＳ５）。

次に、画像処理部９は、ステップＳ５で算出した輝度平均値をもとに、ステップＳ４で生成した撮像画像データに飽和エリアがあるか否かを判定する（ステップＳ６）。

ステップＳ６の判定で、飽和エリアがなかった場合（判定：ＹＥＳ）、画像処理部９は、ステップＳ４で生成したＤＲ１３３％の撮像画像データをメモリカード１１に記録させ（ステップＳ９）、処理を終了する。

一方、ステップＳ６の判定で、飽和エリアがあった場合（判定：ＮＯ）、画像処理部９は、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が２番目に少ないＤＲ処理（上記第二のＤＲ処理）を既に実行したか否かを判定する（ステップＳ７）。

ステップＳ７の判定で、第二のＤＲ処理が実行されていなかった場合（判定：ＮＯ）、画像処理部９は、ステップＳ４以降の処理を行う。

ステップＳ７の判定で、第二のＤＲ処理が実行されていた場合（判定：ＹＥＳ）、画像処理部９は、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が最も少ないＤＲ処理（上記第一のＤＲ処理）を実行して、ＤＲ４００％の撮像画像データを生成する。そして、画像処理部９は、このＤＲ４００％の撮像画像データをメモリカード１１に記録させ（ステップＳ８）、処理を終了する。

このように、ＤＲ撮影モード時、画像処理部９は、４種類のＤＲ処理のうちの第一のＤＲ処理以外の処理で得られる撮像画像データのうち、飽和エリアがないもののいずれかをメモリカード１１に記録させ（ステップＳ９）、飽和エリアがないＤＲ処理が存在しない場合（ステップＳ７：ＹＥＳ）には、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が最も少ない第一のＤＲ処理で得られる撮像画像データをメモリカード１１に記録させる（ステップＳ８）。

このため、ステップＳ９で記録される撮像画像データは、飽和エリアのない良好な画質とすることができる。また、ステップＳ８で記録される撮像画像データは、飽和エリアが存在する可能性はあるものの、この撮像装置１００で設定できる最大のダイナミックレンジの撮像画像データを記録するため、他の処理で得た撮像画像データを記録する場合よりも良好な画質とすることができる。

関連技術では、撮影シーンやユーザ設定によってダイナミックレンジを撮影前に決定してから撮影を行っている。このため、撮影後にダイナミックレンジを変更することはできない。また、ダイナミックレンジを変更するには、露光時間を変更する必要がある。このため、設定可能なダイナミックレンジの数に応じた駆動パターンを予め持っておく必要があり、固体撮像素子の駆動パターンの設計が容易ではない。

これに対し、撮像装置１００によれば、図３に示した駆動を実現する駆動パターンを持っておき、ダイナミックレンジの変更についてはＤＲ処理の内容を変更して対応することができる。このため、撮影後にダイナミックレンジを変更できると共に、固体撮像素子５の駆動パターンの設計を簡略化することができる。

また、従来の撮像装置では、ダイナミックレンジを決めてから撮影を行うため、撮影直前に被写体の明るさが変化してしまった場合には対応することができない。これに対し、撮像装置１００によれば、実際に撮影して得た撮像画像データに基づいてダイナミックレンジを決定することができる。このため、撮影直前に被写体の明るさが変化した場合でも、この変化に対応した最適なダイナミックレンジを決定することができる。

なお、図４に示したフローチャートでは、画像処理部９の処理負荷を軽減するために、４種類のＤＲ処理を、ＤＲ処理に用いる第二の撮像画像信号の数が多い順に行うものとしている。しかし、処理負荷を考慮しないのであれば、このようにしなくてもよい。

例えば、画像処理部９は、最初に４種類のＤＲ処理を全て実行して４つの撮像画像データを生成する。続いて、この４つの撮像画像データのうちの最大ＤＲの撮像画像データ以外の３つの撮像画像データについて、飽和エリアがない撮像画像データを探し、それがあった場合にはそれを記録させる。一方、飽和エリアのない撮像画像データがない場合には、画像処理部９は、最大ＤＲの撮像画像データを記録させる。

また、ＤＲ撮影モード時の画像処理部９の動作を以下のように変更してもよい。

図５は、撮像装置１００のＤＲ撮影モード時の動作の変形例を説明するためのフローチャートである。

撮影が終了し、第一の撮像画像信号と４つの第二の撮像画像信号がメモリ１０に記憶されると、画像処理部９が、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が最も多いＤＲ処理（上記第四のＤＲ処理）を実行して、ＤＲ１００％の撮像画像データを生成する（ステップＳ１１）。

次に、画像処理部９は、ステップＳ１１で生成した撮像画像データを複数エリアに分割し（ここでは１６分割とする）、１６個の分割エリア毎に輝度平均値を算出する（ステップＳ１２）。

次に、画像処理部９は、ステップＳ１２で算出した輝度平均値をもとに、ステップＳ１１で生成した撮像画像データに飽和エリアがあるか否かを判定する（ステップＳ１３）。

ステップＳ１３の判定で、飽和エリアがなかった場合（判定：ＮＯ）、画像処理部９は、ステップＳ１１で生成したＤＲ１００％の撮像画像データをメモリカード１１に記録させ（ステップＳ２３）、処理を終了する。

ステップＳ１３の判定で、飽和エリアがあった場合（判定：ＹＥＳ）、画像処理部９は、ステップＳ１１で生成した撮像画像データの飽和エリア以外の非飽和エリアのデータをメモリ１０に記憶する（ステップＳ１４）。

メモリ１０には、１６個の分割エリアに対応する１６個の領域が設定されている。そして、例えば図６に示すように、ＤＲ１００％の撮像画像データの１６個の分割エリアのうち真ん中にある４個の分割エリアが非飽和エリアであった場合、画像処理部９は、この４個の非飽和エリアの各々を、それに対応するメモリ１０の領域に記憶する。

次に、画像処理部９は、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が直前に実行したＤＲ処理の次に多い処理（上記第三のＤＲ処理）を実行して、ＤＲ１３３％の撮像画像データを生成する（ステップＳ１５）。

次に、画像処理部９は、ステップＳ１５で生成した撮像画像データを１６分割し、１６個の分割エリア毎に輝度平均値を算出する（ステップＳ１６）。

次に、画像処理部９は、ステップＳ１６で算出した輝度平均値をもとに、ステップＳ１５で生成した撮像画像データに非飽和エリアがあるか否かを判定する（ステップＳ１７）。

画像処理部９は、ステップＳ１７の判定がＮＯの場合はステップＳ１９の処理を実行し、判定がＹＥＳの場合はステップＳ１８の処理を実行する。

ステップＳ１８では、画像処理部９が、ステップＳ１５で生成した撮像画像データの非飽和エリアのデータをメモリ１０に記憶する。例えば図７に示すように、ＤＲ１３３％の撮像画像データの１６個の分割エリアのうち真ん中にある８個の分割エリアが非飽和エリアであった場合、画像処理部９は、この８個の非飽和エリアの各々を、それに対応するメモリ１０の領域に記憶する。ただし、メモリ１０の領域に既に他のデータが記憶されている場合には、その領域についてはデータの上書きを行わない。

ステップＳ１９では、画像処理部９が、メモリ１０の１６個の領域全てにデータが記憶されているか否かを判定する。

ステップＳ１９の判定で、メモリ１０の１６個の領域全てにデータが記憶されていた場合（判定：ＹＥＳ）、画像処理部９は、メモリ１０に記憶された１６個の領域のデータを結合した撮像画像データを生成し、これをメモリカード１１に記録させ（ステップＳ２２）、処理を終了する。

ステップＳ１９の判定で、メモリ１０の１６個の領域全てにデータが記憶されていなかった場合（判定：ＮＯ）、画像処理部９は、４種類のＤＲ処理のうち、ＤＲ処理に用いる第二の撮像画像信号の数が最も少ないＤＲ処理（上記第一のＤＲ処理）を既に実行したか否かを判定する（ステップＳ２０）。

ステップＳ２０の判定で、第一のＤＲ処理が実行されていない場合（判定：ＮＯ）、画像処理部９は、ステップＳ１５以降の処理を行う。

ステップＳ２０の判定で、第一のＤＲ処理が実行されていた場合（判定：ＹＥＳ）、画像処理部９は、メモリ１０のデータが記憶されていない空白領域に、第一のＤＲ処理で生成した撮像画像データの当該空白領域に対応する分割エリアを記憶する（ステップＳ２１）。

例えば、図８に示すように、ＤＲ４００％の撮像画像データを生成した後にも関わらず、メモリ１０には空白領域が２つ存在した場合、この空白領域に対応するＤＲ４００％の撮像画像データの分割エリア（図８の例では飽和エリア）をメモリ１０の対応領域に記憶する。

画像処理部９は、ステップＳ２１の後はステップＳ２２の処理を行って、撮像画像データを記録させ、処理を終了する。

以上のように、この変形例では、画像処理部９が、４種類のＤＲ処理で得られる４つの撮像画像データの各々の非飽和エリアを、ＤＲ処理に使用する第二の撮像画像信号の数が多い処理で得られたものから優先的に選択し、選択した非飽和エリアを結合して撮像画像データを生成する。また、画像処理部９は、選択した非飽和エリアの数が足りない場合は、ＤＲ処理に使用する第二の撮像画像信号の数が最も少ない処理で得られたＤＲ４００％の撮像画像データの飽和エリアで不足分を補うことで、撮像画像データを生成する。

このような構成により、ステップＳ２２でメモリカード１１に記録される撮像画像データは、例えば図９に示したように、分割エリア毎にダイナミックレンジの異なるものとなる。

４種類のＤＲ処理で生成される４つの撮像画像データは、ダイナミックレンジが小さいものほど画質がよい。このため、４つの撮像画像データのうち、非飽和エリアについては、画質の良いもの（ダイナミックレンジが小さいもの）を優先的に使用して最終的な撮像画像データを生成することで、広ダイナミックレンジと高画質とを両立させることができる。

なお、ここまでの説明では、画像処理部９が、４種類のＤＲ処理の少なくとも１つで得た撮像画像データに基づいて、メモリカード１１に記録すべき撮像画像データを自動的に決めている。しかし、画像処理部９は、メモリカード１１に記録すべき撮像画像データをユーザからの指示にしたがって決定してもよい。

例えば、ＤＲ撮影モード時にユーザは操作部１６を介して所望のダイナミックレンジを設定する。そして、画像処理部９は、操作部１６を介して指示された当該ダイナミックレンジの撮像画像データが得られるＤＲ処理を、４種類のＤＲ処理の中から選択して実行し、そのＤＲ処理で得た撮像画像データをメモリカード１１に記録させる。このようにすることで、ユーザの好みにあった撮像画像データを、固体撮像素子５の駆動を変えることなく記録することができる。

また、画像処理部９は、ＤＲ撮影モード時に４種類のＤＲ処理を全て実行して４つの撮像画像データを生成し、これらを全てメモリカード１１に記録させてもよい。このようにすることで、ユーザは、同一被写体に対してダイナミックレンジを変えた４つの撮像画像データを得ることができる。撮影前にダイナミックレンジを設定する方法では、そのダイナミックレンジが最適でなかった場合に撮影失敗になってしまうが、４つの撮像画像データを記録する構成にすれば、撮影失敗の機会を減らすことができる。

また、画像処理部９は、ＤＲ撮影モード時に４種類のＤＲ処理を全て実行して４つの撮像画像データを生成し、これらの中からユーザによって選択されたものだけをメモリカード１１に記録してもよい。

例えば、４つの撮像画像データを生成した後、その４つの撮像画像データを表示部１４に表示して、ユーザにどの撮像画像データを記録するかを選択させる。画像処理部９は、ユーザから操作部１６を介して選択された撮像画像データだけをメモリカード１１に記録する。このようにすることで、メモリカード１１に記録するデータ量を減らすことができ、撮影記録枚数を増やすことができる。４つの撮像画像データの中から選択するものは１つに限らず、２つ以上を選択して記録できるようにしてもよい。

また、図５に示したフローでは、メモリカード１１に記録する撮像画像データを構成する１６個の分割エリアを、４つの撮像画像データの中から画像処理部９が自動的に選択している。しかし、この１６個の分割エリアの各々に、どのダイナミックレンジの撮像画像データを使用するかをユーザが任意に決められるようにしてもよい。

例えば、画像処理部９は、４つの撮像画像データを生成した後、そのうちの１つ（ダイナミックレンジが最小のもの；ＤＲ１００％の撮像画像データ）を表示部１４に表示させる。表示部１４に表示させる画像は１６分割して表示する。ユーザは、表示部１４に表示される１６個の分割エリア毎にダイナミックレンジを指定する。画像処理部９は、この指定にしたがって、メモリ１０に１６個の分割エリアを記憶して撮像画像データを生成し、これをメモリカード１１に記録させて処理を終了する。

このようにすることで、ユーザは、分割エリア毎にダイナミックレンジを調整して好みの撮像画像データを生成することができる。

図１０は、図１に示した撮像装置１００の変形例を示す図である。

図１０に示した撮像装置２００は、固体撮像素子５の光入射側（図１０の例では絞り２と固体撮像素子５の間）にメカニカルシャッタ３を追加した点を除いては図１に示した撮像装置１００と同じ構成である。

以下、撮像装置２００のＤＲ撮影モード時の固体撮像素子５の駆動方法について説明する。

図１１は、撮像装置２００のＤＲ撮影モード時の固体撮像素子５の駆動方法を説明するためのタイミングチャートである。図１１に示したタイミングチャートは、第一グループの各光電変換素子５１ａの蓄積電荷を同時にリセットするグローバルリセット駆動を行って第一の露光期間Ａの露光を開始する点、メカニカルシャッタ３を閉じる駆動を行って第一の露光期間Ａの露光を終了する点が、図３に示したタイミングチャートと異なる。

メカニカルシャッタ３が開の状態で、時刻ｔ１で撮影指示があると、デバイス制御部８は、Ｖドライバ６０ａでグローバルリセット駆動を実施し、各光電変換素子５１ａの蓄積電荷を同時にリセットする。第一グループでは、このリセットの終了を以って、第一の露光期間Ａの露光が開始される。

一方、第二グループでは、図３で説明したのと同様に、時刻ｔ１の撮影指示に応じて第二グループの各ラインの蓄積電荷が順次リセットされ、このリセットが終了した時点で、第二の露光期間Ｂ（１）の露光が開始される。第二の露光期間Ｂ（１）の露光が開始してから、第二の露光期間Ｂ（４）の終了までの動作は、図３で説明したものと同じである。

時刻ｔ７になると、デバイス制御部８が、ローリング読出し駆動を信号読出し回路６２ｂで実施する。このローリング読み出し駆動が終了する時刻ｔ８になると、デバイス制御部８が、メカニカルシャッタ３を閉の状態にする。このメカニカルシャッタ３が閉じた時点を以って、第一の露光期間Ａの露光が終了する。第一の露光期間Ａの露光終了後、デバイス制御部８は、ローリング読出し駆動によって第一グループから撮像画像信号を読み出す。

以上のように、撮像装置２００によれば、メカニカルシャッタ３を用いることで、第一グループについては、全てのラインで露光の開始及び終了のタイミングを一致させることができる。このため、第一グループから得られる撮像画像データについては、ＣＭＯＳセンサ特有の動く被写体に対して発生する歪みを無くすことができる。

なお、撮像装置２００では、第二グループの各光電変換素子５１ｂで蓄積電荷を同時にリセットするグローバルリセット駆動を行って第二の露光期間Ｂ（１）の露光を開始することもできる。また、メカニカルシャッタ３を閉じることで、第二の露光期間Ｂ（４）の露光を終了することもできる。

しかし、このような駆動方法では、第二の露光期間Ｂ（１）と第二の露光期間Ｂ（４）において、第二グループの各ラインにおいて露光時間が均一にならない。これに対し、図１１に示した駆動方法であれば、第二の露光期間Ｂ（１）〜Ｂ（４）のいずれにおいても、第二グループの各ラインにおいて露光時間を均一にすることができる。このため、第二グループから得られる複数の撮像画像信号の輝度ムラの発生を防止することができる。

図１２は、図１１に示した駆動方法の変形例を示すタイミングチャートである。図１２に示したタイミングチャートは、第一の露光期間Ａの露光中に実施する複数の第二の露光期間のうちの最後の露光期間Ｂ（４）の露光を、グローバルリセット駆動を行って開始し、メカニカルシャッタ３を閉じる駆動を行って終了する点を除いては、図１１に示したタイミングチャートと同じである。

図１２に示すタイミングチャートにおいて時刻ｔ１〜ｔ５の動作は、図１１で説明したものと同じである。第二グループのｎラインにおいて第二の露光期間Ｂ（３）の露光が終了された後、デバイス制御部８は、各光電変換素子５１ｂの蓄積電荷を同時にリセットするグローバルリセット駆動をＶドライバ６０ｂにより行う。このグローバルリセット駆動による光電変換素子５１ｂの蓄積電荷のリセット終了を以って、第二の露光期間Ｂ（４）の露光が開始する。

第二の露光期間Ｂ（４）の露光が開始してから所定時間経過後の時刻ｔ８になると、デバイス制御部８が、メカニカルシャッタ３を閉じる駆動を行う。このメカニカルシャッタ３が閉じた時点を以って、第一の露光期間Ａの露光と、第二の露光期間Ｂ（４）の露光が終了する。第一の露光期間Ａの露光終了後、デバイス制御部８は、ローリング読出し駆動によって第一グループと第二グループからそれぞれ撮像画像信号を読み出す。

以上のように、図１２に示した駆動方法によれば、複数の第二の露光期間のうちの最後の露光期間の露光の開始及び終了のタイミングを、第二グループの各ラインで一致させることができる。このため、第二の露光期間Ｂ（４）で得られる撮像画像信号には歪みが発生することがなく、画質を向上させることができる。

なお、ＤＲ撮影モード時において動く被写体を撮影した場合には、画像処理部９が、第一の処理（ただし、第二の撮像画像信号は、露光期間Ｂ（４）で得たものを使用する）で得た撮像画像データをメモリカード１１に記録させるようにしてもよい。このようにすることで、ダイナミックレンジについては強制的に４００％になるものの、歪みは発生することがなくなり、画質を向上させることができる。

これまでの説明では、第一グループと第二グループで、信号読出し回路６２ａと信号読出し回路６２ｂを分けて設けているが、これらは１つにして、一般的なＭＯＳセンサの構成としても勿論よい。

ただし、信号読出し回路を１つにした場合には、第一グループのｋラインと第二グループのｋラインとを同期して駆動することができない。このため、例えば、図３に示した駆動方法を実現するには、図１３に示したように、第一の露光期間Ａの露光開始のためのローリングリセット駆動を終了してから第二の露光期間Ｂ（１）の露光開始のためのローリングリセット駆動を行い、第一の露光期間Ａの露光終了のためのローリング読出し駆動を終了してから第二の露光期間Ｂ（４）の露光終了のためのローリング読出し駆動を行う必要がある。

または、図１４に示したように、第二の露光期間Ｂ（１）の露光開始のためのローリングリセット駆動を終了してから、第一の露光期間Ａの露光開始のためのローリングリセット駆動を行い、第二の露光期間Ｂ（４）の露光終了のためのローリング読出し駆動を終了してから、第一の露光期間Ａの露光終了のためのローリング読出し駆動を行う必要がある。

しかし、図１３，１４に示した駆動方法であっても、第一の露光期間Ａと、第二の露光期間Ｂ（１）〜Ｂ（４）の各々とは重なりを有する。このため、第一の露光期間Ａで得られる撮像画像信号と、第二の露光期間Ｂ（１）〜Ｂ（４）のそれぞれで得られる撮像画像信号との相関性は十分に高くなり、第一のＤＲ処理〜第四のＤＲ処理で得られる撮像画像データの画質にはさほど影響を与えない。図２に示したように、信号読出し回路を２つ設ける構成にした場合には、第一の露光期間の露光中に複数の第二の露光期間の全ての露光を実施することができるため、撮像画像データの高画質化が可能となる。

図２に示した固体撮像素子５の光電変換素子の配列は、次のように変形することもできる。

図１５は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの奇数行を光電変換素子５１ａとし、偶数行を光電変換素子５１ｂとしたものである。

図１６は、図２に示した固体撮像素子の変形例を示す図である。この変形例の固体撮像素子は、複数の光電変換素子を正方格子状に配列し、そのうちの一方の市松位置に光電変換素子５１ａを配置し、他方の市松位置に光電変換素子５１ｂを配置した構成である。

図１５及び図１６に示したような配列であっても、第一グループの各光電変換素子５１ａに対応する画素データと、当該光電変換素子５１ａとペアを組む光電変換素子５１ｂに対応する画素データとを合成することで、ダイナミックレンジを拡大したカラー画像データを生成することができる。

これまでの説明では固体撮像素子５がＭＯＳ型である場合を示したが、ＣＣＤ型であってもよい。

図１７は、図１に示した撮像装置１００における固体撮像素子５をＣＣＤ型にしたときの撮影動作を説明するためのタイミングチャートであり、図３に対応する図である。

固体撮像素子５がＣＣＤ型の場合は、撮影指示があると、デバイス制御部８が、電子シャッタパルスをオフにする（時刻ｔ１）。これにより、第一グループの光電変換素子５１ａと第二グループの光電変換素子５１ｂが電荷蓄積可能な状態となり、第一グループの各ラインにおいて第一露光期間Ａの露光が開始され、第二グループの各ラインにおいて第二の露光期間Ｂ（１）の露光が開始される。

時刻ｔ１から所定時間経過後の時刻ｔ２になると、デバイス制御部８が、第二グループの各光電変換素子５１ｂの蓄積電荷を垂直ＣＣＤに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直ＣＣＤへの読出しが終了した時点で、第二グループの各ラインにおいて、第二の露光期間Ｂ（１）の露光が終了されると共に、第二の露光期間Ｂ（２）の露光が開始される（時刻ｔ２）。

第二の露光期間Ｂ（２）の露光終了タイミングである時刻ｔ３になると、デバイス制御部８が、第二グループの各光電変換素子５１ｂの蓄積電荷を垂直ＣＣＤに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直ＣＣＤへの読出しが終了した時点で、第二グループの各ラインにおいて、第二の露光期間Ｂ（２）の露光が終了されると共に、第二の露光期間Ｂ（３）の露光が開始される。

第二の露光期間Ｂ（３）の露光終了タイミングである時刻ｔ４になると、デバイス制御部８が、第二グループの各光電変換素子５１ｂの蓄積電荷を垂直ＣＣＤに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直ＣＣＤへの読出しが終了した時点で、第二グループの各ラインにおいて第二の露光期間Ｂ（３）の露光が終了されると共に、第二の露光期間Ｂ（４）の露光が開始される。

第二の露光期間Ｂ（４）の露光終了タイミングである時刻ｔ５になると、デバイス制御部８が、各光電変換素子５１ａ，５１ｂの蓄積電荷を垂直ＣＣＤに読出し、これをアンプまで転送して、当該アンプから当該蓄積電荷に応じた信号を出力させる。この蓄積電荷の垂直ＣＣＤへの読出しが終了した時点で、第一グループの各ラインにおいて第一の露光期間Ａの露光が終了され、第二グループの各ラインにおいて第二の露光期間Ｂ（４）の露光が終了される。

以上のような駆動により、ＣＣＤ型の固体撮像素子であっても、５つの撮像画像信号を１回の撮影で取得することができる。ＣＣＤ型の場合は、全ての露光期間の露光において、第一グループ、第二グループのいずれにおいても、各ラインの露光の開始及び終了タイミングを一致させることができる。このため、動く被写体であっても歪みのない撮像画像データを得ることができる。

以上説明してきたように、本明細書には次の事項が開示されている。

開示された撮像装置は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を有する撮像装置であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動部と、前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理部とを備え、各第二の露光期間は、前記第一の露光期間と重なりを有しており、前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含むものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理の少なくとも１つで生成した撮像画像データに基づいて、前記複数種類の処理の各々で生成した複数の前記撮像画像データの中から記録媒体に記録させるものを決定するものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理で得られる前記撮像画像データのうち、飽和エリアがないもののいずれかを前記記録媒体に記録させ、前記飽和エリアがないものが存在しない場合には、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させるものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理を、使用する前記第二の撮像画像信号の数が多い順に行い、使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理が終わる毎に、当該処理で得られた前記撮像画像データに飽和エリアがあるかどうかを判定し、飽和エリアがない場合には当該撮像画像データを前記記録媒体に記録させ、使用する前記第二の撮像画像信号の数が２番目に少ない処理で得られる前記撮像画像データに飽和エリアがあると判定した場合には、使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させるものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理で得られる複数の撮像画像データの各々の非飽和エリアを、使用する前記第二の撮像画像信号の数が多い処理で得られたものから優先的に選択し、選択した前記非飽和エリアを結合して前記撮像画像データを生成するものである。

開示された撮像装置は、前記画像処理部は、前記選択した前記非飽和エリアの数が足りない場合は、使用する前記第二の撮像画像信号の数が最も少ない処理で得られた前記撮像画像データの飽和エリアで不足分を補うものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理のうち、操作部を介して指示されたダイナミックレンジの前記撮像画像データを得る処理を実行して、当該処理で得られた撮像画像データを記録媒体に記録させるものである。

開示された撮像装置は、前記画像処理部は、前記複数種類の処理の各々を実行して、当該処理で得られた複数の撮像画像データを全て又はその中から選択されたものを記録媒体に記録させるものである。

開示された撮像装置は、前記固体撮像素子の光入射側に設けられたメカニカルシャッタを更に備え、前記固体撮像素子がＭＯＳ型であり、前記駆動部は、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記メカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始するものである。

開示された撮像装置は、前記駆動部は、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了するものである。

開示された撮像装置は、前記固体撮像素子が、前記複数の第一の光電変換素子から前記第一の撮像画像信号を読み出すための第一の読出し回路と、前記複数の第二の光電変換素子から前記第二の撮像画像信号を読み出すための前記第一の読出し回路とは独立して設けられた第二の読出し回路とを備えるものである。

開示された撮像方法は、二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を用いた撮像方法であって、前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動部と、前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理ステップとを備え、各第二の露光期間は、前記第一の露光期間と重なりを有しており、前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含むものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理の少なくとも１つで生成した撮像画像データに基づいて、前記複数種類の処理の各々で生成した複数の前記撮像画像データの中から記録媒体に記録させるものを決定するものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理で得られる前記撮像画像データのうち、飽和エリアがないもののいずれかを前記記録媒体に記録させ、前記飽和エリアがないものが存在しない場合には、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させるものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理を、使用する前記第二の撮像画像信号の数が多い順に行い、使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理が終わる毎に、当該処理で得られた前記撮像画像データに飽和エリアがあるかどうかを判定し、飽和エリアがある場合には当該撮像画像データを前記記録媒体に記録させ、使用する前記第二の撮像画像信号の数が２番目に少ない処理で得られる前記撮像画像データに飽和エリアがあると判定した場合には、使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させるものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理で得られる複数の撮像画像データの各々の非飽和エリアを、使用する前記第二の撮像画像信号の数が多い処理で得られたものから優先的に選択し、選択した前記非飽和エリアを結合して前記撮像画像データを生成するものである。

開示された撮像方法は、前記画像処理ステップでは、前記選択した前記非飽和エリアの数が足りない場合は、使用する前記第二の撮像画像信号の数が最も少ない処理で得られた前記撮像画像データの飽和エリアで不足分を補うものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理のうち、操作部を介して指示されたダイナミックレンジの前記撮像画像データを得る処理を実行して、当該処理で得られた撮像画像データを記録媒体に記録させるものである。

開示された撮像方法は、前記画像処理ステップでは、前記複数種類の処理の各々を実行して、当該処理で得られた複数の撮像画像データを全て又はその中から選択されたものを記録媒体に記録させるものである。

開示された撮像方法は、前記固体撮像素子がＭＯＳ型であり、前記駆動ステップでは、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記固体撮像素子の光入射側に設けられたメカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始するものである。

開示された撮像方法は、前記駆動ステップでは、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了するものである。

開示された撮像方法は、前記駆動ステップでは、第一の読出し回路を用いて前記第一の撮像画像信号を読出し、前記第一の読出し回路とは独立して設けられた第二の読出し回路を用いて前記第二の撮像画像信号を読み出すものである。

本発明によれば、撮影後にダイナミックレンジを決定することが可能な撮像装置及び撮像方法を提供することができる。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２０１０年９月２７日出願の日本出願（特願２０１０−２１６１０７）に基づくものであり、その内容はここに参照として取り込まれる。

１００ 撮像装置
５ 固体撮像素子
８ デバイス制御部
５１ａ，５１ｂ 光電変換素子
６２ａ，６２ｂ 信号読出し回路

Claims (22)

1. 二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を有する撮像装置であって、
   前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動部と、
   前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理部とを備え、
   各第二の露光期間は、前記第一の露光期間と重なりを有しており、
   前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含む撮像装置。
2. 請求項１記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理の少なくとも１つで生成した撮像画像データに基づいて、前記複数種類の処理の各々で生成した複数の前記撮像画像データの中から記録媒体に記録させるものを決定する撮像装置。
3. 請求項２記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理で得られる前記撮像画像データのうち、飽和エリアがないもののいずれかを前記記録媒体に記録させ、前記飽和エリアがないものが存在しない場合には、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させる撮像装置。
4. 請求項３記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理を、使用する前記第二の撮像画像信号の数が多い順に行い、使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理が終わる毎に、当該処理で得られた前記撮像画像データに飽和エリアがあるかどうかを判定し、飽和エリアがない場合には当該撮像画像データを前記記録媒体に記録させ、使用する前記第二の撮像画像信号の数が２番目に少ない処理で得られる前記撮像画像データに飽和エリアがあると判定した場合には、使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させる撮像装置。
5. 請求項１記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理で得られる複数の撮像画像データの各々の非飽和エリアを、使用する前記第二の撮像画像信号の数が多い処理で得られたものから優先的に選択し、選択した前記非飽和エリアを結合して前記撮像画像データを生成する撮像装置。
6. 請求項５記載の撮像装置であって、
   前記画像処理部は、前記選択した前記非飽和エリアの数が足りない場合は、使用する前記第二の撮像画像信号の数が最も少ない処理で得られた前記撮像画像データの飽和エリアで不足分を補う撮像装置。
7. 請求項１記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理のうち、操作部を介して指示されたダイナミックレンジの前記撮像画像データを得る処理を実行して、当該処理で得られた撮像画像データを記録媒体に記録させる撮像装置。
8. 請求項１記載の撮像装置であって、
   前記画像処理部は、前記複数種類の処理の各々を実行して、当該処理で得られた複数の撮像画像データを全て又はその中から選択されたものを記録媒体に記録させる撮像装置。
9. 請求項１〜８のいずれか１項記載の撮像装置であって、
   前記固体撮像素子の光入射側に設けられたメカニカルシャッタを更に備え、
   前記固体撮像素子がＭＯＳ型であり、
   前記駆動部は、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記メカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始する撮像装置。
10. 請求項８記載の撮像装置であって、
    前記駆動部は、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了する撮像装置。
11. 請求項１〜９のいずれか１項記載の撮像装置であって、
    前記固体撮像素子が、前記複数の第一の光電変換素子から前記第一の撮像画像信号を読み出すための第一の読出し回路と、前記複数の第二の光電変換素子から前記第二の撮像画像信号を読み出すための前記第一の読出し回路とは独立して設けられた第二の読出し回路とを備える撮像装置。
12. 二次元状に配列された複数の第一の光電変換素子及び複数の第二の光電変換素子を含む固体撮像素子を用いた撮像方法であって、
    前記複数の第一の光電変換素子を第一の露光期間で露光すると共に、前記複数の第二の光電変換素子を複数回の第二の露光期間で順次露光し、前記第一の露光期間中に前記複数の第一の光電変換素子に蓄積された電荷に応じた第一の撮像画像信号と、前記複数回の第二の露光期間の各々において前記複数の第二の光電変換素子に蓄積された電荷に応じた第二の撮像画像信号とを読み出す駆動を行う駆動ステップと、
    前記第一の撮像画像信号と複数の前記第二の撮像画像信号の少なくとも１つとを用いて所定のダイナミックレンジの撮像画像データを生成する処理を行う画像処理ステップとを備え、
    各第二の露光期間は、前記第一の露光期間と重なりを有しており、
    前記処理は、用いられる前記第二の撮像画像信号の数が異なる複数種類の処理を含む撮像方法。
13. 請求項１２記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理の少なくとも１つで生成した撮像画像データに基づいて、前記複数種類の処理の各々で生成した複数の前記撮像画像データの中から記録媒体に記録させるものを決定する撮像方法。
14. 請求項１３記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理で得られる前記撮像画像データのうち、飽和エリアがないもののいずれかを前記記録媒体に記録させ、前記飽和エリアがないものが存在しない場合には、前記複数種類の処理のうちの使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させる撮像方法。
15. 請求項１４記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理を、使用する前記第二の撮像画像信号の数が多い順に行い、使用する前記第二の撮像画像信号の数が最も少ない処理以外の処理が終わる毎に、当該処理で得られた前記撮像画像データに飽和エリアがあるかどうかを判定し、飽和エリアがある場合には当該撮像画像データを前記記録媒体に記録させ、使用する前記第二の撮像画像信号の数が２番目に少ない処理で得られる前記撮像画像データに飽和エリアがあると判定した場合には、使用する前記第二の撮像画像信号の数が最も少ない処理で得られる前記撮像画像データを前記記録媒体に記録させる撮像方法。
16. 請求項１２記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理で得られる複数の撮像画像データの各々の非飽和エリアを、使用する前記第二の撮像画像信号の数が多い処理で得られたものから優先的に選択し、選択した前記非飽和エリアを結合して前記撮像画像データを生成する撮像方法。
17. 請求項１６記載の撮像方法であって、
    前記画像処理ステップでは、前記選択した前記非飽和エリアの数が足りない場合は、使用する前記第二の撮像画像信号の数が最も少ない処理で得られた前記撮像画像データの飽和エリアで不足分を補う撮像方法。
18. 請求項１２記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理のうち、操作部を介して指示されたダイナミックレンジの前記撮像画像データを得る処理を実行して、当該処理で得られた撮像画像データを記録媒体に記録させる撮像方法。
19. 請求項１２記載の撮像方法であって、
    前記画像処理ステップでは、前記複数種類の処理の各々を実行して、当該処理で得られた複数の撮像画像データを全て又はその中から選択されたものを記録媒体に記録させる撮像方法。
20. 請求項１２〜１９のいずれか１項記載の撮像方法であって、
    前記固体撮像素子がＭＯＳ型であり、
    前記駆動ステップでは、前記複数の第一の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記第一の露光期間の露光を開始し、前記第一の露光期間の露光開始後に前記固体撮像素子の光入射側に設けられたメカニカルシャッタを閉じる駆動を行って前記第一の露光期間の露光を終了し、前記複数の第二の光電変換素子の蓄積電荷を前記第二の光電変換素子のライン毎にタイミングをずらしてリセットするローリングリセット駆動を行って前記複数の第二の露光期間のうちの少なくとも最後の第二の露光期間を除く露光期間の露光を開始する撮像方法。
21. 請求項２０記載の撮像方法であって、
    前記駆動ステップでは、前記複数の第二の光電変換素子の蓄積電荷を同時にリセットするグローバルリセット駆動を行って前記複数の第二の露光期間のうちの最後の第二の露光期間の露光を開始し、前記メカニカルシャッタを閉じる駆動を行って前記最後の第二の露光期間の露光を終了する撮像方法。
22. 請求項１２〜２１のいずれか１項記載の撮像方法であって、
    前記駆動ステップでは、第一の読出し回路を用いて前記第一の撮像画像信号を読出し、前記第一の読出し回路とは独立して設けられた第二の読出し回路を用いて前記第二の撮像画像信号を読み出す撮像方法。

Images